Commentaire de Juliette Guin, Experte en data integration, chez Fivetran
Nous vivons dans un monde qui génère et collecte des quantités apparemment infinies de données. Ce même grand volume de données, dans sa forme brute, nécessite une transformation - ou un nettoyage, une modélisation et une manipulation pour les préparer à informer. Si les procédures stockées ont permis aux analystes et aux ingénieurs de créer et de réutiliser des requêtes SQL, elles n'ont jamais été conçues pour servir de base aux besoins actuels en matière de transformation des données.
Qu'est-ce qu'une procédure stockée ?
Les procédures stockées consistent en une ou plusieurs instructions SQL utilisées de manière répétée. Ces instructions sont ensuite stockées dans votre base de données afin que vous puissiez les « appeler » ou les « exécuter » sans avoir à réécrire la logique sous-jacente à chaque fois.
Aux yeux d'un administrateur de base de données (DBA), cela est parfaitement suffisant pour accomplir des tâches telles que la restriction de l'accès aux données sensibles ou l'augmentation des performances de la base de données. Cependant, l'utilisation de procédures stockées dans vos pipelines de données analytiques présente des inconvénients, en particulier lorsque votre équipe et votre organisation s'agrandissent.
L'échec des procédures stockées
L'augmentation de la demande de données claires, concises et cohérentes a mis à rude épreuve la fonctionnalité des procédures stockées. Bien qu'elles puissent suffire à gérer le volume de données, elles n'ont jamais été conçues pour répondre aux besoins des équipes d'analyse de données modernes. En fait, s'appuyer sur les procédures stockées peut exposer les entreprises à un risque important de dette technique.
Documentation et visibilité
Les procédures stockées n'intègrent pas de fonctionnalité de documentation. Tout ajout ou modification n'est pas suivi et est appliqué immédiatement sans documentation sur ce qui a été changé et pourquoi.
En général, la majorité des connaissances sur la procédure stockée est détenue par l'auteur de la requête. Si cette personne quitte l'entreprise, ce qui se produit à un rythme record ces derniers temps, elle emporte ces connaissances avec elle. Les pipelines sont donc vulnérables aux pannes s'il n'y a pas de transfert officiel des connaissances pour mettre à jour et maintenir la logique.
Journalisation et débogage
Tout comme leur manque de documentation, les procédures stockées ne disposent pas non plus d'une fonctionnalité de journalisation native. Les procédures stockées répondent simplement avec ce qui a été écrit dans le code sous-jacent, ce qui signifie que le débogage est aussi facile ou difficile que l'auteur l'a rendu.
La complexité d'une procédure stockée augmente avec celle du débogage. Ainsi, l'auteur peut devenir une source de responsabilité majeure si des rapports critiques pour l'entreprise sont élaborés à partir de procédures stockées que seule une ou quelques personnes ont créées ou comprises.
Flexibilité et évolutivité
Les procédures stockées sont généralement privilégiées pour les éléments qui changent rarement, illustrant le mantra « nous avons toujours fait comme ça », souvent adopté par les entreprises héritant d'une infrastructure de transformation. Cependant, avec l'évolution inévitable des données et des besoins, ces procédures entravent la croissance, notamment pour les entreprises en expansion rapide nécessitant agilité dans les transformations et rapports. Plutôt que de laisser ces méthodes restreindre votre stratégie de données, de nombreuses entreprises centrées sur les données cherchent à moderniser leur approche, bien que les contraintes de ressources et de calendrier puissent poser des défis. Malgré ces enjeux légitimes, des solutions simples sont à disposition pour aborder cette problématique.
De meilleures transformations de données avec dbt™
Pour résoudre ce problème, une approche directe s'impose dès maintenant pour réduire la dette technique liée à la modernisation des pipelines de transformation. Une solution prometteuse est dbt™ de dbt Labs, qui permet aux équipes de déployer rapidement du code analytique en suivant les meilleures pratiques de génie logiciel. Avec des modèles dbt, la documentation complète et la facilité de débogage sont au rendez-vous. En intégrant cette technologie avec des plateformes professionnelles de déplacement de données, vous synchronisez efficacement vos transformations, réduisez la latence des données et accédez à une bibliothèque de modèles préconstruits entièrement documentés, ce qui renforce vos processus tout en minimisant la dépendance aux procédures stockées et la dette technologique.
Si vous avez besoin d'aide pour démarrer, des services professionnels existe pour intégrer dbt Core afin de migrer complètement des procédures stockées vers un projet dbt où vos transformations sont documentées et produites.