Qu’est-ce que DBT ?
DBT (Data Build Tool) est un flux de transformation qui aide les data ingénieurs à travailler plus vite en garantissant une meilleure qualité.
Comment ?
En modularisant et centralisant le code utilisé pour l’analytics. C’est en quelque sorte des bonnes pratiques nées du software développement déployé dans les habitudes des data ingénieurs et du travail des données. Imaginez un peu le bazar que c'était avant : des données éparpillées partout, des requêtes SQL qui se ressemblaient comme deux gouttes d'eau mais copiées-collées à l'infini, et des data engineers qui passaient plus de temps à chercher leurs erreurs qu'à faire avancer les cas d'usages.
DBT permet des choses qui étaient auparavant difficile à mettre en place. Tout s'organise comme par magie. Fini les doublons, place à la réutilisation du code. Et les tests ? Un jeu d'enfant maintenant ! Fini le temps ou le business remontait lui-même les erreurs, maintenant ses règles sont testées directement avant la création des tables.
DBT, c'est comme avoir un copain qui vérifie vos devoirs avant de les rendre. Côté bonnes pratiques, c'est la fête : documentation automatique, versioning des modèles de données, et même une structure de projet qui en ferait baver d'envie n'importe quel développeur. Bref, DBT, c'est un peu le Marie Kondo de la data !
Et comment ça fonctionne DBT ?
Plongeons dans les coulisses de DBT ! Ce petit génie fonctionne en déployant du code dans une data platform, transformant ce code en datasets, tables et vues. C'est un peu comme si DBT était un chef cuisinier qui prend vos ingrédients (les données brutes) et les recettes des plats et qui les transforme en un délicieux menu dans le bon ordre (des données propres et structurées).
Concrètement, DBT permet d'écrire des transformations de données en SQL, un langage largement exploité par les data ingénieurs et data analystes ! Et pour des besoins plus spécifiques, il est possible d’intégrer du code Python. L'idée, c'est de définir les transformations dans des fichiers de configuration, et DBT s'occupe de générer automatiquement le code SQL correspondant. Plutôt cool, non ? Et même pas besoin de définir l'ordre d'exécution, il est suffisamment malin pour le comprendre tout seul.
Mais attendez, ce n'est pas tout ! DBT permet également de définir des tests et de les exécuter avant la mise à jour des tables garantissant la qualité des données avant qu'elles ne soient exposées. Et si quelque chose cloche ? Pas de panique ! DBT vous envoie une petite alerte, histoire que vous puissiez régler le problème avant que le boss ne s'en aperçoive.
Un autre point fort de DBT, c'est qu'il est conçu pour traiter de gros volumes de données. On peut le configurer pour qu'il optimise l'exécution des transformations en ne traitant que les données qui ont été modifiées. C'est ce qu'on appelle l'exécution incrémentale.
Il existe deux versions de DBT actuellement : DBT Cloud et DBT Core.
DBT Cloud est une solution payante qui permet de travailler avec DBT directement dans une interface, tandis que DBT Core est open source mais doit être installé et maintenu manuellement et géré par ligne de commande.
Et les inconvénients alors ?
Bon, DBT c'est génial, mais il faut avouer qu'il y a quelques bémols. Déjà, la prise en main peut être un peu rude, surtout si on n'est pas super familier avec la ligne de commande et les concepts du développement logiciel.
Ensuite, DBT est encore en pleine évolution, du coup, on peut rencontrer quelques bugs ou des changements qui cassent la compatibilité avec d'autres outils. Enfin, pour profiter à fond de DBT, il faut souvent mettre la main au portefeuille, notamment pour la version Cloud et ses fonctionnalités avancées.
Y a-t-il des alternatives à DBT ?
Eh oui ! Si DBT ne vous convient pas, il existe d'autres outils sympas comme Dataform (Google Cloud), parfait pour les fans du cloud, Airflow (Apache), le roi de l'orchestration de workflows, Prefect, qui se veut plus simple et flexible, ou encore Matillion, qui brille par son interface graphique et ses options de monitoring. Le choix dépend vraiment de vos besoins et de vos préférences !
