Présentation de l’ingénierie des données

Dans ce chapitre, vous allez apprendre ce qu’est l’ingénierie des données et pourquoi la demande dans cette matière est en augmentation. Vous découvrirez ensuite où se situe l’ingénierie des données dans le cycle de vie de la science des données, en quoi les ingénieurs des données diffèrent des scientifiques des données, et vous accéderez à la présentation de votre premier pipeline de données complet.

Il est temps de parler du stockage des données, l’une des principales responsabilités de l’ingénieur des données. Dans ce chapitre, vous allez apprendre comment les ingénieurs de données gèrent différentes structures de données, travaillent sur le langage de programmation SQL (le langage idéal pour l’interrogation et le stockage des données), et mettent en œuvre des solutions de stockage de données appropriées avec les lacs de données et les entrepôts de données.

Les ingénieurs de données facilitent la vie des scientifiques des données : à l’aide de différentes techniques de traitement, ils leur préparent les données brutes pour l’analyse en différentes étapes. Ces étapes doivent être combinées pour créer des pipelines, et c’est là que l’automatisation entre en jeu. Enfin, les ingénieurs de données utilisent l’informatique parallèle et le cloud pour assurer la fluidité des pipelines.