Comprender la ingeniería de datos

En este capítulo, aprenderás qué es la ingeniería de datos y por qué está aumentando su demanda. A continuación, descubrirás dónde se sitúa la ingeniería de datos en relación con el ciclo de vida de la ciencia de datos, en qué se diferencian los ingenieros de datos de los científicos de datos, y tendrás una introducción a tu primera canalización de datos completa.

Es hora de hablar del almacenamiento de datos, una de las principales responsabilidades de un ingeniero de datos. En este capítulo, aprenderás cómo los ingenieros de datos gestionan diferentes estructuras de datos, trabajan en SQL (el lenguaje de programación preferido para consultar y almacenar datos) e implementan soluciones adecuadas de almacenamiento de datos con lagos de datos y almacenes de datos.

Los ingenieros de datos facilitan la vida a los científicos de datos preparando los datos brutos para el análisis mediante distintas técnicas de procesamiento en diferentes pasos. Estos pasos deben combinarse para crear canalizaciones, que es cuando entra en juego la automatización. Por último, los ingenieros de datos utilizan la computación paralela y en la nube para que las canalizaciones fluyan sin problemas.