Entendendo a engenharia de dados

Neste capítulo, você aprenderá o que é engenharia de dados e por que a demanda por eles está aumentando. Em seguida, você descobrirá onde a engenharia de dados se situa em relação ao ciclo de vida da ciência de dados, como os engenheiros de dados diferem dos cientistas de dados e terá uma introdução ao seu primeiro pipeline de dados completo.

É hora de falar sobre armazenamento de dados - uma das principais responsabilidades de um engenheiro de dados. Neste capítulo, você aprenderá como os engenheiros de dados gerenciam diferentes estruturas de dados, trabalham em SQL\- a linguagem de programação preferida para consultar e armazenar dados - e implementam soluções adequadas de armazenamento de dados com data lakes e data warehouses.

Os engenheiros de dados facilitam a vida dos cientistas de dados, preparando dados brutos para análise usando diferentes técnicas de processamento em diferentes etapas. Essas etapas precisam ser combinadas para criar pipelines, que é quando a automação entra em ação. Por fim, os engenheiros de dados usam computação paralela e em nuvem para manter os pipelines fluindo sem problemas.