Introdução ao controle de versão de dados com DVC

Este capítulo fornece uma introdução abrangente ao Controle de versão de dados (DVC), uma ferramenta essencial para o controle de versão de dados em machine learning. Os alunos explorarão a motivação por trás do controle de versão de dados, entenderão suas diferenças em relação ao controle de versão de código e farão experiências com um problema de classificação simples. Eles revisarão os comandos básicos do Git, aprenderão sobre DVC e praticarão a configuração de um repositório. O capítulo termina com uma visão geral dos recursos e casos de uso do DVC, incluindo dados e modelos de controle de versão, CI/CD para machine learning, rastreamento de experimentos, pipelines e muito mais.

Este capítulo aborda a configuração do DVC, abrangendo aspectos como instalação, inicialização do repositório e a utilização do arquivo .dvcignore. Além disso, você navegará pela exploração do cache DVC e dos arquivos de preparação, transmitindo conhecimento sobre como adicionar e remover arquivos, gerenciar caches e compreender os mecanismos subjacentes usando o hash MD5. O capítulo também esclarece sobre os controles remotos do DVC, distinguindo-os dos controles remotos do Git, e orienta você sobre como adicioná-los, listá-los e modificá-los. Por fim, ele ensina você a interagir com esses controles remotos, enviando e extraindo dados, verificando versões específicas e buscando dados no cache.

Este capítulo se concentra na automação dos pipelines do ML usando o DVC. Os alunos criam um arquivo de configuração que contém configurações e hiperparâmetros. Eles também aprendem sobre a visualização de pipeline usando gráficos acíclicos direcionados e usam comandos para descrever dependências, comandos e saídas. A execução dos pipelines do DVC é abordada, incluindo o treinamento de modelos locais e como o Git programa os metadados do DVC. Além disso, os alunos exploram o rastreamento de métricas e gráficos em DVC, incluindo como imprimir métricas, criar arquivos de gráficos e comparar métricas e gráficos em diferentes estágios do pipeline.