Introdução a LLMs em Python

Os modelos de idiomas grandes (LLMs) representam o auge atual da tecnologia de IA, impulsionando avanços notáveis no processamento e na compreensão de idiomas naturais. Este capítulo é a porta de entrada para você compreender LLMs: o que são, seus recursos extraordinários e a ampla gama de tarefas de linguagem em que são excelentes. Você ganhará experiência prática no carregamento e aproveitamento de vários LLMs para tarefas de compreensão e geração de linguagem. Ao longo do caminho, você será apresentado ao catalisador bem-sucedido que está no centro da maioria dos LLMs: a arquitetura do transformador. Você está pronto para iniciar essa jornada no mundo do LLMs?

Neste capítulo, você descobrirá os segredos e as complexidades práticas dos transformadores, a arquitetura de aprendizagem profunda mais popular usada para criar os modelos de linguagem mais bem-sucedidos da atualidade. Passo a passo, e com a ajuda da biblioteca PyTorch, você aprenderá a projetar e configurar manualmente diferentes tipos de arquiteturas de transformadores. Você desenvolverá uma sólida compreensão de seus elementos principais, incluindo mecanismos de auto-atenção, camadas de codificador e decodificador e cabeças de modelo especializadas projetadas para tarefas de linguagem e casos de uso específicos.

Este capítulo revela o potencial transformador do aproveitamento de grandes modelos linguísticos pré-treinados (LLMs). Ao longo do capítulo, você descobrirá dicas e truques eficazes para dominar casos de uso de linguagem complexa e obterá insights práticos sobre o aproveitamento de LLMs pré-treinados e conjuntos de dados da Hugging Face. Ao longo do caminho, você aprenderá os prós e contras de vários problemas comuns de linguagem, incluindo a classificação de sentimentos, a sumarização e a resposta a perguntas, e explorará como o LLMs é treinado de forma adaptativa para resolvê-los.

Nossa empolgante jornada de aprendizado LLMs está chegando ao fim! Você se aprofundará em diferentes métricas e métodos para avaliar o desempenho do seu modelo, seja ele pré-treinado, uma versão ajustada ou algo que você criou do zero! Você aprenderá sobre os aspectos cruciais e os desafios da aplicação de modelos de linguagem em cenários do mundo real, incluindo a otimização de um modelo com feedback de humanos (RLHF), o enfrentamento de resultados de linguagem tendenciosos e muito mais.