O curso Fundamentos Técnicos de LLMs é uma jornada prática e acessível pelos pilares que sustentam os grandes modelos de linguagem — os LLMs. Criado para quem quer entender como essas inteligências realmente funcionam, ele explora desde a arquitetura dos Transformers, baseados no paper histórico “Attention is All You Need”, até as inovações mais recentes como o DeepSeek.
Você vai aprender como os mecanismos de atenção e self-attention permitem que modelos entendam contexto e relevância entre palavras, a estrutura encoder-decoder, camadas multi-cabeças e conexões residuais que tornam o aprendizado eficiente e escalável. Tudo é mostrado de forma didática, com exemplos em Jupyter Notebook, para visualizar o que acontece por trás das respostas de um LLM.
O curso também aborda o treinamento de modelos, destacando a importância da preparação de dados, tokenização, inicialização de pesos e técnicas de regularização, como dropout e early stopping, para evitar overfitting. Você entenderá ainda por que ocorrem as alucinações nos modelos, como mitigá-las e quais são as boas práticas de validação e integração com ferramentas externas.
Por fim, mergulhamos no caso DeepSeek, que revolucionou o setor com eficiência computacional e uso de reinforcement learning e mixture of experts (MoE), tornando possível rodar modelos poderosos até em dispositivos locais.
Com linguagem clara, analogias simples e demonstrações passo a passo, este curso entrega uma base sólida para quem quer dominar os fundamentos da IA generativa e compreender o que realmente há por trás das ferramentas que estão transformando o mundo.
Visão Geral
Arquitetura de Transformadores (Transformers)
Como Funcionam os Transformadores
Quiz: Arquitetura de Transformadores (Transformers)
Mecanismo de Atenção (Self-Attention) e sua Importância
Exemplos de “Self-Attention”
Quiz: Mecanismo de Atenção (Self-Attention) e sua Importância
Treinamento de LLMs
Quiz: Treinamento de LLMs
Conceitos de Overfitting, Underfitting e Regularização
Quiz: Conceitos de Overfitting, Underfitting e Regularização
Módulo Especial: Seria o “Early Stopping” um tipo de regularização?
Alucinações em LLMs
Quiz: Alucinações em LLMs
Por que ocorrem alucinações?
Parte 1: DeepSeek: A Inovação que Desafia os Paradigmas da IA
Parte 2: DeepSeek: A Inovação que Desafia os Paradigmas da IA
Parte 3: DeepSeek: A Inovação que Desafia os Paradigmas da IA
Quiz: DeepSeek- A Inovação que Desafia os Paradigmas da IA
DeepSeek API Setup
Setup DeepSeek R1 Ollama
Conclusão
Quiz Final