O curso Introdução a Small Language Models (SLMs) apresenta a nova geração de modelos de linguagem que está redefinindo a inteligência artificial. Enquanto os LLMs impressionam pelo tamanho, os SLMs mostram que é possível ter desempenho notável com baixo custo, rodando localmente em máquinas modestas e garantindo privacidade e autonomia sobre os dados.
Ao longo das aulas, você vai descobrir:
Fundamentos dos modelos de linguagem, entendendo a evolução de RNNs e Transformers até os modelos otimizados com poucos bilhões de parâmetros.
Diferenças entre LLMs e SLMs, e como modelos menores reduzem custos e consumo de energia sem comprometer a qualidade.
Arquiteturas modernas, como Qwen, DeepSeek, Gemma e GPT-oS, e seu equilíbrio entre eficiência, raciocínio e multimodalidade.
Ferramentas essenciais, como Hugging Face, GroqCloud e Ollama, com exemplos de instalação, integração via API e execução local.
Técnicas de compressão e otimização, como quantização, LoRA e QLoRA, que permitem treinar e ajustar modelos em GPUs pequenas ou CPUs.
Exemplos práticos, incluindo scripts de limpeza de texto, fine-tuning e inferência, prontos para uso profissional.
Com linguagem acessível e foco prático, o curso mostra como construir, ajustar e aplicar modelos locais ou em nuvem gratuita, explorando um ecossistema open source em rápida evolução.
Ideal para profissionais, estudantes e empreendedores, esta é uma introdução completa à IA eficiente: rápida, sustentável e sob seu controle.
Visão Geral
Parte 1: Fundamentos dos Modelos de Linguagem
Parte 2: Fundamentos dos Modelos de Linguagem
Quiz: Fundamentos dos Modelos de Linguagem
Parte 1: Arquiteturas Modernas de Small Language Models
Parte 2: Arquiteturas Modernas de Small Language Models
Quiz: Arquiteturas Modernas de Small Language Models
Parte 1: Técnicas de Compressão e Otimização
Parte 2: Técnicas de Compressão e Otimização
Parte 3: Técnicas de Compressão e Otimização
Quiz – Técnicas de Compressão e Otimização
Setup
Comandos básicos do Ollama
Ollama with Qwen
Setup – Ollama no Colab com Qwen2.5
Exemplo de Código – Limpeza e Normalização de Texto
Treinamento de Modelos de Linguagem
Exemplo de Código: Fine-Tuning com LoRA
Exemplo Simples de QLoRA, do Início ao Fim
Quiz: Introdução a Small Language Models (SLMs)
Parte 1: Ferramentas e Plataformas para Small Language Models
Parte 2: Ferramentas e Plataformas para Small Language Models
Acessando a GroqCloud
Chamando API na GroqCloud
Quiz: Ferramentas e Plataformas para Small Language Models
Conhecendo a Plataforma Hugging Face
OmniVinci, novo modelo multimodal da Nvidia
Parte 1: Qwen2-VL-2B – Modelo Multimodal Otimizado para GPU Pequena
Parte 2: Qwen2-VL-2B – Modelo Multimodal Otimizado para GPU Pequena
Conclusão