Marcelo Tibau

Explore os limites dos Grandes Modelos de Linguagem (LLMs) e o desafio de encontrar dados de qualidade para treiná-los no mundo digital.

Peguei emprestado o título de um verso de uma canção do Bob Dylan que adoro, Ballad of a Thin Man, mas bem que poderia ser “a sinuca-de-bico dos LLMs”. Ou ainda, a pergunta “de onde vem o conteúdo das IAs generativas?”.

A verdade é que não é surpresa alguma para quem é do meio que estamos ficando sem dados para treinar as novas versões de LLM – Large Language Models (quem tiver interesse, gravei dois vídeos de introdução sobre os Grandes Modelos de Linguagem, com uma pegada técnica mais acessível aos leigos – parte 1 e parte 2). A questão é saber o quanto estamos próximos do limite. Essa semana, conversei com alguns colegas sobre o assunto. Em especial, Mark Cummins, compartilhou algumas estimativas da quantidade total de texto de Internet disponível no mundo. A estimativa do Mark está baseada nas principais fontes públicas e privadas existentes hoje.

Leia o texto completo em Update or Die. Publicado em 14/05/2024.

You can read the English version, “Something is Happening, But You Don’t Know What It Is,” on Substack or Medium.