LLMs Progresso Algorítmico – Parte 2
julho 8, 2024 § Deixe um comentário
Segundo vídeo sobre o progresso algorítmico dos LLMs. Aqui conversamos sobre o que esperar do futuro dos LLMs.
Material adicional:
Sistemas de pensamento: https://www.uiux.pt/2021/04/01/how-we-think-and-make-decisions/
Tree of Thoughts: https://arxiv.org/abs/2305.10601
AlphaGo: https://www.zdnet.com/article/deepmind-alphago-zero-learns-on-its-own-without-meatbag-intervention/
Diplomacy: https://arxiv.org/abs/2210.05492
Self-improvement looping (Imagination-Searching-Criticizing): https://www.linkedin.com/pulse/toward-self-improvement-llms-via-imagination-vlad-bogolin-cnzje/
PIT reward model: https://hackernoon.com/ai-self-improvement-how-pit-revolutionizes-llm-enhancement
LLMs Progresso Algorítmico – Parte 1
julho 1, 2024 § Deixe um comentário
Primeiro vídeo sobre o progresso algorítmico dos LLMs. Aqui vemos como é avaliado o progresso dos LLMs.
Material adicional:
Evolução dos modelos de IA: https://epochai.org/data/notable-ai-models#explore-the-data
Leis de dimensionamento (scale laws): https://medium.com/@zaiinn440/training-at-scale-chinchilla-scaling-laws-for-compute-optimal-training-of-llms-eca49f58c358
Multimodalidade (visão): https://blog.codepen.io/2023/03/15/gpt-4-demo-turns-a-crude-sketch-of-a-my-joke-website-into-a-functional-website-for-revealing-jokes/
Multimodalidade (áudio): https://openai.com/index/chatgpt-can-now-see-hear-and-speak/
Marcelo Tibau 