Escalando o Aprendizado por Reforço em LLMs

Publicado em

Uma das áreas que acho com maior potencial no treinamento de IAs é a de Aprendizado por Reforço (Reinforcement Learning), que será uma das áreas de estudo no meu mestrado. Um de seus “pais” é o Richard Sutton, último ganhador do Prêmio Turing (o Nobel da computação), e essa é uma área que ganhou muita força com o AlphaGo da Google DeepMind (que tem um EXCELENTE documentário sobre no Youtube), e mais recentemente, TODOS os LLMs que usamos.

O problema é que, apesar de todo esse sucesso, treinar LLMs com RL sempre foi mais “arte” do que “ciência”, no sentido que muito do que era feito era na pegada “tentativa e erro”. Pois essa semana saiu um paper que pode mudar essa história.

A Meta acabou de publicar um paper chamado “The Art of Scaling Reinforcement Learning”, que ataca exatamente um dos maiores problemas de hoje no pós-treinamento de modelos. Até agora, escalar o treino de RL era meio que um tiro no escuro. Você investia milhares de horas de GPU sem ter certeza se a sua “receita” de treino ia realmente dar bons resultados em larga escala, ou se ia simplesmente bater num teto de performance e estagnar.

Aprendizado por Reforço em escala

O que os pesquisadores da Meta fizeram foi basicamente criar um framework pra tentar prever essa performance, algo como as “Scaling Laws” que já conhecemos pro pré-treinamento de modelos, mas pra pro Aprendizado por Reforço. Eles gastaram mais de 400.000 horas de GPU em testes, e conseguiram encontrar um jeito de modelar o ganho de performance do RL de forma previsível!

Algumas conclusões que eles tiraram:

  • eles propõem o uso de curvas sigmoidais (em formato de “S”) para prever com precisão como o modelo vai se comportar e onde ele vai estagnar.

  • métodos que parecem ótimos com pouco poder computacional podem ser piores em larga escala. O paper mostra que algumas abordagens começam mais lentas, mas atingem um “teto” de performance muito maior no final. Não dá pra confiar só em testes pequenos.

  • muitas otimizações comuns só afetam a eficiência (o quão rápido o modelo aprende), mas não o teto de performance (o quão bom ele pode ficar). As decisões mais críticas são as que elevam esse teto, como o tipo de algoritmo, a função de loss (eles apontam a CISPO como muito robusta) e até a precisão dos cálculos (usar FP32 nos logits).

A “receita” que eles criaram (e chamaram de “ScaleRL”) não inventa nada totalmente novo, mas combina as melhores técnicas existentes de uma forma que se mostrou mais estável e escalável. Nos testes deles, ela superou outras receitas famosas, como as usadas por DeepSeek e Qwen.

Na prática, isso tem potencial de ser um grande passo pra transformar o fine-tuning com RL em uma disciplina de engenharia mais previsível e menos “chutômetro”. Isso pode economizar uma quantidade absurda de tempo e dinheiro, permitindo que a gente desenvolva modelos cada vez mais capazes de forma mais inteligente.

Segue o link do paper.

Assine a newsletter

Receba por e-mail quando sair post novo e também conteúdos exclusivos.