Escalando o Aprendizado por Reforço em LLMs
Publicado em
Uma das áreas que acho com maior potencial no treinamento de IAs é a de Aprendizado por Reforço (Reinforcement Learning), que será uma das áreas de estudo no meu mestrado. Um de seus “pais” é o Richard Sutton, último ganhador do Prêmio Turing (o Nobel da computação), e essa é uma área que ganhou muita força com o AlphaGo da Google DeepMind (que tem um EXCELENTE documentário sobre no Youtube), e mais recentemente, TODOS os LLMs que usamos.
O problema é que, apesar de todo esse sucesso, treinar LLMs com RL sempre foi mais “arte” do que “ciência”, no sentido que muito do que era feito era na pegada “tentativa e erro”. Pois essa semana saiu um paper que pode mudar essa história.
A Meta acabou de publicar um paper chamado “The Art of Scaling Reinforcement Learning”, que ataca exatamente um dos maiores problemas de hoje no pós-treinamento de modelos. Até agora, escalar o treino de RL era meio que um tiro no escuro. Você investia milhares de horas de GPU sem ter certeza se a sua “receita” de treino ia realmente dar bons resultados em larga escala, ou se ia simplesmente bater num teto de performance e estagnar.

O que os pesquisadores da Meta fizeram foi basicamente criar um framework pra tentar prever essa performance, algo como as “Scaling Laws” que já conhecemos pro pré-treinamento de modelos, mas pra pro Aprendizado por Reforço. Eles gastaram mais de 400.000 horas de GPU em testes, e conseguiram encontrar um jeito de modelar o ganho de performance do RL de forma previsível!
Algumas conclusões que eles tiraram:
eles propõem o uso de curvas sigmoidais (em formato de “S”) para prever com precisão como o modelo vai se comportar e onde ele vai estagnar.
métodos que parecem ótimos com pouco poder computacional podem ser piores em larga escala. O paper mostra que algumas abordagens começam mais lentas, mas atingem um “teto” de performance muito maior no final. Não dá pra confiar só em testes pequenos.
muitas otimizações comuns só afetam a eficiência (o quão rápido o modelo aprende), mas não o teto de performance (o quão bom ele pode ficar). As decisões mais críticas são as que elevam esse teto, como o tipo de algoritmo, a função de loss (eles apontam a CISPO como muito robusta) e até a precisão dos cálculos (usar FP32 nos logits).
A “receita” que eles criaram (e chamaram de “ScaleRL”) não inventa nada totalmente novo, mas combina as melhores técnicas existentes de uma forma que se mostrou mais estável e escalável. Nos testes deles, ela superou outras receitas famosas, como as usadas por DeepSeek e Qwen.
Na prática, isso tem potencial de ser um grande passo pra transformar o fine-tuning com RL em uma disciplina de engenharia mais previsível e menos “chutômetro”. Isso pode economizar uma quantidade absurda de tempo e dinheiro, permitindo que a gente desenvolva modelos cada vez mais capazes de forma mais inteligente.
Segue o link do paper.