Engenheiro da Anthropic explica queda na qualidade de escrita do Claude
Jackson Kernion explicou como o ajuste para código e comunicação entre IAs afetou o estilo de texto dos modelos da Anthropic.
Resumo rápido
- Modelos recentes do Claude foram otimizados para matemática, código e interação com outras IAs.
- O ajuste causou um estilo de texto denso e menos natural para leitores humanos.
- A Anthropic afirma ter encontrado um equilíbrio melhor no recente modelo Opus 5.5.
Entenda o contexto
O ajuste fino por aprendizado por reforço define como um modelo de linguagem responde aos usuários após a fase inicial de treinamento. A Anthropic desenvolve a família de modelos Claude, cujas versões mais recentes buscam equilibrar tarefas técnicas complexas com a geração de textos em linguagem natural.
Jackson Kernion, engenheiro responsável pelo ajuste fino do Claude na Anthropic, explicou recentemente os motivos que levaram à alteração no estilo de escrita dos modelos da empresa. Segundo Kernion, o modelo Opus 4.6 havia sido o último com foco destacado em redação para humanos, pois as versões subsequentes priorizaram o desempenho em matemática e programação.
Além da otimização para código, a companhia treinou os modelos para gerar explicações técnicas direcionadas ao processamento de outras inteligências artificiais. Kernion afirma que o modelo se adaptou à psicologia dos grandes modelos de linguagem (LLMs), aprendendo a escrever para sistemas computacionais em vez de leitores humanos. Como as IAs possuem capacidade de memória de trabalho muito superior à humana e captam detalhes em níveis extremamente finos, o processo de treinamento resultou no que o engenheiro classifica como blocos de informação excessivamente densos.
Recompensa no treinamento e busca por equilíbrio
De acordo com o funcionário da Anthropic, o desafio está diretamente ligado à estrutura de recompensa aplicada durante o aprendizado por reforço. Enquanto certas métricas otimizam a compreensão para modelos de IA, outras buscam a clareza para a leitura humana. Quanto mais um sistema é treinado em matemática e lógica de programação, mais a equipe de desenvolvimento precisa atuar para recompensar explicações simples e acessíveis.
Com o lançamento do Opus 5.5, a empresa alcançou um equilíbrio melhor na linguagem, segundo o especialista. Embora considere o problema complexo e ainda sem solução definitiva, Kernion relatou não estar tão satisfeito com a escrita de um modelo desde o lançamento do Opus 4.6, e ressaltou que a Anthropic continuará trabalhando em melhorias contínuas para o assistente.
Referências
- Reportagem consultada: The Decoder
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
