Anthropic lanca Message Threads para acelerar conversas longas
Novo recurso da Anthropic reduz tempo para o primeiro token em conversas longas no Claude, segundo a empresa.
Resumo rápido
- A Anthropic liberou o Message Threads em beta público na plataforma Claude.
- A tecnologia transmite apenas o que mudou desde a última mensagem, diminuindo o tempo de resposta em requisições extensas.
- O recurso está disponível na plataforma Claude e por meio da AWS, da Microsoft Foundry e do Google Cloud.
Entenda o contexto
A Anthropic desenvolve modelos e assistentes de inteligência artificial. O recurso Message Threads foi criado para otimizar o processamento de conversas longas nas plataformas da empresa e de parceiros.
A Anthropic anunciou o lançamento do Message Threads como uma versão beta pública em sua plataforma Claude, conforme divulgado em reportagem do The Decoder. O recurso busca otimizar o processamento de conversas extensas.
De acordo com a empresa, enquanto as solicitações anteriores precisavam reenviar todo o histórico da conversa a cada chamada de API, o novo mecanismo transmite apenas o que foi alterado desde a mensagem anterior. A companhia afirma que essa mudança reduz o tempo para o primeiro token em cerca de 35% em solicitações que variam entre 500.000 e um milhão de tokens.
O uso de tokens permanece inalterado, pois o Claude continua realizando a leitura do histórico completo da conversa. O recurso foi projetado para beneficiar especialmente agentes de programação, agentes de uso de computadores e fluxos de trabalho que lidam com grande volume de documentos ou imagens.
A empresa informou que o thread permanece criptografado na memória durante o intervalo entre as solicitações e expira após cinco minutos de inatividade. O recurso funciona diretamente na plataforma Claude, além de estar acessível por meio de parceiros como AWS, Microsoft Foundry e Google Cloud, com orientações detalhadas disponíveis na documentação oficial.
Referências
- Reportagem consultada: The Decoder
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
