METASTONE lança TokenFleet para agendar inferência de LLMs
METASTONE apresentou o TokenFleet, framework distribuído para agendar inferência de LLMs em clusters de GPUs e data centers.
Resumo rápido
- METASTONE anunciou TokenFleet, framework para agendar inferência de LLMs em clusters de GPUs.
- O sistema visa resolver problemas de nível de cluster e melhorar a utilização de capacidade em cargas mistas.
- Dados apresentados em slides da conferência indicam reduções de latência e ganhos de throughput em testes.
Entenda o contexto
TokenFleet é um sistema de agendamento distribuído desenvolvido pela METASTONE para gerenciar a inferência de LLMs em clusters de GPUs e data centers. A ferramenta busca otimizar a distribuição de cargas de trabalho e reduzir problemas de ociosidade e filas.
A operadora independente de computação METASTONE apresentou o TokenFleet, um framework distribuído para o agendamento de inferência de grandes modelos de linguagem (LLMs). A novidade foi anunciada durante a CCF National High Performance Computing Conference.
De acordo com a empresa, o framework não busca fazer com que modelos individuais rodem mais rápido. O foco do TokenFleet está em resolver problemas em nível de cluster, como solicitações acumuladas em determinadas instâncias de GPU enquanto outras ficam ociosas, trabalhos de documentos longos que ocupam espaço de chat em tempo real, além de interrupções e cancelamentos que consomem capacidade sem gerar respostas utilizáveis. O objetivo apontado é elevar a produção efetiva de tokens.
O framework é composto por três partes distintas. O TokenPilot escolhe uma instância dentro de um pool de modelos, avaliando o ganho de reutilizar um prefixo de prompt em cache e o custo de espera em fila. O FleetMind realiza o roteamento entre data centers, verificando a disponibilidade da versão correta do modelo, condições de rede e regras de residência de dados. Já o SLOMax gerencia cargas mistas em um único cluster, separando solicitações em pools distintos para proteger a capacidade interativa.
Conforme dados exibidos em slides da conferência da METASTONE, o roteamento baseado em latência prevista em um deployment ajustado de GLM5.3 reduziu o tempo de espera no percentil 95 em 32,4% e no percentil 50 em 71,3% sob as condições testadas. Em outra estimativa dedicada ao SLOMax, o throughput total de saída subiu cerca de 1,5%, enquanto o throughput dentro da meta aumentou cerca de 29,4%, com a proporção de solicitações atendendo aos alvos de serviço subindo de aproximadamente 67% para cerca de 86%.
A METASTONE pontua que a segunda série de números constitui um exemplo projetado e pondera que menor latência não equivale diretamente a menor custo. A companhia também afirma operar mais de 10 centros de supercomputação e computação inteligente. Segundo a empresa, nenhum dos números apresentados foi verificado de forma independente.
Para conferir outros aspectos de gestão de recursos de hardware para IA, veja o artigo Ai2 adota orçamentos de tempo para gerenciar clusters de GPUs.
Referências
- Fonte consultada: Pandaily — Tecnologia chinesa
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
