4Paradigm e RiseUnion lançam ModelSphere, plataforma open source para servir LLMs
4Paradigm e RiseUnion disponibilizam o ModelSphere, software Apache 2.0 que unifica gerenciamento de recursos, roteamento e auto‑tune para grandes…
Resumo rápido
- 4Paradigm e RiseUnion abriram o código do ModelSphere sob licença Apache 2.0.
- A plataforma gerencia clusters, cache KV e autoscaling acima de vLLM e SGLang.
- Suporta chips heterogêneos como Huawei Ascend e Iluvatar, com claim de +285% de throughput.
Entenda o contexto
ModelSphere é um software de infraestrutura que simplifica a implantação de LLMs em ambientes com diferentes aceleradores, oferecendo gerenciamento de recursos e otimizações automáticas. A iniciativa reflete a crescente demanda por soluções que unifiquem a operação de modelos de linguagem em clusters heterogêneos.
Em 16 de outubro de 2026, as empresas chinesas 4Paradigm e RiseUnion anunciaram a disponibilização do ModelSphere, uma plataforma de implantação de grandes modelos de linguagem (LLM) voltada para produção e lançada sob a licença Apache 2.0.
Recursos e arquitetura
O ModelSphere funciona acima de engines como vLLM e SGLang, acrescentando camadas de roteamento de cluster, um pool de cache KV compartilhado, escalonamento automático baseado em qualidade de serviço (SLO) e recuperação de falhas. Entre as funcionalidades listadas estão painel gráfico de implantação, escala elástica, divisão prefill‑decode, cache KV em três níveis e balanceamento de alta disponibilidade.
Um diferencial apontado pelos anunciantes é o suporte a chips heterogêneos. Por meio da camada de inferência EngineX, a plataforma pode agendar recursos de aceleradores como Huawei Ascend, Iluvatar, Moore Threads e Hygon DCU em um mesmo fleet, evitando a necessidade de reescrever código de baixo nível para cada hardware.
O repositório público no GitHub (modelsphere/modelsphere) já traz adaptações para modelos abertos como DeepSeek‑V4, DeepSeek‑V4‑Flash, Qwen, Kimi, MiniMax e GLM, com a promessa de disponibilizar configurações prontas para produção à medida que novos modelos surgirem.
Quanto ao desempenho, a própria empresa afirma que o recurso AutoTune e o balanceamento consciente de hardware podem aumentar o throughput máximo em cerca de 285 % em relação a um baseline interno, embora ainda não haja auditoria independente que confirme esse número.
O código está livre para uso empresarial, mas a fonte não detalha disponibilidade comercial, preços ou suporte técnico.
Referências
- Fonte consultada: Pandaily — Tecnologia chinesa
Links para conferência: não indicam endosso das fontes ao conteúdo do portal.
Gostou? Compartilhe:
Comentários 0
Ninguém comentou ainda. Seja o primeiro!
