Ant Group e vLLM lançam Humming, biblioteca open‑source para inferência quantizada
Ant Group e a comunidade vLLM disponibilizam Humming, biblioteca open‑source que acelera inferência quantizada em GPUs NVIDIA e no acelerador Zhenwu 810E.
Tag
vLLM
2 artigos
4Paradigm e RiseUnion lançam ModelSphere, plataforma open source para servir LLMs
4Paradigm e RiseUnion disponibilizam o ModelSphere, software Apache 2.0 que unifica gerenciamento de recursos, roteamento e auto‑tune para grandes…