模域 ModelSphere | 大模型推理基础设施

Özet

模域 ModelSphere：基于 Kubernetes 的开源大模型推理基础设施，连接模型部署、异构算力、服务质量控制与负载驱动的性能优化。