Kimi 大模型训推混部的稳定性与资源优化实战(kimi课程)
在 InfoQ 举办的 QCon 全球软件开发大会上，月之暗面系统『工程师』黄维啸分享了“Kimi 稳定高效的 LLM 基础设施构建之道”，他介绍了月之暗面在训推混部集群中的实践经验，重点探讨如何快速定位并隔离…
标签:"QCon"相关文章
大模型推理新突破：分布式推理技术探索与实践
我们还有个担心，在大规模使用 P-D 分离的情况下，传输流量是否会将整个网络环境打爆，流控机制是否足够好，能否使得 Prefill-Decode之间，距离尽可能的短，让 Prefill-Decode 更靠近…
