大模型部署运维

大模型部署与运维实战：V100 多卡/多节点 vLLM 集群、AMD 消费卡本地推理与微调（LoRA/QLoRA）、MoE offload 部署的完整落地方案。

---

文档导读

• GLM-5.2（MTP-Mix）部署教程、性能优化与压测方案
• AMD 24G 显卡 + 256G 内存 MoE 模型部署指南
• AMD 24G + 256G 工作站模型微调（炼丹）计划与实操手册
• 6×（8×V100 32G + 200G 网卡）大模型集群落地方案
• V100×8（32G）+ vLLM 部署 Qwen3.5-27B 实战记录