SVIP免费 大模型推理框架升级之路 大模型推理 AI 最早上线的一个版本，显著降低显存占用，使得模型使用较少卡启动，增大服务承载能力，降低成本50% weight 跟 kv cache在推理框架占用显存为大头，优先优化能有效降低成本
