LLM 推理性能笔记：内存带宽与 MoE 架构#

核心概念：访存密集型 (Memory Bandwidth Bound) 大语言模型（LLM）的推理过程（特别是生成文字的解码阶段）主要是一个访存密集型任务，而不是计算密集型任务。这意味着，限制模型响应速度的最大瓶颈通常是数据在内存与计算核心之间传输的速率（即显存带宽），而非芯片本身的绝对计算能力（算力）。

为什么稠密模型（Dense Model）运行缓慢？

• 全量加载机制： 在模型生成每一个 Token 时，硬件必须将稠密模型的所有权重参数从显存完整地搬运到计算核心中。
• 带宽瓶颈导致拥堵： 模型的理论推理速度 (Token/s) 大致等于：显存带宽 / 模型参数占用的显存大小。
• 设备局限性： 像 Nvidia 128G 小盒子这类设备虽然显存容量极大，但显存带宽相对受限。当运行占用几十 GB 显存的稠密模型时，受限于狭窄的数据通道，单次参数搬运耗时很长。算力再强也只能排队等数据，最终导致吐字极慢（如 4 token/s）。

为什么推荐使用 MoE 模型（混合专家模型）？

• 稀疏激活 (Sparse Activation)： MoE 架构通过路由机制，在生成每个 Token 时只需要激活总参数中极小的一部分专家网络（例如总计 8 个专家，每次只激活 2 个）。
• 完美规避短板： 由于单次推理需要从显存中搬运的数据量大幅度减少，这种机制有效缓解了低带宽带来的访存压力，从而使得在“大显存、低带宽”的设备上也能实现极快的推理体验。