算力如何选择

【第一步 · 能不能装下】按 prefill 峰值算

1. 预算池/卡 = 标称 × 0.9 − 驱动/ECC/context
2. 权重/卡 = 参数量 × 字节 / TP (MoE: 共享 + 专家/EP)
3. workspace = 1~3GB (+长上下文 +2~5GB)
4. KV池/卡 = 预算池 − 权重 − workspace
5. KV/token/卡 = 2 × 层数 × (KV头/TP) × head_dim × KV精度字节
   (MLA: (latent + rope) × 层数 × 字节)
6. 显存并发上界 = KV池 / (KV/token × ctx) × 0.95
7. 总并发 = 单卡上界 × 卡数 (单机NVLink) / × (卡数/TP) 副本 (跨机)
8. 最终并发 = min(第7步, 算力上界, 带宽上界)

【第二步 · 跑多快】先单序列定调，再batch定吞吐

单序列速度 ≈ 带宽 × 0.5~0.7 ÷ 激活权重字节
吞吐上限 ≈ min( 带宽 ÷ (权重 + batch×序列×KV/token) , 算力 ÷ (2×激活参数) )