模型部署与推理优化

知识地图

按模块分列，箭头为 prerequisites 依赖边；带 ★ 的是最小可用路径节点。悬停查看完整标题，点击进入知识点。

最小可用路径 其他知识点箭头方向 = 学习前置关系
01-全景与度量kp-001 推理优化全景与发展脉络（入门 · 15 分钟）kp-001 ★推理优化全景与发展脉络kp-002 性能度量：TTFT、TPOT、吞吐与延迟分位数（入门 · 20 分钟）kp-002 ★性能度量：TTFT、T…kp-003 Prefill 与 Decode：Transformer 推理的两阶段（核心 · 20 分钟）kp-003 ★Prefill 与 D…kp-004 显存账本与容量估算（核心 · 25 分钟）kp-004 ★显存账本与容量估算02-量化压缩kp-005 数值格式与量化基础（入门 · 20 分钟）kp-005数值格式与量化基础kp-006 权重量化方法：scale、零点与分组粒度（核心 · 25 分钟）kp-006权重量化方法：scal…kp-007 GPTQ：基于 Hessian 的逐层误差补偿（核心 · 25 分钟）kp-007GPTQ：基于 Hes…kp-008 AWQ：激活感知的权重量化（核心 · 20 分钟）kp-008AWQ：激活感知的权重…kp-009 量化实践：精度-速度-显存权衡与回退策略（进阶 · 30 分钟）kp-009量化实践：精度-速度-…03-剪枝与蒸馏kp-010 剪枝：非结构化与结构化（核心 · 25 分钟）kp-010剪枝：非结构化与结构化kp-011 知识蒸馏：从 logits 到 on-policy（核心 · 25 分钟）kp-011知识蒸馏：从 logi…kp-012 压缩组合拳：蒸馏-剪枝-量化的流水线编排（进阶 · 20 分钟）kp-012压缩组合拳：蒸馏-剪枝…04-KV与注意力kp-013 KV Cache：原理与显存占比（核心 · 20 分钟）kp-013 ★KV Cache：原理…kp-014 PagedAttention 与 KV 显存分页管理（核心 · 25 分钟）kp-014PagedAttent…kp-015 FlashAttention：IO 感知的精确注意力（核心 · 25 分钟）kp-015FlashAttent…kp-016 KV Cache 压缩：GQA/MQA、滑动窗口与 KV 量化（进阶 · 25 分钟）kp-016KV Cache 压缩…05-解码与投机kp-017 采样策略与解码参数（入门 · 15 分钟）kp-017采样策略与解码参数kp-018 投机解码：draft-verify 与接受率（进阶 · 25 分钟）kp-018投机解码：draft-…kp-019 投机解码的变体与前沿：Medusa、EAGLE 与无 draft 方案（前沿 · 20 分钟）kp-019投机解码的变体与前沿：…06-推理服务kp-020 推理引擎格局：vLLM、SGLang、TensorRT-LLM 与 llama.cpp（核心 · 20 分钟）kp-020推理引擎格局：vLLM…kp-021 连续批处理（Continuous Batching）（核心 · 20 分钟）kp-021 ★连续批处理（Conti…kp-022 vLLM 参数级配置与调优（核心 · 30 分钟）kp-022 ★vLLM 参数级配置与…kp-023 路由、多副本与自动扩缩容（进阶 · 25 分钟）kp-023路由、多副本与自动扩缩…kp-024 PD 分离架构：Prefill 与 Decode 的解耦部署（前沿 · 20 分钟）kp-024PD 分离架构：Pre…07-端侧与实践kp-025 端侧部署：ONNX Runtime 与 llama.cpp 两条路径（核心 · 25 分钟）kp-025端侧部署：ONNX R…kp-026 GGUF 量化档位与 CPU/混合推理（进阶 · 25 分钟）kp-026GGUF 量化档位与 …kp-027 排错清单：OOM、长尾延迟与吞吐瓶颈的定位方法（进阶 · 30 分钟）kp-027 ★排错清单：OOM、长尾…kp-028 成本核算与容量规划（进阶 · 25 分钟）kp-028成本核算与容量规划kp-029 常见误区总表与选型决策树（进阶 · 20 分钟）kp-029常见误区总表与选型决策…

模块图例