LLM推理加速：vLLM vs TensorRT-LLM技术对比

LLM推理加速：vLLM vs TensorRT-LLM技术对比

LLM推理的瓶颈不是计算而是显存带宽。vLLM通过PagedAttention将KV缓存分页管理，显存利用率从传统方式的30-40%提升到90%以上，吞吐量提升20倍。TensorRT-LLM借助NVIDIA的闭源优化（FP8量化、内核融合、inflight batching），在H100上可达vLLM的1.5-2倍吞吐。

选型建议：使用NVIDIA GPU + 追求极致吞吐 → TensorRT-LLM；需要灵活性、开源透明、快速部署 → vLLM；AMD GPU或Apple Silicon → llama.cpp的GGUF量化方案。大部分团队从vLLM起步即可，它的Pip安装零配置启动，足够应对10B以下模型的百QPS并发。