选择合适的 GPU

对于自托管 LLM 的 AI 团队来说，选择合适的 GPU 是最重要的早期决策之一。这个选择会直接影响吞吐量、延迟、内存上限以及整体成本。人们很容易依赖 GPU 基准测试或 GPU 对比图表来辅助决策。然而，这些数字很少能完整反映特定用例中 LLM 工作负载的真实情况。

GPU、显卡与加速器

首先，我们来澄清几个经常被混用、但实际上含义不同的术语。

GPU（图形处理器）

GPU 是处理器芯片本身。它最初是为图形渲染设计的，能够同时执行数千次计算。在现代 AI 工作负载中，GPU 是承担繁重计算任务的“核心大脑”。

显卡

显卡是包含 GPU 的完整硬件封装。它包括芯片、显存（VRAM）、散热系统、电源接口和输出端口。你也可能看到“video card”或“graphics adapter”等说法。GPU 只是显卡的一部分，但它是其中的核心组件。

加速器

加速器是一个更广泛的类别，指专门为了加速某些类型计算而构建的硬件。GPU 是加速器的一种，但不是唯一一种，例如：

• AI/ML 加速器（如 Google TPU、Intel NPU）
• 密码学加速器
• 物理处理单元（PPU）
• 为特定任务配置的现场可编程门阵列（FPGA）

关键区别在于：所有现代显卡都包含 GPU，所有 GPU 都属于加速器，但并不是所有加速器都是 GPU，也不是都面向图形场景。如今，许多 GPU 的主要用途已经不是图像渲染，而是 ML/AI 训练与推理等非图形工作。

如果你从云供应商租用算力，通常只会在账单中看到 GPU 费用。但在阅读它们的营销材料或博客文章时，准确理解它们具体指的是什么仍然很重要。

为什么 GPU 选择对推理很重要

现代 AI 应用越来越多地由 LLM 等生成式 AI（GenAI）模型驱动。与传统 ML 模型不同，这些模型的参数规模可能达到数千亿，例如拥有 6710 亿参数的 DeepSeek-V3.1。要运行这种规模的模型，你需要 NVIDIA H200 或 AMD MI300X 这类极其强大的 GPU。只有这样，你才能借助最新优化技术，充分释放它们的推理潜力。

不过，并不是每个工作负载都需要这么强的算力。更小的开源 LLM，例如 Llama-3.1-8B，就能在 NVIDIA L4 或 AMD MI250 这类中端 GPU 上高效运行。轻量级模型甚至可以运行在入门级显卡或常规云实例上。

关键在于为任务匹配正确的 GPU，以获得最佳性价比。错误的选择会导致瓶颈，限制吞吐量、增加延迟，并推高成本。

理解 GPU 类型

并不是所有 GPU 都是为同一种用途打造的。当你查看 GPU 基准测试时，通常会看到数据中心卡、消费级显卡，甚至移动端芯片混在一起。在为推理工作负载做选择之前，理解这些主要类别很重要。

消费级 GPU

这类 GPU 最初面向游戏市场，但仍广泛用于较小的开源 LLM 和实验场景。它们通常 VRAM 更少，但更具成本效益。典型例子包括 NVIDIA RTX 4090 或 AMD Radeon RX 7900 XTX。

工作站 GPU

工作站级显卡位于消费级和数据中心硬件之间。它适合需要在单机上获得较强算力的专业用户，常见于 3D 设计、可视化或模型原型开发。NVIDIA RTX A6000 或 AMD Radeon Pro W6800 等都属于这一类。

数据中心 GPU

企业依赖数据中心 GPU 来支撑大规模 AI 推理和高性能计算（HPC）工作负载。它们提供高 VRAM（40–192GB）、强大的内存带宽，以及 multi-instance GPU（MIG）或 NVLink 等特性，便于跨集群扩展。典型例子包括 NVIDIA A100、H100、B200，以及 AMD MI300X、MI350X。

对于租用云算力或在本地部署 LLM的团队来说，数据中心 GPU 通常是最实际的选择。

选择 GPU 时的关键考量

选择 GPU 时要记住，原始基准数字并不能说明全部问题。最佳选择取决于硬件规格、工作负载规模和生态支持等多方面因素。

GPU 内存（VRAM）

VRAM 决定了模型规模和上下文长度的上限，因为推理期间 GPU 访问的所有内容都必须驻留在内存中：模型权重、激活值以及 KV 缓存。权重决定了基础占用，因此模型首先必须能装入内存，你才能为其提供服务。例如，拥有 6710 亿参数的 DeepSeek V3 和 R1 需要 8 张 NVIDIA H200 GPU（每张 141 GB）才能运行。相比之下，像 Phi-3 这样较小的模型在量化后可装入 16–24GB。随后，KV 缓存会消耗剩余的 VRAM，而这会限制你所能支持的上下文长度。

在生产环境中，主要挑战往往是 KV 缓存。它的大小会随着序列长度线性增长，这意味着长上下文工作负载很快就会耗尽内存。为了避免瓶颈，你需要使用分布式推理技术，例如 prefill-decode disaggregation 和 KV cache offloading。

内存带宽

内存带宽指 GPU 在其 HBM 与计算核心之间搬运数据的速度，通常以 GB/s 或 TB/s 衡量。对于 LLM 推理，它是最重要的规格之一，因为 解码阶段是受内存限制的。为了生成每一个新 token，GPU 必须不断从 HBM 中流式读取模型的大部分或全部权重（以及不断增长的 KV 缓存），而每读取一个字节的数据，只进行相对较少的计算。

因此，单路解码速度的理论上限大致为：

maximum decode tokens/sec ≈ memory bandwidth / bytes read per token

例如，一个 700 亿参数的 FP16 模型约含 140 GB 权重。在 H100 SXM 上，HBM 带宽约为 3.35 TB/s，这意味着在不考虑其他额外开销（如 KV 缓存）的情况下，每个序列的理论上限约为 24 tokens/s。

这就是为什么预填充阶段（并行处理提示词）与解码阶段表现非常不同。这也解释了为什么 batching 能如此有效地提升吞吐量：相同的权重读取可以在多个序列之间复用，让 GPU 以更多计算工作来换取更低的内存带宽压力。

计算吞吐量

计算吞吐量是指 GPU 每秒能够执行多少数学运算，通常以 FLOPS（每秒浮点运算次数）衡量，它限制的是 受计算限制的预填充阶段：长提示词编码、大批量处理，以及任何算术强度较高的工作负载。现代数据中心 GPU 依靠专用矩阵单元（NVIDIA Tensor Cores、AMD Matrix Cores）来实现这些性能，而更低精度通常会使吞吐率近乎翻倍（例如 FP16 → FP8 → FP4）。

阅读规格表时，要注意几个问题：

• 注意星号说明。供应商常常给出的是带稀疏性的峰值 FLOPS，或是在支持的最低精度下的峰值。比较显卡时，要在相同精度和相同 dense/sparse 假设下对比。
• FLOPS 不是面向用户的指标。你最终关心的是 tokens per second 和延迟（TTFT 和 ITL）。某张 GPU 即使 FLOPS 很高，在解码阶段仍可能被内存带宽限制，因此这两个数字必须结合起来看。
• 精度支持是硬门槛。原生 FP8 需要 NVIDIA H 系列或更新型号。较旧的显卡会退回更高精度，从而失去吞吐优势。

若想进一步提升有效吞吐量，可以采用 speculative decoding, prefill-decode disaggregation 和 continuous batching 等技术。

GPU 互连

GPU 互连决定了当工作负载跨越多张 GPU 时，数据（例如 KV 缓存）在单节点内和跨节点之间交换的速度。这一点对使用 tensor parallelism, pipeline parallelism 或其他分布式推理技术的大模型尤为重要。如果互连速度较慢，增加更多 GPU 也许能提高内存容量，但未必能带来预期中的吞吐量或延迟提升。

• 节点内互连。这是指同一台服务器内部 GPU 之间的通信。对于紧耦合的多 GPU 推理，高带宽互连如 NVIDIA NVLink/NVSwitch 或 AMD Infinity Fabric，通常远快于仅使用 PCIe 的配置。以 H100 为例，NVLink 可提供 900 GB/s 的双向 GPU 到 GPU 带宽，约为单条 PCIe 5.0 链路 128 GB/s 双向带宽的 7 倍。
• 节点间互连。这是指不同 GPU 服务器之间的网络通信。单个节点通常包含 4 到 8 张 GPU，尽管也存在更大或更专用的系统。一旦模型或工作负载超出单节点在功耗、散热或外形等方面所能支持的范围，通信就必须通过网络进行。实际可行的方案包括 InfiniBand（配合 GPUDirect RDMA）或高度调优的 RoCEv2 以太网。

经验上，尽量把通信最密集的并行方式限制在单节点内。如果必须跨节点扩展，应评估整个集群拓扑，而不只是 GPU 类型。

成本与可用性

消费级和工作站级 GPU 更容易获得、价格也更低，但通常受限于 VRAM。数据中心 GPU 为企业 AI 部署提供所需的规模和可靠性，不过代价更高。对于 NVIDIA H100 和 H200 这类高性能 GPU 来说尤其如此。

对于企业 AI 团队，更大的挑战在于 GPU CAP Theorem：GPU 基础设施无法同时保证 Control、按需 Availability 与 Price。

	Hyperscaler	NeoCloud (Serverless)	NeoCloud (Long-term Commitment)	On-prem
Control	High	Low	Medium	High
On-demand Availability	Medium	High	Low	Low
Price	High	Medium	Low	Medium

生态与框架支持

GPU 的效果取决于其软件支持。NVIDIA 受益于成熟的 CUDA Toolkit 和 TensorRT-LLM 生态。AMD 的 ROCm 栈也在稳步完善，并且在 PyTorch、vLLM 和 SGLang 中获得了越来越多的支持。

将 GPU 与开源 LLM 进行匹配

不同模型在不同类型的 GPU 上表现最佳。下表将常见的 NVIDIA 和 AMD GPU 映射到适合的开源 LLM。有些模型需要 多张 GPU 才能满足 VRAM 需求，或者你需要使用 quantization 等优化技术。

GPU 对比表

按厂商或 VRAM 需求筛选并排序数据中心 GPU

厂商：

VRAM：

GPU ↕	VRAM ↑	Memory BW ↕	Example LLMs	Notes
NVIDIA T4	16 GB	320 GB/s	Llama-2-7B (4-bit quantized)	入门级数据中心 GPU；适合小模型（<10 GB），性价比较高
NVIDIA L4	24 GB	300 GB/s	Llama-3-8B, Gemma-4-E4B, Qwen3.5-9B	高性价比中端选择；云上可用性高
NVIDIA A100	40 / 80 GB	1.6–2.0 TB/s	Gemma-4-26B-A4B, gpt-oss-20b, gpt-oss-120b, Llama-3.3-70B	中大型模型（>10GB）与复杂视觉任务的主力卡；CUDA 生态成熟
NVIDIA H100	80 GB	3.35 TB/s	Gemma-4-31B, Qwen3.6-35B-A3B, DeepSeek-V4-Flash, MiMo-V2-Flash	针对 Transformer 推理优化；原生支持 FP8；大规模场景下吞吐量出色
AMD MI250	128 GB	3.2 TB/s	Llama-3.1-8B, Qwen3.5-9B, Phi-3-medium, gemma-7b-it	内存带宽强；AMD 中端方案里的稳健选择
NVIDIA H200	141 GB	4.8 TB/s	MiniMax-M3, MiMo-V2.5, Kimi-K2.6, Qwen3.5-397B-A17B, Step 3.5 Flash	显存容量高；面向前沿规模 LLM 设计
NVIDIA B200	192 GB	8.0 TB/s	DeepSeek-V4-Flash, DeepSeek-V4-Pro, GLM-5.2, MiniMax-M3, MiMo-V2.5-Pro	Blackwell 架构；原生支持 FP4；适合万亿参数模型的超高吞吐量
AMD MI300X	192 GB	5.3 TB/s	gpt-oss-120b, MiniMax-M3, DeepSeek-R1-0528, MiMo-V2.5, Qwen3.5-397B-A17B	显存大；适合大型模型的强力选择
AMD MI325X	256 GB	6.0 TB/s	Gemma-4-31B, MiniMax-M3, DeepSeek-V3.2, GLM-5.2, Qwen3.5-397B-A17B	第三代 CDNA 架构；面向超大规模多 GPU 集群
AMD MI355X	288 GB	8.0 TB/s	GLM-5.2, Kimi-K2.6, MiniMax-M3, MiMo-V2.5-Pro	第四代 CDNA 架构；支持 FP4/FP6；在最大规模开源模型上可与 B200 对位

此表仅供参考。对于生产部署，始终应在目标硬件上对你自己的模型进行基准测试。

需要注意的事项：

• FP8 支持。如果你选择 NVIDIA GPU，请注意依赖原生 FP8 权重的 LLM 只能运行在 NVIDIA H 系列（或更新）GPU 上。这是因为 A 系列显卡不支持 FP8 硬件。
• 单 GPU vs. 多 GPU。有些模型可以在单卡上运行，但通常使用多张 GPU 时性能会更好（例如高并发场景）。
• 硬件灵活性。大多数模型都可以运行在不同硬件上。例如，gpt-oss-20b 和 gpt-oss-120b 可以运行在 NVIDIA A100、H100、H200、B200 GPU 或 AMD MI300X、MI325X、MI355X GPU 上。真正的限制因素通常是 VRAM 和集群规模，而不是架构本身。了解如何计算服务 LLM 所需的 GPU 内存。

---

如果你正在评估用于自托管 LLM 的 GPU 方案，我们支持通过统一代码库在 NVIDIA、AMD、Apple Silicon、CPU 等硬件上运行开源和自定义模型。你可以在本地运行模型、在自己的云中部署（BYOC），或根据需要使用共享与专用端点。

联系我们

常见问题

权重会在什么时候、以什么方式加载到 GPU 内存中？

权重加载发生在服务启动时。具体流程如下：

1. 从磁盘读取模型文件（SSD / network storage）
   • 模型 checkpoint（例如 .safetensors、.bin）
   • 通过 CPU 读取
   • 相比 GPU 内存非常慢
   • 带宽：SSD 约为 ~1–10 GB/s
2. CPU RAM 暂存
   • 权重会暂时放入系统内存
   • 通常会进行反序列化或 memory-mapped
   • 典型配置下 CPU RAM 带宽约为 ~50–200 GB/s
3. 传输到 GPU HBM
4. 在服务进程的整个生命周期内缓存在那里

一旦复制完成，权重就会存储在 HBM 中，并可在每次 forward pass 期间被重复读取。对于解码阶段，权重不会从磁盘或 CPU 重新加载；它们会直接从 HBM 中复用。

如果你使用的是 tensor parallelism， 每张 GPU 都会持有每一层权重矩阵的一部分。

面向 AI 工作负载，最好的 GPU 对比工具是什么？

大多数通用 GPU 对比工具更关注游戏或图形性能，这并不能反映真实的 AI 推理工作负载。对于 LLM，你需要能够衡量 吞吐量和 TTFT、ITL 等延迟指标 的工具。

你可以先查看 vLLM、SGLang 和 TensorRT-LLM 等框架的开源排行榜。它们提供了现成脚本，帮助你比较不同 GPU 上的推理性能。

不过，这些框架通常需要手动配置和调优，这会比较耗时。

我可以去哪里购买或租用 GPU 服务器？

你可以根据规模、控制需求和预算，选择购买本地 GPU 服务器或租用云 GPU。

AWS、Google Cloud 和 Azure 等云供应商允许你按需租用 H100、H200 或 MI300X GPU。

CoreWeave 和 Nebius 等 NeoCloud 则提供更低成本的访问和更灵活的计费方式。不过，它们通常为受监管或企业环境提供的控制能力和合规保障较少。

如果你更倾向于完全拥有硬件，也可以直接从 Dell、GIGABYTE 或 HPE 等原始设备（OE）合作伙伴处购买 GPU 服务器，它们与 NVIDIA 和 AMD 直接合作。这一路线能带来最大控制权，但也意味着更高的前期成本和更长的采购周期。

我如何查看自己使用的是什么 GPU？

在大多数系统上，你可以使用命令行工具快速确认 GPU 类型：

• Linux：nvidia-smi（NVIDIA）或 amd-smi（AMD）。
• macOS：system_profiler SPDisplaysDataType。
• Windows：打开 Device Manager → Display Adapters。

在选择 GPU 时，CUDA 和驱动版本有多重要？

非常重要。GPU 性能不只取决于硬件。你的 NVIDIA 驱动、CUDA 版本以及框架构建版本（例如 PyTorch、vLLM、SGLang、TensorRT-LLM）都必须相互匹配。否则你会看到错误、性能下降，或缺失 FP8、 FlashAttention 等特性。如果你想理解这些不匹配为何会在更底层造成问题，可以参考 GPU architecture fundamentals。

对于 NVIDIA GPU：

• Driver 包含 CUDA Driver API，并直接与 GPU 通信
• CUDA toolkit 提供开发工具、编译器和库
• cuDNN、cuBLAS 和 NCCL 为 PyTorch 及大多数推理引擎内部的操作提供支持
• Framework builds 是针对特定 CUDA toolkit 版本编译的

如果栈中的任何一部分过旧，你都可能遇到如下问题：

• “CUDA driver version is insufficient”
• 内核失败
• 吞吐量差
• 缺少 FP8、FlashAttention 或设备级优化

一个简单经验法则是：

• 你的 driver's CUDA version 必须 ≥ 你的框架构建所使用的 CUDA toolkit version。
• 较新的驱动通常向后兼容较旧的 CUDA toolkit。
• 较旧的驱动无法运行较新的 CUDA runtime。

你可以通过以下命令确认驱动和 GPU：

nvidia-smi

# Example output:
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.129.03             Driver Version: 535.129.03   CUDA Version: 12.2     |
|-----------------------------------------+----------------------+----------------------+

这表示你的驱动最多支持 CUDA 12.2 runtime。你的框架可以使用 CUDA 12.2、12.1、11.8 等版本构建，但不能使用 12.3 或更新版本。

如需升级，请下载官方 CUDA toolkit 和 driver 安装包。