如果说 V100 是 Tensor Core 的开创者，那么 2020 年发布的 A100（基于 Ampere 架构） 则是真正让大语言模型（LLM）落地的功臣。它不仅提升了速度，更彻底改变了数据中心利用 GPU 资源的方式。

1. 核心架构：Ampere 的飞跃

A100 采用了 TSMC 7nm 工艺，集成了 542 亿个晶体管。相比前代 V100，它在架构设计上有三大核心突破：

第三代 Tensor Core 与 TF32 精度

这是 A100 最具代表性的创新。

• TF32 (Tensor Float 32)：这是一种全新的数学格式。它拥有 FP32 的动态范围，但计算速度却接近 FP16。
• 意义：开发者无需更改任何代码，只需在 A100 上运行原有的 FP32 训练任务，就能获得最高 10 倍 的加速。这极大地降低了模型训练的门槛。

结构化稀疏（Structural Sparsity）

在深度学习中，很多神经网络参数其实是“无用”的（权重接近 0）。

• 原理：A100 可以通过硬件级加速，跳过这些无用参数的计算。
• 效果：在不损失精度的前提下，将推理和训练的吞吐量翻倍。

多实例 GPU (MIG) 技术

这是 A100 最受数据中心管理员欢迎的功能。

• 原理：它允许将一张物理 A100 “切割”成最多 7 个独立的 GPU 实例。
• 意义：每个实例都有独立的显存、缓存和计算核心。这解决了“大卡跑小任务”造成的资源浪费。例如，你可以让 1 个实例跑简单的语音识别，另外 6 个实例跑不同的推理任务。

2. 存储性能：HBM2e 与 80GB 版本

大模型（如 GPT-3）非常贪婪，不仅要算力，还要极大的显存空间。A100 演化出了两个主要版本：

专家解读： 80GB 版本的出现是关键节点。由于显存带宽首次突破了 2TB/s，它解决了训练时的“IO 瓶颈”，让 A100 至今仍是许多公司微调（Fine-tuning）主流模型（如 Llama-3-70B）的首选。

3. 计算规格一览

A100 是一款非常平衡的 GPU，不仅在 AI 领域表现出色，在高性能计算（HPC）领域也保留了极强的双精度性能。

• FP64 (双精度)：9.7 TFLOPS（科学计算、流体模拟）
• TF32 (AI 训练标准)：156 TFLOPS（稀疏模式下 312 TFLOPS）
• FP16/BF16 (混合精度)：312 TFLOPS（稀疏模式下 624 TFLOPS）
• INT8 (推理速度)：624 TOPS（稀疏模式下 1248 TOPS）

4. 互联技术：NVLink 3.0

为了训练大模型，单卡是不够的。A100 搭载了 第三代 NVLink。

• 速度：双向带宽高达 600 GB/s（是 PCIe 4.0 的近 10 倍）。
• 集群能力：配合 NVSwitch，多达 16 张 A100 可以组成一个紧密耦合的整体，像操作一张巨型显卡一样进行并行计算。这也是 NVIDIA DGX A100 服务器（内含 8 张 A100）能成为行业标杆的原因。

5. 专家总结：为什么 A100 到现在还这么火？

即便后续有了更强的 H100，A100 在二手和租赁市场依然是“理财产品”，原因在于：

1. 稳定性与兼容性：所有的 AI 框架（PyTorch, JAX 等）对 A100 的支持几乎到了完美的程度。
2. 功耗控制：A100 的 TDP 通常在 250W-400W，相比 H100 (700W) 来说，对机房散热的要求更友好。
3. MIG 功能成熟：在云端提供“分片 GPU”服务时，A100 的成本效益依然极高。