谷歌 TPU v5p AI 芯片击败英伟达H100 速度是其的3.4到4.8倍

谷歌最近推出了其最新旗舰张量处理单元（TPU）v5p，这是一款专门设计的AI加速器，用于AI训练和推理，标志着Google在对抗市场领导者Nvidia的GPU方面迈出了重要一步。

TPU v5p已被部署以支持Google的“AI超级计算机”架构，这是一种专门为运行AI应用而构建的超级计算架构，与通常运行科学工作负载的超级计算机不同。

核心规格对比：
– TPU v5p：每个集群（Pod）拥有8,960个芯片，相比之下v4版为4,096个芯片。新Pod提供4,800Gbps的吞吐量，并具有95GB的高带宽内存（HBM），而v4版为32GB HBM RAM。
– Nvidia H100：被认为是AI工作负载最佳的图形卡之一，其训练工作负载的速度是Nvidia A100 GPU的四倍。

性能对比：
Google的v5p TPU在训练大型语言模型方面的速度是TPU v4的2.8倍，提供2.1倍的价值。尽管今年早些时候发布的中间版本TPU v5e在性价比方面表现最佳，但其速度仅是TPU v4的1.9倍，这使得TPU v5p成为最强大的选项。

根据Google自己的数据，TPU v4在性能上估计比A100快1.2到1.7倍。粗略计算表明，TPU v5p的速度大约是A100的3.4到4.8倍，这使其与H100相当或更优，尽管需要更详细的基准测试才能得出结论。

Google的TPU v5p AI芯片以其在速度、内存和带宽方面的显著提升，成为Nvidia H100的有力竞争者。

不同于Nvidia的做法，Google的定制TPU仅在内部使用，用于支持其自身的产品和服务，包括Gmail、YouTube和Android等服务，并且已被用于训练Gemini AI模型。