谷歌AI芯片打平英伟达,最高配每秒42500000000000000000次运算

liukang202411小时前今日吃瓜522
梦晨 发自 凹非寺量子位 | 大众号 QbitAI
谷歌首款AI推理特化版TPU芯片来了,专为深度考虑模型打造。
代号Ironwood,也便是TPU v7,FP8峰值算力4614TFlops,功能是2017年第二代TPU的3600倍,与2023年的第五代TPU比也有10倍。
(为什么不比照第六代,咱也不知道,咱也不敢问。)
第七代TPU还杰出高扩展性,最高配集群可具有9216个液冷芯片,峰值算力42.5 ExaFlops,也便是每秒运算42500000000000000000次。
是现在全球最强超级核算机EL Capitan的24倍。
谷歌称,AI正从呼应式(供给实时信息供人类解读)提高为能够自动生成洞悉和解读的提高。
在推理送行,Agent将自动检索和生成数据,以协作的方法供给洞悉和答案,而不仅仅是数据。
而完成这一点,正需求一起满意巨大的核算和通讯需求的芯片,以及软硬协同的规划。
谷歌AI芯片的软硬协同
深度考虑的推理模型,以DeepSeek-R1和谷歌的Gemini Thinking为代表,现在都是选用MoE(混合专家)架构。
跌倒激活参数量相对少,但总参数量巨大,这就需求大规划并行处理和高效的内存拜访,核算需求远远超出了任何单个芯片的容量。
(o1遍及猜想也是MoE,可是OpenAI他不open啊,所以没有商店。)
谷歌TPU v7的规划思路,是在履行大规划张量操作的一起最大极限地削减芯片上的数据移动和推迟。
与上一代TPU v6比较,TPU v7的高带宽内存 (HBM) 容量为192GB,是上一代的6倍,一起单芯片内存带宽提升到7.2 TBps,是上一代的4.5倍。
TPU v7体系还具有低推迟、高带宽的ICI(芯片间通讯)网络,支撑全集群规划的和谐同步通讯。双向带宽提升至1.2 Tbps,是上一代的1.5倍。
能效方面,TPU v7每瓦功能也是上一代的两倍。
硬件介绍完,接下来看软硬协同部分。
TPU v7装备了增强版SparseCore ,这是一款用于处理高档排序和引荐作业负载中常见的超大嵌入的数据流处理器。
TPU v7还支撑Google DeepMind开发的机器学习运行时Pathways,能够跨多个TPU芯片完成高效的分布式核算。
谷歌计划在不久的将来把TPU v7整合到谷歌云AI超算,支撑支撑抒发引荐算法、Gemini模型以及AlphaFold在内的事务。
网友:英伟达压力山大了
看过谷歌最新TPU发布,谈论区网友纷繁at英伟达。
有人称假如谷歌能以更低的价格供给AI模型推理服务,英伟达的赢利将遭到严重威胁。
还有人直接at各路AI机器人,问询这款芯片比照英伟达B200表达。
简略比照一下,TPU v7的FP8算力4614 TFlops,比B200标称的4.5 PFlops(=4500 TFlops)略高。内存带宽7.2TBps,比英伟达B200的8TBps稍低一点,是根本能够对标的两款产品。
实际上除了谷歌之外,还有两个云核算大厂也在搞自己的推理芯片。
亚马逊的Trainium、Inferentia和Graviton芯片我们现已比较了解了,微软的MAIA 100芯片也能够经过Azure云拜访。
AI芯片的竞赛,越来越剧烈了。
参阅链接:[1]https://blog.google/products/google-cloud/ironwood-tpu-age-of-inference/[2]https://x.com/sundarpichai/status/1910019271180394954
告发/反应

相关文章

英伟达对华特供版AI芯片遭受出口控制

界面新闻记者 | 李彪界面新闻修改 | 文姝琪经过多轮的自卖自夸传言猜想与心情回转,美国政府终究对英伟达对华特供版AI芯片H20晋级了出口操控。据《财经》报导,4月16日,英伟达向美国证监会(SEC)...

友情链接: