谷歌AI芯片打平英伟达，最高配每秒42500000000000000000次运算
梦晨 发自 凹非寺量子位 | 大众号 QbitAI
谷歌首款AI推理特化版TPU芯片来了，专为深度考虑模型打造。
代号Ironwood，也便是TPU v7，FP8峰值算力4614TFlops，功能是2017年第二代TPU的3600倍，与2023年的第五代TPU比也有10倍。
（为什么不比照第六代，咱也不知道，咱也不敢问。）
第七代TPU还杰出高扩展性，最高配集群可具有9216个液冷芯片，峰值算力42.5 ExaFlops，也便是每秒运算42500000000000000000次。
是现在全球最强超级核算机EL Capitan的24倍。
谷歌称，AI正从呼应式（供给实时信息供人类解读）提高为能够自动生成洞悉和解读的提高。
在推理送行，Agent将自动检索和生成数据，以协作的方法供给洞悉和答案，而不仅仅是数据。
而完成这一点，正需求一起满意巨大的核算和通讯需求的芯片，以及软硬协同的规划。
谷歌AI芯片的软硬协同
深度考虑的推理模型，以DeepSeek-R1和谷歌的Gemini Thinking为代表，现在都是选用MoE（混合专家）架构。
跌倒激活参数量相对少，但总参数量巨大，这就需求大规划并行处理和高效的内存拜访，核算需求远远超出了任何单个芯片的容量。
（o1遍及猜想也是MoE，可是OpenAI他不open啊，所以没有商店。）
谷歌TPU v7的规划思路，是在履行大规划张量操作的一起最大极限地削减芯片上的数据移动和推迟。
与上一代TPU v6比较，TPU v7的高带宽内存 (HBM) 容量为192GB，是上一代的6倍，一起单芯片内存带宽提升到7.2 TBps，是上一代的4.5倍。
TPU v7体系还具有低推迟、高带宽的ICI（芯片间通讯）网络，支撑全集群规划的和谐同步通讯。双向带宽提升至1.2 Tbps，是上一代的1.5倍。
能效方面，TPU v7每瓦功能也是上一代的两倍。
硬件介绍完，接下来看软硬协同部分。
TPU v7装备了增强版SparseCore ，这是一款用于处理高档排序和引荐作业负载中常见的超大嵌入的数据流处理器。
TPU v7还支撑Google DeepMind开发的机器学习运行时Pathways，能够跨多个TPU芯片完成高效的分布式核算。
谷歌计划在不久的将来把TPU v7整合到谷歌云AI超算，支撑支撑抒发引荐算法、Gemini模型以及AlphaFold在内的事务。
网友：英伟达压力山大了
看过谷歌最新TPU发布，谈论区网友纷繁at英伟达。
有人称假如谷歌能以更低的价格供给AI模型推理服务，英伟达的赢利将遭到严重威胁。
还有人直接at各路AI机器人，问询这款芯片比照英伟达B200表达。
简略比照一下，TPU v7的FP8算力4614 TFlops，比B200标称的4.5 PFlops（=4500 TFlops）略高。内存带宽7.2TBps，比英伟达B200的8TBps稍低一点，是根本能够对标的两款产品。
实际上除了谷歌之外，还有两个云核算大厂也在搞自己的推理芯片。
亚马逊的Trainium、Inferentia和Graviton芯片我们现已比较了解了，微软的MAIA 100芯片也能够经过Azure云拜访。
AI芯片的竞赛，越来越剧烈了。
参阅链接：[1]https://blog.google/products/google-cloud/ironwood-tpu-age-of-inference/[2]https://x.com/sundarpichai/status/1910019271180394954
告发/反应
相关文章
五粮液首家海外授权体会餐厅落户日本东京
当地时间4月25日，五粮液海外授权体会餐厅授牌典礼在日本东京举行，日本米其林“飘香”（Piao Xiang）餐厅成为五粮液首家海外授权体会餐厅。告发/反应...
她不只丢了一个孩子
从前的李静芝一家三口合影。李静芝和她帮忙过的迷路者。李静芝去鹤壁寻亲留影。李静芝和寻子家庭登上舞台。嘉嘉小时分与母亲的合影。集会后的李静芝和嘉嘉。32年后，李静芝见到了儿子。这个男人34岁了，和专家模...
新观念·新需求·新租借｜人人租引领消费新风向
遭到“买不起才租”“租又不能具有”等传统消费观念的捆绑,部分人心里对租借发生了排挤,乃至觉得租借高品质产品便是虚荣心作怪。但跟着新租借年代的降临,年青消费集体的新需求带动了消费观念的晋级。他们将“以租...
黑料社今日黑料黑丝18号美女动态壁纸动态壁纸下载元气
在追求个性化和时尚的今天，黑丝18号美女动态壁纸以其独特的风格和动态效果，成为了壁纸爱好者的新宠。本文将带你深入了解黑丝18号壁纸的特点，以及如何下载和使用这些壁纸，让你的桌面焕发新的...
深读｜歌剧之花 鹭岛开放
2024年9月13日，郑小瑛教授在厦门嘉庚剧院指挥歌剧《托斯卡》中文版。东南网4月2日报导（福建日报记者 林丽明 林闻 黄星榕）“三八”世界妇女节当天，“铿锵玫瑰Ⅳ室内精粹音乐会”在郑小瑛歌剧艺术中心...
娱乐圈土豪,揭秘娱乐圈土豪们的奢华生活
娱乐圈土豪：揭秘那些闪耀的“金主”们在这个光怪陆离的娱乐圈，除了明星们的光鲜亮丽，还有一群低调的“金主”们，他们用财富为娱乐圈的繁荣添砖加瓦。今天，就让我们一起走进娱乐圈土豪的世界，揭开他们神秘的面纱...