在AI芯片领域,英伟达是无可争议的霸主。今年中旬,英伟达市值突破万亿美元大关,仅次于苹果、微软、Alphabet和亚马逊,成为美国第五大市值公司。
英伟达预计今年Q3营收为160亿美元,同比增长约170%,这一数字几乎是一年前水平的3倍。业绩暴走是市场火热的象征,英伟达创始人兼首席执行官黄仁勋表示:“一个新的计算时代慢慢的开始。全球各地的公司正在从通用计算向加速计算和生成式AI转型。”
与此同时,AI芯片成为各家企业逐鹿的一个战略重地,这也代表着英伟达在业绩高涨的同时,还需要面对来自市场之间的竞争的压力,这些压力不仅来自于AMD和英特尔等劲敌,还有许多雄心勃勃的初创公司。
虽然硬件规格高是AMD的一项优势,软件生态环境弱却是AMD的劣势。今年6月,AMD推出大语言模型专用的最新加速卡Instinct MI300X。据AMD首席执行官苏姿丰介绍称,MI300X提供的高带宽内存(HBM)密度是英伟达H100的2.4倍,HBM带宽是竞品的1.6倍。
与MI250相似的问题出现在MI300X中,尽管硬件规格参数强悍,但目前MI300X还未被大范围的应用。不过,MI300X在AI市场的呼声还是比较高的,华尔街分析师一致认为,AMD的这款芯片将对目前掌握AI芯片市场逾八成份额的英伟达构成有力挑战,这款MI300X加速器,有望替代英伟达的同类产品。
天风国际分析师郭明錤也在社交平台上表示,AMD的AI芯片出货量预计在2024年、2025年迅速增加。到2024年,AMD的AI芯片出货量(主要是MI300A)预计将达到英伟达出货量的约10%,微软有望成为 AMD AI 芯片的最大客户,紧随其后的是亚马逊。如果微软与AMD的合作进展顺利,AMD获得Meta和谷歌的订单,预计2025年AMD的AI芯片出货量将达到英伟达(基于CoWoS封装技术)的30%或更多。
10月10日,AMD在官网宣布,其已签署收购开源AI软件公司Nod.ai的最终协议,此举旨在增强公司的开源AI能力。Nod.ai加入AMD将带来一支经验比较丰富的团队,该团队开发了业界领先的软件技术,可加速针对AMD Instinct数据中心加速器、RyzenAI处理器、EPYC处理器、Versal SoC和Radeon GPU等优化AI解决方案的部署。
AMD人工智能集团高级副总裁 Vamsi Boppana表示:“收购Nod.ai预计将大大增强我们为AI客户提供开发软件的能力,使他们可以轻松部署针对AMD硬件调整的高性能AI模型。”
今年8月,AMD宣布收购法国AI初创公司Mipsology。Mipsology成立于 2015年,是 AMD的长期合作伙伴,此前一直为AMD 开发 AI 推理与优化解决方案和工具。
可以看到,AMD正大举投资于AI芯片所需的关键软件,以追赶头号对手英伟达。
在GPU领域,英特尔也将向英伟达发起挑战。从英特尔的动作看,今年最受关注的便是Gaudi系列。
2022年,英特尔宣布,推出第二代深度学习芯片Habana Gaudi 2和Habana Greco,分别用于AI训练和AI推理。随后在今年7月,英特尔为中国市场推出定制版深度学习处理器Habana Gaudi 2,可用于加速AI训练及推理,包括浪潮信息、新华三、超聚变等公司,预计将推出搭载Gaudi 2的服务器产品。
Gaudi 2作为一款专用AI加速芯片,虽在性能上落后于目前英伟达最高端的H100芯片,但相比英伟达的通用GPU A100和H100,其服务器成本更低,价格上的优势也更为明显。
针对中国市场推出定制版的Gaudi 2,英特尔争夺市场的野心可见一斑。之后英特尔新路线图的公布再次证明这一点。
今年9月,在美国圣何塞举办的英特尔On技术创新大会上,基辛格亮出了英特尔最新的三代 AI 芯片路线nm 制程的 Gaudi 3 将于 2024 年推出,再下一代 AI 芯片代号为 Falcon Shores,计划于 2025 年推出。其中 Gaudi 3 的算力将达到 Gaudi 2 的两倍,网络带宽、HBM 容量将达到 Gaudi 2 的 1.5 倍。
Habana原为以色列初创芯片公司,2016年成立,旗下产品曾渗透进入中国主要互联网公司,2019年12月,英特尔以20亿美元收购Habana。规划中的AI新品Falcon Shores将在Habana的架构基础上,和英特尔原有的GPU等技术进行融合,因此Falcon Shores也备受业内关注。
与AMD一样,英特尔亦极其看重AI芯片的软件生态建设,英特尔正在加快构建一个开放的AI软件ECO,以打破专有的封闭式ECO格局。
英特尔公司执行副总裁数据中心和AI事业部总经理Sandra L. Rivera称,从英特尔看到,开发者通常从Pytorch、Tensor Flow等AI框架层从事AI创新工作,在底层方面,英特尔采用了OneAPI(一种统一编程模型和应用程序接口)对标英伟达的CUDA,利用OneAPI提供的优化库,希望以打包的平台方案整合自家庞杂的产品路线,降低客户对底层硬件差异的敏感度。
英特尔正通过一直在优化的软硬件组合,实现最佳的性能和规模,从而迈向“让AI无处不在”的目标。
在ChatGPT引发的大模型热潮中,大模型训练需求增多,使得英伟达用于训练大模型的A100/H100更加稀缺。除英特尔与AMD外,也不乏有一些云服务器等科技巨头下场自研AI芯片。
10月6日,据外媒 The Information 报道,微软即将于下个月公布自行研发的 AI 芯片,从而协助减少对英伟达 GPU 的依赖,该 AI 芯片代号为 Athena,预计微软将在 11 月 14-17 日的 Ignite 开发者大会上宣布这款自行研发的芯片。
同一天,媒体消息称,ChatGPT开发商OpenAI也正在探索AI芯片的可能性,并已评估潜在的收购目标,以加速自研芯片的进程。
据悉,自2019年以来,微软就开始研发一款名为雅典娜(Athena)的定制AI芯片,用于为大型语言模型提供动力,目前已在测试阶段。同年,微软向ChatGPT的所有者OpenAI投下10亿美元,随后在今年1月微软再向OpenAI加注100亿美元。
据悉,与OpenAI合作之后的微软每个月在大多数情况下要数十万颗英伟达芯片,也正因此Athena的首个目标是为OpenAI提供算力引擎,以替代昂贵的英伟达A100/H100。如果明年大规模推出,Athena将允许微软内部和OpenAI的团队同时训练和推理模型。
SemiAnalysis的分析师迪伦·帕特尔(Dylan Patel)表示,开发类似于雅典娜的芯片可能每年要消耗1亿美元左右,ChatGPT每天的经营成本约70万美元,大部分成本来源于昂贵的服务器,如果雅典娜芯片与英伟达的产品拥有同等竞争力,每个芯片的成本将能够更好的降低三分之一。
不只是微软和OpenAI,为降低成本、减少对英伟达的依赖、提高议价能力,谷歌、亚马逊、Meta等科技巨头们都已下场自研AI芯片。
今年9月,位于美国硅谷的AI芯片初创公司d-Matrix获得1.1亿美元的B轮融资,由新加坡顶尖投资公司淡马锡(Temasek)领投,加州风司Playground Global、微软和三星等14家投资者跟投。
d-Matrix由两位AI硬件领域的资深人士Sid Sheth和Sudeep Bhoja于2019年5月创立。据领英显示,d-Matrix目前有大约100名员工,公司致力于构建一种使用存内计算(In-Memory Computing,IMC)技术和芯片级横向扩展互连进行数据中心AI推理的新方法。据称,该处理器将提供比CPU和GPU更快的AI推理性能,适用于大型Transformer模型。
d-Matrix认为,在AI领域虽然存在英伟达这样难以撼动的有突出贡献的公司,但自己与英伟达不同,部分原因主要在于其技术针对的是AI处理过程中的“推理”(Inference)环节,而不是通过制造训练大型AI模型的技术来与英伟达竞争。基于Transformer的模型通常在高性能GPU上进行训练,但执行推理是一个能效问题,而不仅仅是性能问题。d-Matrix提出了一种创新解决方案,声称可以将硬件的效率提高10-30倍。
据悉,微软已承诺在明年公司研发的芯片推出时对其做评估。d-Matrix公司预计今年将获得1000万美元左右的收入,大多数来源于购买芯片做评估的客户;预计两年后年收入将达到7000万至7500万美元,实现收支平衡。
其AI超算处理器Cerebras WSE比iPad还要大。二代拥有2.6万亿个晶体管和85万个AI优化内核。它们还发布过一种brain-scale技术,可以运行超过120万亿个连接的神经网络。今年Cerebras还一口气开源了7个GPT模型,参数量分别达到1.11亿、2.56亿、5.9亿、13亿、27亿、67亿和130亿,同时Cerebras也提供大模型训练推理等云服务。
Modular表示,英伟达的CUDA软件用于编写只能在其GPU上运行的机器学习应用程序,而它们通过其软件为公司可以提供了另一种选择,使开发的人能更简单地在其他公司设计的芯片上训练和运行机器学习模型,例如英特尔、AMD和Google。它还提高了这些芯片的性能,意味着它们能用来训练更强大的人工智能模型。
除了上述几家公司之外,2017年成立并致力于使用硅光芯片实现深度学习的美国AI初创公司Lightmatter、2022年成立并致力于开发用于文本应用的大语言模型(LLM)专用芯片的公司MatX、成立于2022年并旨在使AI计算更具可访问性和可负担性的公司Tiny Corp都在努力成为具有分量的挑战选手。
英伟达面临来自AMD、英特尔以及一系列大型科技、初创公司的竞争,这是一个极为突出的话题。英伟达有它难以超越的优势也自然有不可避免的劣势。
先看优势。英伟达占据全球数据中心 AI 加速市场82%的份额,以95%的市场占有率垄断了全球 Al 训练领域的市场,也就是说,即使当下已经有诸多公司进入AI市场,但是这些没有市场优势的公司可能也难以产生足够的利润。
此外,虽然AMD和英伟达都能提供不同价位和性能的GPU产品,但在性能方面,英伟达拥有明显的整体一马当先的优势。这一标准更是这些初创公司难以短期内达到的,虽然如今的AI市场中已有部分主要参与者开始试验新的AI芯片和工具,但倘若想要以性价比取胜,仍需很长时间。
再看劣势。首当其冲便是价格,昂贵的单价也是劝退多家科技巨头依赖外购芯片的主因。另外英伟达提供的全栈服务结合了硬件和软件解决方案,但这种全栈服务也有几率会成为吸引新客户的阻力。很少有大客户愿意永久依赖于一个生态系统,这会使他们在未来处于价格劣势。这也是亚马逊拒绝英伟达的DGX云平台的原因之一,相比之下AMD 可以为客户提供更大的灵活性。
如此看来,想必在未来几年,英伟达将面临激烈的竞争,能否守住龙头地位,成为英伟达面临的重要问题。