7月30日，英伟达股价下跌7%，这是该公司3个月来最大跌幅，市值一夜蒸发1934亿美元，下滑至2.55万亿美元。7月10日~30日，英伟达股价崩跌23%，从每股134.91美元跌至103.73美元。此前，该公司不停歇的上涨势头，似乎让投资人忽视了风险。在过去两周，投资人从英伟达这类大型科技股撤出资金，因为他们越来越担心大企业的AI支出难以获得回报。技术分析师指出，这样的转变让英伟达股价还有进一步下跌的空间。7月29日，苹果在一份技术论文中表示，其人工智能（AI）系统Apple Intelligence的两个模型是在谷歌设计的云端芯片上进行训练的，苹果详细介绍了用于训练的张量处理器（TPU）。另外，苹果还发布了适用于部分设备的Apple Intelligence预览版。苹果在其47页的论文中没有提到谷歌或英伟达，但指出其苹果基金会模型 （AFM） 和 AFM 服务器是在云端TPU群集上训练的。该论文表示，该系统使苹果能够有效地、可扩展地训练AFM模型，包括AFM-on-device、AFM-server和更大的模型。苹果表示，AFM-on-device是在 2048个TPU v5p芯片的单一切片上进行训练的，这是最先进的TPU，于2023年12月推出。AFM-server是在8192 TPU v4芯片上进行训练的，这些芯片被配置为通过数据中心网络作为8个切片一起工作。谷歌很早就在数据中心内大量部署TPU了，用于加速AI模型训练和推理，而且，不仅自家使用，谷歌还把TPU当作云计算服务提供给第三方使用，将它变成产品销售。谷歌最新的TPU每小时的成本不到2美元，芯片需要提前3年预订才能使用。谷歌于2015年首次推出了用于内部工作负载的TPU，并于2017年向公众开放。现在，它们是为人工智能设计的最成熟的定制化芯片。不过，谷歌仍然是英伟达的顶级客户之一，并在其云平台上出售英伟达技术的使用权。苹果先前表示，推理，即采用预先训练的人工智能模型并运行它来产生内容或做出预测，将部分在苹果自家数据中心的芯片上完成。苹果在6月WWDC 2024期间发布相关技术文件显示，工程师除了在Apple Intelligence采用苹果自有处理器等硬件，搭配自有软件框架之外，还用自家GPU结合谷歌 TPU进行人工智能模型加速训练。英伟达面临的竞争压力越来越大，以谷歌为例，这家科技巨头通过自研AI芯片不断壮大其市场份额。来自TechInsights的数据显示，在2023年的数据中心加速器市场，谷歌 TPU的出货量达到200万台，虽然略逊于英伟达的380万台，但已稳居行业第三，且增长势头强劲，对英伟达构成了挑战。与此同时，微软等科技巨头也在逐步减少对英伟达的依赖，转而采用其他竞争品牌的芯片。除了单一依赖风险，英伟达GPU的高昂价格也吓跑了不少厂家。有报告显示，配备英伟达下一代Blackwell GPU的AI服务器，每台要价高达200-300万美元。英伟达推出了两套基于Blackwell架构的参考设计，其中，NVL36搭载了36块B200 GPU加速卡，预计要价200万美元，之前预计180万美元，现在又涨价了。NVL72规模翻番，搭载72块B200加速卡，预计起步价就要300万美元。英伟达预计，2025年，B200服务器的出货量有望达到6-7万台，总价达到1200亿~2100亿美元。目前，AWS、戴尔、谷歌、Meta、微软等都有意采购B200服务器，规模超预期。AI服务器主要由CPU、GPU、FPGA等处理器组成，用于处理大量的计算任务，相比传统服务器，AI服务器通常需要更高性能的硬件，以满足对于大规模数据处理和复杂计算的需求。由于这些硬件的价格较高，它们在AI服务器的成本中占比最大。这其中，GPU是各种处理器中成本占比最大的。在AI训练和推理过程中，GPU通常是最昂贵的硬件，这是因为GPU具有较强的计算能力和并行处理能力，可以加速AI模型的训练和推理过程。大多数AI服务器都配备了多个GPU，以满足高性能计算的需求。由于GPU具有强大的计算能力，其功耗也较高。为了满足AI模型的计算需求，通常需要配置多个GPU，这将导致服务器的功耗进一步增加。高功耗意味着服务器在运行时需要更大的电力供应，并产生更高的电费支出。与CPU相比，GPU具有更复杂的体系结构和更多的组件，这意味着GPU的维护工作更为繁琐和复杂，需要更专业的技术人员进行维护和管理。而且，由于GPU的高功耗，其散热需求也更高，需要额外的散热设备和维护成本。随着AI技术的快速发展，GPU的性能也在不断提升。为了保持竞争力，许多公司需要频繁购买新版GPU，这将增加服务器的成本。随着AI应用的推广，越来越多的企业开始使用AI服务器，这导致了对GPU的需求不断增加，供不应求的情况下，GPU的价格也会上涨。英伟达的竞争对手们都在摩拳擦掌，其中，最引人关注的AMD近期表现优异。7月30日，AMD发布了2024年第二季度财报，净利润同比激增881%，数据中心业务收入翻番，抢了英伟达不少生意。AMD本季度总营收达到58.35亿美元，不仅超出了此前预期的57.2亿美元，还实现了9%的同比增长和7%的环比增长。净利润达到了2.65亿美元，同比增长幅度高达881%，环比增长115%。数据中心用GPU芯片MI300在单季度内的销售额超过了10亿美元，推动数据中心部门收入大幅增长。MI300系列是AMD于2023年底发布的AI GPU，包括MI300X，以及集成CPU内核和GPU加速器MI300A，其中，MI300X对标英伟达的H100。据AMD介绍，MI300X用于AI训练时的性能与英伟达H100持平，推理方面，其性能超出竞品。以8个GPU组成的单台服务器为例，运行1760亿参数的BLOOM模型和700亿参数的Llama2模型时，MI300X平台性能是H100平台的1.4~1.6倍。AMD首席执行官苏姿丰表示，公司AI芯片的销售额“高于预期”，微软对MI300芯片的使用量正在增加，以作为GPT-4 Turbo的算力支撑，并支撑微软的word、teams等多个Copilot服务。Hugging Face则是首批采用新的微软云Azure的客户之一，使企业和AI客户能通过一次点击，便在MI300上部署数十万个模型。今年6月，AMD公布了迭代路线图，计划今年第四季度推出MI325X，并在明、后两年陆续推出MI350系列和MI400系列，其中，M1300X、MI325X将采用CDNA3架构，M1350将采用CDNA4结构，MI400将采用下一代CDNA架构。AMD后续每年都会推出新的产品系列。在业内看来，这一速度与英伟达发布的计划看齐。此外，苏姿丰表示，AI推理的需求将比训练更大。AI PC是PC类别中很重要的一部分，PC市场对AMD业务来说是很好的收入增长机会。今年，AMD在通过投资加速布局AI。7月，该公司出资6.65亿美元收购了欧洲最大的人工智能实验室Silo AI，该公司提供端到端AI驱动的解决方案，此次收购被认为是AMD追赶英伟达的重要一步。苏姿丰表示，除了收购Silo AI，AMD在过去12个月中还向十几家人工智能公司投资超过1.25亿美元，以扩大AMD生态系统并维持AMD计算平台的领先地位。她表示，AMD将继续投资软件，这是投资Silo AI的原因之一。基于优质的GPU硬件，发展软件和生态系统，AMD正在以英伟达的成功方式与之竞争。要与英伟达竞争，扬长避短是上策，也就是说，发挥自己的优势，去攻击英伟达的短板。虽然GPU并行处理能力非常强，这也是其擅长AI训练的根本原因。但是，当数据来回移动时，GPU的处理速度就不快了。AI大模型运行时，往往需要大量GPU和大量内存芯片，它们相互连接在一起，数据在GPU和内存间移动越快，性能越好。当训练大型AI模型时，一些GPU内核会闲置，几乎一半时间都在等待数据。如果能将大量处理器内核和海量内存组合在一起，形成存内计算，则可大大降低多芯片间的连接复杂性，可大幅提升数据的传输速度。大量处理器内核在芯片内连接在一起，其运行速度比独立GPU组合快上百倍。目前，有几家创业公司正在做这样的事情，发展情况值得关注。另外，必须在软硬件生态方面有打持久战的准备，才能与英伟达周旋，在这方面，需要有强大的资源背景，才能有命去争。AMD和英特尔正在做这样的事。再有，除了芯片本身，可以在芯片与芯片互联方面多下功夫，英伟达在这方面并不是老大，博通是。博通解决的是芯片与芯片之间的互联问题，并非与英伟达GPU直接竞争。虽然英伟达也有自家的芯片间互联技术，但从整个行业来看，博通的技术和产品更胜一筹，在全球8大AI服务器系统当中，有7个都部署了由博通技术支持的以太网基础设施，预计到2025年，所有超大规模AI服务器系统都将由以太网提供支持。博通最善于解决通信带宽问题，在全球50GB/s的SerDes市场中，博通占据了76%的份额，其SerDes接口通过将低速并行数据转换为高速串行数据，然后在接收端转换回并行数据。通过这样的操作，数据可以从一个TPU高速转移到另一个TPU，大大提升了传输效率。同样受益于AI增长，博通的网通产品营收正以40%的同比增速增长。该公司财报显示，截至今年5月的第二财季，AI营收同比增长280%，达到31亿美元，预计这一数字将在本财年结束前突破110亿美元。一众竞争对手都在给英伟达施压，是该公司股价下跌的重要原因，然而，市场变化速度之快，让人反应不及。7月31日晚间，英伟达股价突然大涨，涨幅一度超过14%，单日市值增加3269亿美元。英伟达成为了首只单日市值增量超过3000亿美元的股票。目前，在美股单日市值增量排行榜上，英伟达占据了前三位，今年2月22日、5月23日，英伟达单日市值分别增长了2766亿美元、2177亿美元。摩根士丹利发表研究报告指出，考虑到英伟达近期遭到市场抛售，虽然具体原因未明，但相信可为有兴趣的投资者带来良好的入市机会，因此，重新将其列为首选股，盈利预测及目标价未变，评级为“增持”，目标价为144美元。短短两天内，英伟达股价大落后又大起，或许与Blackwell供应吃紧，难以全部按时交付有关。大摩表示，Blackwell产品在市场上引起了强烈的兴趣，尤其是其推理性能的显著提升，进一步驱动了客户的购买欲望。不过，业界传出消息，Blackwell GPU芯片可能延迟，或者是搭配该芯片的服务器产品可能延迟。虽然诸多竞争对手的技术和产品表现越来越好，给英伟达带来了压力，但在目前和未来中短期内，该公司的GPU产品依然是AI服务器市场主力，总体供不应求。而在众多客户期待的Blackwell GPU即将出货之际，传出交付会延期的消息，肯定会吊足市场胃口，有利于股价上涨。
