美光科技数据中心业务负责人Jeremy Werner近期在播客访谈中抛出了一个重磅观点:AI行业正面临一场前所未有的“内存饥荒”。这并非传统的市场周期波动,而是一场由AI技术范式革命引发的结构性短缺。更有趣的是,他指出内存已取代算力,成为制约AI发展的真正瓶颈——如果内存不够用,再强大的GPU也得被迫“从头算”。

从“学习”到“记忆”:AI推理的阿喀琉斯之踵
要理解这场危机,首先要打破一个固有认知。Werner用一句精辟的话概括了现状:“训练用内存来学习,然后遗忘;推理用内存来记忆。”
在AI训练阶段,内存只是临时的“草稿纸”,算完即焚。但在推理阶段(即我们使用AI对话时),内存变成了“大脑皮层”。AI需要不断调用之前的对话历史(即KV缓存)来保证回答的连贯性。
这里存在一个可怕的“指数级陷阱”:如果内存容量不足以存储这些历史状态,AI就会像患了短期失忆症的金鱼,每一次回答新问题都要把之前的对话重新计算一遍。这会导致算力需求呈指数级爆炸,昂贵的GPU大部分时间都在空转等待数据。反之,如果内存足够大,算力就能被线性释放,效能甚至能提升平方倍。
需求狂飙:每年30倍的“记忆”膨胀
推动这场内存危机的推手主要有三个:模型参数越来越大、并发用户越来越多,以及最关键的——上下文窗口(Context Window)的疯狂扩张。
Werner透露了一个惊人的数据:目前AI的上下文长度正以每年30倍的速度增长。这意味着,去年AI还能勉强记住一本《新华字典》,今年它就需要记住整个图书馆,而明年它要挑战的是一座城市的图书总量。为了跟上这种“记性”的膨胀,现有的存储架构显然已经力不从心。
存储新 hierarchy:从HBM到“扑克牌”里的245TB
为了打破这堵“内存墙”,美光正在构建一条全新的存储链条,从紧贴GPU的HBM4到远端的SSD数据湖,层层设防。
HBM4:这是紧贴GPU的“极速记忆区”。美光最新的HBM4产品带宽翻倍,旨在让数据以光速“喂”给GPU,解决传输瓶颈。
245TB SSD:这是美光打出的另一张王牌。Werner形容这款SSD“比一副扑克牌大不了多少”,却能提供惊人的245TB容量。在数据中心寸土寸金、电力受限的今天,这款产品能将存储密度提升数倍,直接替代数十块传统硬盘,大幅降低能耗和占地面积。
产能告急:全球建厂也追不上需求
尽管需求旺盛,但供给端却显得捉襟见肘。Werner坦言,内存行业的产能已经彻底跟不上需求了。
为了应对这场短缺,美光正在进行一场豪赌——在全球同步建设五座晶圆厂,从美国爱达荷州到新加坡,再到日本。然而,即便这样大规模扩产,Werner依然认为短期内难以填平供需缺口。因为晶圆厂不是说盖就能盖的,洁净室空间的稀缺成为了硬约束。
市场或许还在担忧云厂商的资本开支是否可持续,但在Werner看来,这完全是低估了AI革命的潜力。随着智能体(Agent)和物理AI的落地,我们才刚刚触及AI变革的表面,而内存,将是这场变革中最关键的战略资产。
大风热搜网



