Hot Chips深度：HBM走向定制化与三维堆叠，三星、英伟达、美光各亮路线图

AI算力需求的爆发正将HBM存储推向架构演进的十字路口。在本届Hot Chips大会上，三星、美光、SK海力士与英伟达密集披露各自技术路线图，核心议题高度集中：HBM正从标准化商品走向定制化平台，三维垂直堆叠成为下一代架构的共同方向，而散热与功耗约束已成为制约扩展的首要瓶颈。

三星提出将HBM基础底片（base die）从通信层演进为定制化AI平台的三阶段路线图，并披露ZHBM概念——将HBM直接垂直堆叠于XPU之上，目标是将总DRAM功耗较HBM5降低约70%，绝对功耗降幅超过100W，带宽提升2.3倍以上。与此同时，英伟达披露其实验室已拥有至少三款RVA23处理器，并完成了CUDA在RISC-V硬件上运行的首次公开演示，展示了第三方定制CPU接入NVLink Fusion生态的具体路径。

从市场影响看，超大规模云厂商AI资本支出的持续加速是贯穿本届大会的核心叙事主线。存储分析师Jim Handy指出，HBM每片晶圆产出的GB数仅为标准DDR的三分之一，加之过去十余年行业几乎没有大规模新建晶圆厂，新建产能即便在激进时间表下也需约两年，行业对当前需求冲击的响应能力严重受限。HBM现货价格已较此前水平上涨约7倍，三星、SK海力士、美光及主要NAND供应商均录得异常强劲的营收增长。

Handy的分析勾勒出当前存储市场的核心矛盾。

需求侧，几乎所有主流AI加速器——包括英伟达GPU、谷歌TPU及各类定制硅片——均依赖HBM；连部分网络组件也开始采用HBM，创造了数年前几乎不存在的新需求类别。供给侧，由于历史上工艺微缩足以满足位元增长，DRAM供应商已逾十年未进行大规模产能扩张，短期新建产能几乎无望。

Handy同时驳斥了"算法效率提升将压低硬件需求"的常见论断。他认为，当一项新技术将内存需求降低6倍，超大规模云厂商的典型反应是用相同预算处理6倍的Token，而非削减资本支出。效率提升改变的是AI基础设施的生产力，未必减少投入其中的资金总量。

AI基础设施的扩张同步收紧了NAND与HDD市场。META测试在TLC SSD与HDD之间部署低成本QLC SSD后发现性能改善，促使超大规模数据中心更广泛地采用SSD；AI基础设施对HDD需求的拉动也已造成短缺，QLC SSD随之开始填补新存储层级甚至替代缺货HDD，助推NAND进入短缺状态，铠侠和闪迪（SNDK）从中受益。

美光HBM设计架构师Ragu从成本与物理极限两个维度量化了HBM扩展的代价。在典型的包含4个12层HBM堆栈的GPU封装中，内存硅片总量约为GPU硅片的8倍，意味着系统级封装中约90%的硅片与内存相关。一个DRAM裸片失效即可影响整个封装，可靠性挑战随堆栈高度增加而显著加剧。

Ragu引用Meta公布的Llama 3研究数据：约17%的非预期训练中断归因于HBM。这一数据直接揭示了HBM可靠性对大规模AI训练集群的实质性影响。

散热问题已上升为首要架构约束。HBM基础底片是发热最严重的区域之一，热量从底部产生而散热装置位于DRAM堆栈上方，迫使热量穿越每一层。美光表示，HBM从设计之初就越来越多地围绕散热限制展开，局部功率密度和热点已与总功耗同等重要。

在堆叠极限方面，美光认为16层HBM在技术路径上可行，但JEDEC讨论的20层堆叠仍面临大量未解难题——TSV密度、功率密度、散热、机械完整性及制造良率均构成严苛约束，而非信号传输距离本身（整个堆栈高度仍低于约1毫米）。

从带宽扩展路径看，HBM通过极度并行化实现性能跃升：HBM3E每个DRAM裸片有128个Bank，HBM4增至256个；外部接口I/O线路在接口长度（shoreline）基本不变的情况下从约1,000条翻倍至2,000条。HBM由此从HBM1的128 GB/s带宽与1 GB容量，扩展至HBM4的超过2.8 TB/s带宽与单颗24 GB以上容量，代价是持续攀升的硅片消耗强度。

美光预期，随着AI工作负载细分，HBM将从通用产品走向针对特定工作负载的定制化架构，处理器与配对内存将日益协同优化。封装技术也将从微凸块（micro-bumps）和热压键合向个位数微米间距的熔融键合（fusion bonding）和混合键合（hybrid bonding）演进。

三星的三阶段路线图是本届大会最具前瞻性的技术披露之一。

第一阶段聚焦于将内存控制器从XPU迁移至定制化HBM base die。三星估算，控制器约占XPU硅片面积的5%至10%，将这部分空间释放给计算核心有望使性能提升10%至20%。三星表示，大多数客户正在积极探索这一架构。

第二阶段利用定制化HBM base die周围未使用的边缘区域（shoreline），通过专用控制器和PHY直接连接第二层内存，预计延迟和带宽表现将优于基于PCIe的扩展方案，该第二层内存可以是LPDDR甚至HBF。三星认为，随着上下文窗口和KV缓存扩大，容量的重要性已接近带宽。

第三阶段即ZHBM：取消传统2.5D中介层，将HBM直接垂直集成于XPU顶部。通过移除横向PHY/D2D路径，I/O和TSV结构可遍布整个芯片投影区域，目标能效约0.5 pJ/bit，总DRAM功耗较HBM5降低约70%，绝对功耗降幅超过100W。不过，当前散热限制指向约4层堆叠，而非12层或16层，距离工程化落地仍有相当距离。

三星在计算卸载策略上保持克制：散热限制使得在base die中放置大量密集计算单元并不合理，优先选择将LLM推理中内存受限的Attention计算卸载至HBM，计算密集型的Prefill和FFN仍保留在XPU。接口策略上，三星目前倾向于专有HBM厂商接口而非UCIe，理由是UCIe面积更大且功耗更高；其散热路径块（Heat Path Block）在覆盖足够热点区域时可将峰值温度降低35%以上。

ZHBM还要求在小于6微米间距下实现晶圆级集成和混合铜键合，DRAM与SoC设计之间长期存在的边界必须消除，两者需从设计之初就围绕布线、散热、功率密度和物理互连进行协同设计。

SK海力士的演讲聚焦于从12层向16层乃至20层扩展的封装工程挑战。

在其16层HBM3E测试芯片中，即便将总堆栈厚度从720微米增至775微米，单个DRAM裸片厚度仍需比12层方案减薄约10%，片间间隙缩小约50%，芯片翘曲控制与间隙填充难度大幅上升。SK海力士指出，HBM4的总厚度775微米已接近当前封装方法的实际极限，未来扩展不能无限依赖增加封装高度。

对于混合键合，SK海力士认为其在20层左右将变得极具吸引力，但预计HBM4E阶段尚不会采用。假设的20层堆叠中，裸片厚度可增加约20%至24%，热导率提升约35%。即便如此，混合键合也无法解决base die局部热点问题——SK海力士正在开发IHBM，通过在热点区域上方添加硅散热块改善局部散热，且需从设计初期协同优化，而非后期追加。

SK海力士还判断，训练与推理最终可能采用不同的内存架构：训练需要兼顾高带宽与高容量，支持堆栈高度持续增加；推理则可能采用较小规模的极高带宽内存池，将带宽不敏感数据放置于LPDDR或其他低成本层级。

英伟达的演讲标志着其AI生态系统策略的实质性进展。一年前，将CUDA引入RISC-V面临的最大障碍是缺乏合适的RVA23硬件；如今，英伟达实验室已拥有至少三款RVA23处理器，SiFive在Hot Chips大会期间完成了CUDA在RISC-V硬件上运行的首次公开演示。

英伟达演讲者Franz明确，其出发点是符合RVA23配置文件和RISC-V服务器平台规范，英伟达不希望为CUDA制定单独的RISC-V规范。CUDA的特定额外要求仅约两页，核心包括PCIe缓存一致性（避免GPU DMA过程中的显式CPU缓存操作）和PCIe点对点通信（支持GPU间直接数据交换）。

NVLink Fusion为这一路径提供了商业逻辑：客户可使用定制CPU或加速器，同时保留英伟达大部分机架级架构。RISC-V CPU由此可在专用系统中替代英伟达基于ARM的主机处理器，关键要求是集成英伟达C2C网络——该网络可提供高达PCIe约5倍的带宽和一致性。Franz的明确表态是，RISC-V的吸引力不在于x86或ARM的不足，而在于众多厂商可针对重要利基市场进行定制化实现，而这些市场未必能获得大型现有CPU供应商的专项支持。

配合英伟达的推进，Canonical已在Ubuntu 26.04 LTS中将RVA23设为官方RISC-V基准，约95%的常规Linux软件包存档已可用；RISC-V国际基金会及SiFive的Krste Asanović表示，多家供应商将于今年向市场推出RVA23服务器级芯片，大部分矩阵扩展工作预计在未来12至18个月内完成批准。RISC-V软件与硬件生态的协同成熟度正在加速提升。