开云（中国大陆官方网站）Kaiyun科技股份有限公司 - 领先的GPU计算与AI算力解决方案

　　在AI算力需求爆发式增长的时代，英伟达从Hopper到Blackwell再到Vera Rubin的平台，不只是算力的简单升级，更是底层硬件架构的系统性革新，存储作为算力释放的核心瓶颈与基础底座，同步实现多维度颠覆性迭代演进。

　　AI大模型参数规模与上下文窗口的指数级增长，HBM3带宽不足、容量有限，导致算力空转，“内存墙”已成为制约算力释放的主要瓶颈。

　　Vera Rubin架构下的GPU首次采用HBM4/HBM4E技术，将GPU带宽和容量提升至全新量级，旨在满足超大规模AI模型对显存容量和性能的极致需求。

　　HBM4技术（应用于Rubin GPU）相较于HBM3技术（H100 SXM），其接口位宽从1024-bit翻倍至2048-bit，总带宽实现翻倍增长；单颗Die容量的提升和DRAM堆叠层数扩展提高单堆栈最大容量。

　　据媒体报道，SK海力士、三星电子和美光科技均已通过认证，可为英伟达AI加速器供应HBM4。

　　Grace CPU是首款采用LPDDR5X的服务器CPU，使用板载LPDDR5X集成方案。虽然带来了极高的能效和带宽，但固化内存无法扩容或更换，升级成本高、容量上限有限，难以适配大模型海量KV缓存需求。

　　Vera CPU改用SOCAMM2模块化内存，可搭载最高1.5TB LPDDR5X （是Grace的3倍），解决了弹性扩容与高密度部署痛点。SOCAMM2插拔模组支持灵活增减内存容量，带宽与最大内存容量大幅提升，延续LPDDR低功耗优势，还兼顾了数据中心模块化部署的灵活性，亦可单独更换适配存储技术迭代。此外，单颗Vera CPU的带宽达1.2TB/s，较Grace CPU显著提高。

　　据悉，Vera CPU最快拟于8月上市。三星、SK海力士、美光为Vera Rubin设计的SOCAMM2均已量产。

　　BlueField-4 DPU在内存体系上突破明显。前代配置32GB板载 DDR5，带宽与容量均难以容纳海量流表、上下文缓存、分布式文件元数据。BlueField-4 DPU内存升级为128GB LPDDR5X，容量直接提高至原来的4倍，以低功耗、高带宽的特性适配高频读写的KV Cache场景。SSD容量支持从128GB板载升级至512GB板载可插拔，形成 “大容量高速内存+本地可更换高速闪存” 两级缓存体系。

　　BlueField-4 DPU有效缓解GPU HBM溢出压力，存储卸载算力大幅提升，远端存储访问延迟缩短，大幅降低数据搬运成本。

　　为应对AI算力需求从“训练”向“推理”的战略性转变，英伟达推出定位为Rubin GPU“推理协处理器”的芯片——Groq 3 LPU。

　　不同于传统AI芯片以HBM为内存介质，Groq 3 LPU采用片上SRAM，搭载500MB的SRAM，其SRAM带宽高达150TB/s。相较于Rubin GPU，LPU SRAM内存容量约为Rubin HBM4的1/500，但提供的带宽为其约7倍。Groq 3 LPU以小容量、超高带宽精准匹配解码阶段带宽敏感、低容量数据驻留的专属需求。

　　单个Groq3 LPX 机架配备256个LPU，提供128GB片上SRAM（带宽为40 PB/s）用于低延迟处理，12TB DDR5内存用于大模型和工作负载，以及640TB/s的扩展带宽。Groq3 LPX与Vera Rubin NVL72搭配使用时，可为万亿参数模型提供高达35倍的每兆瓦推理吞吐量和高达10倍的收入机会。

　　据报道，预计三星电子晶圆代工厂将于今年第三季度开始出货Groq 3 LPU产品，拟采用4nm工艺制造。

　　Vera Rubin 通过HBM4、SOCAMM2、LP5X、SRAM、SSD等多介质组合，搭建起分层适配、场景定制、模块化升级的AI存储架构。

　　从GPU引入HBM4破解带宽墙，到CPU舍弃板载固化走向SOCAMM2模块化自由，再到DPU构建两级缓存体系、LPU以SRAM另辟蹊径，英伟达Vera Rubin打破以往单一存储介质扩容的升级模式，实现了从容量、带宽、功耗、可维护性到场景适配的全维度存储革新。

　　相较于前两代，Vera Rubin NVL72的GPU和CPU内存容量均实现大幅增长。其中，Vera Rubin NVL72的GPU内存为H100 DGX x8的4.1倍，其CPU内存为前两代的3.2-3.4倍。机架内存容量量级的跃升表明单纯依赖算力堆砌的发展模式已难以为继，存储成为影响算力上限的关键因素。