开云(中国大陆官方网站)Kaiyun科技股份有限公司 - 领先的GPU计算与AI算力解决方案

关闭菜单
027-83317177
当前位置: 首页 > 新闻资讯 > 公司新闻

英伟达下一代GPU登场RubinCPX一次推理数百万Token网友:这是头野兽

2025-09-11 02:44:51 小编

  

英伟达下一代GPU登场RubinCPX一次推理数百万Token网友:这是头野兽

  对用户而言,这意味着他们在软件开发、视频生成等长上下文任务中能够获得更好的性能。

  例如,在软件开发中,AI 系统必须能够对整个代码库进行推理、理解仓库级代码结构,才能更好的帮助开发者。同样地,长视频和研究类应用也要求在数百万 token 范围内保持持续的连贯性和记忆。

  NVIDIA 创始人兼首席执行官黄仁勋表示:Vera Rubin 平台将标志着 AI 计算前沿的又一次飞跃,它不仅引入了下一代 Rubin GPU,还带来了一类全新的处理器 CPX。正如 RTX 曾经彻底改变图形处理和物理 AI 一样,Rubin CPX 是首款专为大规模上下文打造的 CUDA GPU,使模型能够一次性在数百万 token 的知识范围内进行推理。

  众所周知,大模型正逐步演变为具备多步推理、持久记忆和长上下文能力的智能体系统,使其能够胜任软件开发、视频生成与深度研究等复杂任务。

  但这些工作负载对基础设施提出了前所未有的要求,在计算、存储和网络方面带来了全新挑战,迫切需要从根本上重新思考推理的规模化与优化方式。

  为此,英伟达 SMART 框架提供了一条可行方案。该框架强调采用全栈解耦式基础设施,实现计算与内存资源的高效调配。通过 Blackwell 架构 GB200 NVL72 平台与 NVFP4 低精度推理技术的结合,辅以 TensorRT-LLM、Dynamo 等开源软件,使得整个 AI 领域的推理性能大大提升。

  另一方面,推理过程包含两个截然不同的阶段:上下文处理与内容生成,每个阶段对基础设施的需求存在本质差异。

  上下文阶段属于计算密集型,需要高吞吐量处理能力来摄入和分析海量输入数据,以产生首个输出 token。

  相比之下,生成阶段则受限于内存带宽,依赖 NVLink 等高速互连技术实现快速内存传输,以维持逐 token 输出的性能表现。

  解耦式推理架构使这两个阶段能够独立处理,实现对计算与内存资源的精准优化。这种架构变革显著提升了系统吞吐量,降低了延迟,并全面提高资源利用率。

  然而,解耦式架构也带来了新的复杂性,需要在低延迟 KV 缓存传输、LLM 感知路由以及高效内存管理之间实现精确协调。

  NVIDIA Dynamo(一个开源、低延迟的模块化推理框架) 作为这些组件的编排层,在最新的 MLPerf Inference 结果中发挥了关键作用。借助 Dynamo 在 GB200 NVL72 上的解耦推理,创造了新的性能纪录。

  正是在这样的背景下,NVIDIA 推出了 Rubin CPX GPU:专为高价值长上下文推理工作负载设计的解决方案,能够提供高吞吐性能,并与解耦式基础设施实现无缝集成。

  在技术上,基于 NVIDIA Rubin 架构,Rubin CPX GPU 采用了具备高性价比的单片设计,内置强大的 NVFP4 计算资源,并针对 AI 推理任务进行了优化,以实现极高的性能与能效表现。

  具体而言,Rubin CPX 采用NVFP4精度,可提供高达30 petaflops算力,在性能与精度上均达到业界领先水平,并配备 128GB 高性价比GDDR7 内存,能够加速最苛刻的上下文计算任务。此外,与 NVIDIA GB300 NVL72 系统相比,Rubin CPX 的注意力处理能力提升了 3 倍,显著增强了 AI 模型在长上下文序列处理中的速度与稳定性。

  随着 Rubin CPX 的官宣,业界也是好评连连。Cursor 首席执行官 Michael Truell 表示:借助 NVIDIA Rubin CPX,Cursor 将能够实现极速代码生成和深度开发者洞察,从而重塑软件创作方式。这将释放前所未有的生产力水平,赋能用户将曾经遥不可及的创意快速实现。

  Runway 首席执行官 Cristóbal Valenzuela 表示:视频生成正快速迈向更长上下文和更灵活的智能体驱动创作流程。我们认为 Rubin CPX 在性能上的飞跃,将为这些高强度任务提供有力支持,从而构建更通用、更智能的创意工具。这意味着,从独立艺术家到大型工作室,创作者都能在工作中获得前所未有的速度、真实感和掌控力。

联系专业的商务顾问,制定方案,专业设计,一对一咨询及其报价详情
服务热线服务热线 027-83317177
咨询kaiyun全站解决方案 马上咨询
免费获取技术咨询服务
姓名图标
电话图标
QQ图标

联系我们 contact us
027-83317177