英伟达Blackwell软件优化,DeepSeek V4推理成本降低5倍

人工智能 网络 M 2026-07-02 17:53

英伟达在一篇技术博客中表示,其全栈推理软件与NVIDIA GPU、CPU、网络和系统协同设计,并依托广泛的开源生态系统,持续提升硬件性能。在NVIDIA Blackwell平台上,该软件栈仅一个月就将 DeepSeek V4 型号的token成本降低了高达5倍。

三层技术协同发力,全方位压低大模型推理成本

据介绍,英伟达软件栈主要通过连接生产运营、应用加速和基础架构访问三个层面来降低单Token成本。

生产运营:协调分布式服务、编排、自动扩缩容和内存管理,确保推理任务能够在合适的计算和存储资源上运行。

应用加速:以高性能运行模型,同时为开发人员提供调整和自定义的空间,利用运行时优化(例如重叠计算和通信以及内核融合)。

基础架构访问:公开NVIDIA GPU、网络、内存和系统功能,无需开发人员直接管理每个设备指令集或数据传输协议。

当这些层级协同构成一套完整系统时,各项独立优化效果会叠加放大。

核心技术叠加赋能,单GPU吞吐量最高提升20倍

分散式服务、基于NVIDIA NVLink互连技术的大规模专家并行处理、NVFP4 高精度以及多token预测等每一项技术都能带来显著的性能提升。在生产环境中实现这种性能提升非常复杂,需要协调整个推理堆栈的各个环节——从生产运维和模型运行时到内核、通信库和硬件访问。NVIDIA 的推理软件堆栈旨在使这些层协同工作,从而使每一项优化都能在其他优化的基础上进行。

多项技术叠加优化后,Blackwell平台单GPU的token吞吐量最高可提升20倍。

开源生态全面适配,快速落地规模化降本效果

本次DeepSeek V4模型成本大幅优化能够快速落地,离不开成熟开源生态的加持。DeepSeek V4开放模型发布后,vLLM和SGLang等领先的推理框架都能立即为NVIDIA Blackwell架构提供部署方案,从而让数百万块 Blackwell GPU都能访问该模型。也正因如此,在短短一个月内,vLLM 和SGLang框架下 DeepSeek V4 在 Blackwell 上的性能提升了高达 5 倍,并将token成本降低到之前的五分之一左右。
 

推荐:电脑用的少,手机扫一扫,资讯快一步!

扫码关注我们

简讯快报

更多
⊙10小时前 17:05

按照往年,双11购物节本是传统3C冲刺销量的重要窗口期。然而作为渠道PC整机/DIY组装重要配件之一的SSD,自去年四季度起的近半年时间里跟随资源涨价而大幅提价,尽管Q2因受淡季需求拖累价格转跌,但前期累计的涨幅过高,当前价位仍与去年涨价前的价格水平存在明显差距。即便借助双11购物节平台补贴叠加其他优惠,对于消费者而言是高价促销,除非刚需、实难激起多数用户购买欲。同时,今年Q3中下旬,个别渠道存储厂商为缓解业绩压力而率先杀价抢单,但仅为个例未拖累整体市场。不过国庆长假过后,部分小型厂商相继加入杀价行列,国内市场卖压逐渐增强,近期更多存储厂商被动跟进低价以推动出货,同时,资源价格也有所松动,多因素影响下本周渠道SSD价格全面出现较大幅度下调。Q4作为存储厂商完成全年度业绩目标的最后节点,面对疲弱的市场需求以及同业竞争压力,Q4出货也将越发艰难、利润挤压也将逐渐显性化。

SSD(渠道市场):Channel SSD 120GB SATA 跌 11.76% 至 $15.00,Channel SSD 240GB SATA 跌 11.11% 至 $32.00,Channel SSD 480GB SATA 跌 7.69% 至 $60.00,Channel SSD 256GB PCIe 3.0 跌 13.16% 至 $33.00,Channel SSD 512GB PCIe 3.0 跌 6.67% 至 $70.00,Channel SSD 1TB PCIe 3.0 跌 5.17% 至 $110.00,Channel SSD 512GB PCIe 4.0 跌 5.00% 至 $76.00,Channel SSD 1TB PCIe 4.0 跌 7.69% 至 $120.00,Channel SSD 2TB PCIe 4.0 跌 4.00% 至 $240.00。