英伟达刷新 DeepSeek V4 推理纪录:单 Token 成本降至 1/5,吞吐量最高提升 20 倍

4个月前更新 haozi9365
31 0 0

英伟达近日发布博文称,在 Blackwell 平台上通过全栈推理优化后,和 DeepSeek V4 模型1个月前刚上线时相比,单 Token 成本最高可降至原来的五分之一。单 Token 成本(Cost Per Token)是衡量模型生成或处理单个 token 所需成本的指标,通常用于对比不同硬件、软件栈或部署方式下的推理成本表现。英伟达在文中强调,已将单 Token 成本纳入 AI 总拥有成本的核心衡量维度,并表示针对 DeepSeek V4,Blackwell 平台已把这一成本压低到行业最低水平。

英伟达刷新 DeepSeek V4 推理纪录:单 Token 成本降至 1/5,吞吐量最高提升 20 倍的封面图

相关快讯

英伟达深度参与,Anthropic与Lambda签下350亿美元云协议

华尔街日报称,Anthropic与英伟达支持的云计算商Lambda签署了一份价值350亿美元的云计算协议。英伟达还通过与Hut 8的租约锁定数据中心算力,并向Lambda供货、投资。此安排显示英伟达正日益帮助Anthropic等企业获取昂贵算力资源。

英伟达推出新一代高带宽内存技术 NVHBM

NVIDIA推出NVHBM技术,作为NVLink Fusion的扩展方案,面向超大规模企业和AI创新者打造新一代半定制AI基础架构。该技术将内存控制器集成到3D HBM堆栈中,相比标准HBM4E,可提升30%带宽、降低15%功耗,并为XPU计算die释放最多25%面积。

黄仁勋:VeraRubin平台或为英伟达带来每吉瓦超400亿美元营收

8月31日,英伟达CEO黄仁勋表示,Vera Rubin平台有望为英伟达带来巨大商业价值,按每吉瓦计算营收可超过400亿美元,显示其在AI算力基础设施领域的强劲变现能力。

英伟达据悉暂停与多家人工智能企业的收益分成协议

据知情人士透露,英伟达已暂停新融资计划中的部分合作。该计划原拟为AI云服务商提供信用支持并换取营收分成,但部分员工担心其可能引发反垄断审查,也因芯片巨头对客户经营影响过大而面临政策敏感风险。

英伟达同意斥资129亿美元收购开源模型平台Hugging Face

英伟达同意以129亿美元收购开源模型平台Hugging Face,显示其在AI基础设施与开源生态布局上的进一步扩张。该交易若完成,或将增强英伟达在模型开发、分发和应用层面的影响力。

黄仁勋:2028财年真实需求远超70%营收增速,供给决定能否兑现70%增长

英伟达在财报会上首次正式给出2028财年营收同比增长70%的确定性指引。黄仁勋称公司对上下游有更高能见度,以前从未给出全年业绩指引;真实需求高于70%,但受供给限制,目前有把握实现70%的增长。

暂无评论

暂无评论...