元脑SD200超节点再提速:万亿参数大模型Token延迟跑进5ms

8小时前更新 7g5rstyn
1 0 0

元脑SD200超节点AI服务器率先完成对主流领先开源大模型 Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3 等的高性能优化,并在 Kimi K2.6 万亿参数大模型上实现 Token 生成时间低至 4.77ms,为 Agent 场景的高效运行提供了强劲算力支撑。元脑SD200超节点AI服务器基于高带宽、低时延、原生内存语义的开放总线协议,通过构建高性能交换单元,打造出 3D Mesh 高性能互连超扩展系统,支持 64 张本土 AI 芯片进行高密度算力扩展,能够更好地满足大模型低延迟推理需求,进一步加快 Token 生成速度。

元脑SD200超节点再提速:万亿参数大模型Token延迟跑进5ms的封面图

相关快讯

消息称智谱正考虑自研芯片方案

智谱(Z.ai)在GLM系列模型需求快速增长的背景下,正在评估自研定制芯片方案。自研芯片有助于实现软硬件协同优化、提升算力效率,并降低对外部芯片供应商的依赖。OpenAI、Anthropic、SpaceXAI及DeepSeek也有类似动作。

杨立昆刚质疑AGI,Anthropic就找到了AGI的关键证据

Anthropic在研究Claude时发现了一个名为J-space的区域,似乎负责其思考和推理;一旦缺失,Claude就会退化到只能回答很基础的问题。更令人震惊的是,这一机制并非人工设计,而是在长期训练中自行形成的。Anthropic因此发表了《语言模型中的全局工作空间》论文,探讨语言模型内部的这种“类AGI”现象。

英伟达核心能源生态伙伴:800V 正在正常推进中

AI服务器耗电激增,推动数据中心供电升级进入关键期。英伟达主推的800V高压直流被视为下一代AI机房的重要方案,但近期出现量产延期争议。台达、ABB等合作伙伴称该方案仍正常推进,真正影响落地速度的,可能是整个能源基础设施产业链的成熟度,而非英伟达单方面决定。

英伟达核心能源生态伙伴:800V正在正常推进中

AI服务器耗电激增,推动数据中心供电升级进入关键期。英伟达主推的800V高压直流方案近日被质疑量产延期,但从台达、ABB等合作伙伴消息看,该方案仍在正常推进。真正影响落地速度的,或不是英伟达单方面意愿,而是整条尚未成熟的能源基础设施产业链。

2027年全球存储器市场预计将达到1.28万亿美元的里程碑

TrendForce(集邦咨询)发布的存储器产业研究报告预测,全球市场产值将在2026年从5516亿美元提升至8893亿美元,2027年将进一步上修至逾1.28万亿美元,同比增长44%。这一增长主要受到Agentic AI对CPU调度、数据预处理和存储器管理需求增加的推动。此外,新一代AI服务器平台的CPU与GPU配置已从过去的1:8逐步提升至1:4甚至更高,显示出市场对更高性能计算资源的需求。

阿里吴泳铭预测未来三年资本开支或超3800亿,计划销售平头哥AI服务器

阿里巴巴CEO吴泳铭在财报会上宣布,阿里云未来的数据机房资产预计将比2022年AI爆发前增长十倍以上。未来三年,阿里巴巴的资本开支可能超过3800亿。吴泳铭指出,当前形势复杂,阿里可能通过租赁而非自建方式获取算力中心。同时,随着平头哥芯片产能的扩大,阿里也可能通过销售平头哥AI服务器与服务商共同建设数据中心。

暂无评论

暂无评论...