元脑SD200超节点再提速:万亿参数大模型Token延迟跑进5ms

2个月前更新 7g5rstyn
10 0 0

元脑SD200超节点AI服务器率先完成对主流领先开源大模型 Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3 等的高性能优化,并在 Kimi K2.6 万亿参数大模型上实现 Token 生成时间低至 4.77ms,为 Agent 场景的高效运行提供了强劲算力支撑。元脑SD200超节点AI服务器基于高带宽、低时延、原生内存语义的开放总线协议,通过构建高性能交换单元,打造出 3D Mesh 高性能互连超扩展系统,支持 64 张本土 AI 芯片进行高密度算力扩展,能够更好地满足大模型低延迟推理需求,进一步加快 Token 生成速度。

元脑SD200超节点再提速:万亿参数大模型Token延迟跑进5ms的封面图

相关快讯

阿里云灵骏真武M890超节点实例正式上线,首批乌兰察布开服

阿里云宣布灵骏真武M890超节点实例正式上线,首批已在乌兰察布开售。该实例支持企业在云上开通64卡高速互联算力单元,可承载十万亿参数级MoE大模型推理,并已成功运行超2万亿参数大模型,Kimi K3和Qwen3.8 Max已基于此对外提供服务。

宝明科技:HVLP4/5铜箔主要技术指标完成厂内验证,正推进下游送样

宝明科技表示,面向AI服务器的HVLP4/5高端铜箔研发已取得进展,目前主要技术指标已完成厂内验证,并正向下游客户送样。不过,送样及客户验证周期较长,且最终验证结果仍存在不确定性。

银河证券:Kimi K3开源或推动大模型商业生态演进,建议关注国产超节点及产业链公司

银河证券指出,Kimi K3上线48小时即因请求量过大导致集群满载,随后暂停C端新用户会员订阅,体现其模型能力突出与算力供给紧张。国产开源模型能力逼近顶级闭源模型,将推动大模型厂商扩大训练规模、加快迭代,并持续提升推理算力需求。Kimi K3已实现与多家国产算力平台Day 0适配,有望带动国产超节点及服务器、交换机、光模块、液冷、电源等产业链需求,相关公司值得关注。

阿里云真武芯片超节点成功适配Qwen3.8,已在百炼上线推理服务

7月23日,阿里真武M890超节点已完成对Qwen3.8的适配,并在阿里云百炼平台上线模型推理服务。该超节点可成功运行参数规模超过2万亿的大模型,成为国内首个实现这一能力的超节点,标志着国产大模型基础设施能力取得新进展。

谷歌研发新型“Frozen”芯片,Gemini AI运行效率大幅提升

谷歌正研发内部代号“Frozen v2”的新型服务器芯片,计划将Gemini AI模型设计蓝图直接集成其中,以提升AI服务效率并缓解算力短缺。知情人士称,这款芯片按单位功耗可处理的Token效率,预计将比谷歌现有最新自研AI芯片高出6至10倍,也有助于缓解内部资源争夺并改善云业务接单能力。

鸿海首获SpaceX AI服务器代工订单

据报道,鸿海精密首次获得SpaceX AI服务器代工订单,显示其在高端制造领域再获突破。双方后续还将把合作延伸至太空AI资料中心,布局更前沿的算力与基础设施市场。

暂无评论

暂无评论...