AMD跑GLM 5.2,成本仅为英伟达一半

2个月前更新 775800
8 0 0

GLM 5.2 现在已经能在 AMD 芯片上跑起来,而且推理成本只有英伟达方案的一半左右。这组数据来自推理优化公司 Wafer 本周披露的测试结果。Wafer 采用 AMD 的 MI355X 芯片部署最新开源模型 GLM 5.2,在单节点场景下把吞吐量做到 2626 tok/s,单流吞吐也达到 213 tok/s。

这次提速的关键在于量化。Wafer 将模型权重从 BF16 这种精度更高、但更吃算力和资源的格式,压缩为更省资源的 MXFP4 格式,使用的是 AMD 自家的 Quark 工具。和 z-ai 官方量化方案相比,三项基准测试的精度几乎没有明显损失:GSM8K 从 96.5% 小幅降到 95.5%,GPQA-Diamond 从 92.2% 降至 90.3%,tau2 反而从 81.9% 提升到 83.4%。

AMD跑GLM 5.2,成本仅为英伟达一半的封面图

相关快讯

xAI联合创始人创办的River AI融资11亿美元,英伟达和AMD参投

8月11日,xAI联合创始人伊戈尔·巴布什金创办的初创公司River AI宣布完成11亿美元融资,由General Catalyst和AMP PBC领投,英伟达与AMD Ventures跟投,Y Combinator和淡马锡等机构参与。

AMD宣布收购AI推理芯片新锐Taalas,加码布局人工智能市场

AMD周四宣布将收购多伦多AI推理芯片初创公司Taalas。Taalas芯片专为推理任务设计,可针对单一AI模型定制或硬连线,放弃通用性以降低成本,并称在特定模型上输出速度可比传统GPU快数千倍。AMD未披露收购金额。Taalas成立于2023年,已累计融资2.19亿美元。

OpenAI 研究员力赞 AMD 联合 AI 推理方案:表现“令人难以置信”

OpenAI 研究员 Jeffrey Wang 称,AMD 与 Cerebras 联合开发的 AI 推理方案“令人难以置信”。该方案面向超低延迟场景,结合 AMD Helios 机架级方案与 Cerebras 晶圆级引擎,对标英伟达与 Groq 合作。Helios 负责高性能、可扩展吞吐,主要处理提示词和大上下文窗口。

AMD 联手 Core Scientific,锁定最高 2.5GW AI 数据中心算力资源

AMD 与 Core Scientific 达成合作,最高可获得 2.5 吉瓦数据中心容量,以支持持续增长的 AI 计算需求。自 2027 年起,AMD 将获得 Core Scientific 超过 500 兆瓦的 AI 数据中心容量,供客户部署人工智能系统。消息带动 Core Scientific 盘前上涨 6%,AMD 则下跌 4%,与芯片板块整体走势相近。

AMD将在韩国设立AI研究中心,推动开放式AI基础设施生态建设

AMD将于韩国建设人工智能研究中心,并打造开放式AI基础设施生态系统。韩国科学技术信息通信部已与AMD签署AI芯片生态合作备忘录,AMD计划设立AI卓越中心,支持韩国企业、高校和科研机构开展技术合作、软件开发、计算验证及联合研究,并推动与本土AI芯片企业合作。

AMD与Anthropic达成重大芯片及投资合作协议

AMD与Anthropic达成重大芯片及投资协议:AMD将向Anthropic投资50亿美元,Anthropic则计划自2027年上半年起采购最多2吉瓦的AMD新一代Instinct MI450芯片,双方合作进一步深化。

暂无评论

暂无评论...