GLM 5.2 现在已经能在 AMD 芯片上跑起来,而且推理成本只有英伟达方案的一半左右。这组数据来自推理优化公司 Wafer 本周披露的测试结果。Wafer 采用 AMD 的 MI355X 芯片部署最新开源模型 GLM 5.2,在单节点场景下把吞吐量做到 2626 tok/s,单流吞吐也达到 213 tok/s。
这次提速的关键在于量化。Wafer 将模型权重从 BF16 这种精度更高、但更吃算力和资源的格式,压缩为更省资源的 MXFP4 格式,使用的是 AMD 自家的 Quark 工具。和 z-ai 官方量化方案相比,三项基准测试的精度几乎没有明显损失:GSM8K 从 96.5% 小幅降到 95.5%,GPQA-Diamond 从 92.2% 降至 90.3%,tau2 反而从 81.9% 提升到 83.4%。
相关快讯
OpenAI 这次“砍”了个寂寞,究竟发生了什么
OpenAI 工程团队通过纯软件优化提升现有服务器利用率,把推理成本砍掉了一半以上,且没有依赖新芯片或架构革新。优化主要用于 ChatGPT 未登录用户流量,结果只需几百个 NVIDIA GPU 就能支撑这部分请求,显示出算力效率的大幅提升。
消息称OpenAI推出新方案,推理成本或可减半
知情人士称,OpenAI 工程师本月初向部分同事透露,他们借助几项新开发的优化技术,已经找到一种可将模型推理成本降低一半以上的方案。
OpenAI据悉迎来重大技术突破:系统优化让模型推理成本减半
6月30日消息称,OpenAI工程师在内部透露,公司通过一系列全新的系统底层优化,已将AI模型的推理运行成本降低50%以上。这意味着模型在实际调用和部署时的效率显著提升,或有助于降低服务开销并提升规模化应用能力。
智谱 AI 编程工具 ZCode 3.0 发布:全新内核与 GLM-5.2 深度适配
智谱发布了 AI 编程工具 ZCode 3.0,深度适配 GLM-5.2,并全面切换至自研的 ZCode Agent 内核。新版本针对长程推理、工具调用及大型工程执行链路进行了深度优化,整体任务完成效果显著优于第三方 Agent。未来版本将专注于提升自研 Agent 的使用体验,不再支持其他 Agent 的适配。此外,升级或订阅 GLM Coding Plan 的用户在应用内将享有 150% 的配额优势,而 GLM-5.2 也将对所有 GLM Coding Plan 用户开放,智谱表示这是其迄今能力最强的开源版本。
智谱GLM-5.2正式向所有GLM Coding Plan用户开放
GLM-5.2将于今晚5:21面向所有GLM Coding Plan用户开放,涵盖Lite、Pro、Max及团队版。其API预计将在下周上线,模型也将在下周正式开源,并遵循MIT协议。
AMD 苏姿丰寄语毕业生:未来掌握在你们手中,AI 只是工具
尽管生成式 AI 成为科技巨头如微软和谷歌的焦点,并投入了巨额资金,但业界对其发展是否遇到瓶颈提出质疑,主要原因是缺乏高质量的训练内容,限制了更先进模型的出现。在 Build 2026 大会上,微软 CEO 萨蒂亚·纳德拉强调应将 AI 智能体视为真正的员工,体现人性化管理。同时,微软正推动 Windows 进入 Agentic AI 新阶段,预计 AI 将主导其产品组合。