OpenAI 这次“砍”了个寂寞,究竟发生了什么

3天前更新 laddes
3 0 0

我先按新闻快讯口径重写,保持原意和信息量不缩水,并按段落拆开,方便移动端阅读。The Information 近日抛出一篇颇具冲击力的报道,标题直指一个核心结论:OpenAI 工程师已经找到办法,把推理成本直接削减了一半以上。读完全文会发现,真正的重点并不在“换了什么新硬件”,而在于团队用软件优化把现有资源的效率大幅拉高了。

据报道,OpenAI 工程团队这个月向内部同事透露,推理成本已经下降超过 50%。这次降本并没有依赖新芯片,也不是靠架构层面的重大重构,而是通过纯软件层面的调整,把现有服务器的利用率进一步榨干,最大化释放算力产能。

更值得关注的是,这项优化首先落地在 ChatGPT 未登录用户的流量场景上。也就是说,面对这部分庞大的访问需求,OpenAI 现在只需要几百个 NVIDIA GPU 就能支撑运转,规模之小相当惊人。

要知道,ChatGPT 的日活用户以数亿计,未登录访客本身也是一股不容忽视的流量。放在过去,这类请求往往意味着要准备相当可观的算力储备来兜底;而现在,经过优化后,几百个 GPU 就能完成这部分服务,降本效果可见一斑。

OpenAI 这次“砍”了个寂寞,究竟发生了什么的封面图

相关快讯

Anthropic据悉与三星洽谈定制AI芯片合作

据报道,Anthropic正开始研发自有AI芯片,并与三星电子洽谈潜在制造合作,试图像OpenAI一样加强对底层算力系统的掌控。若计划推进,Anthropic在自研AI服务器芯片方面将比多数竞争对手起步更晚。

微软8月将推Copilot全端整合版:精简功能直指ChatGPT

微软将把面向个人和企业的两款 Copilot 应用整合为统一版本,并裁撤冗余功能,同时加入 AI 编程工具和多款智能代理。部分新功能需额外付费,目标是增强产品竞争力,争取在市场中“赢得生存的资格”。

一年吃掉一块SSD,Codex日志Bug被吐槽“劣质软件”

有开发者在 GitHub 反馈,OpenAI 的编程工具 Codex 会通过 SQLite 反馈日志产生异常高的写入量:实测主固态硬盘连续开机 21 天就被写入 37TB,按此推算一年可达约 640TB,足以超过许多消费级 SSD 的 TBW,可能加速硬盘损耗。

贷款机构谨慎看待AI资产,软银重启100亿美元OpenAI股权质押贷款谈判

软银集团正与多家贷款机构磋商,拟以所持 OpenAI 股份作抵押申请总额 100 亿美元贷款,并承诺提供还款担保。若抵押股份贬值,银行可向软银追索偿付,以缓解私企估值不确定带来的放贷顾虑。

OpenAI首席研究官最新表态:AGI倒计时,人类窗口期“很小”

OpenAI首席研究官Mark Chen表示,OpenAI并不认为scaling laws失效,预训练、数据工程、推理训练和更长任务链仍是通向AGI的主线。他认为AGI正在逼近,模型将能自主提出创新并开展自我维持的研究,同时今年初许多人已明显感受到AI agent开始真正能在工作中发挥作用。

Codex技术大佬揭秘:AI产品最终拼的是“品味”

Lenny播客最新一期访谈邀请OpenAI Codex产品与工程负责人Andrew Ambrosino,围绕AI如何重塑软件产品生产方式展开讨论,内容对产品和研发从业者很有参考价值。Codex作为OpenAI的AI编程工具,近一年增长迅速,近半年使用量提升6倍,周活跃用户已超500万。Andrew同时负责Codex桌面应用开发,并参与OpenAI技术团队工作。

暂无评论

暂无评论...