字节用3.8万小时实验发现:Agent也有Scaling Law

3个月前更新
13 0 0

字节 Seed 最近发布了一个 Agent 评测项目 EdgeBench。乍看之下,它依然像一个常见的 benchmark,但它实际上抛出了一个其他榜单很少追问的问题。

现在大多数 benchmark 的逻辑,都是给模型出一道题:做对就得分,做错就零分。这种模式越来越像一场标准化考试,清晰、直接,却也越来越接近“只看结果、不看过程”的单点测量。

但真实世界里,人类使用 AI 的方式根本不是这样。你不会给 Claude Code 出一道题,然后站在原地等它交卷。你会把一个项目、一整个代码库,或者一批数据交给它,让它在里面连续折腾几个小时:不断探索、试错、读取反馈、修正判断,再重新尝试。

真正值得关注的,不是它在一次性题目里能不能答对,而是它在现实任务环境中浸泡一段时间后,能力会不会比刚进入时更强。遗憾的是,当前大多数 benchmark 还很难测出这种“长期适应”和“持续进化”的能力。

字节用3.8万小时实验发现:Agent也有Scaling Law的封面图

相关快讯

中国信通院牵头,大模型平台系列行业标准正式发布

工信部近日发布2026年第18号公告,正式批准由中国信通院牵头制定的大模型平台系列行业标准,覆盖数据处理、模型训练、推理、计算资源调度与运维等核心环节。其中4项将于2026年11月1日实施,填补了国内大模型平台系统性标准空白。

**亚马逊AWS押注政府AI市场** 亚马逊AWS重押政府AI赛道:OpenAI、Meta、Anthropic等大模型集体登陆GovCloud

**Drafting concise AWS GovCloudAI summary** 亚马逊云服务AWS宣布扩大GovCloud AI模型可用范围,美国政府机构可通过Amazon Bedrock使用Anthropic、OpenAI、Meta及自家Nova等大模型。AWS GovCloud面向政府监管、安全和外部隔离需求,服务政府客户、国防工业及技术合作伙伴,AWS业务也持续强劲增长。

**腾讯混元 Hy4 调用激增应急扩容** 腾讯混元 Hy4 preview 调用激增,WorkBuddy 紧急扩容应对

**Planning concise Chinese summary** 腾讯混元表示,Hy4 preview于2026年8月28日在WorkBuddy首发接入后,因Agent能力提升受欢迎,首日任务队列即出现排队。公司已对推理集群紧急扩容并持续调配资源,但受高端算力和高峰并发影响,仍可能在个别时段排队。

国家数据局:词元市场需求爆发式增长

2026中国国际大数据产业博览会在贵阳举行。国家数据局表示,大模型正加速落地千行百业,推动词元调用量快速增长,市场需求爆发式上升。词元作为AI理解世界的最小单元,正成为计量、定价、交易和结算的重要标尺,产业链已聚集算力、模型、数据和技术服务等多元主体,并形成多种“词元工厂”形态。

**调整标题为更简洁有力版本** 我国日均词元调用量突破500万亿,中国大模型稳居全球第一梯队

**Drafting concise Chinese summary** 随着人工智能应用加速落地,截至今年6月,我国日均词元调用量已突破500万亿。词元规模快速增长,反映出全球大模型竞争已进入白热化阶段,迭代速度加快,算力需求爆发式上升。当前中国大模型已跻身全球第一梯队。

上海加快构建“芯—模—云”生态,打造通用人工智能科研与测评基础设施

上海市发布战略性新兴产业“十五五”规划,提出构建“芯—模—云”生态,建设全栈技术验证平台、通用人工智能科研基座和测评设施。重点发展大模型与智能体、科学智能、具身智能和智算产业体系,推进多模态大模型、科学发现、机器人核心算法及云智融合Token服务等技术突破,深化政务和专业服务等领域应用。

暂无评论

暂无评论...