华为GTS推出创新AI训练数据方法,Amazon与Google迅速响应:难度自适应训练引领新潮流

2个月前更新 15083662215
6 0 0

在大模型后训练中强调,数据质量不再以数量为唯一标准,而是应像人类一样,动态选择最合适难度的样本。数月后,Rutgers、Amazon 和 Google 的研究人员发布的 DARE 论文引用了 EDCO,并将其视为难度感知强化学习训练的重要对比基线。该团队来自华为 GTS 研发部 AI 数据团队,专注于领域大模型的数据、训练和评测方法。华为 GTS 研发部 AI 数据团队通过长期训练实践,提出了 EDCO(基于熵的动态课程编排),利用推理熵动态调整训练课程,使模型持续面对当前最具挑战性和学习价值的样本。

华为GTS推出创新AI训练数据方法,Amazon与Google迅速响应:难度自适应训练引领新潮流的封面图

相关快讯

Meta首个Agent生图模型Muse Image登场,竞技场首秀拿下第二

Meta Superintelligence Labs 发布了图像生成模型 Muse Image,并预览了 Muse Video。Muse Image 已接入 Meta AI 应用、网页端及部分地区社交平台,Muse Video 也将开放给创作者。其亮点是引入智能体机制,能在强化学习中自主发现并修正错误,并支持推理阶段算力扩展,体现出“想得越久,画得越好”的能力。

逆矩阵科技成功完成超亿美元种子轮融资,助力世界模型发展

逆矩阵科技(Physis)成功完成超亿美元的种子++轮融资,参与机构包括经纬创投、光合创投、五源资本、BAI资本和钟鼎资本,此外还获得了蚂蚁集团的战略投资。老股东高瓴创投和北大系基金燕缘创投也进行了追加投资。融资资金将用于通用世界基座模型的预训练研发和规模化训练体系的建设。该公司由北大青年学者陈博远和吉嘉铭共同创立,团队专注于强化学习和世界模型的研究。

华为云推出全新ModelArts Next模型训练与推理平台

华为云发布了新一代模型训推平台ModelArts Next,具备四大核心能力:RL服务、机密推理、模型路由和模型矩阵。MaaS模型路由提供成本优先、效果优先和均衡模式三种策略。企业级RLaaS服务允许用户在一分钟内创建任务,并实现全程可视化和训推一致性。机密推理能力利用硬件级可信执行环境,保障高敏感场景中的数据安全。模型矩阵能力支持主流SOTA模型的Day0上线,并结合自研模型Pangu,覆盖编程和多模态等多种应用场景。

马斯克宣布Grok基础模型V9-Medium(1.5T)训练完成!

马斯克宣布Grok基础模型V9-Medium(1.5T)已完成训练,评估结果良好。该模型在补充训练中加入了大量Cursor数据,并计划继续添加更多数据。微调工作正在进行,强化学习将在数日后启动。预计该模型将在2至3周内正式发布。

“卡神”加盟Anthropic,担任“最具挑战性AI”职位

OpenAI联合创始人安德烈·卡帕西宣布加入Anthropic,表示对大语言模型未来发展的期待。他将在预训练团队负责人尼克·约瑟夫的领导下组建新团队,致力于利用Claude加速预训练研究。卡帕西的目标是优化AI的训练过程,以推动技术进步。

英伟达向 Anthropic、OpenAI、SpaceXAI 和甲骨文首发 Vera CPU

英伟达宣布其首批Vera CPU已开始向多家AI公司发货,标志着该处理器进入量产阶段。这款专为Agentic AI设计的处理器的首批系统由英伟达副总裁伊恩·巴克交付给了Anthropic、OpenAI、SpaceXAI和甲骨文云基础设施。SpaceXAI正在评估Vera在强化学习和智能体仿真中的表现,这对其训练系统至关重要。

暂无评论

暂无评论...