复旦邱锡鹏团队提出“上下文世界建模”:无需微调,VLA也能快速适应新环境

2个月前更新 Content True
9 0 0

视觉-语言-动作(VLA)模型在实际部署中常会遭遇一个现实难题:只要相机视角、安装位置或机器人形态出现细微变化,模型性能就可能明显下滑。过去的“上下文学习”(In-Context Learning)通常只是把上下文当作示范,依靠人工演示来完成任务执行,机器人并不理解整套系统究竟如何运行。一旦部署环境发生变化,研究人员往往只能重新采集数据、重新调整模型,流程既耗时又费力。

针对这一痛点,复旦大学邱锡鹏教授团队提出了“上下文世界建模”(In-Context World Modeling,ICWM)方法。该方法在正式执行任务前,先让机器人进行一小段与任务无关的随机探测,再把这段交互过程作为上下文输入模型,从而帮助机器人判断当前系统的运作规律,并据此提升对新环境的适应能力。

复旦邱锡鹏团队提出“上下文世界建模”:无需微调,VLA也能快速适应新环境的封面图

相关快讯

3万小时触觉数据补齐具身智能“手感”,新智具身联手复旦统一触觉“方言”

新智具身联合复旦大学发布 N0 系列技术报告,核心是用 3 万小时触觉数据补齐具身智能的“手感”短板。报告基于 Franka、Piper、UR5e 等 6 种机器人本体,聚焦解决视觉判断正确但物理交互失败的问题,提升机器人在做饭、整理、抓取等真实场景中的稳定性与操作能力。

国资委:加快培养聚变人才,推动“聚变+AI”融合创新

8月19日,国务院国资委主办的中央企业未来能源领域人才特训班以“线上+线下”方式开班。谭作钧强调,要聚焦可控核聚变,依托创新联合体推动产业链协同攻关,加快人才培养;深入把握发展规律,明确技术路线,推进原始创新、底层突破及“聚变+AI”融合,汇聚国内外产学研力量协同攻坚。

AI智能体可自主生成并运行量子计算代码

法国量子计算初创企业Pasqal开发出一种AI智能体,可根据英文自然语言指令生成量子计算代码,并自动在真实量子计算机上运行。这标志着氛围编程正进入量子计算领域,有望降低量子实验的技术门槛,帮助更多人参与量子计算研究。

AI 初创公司 Hugging Face 据称探索出售,估值或达130亿美元

据 Business Insider 报道,人工智能初创公司 Hugging Face 正探索出售事宜,潜在交易估值可能达到 130 亿美元或更高。公司曾于 2023 年完成融资,估值约 45 亿美元,投资方包括 Salesforce、谷歌和英伟达。上月,公司还因 OpenAI 模型失控遭遇黑客攻击,基础设施受到损害。

Hugging Face据悉寻求出售,估值或超130亿美元

据报道,AI初创公司Hugging Face正在寻求出售,并已与银行合作评估潜在买家意向。公司当前估值目标至少为130亿美元,远高于2023年融资时的45亿美元。当时,Salesforce、Alphabet、谷歌和英伟达等科技巨头参与投资。

人形机器人“手”“脑”并进,赛场“淬炼”推动应用落地

8月22日至26日,第二届世界人形机器人运动会在北京举行。赛场上,人形机器人接连刷新跳高、短跑等多项对标人类的 […]

暂无评论

暂无评论...