• Like
  • Comment
  • Favorite

从人工示教到同伴经验复用:CEL 群体经验学习新范式出现了

华尔街见闻14:14

近日,清华大学、无问芯穹与智元联合提出“群体经验学习”(Collective Experience Learning,CEL)新范式,并在 96 台真实机器人组成的集群中完成规模化验证。

这套范式的核心变化在于学习对象,机器人不再主要依靠人类一遍遍示范动作,而是复用同伴在实践中积累的经验,让一台机器人踩过的坑,成为整个群体绕开的路。

这一转变针对的是具身智能落地过程中一个具体障碍。机器人可以成百上千台地批量部署,但经验丰富的操作人员无法随之“增产”。目前训练机器人主要靠人教,人示范动作,机器人模仿;机器人出错,人再手动纠正。当部署规模上升,人的供给便成为扩张速度的实际约束。

CEL 的解法是把学习对象从人换成同伴。一台机器人在真实任务中摸索出的成功经验会沉淀下来,进入群体共用的经验池,其他机器人遇到相似场景时,可以从中检索、复用。参与训练的机器人越多,经验池越厚,能力提升越快。原本“人不够用”的瓶颈,由此被转换为“机器人越多越强”的规模效应。

验证在一组真实任务中完成,场景同时覆盖家庭服务与工业生产,具体包括插花、叠衣服、手机充电、凳子组装和手机包装;硬件为智元双臂机器人 AgiBot G2,基础模型为 π0。

据团队公布的数据,两台未参与训练的机器人共完成 600 次测试,失败 15 次,总体成功率 97.5%;五项任务的成功率,均超过 6 名人类操作员的平均水平。

支撑这一结果的是系统层与算法层的双重设计。

系统层面,团队基于强化学习开源框架 RLinf 构建了容错异步训练系统 FATS,把真实机器人与算力资源统一调度。单台机器人完成任务后即可上传经验,无需等待其他机器人,训练流程因此可以持续运转;网络波动、设备掉线与硬件故障也都纳入设计。在 96 台规模的系统测试中,集群累计采集 9834 轮执行经验,其间 22 台机器人共发生 30 次故障,故障造成的机时损失仅占全部运行机时的 1.3%。

算法层面,团队提出了失败引导的经验检索微调算法 FERT。一次操作可能持续数分钟、涉及数千个动作步骤,但最终反馈往往只有一个“成功”或“失败”,不足以定位该改哪个动作。FERT 同时利用两类经验,从成功操作中学习“应该怎么做”,从失败操作中定位“哪里不对”。机器人遇到困难时,算法会回溯相似场景下的历史成功案例,让改进集中在容易出错的环节。

从产业视角看,这项工作的价值不完全在成功率数字上,而在于它试图改变能力生产的成本结构。在依赖人工示教的范式下,能力提升需要同比例的人力投入,规模越大,需要盯在现场的示教人员越多。群体学习把经验变成可在集群内复用的资产,单台机器人的边际学习成本因此有机会下降。

三方的分工各自成立,清华大学提供学术方法与算法设计,无问芯穹提供 AI 基础设施与训练系统,智元提供整机与真实场景。验证的也不只是一套算法,而是“真实场景产生经验、群体学习沉淀能力、规模化部署反哺更多场景”这条链路的可行性。

当机器人不再只是各自干活的执行单元,而能成为彼此学习、共同进步的群体,规模化部署就不只是能力应用的终点,也可能成为能力持续积累的起点。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Report

Comment

empty
No comments yet
 
 
 
 

Most Discussed

 
 
 
 
 

7x24