清华大学联合无问芯穹、智元提出机器人群体学习新范式

【资料图】

10月30日消息，近日，清华大学、无问芯穹与智元联合提出群体经验学习（Collective Experience Learning，CEL）新范式，并在96台真实机器人组成的集群中完成规模化验证。该方法通过共享机器人执行任务时积累的经验，减少对人类示范和人工纠错的依赖，探索具身智能持续学习的新路径。

据了解，传统机器人训练主要依靠人类操作示范或人工纠错，随着机器人部署规模扩大，人工数据采集和训练成本也随之增加。CEL则尝试让机器人从其他机器人的成功经验中学习，通过群体经验积累和策略优化，提升任务执行能力。

在实际测试中，研究团队设置了插花、叠衣服、手机充电、凳子组装和手机包装五项任务。两台未参与训练的机器人累计完成600次测试，其中585次成功，总体成功率达到97.5%。研究团队表示，五项任务的成功率均超过6名人类操作员的平均水平。

其中，在需要连续完成多个操作步骤的手机包装任务中，采用CEL训练后，机器人成功率由79.2%提升至98.3%，120次测试中仅失败2次。

研究还发现，随着参与训练的机器人数量从16台增加至96台，在相同实际训练时间下，任务成功率从86.7%提升至98.3%，显示出群体规模扩大对经验积累和模型训练的促进作用。

技术方面，研究团队基于开源强化学习框架RLinf构建了容错异步训练系统（FATS），支持机器人执行任务后上传经验，并在部分设备发生故障时继续训练。在96台机器人参与的测试中，系统累计采集9834轮执行经验，期间22台机器人发生30次故障，故障造成的机器人时间损失占总运行机时的1.3%。

算法方面，团队提出失败引导的经验检索微调算法（FERT），通过结合成功与失败的操作记录，帮助机器人识别需要改进的动作，并从历史经验中检索相似场景下的有效操作策略。

研究团队表示，CEL探索了从单台机器人学习向群体经验共享的转变，有望降低大规模机器人训练对人工示教的依赖，为具身智能在家庭服务、工业生产等真实场景中的持续学习和规模化部署提供技术参考。（定西）