大语言模型在机器人学习领域展现出的能力，既带来了机遇（具身智能），也带来了挑战（如幻觉）。基于此，团队的研究项目是基于机器学习和多模态大模型的双臂具身智能体，旨在开发能够进行人机交互和双臂操作任务的具身智能体。该项目的技术内容包括任务规划，针对双臂操作的复杂性，利用GPT-4(v)为双臂机器人生成有效的整合空间和时间因素的有序任务计划；以及技能学习，利用GPT-4(v)指导强化学习智能体或模仿学习智能体，学习更有效的双臂机器人技能。项目已获得OpenAI研究人员访问计划的资助，并已产出一些论文工作，引起了一定的外界关注。目前，项目处于起步阶段，下一步将围绕真机环境中的问题开展相应的软硬件研究。

标签：高端装备