大语言模型在机器人学习领域展现出的能力，既带来了机遇（具身智能），也带来了挑战（如幻觉）。基于此，团队的研究项目是基于机器学习和多模态大模型的双臂具身智能体，旨在开发能够进行人机交互和双臂操作任务的具身智能体。该项目的技术内容包括任务规划，针对双臂操作的复杂性，利用GPT-4(v)为双臂机器人生成有效的整合空间和时间因素的有序任务计划；以及技能学习，利用GPT-4(v)指导强化学习智能体或模仿学习智能体，学习更有效的双臂机器人技能。项目已获得OpenAI研究人员访问计划的资助，并已产出一些论文工作，引起了一定的外界关注。目前，项目处于起步阶段，下一步将围绕真机环境中的问题开展相应的软硬件研究。

该系统由多类人工智能硬件传感器、摄像头、显示器及多类识别器、微型电机、机械机构等协同运作，技术含量高达 90%以上。采用人工智能软件技术模拟法、工程学方法、深度学习、工业 4.0、机器人、认知计算机和机器学习、机器视觉、模糊逻辑、云计算、互联网、物联网、区块链、多层体系结构、专家系统、大数据实时分布式高容错计算分析系统等技术，并采用自主开发的经过几百万次验证的数百种指标和设计方法模型。这是人工智能首次全面深度地应用于美国生物制药高端装备，用于传统人工极难或根本不可能操作的工艺，大幅改善和提高了效率，提升幅度超过 50%。该系统采用云架构设计开发，能够兼容多种传统控制系统并提供接口，确保现有控制系统能够轻松导入与整合。

本项目面向复杂且多样的气体感知需求，团队结合多种传感模式和具身智能模型，致力于提供先进的气体感知技术。项目的应用涵盖了食品工业、化工、安防及服务业等多个行业，提供高效的化学传感解决方案。在气体混合物分析、泄漏检测与定位、食品质量监控、以及视觉与嗅觉联动检测等方面，已成功实现多个应用案例。团队成员来自新加坡某知名大学和德国一流的工学院，具备在化学感知和机器人技术等领域的深厚研发经验。