基于视觉-力-位姿多模态的插拔件自动装配技术研究
最受欢迎奖
资助企业：
上海优异达机电有限公司
资助年份： 2026
企业导师： 姬晓峰
指导教师： 戚进
项目成员： 贾清珂 黄奕博
项目海报
项目视频
项目简介
项目概述
在面对轴孔装配类接触密集型任务时，纯视觉的模仿学习算法会存在过度依赖视觉而导致泛化能力差，缺乏三维信息而导致对空间建模能力不足，缺乏力反馈而导致柔顺控制不足，所以我们引入装配件位姿信息和力觉信息作为视觉表征的补充，开展基于视觉-力-位姿多模态的插拔件自动装配技术研究。
项目目标
本项目聚焦工业自动化装配领域中插拔件装配这一高精度、密集接触的复杂度任务，旨在通过视觉、位姿与力觉信息同步采集、模仿学习动作预测的两个阶段技术链路，搭建人类演示数据采集系统，构建融合力觉信息融入和装配件位姿信息的模仿学习算法架构，最终实现融合多模态信息输入下机械臂插拔件的自动装配。
项目成果
1）搭建了基于混合现实头显以及外骨骼遥操作数据采集设备
2）针对三个装配任务，完成了多模态数据采集和时间对齐
3）优化高精度装配件位姿检测算法，完成装配件位姿信息的稳定追踪
4）提出视觉-力觉双专家模型门控融合架构，实现分阶段模仿学习策略实现
5）提出多模态感知信息的门控融合架构，实现分阶段视觉特征获取
6）开展多组装配件实机推演实验，验证模型策略的有效性
