为提高汽车工艺涂胶质量及机械臂作业效率,针对基于深度学习的双目视觉车顶焊缝涂胶机械臂系统,提出了一种SEmYOLOv5算法,在主干网络上增加SE(squeeze and excitation)注意力机制,同时在颈部网络上增加一组采样模块,提高焊缝的识别能力...为提高汽车工艺涂胶质量及机械臂作业效率,针对基于深度学习的双目视觉车顶焊缝涂胶机械臂系统,提出了一种SEmYOLOv5算法,在主干网络上增加SE(squeeze and excitation)注意力机制,同时在颈部网络上增加一组采样模块,提高焊缝的识别能力。对提取到的图像进行图像处理,使得更好的提取车顶焊缝的特征信息从而得到特征点坐标,采用B样条曲线法对机械臂进行轨迹规划。改进后的算法相较原YOLOv5算法的mAP值提升了6.76%,针对该系统进行实验并验证了提出的基于深度学习的双目视觉车顶焊缝涂胶机械臂系统的有效性。展开更多
视觉同步定位与建图技术常用于室内智能机器人的导航,但是其位姿是以静态环境为前提进行估计的。为了提升视觉即时定位与建图(Simultaneous Localization And Mapping,SLAM)在动态场景中的定位与建图的鲁棒性和实时性,在原ORB-SLAM2基...视觉同步定位与建图技术常用于室内智能机器人的导航,但是其位姿是以静态环境为前提进行估计的。为了提升视觉即时定位与建图(Simultaneous Localization And Mapping,SLAM)在动态场景中的定位与建图的鲁棒性和实时性,在原ORB-SLAM2基础上新增动态区域检测线程和语义点云线程。动态区域检测线程由实例分割网络和光流估计网络组成,实例分割赋予动态场景语义信息的同时生成先验性动态物体的掩膜。为了解决实例分割网络的欠分割问题,采用轻量级光流估计网络辅助检测动态区域,生成准确性更高的动态区域掩膜。将生成的动态区域掩膜传入到跟踪线程中进行实时剔除动态区域特征点,然后使用地图中剩余的静态特征点进行相机的位姿估计并建立语义点云地图。在公开TUM数据集上的实验结果表明,改进后的SLAM系统在保证实时性的前提下,提升了其在动态场景中的定位与建图的鲁棒性。展开更多
文摘为提高汽车工艺涂胶质量及机械臂作业效率,针对基于深度学习的双目视觉车顶焊缝涂胶机械臂系统,提出了一种SEmYOLOv5算法,在主干网络上增加SE(squeeze and excitation)注意力机制,同时在颈部网络上增加一组采样模块,提高焊缝的识别能力。对提取到的图像进行图像处理,使得更好的提取车顶焊缝的特征信息从而得到特征点坐标,采用B样条曲线法对机械臂进行轨迹规划。改进后的算法相较原YOLOv5算法的mAP值提升了6.76%,针对该系统进行实验并验证了提出的基于深度学习的双目视觉车顶焊缝涂胶机械臂系统的有效性。
文摘视觉同步定位与建图技术常用于室内智能机器人的导航,但是其位姿是以静态环境为前提进行估计的。为了提升视觉即时定位与建图(Simultaneous Localization And Mapping,SLAM)在动态场景中的定位与建图的鲁棒性和实时性,在原ORB-SLAM2基础上新增动态区域检测线程和语义点云线程。动态区域检测线程由实例分割网络和光流估计网络组成,实例分割赋予动态场景语义信息的同时生成先验性动态物体的掩膜。为了解决实例分割网络的欠分割问题,采用轻量级光流估计网络辅助检测动态区域,生成准确性更高的动态区域掩膜。将生成的动态区域掩膜传入到跟踪线程中进行实时剔除动态区域特征点,然后使用地图中剩余的静态特征点进行相机的位姿估计并建立语义点云地图。在公开TUM数据集上的实验结果表明,改进后的SLAM系统在保证实时性的前提下,提升了其在动态场景中的定位与建图的鲁棒性。
