员工姓名：沈炼成

班员工级：测控2017-01班

指导教师：曹中清

毕设题目：基于小样本学习的机器人自主装配策略研究

一、概况

1.选题意义

在现代化智能制造的大背景下，机器人自动装配在工业生产线上处于非常重要的一环。同时小样本学习是人工智能领域一个新的研究热点，传统的机器学习需要大量数据进行训练，以保证最终的训练效果优良。但是大量数据标注成本较高，如果数据量较少又容易出现过拟合现象，影响最终效果。小样本学习的出现能够很好弥补这一问题。

本项目首先研究机器人自主装配。使得机器人在无人干预的情况下，实现自主对于工件的识别、检测、抓取以及装配。

其次，要求机器人在预训练网络的基础之上，仅基于少量样本学习，能够快速适应新的形状和大小的物体装配到其对应的孔中，此研究在工业装配和生产生活中具有很强的现实作用和意义。

2.任务分解

毕业设计的具体内容主要有以下几个方面：

(1)设计机器人感知器，即将传统的机器视觉技术以及当前时兴的卷积神经网络（CNN）相结合。重点研究基于mask-rcnn的深度学习网络，基于深度学习技术，利用通过事先收集的样本数据，训练出机器人抓取识别网络。

即拟通过输入图像，得到机器人抓取的三维坐标、抓爪角度等信息。从而实现对于工件以及抓取位置的识别。

(2)研究机器人控制技术，得到机器人的装配策略。

设计机器人控制器，本设计拟采用UR3机器人以及robotiq夹爪进行控制。实现输入映射到低级别动作的策略。根据感知器识别的图像坐标系坐标，通过机器视觉以及机器人学知识，标定相机的外参、内参以及进行机器人手眼标定。最终实现图像坐标系到相机坐标系、机器人基座标系的转换。结合之前识别结果，从而实现机器人整个自主装配的过程。

(3)研究小样本学习技术，本论文计划采用网络微调（fine-tuning）。

通过实际采集的小样本数据，在原有网络的基础上进行调整训练。使得机器人在少量样本的情况下，能够快速调整网络，提升针对新的形状、大小的物体的抓取装配准确率，从而完成自主装配任务。

(4)整合整个流程，设计完整的控制策略。同时搭建平台，进行实体实验。

将整个控制策略整合，设计机器人对于工件的自动识别、检测、抓取以及装配策略，即机器人自主感知与装配全过程。其中包括具体机械臂的使用方法，相机参数手眼标定等等。将现有算法在实际机器人平台上进行验证，证明该装配策略的可行性。

二、已完成工作

目前已经完成了整个自主装配系统的搭建工作。基本能够完成装配任务，同时当新的形状出现时，该自主装配系统能根据少量样本实现微调，从而快速适应新的形状的物体装配。

感知器方面，采用工业相机MER-041-436U3M作为视觉感知模块。图像处理使用mask-rcnn实现工件的定位工作。

同时结合传统的计算机视觉知识，根据掩膜确定工件的中心位置，同时对掩膜做出最小外接矩形，从而求出旋转角度。

结合小样本学习知识，特别是神经网络微调（fine-tuning），使得神经网络仅根据50张样本图片训练，即可完成8种工件与孔的定位、识别以及实例分割。在实际实验平台验证，发现神经网络的识别准确率较高，能够完成目标任务。

同时，根据机器人学以及机器视觉相关知识，根据相机内参、外参以及手眼标定相关知识，标定方法采用张正友标定法。最后通过坐标转换实现定位位置由图像坐标系到相机坐标系最后到世界坐标系的转换。将该信息传给执行机构指挥执行机构进行执行。

执行器方面，采用UR3机器人，以及robotiq夹爪作为执行机构，实现工件的抓取并将之装配到对应的孔中。Robotiq夹爪内置了力传感设备，能够控制夹取的力，确保机械臂能够抓紧物体。编写了控制代码完成整个过程。

最后，将上述设计部分整合起来，搭建系统进行实际装配实验。

三、下一步工作计划

下一阶段的主要工作是对于已搭建系统进行优化设计。首先是手眼标定需要继续学习，当前的手眼标定不够准确，导致抓取定位存在一定偏差。

其次由于图像视野较小，如工件在图像边缘的话，由于图像畸变等原因，可能会导致抓取不准等情况。这一部分下一阶段需要着重进行优化。

此外，毕业论文的撰写工作也是下一步的工作重点，需要针对国内外研究现状进行充分的调研，完成毕业论文，绘制各种流程图等。

问题一：你这个角度的求取以及最小外接矩的生成算法是如何编写的？

回生答：最小内接矩的算法我是基于python下的opencv库开发。通过mask-rcnn生成掩膜进一步提取轮廓，之后做出最小外接矩。再通过最小外接矩的倾斜角度相对屏幕坐标系的倾斜角度求得。

问题二：针对不同形状的物体，你抓取部位的策略是自动生成的还是人为给定的？

回生答：目前我的想法是直接抓取物体的中心点，然后在程序中针对不同类别物体，对抓取的是长边还是短边进行调整。 

通过本次毕设的实践，让我对于测控这个学科有了一个全新的认识与了解，对于机器人控制与深度学习结合方向进行了初步的学习与探索，这对于我之后的研究与学习都是有莫大的帮助。体验将自己的一个小idea逐步做出结果，做成实物这种感觉还是非常好的。在这个过程中我也学习了非常多，感谢曹老师和各位同学的帮助，希望我们能在未来的道路上，认真踏实做好每一步。