员工姓名：郭琪

班员工级：交控2017-05班

指导教师：曾祥光

毕设题目：基于RGB-D直接法视觉里程计的移动机器人路径规划设计

一、概况

1.选题意义

移动机器人技术的发展日新月异，越来越多地用于运输、传送等特定任务的实现，自主导航作为移动机器人能够实现其自身运动智能化控制的关键模块之一，一直被众多科研人员广泛关注。移动机器人要完成对周围环境的感知和对自身的定位导航，它需要解决两个问题，即定位和建图，一方面移动机器人要知道自己的位置，另一方面它还要能够了解外在的环境状况，做到“内外兼修”。

近些年常用的定位与导航方法有全球定位系统(Global Position System, GPS)、激光雷达、轮式里程计(Wheel Odometry)、基于惯性的导航系统(Inertia Navigation System, INS)、人工标志定位(如铺设导轨、使用二维码标志)等，但它们或多或少都存在一些局限性。随着计算机性能的发展，实时处理图像数据已逐步成为可能，视觉里程计(Visual Odometry, VO)便在这种背景下诞生了。移动机器人搭载视觉传感器(即相机)，视觉里程计通过相机输入的图像信息去追踪相邻帧间的特征，利用视觉信息推出移动机器人的位置和姿态，并重建环境模型，其测量内容丰富，适用于多种场景模式，性价比高，目前已经发展成为一个较为完备的应用体系。作为视觉同步定位与地图构建(Visual Simultaneous Localization and Mapping, VSLAM)的前端部分，视觉里程计承担着估算相邻图像间相机的运动和局部地图的任务，在无人机、无人车、AR、VR、扫地机器人、物流机器人等中都有诸多应用。

通过视觉里程计来感知周围的环境并实现特定任务，具有可观的研究价值和意义。本课题的重点是研究依托于RGB-D相机的视觉里程计，以此来感知并重建周围的地图信息，将未知环境转变为已知环境，从而达到导航和路径规划的目的。

2.任务分解

整个设计过程分为四个阶段：

第一阶段：掌握视觉里程计的数学基础部分，包括对移动机器人进行位姿估计问题的描述、刚体在三维空间中位姿的数学模型、位姿优化、相机模型以及相关图像处理等基础；

第二阶段：了解经典视觉里程计的原理和框架结构，重点学习RGB-D直接法和开源算法RTAB-MAP，并完成算法的复现；

第三阶段：学习ROS操作系统，重点放在Turtlebot3 Waffle-Pi移动机器人的实践上，以开源方案RTAB-MAP为根基，实现移动机器人的地图构建及导航能力；

第四阶段：整合全部的设计内容，完成毕业论文的撰写，准备毕业答辩。

二、已完成工作

1.理论学习

    查阅相关文献和书籍，掌握了视觉里程计的基础理论部分，包括对移动机器人位姿估计问题的描述、刚体在三维空间中位姿的数学描述、相机模型以及基础图像处理操作。学习了经典视觉里程计的原理和框架结构，包括特征点法（以ORB为例）和直接法，重点学习RGB-D直接法和开源算法RTAB-MAP。 

2.实践部分

选择Turtlebot3 Waffle-Pi搭建了硬件平台，目前已完成对Remote-PC、Raspberry Pi 4B主板和OpenCR驱动板的初设，可以实现对移动机器人的基础控制。

使用iai_kinect2库提取了约200组彩色图像和深度图像完成了微软Kinect2相机的标定工作，包括相机内参矩阵和畸变系数标定、外参标定、深度校准以及图像配准。

利用8组彩色图像实现了基于RGB-D相机的稀疏直接法和半稠密直接法，前者提取带有特征的像素，后者提取带有明显亮度变化梯度的像素，将第一帧与之后的帧对比，运动越大，像素追踪偏移越大，会出现图像信息丢失的情况。

采用5组彩色图像和深度图像以及给定外参完成点云拼接，还原各像素点在三维世界坐标系下的位置。

利用Kinect2相机实现RTAB-MAP算法对周围地图信息的重建。

二、下一步工作计划

下一步的工作主要是实践地图构建和导航功能，在硬件平台的搭建、数据传输和联合控制上存在很多问题，如移动电源的连接，还有主板和相机间的图像信息传递，RTAB-MAP开源算法在主板上的实现，导航与路径规划设计，以及录制实践过程的视频等。

最后完成论文初稿，整合全部的设计内容，完成毕业论文的检查工作，准备答辩。 

问题一：视觉里程计和其他定位和导航方法相比起来有什么优点？

回题答：视觉里程计利用相机作为传感器，它能测量更多丰富的信息作为输入，从而能更还原周围的地图，尤其适合室内环境，精确度较高，性价比也很不错。

问题二：后续怎么实现移动机器人的路径规划？

回题答：首先需要用搭载相机的机器人把预设环境完全走一遍，搭建起周围的地图信息，再把地图转换为二维占用网格地图，就可以实现导航和路径规划。

从去年选题到现在的中期答辩，时间过得很快，我也从一开始对课题十分生疏逐渐转变为稍有了点工作成果，我的课题是研究生工作内容的预热，主要研究视觉同步定位与地图构建VSLAM的前端视觉里程计，涵盖了它的数学理论部分和算法实践，考虑到PC的计算能力，我最终选择了RGB-D相机，它能同时获取彩色图像和深度图像，用处理过的图像作为输入，经过视觉里程计去完成相机的位姿估计和地图重建。开题时我原本只打算做仿真，但在曾老师的建议下，最终选择了挑战实物实践，整个过程比我原来设想的仿真要困难得多，今天遇到硬件上的麻烦，明天数据传输又出问题，进度推进缓慢，但既然选择了实物实践，无论如何都必须做下去，希望接下来的时间里，我能逐步攻克每一个困难，去完成既定的任务。