一、项目简介

本发明属于农业机器人技术与计算机视觉领域，具体涉及一种基于深度相机的光合检测机器人定标方法及系统。光合检测机器人是具备自主移动能力、搭载机械臂与深度相机的专用设备，其核心功能是自动识别植株叶片并精准调整光学检测器（如光合仪）的位置与角度，从而实现对叶片光合作用参数的无损、高通量测量。实现该功能的关键前提是完成机器人系统的精确标定（即确定机器人各组件坐标系之间的转换关系），以确保机械臂能准确将检测器对准目标叶片。

传统机器人定标方法常依赖物体的CAD模型、需要大量数据训练的深度学习模型（如YOLOv6）或昂贵的激光扫描与点云处理技术，存在准备工作量巨大、硬件要求高、计算耗时长且难以满足实时性应用需求等问题。针对这些瓶颈，本发明提出了一种创新解决方案。

本发明的核心在于提供了一种高效、实用的定标流程。该方法首先利用LabelMe工具对采集的植株RGB图像中的叶片轮廓进行人工标注，然后将标注信息转换为COCO数据集格式，并输入到深度学习图像分割算法Mask R-CNN中进行训练，从而获得图像中每个叶片的精确掩码图。随后，计算每个叶片掩码图的最外层轮廓，并挑选轮廓上均匀分布的三个像素点。

关键的坐标转换步骤中，本发明结合搭载在机器人末端的深度相机，将上述三个像素点转换到相机坐标系下的三维空间点。利用这三个空间点，巧妙地构建一个能代表该叶片在空间中的位置和姿态（合称为“位姿”）的坐标系，并计算出从相机坐标系到这个叶片坐标系的旋转矩阵和平移矩阵（即转换关系H_cam2obj）。同时，应用张正友标定法，通过拍摄不同位姿下的棋盘格图像，求解机器人末端法兰盘中心到深度相机的转换关系（H_end2cam）。最后，通过矩阵运算得到机器人末端到目标叶片的最终转换关系（H_end2obj），完成整个定标过程。

该方法显著降低了对前期数据准备量和硬件算力的要求，提升了定标效率，具有良好的实时性和实用性，为光合检测机器人的精准作业奠定了基础。

二、专利摘要

本发明提供了一种基于深度相机的光合检测机器人定标方法及系统，该方法利用深度相机及深度学习图像分割算法获取叶片轮廓上均匀分布的三个空间坐标点；进而完成对物体坐标系的构造，即相机坐标系到植株叶片坐标系的转换关系，也就是植株叶片的位姿信息；该方法巧妙地使用植株叶片上的空间点来构建坐标系，进而结合深度相机来定标，使得旋转误差和平移误差都能满足应用需求；本发明具有较好的实时性，且相较于目前主流的深度学习方法需要前期准备的数据量相对较少，对硬件要求有所降低，而准确度方面依然能够保持较高水准。

三、专利状态

本技术已递交中国专利申请，申请号：202410508835.1，实质审查中；持有人项目编号：SIPPE24-26。

四、持有单位

中国科学院分子植物科学卓越创新中心。

五、合作方式

转让、许可或合作研发。

六、联系方式

张雯，wzhang@cemps.ac.cn，021-54924138。