本发明涉及一种针对锥桶的分类与测距方法及系统，首先利用激光点云与相机图像之间的映射关系，将激光点云映射为二维图像；其次，根据算法对图像中的锥桶做定位与分类；然后，完成初步筛选和框选的激光点云通过欧氏距离聚类算法对其进行聚类的方式进一步去除非锥桶点云；最后，根据边界框的种类对相应边界框内的激光点云按照边界框的种类对应的RGB值进行赋色，得到不一样的颜色的锥桶点云，多个不同锥桶边界框内聚类出的高质量锥桶激光点能用来计算出其对应锥桶的距离，从而能够对若干锥桶进行分类的同时计算出锥桶距离。本发明通过双目
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113095324 A (43)申请公布日 2021.07.09 (21)申请号 0.7 G06N 3/08 (2006.01) (22)申请日 2021.04.28 (71)申请人 合肥工业大学 地址 230009 安徽省合肥市屯溪路193号 (72)发明人 张良续秋锦饶泉泉李鑫 祁永芳朱立红 (74)专利代理机构 北京海虹嘉诚知识产权代理 有限公司 11129 代理人 何志欣 (51)Int.Cl. G06K 9/32 (2006.01) G06K 9/34 (2006.01) G06K 9/46 (2006.01) G06K 9/62 (2006.01) G06N 3/04 (2006.01) 权利要求书3页 说明书11页 附图2页 (54)发明名称 一种针对锥桶的分类与测距方法及系统 (57)摘要 本发明涉及一种针对锥桶的分类与测距方 法及系统，首先利用激光点云与相机图像之间的 映射关系，将激光点云映射为二维图像；其次，根 据算法对图像中的锥桶做定位与分类；然后， 完成初步筛选和框选的激光点云通过欧氏距离 聚类算法对其进行聚类的方式进一步去除非锥 桶点云；最后，根据边界框的种类对相应边界框 内的激光点云按照边界框的种类对应的RGB值进 行赋色，得到不一样的颜色的锥桶点云，多个不同锥 桶边界框内聚类出的高质量锥桶激光点能够用 于计算出其对应锥桶的距离，从而能够对若干锥 桶进行分类的同时计算出锥桶距离。本发明通过 A 双目视觉检测锥桶感兴趣区域与激光点云提供 4 的距离信息，实现误差小、识别率高、稳定性高的 2 3 5 激光测距。 9 0 3 1 1 N C CN 113095324 A 权利要求书 1/3页 1.一种针对锥桶的分类与测距方法，其特征在于，至少包括以下步骤： 第一步：获取锥桶激光点云与图像的映射矩阵T ； l_c 第二步：采用双目图像和基于目标检测算法检测前方锥桶感兴趣区域； 第三步：对激光点云进行过滤聚类，基于欧氏距离聚类算法和点云数量聚类出锥桶点 云簇，去除非锥桶点云； 第四步：将得到的锥桶聚类点云根据第一步得到的映射矩阵分别映射为左右相机坐标 系下的二维图像，根据第二步检测出的锥桶感兴趣区域筛选点云； 第五步：将筛选后的激光点云与检测出的边界框的类别对应，根据边界框的种类(红、 蓝、黄等)对应的RGB值将对应的边界框内的激光点云进行赋色，得到不同颜色的锥桶聚类 点云； 第六步：应用第五步得到的不同颜色锥桶的聚类点云计算距离D 。 L 2.如权利要求1所述的针对锥桶的分类与测距方法，其特征在于，所述映射矩阵T 的 l_c 获取还包括： 根据作为第一监测单元(1)的激光雷达和作为第二监测单元(2)的相机的相对位置计 算出相机坐标系在雷达坐标系下的位姿矩阵，则激光雷达坐标原点O 和相机坐标原点O 之 l c 间的距离分量为dx，dy和dz。在已知相机焦距f、像主点(cx,cy)的情况下，激光点云与图像 的映射矩阵T 为： l_c 激光点(x ，y ，z)和图像像素(u，v)之间的映射关系如下： l l l 式中 表示伪逆。 3.如权利要求2所述的针对锥桶的分类与测距方法，其特征在于，所述激光点云的过滤 聚类还包括根据所述第一监测单元(1)获取的激光点云信息中的锥桶和/或其他障碍物的 回波强度数据，所述激光点云中的若干激光点对应的强度数据的总和构成强度图像， 在激光点云与二维图像相融合的情况下，中央处理模块(3)按照所述强度图像中属于 同一锥桶边界框内的任意两个相邻像素的回波强度值的差小于或等于设定的强度值阈值 的方式验证所述激光点云的分类情况和边界框的位置。 4.如权利要求3所述的针对锥桶的分类与测距方法，其特征在于，所述激光点云的过滤 聚类还包括根据所述第一监测单元(1)获取的原始激光点云滤去地面点云后获得能够转换 成距离图像的目标点云； 当所述第一监测单元(1)获取到激光点的扫描天顶角、扫描方位角及距离信息时，所述 中央处理模块(3)按照遍历每个点的方式建立所述距离图像； 2 2 CN 113095324 A 权利要求书 2/3页 所述距离图像还通过像素的邻接关系建立激光点云间的邻域关系，从而使得激光点云 的分割转换为对距离图像相邻像素之间的连通分量的标记； 所述中央处理模块(3)按照将所述距离图像作为验证信息的方式对所述第二监测单元 获取的二维图像中的锥桶边界框分布情况进行二次验证。 5.如权利要求4所述的针对锥桶的分类与测距方法，其特征在于，在使用欧式距离聚类 算法进行锥桶点云过滤聚类时，所述第二监测单元(2)获取的二维图像利用目标检测算法 进行检测而获取到的锥桶感兴趣区域的个数作为欧式聚类算法要聚类分割的类别数目，然 后在要聚类的点云数据中心随机选取与类别数一致的种子点作为初始的每个类别的中心， 根据剩余的所有点到每个种子点的距离，将剩余点划分到距离最小的一个类别中； 其中，所述距离图像和强度图像能够与所述二维图像进行映射融合，从而验证所述二 维图像中利用边界框框选的锥桶感兴趣区域的位置和数量，进而获取能够与实际锥桶数一 致的类别数目。 6.如权利要求5所述的针对锥桶的分类与测距方法，其特征在于，所述聚类算法进行聚 类分割时，需要多次调整种子点为上一划分好的每个类别的新中心位置，重复聚类过程，直 到最后质心不发生移动或达到最大迭代次数从而完成对原始点云数据的聚类分割； 所述距离图像的连通分量是按照相邻像素对应的至少两个坐标之间的欧式距离在设 定的距离阈值范围内的方式进行标记的， 在相邻的两个像素之间的距离值小于距离阈值的情况下，所述中央处理模块(3)判定 相邻的两个像素对应的坐标点属于同一类目标，从而所述中央处理模块(3)还以遍历距离 图像的非零像素的方式获取所述像素的最大连通区域，进而验证目标物的分割结果。 7.如权利要求1所述的针对锥桶的分类与测距方法，其特征在于，在依据二维图像获取 锥桶感兴趣区域进行激光点云的筛选时， 设一激光点P(x，y，z)，根据公式(2)将其映射到图像坐标系，得到的图像坐标为(u，v)， 若点P是属于前方锥桶的激光点，则(u，v)需要满足下列约束条件： 8.如权利要求7所述的针对锥桶的分类与测距方法，其特征在于，在完成激光点云的聚 类和分割的情况下，所述中央处理模块(3)根据分割的锥桶聚类点云个数和点云强度值选 择不同激光点计算不同锥桶的距离，其中， 所述二维图像中的锥桶边界框数量与距离图像和强度图像中的点云簇数量一致。 9.一种针对锥桶的分类与测距系统，其特征在于，其至少包括第一监测单元(1)、第二 监测单元(2)和中央处理模块(3)， 所述第一监测单元(1)用于获取指定方向区域内锥桶或遮挡物的激光点云信息； 所述第二监测单元(2)以模仿双目视觉的方式获取同一指定方向区域的二维图像； 所述中央处理模块(3)能够根据获取的激光点云信息和二维图像进行指定方向区域内 的锥桶的分类与测距，其中， 所述第一监测单元(1)采集到的激光点云以映射的方式融合至所述第二监测单元(2) 获取的二维图像中，从而所述中央处理模块(3)能够根据所述二维图像中检测识别出的锥 3 3 CN 113095324 A 权利要求书 3/3页 桶边界框进行对应于不同锥桶的至少部分激光点云的定位与聚类。 10.如权利要求9所述的针对锥桶的分类与测距系统，其特征在于， 所述激光点云的过滤聚类还包括根据所述第一监测单元(1)获取的激光点云信息中的 锥桶和/或其他障碍物的回波强度数据，所述激光点云中的若干激光点对应的强度数据的 总和构成强度图像， 在激光点云与二维图像相融合的情况下，中央处理模块(3)按照所述强度图像中属于 同一锥桶边界框内的任意两个相邻像素的回波强度值的差小于或等于设定的强度值阈值 的方式验证所述激光点云的分类情况和边界框的位置； 所述激光点云的过滤聚类还包括根据所述第一监测单元(1)获取的原始激光点云滤去 地面点云后获得能够转换成距离图像的目标点云；当所述第一监测单元(1)获取到激光点 的扫描天顶角、扫描方位角及距离信息时，所述中央处理模块(3)按照遍历每个点的方式建 立所述距离图像； 所述距离图像还通过像素的邻接关系建立激光点云间的邻域关系，从而使得激光点云 的分割转换为对距离图像相邻像素之间的连通分量的标记，所述中央处理模块(3)按照将 所述距离图像作为验证信息的方式对所述第二监测单元获取的二维图像中的锥桶边界框 分布情况进行二次验证。 4 4 CN 113095324 A 说明书 1/11页 一种针对锥桶的分类与测距方法及系统 技术领域 [0001] 本发明涉及多传感器信息融合技术领域，尤其涉及一种针对锥桶的分类与测距方 法及系统。 背景技术 [0002] 目标检测与识别分类一直是人工智能领域研究的一个热点，其中结合激光雷达与 机器视觉的目标检测与分类更是近几年研究的热潮。目前，三维自动目标识别(ATR)技术在 军用和民用领域都有广泛的用途。ATR是指三维数据传感器能够自动识别目标。其中，激光 雷达(Laser Radar，LiDAR)，激光探测与测量，作为一种能够获取三维目标数据的传感器， 是一种快速发展的测量技术。LiDAR以激光波束为载体用于高精度地获取高密度点云数据， 获取的三维数据反映的是目标在现实世界中的三维尺寸信息，包含更多空间域的信息量， 能够更全面真实地对目标进行描述，在目标检测与分类领域具有巨大的优势。 [0003] LiDAR的优点有很多，例如方向性好、测距精度高、单色性、相干性好、方向性强，并 能够全天时不间断工作，此外，LiDAR扫描过程迅速、受外界环境影响较小、对小跳跃变化敏 感、对不同环境下的目标检测有更强的适应性和优越性，因此LiDAR被广泛应用于室外场合 的目标定位与检测中。此外，室外环境中的天气、温度、光线的变化及物体表面材质的不同 会对CCD图像产生影响，并且，CCD图像不能完全描绘环境，而LiDAR技术能够克服以上问题， 所以，它的应用是必不可少的。 [0004] 在LiDAR仿真平台中对目标进行实时检测时，采用搜索模式扫描可以快速获取大 量的信息。然而，实际的目标检测过程存在很多困难，例如，在检测目标的过程中既要保证 良好的鲁棒性及可治愈性，又要求实时地显示处理，这对机器视觉检测算法提出了很高的 要求。此外，检测到目标后，对目标的分类也是研究的重点。LiDAR同样普遍应用于对目标的 扫描识别与分类中。 [0005] 中国专利CN103994779A公开了一种基于三维激光点云的全景相机标定方法，获取 地物稳定的场景中地物的三维激光点云；在场景中通过全景相机获取组成全景相机的各子 相机的单张标定影像；根据三维激光点云获取所需控制点的坐标；在各单张标定影像中获 取与控制点对应的像点坐标；根据控制点的坐标及像点坐标，通过张正友标定法解算全景 相机中各个子相机的内、外参数。上述方案，不需要建立标定场，根据场景三维激光点云，确 定所需控制点坐标，并根据控制点与单张标定影像的映射关系，在各单张标定影像中获取 与控制点对应的像点坐标，通过对控制点的坐标及像点坐标的求解，即可得出全景相机中 各个子相机的内参数及外参数。但是该专利缺乏对获取的点坐标和激光点云簇的分布情况 的验证，无法保证分割结果的准确性，尤其是存在相互间距较小或视线方向上的图像重叠 时，无法准确地识别类别数目的数值。 [0006] 中国专利CN110780305A公开了基于多线激光雷达的赛道锥桶检测及目标点追踪 方法，包括以下步骤：1)读取激光雷达点云数据；2)对激光雷达点云数据进行直通滤波；3) 排除地面点云数据对锥桶检测的干扰；4)筛选出锥桶的点云簇；5)对聚类得到的点云簇进 5 5 CN 113095324 A 说明书 2/11页 行统计分析，根据锥桶实际尺寸的特征，设置最大标准差阈值，筛选出锥桶；6)获取其点云 簇中心点坐标；7)对激光雷达左右两侧的锥桶中心点坐标进行计算平均值，得到锥桶的中 心点为当前状态下的最近目标点；8)循环以上步骤，获取最新目标点。本发明通过对激光雷 达点云的实时滤波、分割、聚类等处理，不断控制车辆朝目标点移动，最终实现基于多线激 光雷达的赛道锥桶检测及目标点追踪。该专利通过对多线雷达的分割聚类进行处理实现赛 道锥桶的检测和目标点的追踪。不具有将三维点云与二维图像融合的相关技术内容，无法 将图像作为误差矫正的根据，从而无法精准地对锥桶进行测距和分类。 [0007] 在现有技术中，锥桶分类和测距系统采集到的参数单一，没有考虑通过采集多种 信息进行融合处理的方式获取更加精准的锥桶分类和测距；此外，现有技术中，对采集到的 数据并没有进行有效验证，也无法对相互靠近或存在重叠的锥桶点云/图像进行有效分割， 且没有很好地运用激光雷达采集到的强度信息和原始点云处理得到的距离图像，因此，本 发明将强度图像中强度值的分布、距离图像以及双目相机二维图像进行结合，从而能准确 地对激光点云进行分割并提取出每一个锥桶点云簇中的高质量激光点来进行锥桶距离测 量。 [0008] 此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于发明人做出 本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝 非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申 请人保留在背景技术中增加相关现有技术之权利。 发明内容 [0009] 针对现有技术之不足，本发明的技术方案提供的是一种激光点云信息与二维图像 融合的锥桶分类与测距方法，其利用激光点云与相机图像之间的映射关系，将3D激光点云 映射为二维图像。其次，根据目标检测算法对图像中的锥桶进行定位与分类；然后，完成初 步筛选和框选的激光点云通过欧氏距离聚类算法对其进行聚类的方式进一步去除非锥桶 点云，激光雷达获取的激光点云是根据目标检测检测算法所识别的锥桶边界框对不同的锥 桶聚类点云进行定位，从而经过图像－激光点云映射得到锥桶边界框内对应的激光点云； 最后，根据边界框的种类对相应边界框内的激光点云按照边界框的种类对应的RGB值进行 赋色，得到不同颜色的锥桶点云；多个不同锥桶边界框内聚类出的高质量锥桶激光点能够 用于计算出其对应锥桶的距离，从而能够对前方若干锥桶进行分类的同时计算出多个锥桶 的距离。所述锥桶分类和测距方法至少包括以下步骤： [0010] 第一步：获取锥桶激光点云与图像的映射矩阵T l_c； [0011] 第二步：采用双目图像和基于改进目标检测算法检测前方锥桶感兴趣区域； [0012] 第三步：对激光点云进行过滤聚类，基于欧氏距离聚类算法和点云数量聚类出锥 桶点云簇，去除非锥桶点云； [0013] 第四步：将得到的锥桶聚类点云根据第一步得到的映射矩阵分别映射为左右相机 坐标系下的二维图像，根据第二步检测出的锥桶感兴趣区域筛选点云； [0014] 第五步：将筛选后的激光点云与检测出的边界框的类别对应，根据边界框的种类 对应的RGB值将对应的边界框内的激光点云进行赋色，得到不同颜色锥桶的聚类点云； [0015] 第六步：应用第五步得到的不同颜色锥桶的聚类点云计算距离D 。 L 6 6 CN 113095324 A 说明书 3/11页 [0016] 根据一种优选地实施方式，所述映射矩阵T 的获取还包括： l_c [0017] 根据作为第一监测单元的激光雷达和作为第二监测单元的相机的相对位置计算 出相机坐标系在雷达坐标系下的位姿矩阵，则激光雷达坐标原点O和相机坐标原点O 之间 l c 的距离分量为dx，dy和dz。在已知相机焦距f、像主点的情况下，激光点云与图像的映射矩阵 T 为： l_c [0018] [0019] 激光点和图像像素之间的映射关系如下： [0020] [0021] 式中 表示伪逆。 [0022] 根据一种优选地实施方式，所述激光点云的过滤聚类还包括根据所述第一监测单 元获取的激光点云信息中的锥桶和/或其他障碍物的回波强度数据，所述激光点云中的若 干激光点对应的强度数据的总和构成强度图像，在激光点云与二维图像相融合的情况下， 中央处理模块按照所述强度图像中属于同一锥桶边界框内的任意两个相邻像素的回波强 度值的差小于或等于设定的强度值阈值的方式验证所述激光点云的分类情况和边界框的 位置。 [0023] 根据一种优选地实施方式，所述激光点云的过滤聚类还包括根据所述第一监测单 元获取的原始激光点云滤去地面点云后获得能够转换成距离图像的目标点云；当所述第一 监测单元获取到激光点的扫描天顶角、扫描方位角及距离信息时，所述中央处理模块按照 遍历每个点的方式建立所述距离图像；所述距离图像还通过像素的邻接关系建立激光点云 间的邻域关系，从而使得激光点云的分割转换为对距离图像相邻像素之间的连通分量的标 记；所述中央处理模块按照将所述距离图像作为验证信息的方式对所述第二监测单元获取 的二维图像中的锥桶边界框分布情况进行二次验证。 [0024] 根据一种优选地实施方式，在使用欧式距离聚类算法进行锥桶点云过滤聚类时， 所述第二监测单元获取的二维图像利用目标检测算法进行检测而获取到的锥桶感兴趣区 域的个数作为欧式聚类算法要聚类分割的类别数目，然后在要聚类的点云数据中心随机选 取类别数一致的种子点作为初始的每个类别的中心，根据剩余的所有点到每个种子点的距 离，将剩余点划分到距离最小的一个类别中；其中，所述距离图像和强度图像能够与所述二 维图像进行映射融合，从而验证所述二维图像中利用边界框框选的锥桶感兴趣区域的位置 和数量，进而获取能够与实际锥桶数一致的类别数目。 [0025] 根据一种优选地实施方式，所述聚类算法进行聚类分割时，需要多次调整种子点 为上一划分好的每个类别的新中心位置，重复聚类过程，直到最后质心不发生移动或达到 最大迭代次数从而完成对原始点云数据的聚类分割；所述距离图像的连通分量是按照相邻 7 7 CN 113095324 A 说明书 4/11页 像素对应的至少两个坐标之间的欧式距离在设定的距离阈值范围内的方式进行标记的，在 相邻的两个像素之间的距离值小于距离阈值的情况下，所述中央处理模块判定相邻的两个 像素对应的坐标点属于同一类目标，从而所述中央处理模块还以遍历距离图像的非零像素 的方式获取所述像素的最大连通区域，进而验证目标物的分割结果。其优势在于，该分割方 式能够将相互靠近或存在重叠的目标分割较为接近的两类不同目标，同时在对多种模块组 成的大目标或者相互嵌套的不同目标进行分割时，具有较低时间复杂度，能有效减少欠分 割的情况，对于进一步准确提取不同目标特征具有重要意义。 [0026] 根据一种优选地实施方式，在依据二维图像获取锥桶感兴趣区域进行激光点云的 筛选时， [0027] 设一激光点P(x，y，z)，根据公式将其映射到图像坐标系，得到的图像坐标为，若点 P是属于前方锥桶的激光点，则需要满足下列约束条件： [0028] [0029] 根据一种优选地实施方式，在完成激光点云的聚类和分割的情况下，所述中央处 理模块根据分割的锥桶聚类点云个数和点云强度值选择不同激光点计算不同锥桶的距离， 其中，所述二维图像中的锥桶边界框数量与距离图像和强度图像中的点云簇数量一致； [0030] 设基于欧氏距离聚类算法检测到的锥桶聚类点云共M个，记为(x ，y ，z)，(x ，y ， 1 1 1 2 2 z)，……，(x ，y ，z)。则前方锥桶的激光检测距离为： 2 M M M [0031] [0032] 本发明还提供一种针对锥桶的分类与测距方法，其至少包括第一监测单元、第二 监测单元和中央处理模块，所述第一监测单元用于获取指定方向区域内目标或遮挡物的激 光点云信息；所述第二监测单元以模仿双目视觉的方式获取同一指定方向区域的二维图 像；所述中央处理模块能够根据获取的激光点云信息和二维图像进行指定方向区域内的锥 桶的分类与测距，其中，所述第一监测单元采集到的激光点云以映射的方式融合至所述第 二监测单元获取的二维图像中，从而所述中央处理模块能够根据所述二维图像中检测识别 出的锥桶边界框进行对应于不同锥桶的至少部分激光点云的定位与聚类。本发明通过融合 应用激光点云与图像的映射关系，以及双目视觉所检测的前方锥桶感兴趣区域与激光点云 提供的距离信息，实现误差小、识别率高、稳定性高的3D激光测距。 [0033] 根据一种优选地实施方式，所述激光点云的过滤聚类还包括根据所述第一监测单 元获取的激光点云信息中的锥桶和/或其他障碍物的回波强度数据，所述激光点云中的若 干激光点对应的强度数据的总和构成强度图像，在激光点云与二维图像相融合的情况下， 中央处理模块按照所述强度图像中属于同一锥桶边界框内的任意两个相邻像素的回波强 度值的差小于或等于设定的强度值阈值的方式验证所述激光点云的分类情况和边界框的 位置；所述激光点云的过滤聚类还包括根据所述第一监测单元获取的原始激光点云滤去地 面点云后获得能够转换成距离图像的目标点云；当所述第一监测单元获取到激光点的扫描 天顶角、扫描方位角及距离信息时，所述中央处理模块按照遍历每个点的方式建立所述距 离图像；所述距离图像还通过像素的邻接关系建立激光点云间的邻域关系，从而使得激光 8 8 CN 113095324 A 说明书 5/11页 点云的分割转换为对距离图像相邻像素之间的连通分量的标记，所述中央处理模块按照将 所述距离图像作为验证信息的方式对所述第二监测单元获取的二维图像中的锥桶边界框 分布情况进行二次验证。 附图说明 [0034] 图1是本发明的一种针对锥桶的分类与测距方法及系统的分类与测距流程图； [0035] 图2是本发明的一种针对锥桶的分类与测距方法及系统的坐标系之间转换的示意 图； [0036] 图3是本发明的一种针对锥桶的分类与测距方法及系统的效果图。 [0037] 附图标记列表 [0038] 1：第一监测单元 2：第二监测单元 3：中央处理模块 具体实施方式 [0039] 下面结合附图进行详细说明。 [0040] 实施例1 [0041] 本发明提供一种针对锥桶的分类与测距方法，其通过激光雷达以激光波束为载体 获取高精度、高密度的点云数据，获取的三维数据反映的是目标在现实世界中的三维尺寸 信息。其还采用检测率高的双目视觉进行前方若干锥桶的感兴趣区域与距离检测。本发明 进一步通过将两者获取的信息进行融合处理以得到若干个不同颜色的锥桶点云，其中，双 目视觉获取的锥桶信息对激光点云进行筛选，并通过筛选出的高质量激光点求取前方锥桶 距离。 [0042] 如图1所示，本发明首先利用激光点云与相机图像之间的映射关系，将3D激光点云 映射为二维图像。其次，根据目标检测算法对图像中的锥桶进行定位与分类。优选地，本发 明的目标检测算法采用根据实际需求改进后的Tiny_YOLO_V3检测算法。然后，完成初步筛 选和框选的激光点云通过欧氏距离聚类算法对其进行聚类的方式进一步去除非锥桶点云。 优选地，激光雷达获取的激光点云是根据Tiny_YOLO_V3检测算法所识别的锥桶边界框对不 同的锥桶聚类点云进行定位，从而经过图像－激光点云映射得到锥桶边界框内对应的激光 点云。最后，根据边界框的种类对相应边界框内的激光点云按照边界框的种类对应的RGB值 进行赋色，得到不同颜色的锥桶点云。多个不同锥桶边界框内聚类出的高质量锥桶激光点 能用来计算出其对应锥桶的距离，从而能够对前方若干锥桶进行分类的同时计算出多个 锥桶的距离。 [0043] 优选地，在进行具体的锥桶分类和测距时，主要包括以下实施步骤： [0044] 第一步：获取激光点云与图像的映射矩阵T 。 lc [0045] 如图2所示，根据激光雷达和相机的相对位置计算出相机坐标系在雷达坐标系下 的位置矩阵，则激光雷达坐标原点O和相机坐标原点O 之间的距离分量为dx，dy和dz。在已 l c 知相机焦距f、像主点(cx，cy)的情况下，激光点云与图像的映射矩阵T 为： l_c 9 9 CN 113095324 A 说明书 6/11页 [0046] [0047] 激光点(x ，y ，z)和图像像素(u，v)之间的映射关系如下： l l l [0048] [0049] 式中 表示伪逆。 [0050] 第二步：采用双目图像和基于Tiny_YOLO_V3算法检测前方锥桶感兴趣区域，设利 用Tiny_YOLO_V3算法检测到锥桶的边界框的左上角坐标为(x ，y)，ROI的宽度为w ，高度为 s s r h 。 r [0051] 第三步：对激光点云进行过滤聚类，基于欧氏距离聚类算法和点云数量聚类出锥 桶点云簇，去除非锥桶点云。 [0052] 在使用欧式距离聚类算法进行锥桶点云过滤聚类时，双目图像利用Tiny_YOLO_V3 算法进行检测而获取到的锥桶感兴趣区域的个数作为欧式聚类算法要聚类分割的类别数 目M，然后在要聚类的点云数据中心随机选取M个种子点作为初始的每个类别的中心，根据 剩余的所有点到每个种子点的距离，将剩余点划分到距离最小的那一类中。之后调整种子 点为划分好的每个类别的新中心，重复上面过程，直到最后质心不发生移动或达到最大迭 代次数从而完成对原始点云数据的聚类分割。通过调用欧氏距离函数来使用欧氏距离聚类 算法完成对点云数据的聚类分割。欧氏距离函数的输入为点云数据集和聚类类别数M，输出 每个数据点所属的类别。 [0053] 优选地，激光点云的过滤聚类还包括根据第一监测单元1获取的激光点云信息中 的锥桶和/或其他障碍物的回波强度数据。激光点云中的若干激光点对应的强度数据的总 和构成强度图像，在激光点云与二维图像相融合的情况下，中央处理模块3按照强度图像中 属于同一锥桶边界框内的任意两个相邻像素的回波强度值的差小于或等于设定的强度值 阈值的方式验证激光点云的分类情况和边界框的位置，进一步优选地，激光点云的过滤聚 类还包括根据第一监测单元1获取的原始激光点云滤去地面点云后获得能够转换成距离图 像的目标点云，当第一监测单元1获取到激光点的扫描天顶角、扫描方位角及距离信息时， 中央处理模块3按照遍历每个点的方式建立距离图像距离图像还通过像素的邻接关系建立 激光点云间的邻域关系，从而使得激光点云的分割转换为对距离图像相邻像素之间的连通 分量的标记。中央处理模块3按照将距离图像作为验证信息的方式对第二监测单元获取的 二维图像中的锥桶边界框分布情况进行二次验证。 [0054] 第四步：将第三步得到的锥桶聚类点云根据第一步得到的映射矩阵分别映射为左 右相机坐标系下的二维图像，根据第二步检测出的锥桶ROI筛选点云。 [0055] 设一激光点P(x，y，z)，根据公式(2)将其映射到图像坐标系。得到地图像坐标为 (u，v)。若点P是属于前方锥桶的激光点，则(u，v)需要满足下列约束条件： 10 10 CN 113095324 A 说明书 7/11页 [0056] [0057] 第五步：将第四步筛选后的激光点云与检测出的边界框的类别对应，如图3所示， 根据边界框的种类(红、蓝、黄等)对应的RGB值将对应的边界框内的激光点云进行赋色，得 到信息更丰富的(x，y，z，RGB)格式的数据，得到不一样的颜色锥桶的聚类点云。 [0058] 第六步：应用第五步得到的不一样的颜色锥桶的聚类点云计算距离D 。 L [0059] 设基于欧氏距离聚类算法检测到的锥桶聚类点云共M个，记为(x ，y ，z)，(x ，y ， 1 1 1 2 2 z)，……，(x ，y ，z)。则前方锥桶的激光检测距离为： 2 M M M [0060] [0061] 实施例2 [0062] 本实施例是对实施例1的进一步改进，重复的内容不再赘述。 [0063] 本发明提供一种针对锥桶的分类与测距系统，其按照采集指定方向区域内含有锥 桶信息的二维图像和激光点云的方式得到该区域内多个锥桶位置信息和距离信息。本系统 包括第一监测单元1、第二监测单元2和中央处理模块3。第一监测单元1用于获取指定方向 区域内锥桶的激光点云信息。激光点云信息包括原始激光点云和点云的强度信息等。第二 监测单元2以模仿双目视觉的方式获取同一指定方向区域的二维图像。第二监测单元2包括 左相机和右相机，其获取的二维图像是两个相机采集图像的融合图像，该二维图像能够以 标定前方设定区域内目标物的方式利用与目标物相适配的边界框进行目标物的框选。中央 处理模块3能够根据获取的激光点云信息和二维图像进行指定方向区域内的锥桶的分类与 测距。第一监测单元1采集到的激光点云以映射的方式融合至第二监测单元2获取的二维图 像中，从而中央处理模块3能够根据二维图像中检测识别出的锥桶边界框进行对应于不同 锥桶的至少部分激光点云的定位与聚类。 [0064] 优选地，在激光点云位于不同的锥桶边界框内的情况下，中央处理模块3按照其可 调节地对不同锥桶边界框内的激光点云进行赋色的方式勾勒出多个颜色不同的锥桶点云 轮廓。第一监测单元1即用于仅点云数据获取的激光雷达。第二监测单元2为能够获取具有 目标物标定边界框的相机。 [0065] 本发明提供结合点云强度数据进行点云分隔并获取锥桶距离的方法。在进行点云 信息采集时，第一监测单元1能够准确地返回目标点的坐标信息并接收到指定方向区域内 目标或遮挡物的回波强度值。作为第一监测单元1返回的重要信息之一的强度数据能够在 一定程度上反映目标的反射能力。优选地，强度数据可以是第一监测单元1经后续信号处理 和离散化操作后得到的一组离散整数值，其对于目标的分割和分类具有重要作用。 [0066] 第一监测单元1在探测时返回的是离散的点云信息，若干个点云数据间没有显式 地建立邻接关系。因此，当利用点云数据对目标进行分类和判断时，首先需要将离散的点云 分割为一个个具有实际意义的目标，然后才能进行后续特征提取、目标分类或三维重建等 一系列操作。故在需要利用双目图像和基于Tiny_YOLO_V3算法检测前方锥桶感兴趣区域， 并通过不同颜色的边界框对多个锥桶感兴趣区域进行分类并对非锥桶点云数据进行初步 11 11 CN 113095324 A 说明书 8/11页 筛除。激光雷达获取的点云信息能够被聚类为不同边界框限定的且位于锥桶感兴趣区域内 的锥桶点云簇，从而实现进一步去除非锥桶点云和隶属于不同锥桶的点云数据分类。将点 云场景快速准确地分割为单个且有意义的对象是相关系统后续数据处理分析的关键。激光 雷达强度值作为与目标本身相关的物理量在点云的精确分割中具有重要潜能。 [0067] 第一监测单元1不仅可以准确地获取目标的各个点的位置信息，还可以记录每个 点反射回来的强度。强度数据反映了目标反射能力的强弱，在目标分类和识别中具有重要 的潜能，但其不仅与目标本身特性有关，还受到距离、入射方位角、系统设备和大气状况等 多种因素的影响。 [0068] 点云分割是与图像的分割相关联的，第一监测单元1的点云信息分割形成多个点 云区域即是二维图像分割而形成的单一特性的部分图像。图像的分割就是把图像分成若干 个特定的、具有独特性质的区域并提取出感兴趣目标的过程。点云分割就是把杂乱的点云 分成若干个特定的、具有独特性质的点云子集的过程，每个子集可以作为一个整体进行相 应特征的提取。点云的分割也叫做聚类操作。 [0069] 第一监测单元1获得的点云分割的目的是将具有相似属性的点在空间上划分成一 个个独立区域。点云分割在数学形式上就是将集合分成的一个个互不相交的子集的过程， 其中，如果子集满足以下几个条件，则称为点云集合的有效分割。 [0070] (1)所有分割子集的并集是分割的点云总集。也就是点云总集中的任何一个点都 属于一个特定的子集，不存在未分割的点。 [0071] (2)每个数据点不能同时属于两个相同的子集，也就是说每个子集中都没有和其 他子集中相同的数据点。 [0072] (3)每个子集可以看作一个整体进行特征提取，提取的特征能准确反映子集对应 目标的特性。也即每个分割子集对应分割点云场景中的一个有意义的目标。 [0073] 在分割中，主要会出现两种分割不准确的情况。一种是将属于一个目标的点云分 到多个目标类中，过分割。而另一种是将属于不同目标的点云分为一类，欠分割。一个好的 分割算法要尽可能少地产生过分割和欠分割的情况。当使用k‑means算法对点云进行分割 时，原始M值的选取直接影响聚类分割的结果。当M值取较大时，由于真实目标类别数可能小 于选取M值，所以会在一定程度上造成过分割。当M值取较小时，则容易在一定程度上造成欠 分割。本发明通过对采集到的双目视觉图像进行基于Tiny_YOLO_V3算法检测来识别划分出 多个位于第一监测单元1前方的锥桶感兴趣区域，从而能够准确有效地计算出类别数目M。 相对于单一的激光点云方法进行目标物的分类和距离检测，本发明能够有效降低产生过分 割和欠分割的可能性，使得分类结果和检测结果更加可靠。进一步优选地，本发明还通过距 离图像与强度数据的联合，并基于两者的相互印证的方式验证双目视觉图像进行基于 Tiny_YOLO_V3算法检测识别出的锥桶感兴趣区域个数能够恰好等于类别数目M。 [0074] 优选地，为了能够对间距小或存在边缘重叠的多个锥桶的激光点云进行正确分 割，本发明提出将采集的距离图像与第一监测单元1获取的强度数据进行结合的方式来进行 点云分割。基于距离图像的点云分割方法首先需要在原始点云中滤去地面点云，然后将滤 去地面点云后的目标点云转换成距离图像。通过原始点云生成距离图像，本质就是将原始 点云坐标信息转换为图像像素坐标信息。在距离图像中，图像行像素坐标对应点云的扫描 天顶角φ，列像素坐标对应点云的扫描方位角θ，每个像素的灰度值对应每个点的距离信息 12 12 CN 113095324 A 说明书 9/11页 R。当激光雷达返回(R，θ，φ)信息时，中央处理模块3可以通过遍历每个点的方式直接建立 距离图像。优选地，行像素坐标rows和列像素坐标cols可以通过式(5)计算，其中α和β为激 光雷达的水平和垂直角分辨率。 [0075] [0076] 当激光雷达返回(x，y，z)信息时，中央处理模块3可以通过式(6)转换为距离值R， 扫描方位角θ。扫描天顶角φ，进而建立距离图像。 [0077] [0078] 将原始点云转换为距离图像后，距离图像利用像素的邻接关系隐式地建立起点云 间的邻域关系。在距离图像中，对点云的分割问题转换为对距离图像相邻像素进行连通分 量标记问题。对连通分量进行标记，最主要的就是判断邻接的像素是否表示同一个目标。在 距离图像中，相邻的像素对应的坐标若属于同一个目标物，则其之间的欧氏距离应该接近 短边距离形成的弧长，设相邻的两个像素保存的距离值为d 和d ，α为雷达的角分辨率。则短 1 2 边对应的弧长l为l＝min(d ，d)*α，由于相邻两像素对应的点之间夹角很小，所以两像素对 1 2 应点间距离可以近似用d ‑d 代替。我们可以设定一个距离阈值D来判断两个相邻像素对 1 2 应的坐标点云是否属于一个目标。距离阈值D的值可以通过式(7)计算，K为大于1的常数。 [0079] D＝K*min(d ，d)*α (7) 1 2 [0080] 当相邻两像素间像素距离值小于阈值D时，中央处理模块3判定两像素对应的坐标 点属于同一类目标。中央处理模块3通过对距离图像从左到右，从上到下进行遍历，每遍历 一个非零像素，进行深度优先搜索，根据上述判定准则找到该像素的最大连通区域，进行标 记，从而实现对目标的分割。由于标记后的距离图像中的数据无法直接提取分割后目标的 相关特征信息，中央处理模块3对距离图像标记后再按照下列公式(8)将像素坐标转换为点 云坐标，从而可以直接在原始点云信息中直接提取分割后的目标特征。 [0081] [0082] 激光雷达返回的点云数据中还包括点云的强度信息。在点云分割中，使用强度数 据来进一步对欠分割的点云进行分割。依据建立距离图像的方法建立一个强度图像，图像 每个像素值保存了当前像素对应点云数据的强度值。激光雷达强度返回值主要受到材料本 身性质、距离以及入射角的影响。对于同一目标上的相邻点云，若目标曲率较小，其相对雷 达的距离和入射角都应该较为接近，所以其强度返回值也应该较为接近。故若当相邻的两 个像素点为同一目标时，两点间距离应该小于距离阈值的同时，两点的强度返回值差也应 13 13 CN 113095324 A 说明书 10/11页 该小于一个阈值。通过在现有的基于距离图像标记的点云分割算法中添加相邻两像素的强 度返回值的差小于或等于设定的强度值阈值的限定条件，从而获得能够基于距离图像和强 度信息联合的点云分割算法。基于距离图像和强度数据的点云分割算法能对较为接近的两 个目标进行进一步分割，使得相互靠近或在设定方向上存在部分重叠的至少两个锥桶能够 被分割成至少两个部分，同时在分割时加入的强度信息还能够对存在嵌套的锥桶或其他分 类物分割成不同的部分，实现对待分类物的合理分割。其优势在于，该分割方式能够相互靠 近或存在重叠的目标分割较为接近的两类不同目标，同时在对多种模块组成的大目标或者 相互嵌套的不同目标进行分割时，具有较低时间复杂度，能有效减少欠分割的情况，对于进 一步准确提取不同目标特征具有重要意义。 [0083] 实施例3 [0084] 本发明的双目视觉相机通过Tiny_YOLO_V3算法对其采集图像中的锥桶进行定位 与分类。Tiny_YOLO_V3算法能够识别出与锥桶位置相对应的感兴趣区域并对不同区域采用 不同颜色的边框进行框选。YOLOv3‑Tiny拥有检测速度快、体积小、易于安装在边缘设备上 部等优点，同时也存在着识别精度低，定位不准的问题。该算法是在YOLOv3目标检测算法的 基础上进行改进，首先，对网络结构进行改进，在保证实时性的同时设计一个新的主干网 络，提高网络的特征提取能力；其次改进目标损失函数和特征融合的策略，使用IOU损失函 数代替原先边框位置损失函数，提高定位精度。YOLO V3‑tiny网络还是基于YOLO V3算法的 一个精简目标检测网络，可以在算推理能力较低的硬件上进行实时性的目标检测。YOLO V3‑tiny的特征提取层由7个卷积层和6个最大池化层组成，其中卷积层依次包括二维卷积 层、批量归一化层和非线性激活函数层。YOLO V3‑tiny目标检测网络虽然它有很快的检测 速度，但是它只采用13*13和26*26的网格特征图来进行目标预测，导致它对小尺寸目标检 测精度较低。因此，为了可以获取更加精准的检测结果，本发明将其分类结果与强度数据、 深度图形的处理结构进行结合和择优选取，从而使得最终向欧式距离聚类算法提供的M值 能够精准地对应于实际锥桶数量，从而能够准确地对锥桶进行分类和测距。 [0085] YOLO V3‑tiny相对于YOLO V3是在YOLO V3的网络结构基础上删除一些特征提取 层，而且YOLO V3‑tiny也是由YOLO V3中的三个不同尺度的输出变为两个不同尺度的输出， 从而仅由两个尺度的特征图构成YOLO输出层。在网络和结构上YOLOv3‑tiny相对于YOLOv3 更加精简，但是在数据集上发挥的性能并没有形成很大的劣势，但是在检测速度上，却有着 较大的提升，使其能够更加符合本发明在锥桶图像检测分类时对网络结构的需求。 [0086] 优选地，本发明针对现有的YOLO V3‑tiny作出了进一步改良，将YOLO V3‑tiny中 的两个不同尺度的检验测试结构删改为单尺度的检验测试结构，针对于前方锥桶在视野中的大小存 在从近到远的变化，中央处理模块3使用不相同尺度的anchors来对这几种不同尺度的目标进 行检测，anchors的大小是依据数据集的标签利用k‑means算法回归计算得到的，网络可以 在该数据集上拥有非常良好的表现。相对于原始的YOLOv3‑tiny算法改进后的YOLOv3‑tiny仅具 有一个yolo层，大大节约了网络的计算成本，同时还可以对YOLOv3‑tiny中利用多尺度的输 出层和不同大小的anchors来实现多尺度检测的冗余计算进行整合。 [0087] 必须要格外注意的是，上述具体实施例是示例性的，本领域技术人能在本发明公开 内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发 明的保护范围以内。本领域技术人员应明白，本发明说明书及其附图均为说明性而并非 14 14 CN 113095324 A 说明书 11/11页 构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。 15 15 CN 113095324 A 说明书附图 1/2页 图1 图2 16 16 CN 113095324 A 说明书附图 2/2页 图3 17 17
2、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问加。
3、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
4、VIP文档为合作方或网友上传，每下载1次， 网站将按照每个用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
2022-2023学年人教版六年级数学上册第一单元测试卷（含答案）.doc
北京市101中学2022~2023学年第二学期八年级期中语文试卷.pdf
原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可下载、阅读），本站只是中间服务平台，本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者
