一种基于单目相机的塔吊下方场景三维重建方法及系统与流程

1.本发明属于地图重建技术领域，尤其涉及一种基于单目相机的塔吊下方场景三维重建方法及系统。


背景技术：

2.在塔吊施工领域，塔吊大臂下方的地形和场景信息对于塔吊运行安全具有重要意义。如何进行塔吊下方地形与场景的稳定重建是塔吊主动安全和自动驾驶方面的重要问题。
3.目前，塔吊下方场景的三维重建主要有三种技术途径：1)基于双目相机的方法；2)基于激光雷达的方法；3)基于单目相机和序列数据分析的方法。
4.基于双目相机的方法是最为经典的基于视觉的地形重建方法，但是双目相机的需要在使用前进行严格的相对位姿标定，并且基线长度需要根据场景到相机的高度来设置，具有较大的局限性。
5.基于激光雷达的方法在三种方法中具有最好的稳定性和精度，但是能够满足塔吊作业场景的激光雷达的价格十分昂贵，成本是相机的100倍甚至1000倍。并且激光雷达的视场角一般较小，需要多个激光雷达协同处理，这又进一步提高了成本，不利于大规模推广应用。
6.基于单目相机的方法是三类方法中成本最低，安装和使用条件受限制最少的方法。但是此类方法对重建算法的要求很高，需要进行精确的序列数据分析和求解大规模非线性优化问题，因此稳定性较差，而且随着序列图像的加长，重建误差越大，精度越差。在塔吊施工场景中运动目标多、场景变化快的背景下，给序列图像的分析带来很大挑战，进一步加剧了单目相机序列数据在塔吊施工场景重建中的应用难度。
7.因此，如何利用单目相机，高效率、小误差地完成塔吊下方场景的三维重建，是本领域亟需解决的技术问题。
8.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

9.本发明的目的在于克服上述现有技术存在的不足，提供一种基于单目相机的塔吊下方场景三维重建方法及系统，主要用于解决现有技术中无法利用单目相机高效率、小误差地完成塔吊下方场景三维重建等问题。
10.为了实现上述目的，第一方面，本发明提供一种基于单目相机的塔吊下方场景三维重建方法，所述单目相机安装于塔吊小车下方，用于采集下方图像，包括以下步骤：
11.s10、获取时间轴上相邻帧的目标图像，基于深度学习进行目标语义分割，得到若干个分割实例结果，所述分割实例结果包含有特征信息和语义信息；
12.s20、采用多级求解方式，先根据塔吊运动参数对单目相机的相对运动作二维平面
假设，计算两张目标图像间的旋转和平移矩阵r0和t0，利用特征信息匹配，计算两帧目标图像间的相对位置r和t，得到单目相机的相对位姿；
13.s30、结合语义分割损失，对长时间序列的帧间相对位姿结果进行误差重新分配，将累积误差匀化至每一帧，得到误差优化后的相对位姿；
14.s40、根据误差优化后的相对位姿和语义信息进行密集重建，得到塔吊下方的场景重建结果。
15.在一些实施例中，所述塔吊运动参数包括塔吊小车径向距离、吊钩高度、大臂旋转角中的至少一项。
16.在一些实施例中，在进行步骤s20的计算时，保持若干个分割实例结果中特征信息和语义信息的对齐，以辅助和约束相对位姿的计算。
17.在一些实施例中，在步骤s20中，所述多级求解方式包括第一级求解和第二级求解；
18.在进行第一级求解时，以塔吊运动参数为初始值，对单目相机的相对运动作二维平面假设，根据初始值计算两张目标图像间的旋转和平移矩阵r0和t0，对图像进行放大倍数的下采样，提取单尺度特征点，选取局部窗口，在r0、t0和分割实例结果的约束下，对特征点进行匹配，构建同名点对，计算仿射变换参数，完成平面假设下的相对位姿r0和t0的修正，得到r1和t1；
19.在进行第二级求解时，在目标图像的原始分辨率层进行特征点提取，获得多尺度特征点，在r1和t1的约束下，对特征点进行匹配，利用特征信息匹配，计算两帧目标图像间的相对位姿r和t，得到单目相机的相对位姿。
20.在一些实施例中，所述r和t被配置为之间没有做二维平面假设，对相对位姿r和t进行解算时，根据单目相机的内方位参数，进行三维位置和旋转的解算，得到单目相机的相对位姿。
21.在一些实施例中，在步骤s30中，采用改进的光束法平差算法，在目标函数中加入语义分割损失，所述语义分割损失为静态目标语义边界的欧式距离和动态目标语义边界的欧式距离，如以下公式所示：
[0022][0023]
上式中，∑‖q-p(c,x)‖为标准光束法平差公式，以计算关键点的重投影误差；∑‖ins-ins
′
‖为相邻帧间静态目标语义边界点的重投影误差；λ为惩罚因子。
[0024]
在一些实施例中，所述动态目标语义边界的欧式距离小于动态边界阈值，所述惩罚因子λ为0.2。
[0025]
在一些实施例中，在步骤s40中，包括以下步骤：
[0026]
根据误差优化后的相对位姿和测量对极几何基本原理，获取同名极线；
[0027]
为同名极线上的每个像素点匹配第一处理窗口，将语义信息引入至上述匹配关系中，在同名极线上匹配到与语义信息对应的第一处理窗口，在第一处理窗口中以归一化灰度相关系数为相似度搜索最佳同名点；
[0028]
进行密集重建，得到塔吊下方的场景重建结果。
[0029]
在一些实施例中，在步骤s40中，识别具有平面特性的语义信息，进行分割实例结
果的边界匹配，对所述分割实例结果的内部进行平面假设处理，不进行同名点匹配。
[0030]
第二方面，本发明提供一种应用于上述基于单目相机的塔吊下方场景三维重建方法的系统，包括：
[0031]
单目相机，安装于塔吊小车下方，用于采集下方图像；
[0032]
语义分割模块，用于获取时间轴上相邻帧的目标图像，基于深度学习进行目标语义分割，得到若干个分割实例结果，所述分割实例结果包含有特征信息和语义信息；
[0033]
相对位姿求解模块，用于采用多级求解方式，先根据塔吊运动参数对单目相机的相对运动作二维平面假设，计算两张目标图像间的旋转和平移矩阵r0和t0，利用特征信息匹配，计算两帧目标图像间的相对位置r和t，得到单目相机的相对位姿；
[0034]
误差优化处理模块，用于结合语义分割损失，对长时间序列的帧间相对位姿结果进行误差重新分配，将累积误差匀化至每一帧，得到误差优化后的相对位姿；
[0035]
三维重建模块，用于根据误差优化后的相对位姿和语义信息进行密集重建，得到塔吊下方的场景重建结果。
[0036]
相比现有技术，本发明的有益效果至少包括：
[0037]
利用一台单目相机进行图像采集，基于深度学习进行目标语义分割，为连续帧的相对位姿计算和密集重建提供约束，提高稳定性，降低计算量，且成本低，便于推广应用；
[0038]
采用多级求解方式，基于语义信息与图像特征信息计算图像序列中相机的相对位姿，同时利用塔吊信息和语义信息进行约束，比单纯使用图像特征点更为可靠，而相对位姿作为密集重建的初始值，对最终密集重建的效果具有决定性的作用；
[0039]
针对在进行长时间序列的相对位姿计算中存在误差累积的问题，结合语义分割损失进行误差重新分配，将累积误差匀化至每一帧，以提高相对位姿计算结果的精度，保证场景重建的正确性。
附图说明
[0040]
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
[0041]
图1是一种实施例下一种基于单目相机的塔吊下方场景三维重建方法的流程示意图。
[0042]
图2是一种实施例下单目相机的部署位置示意图。
[0043]
图3是另一种实施例下一种基于单目相机的塔吊下方场景三维重建方法的流程示意图。
[0044]
图4是一种实施例中对目标图像进行目标语义分割的过程示意图。
[0045]
图5是一种实施例中对塔吊下方场景进行三维重建的结果示意图。
[0046]
图6是一种实施例下一种基于单目相机的塔吊下方场景三维重建系统的示意图。
具体实施方式
[0047]
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术
人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0049]
参照图1至2，第一方面，本发明提供一种基于单目相机的塔吊下方场景三维重建方法，所述单目相机安装于塔吊小车下方，用于采集下方图像，包括以下步骤：
[0050]
s10、获取时间轴上相邻帧的目标图像，基于深度学习进行目标语义分割，每一帧目标图像都会被分割得到若干个分割实例结果，而目标图像中包括有静态目标和动态目标，因此分割实例结果包括有静态分割结果和动态分割结果，所述分割实例结果包含有特征信息和语义信息，经目标语义分割后，得到每一个分割结果的边界；
[0051]
s20、采用多级求解方式，先根据塔吊运动参数对单目相机的相对运动作二维平面假设，计算两张目标图像间的旋转和平移矩阵r0和t0，在这一级求解中，进行了二维平面假设，由于加入了塔吊运动参数，所以很容易计算得出两张目标图像间的旋转和平移矩阵r0和t0；再进一步地，在下一级求解中，利用特征信息匹配，在r0和t0的约束下，计算两帧目标图像间的相对位置r和t，得到单目相机的相对位姿；
[0052]
s30、结合语义分割损失，对长时间序列的帧间相对位姿结果进行误差重新分配，将累积误差匀化至每一帧，得到误差优化后的相对位姿；由于三维重建是一个长期持续的动态过程，当所采集的目标图像序列越来越长时，对于根据相邻图像计算得出的相对位姿结果也会存在误差累积的情况，序列越长累积误差越大，如果不进行误差重新分配，会导致前面的数据重建精度好，后面的数据重建精度差，所以这一步骤中结合了语义分割损失，对误差进行重新分配，尽量均匀地分配到每一帧；
[0053]
s40、根据误差优化后的相对位姿和语义信息进行密集重建，得到塔吊下方的场景重建结果。
[0054]
本实施例通过在塔吊小车移动、大臂旋转时利用单目相机获取塔吊下方的图像序列，再在图像序列中获取时间轴上相邻帧的目标图像，需要说明的是，为了优化计算效率，单目相机可设置成按照一定频率来采集图像，例如3秒一次，因此相邻帧的两张目标图像之间的时间间隔是3秒，本方法的三维重建耗时也是3秒，通过将这两者的时间重叠，有效提高效率，降低多余的计算量；在对目标图像进行目标语义分割后，识别出动态目标和静态目标的边界，再基于图像特征信息和语义分割结果对相机相对位姿进行求解，得到相对位姿结果后，对长时间序列图像的相对位姿结果进行误差重新分配和全局调整优化，最后根据相对位姿和语义信息进行密集重建，只利用一个单目相机即可完成塔吊动态作业过程中其下方场景三维的重建，无需复杂的传感器标定，成本极低，便于大规模推广应用，而且计算过程中考虑了塔吊运动参数、语义信息约束、误差重新分配的因素，提高重建稳定性和精度，降低计算量，提高效率。
[0055]
作为一种实施方式，所述塔吊运动参数包括塔吊小车径向距离、吊钩高度、大臂旋转角中的至少一项，在塔吊小车移动、大臂旋转、吊钩升降过程中，单目相机所采集得到的下方图像都会发生变化，要不就是下方的场景地形在变化，要不就是吊物的高度发生变化，
所以为了提高计算相对位姿时的效率和精度，会先在二维平面假设情况下，结合以上塔吊运动参数，能快速以塔吊运动的初始值计算两张图像间的旋转和平移矩阵r0和t0。需要注意的是，本塔吊运动参数的获取与多级求解方式中的具有二维平面假设的第一级求解具有技术整体性，在第一级求解中直接利用塔吊运动参数可快速计算得出r0和t0，属于帧间位姿的顶层计算，为后续帧间位姿的精确计算提供了基础。
[0056]
作为一种实施方式，在进行步骤s20的计算时，保持若干个分割实例结果中特征信息和语义信息的对齐，即不同帧中相对应的特征与语义都要保持一致性与对齐，以辅助和约束相对位姿的计算。
[0057]
更进一步地，结合图3和图4，在步骤s10中，采用带有跨层连接的u-net类分割方法，在骨干网部分选择mobilenetv3，并根据实际场景对网络进行消融实验，通过调整分辨率因子、宽度因子和网络层数实现计算负载和应用效果间的最佳平衡，优选地，宽度因子调整为0.75，分辨率因子调整为0.5，深度调整为标准mobilenetv3的0.8，在以上参数配置下，能很好地适应在塔吊作业场景下散装建材较多的情况，如钢筋、钢管、木条等，将空间上聚集的一团或者一堆散装建材目标标记为一个分割实例结果，采用带有跨层连接的u型卷积神经网络对图像进行语义实例分割，得到最终的语义分割结果。
[0058]
结合图3，在本实施例中，在步骤s20中，所述多级求解方式包括第一级求解和第二级求解；
[0059]
在进行第一级求解时，以塔吊运动参数为初始值，对单目相机的相对运动作二维平面假设，根据初始值计算两张目标图像间的旋转和平移矩阵r0和t0，由于塔吊运动参数的误差较大，一般在米级，通过塔吊运动参数和二维平面假设所计算出的r0和t0较为粗略，所以在这一级中，继续对图像进行放大倍数的下采样，例如3-5倍的下采样，提取单尺度特征点，特征点提取算法选用harris算子，选取较大的局部窗口，在r0、t0和分割实例结果的约束下，对特征点进行匹配，匹配中，使用harris提取的角点位置，在局部窗口内计算hog，使用hog的欧式距离作为匹配测度构建同名点对，剔除不满足r0和t0约束的同名点对，至此已构建出同名点对，根据所有同名点对，计算仿射变换参数，完成平面假设下的相对位姿r0和t0的修正，得到r1和t1；
[0060]
在进行第二级求解时，在目标图像的原始分辨率层进行特征点提取，方法使用sift，获得多尺度特征点，并在r1和t1的约束下，对特征点进行匹配，利用特征信息匹配，计算两帧目标图像间的相对位姿r和t，得到单目相机的相对位姿，在第二级求解中，r和t之间没有做二维平面假设，对相对位姿r和t进行解算时，根据单目相机的内方位参数，进行三维位置和旋转的解算，得到单目相机的相对位姿。
[0061]
通过多级求解方式，第一级求解是帧间位姿的顶层计算，第二级求解是帧间位姿的精确计算，在位姿估计中使用塔吊信息和语义信息约束的分级方法，兼具稳定性和精度，降低计算量。
[0062]
在本实施例中，在步骤s30中，采用改进的光束法平差算法，对相对位姿结果进行全局调整优化，更详细地，在光束法平差的优化目标函数中加入语义分割损失，所述语义分割损失定义为静态目标语义边界的欧式距离和动态目标语义边界的欧式距离，最终的目标函数如以下公式所示：
[0063]
g(c,x,instance)＝∑‖q-p(c,x)‖+λ∑‖ins-ins
′
‖
[0064]
上式中，∑‖q-p(c,x)‖为标准光束法平差公式，以计算关键点的重投影误差；∑‖ins-ins
′
‖为时间上相邻帧间的静态目标语义边界点的重投影误差；λ为惩罚因子。
[0065]
其中，在语义分割损失的定义中，静态目标语义边界的欧式距离要尽量小，尽量实现空间对齐，动态目标语义边界的欧式距离要小于动态边界阈值，动态目标不应有颠覆性的空间移动变化，所述惩罚因子λ为0.2。
[0066]
通过使用语义边界的欧式距离作为正则化项，通过惩罚因子加入到光束法平差的目标函数中，能在长时间序列图像的相对位姿结果过程中，实现误差重新分配，把累积误差尽量均匀地分配到每一帧，以降低误差，提高精度。
[0067]
结合图5，在本实施例中，在步骤s40中，包括以下步骤：
[0068]
根据误差优化后的相对位姿和测量对极几何基本原理，获取同名极线；
[0069]
为同名极线上的每个像素点匹配第一处理窗口，将语义信息引入至上述匹配关系中，在同名极线上匹配到与语义信息对应的第一处理窗口，在第一处理窗口内部，以归一化灰度相关系数为相似度搜索最佳同名点；
[0070]
进行密集重建，得到塔吊下方的场景重建结果。
[0071]
进一步地，由于将语义信息引入至匹配关系中，识别出具有平面特性的语义信息，例如屋顶、地坪等，直接进行分割实例结果的边界匹配，对所述分割实例结果的内部进行平面假设处理，不进行同名点匹配，抑制平面区域的密集重建跳变。
[0072]
如图5所示，左侧为在重建过程中的计算处理图，在经过密集重建后，形成右侧所示的重建结果。
[0073]
作为一种实施方式，由于塔吊下方场景存在各种各样的地形和建材，存在水平的构造面，也存在垂直的构造面，在进行基于深度学习的目标语义分割时，对静态目标进行细分，识别出与塔吊吊物最接近的目标，并且对所识别出来的分割实例结果进行标记，如将与吊物的距离小于10m标记为1类，将与吊物的距离小于30m大于10m标记为2类，将与吊物的距离大于30m标记为3类，标记信息属于语义信息中的一种，通过标记信息的优先级来区分不同的语义信息，在进行密集重建时，优先重建语义信息更高级的区域，以形成从中心向四周、或者从高至低的重建顺序。
[0074]
参照图6，第二方面，本发明提供一种应用于上述基于单目相机的塔吊下方场景三维重建方法的系统，包括：
[0075]
单目相机，安装于塔吊小车下方，用于持续采集下方图像；
[0076]
语义分割模块，用于获取时间轴上相邻帧的目标图像，基于深度学习进行目标语义分割，得到若干个分割实例结果，所述分割实例结果包含有特征信息和语义信息；
[0077]
相对位姿求解模块，用于采用多级求解方式，先根据塔吊运动参数对单目相机的相对运动作二维平面假设，计算两张目标图像间的旋转和平移矩阵r0和t0，利用特征信息匹配，计算两帧目标图像间的相对位置r和t，得到单目相机的相对位姿；
[0078]
误差优化处理模块，用于结合语义分割损失，对长时间序列的帧间相对位姿结果进行误差重新分配，将累积误差匀化至每一帧，得到误差优化后的相对位姿；
[0079]
三维重建模块，用于根据误差优化后的相对位姿和语义信息进行密集重建，得到塔吊下方的场景重建结果。
[0080]
以上所有模块用于实现上述实施例中的塔吊下方场景三维重建方法，具体实施方
式在此不再一一赘述。
[0081]
相对于现有技术，本发明提供一种基于单目相机的塔吊下方场景三维重建方法及系统，利用一台单目相机进行图像采集，基于深度学习进行目标语义分割，为连续帧的相对位姿计算和密集重建提供约束，提高稳定性，降低计算量，且成本低，便于推广应用；
[0082]
采用多级求解方式，基于语义信息与图像特征信息计算图像序列中相机的相对位姿，同时利用塔吊信息和语义信息进行约束，比单纯使用图像特征点更为可靠，而相对位姿作为密集重建的初始值，对最终密集重建的效果具有决定性的作用；
[0083]
针对在进行长时间序列的相对位姿计算中存在误差累积的问题，结合语义分割损失进行误差重新分配，将累积误差匀化至每一帧，以提高相对位姿计算结果的精度，保证场景重建的正确性。
[0084]
最后需要强调的是，本发明不限于上述实施方式，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0085]
以上描述为发明的主要流程步骤，其中可穿插其它功能步骤，并可打乱上述逻辑顺序和流程步骤，若数据的处理方式按照此流程步骤形式处理或数据处理的核心思想近似、雷同，均应受到保护。

技术特征：
1.一种基于单目相机的塔吊下方场景三维重建方法，所述单目相机安装于塔吊小车下方，用于采集下方图像，其特征在于，包括以下步骤：s10、获取时间轴上相邻帧的目标图像，基于深度学习进行目标语义分割，得到若干个分割实例结果，所述分割实例结果包含有特征信息和语义信息；s20、采用多级求解方式，先根据塔吊运动参数对单目相机的相对运动作二维平面假设，计算两张目标图像间的旋转和平移矩阵r0和t0，利用特征信息匹配，计算两帧目标图像间的相对位置r和t，得到单目相机的相对位姿；s30、结合语义分割损失，对长时间序列的帧间相对位姿结果进行误差重新分配，将累积误差匀化至每一帧，得到误差优化后的相对位姿；s40、根据误差优化后的相对位姿和语义信息进行密集重建，得到塔吊下方的场景重建结果。2.如权利要求1所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，所述塔吊运动参数包括塔吊小车径向距离、吊钩高度、大臂旋转角中的至少一项。3.如权利要求1所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，在进行步骤s20的计算时，保持若干个分割实例结果中特征信息和语义信息的对齐，以辅助和约束相对位姿的计算。4.如权利要求1至3任一项所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，在步骤s20中，所述多级求解方式包括第一级求解和第二级求解；在进行第一级求解时，以塔吊运动参数为初始值，对单目相机的相对运动作二维平面假设，根据初始值计算两张目标图像间的旋转和平移矩阵r0和t0，对图像进行放大倍数的下采样，提取单尺度特征点，选取局部窗口，在r0、t0和分割实例结果的约束下，对特征点进行匹配，构建同名点对，计算仿射变换参数，完成平面假设下的相对位姿r0和t0的修正，得到r1和t1；在进行第二级求解时，在目标图像的原始分辨率层进行特征点提取，获得多尺度特征点，在r1和t1的约束下，对特征点进行匹配，利用特征信息匹配，计算两帧目标图像间的相对位姿r和t，得到单目相机的相对位姿。5.如权利要求4所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，所述r和t被配置为之间没有做二维平面假设，对相对位姿r和t进行解算时，根据单目相机的内方位参数，进行三维位置和旋转的解算，得到单目相机的相对位姿。6.如权利要求5所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，在步骤s30中，采用改进的光束法平差算法，在目标函数中加入语义分割损失，所述语义分割损失为静态目标语义边界的欧式距离和动态目标语义边界的欧式距离，如以下公式所示：g(c，x，instance)＝∑||q-p(c，x)||+λ∑||ins-ins
′
||上式中，∑‖q-p(c,x)‖为标准光束法平差公式，以计算关键点的重投影误差；∑‖ins-ins
′
‖为相邻帧间静态目标语义边界点的重投影误差；λ为惩罚因子。7.如权利要求6所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，所述动态目标语义边界的欧式距离小于动态边界阈值，所述惩罚因子λ为0.2。8.如权利要求6所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，
在步骤s40中，包括以下步骤：根据误差优化后的相对位姿和测量对极几何基本原理，获取同名极线；为同名极线上的每个像素点匹配第一处理窗口，将语义信息引入至上述匹配关系中，在同名极线上匹配到与语义信息对应的第一处理窗口，在第一处理窗口中以归一化灰度相关系数为相似度搜索最佳同名点；进行密集重建，得到塔吊下方的场景重建结果。9.如权利要求8所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，在步骤s40中，识别具有平面特性的语义信息，进行分割实例结果的边界匹配，对所述分割实例结果的内部进行平面假设处理，不进行同名点匹配。10.一种应用于如权利要求1至9任一项所述的基于单目相机的塔吊下方场景三维重建方法的系统，其特征在于，包括：单目相机，安装于塔吊小车下方，用于采集下方图像；语义分割模块，用于获取时间轴上相邻帧的目标图像，基于深度学习进行目标语义分割，得到若干个分割实例结果，所述分割实例结果包含有特征信息和语义信息；相对位姿求解模块，用于采用多级求解方式，先根据塔吊运动参数对单目相机的相对运动作二维平面假设，计算两张目标图像间的旋转和平移矩阵r0和t0，利用特征信息匹配，计算两帧目标图像间的相对位置r和t，得到单目相机的相对位姿；误差优化处理模块，用于结合语义分割损失，对长时间序列的帧间相对位姿结果进行误差重新分配，将累积误差匀化至每一帧，得到误差优化后的相对位姿；三维重建模块，用于根据误差优化后的相对位姿和语义信息进行密集重建，得到塔吊下方的场景重建结果。

技术总结
本发明提供一种基于单目相机的塔吊下方场景三维重建方法及系统，方法包括：获取时间轴上相邻帧的目标图像，基于深度学习进行目标语义分割，得到若干个分割实例结果，分割实例结果包含有特征信息和语义信息；采用多级求解方式，先根据塔吊运动参数对单目相机的相对运动作二维平面假设，计算两张目标图像间的旋转和平移矩阵R0和T0，利用特征信息匹配，计算两帧目标图像间的相对位置R和T，得到单目相机的相对位姿；结合语义分割损失，对长时间序列的帧间相对位姿结果进行误差重新分配，将累积误差匀化至每一帧，得到误差优化后的相对位姿；根据误差优化后的相对位姿和语义信息进行密集重建。本发明计算量小，效率快，稳定性高，精度高，成本低。成本低。成本低。


技术研发人员：安民洙 米文忠 房新奥 郭振威
受保护的技术使用者：广东光速智能设备有限公司
技术研发日：2023.02.14
技术公布日：2023/7/19