AR眼镜在现实中障碍物的识别方法、系统及计算机设备与流程

ar眼镜在现实中障碍物的识别方法、系统及计算机设备
技术领域
1.本发明涉及ar眼镜障碍物识别技术领域，尤其涉及一种ar眼镜在现实中障碍物的识别方法、系统及计算机设备。


背景技术：

2.在通过ar眼镜进行场景识别是否存在障碍物的过程中，如申请号为cn202111261161.2，名称为一种视觉引导的辅助驾驶系统的中国发明专利申请，其阐述了以视觉引导场景导入ar眼睛中，以并判断视觉引导场景中是否具有障碍物，并在具有障碍物时，引导驾驶员的视觉方向为障碍物对应的场景视频，在不具有障碍物时，根据所述运行图像中图像元素的重要程度，引导驾驶员的视觉方向为图像元素的重要程度高的场景视频的方向。
3.从现有技术中可知，ar眼镜对于现实场景中障碍物的识别准确性决定着视觉引导的可靠性，然而在现有技术所阐述的识别方法中，基于从输入图像的亮度信息提取的局部描述符，与从参照图像的亮度信息提取的局部描述符之间的对应关系来识别物体。使用这样的识别方法，当输入图像中示出的物体与参照图像中示出的物体彼此不同但在两个物体之间的差异细微时，由于存在大量的对应的特征点，所以存在将图像错误地识别为示出相同物体的问题，仓导致识别的准确率和效率可能很低。
4.并且对于ar眼镜这种轻量型的硬件设备而言，对于障碍物的识别所依赖的运算数据量较大，导致对于大量数据的读取判断耗费时间较长，因此在视觉引导中会存在严重延迟的现象，导致视觉引导与现实环境存在无法同步的现象。


技术实现要素：

5.针对现有技术的不足，本发明提供了一种ar眼镜在现实中障碍物的识别方法、系统及计算机设备，解决了目前ar眼镜对于障碍物识别准确率以及效率较低的技术问题。
6.为解决上述技术问题，本发明提供了如下技术方案：一种ar眼镜在现实中障碍物的识别方法，该方法包括以下步骤：
7.s1、获取待识别障碍物的图像数据；
8.s2、对图像数据预处理并生成处理后的无干扰图像；
9.s3、采用多任务卷积神经网络提取并输出无干扰图像中的显著特征；
10.s4、以mobilenetv3轻量化卷积神经网络作为主干网络构建障碍物识别模型；
11.s5、将包含显著特征的无干扰图像输入至障碍物识别模型中完成对于障碍物的识别。
12.进一步地，在步骤s2中，具体过程包括以下步骤：
13.s21、从图像数据中选取ar眼镜所拍摄的任意一张含有障碍物的图像fi，i表示图像数据f中图像的数量；
14.s22、以图像fi的中心坐标为旋转中心，分别对图像fi以顺时针和逆时针进行旋转
得到若干张图像f`n，n表示图像fi旋转后得到图像f`的数量，其中，旋转角度间隔5-10度，且最大旋转角度为
±
40度；
15.s23、采用均值滤波法对图像f`n进行平滑处理。
16.进一步地，在步骤s23中，具体过程包括以下步骤：
17.s231、以图像f`n的当前像素点为中心建立大小为m
×
m的窗口；
18.s232、设f(x,y)为当前像素点(x,y)的初始灰度值，图像f`n平滑处理后的灰度值为g(x,y)；
19.s233、根据初始灰度值f(x,y)确定当前像素点(x,y)邻域s内的若干个像素点的灰度值的平均值，即为平滑处理后图像f`n的灰度值g(x,y)。
20.进一步地，在步骤s3中，具体过程包括以下步骤：
21.s31、将无干扰图像进行尺寸变换，等比例缩放为n张相互叠放的层叠图像；
22.s32、将层叠图像依次输入至p-net、r-net和o-net三个子网络中输出障碍物候选框和若干个障碍物的关键点坐标；
23.s33、以每个关键点坐标与障碍物候选框左上角的坐标作差对关键点坐标进行修改；
24.s34、根据修改后的关键点坐标所对应的障碍物标记为显著特征。
25.进一步地，多任务卷积神经网络由p-net、r-net和o-net三个子网络构成，其中：
26.p-net子网络用于检测并获取经缩放后的无干扰图像中的多个障碍物候选框，p-net子网络的末尾是用于确定障碍物是否存在以及获取障碍物候选框和障碍物的关键点坐标三个分类器；
27.r-net子网络用于对p-net子网络输出的多个障碍物候选框进行筛选，将多个障碍物候选框中为环境因素候选框进一步剔除；
28.o-net子网络用于对r-net子网络输出的多个障碍物候选框中为环境因素候选框完全剔除。
29.进一步地，在步骤s4中，具体过程包括以下步骤：
30.s41、在主干网络中的深度可分离卷积层前端嵌入一个senet模块构成障碍物识别模型；
31.s42、从公开的数据库pascal voc或sun或cifar中获取60％的图像作为训练集，40％作为测试集；
32.s43、确定障碍物识别模型的损失函数l；
33.s44、分别采用训练集和测试集对障碍物识别模型进行训练和测试得到优化后的障碍物识别模型。
34.进一步地，在步骤s41中，senet模块由squeeze、excitation和scale三个运算模块组成：
35.squeeze运算模块用于对包含显著特征的无干扰图像进行压缩得到全局特征；
36.excitation运算模块由两个全连接层组成，通过分析各通道间的联系，得到不同通道中全局特征的权重值；
37.scale运算模块用于将exciation运算模块输出的权重与原来的无干扰图像进行计算，完成在通道维度上的对障碍物特征的重标定。
38.进一步地，在步骤s43中，损失函数l的计算公式为：
[0039][0040]
上式中，e表示训练集中样本图像的个数，n表示显著特征的个数，μn表示显著特征的权重，表示与显著特征相对应关键点的欧式距离均值。
[0041]
借由上述技术方案，本发明提供了一种ar眼镜在现实中障碍物的识别方法、系统及计算机设备，至少具备以下有益效果：
[0042]
1、本发明采用改进后的多任务卷积神经网络对图像中的障碍物进行提取，并通过改变图像中的障碍物关键点坐标，以此降低图像中非障碍物对于多任务卷积神经网络提取的干扰，并输出具有显著特征的图像，随后通过障碍物模型根据显著特征对图像中的障碍物进行识别，能够提高与数据库中图像匹配的速率以及准确性，从而提高了障碍物识别模型对于图像中障碍物的快速精准识别。
[0043]
2、本发明采用多任务卷积神经网络对无干扰图像中的障碍物进行提取，能够输出图像中的障碍物候选框以及若干个在候选框内的障碍物关键点坐标，并通过以每个关键点坐标与障碍物候选框左上角的坐标作差对关键点坐标进行修改，如此能够通过对关键点坐标的修改对图像中障碍物的显著特征进行确定，如此标记具有代表性的障碍物作为显著特征，从而快速识别障碍物，并提高识别的准确率。
[0044]
3、本发明通过对图像数据进行预处理并生成无干扰图像，能够以增加图像在不同角度上的数量上提高对于障碍物的识别精度，同时，多角度下的一张图像更能充分展现图像中所包含障碍物的显著特征。
附图说明
[0045]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0046]
图1为本发明识别方法的流程图；
[0047]
图2为本发明识别系统的结构框图；
[0048]
图3为本发明计算机设备的内部结构框图。
[0049]
图中：100、图像数据获取模块；200、预处理模块；300、显著特征输出模块；400、障碍物识别模型构建模块；500、识别模块。
具体实施方式
[0050]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本技术如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
[0051]
请参照图1-图3，示出了本实施例的一种具体实施方式，本实施例采用改进后的多任务卷积神经网络对图像中的障碍物进行提取，并通过改变图像中的障碍物关键点坐标，以此降低图像中非障碍物对于多任务卷积神经网络提取的干扰，并输出具有显著特征的图像，随后通过障碍物模型根据显著特征对图像中的障碍物进行识别，能够提高与数据库中
图像匹配的速率以及准确性，从而提高了障碍物识别模型对于图像中障碍物的快速精准识别。
[0052]
请参照图1，本实施例提出了一种ar眼镜在现实中障碍物的识别方法，该方法包括以下步骤：
[0053]
s1、获取待识别障碍物的图像数据，对于ar眼镜而言，在现有技术中ar眼镜自身具有gps定位系统，眼镜终端能够通过与服务器的连接而时刻定位当前位置，并且能够准确的获取眼镜终端所在位置的周边环境信息，因此对于障碍物的识别具有相应的辅助作用，同理，ar眼镜可以采集到ar眼镜当前所处环境的图像。例如，用户可以触发ar眼镜的拍摄按键，进而ar眼镜可以接收到用户发送的拍摄指令，ar眼镜根据该拍摄指令，去采集ar眼镜当前所处环境的图像数据；其中，图像数据可以是图片也可以是短视频。
[0054]
s2、对图像数据预处理并生成处理后的无干扰图像；在本实施例中，为了对步骤s2的实现方式进行说明，具体过程是通过以下步骤实现的，详细的实施方法如下：
[0055]
s21、从图像数据中选取ar眼镜所拍摄的任意一张含有障碍物的图像fi，i表示图像数据f中图像的数量；
[0056]
s22、以图像fi的中心坐标为旋转中心，分别对图像fi以顺时针和逆时针进行旋转得到若干张图像f`n，n表示图像fi旋转后得到图像f`的数量，其中，旋转角度间隔5-10度，且最大旋转角度为
±
40度；
[0057]
s23、采用均值滤波法对图像f`n进行平滑处理。
[0058]
通过对图像数据进行预处理并生成无干扰图像，能够以增加图像在不同角度上的数量上提高对于障碍物的识别精度，同时，多角度下的一张图像更能充分展现图像中所包含障碍物的显著特征，在本实施例中为了降低后续对于图像数据的处理量，因此旋转角度间隔为10度，最大旋转角度为
±
30度，如此可获得顺时针方向和逆时针方向下的n＝6张不同角度下的图像f`6。
[0059]
在本实施例中，为了对步骤s23的实现方式进行说明，具体过程是通过以下步骤实现的，详细的实施方法如下：
[0060]
s231、以图像f`n的当前像素点为中心建立大小为m
×
m的窗口；
[0061]
s232、设f(x,y)为当前像素点(x,y)的初始灰度值，图像f`n平滑处理后的灰度值为g(x,y)；
[0062]
s233、根据初始灰度值f(x,y)确定当前像素点(x,y)邻域s内的若干个像素点的灰度值的平均值，即为平滑处理后图像f`n的灰度值g(x,y)；
[0063]
平滑处理后图像f`n的灰度值g(x,y)的计算公式为：
[0064][0065][0066]
上式中，m的取值为5，s表示当前像素点的邻域。
[0067]
经过验证，当m＝3时噪声依然存在于原始图像中，对原始图像的滤波效果不显著；
net子网络的末尾是三个分类器，主要作用是确定障碍物是否存在以及获取障碍物候选框和障碍物的关键点坐标；
[0084]
r-net子网络用于对p-net子网络输出的多个障碍物候选框进行筛选，将多个障碍物候选框中为环境因素候选框进一步剔除，r-net子网络结构相对于p-net子网络增加了一个全连接层，因此在筛选障碍物候选框时更为严格，经过r-net子网络筛选后，障碍物候选框中的多数环境因素候选框基本被剔除，但仍然有少量的存在，因此还需要o-net子网络更进一步的处理。
[0085]
o-net子网络用于对r-net子网络输出的多个障碍物候选框中为环境因素候选框完全剔除，o-net子网络基本思想与r-net子网络相似，同样使用更加复杂的网络筛选剩余的障碍物候选框，o-net子网络的网络结构相比r-net子网络增加了一个卷积层，因此相比于r-net子网络检测效果更好，o-net子网络将所有的非障碍物候选框清除，保留障碍物候选框作为多任务卷积神经网络的最终输出。
[0086]
环境因素候选框指对象为纯色背景的部分，即在一张图像中，包含以固定形式存在的障碍物，或者动态形式存在的障碍物，然而在图像中不管是动态还是静态的障碍物，在拍摄形成图像后的表现形式都是固定不变的，同样的，对于环境中所拍摄的一张图像中并不仅仅包含障碍物，还会包含地面、天空等纯色背景的部分，因此通过r-net子网络能够对这部分候选框进行剔除，从而实现对于多数非障碍物候选框的过滤。
[0087]
s4、以mobilenetv3轻量化卷积神经网络作为主干网络构建障碍物识别模型；在本实施例中，为了对步骤s4的实现方式进行说明，具体过程是通过以下步骤实现的，详细的实施方法如下：
[0088]
s41、在主干网络中的深度可分离卷积层前端嵌入一个senet模块构成障碍物识别模型，在步骤s41中，senet模块由squeeze、excitation和scale三个运算模块组成：
[0089]
squeeze运算模块用于对包含显著特征的无干扰图像进行压缩得到全局特征，一般使用均值池化进行计算，将输入特征图压缩为1*1*c，c为变量，一般取值为1-10，得到全局特征。
[0090]
excitation运算模块由两个全连接层组成，通过分析各通道间的联系，得到不同通道中全局特征的权重值。
[0091]
scale运算模块用于将exciation运算模块输出的权重与原来的无干扰图像进行计算，完成在通道维度上的对障碍物特征的重标定，该处与步骤s33相对应，主要是完成对于障碍物的关键点坐标的修改，以对应具有代表性的显著特征。
[0092]
s42、从公开的数据库pascal voc或sun或cifar中获取60％的图像作为训练集，40％作为测试集；
[0093]
s43、确定障碍物识别模型的损失函数l；损失函数l能够根据预测到的结果与真实值的差距确定下一步模型训练的方向，损失函数设计的优劣直接影响模型的性能表现，因此损失函数l的确定在本实施例中尤为重要，具体如下：
[0094]
损失函数l的计算公式为：
[0095]
[0096]
上式中，e表示训练集中样本图像的个数，n表示显著特征的个数，μn表示显著特征的权重，表示与显著特征相对应关键点的欧式距离均值。
[0097]
考虑到无干扰图像数据不平衡的问题，因此显著特征的权重μn的计算公式为：
[0098][0099]
上式中，p表示显著特征的类型数量，实际环境中，不同的障碍物所对应的显著特征是不同的，本实施例以一个显著特征进行整个方案的说明，但是在损失函数中应考虑多个障碍物多对应的若干显著特征，表示若干显著特征对应的权重，一般显著特征的类型数量与其对应的权重的大小成反比，cosθ表示无干扰图像的旋转角度，对应上述步骤s22中的若干张图像f
`n
。
[0100]
损失函数l可以处理对于无干扰图像数据不平衡的问题，通过控制显著特征的权重占比已达到与无干扰图像中其他特征数据的平衡，从而提高障碍物识别模型对于障碍物识别的准确性。
[0101]
s44、分别采用训练集和测试集对障碍物识别模型进行训练和测试得到优化后的障碍物识别模型。
[0102]
深度可分离卷积层的核心操作是将标准卷积分为两个部分：逐深度卷积(depthwise convolution，dw)和逐点卷积(pointwise convolution，pw)。dw层中卷积核的每个通道分别与输入特征图的一个通道进行运算，其输出图像的通道数与输入图像的通道数相等，dw层不关心跨通道信息；
[0103]
pw层与普通的卷积层相同，其卷积核大小为1*1，pw层通过对上层的输出进行深度上的加权组合，最终生成新的含有显著特征的图像。
[0104]
本实施例提出使用mobilenetv3作为障碍物识别模型的主干网络，以提升网络的精度和检测速度，同时扩展障碍物对应的关键点的显著特征，增加障碍物识别模型模型的鲁棒性。
[0105]
s5、将包含显著特征的无干扰图像输入至障碍物识别模型中完成对于障碍物的识别，在该步骤中，障碍物识别模型能够对包含显著特征的无干扰图像进行识别，通过senet模块对无干扰图像中障碍物相对应的全局特征进行提取并计算出权重值，并结合对重标定来确定关键点坐标的修改而对应具有代表性的显著特征，如此在显著特征的显著标识下提高识别能力，从而提高了障碍物识别模型识别障碍物的准确性，同时降低了运算量，使整个识别模型轻量化，能够完全适用于ar眼镜对于现实中的障碍物识别要求。
[0106]
本发明采用改进后的多任务卷积神经网络对图像中的障碍物进行提取，并通过改变图像中的障碍物关键点坐标，以此降低图像中非障碍物对于多任务卷积神经网络提取的干扰，并输出具有显著特征的图像，随后通过障碍物模型根据显著特征对图像中的障碍物进行识别，能够提高与数据库中图像匹配的速率以及准确性，从而提高了障碍物识别模型对于图像中障碍物的快速精准识别。
[0107]
与上述实施例提供的识别方法相对应，本实施例还提供识别方法的系统，由于本实施例提供的识别系统与上述实施例提供的识别方法相对应，因此前述识别方法的实施方
式也适用于本实施例提供的识别系统，在本实施例中不再详细描述。
[0108]
请参阅图3，其所示为本实施例提供的识别系统的结构框图，该识别系统包括：图像数据获取模块100、预处理模块200、显著特征输出模块300、障碍物识别模型构建模块400和识别模块500；
[0109]
图像数据获取模块100用于获取待识别障碍物的图像数据；预处理模块200用于对图像数据预处理并生成处理后的无干扰图像；显著特征输出模块300用于采用多任务卷积神经网络提取并输出无干扰图像中的显著特征；障碍物识别模型构建模块400用于以mobilenetv3轻量化卷积神经网络作为主干网络构建障碍物识别模型；识别模块500用于将包含显著特征的无干扰图像输入至障碍物识别模型中完成对于障碍物的识别。
[0110]
需要说明的是，上述实施例提供的系统，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的系统与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0111]
本实施例还提供了一种计算机设备，图3为本技术一实施例中计算机设备的内部结构框图。如图3所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，该计算机设备的处理器用于提供计算和控制能力。存储器包括存储介质和内存储器。存储介质可以是非易失性存储介质，也可以是易失性存储介质。存储介质存储有操作系统，还可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器实现电量分配方法。该内存储器为存储介质中的操作系统和计算机可读指令的运行提供环境。该内存储器中也可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行电量分配方法。该计算机设备的网络接口用于与外部服务器通过网络连接通信。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0112]
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令(例如计算机程序)，处理器执行计算机可读指令时实现上述实施例中识别方法的步骤，例如图1所示的步骤s1至步骤s5及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机可读指令时实现上述实施例中电量分配系统的各模块/单元的功能，例如图2所示模块100至模块500的功能。为避免重复，这里不再赘述。
[0113]
本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0114]
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思
想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种ar眼镜在现实中障碍物的识别方法，其特征在于，该方法包括以下步骤：s1、获取待识别障碍物的图像数据；s2、对图像数据预处理并生成处理后的无干扰图像；s3、采用多任务卷积神经网络提取并输出无干扰图像中的显著特征；s4、以mobilenetv3轻量化卷积神经网络作为主干网络构建障碍物识别模型；s5、将包含显著特征的无干扰图像输入至障碍物识别模型中完成对于障碍物的识别。2.根据权利要求1所述的识别方法，其特征在于，在步骤s2中，具体过程包括以下步骤：s21、从图像数据中选取ar眼镜所拍摄的任意一张含有障碍物的图像f
i
，i表示图像数据f中图像的数量；s22、以图像f
i
的中心坐标为旋转中心，分别对图像f
i
以顺时针和逆时针进行旋转得到若干张图像f`
n
，n表示图像f
i
旋转后得到图像f`的数量，其中，旋转角度间隔5-10度，且最大旋转角度为
±
40度；s23、采用均值滤波法对图像f`
n
进行平滑处理。3.根据权利要求2所述的识别方法，其特征在于，在步骤s23中，具体过程包括以下步骤：s231、以图像f`
n
的当前像素点为中心建立大小为m
×
m的窗口；s232、设f(x，y)为当前像素点(x，y)的初始灰度值，图像f`
n
平滑处理后的灰度值为g(x，y)；s233、根据初始灰度值f(x，y)确定当前像素点(x，y)邻域s内的若干个像素点的灰度值的平均值，即为平滑处理后图像f`
n
的灰度值g(x，y)。4.根据权利要求1所述的识别方法，其特征在于，在步骤s3中，具体过程包括以下步骤：s31、将无干扰图像进行尺寸变换，等比例缩放为n张相互叠放的层叠图像；s32、将层叠图像依次输入至p-net、r-net和o-net三个子网络中输出障碍物候选框和若干个障碍物的关键点坐标；s33、以每个关键点坐标与障碍物候选框左上角的坐标作差对关键点坐标进行修改；s34、根据修改后的关键点坐标所对应的障碍物标记为显著特征。5.根据权利要求1所述的识别方法，其特征在于，多任务卷积神经网络由p-net、r-net和o-net三个子网络构成，其中：p-net子网络用于检测并获取经缩放后的无干扰图像中的多个障碍物候选框，p-net子网络的末尾是用于确定障碍物是否存在以及获取障碍物候选框和障碍物的关键点坐标三个分类器；r-net子网络用于对p-net子网络输出的多个障碍物候选框进行筛选，将多个障碍物候选框中为环境因素候选框进一步剔除；o-net子网络用于对r-net子网络输出的多个障碍物候选框中为环境因素候选框完全剔除。6.根据权利要求1所述的识别方法，其特征在于，在步骤s4中，具体过程包括以下步骤：s41、在主干网络中的深度可分离卷积层前端嵌入一个senet模块构成障碍物识别模型；s42、从公开的数据库pascalvoc或sun或cifar中获取60％的图像作为训练集，40％作
为测试集；s43、确定障碍物识别模型的损失函数l；s44、分别采用训练集和测试集对障碍物识别模型进行训练和测试得到优化后的障碍物识别模型。7.根据权利要求6所述的识别方法，其特征在于，在步骤s41中，senet模块由squeeze、excitation和scale三个运算模块组成：squeeze运算模块用于对包含显著特征的无干扰图像进行压缩得到全局特征；excitation运算模块由两个全连接层组成，通过分析各通道间的联系，得到不同通道中全局特征的权重值；scale运算模块用于将exciation运算模块输出的权重与原来的无干扰图像进行计算，完成在通道维度上的对障碍物特征的重标定。8.根据权利要求1所述的识别方法，其特征在于，在步骤s43中，损失函数l的计算公式为：上式中，e表示训练集中样本图像的个数，n表示显著特征的个数，μ
n
表示显著特征的权重，表示与显著特征相对应关键点的欧式距离均值。9.一种用于实现上述权利要求1-8任一项所述的识别方法的系统，其特征在于，该系统包括：图像数据获取模块(100)，所述图像数据获取模块(100)用于获取待识别障碍物的图像数据；预处理模块(200)，所述预处理模块(200)用于对图像数据预处理并生成处理后的无干扰图像；显著特征输出模块(300)，所述显著特征输出模块(300)用于采用多任务卷积神经网络提取并输出无干扰图像中的显著特征；障碍物识别模型构建模块(400)，所述障碍物识别模型构建模块(400)用于以mobilenetv3轻量化卷积神经网络作为主干网络构建障碍物识别模型；识别模块(500)，所述识别模块(500)用于将包含显著特征的无干扰图像输入至障碍物识别模型中完成对于障碍物的识别。10.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8任一项所述的识别方法。

技术总结
本发明涉及AR眼镜障碍物识别技术领域，解决了目前AR眼镜对于障碍物识别准确率以及效率较低的技术问题，尤其涉及一种AR眼镜在现实中障碍物的识别方法、系统及计算机设备，该方法包括以下步骤：S1、获取待识别障碍物的图像数据；S2、对图像数据预处理并生成处理后的无干扰图像；S3、采用多任务卷积神经网络提取并输出无干扰图像中的显著特征；S4、以MobileNetV3轻量化卷积神经网络作为主干网络构建障碍物识别模型。本发明根据显著特征对图像中的障碍物进行识别，能够提高与数据库中图像匹配的速率以及准确性，从而提高了障碍物识别模型对于图像中障碍物的快速精准识别。别模型对于图像中障碍物的快速精准识别。别模型对于图像中障碍物的快速精准识别。


技术研发人员：张璐
受保护的技术使用者：苏州和云观博数字科技有限公司
技术研发日：2023.07.13
技术公布日：2023/9/26