车牌识别方法、装置、终端、计算机程序和存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种车牌识别方法、装置、终端、计算机程序和存储介质。


背景技术：

2.目前，车牌识别功能在智慧城市、平安社区等业务场景下存在广泛需求，该功能主要可以分解成图像处理和字符识别。对于字符识别，目前较为流行的方法，有基于字符分割的方法和基于特征处理的方法。基于字符分割的方法要先把车牌图片的每个字符进行检测并分割，再进行字符分类；基于特征处理的方法是把车牌图片整个进行特征提取，根据提取的字符特征进行字符的识别。而图像处理的目的是提高在移动中抓拍的车牌的清晰度，常见的去模糊方法主要有投影法和滤波法等。投影法通过将图像二值化，进行投影像素点，重构图像；滤波法是针对图像的频域信息进行处理，过滤噪声频率来提高图像清晰度。进行车牌识别的各功能关系如图1所示。
3.在道路卡口、社区门禁等场景中，智能摄像头的普及有助于及时获取车辆的结构化信息，包括车辆类型、车辆颜色、车牌号码等。不仅如此，通过对车牌号码的识别，可以有效确认车辆的具体信息，极大提升城市、社区的安防治理效率。但在实际应用中，车辆在移动的情况下，在进行去模糊时，去模糊后的车牌图像中的字符容易发生失真变形，这会直接影响识别结果的准确性。
4.因此，如何解决去模糊后的车牌图像中的字符的失真变形，成为在提高车牌识别准确率方面亟需解决的问题。


技术实现要素：

5.本技术实施例提供一种车牌识别方法、装置、终端、计算机程序和存储介质，用以解决模糊后的车牌图像中的字符失真变形的技术问题。
6.第一方面，本技术实施例提供一种车牌识别方法，包括：
7.基于去模糊模型对待识别图片进行去模糊处理；
8.将去模糊处理后的所述待识别图片输入车牌检测模型，通过所述车牌检测模型中的特征提取子模型进行特征提取获得特征图像，通过所述车牌检测模型中的车牌检测子模型对所述特征图像进行检测获得所述待识别图片中车牌的位置信息；
9.将所述位置信息映射至所述特征图像中，获得所述待识别图片中车牌位置对应的特征向量；对所述特征向量进行灰度化处理，并对灰度化处理后的所述特征向量进行特征增强处理；
10.将进行特征增强处理后的所述特征向量输入车牌识别模型中进行车牌识别，获得所述待识别图片对应的车牌识别结果。
11.在一个实施例中，所述基于去模糊模型对待识别图片进行去模糊处理，包括：
12.接收用户的去模糊处理选择指令；
13.当所述去模糊处理选择指令包括目标去模糊模式时，基于所述目标去模糊模式确定所述去模糊模型中各维纳滤波器分支的权重，所述目标去模糊模式包括去运动模糊模式、去散焦模糊模式或去高斯模糊模式；
14.将所述待识别图片输入权重最高的所述维纳滤波器分支，以基于所述目标去模糊模式对所述待识别图片进行去模糊处理。
15.在一个实施例中，所述基于去模糊模型对待识别图片进行去模糊处理，还包括：
16.当所述去模糊处理选择指令包括自适应去模糊处理时，基于模糊分类模型对所述待识别图片进行分类处理，获得模糊分类结果；
17.基于所述模糊分类结果确定所述去模糊模型中各维纳滤波器分支对应的权重；
18.基于各所述权重，通过各所述维纳滤波器分支对所述待识别图片进行自适应去模糊处理。
19.在一个实施例中，所述对灰度化处理后的所述特征向量进行特征增强处理，包括：
20.基于拉普拉斯算子对灰度化处理后的所述特征向量进行特征增强处理，获得特征增强处理后的所述特征向量：
[0021][0022][0023]
其中，x表示横向坐标，y表示纵向坐标，g(x,y)表示特征增强处理后的所述特征向量，f(x,y)表示灰度化处理后的所述特征向量，c表示权重系数，λ表示调控系数，表示各所述维纳滤波器分支的权重构成的权重向量。
[0024]
在一个实施例中，所述模糊分类模型、所述去模糊模型、所述车牌检测模型和所述车牌识别模型基于如下方式训练得到：
[0025]
构建训练集，所述训练集包括多个模糊车牌图片、各所述模糊车牌图片分别对应的参考车牌图片和标签集，所述标签集包括所述模糊车牌图片的类别标签、车牌位置标签和车牌字符标签；
[0026]
将各所述模糊车牌图片和对应的所述类别标签输入初始模糊分类模型，完成对各所述模糊车牌图片的分类处理；
[0027]
将分类后的各所述模糊车牌图片和对应的所述参考车牌图片，按照类别分别输入初始去模糊模型中各类别对应的维纳滤波器分支进行去模糊处理；
[0028]
将去模糊处理后的各所述模糊车牌图片和对应的所述车牌位置标签输入初始车牌检测模型，获得各所述模糊车牌图片中的车牌位置信息；
[0029]
基于所述车牌位置信息进行特征增强处理，获得各所述车牌位置信息对应的增强特征向量；
[0030]
将各所述增强特征向量和对应的所述车牌字符标签输入初始车牌识别模型，获得各所述模糊车牌图片对应的识别结果；
[0031]
建立综合损失函数，以最小化所述综合损失函数为目标对所述初始模糊分类模型、所述初始去模糊模型、所述初始车牌检测模型和所述初始车牌识别模型的参数进行调整，以获得所述模糊分类模型、所述去模糊模型、所述车牌检测模型和所述车牌识别模型；
[0032]
其中，所述综合损失函数为所述模糊分类模型的损失、所述去模糊模型的损失、所述车牌检测模型的损失和所述车牌识别模型的损失的加权和。
[0033]
在一个实施例中，所述构建训练集，包括：
[0034]
获取车辆视频数据，并对所述车辆视频数据进行解码获得视频帧图片，将包括车牌信息的视频帧图片确定为参考车牌图片；
[0035]
基于去模糊数据集对生成对抗式网络进行训练，获得可生成不同类别的模糊图片的目标生成器；
[0036]
将所述参考车牌图片输入所述目标生成器，获得所述参考车牌图片对应的模糊车牌图片，针对所述模糊车牌图片建立标签集，所述模糊车牌图片、所述参考车牌图片和所述标签集构成所述训练集。
[0037]
第二方面，本技术实施例提供一种车牌识别装置，包括：
[0038]
去模糊处理模块，用于基于去模糊模型对待识别图片进行去模糊处理；
[0039]
车牌检测模块，用于将去模糊处理后的所述待识别图片输入车牌检测模型，通过所述车牌检测模型中的特征提取子模型进行特征提取获得特征图像，通过所述车牌检测模型中的车牌检测子模型对所述特征图像进行检测获得所述待识别图片中车牌的位置信息；
[0040]
增强模块，用于将所述位置信息映射至所述特征图像中，获得所述待识别图片中车牌位置对应的特征向量；对所述特征向量进行灰度化处理，并对灰度化处理后的所述特征向量进行特征增强处理；
[0041]
识别模块，用于将进行特征增强处理后的所述特征向量输入车牌识别模型中进行车牌识别，获得所述待识别图片对应的车辆识别结果。
[0042]
第三方面，本技术实施例提供一种终端，包括存储器，收发机，处理器；
[0043]
存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：
[0044]
基于去模糊模型对待识别图片进行去模糊处理；
[0045]
将去模糊处理后的所述待识别图片输入车牌检测模型，通过所述车牌检测模型中的特征提取子模型进行特征提取获得特征图像，通过所述车牌检测模型中的车牌检测子模型对所述特征图像进行检测获得所述待识别图片中车牌的位置信息；
[0046]
将所述位置信息映射至所述特征图像中，获得所述待识别图片中车牌位置对应的特征向量；对所述特征向量进行灰度化处理，并对灰度化处理后的所述特征向量进行特征增强处理；
[0047]
将进行特征增强处理后的所述特征向量输入车牌识别模型中进行车牌识别，获得所述待识别图片对应的车辆识别结果。
[0048]
第四方面，本技术实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的车牌识别方法的步骤。
[0049]
第五方面，本技术实施例提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述第一方面所述的车牌识别方法的步骤。
[0050]
本技术实施例提供的车牌识别方法、装置、终端、计算机程序和存储介质，通过设置轮廓信息强化模块，基于车牌检测模型输出的车牌的位置信息获取待识别图片中车牌位置对应的特征向量，进而对进行灰度化处理后的特征向量进行特征增强处理，从而增强车牌字符的轮廓信息，进而改善车牌字符的失真变形，以提高后续车牌识别的准确性。
附图说明
[0051]
为了更清楚地说明本技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0052]
图1是背景技术中的车牌识别的各功能关系的示意图；
[0053]
图2是本技术实施例提供的车牌识别方法的流程示意图之一；
[0054]
图3是本技术实施例提供的去模糊处理和特征增强处理的效果示意图；
[0055]
图4是本技术实施例提供的选择去模糊处理模式的示意图；
[0056]
图5是本技术实施例提供的去模糊处理的效果示意图；
[0057]
图6是本技术实施例提供的模型训练方法流程示意图；
[0058]
图7是本技术实施例提供的车牌识别方法的流程示意图之二；
[0059]
图8是本技术实施例提供的车牌识别装置的结构示意图；
[0060]
图9是本技术实施例提供的终端的结构示意图。
具体实施方式
[0061]
为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0062]
图2为车牌识别方法的流程示意图。参照图2，本技术实施例提供一种车牌识别方法方法，可以包括：
[0063]
s201：基于去模糊模型对待识别图片进行去模糊处理；
[0064]
s202：将去模糊处理后的所述待识别图片输入车牌检测模型，通过所述车牌检测模型中的特征提取子模型进行特征提取获得特征图像，通过所述车牌检测模型中的车牌检测子模型对所述特征图像进行检测获得所述待识别图片中车牌的位置信息；
[0065]
s203：将所述位置信息映射至所述特征图像中，获得所述待识别图片中车牌位置对应的特征向量；对所述特征向量进行灰度化处理，并对灰度化处理后的所述特征向量进行特征增强处理；
[0066]
s204：将进行特征增强处理后的所述特征向量输入车牌识别模型中进行车牌识别，获得所述待识别图片对应的车牌识别结果。
[0067]
具体的，在对待识别图像进行车牌识别时，先基于去模糊模型对待识别图片进行去模糊处理。对待识别图像进行去模糊处理的目的是为了将模糊的待识别图像恢复为较清晰的图像，以为后续车牌符号的识别提供较清晰的图像，进而提高车牌识别的准确性。
[0068]
将去模糊处理后的待识别图片输入车牌检测模型，通过车牌检测模型中的特征提取子模型进行特征提取获得特征图像，通过车牌检测模型中的车牌检测子模型对特征图像进行检测，获得待检测图片中的车牌的位置信息。在获得车牌的位置信息后，将该位置信息映射至上述特征图像中，即根据位置信息在特征图像中确定车牌位置对应的特征向量。对该特征向量进行灰度化处理，对特征向量进行灰度化处理后，可以简化特征向量的表示，进
而能够提高后续特征增强处理和车牌识别的运算速度。在将特征向量进行灰度化处理后，对灰度化处理后的特征向量进行特征增强处理，通过特征增强处理，能够增强车牌字符的轮廓信息，使得车牌字符的轮廓更加的清晰，进而可以改善对待识别图片进行去模糊处理后可能会出现的字符的失真和变形。如图3中所示，图3中示出了去模糊前的车牌图像和去模糊后的车牌图像，并示出了进行特征增强后的车牌图像，由图3可以看出，进行模糊处理并进行特征增强后，车牌字符更加的清晰，便于识别。
[0069]
将进行特征增强处理后的特征向量输入车牌识别模型中进行车牌识别，进而获得待识别图片对应的车牌识别结果，该车牌识别结果为从待识别图片中识别的车牌的字符信息，例如车牌号。
[0070]
本技术实施例提供的车牌识别方法，通过设置轮廓信息强化模块，基于车牌检测模型输出的车牌的位置信息获取待识别图片中车牌位置对应的特征向量，进而对进行灰度化处理后的特征向量进行特征增强处理，从而增强车牌字符的轮廓信息，进而改善车牌字符的失真变形，以提高后续车牌识别的准确性。
[0071]
可选的，所述基于去模糊模型对待识别图片进行去模糊处理，包括：
[0072]
接收用户的去模糊处理选择指令；
[0073]
当所述去模糊处理选择指令包括目标去模糊模式时，基于所述目标去模糊模式确定所述去模糊模型中各维纳滤波器分支的权重，所述目标去模糊模式包括去运动模糊模式、去散焦模糊模式或去高斯模糊模式；
[0074]
将所述待识别图片输入权重最高的所述维纳滤波器分支，以基于所述目标去模糊模式对所述待识别图片进行去模糊处理。
[0075]
具体的，可以根据用户的去模糊处理选择指令来对待处理图片进行相应的去模糊处理。当用户的去模糊处理选择指令包括目标去模糊模式时，基于目标去模糊模式确定去模糊模型中各维纳滤波器分支的权重。
[0076]
可以理解的是，如图4中所示，预先可以设置多种目标去模糊模式，用户可以根据需求从多种目标去模糊模式中选择需要使用的目标去模糊模式，以对待识别图片基于目标去模糊模式进行去模糊处理。各不同的目标去模糊模式对应去模糊模型中不同的维纳滤波器分支，根据用户的去模糊处理选择指令确定目标去模糊模式，通过目标去模糊模式调整各维纳滤波器分支的权重然后采用权重最高的维纳滤波器分支来对待识别图片进行去模糊处理。
[0077]
示例性的，目标去模糊模式可以包括去运动模糊模式、去散焦模糊模式或去高斯模糊模式，运动模糊模式、去散焦模糊模式和去高斯模糊模式分别对应有维纳滤波器分支，目标去模糊模式还可以包括其他去模糊模式，在此不做具体的限定。
[0078]
当用户的去模糊处理选择指令包括去运动模糊模式时，基于运动去模糊模式确定各维纳滤波器分支的权重，例如，运动去模糊模式对应的维纳滤波器分支的权重可以为1，去散焦模糊模式和去高斯模糊模式对应的维纳滤波器分支的权重分别可以为0，即仅采用运动去模糊模式对应的维纳滤波器分支对待处理图片进行去模糊处理。然后，将待处理图片输入运动去模糊模式对应的维纳滤波器分支中进行运动去模糊处理，进而得到去模糊后的待识别图片。
[0079]
上述实施例中，通过针对不同的模糊类型配置不同的目标去模糊模式，使得用户
可以根据实际场景去选择合适的目标去模糊模式，为用户提供更多的去模糊模式的选择，如此可以进行针对性的去模糊，从而得到去模糊效果更好的待处理图片。
[0080]
可选的，所述基于去模糊模型对待识别图片进行去模糊处理，还包括：
[0081]
当所述去模糊处理选择指令包括自适应去模糊处理时，基于模糊分类模型对所述待识别图片进行分类处理，获得模糊分类结果；
[0082]
基于所述模糊分类结果确定所述去模糊模型中各维纳滤波器分支对应的权重；
[0083]
基于各所述权重，通过各所述维纳滤波器分支对所述待识别图片进行自适应去模糊处理。
[0084]
具体的，如图4中所示，用户可以选择的去模糊模式还可以包括自适应去模糊模式，当用户的去模糊处理选择指令包括自适应去模糊处理时，基于模糊分类模型对待识别图片进行分类处理，完成对待识别图片的分类，获得待识别图片的模糊分类结果，该模糊分类结果可以表征待识别图片的模糊类别。
[0085]
在获得模糊分类结果后，根据模糊分类结果确定去模糊模型中各维纳滤波器分支对应的权重，其中，各维纳滤波器分支的权重和为1。确定各维纳滤波器分支的权重后，基于各权重，通过各维纳滤波器分支对待识别图片进行自适应去模糊处理。
[0086]
上述实施例中，通过模糊分类模型对输入的待识别图片按模糊类型进行分类，基于模糊分类结果还可以对待识别图片进行自适应去模糊处理，对于具有多种模糊情况的待识别图片，可以有效客服多种复杂模糊场景的干扰，进行综合性的去模糊处理，以保证去模糊处理的有效性。
[0087]
如图5中所示，图5示出了去模糊前和去模糊后的待识别图片，其中上面一行分别为去模糊前的待识别图片，下面一行分别为对应上一行的去模糊之后的待识别图片。由图5可以看出，根据用户的选择采用合适的去模糊处理，去模糊处理效果较高，获得的去模糊处理后的待识别图片的清晰度较高。
[0088]
可选的，所述对灰度化处理后的所述特征向量进行特征增强处理，包括：
[0089]
基于拉普拉斯算子对灰度化处理后的所述特征向量进行特征增强处理，获得特征增强处理后的所述特征向量：
[0090][0091][0092]
其中，x表示横向坐标，y表示纵向坐标，g(x,y)表示特征增强处理后的所述特征向量，f(x,y)表示灰度化处理后的所述特征向量，c表示权重系数，λ表示调控系数，表示各所述维纳滤波器分支的权重构成的权重向量。
[0093]
具体的，在得到表征车牌位置的特征向量并进行灰度处理后，采用拉普拉斯算子对灰度化处理后的特征向量进行特征增强处理。采用拉普拉斯算子进行特征增强时，权重系数c与各维纳滤波器分支的权重构成的权重向量是相关的，例如，当共有三个目标去模糊模式，分别为运动模糊模式、去散焦模糊模式和去高斯模糊模式时，三个去模糊模式对应的维纳滤波器分支有三个，三个维纳滤波器分支的权重分别为和则权重向量为调控系数λ可以是人工确定的。
[0094]
上述实施例中，模糊分类模型与去模糊模型的权重相关联，可以适应性的在完成
整体去模糊的同时确保字符的轮廓信息不发生严重的失真变形。
[0095]
可选的，所述模糊分类模型、所述去模糊模型、所述车牌检测模型和所述车牌识别模型基于如下方式训练得到：
[0096]
构建训练集，所述训练集包括多个模糊车牌图片、各所述模糊车牌图片分别对应的参考车牌图片和标签集，所述标签集包括所述模糊车牌图片的类别标签、车牌位置标签和车牌字符标签；
[0097]
将各所述模糊车牌图片和对应的所述类别标签输入初始模糊分类模型，完成对各所述模糊车牌图片的分类处理；
[0098]
将分类后的各所述模糊车牌图片和对应的所述参考车牌图片，按照类别分别输入初始去模糊模型中各类别对应的维纳滤波器分支进行去模糊处理；
[0099]
将去模糊处理后的各所述模糊车牌图片和对应的所述车牌位置标签输入初始车牌检测模型，获得各所述模糊车牌图片中的车牌位置信息；
[0100]
基于所述车牌位置信息进行特征增强处理，获得各所述车牌位置信息对应的增强特征向量；
[0101]
将各所述增强特征向量和对应的所述车牌字符标签输入初始车牌识别模型，获得各所述模糊车牌图片对应的识别结果；
[0102]
建立综合损失函数，以最小化所述综合损失函数为目标对所述初始模糊分类模型、所述初始去模糊模型、所述初始车牌检测模型和所述初始车牌识别模型的参数进行调整，以获得所述模糊分类模型、所述去模糊模型、所述车牌检测模型和所述车牌识别模型；
[0103]
其中，所述综合损失函数为所述模糊分类模型的损失、所述去模糊模型的损失、所述车牌检测模型的损失和所述车牌识别模型的损失的加权和。
[0104]
具体的，如图6中所示，模糊分类模型、去模糊模型、车牌检测模型和车牌识别模型可以为一起进行训练获得的，具体基于如下方式训练得到：
[0105]
构建训练集，训练集包括多个模糊车牌图片、各模糊车牌图片分别对应的参考车牌图片和标签集，标签集包括模糊车牌图片的类别标签、车牌位置标签和车牌字符标。在构建好训练集后将各模糊车牌图片和对应的类别标签输入初始模糊分类模型，完成对各模糊车牌图片的分类处理。将分类后的各模糊车牌图片和对应的参考车牌图片，按照类别分别输入初始去模糊模型中各类别对应的维纳滤波器分支进行去模糊处理。
[0106]
示例性的，已知的维纳滤波器算法如下述公式所示：
[0107][0108]
其中，u表示以傅里叶谱的中心为原点建立的坐标系中竖直方向上的频率分量，v表示以傅里叶谱的中心为原点建立的坐标系中水平方向上的频率分量，h(u,v)表示退化函数，s
η
(u,v)表示噪声功率谱，sf(u,v)表示参考图像功率谱，g(u,v)表示待去模糊的图像，表示去模糊后的图像。
[0109]
已知的维纳滤波器进行去模糊时，没有引入深度学习方法，难以根据实际模糊的特征使用对应的去模糊模式，进而使得去模糊的实际效果较差。
[0110]
对已知的维纳滤波器算法进行改进，令退化函数h(u,v)为1，得到改进后的维纳滤
波器为：
[0111][0112]
其中，s
fi
(u,v)表示第i个维纳滤波器分支对应的参考图像功率谱，s
ηi
(u,v)表示第i个维纳滤波器分支对应的噪声功率谱，表示第i个维纳滤波器分支对应的权重，n表示初始去模糊模型中维纳滤波器分支的总个数。
[0113]
在上述公式中，针对噪声功率谱s
ηi
(u,v)进行了改造，将噪声功率谱中的参数矩阵作为变量传递到后续的各模型中，参与到反向传播来得到更优的参数来更新原有的噪声功率谱。
[0114]
将去模糊处理后的各模糊车牌图片和对应的车牌位置标签输入初始车牌检测模型，获得各模糊车牌图片中的车牌位置信息；基于所述车牌位置信息进行特征增强处理，获得各车牌位置信息对应的增强特征向量，进行特征增强处理的权重系统与维纳滤波器分支的权重相关；将各增强特征向量和对应的车牌字符标签输入初始车牌识别模型，获得各模糊车牌图片对应的识别结果，该识别结果例如可以为输出的车牌上的字符。
[0115]
建立综合损失函数，以最小化综合损失函数为目标对初始模糊分类模型、初始去模糊模型、初始车牌检测模型和初始车牌识别模型的参数进行调整，以获得模糊分类模型、去模糊模型、车牌检测模型和车牌识别模型；其中，综合损失函数l为模糊分类模型的损失l1、去模糊模型的损失l2、车牌检测模型的损失l3和车牌识别模型的损失l4的加权和：
[0116]
l＝al1+bl2+cl3+dl4[0117]
其中，a、b、c、d分别表示模糊分类模型的损失l1、去模糊模型的损失l2、车牌检测模型的损失l3和车牌识别模型的损失l4的权重值。
[0118]
上述实施例中，采用传统的维纳滤波器和深度学习方法相结合，训练获得的去模糊模型的层数较少，为较轻量的去模糊模型，相较于现有的层数较高的复杂神经网络模型，可以在低算力芯片上使用(低算力芯片包括在int8精度下算力低于1tops的芯片，如君正t40算力0.6tops，瑞芯微rk3568算力0.8tops等)，一方面使得普通的设备也可以完成复杂的识别任务，一方面可以降低硬件成本，能够在乡村、城郊等地区进行推广，具有一定的泛用性。
[0119]
进一步的，上述实施例中，采用多个模型相配合的方式进行车牌识别，各模型均采用参数较少的轻量化模型即可完成相关的识别工作。如此，在采用轻量化模型的基础上对车牌的识别准确度高、识别速度快且运行稳定；降低了对硬件的要求，在大大缩减了成本的基础上实现了车牌的准确识别。
[0120]
下面，参考图7中所示，对模糊分类模型、去模糊模型、车牌检测模型和车牌识别模型训练好之后，进行车牌识别的整个流程进行示例性说明：
[0121]
上述各模型可以设置在智能摄像头的芯片上，该智能摄像头可以与一app进行绑定。
[0122]
当需要进行车牌识别时，用户可以在app端进行去模糊模式的选择，可以选择任一个目标去模糊模式，也可以选择自适应去模糊模式。
[0123]
当用户选择任一目标去模糊模式时，则将待识别图片输入目标去模糊模式对应的
维纳滤波器分支进行对应的去模糊处理；当用户选择的自适应去模糊模式时，将待识别图片输入模糊分类模型中进行分类处理，根据模糊分类结果确定各维纳滤波器分支的权重，以基于各维纳滤波器分支对待识别图片进行自适应去模糊处理。
[0124]
去模糊处理后的待识别图片被输入车牌检测模型进行待识别图片中车牌的位置信息的检测。
[0125]
基于位置信息进行特征增强处理，获得特征增强处理后的特征向量，进行特征增强处理的权重参数与各维纳滤波器分支的权重相关。
[0126]
将进行特征增强处理后的特征向量输入车牌识别模型中进行车牌识别，获得待识别图片对应的车辆识别结果，例如车牌号“川f8b990”。
[0127]
可选的，所述构建训练集，包括：
[0128]
获取车辆视频数据，并对所述车辆视频数据进行解码获得视频帧图片，将包括车牌信息的视频帧图片确定为参考车牌图片；
[0129]
基于去模糊数据集对生成对抗式网络进行训练，获得可生成不同类别的模糊图片的目标生成器；
[0130]
将所述参考车牌图片输入所述目标生成器，获得所述参考车牌图片对应的模糊车牌图片，针对所述模糊车牌图片建立标签集，所述模糊车牌图片、所述参考车牌图片和所述标签集构成所述训练集。
[0131]
具体的，构建训练集可以采用下述方法：
[0132]
获取车辆视频数据，并对车辆视频数据进行解码获得视频帧图片，将包括车牌信息的视频帧图片确定为参考车牌图片。采用开源的去模糊数据集，该去模糊数据集为现有的数据集，基于去模糊数据集对生成对抗式网络进行训练，获得可生成不同类别的模糊图片的目标生成器。将参考车牌图片输入上述步骤获得的目标生成器，获得参考车牌图片对应的具有不同模糊类型的模糊车牌图片，针对模糊车牌图片建立标签集，模糊车牌图片、参考车牌图片和标签集构成训练集。
[0133]
下面对本技术实施例提供的车牌识别装置800进行描述，下文描述的车牌识别装置800与上文描述的车牌识别方法可相互对应参照。
[0134]
如图8所示，该车牌识别装置800，包括：去模糊处理模块810、车牌检测模块820、增强模块830和识别模块840；
[0135]
去模糊处理模块810用于基于去模糊模型对待识别图片进行去模糊处理；
[0136]
车牌检测模块820用于将去模糊处理后的所述待识别图片输入车牌检测模型，通过所述车牌检测模型中的特征提取子模型进行特征提取获得特征图像，通过所述车牌检测模型中的车牌检测子模型对所述特征图像进行检测获得所述待识别图片中车牌的位置信息；
[0137]
增强模块830用于将所述位置信息映射至所述特征图像中，获得所述待识别图片中车牌位置对应的特征向量；对所述特征向量进行灰度化处理，并对灰度化处理后的所述特征向量进行特征增强处理；
[0138]
识别模块840用于将进行特征增强处理后的所述特征向量输入车牌识别模型中进行车牌识别，获得所述待识别图片对应的车辆识别结果。
[0139]
可选的，去模糊处理模块810具体用于：
[0140]
接收用户的去模糊处理选择指令；
[0141]
当所述去模糊处理选择指令包括目标去模糊模式时，基于所述目标去模糊模式确定所述去模糊模型中各维纳滤波器分支的权重，所述目标去模糊模式包括去运动模糊模式、去散焦模糊模式或去高斯模糊模式；
[0142]
将所述待识别图片输入权重最高的所述维纳滤波器分支，以基于所述目标去模糊模式对所述待识别图片进行去模糊处理。
[0143]
可选的，去模糊处理模块810具体还用于：
[0144]
当所述去模糊处理选择指令包括自适应去模糊处理时，基于模糊分类模型对所述待识别图片进行分类处理，获得模糊分类结果；
[0145]
基于所述模糊分类结果确定所述去模糊模型中各维纳滤波器分支对应的权重；
[0146]
基于各所述权重，通过各所述维纳滤波器分支对所述待识别图片进行自适应去模糊处理。
[0147]
可选的，增强模块820具体用于：
[0148]
基于拉普拉斯算子对灰度化处理后的所述特征向量进行特征增强处理，获得特征增强处理后的所述特征向量：
[0149][0150][0151]
其中，x表示横向坐标，y表示纵向坐标，g(x,y)表示特征增强处理后的所述特征向量，f(x,y)表示灰度化处理后的所述特征向量，c表示权重系数，λ表示调控系数，表示各所述维纳滤波器分支的权重构成的权重向量。
[0152]
可选的，所述模糊分类模型、所述去模糊模型、所述车牌检测模型和所述车牌识别模型基于如下方式训练得到：
[0153]
构建训练集，所述训练集包括多个模糊车牌图片、各所述模糊车牌图片分别对应的参考车牌图片和标签集，所述标签集包括所述模糊车牌图片的类别标签、车牌位置标签和车牌字符标签；
[0154]
将各所述模糊车牌图片和对应的所述类别标签输入初始模糊分类模型，完成对各所述模糊车牌图片的分类处理；
[0155]
将分类后的各所述模糊车牌图片和对应的所述参考车牌图片，按照类别分别输入初始去模糊模型中各类别对应的维纳滤波器分支进行去模糊处理；
[0156]
将去模糊处理后的各所述模糊车牌图片和对应的所述车牌位置标签输入初始车牌检测模型，获得各所述模糊车牌图片中的车牌位置信息；
[0157]
基于所述车牌位置信息进行特征增强处理，获得各所述车牌位置信息对应的增强特征向量；
[0158]
将各所述增强特征向量和对应的所述车牌字符标签输入初始车牌识别模型，获得各所述模糊车牌图片对应的识别结果；
[0159]
建立综合损失函数，以最小化所述综合损失函数为目标对所述初始模糊分类模型、所述初始去模糊模型、所述初始车牌检测模型和所述初始车牌识别模型的参数进行调整，以获得所述模糊分类模型、所述去模糊模型、所述车牌检测模型和所述车牌识别模型；
[0160]
其中，所述综合损失函数为所述模糊分类模型的损失、所述去模糊模型的损失、所述车牌检测模型的损失和所述车牌识别模型的损失的加权和。
[0161]
可选的，所述构建训练集，包括：
[0162]
获取车辆视频数据，并对所述车辆视频数据进行解码获得视频帧图片，将包括车牌信息的视频帧图片确定为参考车牌图片；
[0163]
基于去模糊数据集对生成对抗式网络进行训练，获得可生成不同类别的模糊图片的目标生成器；
[0164]
将所述参考车牌图片输入所述目标生成器，获得所述参考车牌图片对应的模糊车牌图片，针对所述模糊车牌图片建立标签集，所述模糊车牌图片、所述参考车牌图片和所述标签集构成所述训练集。
[0165]
本技术实施例提供的车牌识别装置，通过设置轮廓信息强化模块，基于车牌检测模型输出的车牌的位置信息获取待识别图片中车牌位置对应的特征向量，进而对进行灰度化处理后的特征向量进行特征增强处理，从而增强车牌字符的轮廓信息，进而改善车牌字符的失真变形，以提高后续车牌识别的准确性。
[0166]
本技术实施例涉及的终端，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备等。在不同的系统中，终端设备的名称可能也不相同，例如在5g系统中，终端设备可以称为用户设备(user equipment，ue)。
[0167]
图9为根据本技术实施例的终端的结构示意图，参照图9，本技术实施例还提供一种终端，可以包括：存储器910，收发机920以及处理器930；
[0168]
存储器910用于存储计算机程序；收发机920，用于在所述处理器930的控制下收发数据；处理器930，用于读取所述存储器910中的计算机程序并执行以下操作：
[0169]
基于去模糊模型对待识别图片进行去模糊处理；
[0170]
将去模糊处理后的所述待识别图片输入车牌检测模型，通过所述车牌检测模型中的特征提取子模型进行特征提取获得特征图像，通过所述车牌检测模型中的车牌检测子模型对所述特征图像进行检测获得所述待识别图片中车牌的位置信息；
[0171]
将所述位置信息映射至所述特征图像中，获得所述待识别图片中车牌位置对应的特征向量；对所述特征向量进行灰度化处理，并对灰度化处理后的所述特征向量进行特征增强处理；
[0172]
将进行特征增强处理后的所述特征向量输入车牌识别模型中进行车牌识别，获得所述待识别图片对应的车辆识别结果。
[0173]
其中，在图9中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器930代表的一个或多个处理器和存储器910代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机920可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口940还可以是能够外接内接需要设备的接口。
[0174]
处理器930负责管理总线架构和通常的处理，存储器910可以存储处理器930在执行操作时所使用的数据。
[0175]
处理器930通过调用存储器910存储的计算机程序，用于按照获得的可执行指令执行本技术实施例提供的任一所述方法。处理器与存储器也可以物理上分开布置。
[0176]
可选地，处理器930还用于执行以下操作：
[0177]
接收用户的去模糊处理选择指令；
[0178]
当所述去模糊处理选择指令包括目标去模糊模式时，基于所述目标去模糊模式确定所述去模糊模型中各维纳滤波器分支的权重，所述目标去模糊模式包括去运动模糊模式、去散焦模糊模式或去高斯模糊模式；
[0179]
将所述待识别图片输入权重最高的所述维纳滤波器分支，以基于所述目标去模糊模式对所述待识别图片进行去模糊处理。
[0180]
可选地，处理器930还用于执行以下操作：
[0181]
当所述去模糊处理选择指令包括自适应去模糊处理时，基于模糊分类模型对所述待识别图片进行分类处理，获得模糊分类结果；
[0182]
基于所述模糊分类结果确定所述去模糊模型中各维纳滤波器分支对应的权重；
[0183]
基于各所述权重，通过各所述维纳滤波器分支对所述待识别图片进行自适应去模糊处理。
[0184]
可选地，处理器930还用于执行以下操作：
[0185]
基于拉普拉斯算子对灰度化处理后的所述特征向量进行特征增强处理，获得特征增强处理后的所述特征向量：
[0186][0187][0188]
其中，x表示横向坐标，y表示纵向坐标，g(x,y)表示特征增强处理后的所述特征向量，f(x,y)表示灰度化处理后的所述特征向量，c表示权重系数，λ表示调控系数，表示各所述维纳滤波器分支的权重构成的权重向量。
[0189]
可选择，所述模糊分类模型、所述去模糊模型、所述车牌检测模型和所述车牌识别模型基于如下方式训练得到：
[0190]
构建训练集，所述训练集包括多个模糊车牌图片、各所述模糊车牌图片分别对应的参考车牌图片和标签集，所述标签集包括所述模糊车牌图片的类别标签、车牌位置标签和车牌字符标签；
[0191]
将各所述模糊车牌图片和对应的所述类别标签输入初始模糊分类模型，完成对各所述模糊车牌图片的分类处理；
[0192]
将分类后的各所述模糊车牌图片和对应的所述参考车牌图片，按照类别分别输入初始去模糊模型中各类别对应的维纳滤波器分支进行去模糊处理；
[0193]
将去模糊处理后的各所述模糊车牌图片和对应的所述车牌位置标签输入初始车牌检测模型，获得各所述模糊车牌图片中的车牌位置信息；
[0194]
基于所述车牌位置信息进行特征增强处理，获得各所述车牌位置信息对应的增强特征向量；
[0195]
将各所述增强特征向量和对应的所述车牌字符标签输入初始车牌识别模型，获得各所述模糊车牌图片对应的识别结果；
[0196]
建立综合损失函数，以最小化所述综合损失函数为目标对所述初始模糊分类模
型、所述初始去模糊模型、所述初始车牌检测模型和所述初始车牌识别模型的参数进行调整，以获得所述模糊分类模型、所述去模糊模型、所述车牌检测模型和所述车牌识别模型；
[0197]
其中，所述综合损失函数为所述模糊分类模型的损失、所述去模糊模型的损失、所述车牌检测模型的损失和所述车牌识别模型的损失的加权和。
[0198]
可选的，所述构建训练集，包括：
[0199]
获取车辆视频数据，并对所述车辆视频数据进行解码获得视频帧图片，将包括车牌信息的视频帧图片确定为参考车牌图片；
[0200]
基于去模糊数据集对生成对抗式网络进行训练，获得可生成不同类别的模糊图片的目标生成器；
[0201]
将所述参考车牌图片输入所述目标生成器，获得所述参考车牌图片对应的模糊车牌图片，针对所述模糊车牌图片建立标签集，所述模糊车牌图片、所述参考车牌图片和所述标签集构成所述训练集。
[0202]
在此需要说明的是，本技术实施例提供的终端，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
[0203]
另一方面，本技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的车牌识别方法的步骤，例如包括：
[0204]
基于去模糊模型对待识别图片进行去模糊处理；
[0205]
将去模糊处理后的所述待识别图片输入车牌检测模型，通过所述车牌检测模型中的特征提取子模型进行特征提取获得特征图像，通过所述车牌检测模型中的车牌检测子模型对所述特征图像进行检测获得所述待识别图片中车牌的位置信息；
[0206]
将所述位置信息映射至所述特征图像中，获得所述待识别图片中车牌位置对应的特征向量；对所述特征向量进行灰度化处理，并对灰度化处理后的所述特征向量进行特征增强处理；
[0207]
将进行特征增强处理后的所述特征向量输入车牌识别模型中进行车牌识别，获得所述待识别图片对应的车辆识别结果。
[0208]
另一方面，本技术实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例提供的方法的步骤，例如包括：
[0209]
基于去模糊模型对待识别图片进行去模糊处理；
[0210]
将去模糊处理后的所述待识别图片输入车牌检测模型，通过所述车牌检测模型中的特征提取子模型进行特征提取获得特征图像，通过所述车牌检测模型中的车牌检测子模型对所述特征图像进行检测获得所述待识别图片中车牌的位置信息；
[0211]
将所述位置信息映射至所述特征图像中，获得所述待识别图片中车牌位置对应的特征向量；对所述特征向量进行灰度化处理，并对灰度化处理后的所述特征向量进行特征增强处理；
[0212]
将进行特征增强处理后的所述特征向量输入车牌识别模型中进行车牌识别，获得所述待识别图片对应的车辆识别结果。
[0213]
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
[0214]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0215]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0216]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。

技术特征：
1.一种车牌识别方法，其特征在于，包括：基于去模糊模型对待识别图片进行去模糊处理；将去模糊处理后的所述待识别图片输入车牌检测模型，通过所述车牌检测模型中的特征提取子模型进行特征提取获得特征图像，通过所述车牌检测模型中的车牌检测子模型对所述特征图像进行检测获得所述待识别图片中车牌的位置信息；将所述位置信息映射至所述特征图像中，获得所述待识别图片中车牌位置对应的特征向量；对所述特征向量进行灰度化处理，并对灰度化处理后的所述特征向量进行特征增强处理；将进行特征增强处理后的所述特征向量输入车牌识别模型中进行车牌识别，获得所述待识别图片对应的车牌识别结果。2.根据权利要求1所述的车牌识别方法，其特征在于，所述基于去模糊模型对待识别图片进行去模糊处理，包括：接收用户的去模糊处理选择指令；当所述去模糊处理选择指令包括目标去模糊模式时，基于所述目标去模糊模式确定所述去模糊模型中各维纳滤波器分支的权重，所述目标去模糊模式包括去运动模糊模式、去散焦模糊模式或去高斯模糊模式；将所述待识别图片输入权重最高的所述维纳滤波器分支，以基于所述目标去模糊模式对所述待识别图片进行去模糊处理。3.根据权利要求2所述的车牌识别方法，其特征在于，所述基于去模糊模型对待识别图片进行去模糊处理，还包括：当所述去模糊处理选择指令包括自适应去模糊处理时，基于模糊分类模型对所述待识别图片进行分类处理，获得模糊分类结果；基于所述模糊分类结果确定所述去模糊模型中各维纳滤波器分支对应的权重；基于各所述权重，通过各所述维纳滤波器分支对所述待识别图片进行自适应去模糊处理。4.根据权利要求2或3所述的车牌识别方法，其特征在于，所述对灰度化处理后的所述特征向量进行特征增强处理，包括：基于拉普拉斯算子对灰度化处理后的所述特征向量进行特征增强处理，获得特征增强处理后的所述特征向量：处理后的所述特征向量：其中，x表示横向坐标，y表示纵向坐标，g(x,y)表示特征增强处理后的所述特征向量，f(x,y)表示灰度化处理后的所述特征向量，c表示权重系数，λ表示调控系数，表示各所述维纳滤波器分支的权重构成的权重向量。5.根据权利要求3所述的车牌识别方法，其特征在于，所述模糊分类模型、所述去模糊模型、所述车牌检测模型和所述车牌识别模型基于如下方式训练得到的：构建训练集，所述训练集包括多个模糊车牌图片、各所述模糊车牌图片分别对应的参考车牌图片和标签集，所述标签集包括所述模糊车牌图片的类别标签、车牌位置标签和车
牌字符标签；将各所述模糊车牌图片和对应的所述类别标签输入初始模糊分类模型，完成对各所述模糊车牌图片的分类处理；将分类后的各所述模糊车牌图片和对应的所述参考车牌图片，按照类别分别输入初始去模糊模型中各类别对应的维纳滤波器分支进行去模糊处理；将去模糊处理后的各所述模糊车牌图片和对应的所述车牌位置标签输入初始车牌检测模型，获得各所述模糊车牌图片中的车牌位置信息；基于所述车牌位置信息进行特征增强处理，获得各所述车牌位置信息对应的增强特征向量；将各所述增强特征向量和对应的所述车牌字符标签输入初始车牌识别模型，获得各所述模糊车牌图片对应的识别结果；建立综合损失函数，以最小化所述综合损失函数为目标对所述初始模糊分类模型、所述初始去模糊模型、所述初始车牌检测模型和所述初始车牌识别模型的参数进行调整，以获得所述模糊分类模型、所述去模糊模型、所述车牌检测模型和所述车牌识别模型；其中，所述综合损失函数为所述模糊分类模型的损失、所述去模糊模型的损失、所述车牌检测模型的损失和所述车牌识别模型的损失的加权和。6.根据权利要求5所述的车牌识别方法，其特征在于，所述构建训练集，包括：获取车辆视频数据，并对所述车辆视频数据进行解码获得视频帧图片，将包括车牌信息的视频帧图片确定为参考车牌图片；基于去模糊数据集对生成对抗式网络进行训练，获得可生成不同类别的模糊图片的目标生成器；将所述参考车牌图片输入所述目标生成器，获得所述参考车牌图片对应的模糊车牌图片，针对所述模糊车牌图片建立标签集，所述模糊车牌图片、所述参考车牌图片和所述标签集构成所述训练集。7.一种车牌识别装置，其特征在于，包括：去模糊处理模块，用于基于去模糊模型对待识别图片进行去模糊处理；车牌检测模块，用于将去模糊处理后的所述待识别图片输入车牌检测模型，通过所述车牌检测模型中的特征提取子模型进行特征提取获得特征图像，通过所述车牌检测模型中的车牌检测子模型对所述特征图像进行检测获得所述待识别图片中车牌的位置信息；增强模块，用于将所述位置信息映射至所述特征图像中，获得所述待识别图片中车牌位置对应的特征向量；对所述特征向量进行灰度化处理，并对灰度化处理后的所述特征向量进行特征增强处理；识别模块，用于将进行特征增强处理后的所述特征向量输入车牌识别模型中进行车牌识别，获得所述待识别图片对应的车牌识别结果。8.一种终端，其特征在于，包括存储器，收发机，处理器；存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：基于去模糊模型对待识别图片进行去模糊处理；将去模糊处理后的所述待识别图片输入车牌检测模型，通过所述车牌检测模型中的特
征提取子模型进行特征提取获得特征图像，通过所述车牌检测模型中的车牌检测子模型对所述特征图像进行检测获得所述待识别图片中车牌的位置信息；将所述位置信息映射至所述特征图像中，获得所述待识别图片中车牌位置对应的特征向量；对所述特征向量进行灰度化处理，并对灰度化处理后的所述特征向量进行特征增强处理；将进行特征增强处理后的所述特征向量输入车牌识别模型中进行车牌识别，获得所述待识别图片对应的车牌识别结果。9.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的车牌识别方法的步骤。10.一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，其特征在于，所述计算机程序用于使处理器执行权利要求1至6任一项所述的车牌识别方法的步骤。

技术总结
本申请涉及图像处理领域，提供一种车牌识别方法、装置、终端、计算机程序和存储介质。包括：基于去模糊模型对待识别图片进行去模糊处理；将去模糊处理后的待识别图片输入车牌检测模型，通过车牌检测模型中的特征提取子模型进行特征提取获得特征图像，通过车牌检测模型中的车牌检测子模型对特征图像进行检测获得待识别图片中车牌的位置信息；将位置信息映射至特征图像中，获得待识别图片中车牌位置对应的特征向量；对特征向量进行灰度化处理，并对灰度化处理后的特征向量进行特征增强处理；将进行特征增强处理后的特征向量输入车牌识别模型中进行车牌识别，获得待识别图片对应的车牌识别结果。该方法可以改善字符的失真变形，提高识别的准确性。高识别的准确性。高识别的准确性。


技术研发人员：杜嘉伟 吴楠 程宝平
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2023.07.25
技术公布日：2023/10/20