一种钢板喷码信息识别方法及系统与流程

1.本技术涉及钢板喷码
技术领域：
：，尤其涉及一种钢板喷码信息识别方法及系统。
背景技术：
：：2.近年来，文字识别技术已经成为机器视觉和人工智能领域的一个研究热点，已经得到了长足的发展，对于钢板喷码信息识别来说还有一定的局限性，例如，钢板在库房管理、装车发货等复杂环境中，由于光线、钢板规格、钢板堆垛位置、钢板喷码位置等多变因素，对多张钢板，非固定位置、排列无序的钢板侧喷码信息识别率较差，导致耗费大量人工，增加了企业库房管理的成本。3.因此，库房钢板喷码信息识别的研发已迫在眉睫。技术实现要素：4.本技术提供一种钢板喷码信息识别方法及系统，用于解决现有库房中的钢板由于环境复杂，识别效果差的问题。5.本技术第一方面提供一种钢板喷码信息识别方法，包括：6.获取样本图片和虚拟图片，分别对所述样本图片和所述虚拟图片标注，对应得到训练数据和测试数据，所述训练数据包括现有钢板上的第一喷码信息，以及根据预设的喷码规则，构建在虚拟钢板上的第二喷码信息，所述测试数据包括至少部分所述现有钢板上的第一喷码信息；7.将所述训练数据输入钢板喷码信息预训练模型，得到钢板喷码信息检测训练模型和钢板喷码信息识别训练模型，所述钢板喷码信息检测训练模型和钢板喷码信息识别训练模型组成钢板喷码信息训练模型；8.利用所述钢板喷码信息检测训练模型对测试数据进行第一次识别，得到所述测试数据的识别文本区域；9.利用所述钢板喷码信息识别训练模型对所述测试数据的文本区域进行第二次识别，得到所述测试数据的识别文本信息；10.将所述测试数据的识别文本区域与对应的所述现有钢板的文本区域比较，以及所述测试数据的识别文本信息与对应的所述现有钢板的文本信息比较，将得到评估指标；11.利用所述评估指标，修正所述钢板喷码信息训练模型，得到最优钢板喷码信息训练模型，并将其转换为钢板喷码信息推理模型；12.利用所述钢板喷码信息推理模型对待测钢板进行连续识别，得到连续的多帧所述待测钢板的待融合喷码信息；13.利用钢板喷码信息融合算法，对连续的多帧所述待测钢板的待融合喷码信息进行融合，得到所述待测钢板的融合喷码信息；14.将所述融合喷码信息与库存信息或出库预设规则进行比对，对与所述库存信息存在差异的信息和不符合所述出库预设规则的信息给予特殊标记警示，所述库存信息指库存系统内钢板喷码信息，所述出库预设规则指出库环节预先对钢种、尺寸设定的取值范围。15.可实施的一种方式中，所述获取样本图片和虚拟图片，分别对所述样本图片和所述虚拟图片标注，对应得到训练数据和测试数据的步骤，包括：16.对所述训练数据中的所述样本图片和所述虚拟图片进行标注，得到具有标注的训练数据集和测试数据集，所述标注表示在所述样本图片和所述虚拟图片中分别对文本区域和文本信息进行标记；17.获取若干所述现有钢板上的所述第一喷码信息，得到所述测试数据以及部分所述训练数据，其中，所述第一喷码信息包括现有钢板的图像、文本区域标注坐标和文本信息；18.根据预设的喷码规则，构建若干所述虚拟钢板的图像、文本区域标注坐标和文本信息，得到若干所述第二喷码信息；19.将部分所述训练数据和若干所述第二喷码信息组合，得到训练数据。20.可实施的一种方式中，所述将所述训练数据输入钢板喷码信息预训练模型，得到钢板喷码信息检测训练模型和钢板喷码信息识别训练模型的步骤，包括：21.利用分割的网络模型，得到钢板喷码信息的预检测训练模型；22.利用文本识别网络模型，得到钢板喷码信息的预识别训练模型；23.所述钢板喷码信息的预检测训练模型和所述钢板喷码信息的预识别训练模型组合，得到所述钢板喷码信息预训练模型；24.对所述钢板喷码信息的预检测训练模型训练，得到所述钢板喷码信息检测训练模型；25.对所述钢板喷码信息的预识别训练模型训练，得到所述钢板喷码信息识别训练模型。26.可实施的一种方式中，所述将所述训练数据输入钢板喷码信息预训练模型，得到钢板喷码信息检测训练模型和钢板喷码信息识别训练模型的步骤，包括：27.将具有标注的训练数据集输入所述钢板喷码信息的预检测训练模型，利用反向传播算法更新所述钢板喷码信息的预检测训练模型的参数，得到损失函数达到预设收敛条件的所述钢板喷码信息检测训练模型；28.将具有标注的训练数据集输入所述钢板喷码信息的预识别训练模型，利用反向传播算法更新所述钢板喷码信息的预识别训练模型的参数，得到损失函数达到预设收敛条件的所述钢板喷码信息的识别训练模型；29.将所述钢板喷码信息检测训练模型，以及所述钢板喷码信息的识别训练模型组合，得到所述钢板喷码信息训练模型。30.可实施的一种方式中，所述对所述钢板喷码信息的预检测训练模型训练，得到所述钢板喷码信息检测训练模型的步骤，包括：31.在所述钢板喷码信息的预检测训练模型中，利用卷积神经网络对所述训练数据中每张图片的喷码标注区域的像素值进行特征点提取，得到所述每张图片的二维的特征图；32.将所述二维的特征图连接，得到所述每张图片的融合的特征图；33.利用所述钢板喷码信息的预检测模型中的fcn网络结构对所述融合的特征图进行处理，得到所述每张图片的概率图与阈值图，其中，所述概率图表示特征点是目标的概率，所述阈值图表示所述标记喷码信息与背景的边界；34.利用可微分二值化对所述每张图片的概率图与阈值图进行处理，得到所述每张图片的近似二值图；35.利用所述每张图片的所述概率图、所述阈值图和所述近似二值图进行监督学习，使用反向传播算法更新参数，计算损失函数，并使其达到预设的收敛条件,得到所述钢板喷码信息检测训练模型。36.可实施的一种方式中，所述对所述钢板喷码信息的预识别训练模型训练，得到所述钢板喷码信息识别训练模型的步骤，包括：37.利用所述文本识别网络模型中的卷积神经网络提取所述训练数据的文本区域的特征，得到钢板喷码的图像特征；38.利用所述文本识别网络模型中的双向长短时记忆网络，对所述钢板喷码的序列特征进行学习，得到前后相关的长语义信息；39.对所述前后相关的长语义信息进行映射，得到具体字符的概率分布；40.利用正则化的方法对所述具体字符的概率分布排序，得到所述训练数据的文本信息；41.利用训练数据集中的图像特征和文本标签进行监督学习，使用反向传播算法更新文本识别网络模型参数，计算损失函数，使其达到预设的收敛条件。得到所述钢板喷码信息识别训练模型。42.可实施的一种方式中，所述将所述测试数据的识别文本区域与对应的所述现有钢板的文本区域比较，以及所述测试数据的识别文本信息与对应的所述现有钢板的文本信息比较，将得到评估指标的步骤，包括：43.计算所述测试数据的识别文本区域与对应的所述现有钢板的文本区域的误差，以及计算所述测试数据的识别文本信息与对应的所述现有钢板的文本信息的误差，得到所述评估指标，其中，所述评估指标至少包括预测准确率、召回率和f值。44.可实施的一种方式中，所述利用所述评估指标，修正所述钢板喷码信息训练模型，得到钢板喷码信息推理模型的步骤，包括：45.利用若干所述预测准确率、所述召回率和所述f值分别对所述钢板喷码信息训练模型进行多次评价，得到判断结果；46.根据所述判断结果与预设的阈值进行比较，47.若所述判断结果小于所述预设的阈值，对所述钢板喷码信息训练模型进行优化调整，迭代训练，循环执行第一次识别和第二次识别的步骤，得到最优钢板喷码信息训练模型；48.若所述判断结果大于等于所述预设的阈值，得到最优钢板喷码信息训练模型；49.将所述最优钢板喷码信息训练模型转化成所述钢板喷码信息推理模型，并进行剪裁量化，得到所需部署的钢板喷码信息推理模型，其中，所述剪裁量化表示不损失精度的情况下，对模型精度参数的权重进行转换，调整计算速度。50.可实施的一种方式中，所述利用钢板喷码信息融合算法，对连续的多帧所述待测钢板的待融合喷码信息进行融合，得到所述待测钢板的融合喷码信息的步骤，包括：51.获取连续的第一帧图像、第二帧图像和第三帧图像，所述第一帧图像、所述第二帧图像和所述第三帧图像为待融合喷码信息；52.利用钢板的钢板批号作为标识，对所述第一帧图像、所述第二帧图像和所述第三帧图像中出现喷码信息次数进行统计，得到统计结果；53.将所述统计结果与预设的阈值比较；54.若所述统计结果小于所述预设的阈值，筛除所述第一帧图像的喷码信息、所述第二帧图像的喷码信息和所述第三帧图像的喷码信息；55.若所述统计结果大于等于所述预设的阈值，保留所述第一帧图像的喷码信息、所述第二帧图像的喷码信息和所述第三帧图像的喷码信息；56.利用融合算法，分别对第一帧图像、所述第二帧图像和所述第三帧图像的喷码信息各部拆分，分别得到所述第一帧图像、所述第二帧图像和所述第三帧图像的各部信息，所述各部包括钢种、尺寸、钢板批号和班组的数据；57.分别计算所述第一帧图像、所述第二帧图像和所述第三帧图像的钢种信息之间，以及与实际库存钢种列表间的编辑距离，选取最相似钢种，若所述第一帧图像的钢种数据、所述第二帧图像的钢种数据和所述第三帧图像的钢种数据的编辑距离均小于阈值，则赋值为最相似钢种，判断所有最相似钢种是否指向同一个钢种；若是则将当前钢种融合为所有最相似钢种指向的同一个钢种，若否则结束对当前钢种的纠正；58.根据所述第一帧图像、所述第二帧图像和所述第三帧图像的尺寸和班组数据，统计相同数据次数大于或等于预设的阈值，且尺寸和班组在预设的数值范围内，进行融合；59.将融合后的各部分喷码信息组成完整钢板喷码信息,得到所述待测钢板的融合喷码信息。60.本技术第二方面提供一种钢板的喷码信息识别系统，应用于前述的钢板的喷码信息识别方法，所述系统包括：61.应用端，用于获取待测钢板的喷码信息；62.服务器端，与所述应用端连接，服务器端被配置为：63.获取样本图片和虚拟图片，分别对所述样本图片和所述虚拟图片标注，对应得到训练数据和测试数据，所述训练数据包括现有钢板上的第一喷码信息，以及根据预设的喷码规则，构建在虚拟钢板上的第二喷码信息，所述测试数据包括至少部分所述现有钢板上的第一喷码信息；64.将所述训练数据输入钢板喷码信息预训练模型，得到钢板喷码信息检测训练模型和钢板喷码信息识别训练模型，所述钢板喷码信息检测训练模型和钢板喷码信息识别训练模型组成钢板喷码信息训练模型；65.利用所述钢板喷码信息检测训练模型对测试数据进行第一次识别，得到所述测试数据的识别文本区域；66.利用所述钢板喷码信息识别训练模型对所述测试数据的文本区域进行第二次识别，得到所述测试数据的识别文本信息；67.将所述测试数据的识别文本区域与对应的所述现有钢板的文本区域比较，以及所述测试数据的识别文本信息与对应的所述现有钢板的文本信息比较，将得到评估指标；68.利用所述评估指标，修正所述钢板喷码信息训练模型，得到最优钢板喷码信息训练模型，并将其转换为钢板喷码信息推理模型；69.利用所述钢板喷码信息推理模型对待测钢板进行连续识别，得到连续的多帧所述待测钢板的待融合喷码信息；70.利用钢板喷码信息融合算法，对连续的多帧所述待测钢板的待融合喷码信息进行融合，得到所述待测钢板的融合喷码信息；71.将所述融合喷码信息与库存信息或出库预设规则进行比对，对与所述库存信息存在差异的信息和不符合所述出库预设规则的信息给予特殊标记警示，所述库存信息指库存系统内钢板喷码信息，所述出库预设规则指出库环节预先对钢种、尺寸设定的取值范围。72.本技术第三方面提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的钢板的喷码信息识别方法的步骤。73.有益效果：74.本技术提供一种钢板的喷码信息识别方法及系统，首先获取样本图片和虚拟图片，分别对所述样本图片和所述虚拟图片标注，对应得到训练数据和测试数据；然后，将所述训练数据输入钢板喷码信息预训练模型，得到钢板喷码信息训练模型；接下来，利用所述钢板喷码信息训练模型对测试数据进行第一次识别，得到所述测试数据的识别文本区域；以及，利用所述钢板喷码信息训练模型对所述测试数据的文本区域进行第二次识别，得到所述测试数据的识别文本信息；最后，将所述测试数据的识别文本区域与对应的所述现有钢板的文本区域比较，以及所述测试数据的识别文本信息与对应的所述现有钢板的文本信息比较，将得到评估指标；利用所述评估指标，修正所述钢板喷码信息训练模型，得到最优钢板喷码信息训练模型，并将其转换为钢板喷码信息推理模型；利用所述钢板喷码信息推理模型对待测钢板进行连续识别，得到连续的多帧所述待测钢板的待融合喷码信息；利用钢板喷码信息融合算法，对连续的多帧所述待测钢板的待融合喷码信息进行融合，得到所述待测钢板的融合喷码信息，将待测钢板的融合喷码信息与库存信息或出库预设规则进行比对，如果与库存信息存在差异或者不符合出库预设规则的信息给予特殊标记警示。上述方法，可以利用钢板喷码信息推理模型以及融合算法，在复杂的场景下，对库房内钢板和车上的钢板侧喷码进行图像采集和识别，减少人为干预，提高钢材库的库存管理效率。附图说明75.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。76.图1为本技术一种钢板的喷码信息识别方法的流程图；77.图2为本技术一种钢板的喷码信息识别方法的获取样本图片和虚拟图片，分别对样本图片和虚拟图片标注，对应得到训练数据和测试数据的流程图；78.图3为本技术一种钢板的喷码信息识别方法的得到钢板喷码信息检测训练模型的流程图；79.图4为本技术一种钢板的喷码信息识别方法的得到钢板喷码信息识别训练模型的流程图；80.图5为本技术一种钢板的喷码信息识别方法的得到钢板喷码信息推理模型的流程图；81.图6为本技术一种钢板的喷码信息识别方法的得到连续的多帧待测钢板的待融合喷码信息的流程图；82.图7为本技术一种钢板的喷码信息识别方法的分部解析的流程图；83.图8为本技术一种钢板的喷码信息识别方法的数据融合的流程图；84.图9为本技术一种钢板的喷码信息识别方法的整体流程图；85.图10为本技术一种钢板的喷码信息识别系统的系统架构图。具体实施方式86.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。87.为便于对申请的技术方案进行，以下首先在对本技术所涉及到的一些概念进行说明。88.分割的网络模型，是指分割的网络模型dbnet，db，differentablebinarization,是一种基于分割的方法在自然场景的文本检测中普遍使用的一种方法，可以在分割网络中进行二值化，分割网络可以自适应的设置二值化的阈值，不仅简化了后处理，还提升文本检测的效果，能够在精度和速度之间找到一个比较理想的平衡点。属于常规的分割方法。89.文本识别网格模型，是指crnn(convolutionalrecurrentneuralnetwork)网络模型，用于端到端地对不定长的文本序列进行识别，不用先对单个文字进行切割，而是将文本识别转化为时序依赖的序列学习，文本识别网格模型包括三个部分，分别称作卷积层、循环层以及转录层。卷积层由cnn构成，它的作用是从输入的图像中提取特征。提取的特征图将会输入到接下来的循环层中，循环层由rnn构成，它将输出对特征序列每一帧的预测。最后转录层将得到的预测概率分布转换成标记序列，得到最终的识别结果，它实际上就是模型中的损失函数。通过最小化损失函数，训练由cnn和rnn组成的网络。90.反向传播算法，backpropagationalgorithm，是指一种用于训练人工神经网络的常用方法。它通过计算网络输出与期望输出之间的误差，并根据误差调整网络权重，以逐步优化网络的性能。91.softmax是一种数学函数，通常用于将一组任意实数转换为表示概率分布的实数。其本质上是一种归一化函数，可以将一组任意的实数值转化为在[0,1]之间的概率值，因为softmax将它们转换为0到1之间的值，所以它们可以被解释为概率。如果其中一个输入很小或为负，softmax将其变为小概率，如果输入很大，则将其变为大概率，但它将始终保持在0到1之间。[0092]评估指标，是指通过这个指标来逐步优化模型，其中，预测准确率又称查准率(precision)，是指分类任务中分类正确的样本数在总样本数中所占比例，错误率为分类错误的样本数在总样本中所占比例。召回率又称查全率(recall)，是指分类器分类正确的正样本个数占所有的正样本个数的比例。直观的理解，召回率是指分类器查找所有正样本的能力。f值，是指f1值，为了同时兼顾精确率和召回率的(因为精确率和召回率之间存在矛盾)。评估指标所包括的预测准确率、召回率和f值指标均为常规的指标，具有常规的计算公式。[0093]剪裁量化，是指通过tensorrt进行精度转换，tensorrt是可以在nvidia各种gpu硬件平台下运行的一个c++推理框架，tensorrt可以将训练好的模型分解再进行融合，融合后的模型具有高度的集合度。例如卷积层和激活层进行融合后，计算速度可以就进行提升。[0094]多帧数据融合方法，是指将多个时间序列或多个数据源的信息进行整合和融合，以提高数据分析和决策的准确性和可靠性。例如，通过计算多个时间序列之间的相似度或距离，将相似度较高的数据进行融合。常见的相似度计算方法包括欧氏距离、余弦相似度、皮尔逊相关系数等。[0095]如图1和图9所示，本技术涉及一种钢板的喷码信息识别方法，包括：[0096]s100：获取样本图片和虚拟图片，分别对样本图片和虚拟图片标注，对应得到训练数据和测试数据。[0097]其中，训练数据包括现有钢板上的第一喷码信息，以及根据预设的喷码规则，构建在虚拟钢板上的第二喷码信息，测试数据包括至少部分现有钢板上的第一喷码信息。[0098]其中，样本图片是对现有钢板进行拍摄得到的样本图片，若在库房内存放有多个钢板的情况下，每个钢板能够形成至少一个样本图片，需要说明地是，每个钢板也可以形成多个样本图片。现有钢板的第一喷码信息，可通过工人在现场(如库房)使用手持端设备人工采集钢板表面侧喷码，或通过导轨机器人的摄像头采集钢板表面侧喷码。[0099]虚拟图片是利用预设的喷码规则，在电脑中构建的虚拟钢板图片，这种虚拟钢板图片，与现有钢板具有相同的喷码字体以及前景和背景等，目的在于增加训练数据的数量，从而提高准确率。也就是说，第二喷码信息，是指未来实际场景中可能出现在钢板上的侧喷码。[0100]需要说明地是，由于库房中的钢板在不断的入库和出库，导致钢板的侧喷码不断的发生变化，本技术需要能够对未来的钢板侧喷码具有识别能力，基于该原因，建立虚拟图片，虚拟图片是根据预设的喷码规则，建立的喷码。也就是说，由于图像采集仅能采集到现场库房中，已存在的钢板侧喷码，对未来可能生产的钢板号、钢种、规格等侧喷码信息，无法采集。但是对于钢板的侧喷码，一般来说是按顺序编码，这样，即可根据喷码规则可以估算出未来时间钢板的侧喷码。例如，目前钢板侧喷码中的钢板号的生产年份只到23年，需要合成未来24和25年甚至之后的喷码数据，因此，根据预设的喷码规则，构建虚拟钢板上的第二喷码信息，能够在钢板喷码信息模型训练中，提高识别率。[0101]还需要说明地是，将现有钢板上的样本图片作为测试数据，以便识别率的测试。而训练数据所包括的样本图片和虚拟图片能够增加训练量。[0102]如图2所示，具体地，获取样本图片和虚拟图片作为数据准备阶段，可包括数据采集以及数据标注两个过程。获取样本图片和虚拟图片，分别对样本图片和虚拟图片标注，对应得到训练数据和测试数据的具体步骤，包括s101至s104。[0103]s101：对训练数据中的样本图片和虚拟图片进行标注，得到具有标注的训练数据集和测试数据集。[0104]其中，标注表示在样本图片和虚拟图片中分别对文本区域和文本信息进行标记。[0105]其中，对训练数据中的样本图片和虚拟图片进行标注，得到标注后的图片，也就是说，通过这种方式，告知钢板喷码信息预训练模型，标注的位置为需要进行识别的区域，以便钢板喷码信息预训练模型能够有针对性的识别。对样本图片和虚拟图片标注后，形成训练数据集。[0106]标注集主要采用人工标注方法对所有图片进行标注。[0107]s102：获取若干现有钢板上的第一喷码信息，得到测试数据以及部分训练数据。[0108]其中，第一喷码信息包括现有钢板的图像、文本区域标注坐标和文本信息。[0109]具体地，在前述步骤中得到样本图片和虚拟图片后，在电脑中分别对样本图片和虚拟图片进行数据标注，示例性地，打开图片后，框选图片中的喷码的文本信息，形成框选区域，并建立文本区域的标注坐标和文字标注，这样，相当于将图片的图像以及文本区域进行区分，告知钢板喷码信息预训练模型，框选区域为文本区域，为钢板喷码信息预训练模型需要主要检测和识别的区域。而对于钢板喷码信息预训练模型来说，确定了文本区域和文字内容后，即可对文本区域与非文本区域进行数据识别训练，这样，在钢板喷码信息预训练模型多次训练后，向钢板喷码信息预训练模型输入不具有数据标注的图片时，钢板喷码信息模型仍然能够根据之前训练得到的参数对不具有数据标注的图片进行喷码信息的识别。[0110]s103：根据预设的喷码规则，构建若干虚拟钢板的图像、文本区域标注坐标和文本信息，得到若干第二喷码信息。[0111]具体地，预设的喷码规则可以人为设定，例如，根据年份、批次和钢板型号等形成喷码规则。基于这种喷码规则，构建未来钢板上能出现的文本信息，也就是说，利用预设的喷码规则，在电脑中虚拟出钢板图片。另外，为了增加训练用的数据样本，可以在构建虚拟钢板时，建立虚拟钢板的背景、文字，利用背景、字体以及预设的喷码规则，合成数据样本，也就是虚拟图片。通过调整构建虚拟图片的背景、喷码信息，得到不同情况下的训练数据。利用这些训练数据，能够增加钢板喷码信息预训练模型的训练数据量，提高钢板喷码信息模型的训练效果。[0112]s104：将部分训练数据和若干第二喷码信息组合，得到训练数据。[0113]可以理解地是，训练数据是由两部分组成的，其中一部分是由现有钢板第一喷码信息以及第二喷码信息组成，从而得到完整的训练数据。[0114]需要说明地是，在获取样本图片和虚拟图片后，对样本图片和虚拟图片标注前，还可根据需要选择是否对数据清洗，这一动作也可称之为数据预处理，通过数据清洗，过滤的方式，对获取样本图片和虚拟图片中不符合要求或者不合格的图片数据进行去除，减少无意义的标注工作，从而提高标注效率。数据清洗的常用操作包括：清洗模糊、相似数据，裁剪、旋转、镜像，图片亮度调整、图片对比度调整、图片锐化等。本技术对数据清洗的方式并不限定，能够减少不符合要求的数据去除即可。[0115]s200：将训练数据输入钢板喷码信息预训练模型，得到钢板喷码信息检测训练模型和钢板喷码信息识别训练模型。[0116]其中，钢板喷码信息检测训练模型和钢板喷码信息识别训练模型组成钢板喷码信息训练模型。[0117]其中，利用分割的网络模型，得到钢板喷码信息的预检测训练模型。利用文本识别网络模型，得到钢板喷码信息的预识别训练模型。利用钢板喷码信息的预检测训练模型和钢板喷码信息的预识别训练模型组合，得到钢板喷码信息预训练模型。将训练数据输入钢板喷码信息预训练模型，对钢板喷码信息预训练模型进行训练。训练的方式是利用分割的网络模型和文本识别网格模型分别进行训练，需要说明地是，分割的网络模型和文本识别网格模，分别对应钢板的喷码信息识别过程中所需要的检测和识别两个步骤。具体地，钢板喷码信息的检测模型为定位钢板文本区域位置，并区分前景和背景。钢板喷码信息的识别模型为识别文本区域的文字内容。还需要说明地是，在平衡精度与速度的基础上，采用两阶段钢板喷码信息模型，即为钢板喷码信息的检测模型和钢板喷码信息的识别模型串联，具备训练周期短、精度高、针对性强的特点。[0118]具体地，将具有标注的训练数据集输入钢板喷码信息的预检测训练模型，利用反向传播算法更新钢板喷码信息的预检测训练模型的参数，得到损失函数达到预设收敛条件的钢板喷码信息检测训练模型。[0119]将具有标注的训练数据集输入钢板喷码信息的预识别训练模型，利用反向传播算法更新钢板喷码信息的预识别训练模型的参数，得到损失函数达到预设收敛条件的钢板喷码信息的识别训练模型。[0120]将钢板喷码信息检测训练模型，以及钢板喷码信息的识别训练模型组合，得到钢板喷码信息训练模型。[0121]如图3所示，将训练数据输入钢板喷码信息预检测训练模型，得到钢板喷码信息检测训练模型，具体包括步骤s201至s205。[0122]s201：在钢板喷码信息的预检测训练模型中，利用卷积神经网络对训练数据中每张图片的喷码标注区域的像素值进行特征点提取，得到每张图片的二维的特征图。[0123]s202：将二维的特征图连接，得到每张图片的融合的特征图。[0124]s203：利用钢板喷码信息的检测模型中的fcn网络结构对融合的特征图进行处理，得到每张图片的概率图与阈值图。[0125]其中，概率图表示特征点是目标的概率，阈值图表示标记喷码信息与背景的边界。[0126]s204：利用可微分二值化对每张图片的概率图与阈值图进行处理，得到每张图片的近似二值图。[0127]s205：利用每张图片的概率图、阈值图和近似二值图进行监督学习，使用反向传播算法更新参数，计算损失函数，并使其达到预设的收敛条件,得到钢板喷码信息检测训练模型。[0128]本实施例中，钢板喷码信息的预检测训练模型优选为基于分割的网络模型dbnet，进行像素级别的图像中前景和背景的归类处理。具体实现方式是，首先，通过分割的网络模型dbnet的卷积神经网络对标注的训练数据中每张图片分别进行提取，将每张图片的喷码标注区域的像素值进行特征点的提取，提到若干特征点后，可以通过特征点连线的方式，形成特征图，在将二维的特征图连接，获得一个融合的特征图。融合的特征图通过分割的网络模型的fcn网络结构生成概率图p与阈值图t，概率图p表示该特征点是目标的概率，阈值图t表示目标区域(文本区域)与背景的边界；概率图p与阈值图t通过可微分二值化得到近似二值图,训练过程中对这三个图进行监督学习，使用反向传播算法，不断的迭代更新钢板喷码信息识别训练模型中各模块的参数，直到损失函数达到预设收敛条件。推理过程则直接使用概率图，然后使用固定阈值获取结果。其中可微分二值化是整个网络推理速度提高的一个关键点。[0129]如图4所示，将训练数据输入钢板喷码信息预识别模型，得到钢板喷码信息识别训练模型的过程还包括步骤s206至s210。[0130]s206：利用文本识别网络模型中的卷积神经网络提取训练数据的文本区域的特征，得到钢板喷码的图像特征。[0131]s207：利用文本识别网络模型中的双向长短时记忆网络，对钢板喷码的序列特征进行学习，得到前后相关的长语义信息。[0132]s208：对前后相关的长语义信息进行映射，得到具体字符的概率分布。[0133]s209：利用正则化的方法对具体字符的概率分布排序，得到训练数据的文本信息。[0134]s210：利用训练数据集中的图像特征和文本标签进行监督学习，使用反向传播算法更新文本识别网络模型参数，计算化损失函数，并使其达到预设的收敛条件。其中，预测文本序列表示文本区域内的文本信息。[0135]本实施例中，钢板喷码信息的识别模型采用了crnn网络模型对文本区域中的文本信息进行识别。利用crnn网络模型的卷积神经网络(cnn)提取输入图像数据的特征，然后，利用crnn网络模型中的双向长短时记忆网络(blstm)对钢板喷码的序列特征进行学习，得到前后相关的长语义信息；接下来，利用crnn网络模型中的ctcloss转录层解码，将blstm网络的定长输出映射到具体字符的概率分布，使用softmax函数对概率分布进行正则化，最终得到预测文本序列(文本信息)，计算损失函数，利用反向传播算法更新参数，直到损失函数达到预设的收敛条件，得到钢板喷码信息识别训练模型。[0136]需要说明地是，多次对检测模型和识别模型进行迭代训练，使其达到损失函数收敛条件，增加钢板喷码信息的检测模型和钢板喷码信息的识别模型的识别准确率，使得检测模型和识别模型能够满足复杂环境下钢板侧喷码的长文本检测与识别要求。通过上述方式得到训练好的检测模型和识别模型，接下来，再将测试数据通过前述步骤输入检测模型和识别模型，利用检测模型和识别模型的计算和输出，得到最终的预测结果，预测结果也就是文本区域和文本信息。[0137]其中，经过第一次识别得到识别文本区域，利用文本识别网络模型进行第二次识别得到测试数据的识别文本信息，识别文本信息表示的是，识别到的钢板侧喷码的文字内容。需要说明地是，识别文本区域和识别文本信息可能会与实际的钢板侧喷码信息存在误差，因此，还需要后续步骤对识别文本区域和识别文本信息与钢板上实际的喷码区域和文字内容进行比较，在比较过程中，继续对钢板喷码信息检测和识别训练模型进行优化，这一过程进行多次后，即可形成检测和识别模型串联的钢板喷码信息模型。[0138]s300：利用钢板喷码信息检测训练模型对测试数据进行第一次识别，得到测试数据的识别文本区域。[0139]s400：利用钢板喷码信息识别模型对测试数据的文本区域进行第二次识别，得到测试数据的识别文本信息。[0140]s500：将测试数据的识别文本区域与对应的现有钢板的文本区域比较，以及测试数据的识别文本信息与对应的现有钢板的文本信息比较，将得到评估指标。[0141]其中，现有钢板的文本区域表示现有钢板上已经事实存在的喷码信息。[0142]具体地，计算测试数据的识别文本区域与对应的现有钢板的文本区域的误差，以及计算测试数据的识别文本信息与对应的现有钢板的文本信息的误差，均得到评估指标，其中，评估指标至少包括预测准确率、召回率和f值。也就是说，利用误差得到的评估指标所包括的预测准确率、召回率和f值三个指标对钢板喷码信息训练模型进行评估，根据评估结果对钢板喷码信息训练模型进行修正，也就是说，后续步骤中，可以利用评估指标判断钢板喷码信息模型的优劣，根据判断的结果再进一步选择是否有需要优化。[0143]s600：利用评估指标，修正钢板喷码信息训练模型，得到最优钢板喷码信息训练模型，并将其转换为钢板喷码信息推理模型。[0144]如图5所示，其中，得到钢板喷码信息推理模型具体包括步骤s601至s603。[0145]s601：利用若干预测准确率、召回率和f值分别对钢板喷码信息训练模型进行多次评价，得到判断结果。[0146]其中，每次评价，均得到判断结果，也就是说，每次评价得到的判断结果，可以理解为对钢板喷码信息训练模型进行一次评估。[0147]s602：根据判断结果与预设的阈值进行比较。[0148]若判断结果小于预设的阈值，对钢板喷码信息训练模型进行优化调整，迭代训练，循环执行第一次识别和第二次识别的步骤，得到最优钢板喷码信息训练模型。[0149]其中第一次识别代表步骤s300,第二次识别代表步骤s400。[0150]若判断结果大于等于预设的阈值，得到最优钢板喷码信息训练模型。[0151]s603：将最优的钢板喷码信息训练模型转化成钢板喷码信息推理模型，进行剪裁量化，得到所需部署的钢板喷码信息推理模型。[0152]其中，剪裁量化表示不损失精度的情况下，对模型精度参数的权重进行转换，调整计算速度。[0153]本实施例中，根据钢板喷码信息训练模型的评估结果(判断结果)，进行钢板喷码信息训练模型的调整或优化，即对钢板喷码信息模型结构和参数进行调整(如增加中间层；改变激活函数类型、学习率等)，或者增加训练数据等，以进一步提高钢板喷码信息训练模型的准确性和泛化能力，从而得到最优钢板喷码信息训练模型。这样，就形成了由训练数据的标注到钢板喷码信息训练模型，再到钢板喷码信息训练模型评估和调整的闭环过程。当钢板喷码信息训练模型调整到最优钢板喷码信息训练模型时，说明钢板喷码信息训练模型已经达到目前最好的模型了，接下来还需要对最优钢板喷码信息训练模型进行转换，转换成将钢板喷码信息推理模型，这一转换过程中去除了非必要的结构，只保留网络结构与参数。然后进行钢板喷码信息推理模型的部署，钢板喷码信息推理模型的部署主要采用应用端部署和服务端部署两种部署方式。由于手持端设备算力局限，为提高计算性能，因此，需要将钢板喷码信息推理模型剪裁量化，再进行部署。剪裁量化是在基本不损失推理模型的精度的情况下，将fp32精度的模型参数(权重)转换为int8(8位整型)精度，减小钢板喷码信息推理模型参数大小并加速计算，使用量化后的钢板喷码信息推理模型在移动端等部署时更具备速度优势。也就是说，应用端应用的是剪裁量化的钢板喷码信息推理模型，而服务端应用的可以是未经过剪裁量化的钢板喷码信息推理模型。[0154]s700：利用钢板喷码信息推理模型对待测钢板进行连续识别，得到连续的多帧待测钢板的待融合喷码信息。[0155]如图6所示，具体地，得到连续的多帧待测钢板的待融合喷码信息具体包括步骤s701至s707获得。[0156]s701：获取连续的第一帧图像、第二帧图像和第三帧图像，第一帧图像、第二帧图像和第三帧图像为待融合喷码信息。[0157]其中，喷码信息表示为文本信息。[0158]s702：利用钢板的钢板批号作为标识，对第一帧图像、第二帧图像和第三帧图像中出现喷码信息次数进行统计，得到统计结果。[0159]s703：将统计结果与预设的阈值比较。[0160]若统计结果小于预设的阈值，筛除第一帧图像的喷码信息、第二帧图像的喷码信息和第三帧图像的喷码信息。[0161]若统计结果大于等于预设的阈值，保留第一帧图像的喷码信息、第二帧图像的喷码信息和第三帧图像的喷码信息。[0162]s704：利用融合算法，分别对第一帧图像、第二帧图像和第三帧图像的喷码信息各部拆分，分别得到第一帧图像、第二帧图像和第三帧图像的各部信息。[0163]其中，各部信息包括钢种、尺寸、钢板批号和班组的数据信息。也就是说，文本信息至少包括了钢种、尺寸、钢板批号和班组这些内容的数据信息。[0164]s705：分别计算第一帧图像、第二帧图像和第三帧图像的钢种信息之间，以及与实际库存钢种列表间的编辑距离，选取最相似钢种，若第一帧图像的钢种数据、第二帧图像的钢种数据和第三帧图像的钢种数据的编辑距离均小于阈值，则赋值为最相似钢种，判断所有最相似钢种是否指向同一个钢种；若是则将当前钢种融合为所有最相似钢种指向的同一个钢种，若否则结束对当前钢种的纠正。[0165]s706：根据第一帧图像、第二帧图像和第三帧图像的尺寸和班组数据，统计相同数据次数大于或等于预设的阈值，且尺寸和班组在预设的数值范围内，进行融合。[0166]s707：将融合后的各部分喷码信息组成完整钢板喷码信息,得到待测钢板的融合喷码信息。[0167]s800：将融合喷码信息与库存信息或出库预设规则进行比对，对与库存信息存在差异的信息和不符合出库预设规则的信息给予特殊标记警示。[0168]其中，库存信息指库存系统内钢板喷码信息，出库预设规则指出库环节预先对钢种、尺寸设定的取值范围。[0169]本实施例中，由于拍摄设备的对焦问题容易造成得到的图片运动模糊，导致单帧数据识别结果不可靠，所以需要对识别后的结果进行数据后处理，也就是说，通过数据后处理得到待测钢板的融合喷码信息，以提高待测钢板的融合喷码信息精确率。数据后处理主要包括识别结果部分的各部解析，数据融合算法设计等。具体分部解析流程见图7，图7中流程首先将识别结果按照空格切分，将切分内容存入数组中；然后从后向前遍历，找到第一个与钢板批号长度相等且符合格式索引，取前13位(批号长度为13位)；根据索引位置向前为尺寸位置，根据x划分厚度、宽度、长度；继续向前遍历，判断炉号是否存在，根据尺寸或炉号索引向前寻找钢种；钢板批号索引位置向后为班组或为空。示例性地，首先，根据预设的喷码规则或采集样本图片统计出侧喷码规则，如钢板喷码规则1：标识符+钢种(英文数字混合)+空格+厚度(数字或小数点)+x+宽度(数字或小数点)+x+长度(数字或小数点)+空格+钢板批号(英文数字混合)+空格+(+班组号+)的格式。在过滤掉长度过短的识别结果后，依据喷码规则分部解析识别结果，首先，根据空格拆分获取钢板批号，依据钢板批号位置向前或向后提取班组、尺寸、钢种各项文本信息，尺寸每一项则通过x拆分出长宽厚信息。以dh36||18x2500x12000||23s-025369-06||(d11)为例，(为了演示方便用||代替空格)，用||将钢板喷码拆分成4项，根据钢板批号位数13位，确定钢板批号23s-025369-06位置，该位置向后检索()之间的文本为班组即d11，向前检索直到下一个||为尺寸18x2500x12000，尺寸通过x进行拆分，依次向前为长12000，宽2500，厚18；继续向前直到下一个||为钢种dh36，至此钢板喷码各项解析完成。[0170]如图8和图9所示，具体地，数据融合采用多帧数据融合方法，将当前图像识别结果与最近前两帧数据融合，使用前两帧数据对比纠正、填充当前识别结果，例如，连续的第一帧图像、第二帧图像和第三帧图像中，第一帧图像和第二帧图像作为第三帧图像的前两帧图像，第一帧图像和第二帧图像用于纠正、填充第三帧图像识别结果。[0171]首先，对图像中的内容筛选，选取钢板批号作为唯一标识，对连续三帧识别结果中该批号出现的次数进行统计，出现次数小于阈值则被筛除。[0172]其次，将筛选过后的文本信息的各部进行分部融合。初始化一个各部分为空的列表，用于存储融合结果。[0173]钢种融合：采用计算识别钢种之间与实际库存钢种列表间的编辑距离，选取最相似钢种，若指向同一个且最大编辑距离小于阈值，赋值为最相似钢种。尺寸、班组融合：三帧中有两帧数据相同则融合(设预设的阈值为2的情况)，否则丢弃。将各项融合后的结果组成完整的钢板喷码，判断是否在确认列表中出现过，未出现则插入确认列表。并在各部融合过程中，过滤掉不符合规则(如超出长宽厚数值范围、不在班组列表内等)的识别结果。在与库房管理系统对接时，以钢板批号为标识，将库存信息与融合结果进行比对纠正，从而得到最优结果。[0174]需要说明地是，得到钢板喷码识别信息的方法是利用深度学习和融合算法，达到高效识别钢板侧喷码的目的。[0175]本技术提供的一种钢板的喷码信息识别方法，可以在钢材库的库房管理中，实现复杂环境的多模式图像采集和钢板侧喷码识别，并应用于入库、盘库、出库等业务。[0176]与前述一种钢板的喷码信息识别方法的实施例相对应，本技术第二方面还提供了一种钢板的喷码信息识别系统的实施例。[0177]如图10所示，本技术第二方面提供一种钢板的喷码信息识别系统包括：应用端和服务器端。[0178]应用端，用于获取待测钢板的喷码信息；[0179]服务器端，与应用端连接，服务器端被配置为：[0180]获取样本图片和虚拟图片，分别对样本图片和虚拟图片标注，对应得到训练数据和测试数据，训练数据包括现有钢板上的第一喷码信息，以及根据预设的喷码规则，构建在虚拟钢板上的第二喷码信息，测试数据包括至少部分现有钢板上的第一喷码信息；[0181]将训练数据输入钢板喷码信息预训练模型，得到钢板喷码信息检测训练模型和钢板喷码信息识别训练模型，钢板喷码信息检测训练模型和钢板喷码信息识别训练模型组成钢板喷码信息训练模型；[0182]利用钢板喷码信息检测训练模型对测试数据进行第一次识别，得到测试数据的识别文本区域；[0183]利用钢板喷码信息识别训练模型对测试数据的文本区域进行第二次识别，得到测试数据的识别文本信息；[0184]将测试数据的识别文本区域与对应的现有钢板的文本区域比较，以及测试数据的识别文本信息与对应的现有钢板的文本信息比较，将得到评估指标；[0185]利用评估指标，修正钢板喷码信息训练模型，得到最优钢板喷码信息训练模型，并将其转换为钢板喷码信息推理模型；[0186]利用钢板喷码信息推理模型对待测钢板进行连续识别，得到连续的多帧待测钢板的待融合喷码信息；[0187]利用钢板喷码信息融合算法，对连续的多帧待测钢板的待融合喷码信息进行融合，得到待测钢板的融合喷码信息。[0188]将融合喷码信息与库存信息或出库预设规则进行比对，对与库存信息存在差异的信息和不符合出库预设规则的信息给予特殊标记警示，库存信息指库存系统内钢板喷码信息，出库预设规则指出库环节预先对钢种、尺寸设定的取值范围。[0189]如图10所示，在业务场景下的图像采集与识别，通过多模式图像采集，输入采集钢板喷码图像，进行图像预处理，包括灰度化、二值化等操作，并输送给文本检测模型，将文本区域从图像中提取出来，作为识别模型的输入，通过识别模型获取到未处理的识别初结果。通过融合算法对识别初结果进行处理，并通过库房系统信息比对进行钢板信息纠正和提示，最后输出完整的识别结果。[0190]本技术第三方面提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述的钢板的喷码信息识别方法的步骤。[0191]在本发明实施例的描述中，所属
技术领域：
：的技术人员应当知道，本发明实施例可以实现为方法、装置、电子设备及计算机可读存储介质。因此，本发明实施例可以具体实现为以下形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外，在一些实施例中，本发明实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式，该计算机可读存储介质中包含计算机程序代码。[0192]上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括：电、磁、光、电磁、红外或半导体的系统、装置或器件，或者以上任意的组合。计算机可读存储介质更具体的例子包括：便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom)、闪存(flashmemory)、光纤、光盘只读存储器(cd-rom)、光存储器件、磁存储器件或以上任意组合。在本发明实施例中，计算机可读存储介质可以是任意包含或存储程序的有形介质，该程序可以被指令执行系统、装置、器件使用或与其结合使用。[0193]上述计算机可读存储介质包含的计算机程序代码可以用任意适当的介质传输，包括：无线、电线、光缆、射频(radiofrequency，rf)或者以上任意合适的组合。[0194]可以以汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，例如：java、smalltalk、c++，还包括常规的过程式程序设计语言，例如：c语言或类似的程序设计语言。计算机程序代码可以完全的在用户计算机上执行、部分的在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行以及完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括：局域网(lan)或广域网(wan)，可以连接到用户计算机，也可以连接到外部计算机。[0195]本发明实施例通过流程图和/或方框图描述所提供的方法、装置、电子设备。[0196]应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合，都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，这些计算机可读程序指令通过计算机或其他可编程数据处理装置执行，产生了实现流程图和/或方框图中的方框规定的功能/操作的装置。[0197]也可以将这些计算机可读程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样，存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和/或方框图中的方框规定的功能/操作的指令装置产品。[0198]也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程图和/或方框图中的方框规定的功能/操作的过程。[0199]本发明实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。[0200]在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。[0201]在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。[0202]以上实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。当前第1页12当前第1页12
技术特征：
1.一种钢板的喷码信息识别方法，其特征在于，方法包括：获取样本图片和虚拟图片，分别对所述样本图片和所述虚拟图片标注，对应得到训练数据和测试数据，所述训练数据包括现有钢板上的第一喷码信息，以及根据预设的喷码规则，构建在虚拟钢板上的第二喷码信息，所述测试数据包括至少部分所述现有钢板上的第一喷码信息；将所述训练数据输入钢板喷码信息预训练模型，得到钢板喷码信息检测训练模型和钢板喷码信息识别训练模型，所述钢板喷码信息检测训练模型和钢板喷码信息识别训练模型组成钢板喷码信息训练模型；利用所述钢板喷码信息检测训练模型对测试数据进行第一次识别，得到所述测试数据的识别文本区域；利用所述钢板喷码信息识别训练模型对所述测试数据的文本区域进行第二次识别，得到所述测试数据的识别文本信息；将所述测试数据的识别文本区域与对应的所述现有钢板的文本区域比较，以及所述测试数据的识别文本信息与对应的所述现有钢板的文本信息比较，将得到评估指标；利用所述评估指标，修正所述钢板喷码信息训练模型，得到最优钢板喷码信息训练模型，并将其转换为钢板喷码信息推理模型；利用所述钢板喷码信息推理模型对待测钢板进行连续识别，得到连续的多帧所述待测钢板的待融合喷码信息；利用钢板喷码信息融合算法，对连续的多帧所述待测钢板的待融合喷码信息进行融合，得到所述待测钢板的融合喷码信息；将所述融合喷码信息与库存信息或出库预设规则进行比对，对与所述库存信息存在差异的信息和不符合所述出库预设规则的信息给予特殊标记警示，所述库存信息指库存系统内钢板喷码信息，所述出库预设规则指出库环节预先对钢种、尺寸设定的取值范围。2.根据权利要求1所述的钢板的喷码信息识别方法，其特征在于，所述获取样本图片和虚拟图片，分别对所述样本图片和所述虚拟图片标注，对应得到训练数据和测试数据的步骤，包括：对所述训练数据中的所述样本图片和所述虚拟图片进行标注，得到具有标注的训练数据集和测试数据集，所述标注表示在所述样本图片和所述虚拟图片中分别对文本区域和文本信息进行标记；获取若干所述现有钢板上的所述第一喷码信息，得到所述测试数据以及部分所述训练数据，其中，所述第一喷码信息包括现有钢板的图像、文本区域标注坐标和文本信息；根据预设的喷码规则，构建若干所述虚拟钢板的图像、文本区域标注坐标和文本信息，得到若干所述第二喷码信息；将部分所述训练数据和若干所述第二喷码信息组合，得到训练数据。3.根据权利要求2所述的钢板的喷码信息识别方法，其特征在于，所述将所述训练数据输入钢板喷码信息预训练模型，得到钢板喷码信息检测训练模型和钢板喷码信息识别训练模型的步骤，包括：利用分割的网络模型，得到钢板喷码信息的预检测训练模型；利用文本识别网络模型，得到钢板喷码信息的预识别训练模型；
所述钢板喷码信息的预检测训练模型和所述钢板喷码信息的预识别训练模型组合，得到所述钢板喷码信息预训练模型；对所述钢板喷码信息的预检测训练模型训练，得到所述钢板喷码信息检测训练模型；对所述钢板喷码信息的预识别训练模型训练，得到所述钢板喷码信息识别训练模型。4.根据权利要求3所述的钢板的喷码信息识别方法，其特征在于，所述将所述训练数据输入钢板喷码信息预训练模型，得到钢板喷码信息检测训练模型和钢板喷码信息识别训练模型的步骤，包括：将具有标注的训练数据集输入所述钢板喷码信息的预检测训练模型，利用反向传播算法更新所述钢板喷码信息的预检测训练模型的参数，得到损失函数达到预设收敛条件的所述钢板喷码信息检测训练模型；将具有标注的训练数据集输入所述钢板喷码信息的预识别训练模型，利用反向传播算法更新所述钢板喷码信息的预识别训练模型的参数，得到损失函数达到预设收敛条件的所述钢板喷码信息的识别训练模型；将所述钢板喷码信息检测训练模型，以及所述钢板喷码信息的识别训练模型组合，得到所述钢板喷码信息训练模型。5.根据权利要求4所述的钢板的喷码信息识别方法，其特征在于，所述对所述钢板喷码信息的预检测训练模型训练，得到所述钢板喷码信息检测训练模型的步骤，包括：在所述钢板喷码信息的预检测训练模型中，利用卷积神经网络对所述训练数据中每张图片的喷码标注区域的像素值进行特征点提取，得到所述每张图片的二维的特征图；将所述二维的特征图连接，得到所述每张图片的融合的特征图；利用所述钢板喷码信息的预检测模型中的fcn网络结构对所述融合的特征图进行处理，得到所述每张图片的概率图与阈值图，其中，所述概率图表示特征点是目标的概率，所述阈值图表示所述标记喷码信息与背景的边界；利用可微分二值化对所述每张图片的概率图与阈值图进行处理，得到所述每张图片的近似二值图；利用所述每张图片的所述概率图、所述阈值图和所述近似二值图进行监督学习，使用反向传播算法更新参数，计算损失函数，并使其达到预设的收敛条件,得到所述钢板喷码信息检测训练模型。6.根据权利要求5所述的钢板的喷码信息识别方法，其特征在于，所述对所述钢板喷码信息的预识别训练模型训练，得到所述钢板喷码信息识别训练模型的步骤，包括：利用所述文本识别网络模型中的卷积神经网络提取所述训练数据的文本区域的特征，得到钢板喷码的图像特征；利用所述文本识别网络模型中的双向长短时记忆网络，对所述钢板喷码的序列特征进行学习，得到前后相关的长语义信息；对所述前后相关的长语义信息进行映射，得到具体字符的概率分布；利用正则化的方法对所述具体字符的概率分布排序，得到所述训练数据的文本信息；利用训练数据集中的图像特征和文本标签进行监督学习，使用反向传播算法更新文本识别网络模型参数，计算损失函数，使其达到预设的收敛条件，得到所述钢板喷码信息识别训练模型。
7.根据权利要求1所述的钢板的喷码信息识别方法，其特征在于，所述将所述测试数据的识别文本区域与对应的所述现有钢板的文本区域比较，以及所述测试数据的识别文本信息与对应的所述现有钢板的文本信息比较，将得到评估指标的步骤，包括：计算所述测试数据的识别文本区域与对应的所述现有钢板的文本区域的误差，以及计算所述测试数据的识别文本信息与对应的所述现有钢板的文本信息的误差，得到所述评估指标，其中，所述评估指标至少包括预测准确率、召回率和f值。8.根据权利要求7所述的钢板的喷码信息识别方法，其特征在于，所述利用所述评估指标，修正所述钢板喷码信息训练模型，得到钢板喷码信息推理模型的步骤，包括：利用若干所述预测准确率、所述召回率和所述f值分别对所述钢板喷码信息训练模型进行多次评价，得到判断结果；根据所述判断结果与预设的阈值进行比较，若所述判断结果小于所述预设的阈值，对所述钢板喷码信息训练模型进行优化调整，迭代训练，循环执行第一次识别和第二次识别的步骤，得到最优钢板喷码信息训练模型；若所述判断结果大于等于所述预设的阈值，得到最优钢板喷码信息训练模型；将所述最优钢板喷码信息训练模型转化成所述钢板喷码信息推理模型，并进行剪裁量化，得到所需部署的钢板喷码信息推理模型，其中，所述剪裁量化表示不损失精度的情况下，对模型精度参数的权重进行转换，调整计算速度。9.根据权利要求8所述的钢板的喷码信息识别方法，其特征在于，所述利用钢板喷码信息融合算法，对连续的多帧所述待测钢板的待融合喷码信息进行融合，得到所述待测钢板的融合喷码信息的步骤，包括：获取连续的第一帧图像、第二帧图像和第三帧图像，所述第一帧图像、所述第二帧图像和所述第三帧图像为待融合喷码信息；利用钢板的钢板批号作为标识，对所述第一帧图像、所述第二帧图像和所述第三帧图像中出现喷码信息次数进行统计，得到统计结果；将所述统计结果与预设的阈值比较；若所述统计结果小于所述预设的阈值，筛除所述第一帧图像的喷码信息、所述第二帧图像的喷码信息和所述第三帧图像的喷码信息；若所述统计结果大于等于所述预设的阈值，保留所述第一帧图像的喷码信息、所述第二帧图像的喷码信息和所述第三帧图像的喷码信息；利用融合算法，分别对第一帧图像、所述第二帧图像和所述第三帧图像的喷码信息各部拆分，分别得到所述第一帧图像、所述第二帧图像和所述第三帧图像的各部信息，所述各部包括钢种、尺寸、钢板批号和班组的数据；分别计算所述第一帧图像、所述第二帧图像和所述第三帧图像的钢种信息之间，以及与实际库存钢种列表间的编辑距离，选取最相似钢种，若所述第一帧图像的钢种数据、所述第二帧图像的钢种数据和所述第三帧图像的钢种数据的编辑距离均小于阈值，则赋值为最相似钢种，判断所有最相似钢种是否指向同一个钢种；若是则将当前钢种融合为所有最相似钢种指向的同一个钢种，若否则结束对当前钢种的纠正；根据所述第一帧图像、所述第二帧图像和所述第三帧图像的尺寸和班组数据，统计相同数据次数大于或等于预设的阈值，且尺寸和班组在预设的数值范围内，进行融合；
将融合后的各部分喷码信息组成完整钢板喷码信息,得到所述待测钢板的融合喷码信息。10.一种钢板的喷码信息识别系统，其特征在于，应用于权利要求1-9中任一项所述的钢板的喷码信息识别方法，所述系统包括：应用端，用于获取待测钢板的喷码信息；服务器端，与所述应用端连接，服务器端被配置为：获取样本图片和虚拟图片，分别对所述样本图片和所述虚拟图片标注，对应得到训练数据和测试数据，所述训练数据包括现有钢板上的第一喷码信息，以及根据预设的喷码规则，构建在虚拟钢板上的第二喷码信息，所述测试数据包括至少部分所述现有钢板上的第一喷码信息；将所述训练数据输入钢板喷码信息预训练模型，得到钢板喷码信息检测训练模型和钢板喷码信息识别训练模型，所述钢板喷码信息检测训练模型和钢板喷码信息识别训练模型组成钢板喷码信息训练模型；利用所述钢板喷码信息检测训练模型对测试数据进行第一次识别，得到所述测试数据的识别文本区域；利用所述钢板喷码信息识别训练模型对所述测试数据的文本区域进行第二次识别，得到所述测试数据的识别文本信息；将所述测试数据的识别文本区域与对应的所述现有钢板的文本区域比较，以及所述测试数据的识别文本信息与对应的所述现有钢板的文本信息比较，将得到评估指标；利用所述评估指标，修正所述钢板喷码信息训练模型，得到最优钢板喷码信息训练模型，并将其转换为钢板喷码信息推理模型；利用所述钢板喷码信息推理模型对待测钢板进行连续识别，得到连续的多帧所述待测钢板的待融合喷码信息；利用钢板喷码信息融合算法，对连续的多帧所述待测钢板的待融合喷码信息进行融合，得到所述待测钢板的融合喷码信息；将所述融合喷码信息与库存信息或出库预设规则进行比对，对与所述库存信息存在差异的信息和不符合所述出库预设规则的信息给予特殊标记警示，所述库存信息指库存系统内钢板喷码信息，所述出库预设规则指出库环节预先对钢种、尺寸设定的取值范围。

技术总结
本申请涉及钢板喷码技术领域。一种钢板喷码信息识别方法包括分别对样本图片和虚拟图片标注，对应得到训练数据和测试数据；将训练数据输入钢板喷码信息预训练模型，得到钢板喷码信息训练模型；再对测试数据进行两次识别，得到测试数据的文本信息；接下来进行文本区域比较，以及文本信息比较，将得到评估指标；利用评估指标，修正钢板喷码信息训练模型，后转化成钢板喷码信息推理模型；利用钢板喷码信息推理模型对待测钢板进行连续识别，得到连续的多帧待测钢板的待融合喷码信息；利用钢板喷码信息融合算法，对连续的多帧待测钢板的待融合喷码信息进行融合，得到待测钢板的融合喷码信息，并与库存信息等对比。提高钢材库的库存管理效率。理效率。理效率。


技术研发人员：许宇辰 陈秀超 谷芳春 马凝
受保护的技术使用者：山信软件股份有限公司
技术研发日：2023.07.03
技术公布日：2023/9/23