一种基于机器视觉的货物售卖自动监控装置的制作方法

1.本发明涉及自动售货机技术领域，具体涉及一种基于机器视觉的货物售卖自动监控装置。


背景技术：

2.自动售货机，英文名(vending machine，vem)，是一种能根据投入的钱币自动付货的机器。自动售货机是商业自动化的常用设备，它不受时间、地点的限制，能节省人力、方便交易。是一种全新的商业零售形式，又被称为24小时营业的微型超市。常见的自动售卖机共分为四种：饮料自动售货机、食品自动售货机、综合自动售货机、化妆品自动售卖机。
3.但是，现有的及自动售货机不能对售卖的产品的保质期进行自动监控，很可能向消费者售卖过期或临期产品，造成一定的危害。


技术实现要素：

4.本发明提供一种基于机器视觉的货物售卖自动监控装置，以解决现有技术中存在的上述问题。
5.本发明提供一种基于机器视觉的货物售卖自动监控装置，包括：机器视觉系统、监控平台和控制平台；所述机器视觉系统设置在监控平台上，所述监控平台位于自动售货机的出货时从货道上接货的位置；
6.所述机器视觉系统通过工业相机确定出货产品的期限日期，将期限日期传输至控制平台，控制平台对期限日期与当前日期进行比对，判断是否临期或过期，若临期，执行相应的临期补救措施，若过期，则执行相应的过期补救措施。
7.优选的，所述机器视觉系统包括第一工业相机、第二工业相机和机器视觉控制器，所述第一工业相机和第二工业相机均设置于所述监控平台上；所述第一工业相机，所述机器视觉控制器分别连接所述第一工业相机和第二工业相机；
8.所述第一工业相机拍摄出货产品的状态图像，将状态图像传输至机器视觉控制器，所述机器视觉控制器根据状态图像确定产品的期限日期所处的位置和角度；将位置和角度传输至所述第二工业相机，所述第二工业相机调整拍摄的位置和角度，将具有期限日期的图像传输至机器视觉控制器，所述机器视觉控制器根据图像分析输出期限日期数据，并将期限日期数据传输至所述控制平台。
9.优选的，所述临期补救措施，包括：直接返折扣、用户选择补救方案；
10.所述直接返折扣包括：控制平台检测出临期产品后，向结算平台发送结算复核指令，结算平台向用户退还部分费用；
11.所述用户选择补救方案包括：控制平台向自动售货机的显示屏上发送选项信息，用户通过显示屏的触屏操作选择相应的选项，以对购买的临期产品进行补救；所述选项信息包括：返折扣购买、退回产品；
12.所述返折扣购买包括：返回购买的产品的设定比例购买费用，控制平台向结算平
台发送结算复核指令，结算平台向用户退还部分费用；
13.所述退回产品包括：控制平台向出货机构发送指令，将产品移送至回收通道；
14.所述过期补救措施包括：控制平台向出货机构发送指令，将产品移送至回收通道。
15.优选的，所述控制平台在设定时间段内检测出过期或临期产品的频次或数量超过设定值，则向产品管理平台发送指令，所述产品管理平台对自动售货机内的产品的期限日期进行筛查，若期限日期过期或临期的产品超过控制阈值时，所述产品管理平台发出数据异常报警，提醒管理员对自动售货机内的产品进行筛查。
16.优选的，所述产品管理平台连接订单系统和入货系统；
17.所述入货系统记录向自动售货机放入的所有产品的产品信息，所述产品信息包括：产品名称、生产日期、保质期、期限日期、入货时间、存入的货道编号；
18.所述订单系统记录每个产品的订购信息，所述订购信息包括：产品名称、生产日期、保质期、期限日期、订购日期、出货时间；
19.通过入货系统和订单系统的产品进出统计出当前自动售货机现存的产品，基于产品管理平台筛选出现存的产品对应的期限日期，将期限日期与当前日期比对，筛选出过期或临期的产品。
20.优选的，所述订单管理平台根据订单系统和入货系统对产品的销售情况进行统计；
21.当某一产品在自动售货机内的存货量系数低于第一系数阈值时，所述订单管理平台向自动入货机构发送指令，使自动入货机构自动对该产品进行加量入货；
22.当某一产品在自动售货机内的存货量系数高于第二系数阈值时，所述订单管理平台向控制平台发送存货指令，所述控制平台若检测出该产品连续两次出现过期或临期的情况，直接向订单管理平台发送更换产品指令，所述订单管理平台通过存货异常报警，以提醒管理人员对自动售货机内的相应产品进行更换货品的处理；
23.所述第二存货量阈值是与时间和出货量相关的值，距离入货时间越长，出货产品越少，存货量系数越高，反之，距离入货时间越短，出货产品越多，存货量系数越低，所述第二系数阈值大于第一系数阈值。
24.优选的，图像处理单元包括图像边缘提取子单元，利用梯度算子对图像边缘进行提取，具体的，将图像中每一个像素点设定为边缘像素点有引力作用的天体，采用万有引力定律计算像素点的边缘像素对该像素点施加的力，计算所有引力的矢量和，用矢量和的大小和方向替代梯度算子确定图像边缘；
25.中心像素点在水平方向和垂直方向上受到的力分别采用如以下公式计算：
[0026][0027][0028]
其中，f
x
表示中心像素点在水平方向受力值，fy表示中心像素点在垂直方向上的受力值；m
i,j
表示中心像素灰度值，m
k,l
表示中心像素的边缘的邻域内的某个像素点的灰度值，
g表示重力常数，i表示中心像素点的水平方向x轴坐标点，j表示中心像素点的垂直方向y轴坐标点，k表示邻域内的某个像素点的x轴坐标点，l表示邻域内的某个像素点的y轴坐标点。
[0029]
因此，基于计算的中心像素点所受力的矢量替代梯度算子，避免常规梯度算子短发存在图像经滤波后容易丢失边缘信息，且容易检测到虚假边缘的缺点。而采用上述方式进行的边缘检测，提取的边缘图像中假边缘的数量减少，边缘定位的准确性更高。
[0030]
优选的，所述视觉控制器包括：图像非线性畸变模型和图像校正单元；
[0031]
所述图像非线性畸变模型包括：获取若干个图像，构成畸变图像数据集，基于畸变图像数据集通过cnn直接对畸变图像进行回归，输出结果为图像非线性畸变模型所包括的所有畸变参数，完成基于cnn的图像非线性畸变模型训练；
[0032]
所述图像校正单元将机器视觉系统中的标准畸变图像输入至所述图像非线性畸变模型，基于所述图像非线性畸变模型获得畸变图像的畸变参数，将该畸变参数设定为该机器视觉系统的畸变参数，基于畸变参数对所有第一工业相机和第二工业相机拍摄的畸变图像进行校正。
[0033]
优选的，所述cnn为深度神经网络，基于cnn的训练模型的卷积层采用小卷积核，叠加多层卷积层，使特征图像可以经过更多的非线性映射处理；
[0034]
针对cnn最后一层池化层输出特征图像扁平化处理，设定扁平层，利用扁平层将特征图像转变为一维特征再输入全连接层；卷积层提取特征时通过添加卷积核数量以增加提取的信息量，卷积核越多卷积层提取的特征数量就越多，通过全连接层将展平后的向量变换为每个畸变参数的输出。
[0035]
优选的，所述图像校正单元包括：
[0036]
校正开始时，分别将畸变的图像输入，先将图像中的各像素的灰度值依次按坐标提取为数组，基于已经求得的图像非线性畸变模型依次求取每个像素点的实际坐标点对应的畸变图像坐标点，如果计算出的畸变图像坐标点不是整数，则用二次线性插值法计算该点灰度值，用畸变图像坐标点的灰度来填充校正后图像上的实际坐标点，将存储有校正后的各像素的灰度值的数组恢复为图像，得到校正后的图像。
[0037]
优选的，还包括红外摄像机，所述红外摄像机与第一工业相机和第二工业相机左右水平安装；根据红外图像经过不同的旋转、平移和缩放得到的图像与第一工业相机或第二工业相机的图像重合；根据红外摄像机和工业相机的几何特性进行图像的粗配准；采用基于点特征的配准对得到的粗配准图像进行精配准；采用松弛匹配利用对称性计算邻域内其他角点对该角点的支持强度，由迭代将匹配结果多对多匹配对精确为最终的一对一匹配结果，得到匹配角点对后通过距离缩放和旋转角度偏差进一步消除误匹配角点。
[0038]
与现有技术相比，本发明具有以下优点：
[0039]
本发明提供一种基于机器视觉的货物售卖自动监控装置，包括：机器视觉系统、监控平台和控制平台；所述机器视觉系统设置在监控平台上，所述监控平台位于自动售货机的出货时从货道上接货的位置；所述机器视觉系统通过工业相机确定出货产品的期限日期，将期限日期传输至控制平台，控制平台对期限日期与当前日期进行比对，判断是否临期或过期，若临期，执行相应的临期补救措施，若过期，则执行相应的过期补救措施。通过机器视觉系统和监控平台实现对出货产品的期限日期进行实时监控，避免消费者购买到临期或过期产品，提升用户体验。
[0040]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0041]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0042]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0043]
图1为本发明实施例中一种基于机器视觉的货物售卖自动监控装置的结构示意图；
[0044]
图2为本发明实施例中机器视觉系统的结构示意图；
[0045]
图3为本发明实施例中产品管理平台的结构示意图。
具体实施方式
[0046]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0047]
本发明实施例提供了一种基于机器视觉的货物售卖自动监控装置，如图1所示，该监控装置包括以下几个部分：
[0048]
包括：机器视觉系统、监控平台和控制平台；所述机器视觉系统设置在监控平台上，所述监控平台位于自动售货机的出货时从货道上接货的位置；
[0049]
所述机器视觉系统通过工业相机确定出货产品的期限日期，将期限日期传输至控制平台，控制平台对期限日期与当前日期进行比对，判断是否临期或过期，若临期，执行相应的临期补救措施，若过期，则执行相应的过期补救措施。
[0050]
上述技术方案的工作原理为：本实施例采用的方案是包括：机器视觉系统、监控平台和控制平台；所述机器视觉系统设置在监控平台上，所述监控平台位于自动售货机的出货时从货道上接货的位置；
[0051]
所述机器视觉系统通过工业相机确定出货产品的期限日期，将期限日期传输至控制平台，控制平台对期限日期与当前日期进行比对，判断是否临期或过期，若临期，执行相应的临期补救措施，若过期，则执行相应的过期补救措施。
[0052]
上述技术方案的有益效果为：采用本实施例提供的方案包括：机器视觉系统、监控平台和控制平台；所述机器视觉系统设置在监控平台上，所述监控平台位于自动售货机的出货时从货道上接货的位置；
[0053]
所述机器视觉系统通过工业相机确定出货产品的期限日期，将期限日期传输至控制平台，控制平台对期限日期与当前日期进行比对，判断是否临期或过期，若临期，执行相应的临期补救措施，若过期，则执行相应的过期补救措施。
[0054]
在另一实施例中，如图2所示，所述机器视觉系统包括第一工业相机、第二工业相机和机器视觉控制器，所述第一工业相机和第二工业相机均设置于所述监控平台上；所述第一工业相机，所述机器视觉控制器分别连接所述第一工业相机和第二工业相机；
[0055]
所述第一工业相机拍摄出货产品的状态图像，将状态图像传输至机器视觉控制
器，所述机器视觉控制器根据状态图像确定产品的期限日期所处的位置和角度；将位置和角度传输至所述第二工业相机，所述第二工业相机调整拍摄的位置和角度，将具有期限日期的图像传输至机器视觉控制器，所述机器视觉控制器根据图像分析输出期限日期数据，并将期限日期数据传输至所述控制平台。
[0056]
上述技术方案的工作原理为：本实施例采用的方案是所述机器视觉系统包括第一工业相机、第二工业相机和机器视觉控制器，所述第一工业相机和第二工业相机均设置于所述监控平台上；所述第一工业相机，所述机器视觉控制器分别连接所述第一工业相机和第二工业相机；
[0057]
所述第一工业相机拍摄出货产品的状态图像，将状态图像传输至机器视觉控制器，所述机器视觉控制器根据状态图像确定产品的期限日期所处的位置和角度；将位置和角度传输至所述第二工业相机，所述第二工业相机调整拍摄的位置和角度，将具有期限日期的图像传输至机器视觉控制器，所述机器视觉控制器根据图像分析输出期限日期数据，并将期限日期数据传输至所述控制平台。
[0058]
上述技术方案的有益效果为：采用本实施例提供的方案所述机器视觉系统包括第一工业相机、第二工业相机和机器视觉控制器，所述第一工业相机和第二工业相机均设置于所述监控平台上；所述第一工业相机，所述机器视觉控制器分别连接所述第一工业相机和第二工业相机；
[0059]
所述第一工业相机拍摄出货产品的状态图像，将状态图像传输至机器视觉控制器，所述机器视觉控制器根据状态图像确定产品的期限日期所处的位置和角度；将位置和角度传输至所述第二工业相机，所述第二工业相机调整拍摄的位置和角度，将具有期限日期的图像传输至机器视觉控制器，所述机器视觉控制器根据图像分析输出期限日期数据，并将期限日期数据传输至所述控制平台。
[0060]
在另一实施例中，所述临期补救措施，包括：直接返折扣、用户选择补救方案；
[0061]
所述直接返折扣包括：控制平台检测出临期产品后，向结算平台发送结算复核指令，结算平台向用户退还部分费用；
[0062]
所述用户选择补救方案包括：控制平台向自动售货机的显示屏上发送选项信息，用户通过显示屏的触屏操作选择相应的选项，以对购买的临期产品进行补救；所述选项信息包括：返折扣购买、退回产品；
[0063]
所述返折扣购买包括：返回购买的产品的设定比例购买费用，控制平台向结算平台发送结算复核指令，结算平台向用户退还部分费用；
[0064]
所述退回产品包括：控制平台向出货机构发送指令，将产品移送至回收通道；
[0065]
所述过期补救措施包括：控制平台向出货机构发送指令，将产品移送至回收通道。
[0066]
上述技术方案的工作原理为：本实施例采用的方案是所述临期补救措施，包括：直接返折扣、用户选择补救方案；
[0067]
所述直接返折扣包括：控制平台检测出临期产品后，向结算平台发送结算复核指令，结算平台向用户退还部分费用；
[0068]
所述用户选择补救方案包括：控制平台向自动售货机的显示屏上发送选项信息，用户通过显示屏的触屏操作选择相应的选项，以对购买的临期产品进行补救；所述选项信息包括：返折扣购买、退回产品；
[0069]
所述返折扣购买包括：返回购买的产品的设定比例购买费用，控制平台向结算平台发送结算复核指令，结算平台向用户退还部分费用；
[0070]
所述退回产品包括：控制平台向出货机构发送指令，将产品移送至回收通道；
[0071]
所述过期补救措施包括：控制平台向出货机构发送指令，将产品移送至回收通道。
[0072]
上述技术方案的有益效果为：采用本实施例提供的方案所述临期补救措施，包括：直接返折扣、用户选择补救方案；
[0073]
所述直接返折扣包括：控制平台检测出临期产品后，向结算平台发送结算复核指令，结算平台向用户退还部分费用；
[0074]
所述用户选择补救方案包括：控制平台向自动售货机的显示屏上发送选项信息，用户通过显示屏的触屏操作选择相应的选项，以对购买的临期产品进行补救；所述选项信息包括：返折扣购买、退回产品；
[0075]
所述返折扣购买包括：返回购买的产品的设定比例购买费用，控制平台向结算平台发送结算复核指令，结算平台向用户退还部分费用；
[0076]
所述退回产品包括：控制平台向出货机构发送指令，将产品移送至回收通道；
[0077]
所述过期补救措施包括：控制平台向出货机构发送指令，将产品移送至回收通道。
[0078]
在另一实施例中，所述控制平台在设定时间段内检测出过期或临期产品的频次或数量超过设定值，则向产品管理平台发送指令，所述产品管理平台对自动售货机内的产品的期限日期进行筛查，若期限日期过期或临期的产品超过控制阈值时，所述产品管理平台发出数据异常报警，提醒管理员对自动售货机内的产品进行筛查。
[0079]
上述技术方案的工作原理为：本实施例采用的方案是所述控制平台在设定时间段内检测出过期或临期产品的频次或数量超过设定值，则向产品管理平台发送指令，所述产品管理平台对自动售货机内的产品的期限日期进行筛查，若期限日期过期或临期的产品超过控制阈值时，所述产品管理平台发出数据异常报警，提醒管理员对自动售货机内的产品进行筛查。
[0080]
上述技术方案的有益效果为：采用本实施例提供的方案所述控制平台在设定时间段内检测出过期或临期产品的频次或数量超过设定值，则向产品管理平台发送指令，所述产品管理平台对自动售货机内的产品的期限日期进行筛查，若期限日期过期或临期的产品超过控制阈值时，所述产品管理平台发出数据异常报警，提醒管理员对自动售货机内的产品进行筛查。
[0081]
在另一实施例中，如图3所示，所述产品管理平台连接订单系统和入货系统；
[0082]
所述入货系统记录向自动售货机放入的所有产品的产品信息，所述产品信息包括：产品名称、生产日期、保质期、期限日期、入货时间、存入的货道编号；
[0083]
所述订单系统记录每个产品的订购信息，所述订购信息包括：产品名称、生产日期、保质期、期限日期、订购日期、出货时间；
[0084]
通过入货系统和订单系统的产品进出统计出当前自动售货机现存的产品，基于产品管理平台筛选出现存的产品对应的期限日期，将期限日期与当前日期比对，筛选出过期或临期的产品。
[0085]
上述技术方案的工作原理为：本实施例采用的方案是所述产品管理平台连接订单系统和入货系统；
[0086]
所述入货系统记录向自动售货机放入的所有产品的产品信息，所述产品信息包括：产品名称、生产日期、保质期、期限日期、入货时间、存入的货道编号；
[0087]
所述订单系统记录每个产品的订购信息，所述订购信息包括：产品名称、生产日期、保质期、期限日期、订购日期、出货时间；
[0088]
通过入货系统和订单系统的产品进出统计出当前自动售货机现存的产品，基于产品管理平台筛选出现存的产品对应的期限日期，将期限日期与当前日期比对，筛选出过期或临期的产品。
[0089]
上述技术方案的有益效果为：采用本实施例提供的方案所述产品管理平台连接订单系统和入货系统；
[0090]
所述入货系统记录向自动售货机放入的所有产品的产品信息，所述产品信息包括：产品名称、生产日期、保质期、期限日期、入货时间、存入的货道编号；
[0091]
所述订单系统记录每个产品的订购信息，所述订购信息包括：产品名称、生产日期、保质期、期限日期、订购日期、出货时间；
[0092]
通过入货系统和订单系统的产品进出统计出当前自动售货机现存的产品，基于产品管理平台筛选出现存的产品对应的期限日期，将期限日期与当前日期比对，筛选出过期或临期的产品。
[0093]
在另一实施例中，所述订单管理平台根据订单系统和入货系统对产品的销售情况进行统计；
[0094]
当某一产品在自动售货机内的存货量系数低于第一系数阈值时，所述订单管理平台向自动入货机构发送指令，使自动入货机构自动对该产品进行加量入货；
[0095]
当某一产品在自动售货机内的存货量系数高于第二系数阈值时，所述订单管理平台向控制平台发送存货指令，所述控制平台若检测出该产品连续两次出现过期或临期的情况，直接向订单管理平台发送更换产品指令，所述订单管理平台通过存货异常报警，以提醒管理人员对自动售货机内的相应产品进行更换货品的处理；
[0096]
所述第二存货量阈值是与时间和出货量相关的值，距离入货时间越长，出货产品越少，存货量系数越高，反之，距离入货时间越短，出货产品越多，存货量系数越低，所述第二系数阈值大于第一系数阈值。
[0097]
上述技术方案的工作原理为：本实施例采用的方案是所述订单管理平台根据订单系统和入货系统对产品的销售情况进行统计；
[0098]
当某一产品在自动售货机内的存货量系数低于第一系数阈值时，所述订单管理平台向自动入货机构发送指令，使自动入货机构自动对该产品进行加量入货；
[0099]
当某一产品在自动售货机内的存货量系数高于第二系数阈值时，所述订单管理平台向控制平台发送存货指令，所述控制平台若检测出该产品连续两次出现过期或临期的情况，直接向订单管理平台发送更换产品指令，所述订单管理平台通过存货异常报警，以提醒管理人员对自动售货机内的相应产品进行更换货品的处理；
[0100]
所述第二存货量阈值是与时间和出货量相关的值，距离入货时间越长，出货产品越少，存货量系数越高，反之，距离入货时间越短，出货产品越多，存货量系数越低，所述第二系数阈值大于第一系数阈值。
[0101]
上述技术方案的有益效果为：采用本实施例提供的方案所述订单管理平台根据订
单系统和入货系统对产品的销售情况进行统计；
[0102]
当某一产品在自动售货机内的存货量系数低于第一系数阈值时，所述订单管理平台向自动入货机构发送指令，使自动入货机构自动对该产品进行加量入货；
[0103]
当某一产品在自动售货机内的存货量系数高于第二系数阈值时，所述订单管理平台向控制平台发送存货指令，所述控制平台若检测出该产品连续两次出现过期或临期的情况，直接向订单管理平台发送更换产品指令，所述订单管理平台通过存货异常报警，以提醒管理人员对自动售货机内的相应产品进行更换货品的处理；
[0104]
所述第二存货量阈值是与时间和出货量相关的值，距离入货时间越长，出货产品越少，存货量系数越高，反之，距离入货时间越短，出货产品越多，存货量系数越低，所述第二系数阈值大于第一系数阈值。
[0105]
在另一实施例中，所述视觉控制器包括：图像非线性畸变模型和图像校正单元；
[0106]
所述图像非线性畸变模型包括：获取若干个图像，构成畸变图像数据集，基于畸变图像数据集通过cnn直接对畸变图像进行回归，输出结果为图像非线性畸变模型所包括的所有畸变参数，完成基于cnn的图像非线性畸变模型训练；
[0107]
所述图像校正单元将机器视觉系统中的标准畸变图像输入至所述图像非线性畸变模型，基于所述图像非线性畸变模型获得畸变图像的畸变参数，将该畸变参数设定为该机器视觉系统的畸变参数，基于畸变参数对所有第一工业相机和第二工业相机拍摄的畸变图像进行校正。
[0108]
上述技术方案的工作原理为：本实施例采用的方案是所述视觉控制器包括：图像非线性畸变模型和图像校正单元；
[0109]
所述图像非线性畸变模型包括：获取若干个图像，构成畸变图像数据集，基于畸变图像数据集通过cnn直接对畸变图像进行回归，输出结果为图像非线性畸变模型所包括的所有畸变参数，完成基于cnn的图像非线性畸变模型训练；
[0110]
所述图像校正单元将机器视觉系统中的标准畸变图像输入至所述图像非线性畸变模型，基于所述图像非线性畸变模型获得畸变图像的畸变参数，将该畸变参数设定为该机器视觉系统的畸变参数，基于畸变参数对所有第一工业相机和第二工业相机拍摄的畸变图像进行校正。
[0111]
由于镜头加工工艺和相机轴向与被测对象所在平面不垂直会导致机器视觉系统所处理分析的图像产生畸变，最终给系统的检测结果带来误差。只有真实的图像才能反映物体的真实形态，在系统对图像进行处理和分析之前，应消除镜头加工工艺及相机位置对图像的影响，因此图像畸变校正算法的研究就成了一个非常有意义的课题。由于不同的机器视觉系统镜头加工工艺及相机位置对图像的影响程度不同，图像畸变千变万化。因此本文提出了一个创新的基于cnn的机器视觉系统图像畸变校正算法，将cnn应用于图像畸变模型的求解，将全部图像畸变量考虑在内，并基于图像非线性畸变模型对系统的畸变图像进行校正。该算法对系统的图像畸变具有适应性，只需利用机器视觉系统的一张标准模板的畸变图像，通过训练好的cnn模型就可以得到系统的图像非线性畸变模型，从而该系统在今后的工作中直接使用这个畸变模型，不需要每次都再次求解，校正后的图像更能满足机器视觉系统的检测需求。
[0112]
上述技术方案的有益效果为：采用本实施例提供的方案所述视觉控制器包括：图
像非线性畸变模型和图像校正单元；
[0113]
所述图像非线性畸变模型包括：获取若干个图像，构成畸变图像数据集，基于畸变图像数据集通过cnn直接对畸变图像进行回归，输出结果为图像非线性畸变模型所包括的所有畸变参数，完成基于cnn的图像非线性畸变模型训练；
[0114]
所述图像校正单元将机器视觉系统中的标准畸变图像输入至所述图像非线性畸变模型，基于所述图像非线性畸变模型获得畸变图像的畸变参数，将该畸变参数设定为该机器视觉系统的畸变参数，基于畸变参数对所有第一工业相机和第二工业相机拍摄的畸变图像进行校正。
[0115]
在另一实施例中，所述cnn为深度神经网络，基于cnn的训练模型的卷积层采用小卷积核，叠加多层卷积层，使特征图像可以经过更多的非线性映射处理；
[0116]
针对cnn最后一层池化层输出特征图像扁平化处理，设定扁平层，利用扁平层将特征图像转变为一维特征再输入全连接层；卷积层提取特征时通过添加卷积核数量以增加提取的信息量，卷积核越多卷积层提取的特征数量就越多，通过全连接层将展平后的向量变换为每个畸变参数的输出。
[0117]
上述技术方案的工作原理为：本实施例采用的方案是所述cnn为深度神经网络，基于cnn的训练模型的卷积层采用小卷积核，叠加多层卷积层，使特征图像可以经过更多的非线性映射处理；
[0118]
针对cnn最后一层池化层输出特征图像扁平化处理，设定扁平层，利用扁平层将特征图像转变为一维特征再输入全连接层；卷积层提取特征时通过添加卷积核数量以增加提取的信息量，卷积核越多卷积层提取的特征数量就越多，通过全连接层将展平后的向量变换为每个畸变参数的输出。
[0119]
训练模型的卷积层采用小卷积核，并叠加多层卷积层，使特征图像可以经过更多的非线性映射处理，提高了网络训练中算法的拟合能力，提升了cnn模型的性能。并且使用小卷积核可以减少网络参数，计算速度更快。
[0120]
上述技术方案的有益效果为：采用本实施例提供的方案所述cnn为深度神经网络，基于cnn的训练模型的卷积层采用小卷积核，叠加多层卷积层，使特征图像可以经过更多的非线性映射处理；
[0121]
针对cnn最后一层池化层输出特征图像扁平化处理，设定扁平层，利用扁平层将特征图像转变为一维特征再输入全连接层；卷积层提取特征时通过添加卷积核数量以增加提取的信息量，卷积核越多卷积层提取的特征数量就越多，通过全连接层将展平后的向量变换为每个畸变参数的输出。
[0122]
在另一实施例中，所述图像校正单元包括：
[0123]
校正开始时，分别将畸变的图像输入，先将图像中的各像素的灰度值依次按坐标提取为数组，基于已经求得的图像非线性畸变模型依次求取每个像素点的实际坐标点对应的畸变图像坐标点，如果计算出的畸变图像坐标点不是整数，则用二次线性插值法计算该点灰度值，用畸变图像坐标点的灰度来填充校正后图像上的实际坐标点，将存储有校正后的各像素的灰度值的数组恢复为图像，得到校正后的图像。
[0124]
上述技术方案的工作原理为：本实施例采用的方案是所述图像校正单元包括：
[0125]
校正开始时，分别将畸变的图像输入，先将图像中的各像素的灰度值依次按坐标
提取为数组，基于已经求得的图像非线性畸变模型依次求取每个像素点的实际坐标点对应的畸变图像坐标点，如果计算出的畸变图像坐标点不是整数，则用二次线性插值法计算该点灰度值，用畸变图像坐标点的灰度来填充校正后图像上的实际坐标点，将存储有校正后的各像素的灰度值的数组恢复为图像，得到校正后的图像。
[0126]
上述技术方案的有益效果为：采用本实施例提供的方案所述图像校正单元包括：
[0127]
校正开始时，分别将畸变的图像输入，先将图像中的各像素的灰度值依次按坐标提取为数组，基于已经求得的图像非线性畸变模型依次求取每个像素点的实际坐标点对应的畸变图像坐标点，如果计算出的畸变图像坐标点不是整数，则用二次线性插值法计算该点灰度值，用畸变图像坐标点的灰度来填充校正后图像上的实际坐标点，将存储有校正后的各像素的灰度值的数组恢复为图像，得到校正后的图像。
[0128]
在另一实施例中，还包括红外摄像机，所述红外摄像机与第一工业相机和第二工业相机左右水平安装；根据红外图像经过不同的旋转、平移和缩放得到的图像与第一工业相机或第二工业相机的图像重合；根据红外摄像机和工业相机的几何特性进行图像的粗配准；采用基于点特征的配准对得到的粗配准图像进行精配准；采用松弛匹配利用对称性计算邻域内其他角点对该角点的支持强度，由迭代将匹配结果多对多匹配对精确为最终的一对一匹配结果，得到匹配角点对后通过距离缩放和旋转角度偏差进一步消除误匹配角点。
[0129]
上述技术方案的工作原理为：本实施例采用的方案是还包括红外摄像机，所述红外摄像机与第一工业相机和第二工业相机左右水平安装；根据红外图像经过不同的旋转、平移和缩放得到的图像与第一工业相机或第二工业相机的图像重合；根据红外摄像机和工业相机的几何特性进行图像的粗配准；采用基于点特征的配准对得到的粗配准图像进行精配准；采用松弛匹配利用对称性计算邻域内其他角点对该角点的支持强度，由迭代将匹配结果多对多匹配对精确为最终的一对一匹配结果，得到匹配角点对后通过距离缩放和旋转角度偏差进一步消除误匹配角点。
[0130]
上述技术方案的有益效果为：采用本实施例提供的方案还包括红外摄像机，所述红外摄像机与第一工业相机和第二工业相机左右水平安装；根据红外图像经过不同的旋转、平移和缩放得到的图像与第一工业相机或第二工业相机的图像重合；根据红外摄像机和工业相机的几何特性进行图像的粗配准；采用基于点特征的配准对得到的粗配准图像进行精配准；采用松弛匹配利用对称性计算邻域内其他角点对该角点的支持强度，由迭代将匹配结果多对多匹配对精确为最终的一对一匹配结果，得到匹配角点对后通过距离缩放和旋转角度偏差进一步消除误匹配角点。
[0131]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种基于机器视觉的货物售卖自动监控装置，其特征在于，包括：机器视觉系统、监控平台和控制平台；所述机器视觉系统设置在监控平台上，所述监控平台位于自动售货机的出货时从货道上接货的位置；所述机器视觉系统通过工业相机确定出货产品的期限日期，将期限日期传输至控制平台，控制平台对期限日期与当前日期进行比对，判断是否临期或过期，若临期，执行相应的临期补救措施，若过期，则执行相应的过期补救措施。2.根据权利要求1所述的一种基于机器视觉的货物售卖自动监控装置，其特征在于，所述机器视觉系统包括第一工业相机、第二工业相机和机器视觉控制器，所述第一工业相机和第二工业相机均设置于所述监控平台上；所述第一工业相机，所述机器视觉控制器分别连接所述第一工业相机和第二工业相机；所述第一工业相机拍摄出货产品的状态图像，将状态图像传输至机器视觉控制器，所述机器视觉控制器根据状态图像确定产品的期限日期所处的位置和角度；将位置和角度传输至所述第二工业相机，所述第二工业相机调整拍摄的位置和角度，将具有期限日期的图像传输至机器视觉控制器，所述机器视觉控制器根据图像分析输出期限日期数据，并将期限日期数据传输至所述控制平台。3.根据权利要求1所述的一种基于机器视觉的货物售卖自动监控装置，其特征在于，所述临期补救措施，包括：直接返折扣、用户选择补救方案；所述直接返折扣包括：控制平台检测出临期产品后，向结算平台发送结算复核指令，结算平台向用户退还部分费用；所述用户选择补救方案包括：控制平台向自动售货机的显示屏上发送选项信息，用户通过显示屏的触屏操作选择相应的选项，以对购买的临期产品进行补救；所述选项信息包括：返折扣购买、退回产品；所述返折扣购买包括：返回购买的产品的设定比例购买费用，控制平台向结算平台发送结算复核指令，结算平台向用户退还部分费用；所述退回产品包括：控制平台向出货机构发送指令，将产品移送至回收通道；所述过期补救措施包括：控制平台向出货机构发送指令，将产品移送至回收通道。4.根据权利要求1所述的一种基于机器视觉的货物售卖自动监控装置，其特征在于，所述控制平台在设定时间段内检测出过期或临期产品的频次或数量超过设定值，则向产品管理平台发送指令，所述产品管理平台对自动售货机内的产品的期限日期进行筛查，若期限日期过期或临期的产品超过控制阈值时，所述产品管理平台发出数据异常报警，提醒管理员对自动售货机内的产品进行筛查。5.根据权利要求4所述的一种基于机器视觉的货物售卖自动监控装置，其特征在于，所述产品管理平台连接订单系统和入货系统；所述入货系统记录向自动售货机放入的所有产品的产品信息，所述产品信息包括：产品名称、生产日期、保质期、期限日期、入货时间、存入的货道编号；所述订单系统记录每个产品的订购信息，所述订购信息包括：产品名称、生产日期、保质期、期限日期、订购日期、出货时间；通过入货系统和订单系统的产品进出统计出当前自动售货机现存的产品，基于产品管理平台筛选出现存的产品对应的期限日期，将期限日期与当前日期比对，筛选出过期或临
期的产品。6.根据权利要求1所述的一种基于机器视觉的货物售卖自动监控装置，其特征在于，所述订单管理平台根据订单系统和入货系统对产品的销售情况进行统计；当某一产品在自动售货机内的存货量系数低于第一系数阈值时，所述订单管理平台向自动入货机构发送指令，使自动入货机构自动对该产品进行加量入货；当某一产品在自动售货机内的存货量系数高于第二系数阈值时，所述订单管理平台向控制平台发送存货指令，所述控制平台若检测出该产品连续两次出现过期或临期的情况，直接向订单管理平台发送更换产品指令，所述订单管理平台通过存货异常报警，以提醒管理人员对自动售货机内的相应产品进行更换货品的处理；所述第二存货量阈值是与时间和出货量相关的值，距离入货时间越长，出货产品越少，存货量系数越高，反之，距离入货时间越短，出货产品越多，存货量系数越低，所述第二系数阈值大于第一系数阈值。7.根据权利要求2所述的一种基于机器视觉的货物售卖自动监控装置，其特征在于，所述视觉控制器包括：图像非线性畸变模型和图像校正单元；所述图像非线性畸变模型包括：获取若干个图像，构成畸变图像数据集，基于畸变图像数据集通过cnn直接对畸变图像进行回归，输出结果为图像非线性畸变模型所包括的所有畸变参数，完成基于cnn的图像非线性畸变模型训练；所述图像校正单元将机器视觉系统中的标准畸变图像输入至所述图像非线性畸变模型，基于所述图像非线性畸变模型获得畸变图像的畸变参数，将该畸变参数设定为该机器视觉系统的畸变参数，基于畸变参数对所有第一工业相机和第二工业相机拍摄的畸变图像进行校正。8.根据权利要求7所述的一种基于机器视觉的货物售卖自动监控装置，其特征在于，所述cnn为深度神经网络，基于cnn的训练模型的卷积层采用小卷积核，叠加多层卷积层，使特征图像可以经过更多的非线性映射处理；针对cnn最后一层池化层输出特征图像扁平化处理，设定扁平层，利用扁平层将特征图像转变为一维特征再输入全连接层；卷积层提取特征时通过添加卷积核数量以增加提取的信息量，卷积核越多卷积层提取的特征数量就越多，通过全连接层将展平后的向量变换为每个畸变参数的输出。9.根据权利要求7所述的一种基于机器视觉的货物售卖自动监控装置，其特征在于，所述图像校正单元包括：校正开始时，分别将畸变的图像输入，先将图像中的各像素的灰度值依次按坐标提取为数组，基于已经求得的图像非线性畸变模型依次求取每个像素点的实际坐标点对应的畸变图像坐标点，如果计算出的畸变图像坐标点不是整数，则用二次线性插值法计算该点灰度值，用畸变图像坐标点的灰度来填充校正后图像上的实际坐标点，将存储有校正后的各像素的灰度值的数组恢复为图像，得到校正后的图像。10.根据权利要求2所述的一种基于机器视觉的货物售卖自动监控装置，其特征在于，还包括红外摄像机，所述红外摄像机与第一工业相机和第二工业相机左右水平安装；根据红外图像经过不同的旋转、平移和缩放得到的图像与第一工业相机或第二工业相机的图像重合；根据红外摄像机和工业相机的几何特性进行图像的粗配准；采用基于点特征的配准
对得到的粗配准图像进行精配准；采用松弛匹配利用对称性计算邻域内其他角点对该角点的支持强度，由迭代将匹配结果多对多匹配对精确为最终的一对一匹配结果，得到匹配角点对后通过距离缩放和旋转角度偏差进一步消除误匹配角点。

技术总结
本发明公开了一种基于机器视觉的货物售卖自动监控装置，包括：机器视觉系统、监控平台和控制平台；所述机器视觉系统设置在监控平台上，所述监控平台位于自动售货机的出货时从货道上接货的位置；所述机器视觉系统通过工业相机确定出货产品的期限日期，将期限日期传输至控制平台，控制平台对期限日期与当前日期进行比对，判断是否临期或过期，若临期，执行相应的临期补救措施，若过期，则执行相应的过期补救措施。通过机器视觉系统和监控平台实现对出货产品的期限日期进行实时监控，避免消费者购买到临期或过期产品，提升用户体验。提升用户体验。提升用户体验。


技术研发人员：周梓荣 谢阳发
受保护的技术使用者：广东便捷神科技股份有限公司
技术研发日：2023.06.26
技术公布日：2023/9/22