基于图像处理的高速电梯轿厢乘客状态视觉感知方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法。


背景技术：

2.电梯公共安全是高层建筑设计考虑的重要因素之一。随着经济飞速发展，社会对于智能家居和智慧生活的需求不断增加，公共场所服务设施智能化的需求也逐渐扩大。作为城市化高层建筑的重要搬运载体，更高效快速的高速电梯随之发展起来，但其安全性仍是电梯运行的首要考虑因素。为了能更好的对高速电梯中乘客状态进行预警，电梯智能监控成为主要关注点。
3.电梯视频监控在对乘客状态进行视觉感知过程中，主要获取乘客的姿态的异常行为，如跑跳、拍门或晕倒等对电梯和乘客生命安全存在影响的行为。但监控摄像头需要在不同的光线、天气和环境条件下都能够可靠地捕捉画面，确保在长时间的运行中不会出现故障或数据损失，因此监控摄像头的设计通常会更加注重稳定性和可靠性，而不是像素数量，这会导致视频图像质量较差，无法准确获取乘客状态。为了更准确获得乘客状态，通常会选择引导滤波进行保边滤波增强视频图像，但是在不同的光线场景下，滤波效果是不同的，此时需要一种自适应调节正则化参数方法调节引导滤波，获得更优质的视频增强图像。但在现有的自适应调整正则化参数的方法中，仅通过整体边缘细节进行参数选取，但在电梯轿厢中，考虑了大量无关区域的增强效果，影响了对重点乘客区域增强效果的评价，使正则化参数的选取不佳，得到的增强后的图像不够精确，进而影响对乘客状态的感知能力，使乘客异常状态检测可靠性不强，为电梯和乘客的安全带来的不良后果。


技术实现要素：

4.为了解决现有技术中正则化参数的选取不佳，得到的增强后的图像不够精确，进而影响对乘客状态的感知能力，使乘客异常状态检测可靠性不强的技术问题，本发明的目的在于提供一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，所采用的技术方案具体如下：本发明提供了一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，所述方法包括：获取预设数量个视频灰度图像，采用引导滤波增强每个视频灰度图像得到对应的视频增强图像；根据每个视频增强图像中每个像素点的异常程度、每个像素点偏移情况的局部差异和整体差异，获得每个视频增强图像的噪声评价指标；根据每个视频增强图像和视频灰度图像中像素点的偏移情况对像素点拟合，获得视频增强图像和视频灰度图像中的拟合边缘；在每个视频增强图像和对应视频灰度图像中，根据边缘和拟合边缘之间的相似程度，以及边缘之间和拟合边缘之间的差异程度，获得
每个视频增强图像的保边评价指标；根据每个视频增强图像的噪声评价指标和保边评价指标，获得每个视频增强图像的增强效果指标；通过所有视频增强图像的增强效果指标确定引导滤波的最优正则化参数，采用最优正则化参数对应的引导滤波获得最优视频增强图像；根据最优视频增强图像获取乘客状态。
5.进一步地，所述噪声评价指标的获取方法包括：根据每个视频增强图像中每个像素点偏移情况的局部差异，以及每个视频增强图像与相邻视频增强图像之间每个像素点偏移情况的整体差异，获得每个像素点在对应视频增强图像中的孤立指标；根据每个像素点在所有视频增强图像中像素值的异常程度，获得每个像素点在所有视频增强图像中的异常指标；获取每个像素点在每个视频增强图像与下一个视频增强图像之间的运动矢量；将每个视频增强图像中每个像素点的运动矢量的大小进行归一化处理，获得每个像素点在对应视频增强图像中的矢量权重；根据每个像素点在对应视频增强图像中的异常指标和孤立指标，获得每个像素点在对应视频增强图像中的噪声指标，异常指标和孤立指标均与噪声指标呈正相关关系；通过矢量权重对每个视频增强图像中所有像素点的噪声指标进行加权求和，获得对应视频增强图像的噪声评价指标。
6.进一步地，所述孤立指标的获取方法包括：将任意一个视频增强图像中的一个像素点作为目标点；获取目标点与预设第一邻域范围内每个其他像素点之间运动矢量的角度差异与大小差异；计算每个角度差异与对应大小差异的乘积，将目标点对应所有乘积的累加值作为目标点在对应视频增强图像中的局部差异指标；在对应视频增强图像的相邻视频增强图像中，将与目标点位置相同的像素点作为目标点的相对像素点；获得目标点与所有相对像素点之间运动矢量的平均角度差异与平均大小差异，将平均角度差异与平均大小差异的乘积作为目标点在对应视频增强图像中的整体差异指标；计算目标点的局部差异指标与整体差异指标的乘积，得到目标点在对应视频增强图像中的孤立指标。
7.进一步地，所述异常指标的获取方法包括：在所有视频增强图像中，通过异常检测算法对同一位置的像素点的像素值进行异常值检测；将存在对应异常值的像素点作为参考像素点；计算参考像素点与同位置上每个其他像素点之间的像素值差异，将参考像素点对应的所有像素值差异的和值作为参考像素点的异常差异值；将参考像素点对应的像素值与异常差异值相乘，获得参考像素点在对应视频增强图像中的异常指标；将所有不存在异常值的像素点的异常指标设置为预设异常指标。
8.进一步地，所述拟合边缘的获取方法包括：获取每个像素点在每个视频灰度图像与下一个视频灰度图像之间的运动矢量；将所有视频增强图像和所有视频灰度图像作为待处理图像；
在每个待处理图像中，根据像素点的运动矢量进行像素点聚类并迭代合并，获得每个待处理图像的聚类簇；对所有聚类簇进行边缘拟合，获得每个待处理图像的拟合边缘。
9.进一步地，所述保边评价指标的获取方法包括：获取每个待处理图像中的边缘；在每个待处理图像中，获取每个边缘与每个拟合边缘的相似度，根据相似度获取每个边缘对应的最相似拟合边缘；将所有边缘与对应最相似拟合边缘之间的相似度相加，获得每个待处理图像的边缘相似度指标；在每个视频增强图像和对应的视频灰度图像中，根据所有边缘的边缘数量与边缘长度之间的差异情况，获得每个视频增强图像的边缘差异指标；根据所有拟合边缘之间的相似情况，获得每个视频增强图像的拟合边缘相似指标；根据每个视频增强图像和对应视频灰度图像的边缘相似度指标、拟合边缘相似指标和边缘差异指标，确定每个视频增强图像的保边评价指标；边缘相似度指标和拟合边缘相似指标均与保边评价指标呈正相关关系，边缘差异指标与保边评价指标呈负相关关系。
10.进一步地，所述边缘差异指标的获取方法包括：获取视频增强图像与对应的视频灰度图像中每个边缘的中心点；由视频增强图像中与中心点位置最接近的边缘和对应视频灰度图像中与中心点位置最接近的边缘，构成相对边缘对；获取每个相对边缘对中两个边缘之间的像素点数量差异；获取每个视频增强图像和对应的视频灰度图像之间的边缘数量差异；根据边缘数量差异和所有相对边缘的像素点数量差异，获得每个视频增强图像的边缘差异指标，边缘数量差异和像素点数量差异均与边缘差异指标呈正相关关系。
11.进一步地，所述拟合边缘相似指标的获取方法包括：获取视频增强图像与对应的视频灰度图像中每个拟合边缘的拟合中心点；由视频增强图像中与拟合中心点位置最接近的拟合边缘和对应视频灰度图像中与拟合中心点位置最接近的拟合边缘，构成相对拟合边缘对；取每个相对拟合边缘对中两个拟合边缘之间的相似度，作为每个相对拟合边缘对的拟合度；将每个视频增强图像对应的所有拟合度相加，获得每个视频增强图像的拟合边缘相似指标。
12.进一步地，所述增强效果指标的获取方法包括：将每个视频增强图像反比例归一化后的噪声评价指标与预设噪声效果权值的乘积，作为每个视频增强图像的噪声效果指标；将每个视频增强图像归一化后的保边评价指标与预设保边效果权值的乘积，作为每个视频增强图像的保边效果指标；将每个视频增强图像的噪声效果指标与保边效果指标的和值，作为每个视频增强图像的增强效果指标。
13.进一步地，所述最优正则化参数的获取方法包括：当所有视频增强图像的增强效果指标均大于等于预设增强阈值时，将对应的引导滤波中的正则化参数作为最优正则化参数；当存在视频增强图像的增强效果指标小于预设增强阈值时，获取所有视频增强图像的平均噪声效果指标与平均保边效果指标；当平均噪声效果指标小于平均保边效果指标
时，将对应的引导滤波中的正则化参数增大预设调节量，获得新的引导滤波；当平均噪声效果指标大于平均保边效果指标时，将对应的引导滤波中的正则化参数减小预设调节量，获得新的引导滤波；根据新的引导滤波重新获取所有视频增强图像的增强效果指标并确定最优正则化参数；当所有正则化参数对应的引导滤波均不满足使所有视频增强图像的增强效果指标均大于等于预设增强阈值时，获得每个正则化参数对应的所有视频增强图像的增强效果指标和值，将和值最大时对应的正则化参数作为最优正则化参数。
14.本发明具有如下有益效果：1.本发明对每个视频灰度图像通过引导滤波获得视频增强图像，根据视频增强图像中去噪效果和保边效果两个影响增强效果的关键因素，综合评判每个视频增强图像的增强效果。根据噪声点的孤立性和异常性分析，获得每个视频增强图像的噪声评价指标，根据对像素点偏移情况分析获得拟合边缘，对拟合边缘和边缘间相似情况分析，获得每个视频增强图像的保边评价指标。通过噪声评价指标和保边评价指标获得每个视频增强图像的增强效果指标，通过增强效果指标反映滤波中正则化参数的选取适合情况，根据所有视频增强图像的增强效果指标确定最优正则化参数，根据最优正则化参数对应的引导滤波，可以获得对乘客区域去噪和保边效果最好的最优视频增强图像，使图像质量更高。通过更全面的增强效果评价可以获得当前最优的正则化参数，使最优视频增强图像质量更高更精确，能够更准确的获取乘客状态，提高了在高速电梯轿厢中对乘客状态的感知能力，确保乘客状态检测的可靠性，进而极大程度的避免了乘客异常状态带来的不良后果。
15.2.在去噪效果分析中，考虑到噪声点的孤立特性，根据视频增强图像中每个像素点偏移情况在局部和整体的差异程度，整体考虑像素点的孤立情况，获得每个像素点在对应视频增强图像中的孤立指标。考虑到噪声点的像素值异常特性，通过每个像素点在所有视频增强图像中的像素值异常程度，获得每个像素点的异常指标，根据孤立指标和异常指标获得每个视频增强图像的噪声评价指标。通过对偏移像素点的噪声特征分析，对图像中可能存在运动情况的区域评价去噪效果，使噪声评价指标更可靠，对后续增强效果的判断更准确。
16.3.在保边效果分析中，根据像素点偏移情况拟合产生运动变化的像素点区域的边缘，作为拟合边缘，通过运动区域可以反映出可能为乘客区域的部分，进一步分析拟合边缘的保边效果，优先考虑乘客部分的保边程度，便于提升后续对乘客状态的感知效果。通过视频增强图像和视频灰度图像中，拟合边缘与边缘之间，拟合边缘之间和边缘之间的多个差异情况分析，综合乘客区域的保边效果，获得每个视频增强图像的保边评价指标。使后续对增强效果的评价更有利于对乘客状态进行识别，使得到的最优视频增强图像能更精确反映出乘客区域。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
18.图1为本发明一个实施例所提供的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法流程图。
具体实施方式
19.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
20.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
21.下面结合附图具体的说明本发明所提供的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法的具体方案。
22.请参阅图1，其示出了本发明一个实施例提供的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法流程图，该方法包括以下步骤：s1：获取预设数量个视频灰度图像，采用引导滤波增强每个视频灰度图像得到对应的视频增强图像。
23.在本发明实施例中，设定高速电梯内的监控设备每秒获取30帧视频图像，一帧视频图像对应为一个视频图像，本发明认为每秒获取的视频图像是接近的，故选择前10个视频图像进行分析，即预设数量为10，并对视频图像灰度化处理获得视频灰度图像。需要说明的是，图像灰度化方法为本领域技术人员熟知的技术手段，具体灰度化方法如加权平均法，平均值法等，在此不做限制。
24.本发明采用引导滤波算法对视频灰度图像进行保边滤波，使得最终通过图像可以对乘客状态的分析更精确。通过对前10个视频灰度图像分析图像增强效果，调整引导滤波，获取优选的图像增强参数，使用该参数，将对应一秒下获取的30帧的视频图像进行图像去噪增强，自适应获得每秒下最优去噪结果。
25.其中，引导滤波算法如下：其中为以像素点为中心窗口尺寸为的方形窗口，为方形窗口内的像素点，为像素点引导滤波输出值，为引导图像中像素点的灰度值，分别为当窗口中心位于像素点时引导滤波线性模型的线性系数。需要说明的是，引导滤波算法的公式运用为本领域技术人员熟知的公知技术手段，因此具体公式的意义不再赘述。
26.其中对应参数具体为：具体为：式中，为以像素点为中心窗口尺寸为的方形窗口，其中引导滤波的窗口大
小，可根据实际情况自行设定，本发明实施例将其设置为。为方形窗口内的像素点，为窗口内的像素点总数，分别为引导图像在窗口中像素点的灰度均值、方差，为图像在窗口中像素点的灰度均值，分别为像素点在引导图像、图像中的灰度值，表示为正则化参数。需要说明的是，引导滤波中线性系数的公式运用也为本领域技术人员熟知的公知技术手段，因此具体公式的意义在此不做赘述。
27.其中，正则化参数通过调整线性系数，影响着引导滤波的滤波效果，当其数值较大时，引导滤波方法更趋近与均值滤波器，保边效果较差，当其数值较小时，则引导滤波对图像的整体去噪效果不明显。故本发明通过初始正则化参数，对去噪效果进行分析，进而不断调节正则化参数，达到较好的去噪效果，进而对处于较为相近状态的图像使用相同的正则化参数滤波。在本发明实施例中，初始正则化参数设置为0.5，实施者可以自行调整。
28.根据初始正则化参数对应的引导滤波对10个视频灰度图像进行滤波增强，获得每个视频灰度图像对应的视频增强图像，进一步对每个视频增强图像中的去噪效果和保边效果综合分析，获得增强效果对正则化参数进行调整。
29.s2：根据每个视频增强图像中每个像素点的异常程度、每个像素点偏移情况的局部差异和整体差异，获得每个视频增强图像的噪声评价指标。
30.首先对视频增强图像中的噪声情况进行分析，得到每个视频增强图像的去噪效果，由于视频图像存在连续性，故可以对连续的视频增强图像计算每个像素点的差异情况，通过像素点的差异获得噪声点可能性。
31.当电梯中出现乘客时，对乘客的状态判断通常是人体姿态判断等，乘客的异常状态往往是由于乘客的异常行为产生的，所以电梯的视频图像中乘客区域中的像素点会随着时间变化产生一定的偏移。
32.首先根据噪声点具有孤立性的特点进行判断，分析每个视频增强图像中每个像素点偏移情况的局部差异，通过局部差异反映每个像素点与周围邻近像素点偏移情况的相似程度，当像素点越可能为噪声点时，像素点与周围邻近像素点的偏移情况差异越大。进一步分析每个视频增强图像与相邻视频增强图像之间每个像素点偏移情况的整体差异，对于连续的视频增强图像，噪声点具有极强的随机性，因此噪声点在同一像素点位置出现的概率极小，根据每个视频增强图像中每个像素点与相邻的视频增强图像之间的偏移差异，可以看出像素点为噪声的可能性，当每个像素点与相邻视频增强图像之间的偏移相似，说明对应像素点可能是正常像素点，若差异越大，说明对应像素点在对应视频增强图像中为噪声点。根据局部和整体分析，获得每个像素点在对应视频增强图像中的孤立指标。
33.在本发明实施例中，采用块匹配中的三部搜索算法获取每个像素点在每个视频增强图像与下一个视频增强图像之间的运动矢量，通过运动矢量反映每个视频增强图像中每个像素点在发生偏移后，偏移的偏移方向和偏移大小。通过偏移情况的差异反映像素点的孤立情况，为了便于后续对每个视频增强中每个像素点的孤立性分析，将任意一个视频增强图像中的一个像素点作为目标点。
34.获取目标点与预设第一邻域范围内每个其他像素点之间运动矢量的角度差异与大小差异，在本发明实施例中，预设第一邻域范围为每个像素点对应八邻域范围，其中角度差异与大小差异的计算方法为：将目标点与每个其他像素点运动矢量的角度差值绝对值作
为角度差异，将目标点与每个其他像素点运动矢量的大小差值绝对值作为大小差异。在本发明其他实施例中，也可以选用比值的形式反映角度差异和大小差异，在此不做限制。
35.计算每个角度差异与对应大小差异的乘积，乘积反映了目标点与每个其他像素点的偏移差异情况，将目标点对应所有乘积的累加值作为目标点在对应视频增强图像中的局部差异指标，通过局部差异指标反映目标点与局部像素点之间偏移情况的差异程度，当目标点与局部邻近像素点的偏移情况越一致，说明目标点越可能为正常点，为噪声点的可能性越小。
36.由于像素点在连续相邻的视频增强图像中的变化情况，应该是较为相似的，在对应视频增强图像的相邻视频增强图像中，将与目标点位置相同的像素点作为目标点的相对像素点。根据目标点与相对像素点的偏移情况的差异程度可以调整局部差异指标，由于在特殊位置的目标点虽然局部差异较大，但在目标点与相对像素点的偏移差异情况较小时，也说明目标点其实是较为正常的点，可能是因为增强程度不同导致目标点局部差异较大。
37.由于每个视频增强图像一般具有两个相邻视频增强图像，因此目标点的相对像素点也为两个，仅在第一个和最后一个视频增强图像处，目标点的相对像素点为一个。计算目标点与每个相对像素点之间运动矢量的角度差异和大小差异，当相对像素点为多个时，对角度差异与大小差异求平均值，获得目标点与所有相对像素点之间运动矢量的平均角度差异与平均大小差异。
38.在本发明实施例中，角度差异为目标点与每个相对像素点之间运动矢量的角度差值绝对值，大小差异为目标点与每个相对像素点之间运动矢量的大小差值绝对值。将平均角度差异与平均大小差异的乘积作为目标点在对应视频增强图像中的整体差异指标，通过整体差异反映目标点在视频增强图像之间的整体相似程度，越相似说明目标点越可能为正常点。
39.计算目标点的局部差异指标与整体差异指标的乘积，获得目标点在对应视频增强图像中的孤立指标。通过孤立指标反映出目标点在对应视频增强图像中的偏移情况的差异程度，通过滤波偏移情况的差异程度可以对目标点的孤立程度进行判断，在本发明实施例中，为了后续计算的准确性，孤立指标的具体表达式为：式中，表示为视频增强图像中第个像素点的孤立指标，表示为第个像素点与相对像素点之间的平均角度差异，表示为第个像素点与相对像素点之间的平均大小差异，表示为第个像素点与预设第一邻域范围内第个其他像素点之间的大小差异，表示为第个像素点与预设第一邻域范围内第个其他像素点之间的角度差异。
40.其中，表示为第个像素点的局部差异指标，表示为第个像素点的整体差异指标，当局部差异指标和整体差异指标越大，说明像素点与局部像素点和相对像素点的偏离差异均较大，像素点的孤立性越强，则像素点越可能为噪声点。
41.进一步地，根据噪声点在像素值中的异常性质，分析每个像素点在连续视频增强图像中的异常程度，根据像素值的异常情况判断像素点在每个视频增强图像中为噪声点的可能性，获得异常指标。
42.通过对所有的连续视频增强图像中同一位置像素点的像素值进行分析，在本发明实施例中，异常检测算法选用lof异常检测算法，采用lof异常检测在所有视频增强图像中，对同一位置的像素点的像素值进行异常值检测，则将存在异常值的像素点作为参考像素点。需要说明的是，lof异常检测为本领域技术人员熟知的技术手段，在此不做赘述。
43.计算参考像素点与同位置上每个其他像素点的像素值差异，将参考像素点对应的所有像素值差异的和值作为参考像素点的异常差异值，异常差异值反映参考像素点的异常程度，当参考像素点与其他像素点的差异越大，说明异常情况越严重，噪声越明显。
44.将参考像素点对应的像素值与异常差异值相乘，获得参考像素点在对应视频增强图像中的异常指标，通过异常值的大小和异常差异值的大小程度反映参考像素点的异常程度，异常程度越大，越可能为噪声点，且噪声越明显，在本发明实施例中，为了后续计算的准确性，异常指标的具体表达式为：式中，表示为参考像素点的异常指标，表示为参考像素点的像素值，表示为参考像素点对应同一位置的其他像素点的总数量，表示为参考像素点与对应同一位置上第个像素点的像素值差异。
45.其中，表示为参考像素点的异常差异值，当异常差异值越大，参考像素点的像素值越大，异常指标越大，说明参考像素点在对应视频增强图像中越可能为噪声点，且噪声程度越明显。在本发明实施例中，对于没有检测出异常值的像素点，将所有不存在异常值的像素点的异常指标设置为预设异常指标，预设异常指标为0.1，实施者可根据具体实施情况进行调整。
46.综合噪声点的像素值异常性和位置孤立性的特点，根据每个视频增强图像中所有像素点的异常指标和孤立指标，获得每个视频增强图像的噪声评价指标。由于本发明主要为了识别乘客的异常状态，即对乘客的姿态进行识别，对背景不变的电梯轿厢区域可以不进行分析，仅对可能为乘客组成的区域像素点分析图像的去噪效果，提高正则化参数的准确性，使对图像中乘客姿态的获取更准确。
47.由于电梯轿厢为不变的背景区域，因此在图像增强去噪时，像素点的运动矢量的大小为零，不参与噪声评价，而对于处于变化状态的乘客，其像素点在连续的视频图像中是存在一定变化的。因此将每个视频增强图像中的每个像素点的运动矢量的大小进行归一化处理，获得每个像素点在对应视频增强图像中的矢量权重，对于变化越大的像素点越需要考虑其噪声情况。
48.根据每个像素点在对应视频增强图像中的异常指标和孤立指标，获得每个像素点的噪声指标，异常指标和孤立指标均与噪声指标呈正相关关系，噪声指标为反映每个像素点的噪声可能性。通过矢量权重对每个视频增强图像中所有像素点的噪声指标进行加权求和，获得对应视频增强图像的噪声评价指标，通过噪声评价指标反映每个视频增强图像中可能为乘客区域像素点的噪声可能性，在本发明实施中，噪声评价指标的表达式为：
式中，表示为视频增强图像的噪声评价指标，表示为视频增强图像中第个像素点的孤立指标，表示为第个像素点的异常指标，表示为视频增强图像中第个像素点的运动矢量的大小，表示为视频增强图像中所有像素点的最大运动矢量大小，表示为视频增强图像中的像素点总数量，表示为调整系数，在本发明实施例中设置为0.001，目的是防止分母为零使公式无意义。
49.其中，表示为视频增强图像中第个像素点的矢量权重，表示为视频增强图像中第个像素点的噪声指标，本发明实施例中，通过最大值归一化方法对运动矢量的大小进行归一化，通过乘积的形式反映异常指标和孤立指标均与噪声指标呈正相关关系。在本发明其他实施例中，也可以采用标准归一化方法等其他归一化方法对运动矢量的大小进行归一化，也可以运用其他基础数学运算反映异常指标和孤立指标均与噪声指标呈正相关关系，例如加法等，在此对归一化方法和正相关关系表征方法不做限制。
50.至此，完成对每个视频增强图像中的噪声情况进行分析，获得每个视频增强图像的噪声评价指标。
51.s3：根据每个视频增强图像和视频灰度图像中像素点的偏移情况对像素点拟合，获得视频增强图像和视频灰度图像中的拟合边缘；根据每个视频增强图像和对应视频灰度图像中边缘和拟合边缘之间的相似程度，以及边缘之间和拟合边缘之间的差异程度，获得每个视频增强图像的保边评价指标。
52.另一方面，从每个视频增强图像的保边效果进行分析，通过视频增强图像本身的保边效果和对可能为乘客区域的保边效果综合分析，首先根据s2可以获得每个视频增强图像中发生像素点偏移情况的区域，即存在运动矢量的像素点区域，这些区域中存在处于运动状态的物体，极有可能为乘客区域。
53.因此首先对每个像素点获取在每个视频灰度图像与下一个视频灰度图像之间的运动矢量，并将所有视频增强图像和所有视频灰度图像作为待处理图像，以便对每个视频增强图像或每个视频灰度图像进行分析。
54.在每个待处理图像中，根据像素点的运动矢量进行像素点聚类并迭代合并，获得每个待处理图像的聚类簇。在本发明实施例中，采用dbscan聚类算法进行聚类，其中半径为3，最小密度为3，实施者可自行调整，根据具有运动矢量像素点的位置对像素点进行聚类，获得初始聚类簇，当两个初始聚类簇的中心点之间的距离小于8时，认为对应的两个初始聚类簇的位置较为接近可以进行合并，因此对初始聚类簇进行迭代合并，直至无法合并为止，将此时剩余的聚类簇作为每个待处理图像的聚类簇。
55.在本发明其他实施例中，也可利用均值漂移聚类等其他聚类方法获得初始聚类簇，通过初始聚类簇之间的最短距离进行合并，使最终获得的聚类簇能够表征一个完整的存在像素点变化的区域，具体获得聚类簇的方法不做限制。
56.对所有聚类簇进行边缘拟合，获得每个待处理图像的拟合边缘，拟合边缘即为乘客区域的边缘。需要说明的是，在本发明实施例中，聚类算法和边缘拟合方法均为本领域技
术人员熟知的技术手段，在此不做赘述。
57.获得每个待处理图像中的拟合边缘后，分析每个视频增强图像和对应视频灰度图像中关于边缘和拟合边缘的相似情况，可以得到每个视频增强图像的边缘保留情况。因此根据边缘和拟合边缘之间的相似程度，以及边缘之间和拟合边缘之间的差异程度，获得每个视频增强图像的保边评价指标。
58.通过边缘检测获取每个待处理图像中的边缘，在每个待处理图像中，分析边缘和拟合边缘的相似程度，可以对拟合边缘表征的乘客区域进行评价，当边缘和拟合边缘越相似，则表征的乘客区域越真实，对应视频增强图像中的保边评价计算更准确。需要说明的是，边缘检测为本领域技术人员熟知的技术手段，可选择canny边缘检测等，在此不做赘述。
59.在每个待处理图像中，通过形状相似度算法获取每个边缘与每个拟合边缘的相似度，根据相似度通过匹配算法获取每个边缘对应的最相似拟合边缘，找到每个边缘和最相似拟合边缘之间的相似度，判断每个拟合边缘的准确性，在本发明实施例中，采用形状上下文算法作为形状相似度算法计算边缘和拟合边缘之间的相似度，并通过匈牙利匹配算法作为匹配算法获取每个边缘最匹配的最相似拟合边缘。需要说明的是，形状相似度算法和匹配算法均为本领域技术人员熟知的技术手段，也可选用轮廓匹配或伪点匹配等方法计算，在此不做限制。
60.将所有边缘与对应最相似拟合边缘之间的相似度相加，获得每个待处理图像的边缘相似度指标，通过边缘相似度指标反映每个处理图像中，拟合边缘对应拟合区域的真实情况。
61.进一步地，在每个视频增强图像和对应视频灰度图像中，分析滤波后图像的边缘保留情况，首先仅对边缘差异情况分析，根据所有边缘的边缘数量与边缘长度之间的差异情况，获得每个视频增强图像的边缘差异指标。
62.根据每个视频增强图像中每个边缘的位置，确定在对应视频灰度图像中的最相近的边缘，将最相近的两个边缘作为相对边缘对，在本发明实施例中，获取视频增强图像与对应的视频灰度图像中每个边缘的中心点；由视频增强图像中与中心点位置最接近的边缘和对应视频灰度图像中与中心点位置最接近的边缘，构成相对边缘对，相对边缘对中存在两个边缘，一个在视频增强图像中，另一个在对应视频灰度图像中。
63.获取每个相对边缘对中两个边缘之间边缘像素点的像素点数量差异，获取每个视频增强图像和对应的视频灰度图像之间的边缘数量差异，在本发明实施例中，像素点数量差异为相对边缘对中两个边缘之间边缘像素点数量的差值绝对值，边缘数量差异为视频增强图像和对应的视频灰度图像中边缘总数量的差值绝对值。
64.根据边缘数量差异和所有相对边缘对的像素点数量差异，获得每个视频增强图像的边缘差异指标，边缘数量差异和像素点数量差异均与边缘差异指标呈正相关关系。通过边缘的总数量差异和边缘长度整体之间的差异，反映视频增强图像中边缘的保留程度，在本发明实施例中，边缘差异指标的表达式为：式中，表示为视频增强图像的边缘差异指标，表示为视频增强图像与对应
视频灰度图像的边缘数量差异，表示为第个相对边缘对中两个边缘之间的像素点数量差异，表示为视频增强图像中相对边缘对的总数量。
65.通过乘法反映边缘数量差异和像素点数量差异均与边缘差异指标呈正相关关系，在本发明其他实施例中，也可选用其他基础数学运算反映边缘数量差异和像素点数量差异均与边缘差异指标呈正相关关系，例如加法，幂运算等，在此不做限制。
66.其中，数值一的设置是为了防止当边缘数量差异为零时，使边缘差异指标为零，忽略了边缘长度之间的差异。当视频增强图像与对应视频灰度图像之间的边缘数量和边缘长度的差异越大，说明增强效果的保边效果越差，则边缘差异指标越大。
67.进一步地，通过视频增强图像和对应视频灰度图像之间的拟合边缘相似程度，反映滤波对乘客区域像素点的影响情况，当拟合边缘越相似，说明滤波效果较好，不影响对乘客区域的分析。在每个视频增强图像和对应的视频灰度图像中，根据所有拟合边缘之间的相似情况，获得每个视频增强图像的拟合边缘相似指标。
68.优选地，获取视频增强图像与对应的视频灰度图像中每个拟合边缘的拟合中心点；由视频增强图像中与拟合中心点位置最接近的拟合边缘和对应视频灰度图像中与拟合中心点位置最接近的拟合边缘，构成相对拟合边缘对，完成对拟合边缘之间的位置相似边缘匹配，相对拟合边缘对中两个拟合边缘，一个拟合边缘在视频增强图像中，另一个拟合边缘在视频灰度图像中。
69.通过形状相似度算法获取每个相对拟合边缘对中两个拟合边缘之间的相似度，作为每个相对拟合边缘对的拟合度，通过对应位置上拟合边缘的相似程度，反映在对应位置处乘客区域经过滤波后的变化程度。将每个视频增强图像对应的所有拟合度相加，获得每个视频增强图像的拟合边缘相似指标，根据拟合边缘相似指标反映在视频增强图像中乘客区域的整体变化程度，当拟合边缘相似度指标越大，说明视频增强图像中拟合边缘的变化不大，乘客区域的边缘变化也不大。
70.最终，根据每个视频增强图像和对应视频灰度图像的边缘相似度指标、拟合边缘相似指标和边缘差异指标，确定每个视频增强图像的保边评价指标，通过对乘客区域获取的准确度分析，乘客区域滤波后的变化程度分析，滤波后边缘的保留程度分析，通过三个方面确定每个视频增强图像的保边评价指标。
71.其中，边缘相似度指标和拟合边缘相似指标均与保边评价指标呈正相关关系，边缘差异指标与保边评价指标呈负相关关系，在本发明实施例中，为了后续计算的准确性，保边评价指标的具体表达式为：式中，表示为视频增强图像的保边评价指标，表示为视频增强图像的边缘相似度指标，表示为视频增强图像对应的视频灰度图像的边缘相似度指标，表示为视频增强图像的拟合边缘相似指标，表示为视频增强图像的边缘差异指标，表示为调整系数，目的是防止分母为零使公式无意义。
72.通过乘积的形式反映了边缘相似度指标和拟合边缘相似指标均与保边评价指标呈正相关关系，通过比值的形式反映了边缘差异指标与保边评价指标呈负相关关系。在本发明其他实施例中，还可以运用其他基础数学运算反映边缘相似度指标和拟合边缘相似指
标均与保边评价指标呈正相关关系，例如加法，幂运算等，边缘差异指标与保边评价指标呈负相关关系，例如相减等，在此不做限制。
73.至此，完成对每个视频增强图像中的边缘保留情况进行分析，获得每个视频增强图像的保边评价指标。
74.s4：根据每个视频增强图像的噪声评价指标和边缘评价指标，获得每个视频增强图像的增强效果指标；通过所有视频增强图像的增强效果指标确定引导滤波的最优正则化参数，采用最优正则化参数对应的引导滤波获得最优视频增强图像；根据最优视频增强图像获取乘客状态。
75.通过s2和s3完成了对每个视频增强图像中的去噪效果和保边效果综合分析，进一步地，根据每个视频增强图像的噪声评价指标和保边评价指标，获得每个视频增强图像的增强效果指标，通过增强效果指标判断每个视频增强图像的增强程度是否达标。
76.将每个视频增强图像反比例归一化后的噪声评价指标与预设噪声效果权值的乘积，作为每个视频增强图像的噪声效果指标，通过噪声效果指标反映每个视频增强图像的去噪程度。将每个视频增强图像归一化后的保边评价指标与预设保边效果权值的乘积，作为每个视频增强图像的保边效果指标，通过保边效果指标反映每个视频增强图像的边缘保留程度。
77.将每个视频增强图像的噪声效果指标与保边效果指标的和值，作为每个视频增强图像的增强效果指标，通过增强效果指标反映每个视频增强图像的增强程度，在本发明实施例中，增强效果指标的表达式为：式中，表示为视频增强图像的增强效果指标，表示为视频增强图像的保边评价指标，表示为视频增强图像的噪声评价指标，表示为预设保边效果权值，表示为预设噪声效果权值，表示为归一化函数，需要说明的是，归一化为本领域技术人员熟知的技术手段，归一化函数的选择可以为线性归一化或标准归一化等，具体的归一化方法在此不做限定。
78.其中，表示为视频增强图像的保边效果指标，表示为视频增强图像的噪声效果指标，保边效果指标与噪声效果指标越大，说明视频增强图像中的边缘保留效果越好，噪声越少，所以视频增强图像的增强效果越佳。
79.在本发明一个实施例中，当所有视频增强图像的增强效果指标均大于等于预设增强阈值时，说明所有视频增强图像的增强效果较优，对应的正则化参数选取较为合适，将对应的引导滤波中的正则化参数作为最优正则化参数。在本发明实施例中，预设增强阈值为0.7，实施者可根据实施情况自行调整。
80.当存在视频增强图像的增强效果指标小于预设增强阈值时，说明有视频增强图像的增强效果不佳，需要调节正则化参数，获取所有视频增强图像的平均噪声效果指标与平均保边效果指标。
81.根据去噪和保边效果的比较调整正则化参数，当平均噪声效果指标小于平均保边效果指标时，说明去噪效果不佳，将对应的引导滤波中的正则化参数增大预设调节量，获得
新的引导滤波。当平均噪声效果指标大于平均保边效果指标时，说明保边效果较为不佳，将对应的引导滤波中的正则化参数减小预设调节量，获得新的引导滤波。根据新的引导滤波重新获取所有视频增强图像的增强效果指标并确定最优正则化参数，不断调整引导滤波，寻找所有视频增强图像的增强效果都最优的情况。
82.当所有正则化参数对应的引导滤波均不满足使所有视频增强图像的增强效果指标均大于等于预设增强阈值时，说明没有一个正则化参数能够使所有视频增强图像的增强效果达标，此时寻找增强效果最优的情况，获得每个正则化参数对应的所有视频增强图像的增强效果指标和值，将和值最大时对应的正则化参数作为最优正则化参数，选取整体增强效果最佳时的正则化参数作为最优正则化参数。
83.在s1中设定了本发明一个实施例的每秒获取视频图像数量，通过对该秒中前预设数量个视频图像的分析，获得最优正则化参数对应的引导滤波，将对应秒中所有的视频图像增强，获得此时的最优视频增强图像。
84.根据最优视频图像可以获取乘客的状态，在本发明实施例中，通过openpose神经网络进行乘客状态的获取，将最优视频图像输入到神经网络中，输出为是否存在乘客异常状态，通过网络训练，对最优视频图像进行标记，正常行为标记为0，异常行为标记为1，需要说明的是，openpose神经网络为现有的用于人体姿态识别的神经网络，具体网络的训练过程为本领域技术人员熟知的技术手段，在此不做赘述。
85.综上，本发明对每个视频灰度图像通过引导滤波获得视频增强图像，根据视频增强图像中去噪效果和保边效果综合评判每个视频增强图像的增强效果。在去噪效果分析中，考虑到噪声点的孤立特性，根据视频增强图像中每个像素点偏移情况在局部和整体的差异程度，获得每个像素点在对应视频增强图像中的孤立指标。考虑到噪声点的像素值异常特性，通过每个像素点在所有视频增强图像中的像素值异常程度，获得每个像素点的异常指标，根据孤立指标和异常指标获得每个视频增强图像的噪声评价指标。在保边效果分析中，根据像素点偏移情况拟合产生运动变化的像素点区域的边缘，作为拟合边缘，通过视频增强图像和视频灰度图像中，拟合边缘与边缘之间，拟合边缘之间和边缘之间的多个差异情况，综合分析获得每个视频增强图像的保边评价指标。通过噪声评价指标和保边评价指标获得每个视频增强图像的增强效果指标，通过增强效果反映滤波中正则化参数的选取适合情况，根据所有视频增强图像的增强效果指标确定最优正则化参数，根据最优正则化参数对应的引导滤波可以获得最优视频增强图像，使图像中的区域边缘保留效果更优，能过更精确的获取乘客状态，提高了在高速电梯轿厢中对乘客状态的感知能力，进而极大程度的避免了乘客异常状态带来的不良后果。
86.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
87.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

技术特征：
1.一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，其特征在于，所述方法包括：获取预设数量个视频灰度图像，采用引导滤波增强每个视频灰度图像得到对应的视频增强图像；根据每个视频增强图像中每个像素点的异常程度、每个像素点偏移情况的局部差异和整体差异，获得每个视频增强图像的噪声评价指标；根据每个视频增强图像和视频灰度图像中像素点的偏移情况对像素点拟合，获得视频增强图像和视频灰度图像中的拟合边缘；在每个视频增强图像和对应视频灰度图像中，根据边缘和拟合边缘之间的相似程度，以及边缘之间和拟合边缘之间的差异程度，获得每个视频增强图像的保边评价指标；根据每个视频增强图像的噪声评价指标和保边评价指标，获得每个视频增强图像的增强效果指标；通过所有视频增强图像的增强效果指标确定引导滤波的最优正则化参数，采用最优正则化参数对应的引导滤波获得最优视频增强图像；根据最优视频增强图像获取乘客状态。2.根据权利要求1所述的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，其特征在于，所述噪声评价指标的获取方法包括：根据每个视频增强图像中每个像素点偏移情况的局部差异，以及每个视频增强图像与相邻视频增强图像之间每个像素点偏移情况的整体差异，获得每个像素点在对应视频增强图像中的孤立指标；根据每个像素点在所有视频增强图像中像素值的异常程度，获得每个像素点在所有视频增强图像中的异常指标；获取每个像素点在每个视频增强图像与下一个视频增强图像之间的运动矢量；将每个视频增强图像中每个像素点的运动矢量的大小进行归一化处理，获得每个像素点在对应视频增强图像中的矢量权重；根据每个像素点在对应视频增强图像中的异常指标和孤立指标，获得每个像素点在对应视频增强图像中的噪声指标，异常指标和孤立指标均与噪声指标呈正相关关系；通过矢量权重对每个视频增强图像中所有像素点的噪声指标进行加权求和，获得对应视频增强图像的噪声评价指标。3.根据权利要求2所述的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，其特征在于，所述孤立指标的获取方法包括：将任意一个视频增强图像中的一个像素点作为目标点；获取目标点与预设第一邻域范围内每个其他像素点之间运动矢量的角度差异与大小差异；计算每个角度差异与对应大小差异的乘积，将目标点对应所有乘积的累加值作为目标点在对应视频增强图像中的局部差异指标；在对应视频增强图像的相邻视频增强图像中，将与目标点位置相同的像素点作为目标点的相对像素点；获得目标点与所有相对像素点之间运动矢量的平均角度差异与平均大小差异，将平均角度差异与平均大小差异的乘积作为目标点在对应视频增强图像中的整体差异指标；计算目标点的局部差异指标与整体差异指标的乘积，得到目标点在对应视频增强图像中的孤立指标。
4.根据权利要求2所述的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，其特征在于，所述异常指标的获取方法包括：在所有视频增强图像中，通过异常检测算法对同一位置的像素点的像素值进行异常值检测；将存在异常值的像素点作为参考像素点；计算参考像素点与同位置上每个其他像素点之间的像素值差异，将参考像素点对应的所有像素值差异的和值作为参考像素点的异常差异值；将参考像素点对应的像素值与异常差异值相乘，获得参考像素点在对应视频增强图像中的异常指标；将所有不存在异常值的像素点的异常指标设置为预设异常指标。5.根据权利要求1所述的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，其特征在于，所述拟合边缘的获取方法包括：获取每个像素点在每个视频灰度图像与下一个视频灰度图像之间的运动矢量；将所有视频增强图像和所有视频灰度图像作为待处理图像；在每个待处理图像中，根据像素点的运动矢量进行像素点聚类并迭代合并，获得每个待处理图像的聚类簇；对所有聚类簇进行边缘拟合，获得每个待处理图像的拟合边缘。6.根据权利要求5所述的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，其特征在于，所述保边评价指标的获取方法包括：获取每个待处理图像中的边缘；在每个待处理图像中，获取每个边缘与每个拟合边缘的相似度，根据相似度获取每个边缘对应的最相似拟合边缘；将所有边缘与对应最相似拟合边缘之间的相似度相加，获得每个待处理图像的边缘相似度指标；在每个视频增强图像和对应的视频灰度图像中，根据所有边缘的边缘数量与边缘长度之间的差异情况，获得每个视频增强图像的边缘差异指标；根据所有拟合边缘之间的相似情况，获得每个视频增强图像的拟合边缘相似指标；根据每个视频增强图像和对应视频灰度图像的边缘相似度指标、拟合边缘相似指标和边缘差异指标，确定每个视频增强图像的保边评价指标；边缘相似度指标和拟合边缘相似指标均与保边评价指标呈正相关关系，边缘差异指标与保边评价指标呈负相关关系。7.根据权利要求6所述的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，其特征在于，所述边缘差异指标的获取方法包括：获取视频增强图像与对应的视频灰度图像中每个边缘的中心点；由视频增强图像中与中心点位置最接近的边缘和对应视频灰度图像中与中心点位置最接近的边缘，构成相对边缘对；获取每个相对边缘对中两个边缘之间的像素点数量差异；获取每个视频增强图像和对应的视频灰度图像之间的边缘数量差异；根据边缘数量差异和所有相对边缘的像素点数量差异，获得每个视频增强图像的边缘差异指标，边缘数量差异和像素点数量差异均与边缘差异指标呈正相关关系。8.根据权利要求6所述的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，其特征在于，所述拟合边缘相似指标的获取方法包括：获取视频增强图像与对应的视频灰度图像中每个拟合边缘的拟合中心点；由视频增强
图像中与拟合中心点位置最接近的拟合边缘和对应视频灰度图像中与拟合中心点位置最接近的拟合边缘，构成相对拟合边缘对；取每个相对拟合边缘对中两个拟合边缘之间的相似度，作为每个相对拟合边缘对的拟合度；将每个视频增强图像对应的所有拟合度相加，获得每个视频增强图像的拟合边缘相似指标。9.根据权利要求1所述的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，其特征在于，所述增强效果指标的获取方法包括：将每个视频增强图像反比例归一化后的噪声评价指标与预设噪声效果权值的乘积，作为每个视频增强图像的噪声效果指标；将每个视频增强图像归一化后的保边评价指标与预设保边效果权值的乘积，作为每个视频增强图像的保边效果指标；将每个视频增强图像的噪声效果指标与保边效果指标的和值，作为每个视频增强图像的增强效果指标。10.根据权利要求9所述的一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法，其特征在于，所述最优正则化参数的获取方法包括：当所有视频增强图像的增强效果指标均大于等于预设增强阈值时，将对应的引导滤波中的正则化参数作为最优正则化参数；当存在视频增强图像的增强效果指标小于预设增强阈值时，获取所有视频增强图像的平均噪声效果指标与平均保边效果指标；当平均噪声效果指标小于平均保边效果指标时，将对应的引导滤波中的正则化参数增大预设调节量，获得新的引导滤波；当平均噪声效果指标大于平均保边效果指标时，将对应的引导滤波中的正则化参数减小预设调节量，获得新的引导滤波；根据新的引导滤波重新获取所有视频增强图像的增强效果指标并确定最优正则化参数；当所有正则化参数对应的引导滤波均不满足使所有视频增强图像的增强效果指标均大于等于预设增强阈值时，获得每个正则化参数对应的所有视频增强图像的增强效果指标和值，将和值最大时对应的正则化参数作为最优正则化参数。

技术总结
本发明涉及图像处理技术领域，具体涉及一种基于图像处理的高速电梯轿厢乘客状态视觉感知方法。本发明对每个视频灰度图像通过引导滤波获得视频增强图像，根据噪声点的孤立性和异常性分析，获得每个视频增强图像的噪声评价指标；根据对像素点偏移情况获得拟合边缘，对拟合边缘和边缘间相似情况分析，获得每个视频增强图像的保边评价指标；通过噪声评价指标和保边评价指标获得增强效果指标，根据所有视频增强图像的增强效果指标确定最优正则化参数，根据最优正则化参数对应的引导滤波，获得最优视频增强图像判断乘客状态。本发明通过图像处理，提高了对乘客状态的感知能力，避免了乘客异常状态带来的不良后果。异常状态带来的不良后果。异常状态带来的不良后果。


技术研发人员：张福生 顾月江 徐津 葛阳 高鹏 于青松 张建 金晓伟 张波 季节
受保护的技术使用者：通用电梯股份有限公司
技术研发日：2023.08.24
技术公布日：2023/10/5