智能屏幕、屏幕控制方法、装置、设备及其存储介质与流程

1.本技术涉及显示器的技术领域，尤其是涉及智能屏幕、屏幕控制方法、装置、设备及其存储介质。


背景技术：

2.在使用通过支架摆放在台面上的电视屏幕或电脑屏幕时，时常会通过支架调整屏幕的高度或方向来提高使用屏幕时的舒适度。目前调整屏幕的高度或方向的方法主要是，屏幕安装于支架，支架设置有用于调节支架高度的调节结构和用于转动屏幕的转动组件，通过调节结构手动调节支架以调节屏幕，通过转动组件手动转动屏幕，实现调节屏幕的功能。但这种方式需要人工调节支架，屏幕使用起来较为不便。对此，发明人认为需要做出改进。


技术实现要素：

3.本技术的目的一是提供一种屏幕控制方法，具有自动调节屏幕朝向的功能。
4.本技术的上述发明目的一是通过如下技术方案得以实现的：一种屏幕控制方法，包括：实时接收连续图像组；提取所述连续图像组中每一帧图像对应的时间信息；将各个所述图像的所述时间信息进行对比，确定初始图像和最终图像；将所述初始图像与预设初始图像信息进行对比，得出第一对比结果；当所述第一对比结果为所述初始图像与预设初始图像信息匹配时，将所述最终图像与预设最终图像信息进行对比，得出第二对比结果；根据所述第二对比结果确定所述最终图像相关联的动作类型；所述动作类型包括目标动作类型和非目标动作类型；当确定所述最终图像相关联的动作类型为目标动作类型时，生成动作指令；将所述动作指令发送给执行端。
5.通过采用上述技术方案，实时接收连续图像组能够更加精确地记录图像中目标对象的运动轨迹，将连续图像组中各个图像对应的时间信息提取出来进行比较，多个图像进行对比提高对比的准确性，选出连续图像组中的初始图像和最终图像，将初始图像与预设初始图像信息作对比，以确定初始图像中是否含有目标对象，当确定初始图像与预设初始图像信息匹配时，将最终图像与预设最终图像信息对比，判断最终图像中目标对象是否动作，当确定最终图像相关联的动作类型为目标动作类型时，生成动作指令，再将动作指令发送给执行端，实现了自动检测图像动作的功能。
6.优选的：所述将各个所述图像的所述时间信息进行对比，确定初始图像和最终图像的步骤，包括：将各个所述时间信息形成时间信息集合并按时间前后顺序进行排列；
在所述时间信息集合中确定初始时间和最终时间，并确定与所述初始时间相关联的图像和与所述最终时间相关联的图像；将所述初始时间相关联的图像定义为初始图像，将所述最终时间相关联的图像定义为最终图像。
7.通过采用上述技术方案，将各个所述时间信息形成时间信息集合并按前后顺序进行排列，这样对比时间信息的效率更高，确定与初始时间相关联的图像和与最终时间相关联的图像，将初始时间相关联的图像定义为初始图像，将最终时间相关联的图像定义为最终图像，实现确定初始图像和最终图像的功能。
8.优选的：所述将所述初始图像与预设初始图像信息进行对比，得出第一对比结果的步骤，包括：提取所述初始图像中的初始目标对象；获取所述初始目标对象的初始轮廓特征；将所述初始轮廓特征与预设初始图像的对象初始轮廓特征进行对比，得出第一对比结果；所述第一对比结果包括匹配和不匹配；或，所述当所述第一对比结果为所述初始图像与预设初始图像信息匹配时，将所述最终图像与预设最终图像信息进行对比，得出第二对比结果的步骤，包括：解析所述最终图像以获取与所述最终图像相关联的最终目标对象；将所述最终目标对象与预设最终图像信息进行对比：当所述最终目标对象与预设最终图像信息匹配时，确认第二对比结果为匹配；当所述最终目标对象与预设最终图像信息不匹配时，确认第二对比结果为不匹配。
9.通过采用上述技术方案，提取初始图像中的初始目标对象，解析初始图像中初始目标对象的初始轮廓特征，减少初始图像中其他特征的轮廓对第一对比结果的干扰，同时有助于提高图像处理效率，将初始目标对象的初始轮廓特征与预设初始图像的对象初始轮廓特征进行对比，检测初始图像中是否含有预设初始图像的对象，最后得出第一对比结果，实现检测初始图像中是否含有初始目标对象的功能。
10.获取最终目标对象，减少最终图像中其他对象对第一对比结果的干扰，同时有助于提高图像处理效率，将最终目标对象与预设最终图像的对象进行对比，检测最终图像中是否含有预设最终图像的对象，最后得出第一对比结果，实现检测最终图像中是否含有最终目标对象的功能。
11.优选的：所述根据第二对比结果确定最终图像相关联的动作类型的步骤，包括：基于opencv平台的图像处理函数，确定所述初始图像的左上角的像素点坐标为第一原点坐标，确定所述最终图像的左上角的像素点坐标为第二原点坐标；获取与所述最终目标对象相关联的坐标信息，将与所述最终目标对象相关联的坐标信息设为第二坐标信息；将所述第二坐标信息与预设最终图像的坐标信息进行对比，得出对比结果，所述对比结包括符合和不符合；当所述对比结果为符合时，确定与所述最终图像相关联的动作类型为所述目标动
作类型，所述目标动作类型包括移动动作和摆动动作。
12.通过采用上述技术方案，设定第一原点坐标和第二原点坐标，使得在对比过程中便于将初始图像和最终图像归于同一坐标系，将第二坐标信息与预设最终图像的坐标信息，判断最终图像中的最终目标对象的动作类型为符合目标动作类型，实现了确定最终图像相关联的动作类型的功能。
13.优选的：在所述确定与所述最终图像相关联的动作类型为所述目标动作类型的步骤之后，所述方法还包括：当确定所述最终图像相关联的所述目标动作类型为移动动作时，获取所述初始目标对象相关联的坐标信息，将所述初始目标对象相关联的坐标信息设为第一坐标信息；根据所述第一坐标信息和所述第二坐标信息计算所述初始目标对象与所述最终目标对象之间的距离信息；预设定移动等级信息，所述预设移动等级信息包括若干移动等级子信息；将所述距离信息与所述预设移动等级信息中的若干所述移动等级子信息进行一一比对，确定与所述距离信息相关联的目标移动等级子信息；基于目标移动等级子信息，生成移动动作指令；当所述匹配结果为不匹配时，则不生成动作指令。
14.通过采用上述技术方案，当确定目标动作类型为移动动作时，根据第一坐标信息和第二坐标信息计算初始目标对象与最终目标对象之间的距离信息，使距离信息更加准确，当距离信息与预设移动等级信息中的一个移动等级子信息匹配时，生成对应移动等级子信息的动作指令，实现区分最终目标对象的目标动作类型的功能。
15.优选的：在所述确定与所述最终图像相关联的动作类型为所述目标动作类型的步骤之后，所述方法还包括：在所述初始图像中初始目标对象的初始轮廓特征上标定第一目标点集，在所述最终图像中最终目标对象的最终轮廓特征上标定第二目标点集，所述第一目标点集与所述第二目标点集相互映射；解析所述第一目标点集的坐标信息，同时解析所述第二目标点集的坐标信息；计算所述第二目标点集的坐标与所述第一目标点集的坐标之间的x的差值和y的差值；根据所述x的差值和所述y的差值计算所述最终图像中最终目标对象相对于所述初始图像中最终目标对象摆动的角度信息；预设定摆动等级信息，所述预设摆动等级信息包括若干摆动等级子信息；将所述角度信息与所述预设摆动等级信息中的若干所述摆动等级子信息进行一一比对，确定与所述角度信息相关联的目标摆动等级子信息；基于目标摆动等级子信息，生成摆动动作指令；当所述匹配结果为不匹配时，则不生成动作指令。
16.通过采用上述技术方案，在初始图像中最终目标对象的最终轮廓特征上标定第一目标点集，在最终图像中最终目标对象的最终轮廓特征上标定第二目标点集，第一目标点集与第二目标点集相互映射，简化计算过程以提高计算效率，再根据第二目标点集对于所述第一目标点集的x的差值和y的差值计算最终图像中最终目标对象相对于初始图像中最
终目标对象的摆动的角度，更准确地计算最终图像中最终目标对象摆动的角度，当角度信息与预设摆动等级信息中的一个摆动等级子信息匹配时，生成对应摆动等级子信息的摆动动作指令。
17.本技术的目的二是提供一种屏幕控制装置。
18.本技术的上述发明目的二是通过如下技术方案得以实现的：一种屏幕控制装置，包括：图像接收模块：用于实时接收连续图像组；提取模块：用于提取所述连续图像组中每一帧图像对应的时间信息；第一对比模块：用于将各个所述图像的所述时间信息进行对比，确定初始图像和最终图像；第二对比模块：用于将所述初始图像与预设初始图像信息进行对比，得出第一对比结果；第三对比模块：用于当所述第一对比结果为所述初始图像与预设初始图像信息匹配时，将所述最终图像与预设最终图像信息进行对比，得出第二对比结果；确定模块：用于根据所述第二对比结果确定所述最终图像相关联的动作类型；所述动作类型包括目标动作类型和非目标动作类型；生成模块：用于当确定所述最终图像相关联的动作类型为目标动作类型时，生成动作指令；发送模块：用于将动作指令发送给执行端。
19.本技术的目的三是提供一种计算机设备。
20.本技术的上述发明目的三是通过以下技术方案实现的：一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述屏幕控制方法的步骤。
21.本技术的目的四是提供一种计算机可读存储介质。
22.本技术的上述发明目的四是通过以下技术方案实现的：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项屏幕控制方法的步骤。
23.本技术的目的五是提供一种智能屏幕。
24.本技术的上述发明目的五是通过如下技术方案得以实现的：一种智能屏幕，包括支架、调节结构、驱动结构、手势检测装置、屏幕本体和上述方案中的所述计算机设备，所述支架垂直设立于台面，所述调节结构安装于所述支架，所述屏幕本体安装于所述调节结构，所述屏幕本体背离所述支架的一面为显示面，所述手势检测装置安装于所述屏幕本体的显示面，所述驱动结构通过所述调节结构驱动所述屏幕本体动作，所述手势检测装置与所述计算机设备连接，所述驱动结构与所述计算机设备连接。
25.通过采用上述技术方案，当手势检测装置检测到用户的手势时，生成连续图像组并发送给计算机设备，计算机设备接收连续图像组后对连续图像组进行解析，计算机设备根据解析得到的结果判断是否生成动作指令，当计算机设备生成动作指令后，将该动作指令发送给驱动结构，由此驱动结构通过调节结构来实现调节屏幕本体的朝向，便于用户观
看屏幕本体。
26.综上所述，本技术包括以下至少一种有益技术效果：1.首先实时接收连续图像组，选出连续图像组中的初始图像和最终图像，将初始图像与预设初始图像信息作对比以确定初始图像中是否含有目标对象，当确定初始图像与预设初始图像信息匹配时，将最终图像与预设最终图像信息对比以判断最终图像中目标对象是否动作，进而确定终图像相关联的动作类型为目标动作类型，处理端生成动作指令后发送给执行端，实现了自动检测图像动作的功能；2.根据第一坐标信息和第二坐标信息计算初始目标对象与最终目标对象之间的距离信息，使距离信息更加准确，当距离信息与预设移动等级信息中的一个移动等级子信息匹配时，生成对应移动等级子信息的动作指令，当确定目标动作类型为摆动动作时，生成摆动的动作指令，实现区分最终目标对象的目标动作类型的功能，并且除了生成移动的动作指令，还可以生成摆动的动作指令，提高了屏幕控制方法的适用范围；3.在初始图像中最终目标对象的最终轮廓特征上标定第一目标点集，在最终图像中最终目标对象的最终轮廓特征上标定第二目标点集，第一目标点集与第二目标点集相互映射，简化计算过程以提高计算效率。
附图说明
27.图1是本技术实施例一种屏幕控制方法的流程示意图；图2是本技术实施例一种屏幕控制方法的步骤s4的具体流程示意图；图3是本技术实施例一种屏幕控制方法的步骤s7的具体流程示意图；图4是本技术实施例一种屏幕控制装置的结构框图；图5是本技术实施例中计算机设备的结构框图；图6是本技术实施例智能屏幕的整体结构示意图；图7是本技术实施例智能屏幕的剖视结构示意图；图8是图7中a部分的局部放大示意图。
28.图中，10、图像接收模块；20、提取模块；30、第一对比模块；40、第二对比模块；50、第三对比模块；60、确定模块；70、生成模块；80、发送模块；1、支架；2、调节结构；211、承托外壳；212、第一转动部；213、第二摆动部；214、连杆；215、转轴；221、导向槽；222、丝杆；223、斜齿轮；3、驱动结构；31、第一伺服电机；32、第二伺服电机；33、第三伺服电机；4、屏幕本体；5、手势检测装置。
具体实施方式
29.以下结合附图1-附图8，对本技术作进一步详细说明。
30.本技术实施例公开了一种屏幕控制方法，其中，屏幕控制方法基于以下预先处理步骤：建立图像数据库，图像数据库用于存储连续图像组信息以及预设图像信息，建立图像信息存储区，图像信息存储区用于储存检测端获取的连续图像组、通过解析连续图像组中初始图像得到的坐标信息、轮廓信息和距离信息以及通过解析连续图像组中最终图像得到的轮廓信息和角度信息。
31.参照图1，本技术实施例中提供的一种屏幕控制方法的具体步骤，包括：s1、实时接收连续图像组。
32.其中连续图像组可以由摄像头对目标用户进行拍摄获得，连续图像组用于获取目标用户的手掌做连续动作时的图像，因此，连续图像组包含有手掌。在摄像头拍摄每一帧图像时会立即将该帧图像发送给计算机设备，即在连续图像组中每一帧图像存入计算机设备的时间均不一致，并且存在先后顺序。计算机设备对图像进行存储时需要将图像存入的时间与图像相关联后再进行存储。
33.s2、提取连续图像组中每一帧图像对应的时间信息。
34.提取的时间信息用于按前后顺序排列时间信息相关联的图像。
35.s3、将各个图像的时间信息进行对比，确定初始图像和最终图像。
36.初始图像为连续图像组中时间信息最靠前的一个图像，最终图像为连续图像组中时间信息最靠后的一个图像，如：连续图像组中包括三张图像，第一个图像相关联的时间信息为10:01:01，第二个图像相关联的时间信息为10:01:02，第三个图像相关联的时间信息为10:01:03，则第一个图像为初始图像，第三个图像为最终图像。
37.具体的，步骤s3包括：s31、将各个时间信息形成时间信息集合并按时间前后顺序进行排列。
38.将各个时间信息组成时间信息集合，只需对时间信息集合进行操作即可将各个时间信息按时间前后顺序进行排列，简化排序过程，如：将三个时间信息10:01:01、10:01:03和10:01:02组合形成时间信息集合中，再对时间信息集合进行遍历并进行排序。
39.s32、在时间信息集合中确定初始时间和最终时间，并确定与初始时间相关联的图像和与最终时间相关联的图像。
40.将时间信息集合中排在最前面的时间信息设为初始时间，将时间信息集合中排在最后面的时间信息设为最终时间，如：上述依次存有三个时间信息10:01:01、10:01:02和10:01:03的时间信息集合，由于时间信息10:01:01排在最前，则将10:01:01定义为初始时间，由于时间信息10:01:03排在最后，则将10:01:03定义为最终时间，同时，确定初始时间关联的图像和最终时间关联的图像。
41.s33、将初始时间相关联的图像定义为初始图像，将最终时间相关联的图像定义为最终图像。
42.如：将与初始时间10:01:01相关联的图像定义为初始图像，将与最终时间10:01:03相关联的图像定义为最终图像。
43.s4、将初始图像与预设初始图像信息进行对比，得出第一对比结果。
44.预设初始图像信息用于与初始图像中的初始目标对象进行对比，当初始目标对象与预设初始图像信息匹配时，确定初始图像中包括类似预设初始图像信息的初始目标对象。
45.具体的，步骤s4包括：s41、提取初始图像中的初始目标对象。
46.提取初始目标对象是为了将算力集中于预设初始图像信息与初始目标对象的对比，提高对比效率，如：将初始图像二值化，对二值化后的初始图像进行形态学处理，使用外接矩形框选连通域以标定初始目标对象的位置，使用形心确定连通域的中心线位置。
47.s42、获取初始目标对象的初始轮廓特征。
48.初始轮廓特征用于与预设初始图像信息进行对比，是对比过程中的重要特征。选取重要特征进行对比进一步提高对比效率，如：将图像锐化以增强初始目标对象的边缘，使用线性平滑方法对图像进行平滑处理，使用canny算子计算得到初始轮廓特征。
49.s43、将初始轮廓特征与预设初始图像信息的对象初始轮廓特征进行对比，得出第一对比结果；第一对比结果包括匹配和不匹配。
50.将初始轮廓特征与预设初始图像信息的对象初始轮廓特征进行对比，计算初始轮廓特征与预设的对象初始轮廓特征的相似度，再将相似度和相似度阈值进行对比，通过判断相似度是否满足相似度阈值以确定第一对比结果，其中，相似度阈值可根据实际情况进行设定。
51.例如：将相似度的阈值设定为90%，使用感知哈希算法对初始轮廓特征等比例缩小至总共64个像素，计算初始轮廓特征所有像素点的灰度平均值，将每个像素的灰度与灰度平均值进行对比，当像素的灰度大于灰度平均值时，该像素关联一位数字为1，当像素的灰度小于灰度平均值时，该像素关联一位数字为0，将64个像素的关联数字放在一起与预设初始图像信息的64位数字进行对比得出相似度，相似度为两组数字中相同位数除以64，比如64个像素的关联数字中有63个数字与预设初始图像信息的64位数字中对应位数的数字相同，则相似度为（63/64）*100%。当相似度在90%以上则确定初始图像中目标对象符合预设初始图像信息。当第一对比结果为匹配时，则进行步骤s5；当第一对比结果为不匹配时，则返回到步骤s41。
52.s5、当第一对比结果为初始图像与预设初始图像信息匹配时，将最终图像与预设最终图像信息进行对比，得出第二对比结果。
53.预设最终图像信息用于与最终图像中的最终目标对象进行对比，当最终目标对象与预设最终图像信息匹配时，确定最终图像中包括类似预设最终图像信息的最终目标对象。
54.具体的，步骤s5包括：s51、解析最终图像以获取与最终图像相关联的最终目标对象。
55.最终目标对象与初始目标对象相同，最终图像通过颜色特征获取最终目标对象，如：将最终图像二值化，对二值化后的最终图像进行形态学处理，使用外接矩形框选连通域以标定最终目标对象的位置。
56.s52、将最终目标对象与预设最终图像信息进行对比；得出第二对比结果；第二对比结果包括匹配和不匹配。
57.在本实施例中，将最终目标对象的颜色特征与预设最终图像信息的对象颜色特征进行对比，计算最终目标对象的颜色特征与预设最终图像信息的对象颜色特征的相似度，再将相似度和相似度阈值进行对比，通过判断相似度是否满足相似度阈值以确定第一对比结果，其中，相似度阈值可根据实际情况设定。
58.例如：将相似度的阈值设定为80%，使用python中image对象的histogram（）函数分别获取最终目标对象的颜色特征信息和预设最终图像信息的对象颜色特征的信息，将最终目标对象的颜色特征信息与预设最终图像信息的对象颜色特征的信息进行相似度比较，则相似度在80%以上时确定最终图像中目标对象符合预设最终图像信息。
59.需要说明的是，预设最终图像信息用于与最终图像进行对比。预设最终图像信息为包含有手掌处于最终状态或最终位置的图像（即预设最终对象）。
60.s6、根据第二对比结果确定最终图像相关联的动作类型。其中，动作类型包括目标动作类型和非目标动作类型。
61.先确定与图像相关联的动作类型是为了进一步判断程序是否要执行步骤s7，提高了程序运行的效率。
62.具体的，步骤s6包括：s61、基于opencv平台的图像处理函数，确定初始图像的左上角的像素点坐标为第一原点坐标，确定最终图像的左上角的像素点坐标为第二原点坐标。
63.设置第一原点坐标和第二原点坐标是为了可以将初始图像和最终图像归于同一坐标系，这样初始目标对象的坐标和最终目标对象的坐标可以定义于同一坐标系。
64.在本实施例中，采用opencv中 img.shape（）函数分别返回初始图像和最终图像的像素的行数和列数，将初始图像和最终图像的像素中第一行第一列的像素分别设为第一原点坐标和第二原点坐标，由此能够将初始图像和最终图像归于同一坐标系。
65.s62、获取与最终目标对象相关联的坐标信息，将最终目标对象相关联的坐标信息设为第二坐标信息。
66.第二坐标信息用于与预设最终图像的坐标信息进行对比，也用于计算最终目标对象与初始目标对象之间的距离，获取与最终目标对象相关联的坐标信息，如：将用于定位最终目标对象的外接矩形框中像素的第一行第一列设为最终目标对象的坐标点。
67.s63、将第二坐标信息与预设最终图像信息的坐标信息进行对比，得出对比结果，对比结果包括符合和不符合。
68.预设最终图像信息的坐标信息为预设的第二坐标信息可能落入的范围，预设最终图像的坐标信息用于筛选出符合预设最终图像信息的最终图像。
69.s64、当对比结果为符合时，确定与最终图像相关联的动作类型为目标动作类型，目标动作类型包括移动动作和摆动动作。
70.移动动作表示最终目标对象的移动方式为平移，摆动动作表示最终目标对象的移动方式为摆动。当对比结果为符合时，确定最终图像相关联的动作类型目标动作类型，证明最终图像符合程序进入下一步的要求。
71.s7、当确定最终图像相关联的动作类型为目标动作类型时，生成动作指令。
72.确定了最终图像相关联的动作类型为目标动作类型后，基于目标动作类型生成对应的动作指令，动作指令用于控制执行端做出对应的动作，如：确定最终图像相关联的动作类型为移动类型，生成移动动作指令。
73.s8、将动作指令发送给执行端。
74.其中，在s7步骤中包括确定目标动作类型为移动动作和确定目标动作类型为摆动动作两种情况，以下为确定目标动作类型为移动动作的步骤：a1、当确定最终图像相关联的目标动作类型为移动动作时，获取初始目标对象相关联的坐标信息，将初始目标对象相关联的坐标信息设为第一坐标信息。
75.获取与初始目标对象相关联的坐标信息，如：将用于定位初始目标对象的外接矩形框中像素的第一行第一列设为最终目标对象的坐标点。
76.第一坐标信息代表初始图像位于坐标系中的位置，第一坐标信息用于计算初始图像与最终图像之间的距离。在本实施例中，移动动作表示最终目标对象是基于初始目标对象进行向上或向下的平移动作得到的。
77.a2、根据第一坐标信息和第二坐标信息计算初始目标对象与最终目标对象之间的距离信息。
78.在本实施例中，确定了最终目标对象是初始目标对象进行向上或向下的平移动作得到的后，计算第一坐标信息与第二坐标信息y的差值即可得到初始目标对象与最终目标对象之间的距离信息。
79.a3、预设定移动等级信息，预设移动等级信息包括若干移动等级子信息。
80.若干移动等级子信息为第一坐标信息与第二坐标信息y的差值可能落入的不同范围，在本实施例中，预设移动等级信息包括三个移动等级子信息，三个移动等级子信息分别为短距离、中距离和长距离，三个移动等级子信息预设的范围互不相交，如：短距离预设的范围为1px-5px，中距离预设的范围为6px-10px，长距离预设的范围为11px-15px。
81.a4、将距离信息与预设移动等级信息中的若干移动等级子信息进行一一比对，确定与距离信息相关联的目标移动等级子信息。
82.将y的差值与三个等级子信息一一进行对比，当y的差值与三个移动等级子信息中的一个匹配时，确定距离信息相关联的移动等级子信息，如：y的差值为8px，将y的差值与三个移动等级子信息一一进行对比后发现，y的差值与中距离移动等级子信息匹配，则确定距离信息相关联的移动等级子信息为中距离。
83.a5、基于目标移动等级子信息，生成移动动作指令。
84.移动动作指令用于控制执行端执行移动动作，执行端根据移动动作指令的移动等级子信息向上或向下平移指定距离，如：短距离对应执行端向上或向下平移1cm，中距离对应执行端向上或向下平移5cm，长距离对应执行端向上或向下平移10cm。
85.a6、当匹配结果为不匹配时，则不生成动作指令。
86.当y的差值与移动等级子信息不匹配时，则确定最终图像相关联的目标动作类型与预设的移动等级信息不匹配，则不生成动作指令。
87.当确定目标动作类型为摆动类型时，执行以下步骤：b1、提取与最终目标对象相关联的最终轮廓特征。
88.提取最终轮廓特征以代表最终目标对象，如：将图像锐化以增强初始目标对象的边缘，使用线性平滑方法对图像进行平滑处理，使用canny算子计算得到初始轮廓特征。
89.b2、在初始图像中初始目标对象的初始轮廓特征上标定第一目标点集，在最终图像中最终目标对象的最终轮廓特征上标定第二目标点集，第一目标点集与第二目标点集相互映射。
90.第一目标点集中的目标点和第二目标点集中得到目标点分别为初始目标对象和最终目标对象的具有代表性的点位，如：手掌的指尖、手掌的根部都可以设置目标点。
91.b3、解析第一目标点集的坐标信息，同时解析第二目标点集的坐标信息。
92.基于opencv的图像处理函数解析第一目标点集和第二目标点集的目标点在坐标系中的坐标信息，坐标信息用于带入图像处理函数的参数。
93.b4、计算第二目标点集的坐标与第一目标点集的坐标之间的x的差值和y的差值。
94.每个第一目标点集的目标点坐标都在第二目标点集中有相关联的目标点坐标，计算x的差值和y的差值，如：第一目标点集中有一目标点坐标a（a，b），第二目标点集中有相关联的目标点坐标b（a1，b1），x的差值为a1-a，y的差值为b1-b。
95.b5、根据x的差值和y的差值，计算最终图像中最终目标对象相对于初始图像中最终目标对象摆动的角度信息。
96.x的差值与y的差值用于带入图像处理函数中计算角度的方法的参数，如：atan2（x，y），atan2方法通过求得x和y向量积的模和数量积的模，再将向量积的模除以数量积的模得出tanθ，通过x*y=|x|*|y|*cosθ和x*y=|x|*|y|*sinθ公式推导出arctan（tanθ）=θ，最后得出角度信息为θ。将连续图像组中的每一帧图像对应的目标对象进行特征提取以获取轨迹目标点集，基于轨迹目标点集中所有坐标的变化来确定目标对象的运动轨迹，以确定目标对象的摆动方向，该摆动方向包括水平摆动和上下摆动。
97.b6、预设定摆动等级信息，预设摆动等级信息包括若干摆动等级子信息。
98.若干摆动等级子信息为角度信息θ可能落入的不同范围，在本实施例中，预设摆动等级信息包括三个摆动等级子信息，三个摆动等级子信息分别为小角度、中角度和大角度，三个摆动等级子信息预设的范围互不相交，如：小角度预设的范围为1
°‑
10
°
，中角度预设的范围为10
°‑
15
°
，大角度预设的范围为15
°‑
20
°
。
99.b7、将角度信息与预设摆动等级信息中的若干摆动等级子信息进行一一比对，确定与角度信息相关联的目标摆动等级子信息；基于目标摆动等级子信息，生成摆动动作指令。
100.将角度信息θ与三个等级子信息一一进行对比，当角度信息θ与三个摆动等级子信息中的一个匹配时，确定角度信息相关联的摆动等级子信息，如：角度信息θ为8
°
，将角度信息θ与三个摆动等级子信息一一进行对比后发现，角度信息θ与小角度摆动等级子信息匹配，则确定角度信息θ相关联的摆动等级子信息为小角度。
101.该摆动动作指令包括水平摆动动作指令和上下摆动动作指令，在生成摆动动作指令时，需要基于步骤b5获得的摆动方向来确定摆动动作指令为水平摆动动作指令或上下摆动动作指令。
102.b8、当匹配结果为不匹配时，则不生成动作指令。
103.当角度信息与摆动等级子信息不匹配时，则确定最终图像相关联的目标动作类型与预设的摆动等级信息不匹配，则不生成动作指令。
104.本技术实施例的实施原理为：实时接收连续图像组，提取连续图像组中每一帧图像对应的时间信息，将各个图像的时间信息进行对比，确定初始图像和最终图像。将初始图像与预设初始图像信息进行对比，得出第一对比结果。当第一对比结果为初始图像与预设初始图像信息匹配时，将最终图像与预设最终图像信息进行对比，得出第二对比结果。根据第二对比结果确定最终图像相关联的动作类型，当确定最终图像相关联的动作类型为移动动作类型时，确定移动等级子信息，基于移动等级子信息生成动作指令，将动作指令发送给执行端，当确定最终图像相关联的动作类型为摆动动作类型时，确定摆动等级子信息，基于摆动等级子信息生成动作指令，将动作指令发送给执行端。
105.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程
的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
106.本技术实施例还公开了一种屏幕控制装置，该屏幕控制装置与上述实施例中屏幕控制方法一一对应。参照图4，该屏幕控制装置包括图像接收模块10、提取模块20、第一对比模块30、第二对比模块40、第三对比模块50、确定模块60、生成模块70和发送模块80。各功能模块详细说明如下，包括：图像接收模块10：用于实时接收连续图像组；提取模块20：用于提取所述连续图像组中每一帧图像对应的时间信息；第一对比模块30：用于将各个所述图像的所述时间信息进行对比，确定初始图像和最终图像；第二对比模块40：用于将所述初始图像与预设初始图像信息进行对比，得出第一对比结果；第三对比模块50：用于当所述第一对比结果为所述初始图像与预设初始图像信息匹配时，将所述最终图像与预设最终图像信息进行对比，得出第二对比结果；确定模块60：用于根据所述第二对比结果确定所述最终图像相关联的动作类型；所述动作类型包括目标动作类型和非目标动作类型；生成模块70：用于当确定所述最终图像相关联的动作类型为目标动作类型时，生成动作指令；发送模块80：用于将动作指令发送给执行端。
107.关于屏幕控制装置的具体限定可以参见上文中对于屏幕控制方法的限定，在此不再赘述。上述屏幕控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
108.本技术实施例还公开了一种计算机设备，该计算机设备是服务器，其内部结构图可以参照图5。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机的数据库用于存储连续图像组信息、预设图像信息以及图像信息存储区等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种屏幕控制方法。
109.本技术实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机设备，处理器执行计算机设备时实现以下步骤：s1、实时接收连续图像组；s2、提取连续图像组中每一帧图像对应的时间信息；s3、将各个图像的时间信息进行对比，确定初始图像和最终图像；s4、将初始图像与预设初始图像信息进行对比，得出第一对比结果；s5、当第一对比结果为初始图像与预设初始图像信息匹配时，将最终图像与预设最终图像信息进行对比，得出第二对比结果；
s6、根据第二对比结果确定最终图像相关联的动作类型；动作类型包括目标动作类型和非目标动作类型；s7、当确定最终图像相关联的动作类型为目标动作类型时，生成动作指令；s8、将动作指令发送给执行端。
110.处理器还可以执行时实现上述实施例中任一种的屏幕控制方法。
111.本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：s1、实时接收连续图像组；s2、提取连续图像组中每一帧图像对应的时间信息；s3、将各个图像的时间信息进行对比，确定初始图像和最终图像；s4、将初始图像与预设初始图像信息进行对比，得出第一对比结果；s5、当第一对比结果为初始图像与预设初始图像信息匹配时，将最终图像与预设最终图像信息进行对比，得出第二对比结果；s6、根据第二对比结果确定最终图像相关联的动作类型；动作类型包括目标动作类型和非目标动作类型；s7、当确定最终图像相关联的动作类型为目标动作类型时，生成动作指令；s8、将动作指令发送给执行端。
112.计算机程序被处理器执行时还可以实现上述实施例中任一种的屏幕控制方法。
113.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink）、dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
114.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
115.本技术实施例还公开一种智能屏幕，参照图6和图7，包括支架1、调节结构2和屏幕本体4。支架1垂直设立于台面，调节结构2安装于支架1，屏幕本体4安装于调节结构2，屏幕本体4背离调节结构2的一面为显示面，该种智能屏幕还包括驱动结构3和手势检测装置5，驱动结构3用于驱动调节结构2带动屏幕本体4在支架1上升降或摆动，手势检测装置5安装于屏幕本体4的显示面。在本实施例中手势检测装置5包括但不仅限于摄像头，摄像头安装于屏幕本体4的显示面顶部，摄像头用于拍摄目标用户的连续图像组。
116.该种智能屏幕还包括上述方案中的计算机设备，该计算机设备可以实现上述实施
例中任一项屏幕控制方法，手势检测装置5与计算机设备连接。驱动结构3与计算机设备连接。手势检测装置5拍摄到连续图像组后发送至计算机设备，计算机设备对连续图像组进行存储同时对连续图像组进行解析，计算机设备完成解析后生成动作指令并发送给驱动结构3，驱动结构3响应于动作指令并驱动调节结构2动作。
117.具体的，调节结构2包括升降组件和摆动组件。升降组件安装于支架1，摆动组件安装于升降组件，屏幕本体4安装于摆动组件，驱动结构3驱动升降组件在支架1上升降，升降组件带动摆动组件升降，进而摆动组件带动屏幕本体4升降，实现驱动结构3驱动屏幕本体4升降的功能。
118.更具体的，参照图7和图8，升降组件包括滑块、一对斜齿轮223和丝杆222。摆动组件包括承托外壳211，在本实施例中支架1呈圆柱状且顶部开设有用于容纳承托外壳211的开口，承托外壳211同样呈圆柱状，承托外壳211内部呈中空设置，且承托外壳211背离支架1的底面开设有用于容纳驱动结构3的安装腔，导向槽支架1内壁开设有导向槽221，导向槽221的长度方向与支架1的高度方向一致。滑块固定安装于承托外壳211的外侧壁底端，滑块与导向槽221滑动连接。丝杆222的一端垂直安装于支架1底端，且丝杆222与支架1转动连接。承托外壳211具有一定厚度，丝杆222的另一端穿设于承托外壳211的底部并与承托外壳211螺纹配合。因此当丝杆222转动时，在导向槽和滑块的配合作用下，使得承托外壳211上下移动。
119.在本实施例中，驱动结构3包括第一伺服电机31，第一伺服电机31安装于支架1内侧壁，第一伺服电机31通过一对斜齿轮223驱动丝杆222转动。该第一伺服电机31通过一对斜齿轮223驱动丝杆222转动，当第一伺服电机31驱动丝杆222转动时，因承托外壳211受到滑块和导向槽221的限位作用，丝杆222带动承托外壳211沿导向槽221长度方向升降，实现驱动结构3带动承托外壳211升降的功能。
120.摆动组件还包括第一转动部212，第一转动部212形状呈圆柱状，第一转动部212的底部与承托外壳211的顶部转动配合。摆动组件还包括两条连杆214和转轴215，转轴215穿设于第二摆动部213且与第二摆动部213固定配合。两条连杆214的一端沿第一转动部212的中轴线对称固定设置于第一转动部212的侧壁，两条连杆214背离第一转动部212的一端分别与转轴215的两端转动配合。屏幕本体4背离显示面的一面中心固定安装于第二摆动部213。
121.在本实施例中，驱动结构3还包括第二伺服电机32，第二伺服电机32安装于第一转动部212的外侧底部，第二伺服电机32的输出端与第一转动部212的外侧底部同轴固定连接，由此实现第二伺服电机32驱动第一转动部212在承托外壳211上水平转动，此时第一转动部212带动两条连杆214水平摆动，两条连杆214带动第二摆动部213水平摆动，第二摆动部213带动屏幕本体4水平摆动，进而带动屏幕本体4水平摆动。
122.摆动组件还包括第二摆动部213，在本实施例中，驱动结构3还包括第三伺服电机33，第三伺服电机33安装于一条连杆214背离第二摆动部213的一侧，第三伺服电机33的输出端与转轴215的一端同轴固定连接，第三伺服电机33驱动转轴215转动，转轴215带动第二摆动部213上下摆动，第二摆动部213带动屏幕本体4上下摆动，实现驱动结构3驱动屏幕本体4上下摆动的功能。
123.需要说明的是，第一伺服电机31、第二伺服电机32和第三伺服电机33均设置有减
速器，且第一伺服电机31、第二伺服电机32和第三伺服电机33均与计算机设备连接。当计算机设备向第一伺服电机31发送移动动作指令时，第一伺服电机31驱动屏幕升降。当计算机设备向第二伺服电机32发送水平摆动动作指令时，第二伺服电机32驱动屏幕水平摆动；当第三伺服电机33发送上下摆动动作指令时，第三伺服电机33驱动屏幕上下摆动。
124.当手势检测装置5拍摄到连续图像组后发送给计算机设备，计算机设备接收连续图像组后解析出移动等级子信息或摆动等级子信息，计算机设备基于移动等级子信息或摆动等级子信息生成移动动作指令或摆动动作指令，计算机设备发送移动动作指令或摆动动作指令给驱动结构3以控制驱动结构3驱动调节结构2调节屏幕本体4的高度或方向。
125.以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种屏幕控制方法，其特征在于，包括：实时接收连续图像组；提取所述连续图像组中每一帧图像对应的时间信息；将各个所述图像的所述时间信息进行对比，确定初始图像和最终图像；将所述初始图像与预设初始图像信息进行对比，得出第一对比结果；当所述第一对比结果为所述初始图像与预设初始图像信息匹配时，将所述最终图像与预设最终图像信息进行对比，得出第二对比结果；根据所述第二对比结果确定所述最终图像相关联的动作类型；所述动作类型包括目标动作类型和非目标动作类型；当确定所述最终图像相关联的动作类型为目标动作类型时，生成动作指令；将所述动作指令发送给执行端。2.根据权利要求1所述的屏幕控制方法，其特征在于，所述将各个所述图像的所述时间信息进行对比，确定初始图像和最终图像的步骤，包括：将各个所述时间信息形成时间信息集合并按时间前后顺序进行排列；在所述时间信息集合中确定初始时间和最终时间，并确定与所述初始时间相关联的图像和与所述最终时间相关联的图像；将所述初始时间相关联的图像定义为初始图像，将所述最终时间相关联的图像定义为最终图像。3.根据权利要求1所述的屏幕控制方法，其特征在于，所述将所述初始图像与预设初始图像信息进行对比，得出第一对比结果的步骤，包括：提取所述初始图像中的初始目标对象；获取所述初始目标对象的初始轮廓特征；将所述初始轮廓特征与预设初始图像的对象初始轮廓特征进行对比，得出第一对比结果；所述第一对比结果包括匹配和不匹配；或，所述当所述第一对比结果为所述初始图像与预设初始图像信息匹配时，将所述最终图像与预设最终图像信息进行对比，得出第二对比结果的步骤，包括：解析所述最终图像以获取与所述最终图像相关联的最终目标对象；将所述最终目标对象与预设最终图像信息进行对比：当所述最终目标对象与预设最终图像信息匹配时，确认第二对比结果为匹配；当所述最终目标对象与预设最终图像信息不匹配时，确认第二对比结果为不匹配。4.根据权利要求1所述的屏幕控制方法，其特征在于，所述确定所述最终图像相关联的动作类型为目标动作类型的步骤，包括：基于opencv平台的图像处理函数，确定所述初始图像的左上角的像素点坐标为第一原点坐标，确定所述最终图像的左上角的像素点坐标为第二原点坐标；获取与所述最终目标对象相关联的坐标信息，将与所述最终目标对象相关联的坐标信息设为第二坐标信息；将所述第二坐标信息与预设最终图像的坐标信息进行对比，得出对比结果，所述对比结包括符合和不符合；
当所述对比结果为符合时，确定与所述最终图像相关联的动作类型为所述目标动作类型，所述目标动作类型包括移动动作和摆动动作。5.根据权利要求4所述的屏幕控制方法，其特征在于，在所述确定与所述最终图像相关联的动作类型为所述目标动作类型的步骤之后，所述方法还包括：当确定所述最终图像相关联的所述目标动作类型为移动动作时，获取所述初始目标对象相关联的坐标信息，将所述初始目标对象相关联的坐标信息设为第一坐标信息；根据所述第一坐标信息和所述第二坐标信息计算所述初始目标对象与所述最终目标对象之间的距离信息；预设定移动等级信息，所述预设移动等级信息包括若干移动等级子信息；将所述距离信息与所述预设移动等级信息中的若干所述移动等级子信息进行一一比对，确定与所述距离信息相关联的目标移动等级子信息；基于目标移动等级子信息，生成移动动作指令；当比对结果为不匹配时，则不生成动作指令。6.根据权利要求4所述的屏幕控制方法，其特征在于，在所述确定与所述最终图像相关联的动作类型为所述目标动作类型的步骤之后，所述方法还包括：在所述初始图像中初始目标对象的初始轮廓特征上标定第一目标点集，在所述最终图像中最终目标对象的最终轮廓特征上标定第二目标点集，所述第一目标点集与所述第二目标点集相互映射；解析所述第一目标点集的坐标信息，同时解析所述第二目标点集的坐标信息；计算所述第二目标点集的坐标与所述第一目标点集的坐标之间的x的差值和y的差值；根据所述x的差值和所述y的差值计算所述最终图像中最终目标对象相对于所述初始图像中最终目标对象摆动的角度信息；预设定摆动等级信息，所述预设摆动等级信息包括若干摆动等级子信息；将所述角度信息与所述预设摆动等级信息中的若干所述摆动等级子信息进行一一比对，确定与所述角度信息相关联的目标摆动等级子信息；基于目标摆动等级子信息，生成摆动动作指令；当比对结果为不匹配时，则不生成动作指令。7.一种屏幕控制装置，其特征在于，包括：图像接收模块(10)：用于实时接收连续图像组；提取模块(20)：用于提取所述连续图像组中每一帧图像对应的时间信息；第一对比模块(30)：用于将各个所述图像的所述时间信息进行对比，确定初始图像和最终图像；第二对比模块(40)：用于将所述初始图像与预设初始图像信息进行对比，得出第一对比结果；第三对比模块(50)：用于当所述第一对比结果为所述初始图像与预设初始图像信息匹配时，将所述最终图像与预设最终图像信息进行对比，得出第二对比结果；确定模块(60)：用于根据所述第二对比结果确定所述最终图像相关联的动作类型；所述动作类型包括目标动作类型和非目标动作类型；生成模块(70)：用于当确定所述最终图像相关联的动作类型为目标动作类型时，生成
动作指令；发送模块(80)：用于将动作指令发送给执行端。8.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的屏幕控制方法的步骤。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的屏幕控制方法的步骤。10.一种智能屏幕，其特征在于，包括支架(1)、调节结构(2)、驱动结构(3)、手势检测装置(5)、屏幕本体(4)和权利要求8中的所述计算机设备，所述支架(1)垂直设立于台面，所述调节结构(2)安装于所述支架(1)，所述屏幕本体(4)安装于所述调节结构(2)，所述屏幕本体(4)背离所述支架(1)的一面为显示面，所述手势检测装置(5)安装于所述屏幕本体(4)的显示面，所述驱动结构(3)用于驱动所述调节结构(2)调节所述屏幕本体(4)的方向和高度，所述手势检测装置(5)与所述计算机设备连接，所述驱动结构(3)与所述计算机设备连接。

技术总结
本申请涉及显示器的技术领域，尤其是涉及智能屏幕、屏幕控制方法、装置、设备及其存储介质，其方法包括实时接收连续图像组；提取连续图像组中每一帧图像对应的时间信息；将各个图像的时间信息进行对比，确定初始图像和最终图像；将初始图像与预设初始图像信息进行对比，得出第一对比结果；当第一对比结果为初始图像与预设初始图像信息匹配时，将最终图像与预设最终图像信息进行对比，得出第二对比结果；根据第二对比结果确定最终图像相关联的动作类型；动作类型包括目标动作类型和非目标动作类型；当确定最终图像相关联的动作类型为目标动作类型时，生成动作指令；将动作指令发送给执行端。本申请具有自动调节屏幕的效果。本申请具有自动调节屏幕的效果。本申请具有自动调节屏幕的效果。


技术研发人员：李欢雄 康许坤
受保护的技术使用者：东莞市触美电子科技有限公司
技术研发日：2023.08.25
技术公布日：2023/10/20