非机动车的摆放确定方法、装置及电子设备、存储介质与流程

1.本技术涉及智慧城市技术领域，尤其涉及一种非机动车的摆放确定方法、装置及电子设备、存储介质。


背景技术：

2.停车秩序是反映城市文明程度的一项重要指标，自行车、电动车等非机动车随意摆放、占用盲道一直是影响城市环境面貌的“顽疾”，不仅影响城市美观，造成交通阻塞，还对市民安全出行造成隐患。
3.由于在城市道路中充斥着很多非机动车，包括共享单车等，很多车由于是公用车，所以不一定在非机动车停放区域摆放，并且摆放也不一定是整齐的。并且如果摆放不整齐比如车身横着停在停放区域会占据很大的空间，并且影响市容市貌。
4.虽然相关城市出台了主城区公共区域非机动车“文明停放、规范停放”的规则，但是仍然难以确保在公共区域非机动车停放在带有非机动车标识的划线区域内；以及在公共区域非机动车按照停车区域内箭头标识方向，统一朝向，整齐有序摆放，避免出现头尾朝向不一致的现象。且需要耗费大量的人力成本进行主动排查、发现。


技术实现要素：

5.本技术实施例提供了一种非机动车的摆放确定方法、装置及电子设备、存储介质，以及时且准确检测出摆放不正确的非机动车。
6.本技术实施例采用下述技术方案：
7.第一方面，本技术实施例提供一种非机动车的摆放确定方法，其中，所述方法包括：
8.获取路侧图像；
9.根据所述路侧图像，检测出非机动车；
10.判断所述非机动车的摆放状态是否满足预设摆放条件；
11.如果是，则确定所述非机动车的摆放状态为异常。
12.在一些实施例中，所述非机动车的摆放状态至少包括如下之一：非机动车摆放在非机动车停放区域、非机动车摆放在违规区域，所述判断所述非机动车的摆放状态是否满足预设摆放条件，包括：
13.判断所述非机动车摆放在非机动车停放区域时的摆放角度是否异常；
14.和/或，
15.判断所述非机动车摆放在违规区域的停放时间是否超过预设阈值。
16.在一些实施例中，所述判断所述非机动车摆放在机动车停放区域的停放时间是否超过预设阈值，包括：
17.对检测出的所述非机动车进行目标持续跟踪；
18.判断持续跟踪结果的每帧图像中所述非机动车是否摆放在非机动车停放区域，所
述非机动车停放区域为预先确定的，通过所述非机动车停放区域确定该区域中的预设摆放朝向角；
19.如果在当前帧图像中所述非机动车摆放在非机动车停放区域，则将所述违规区域的停放时间置零；
20.如果在当前帧图像中所述非机动车摆放在机动车停放区域，则将所述违规区域的停放时间累加对应帧数。
21.在一些实施例中，所述判断所述非机动车摆放在非机动车停放区域时的摆放角度是否异常，包括：
22.在当前图像帧中所述非机动车摆放在非机动车停放区域的情况下，判断所述非机动车的摆放角度与预设摆放朝向角的差值是否大于预设角度；
23.如果所述差值大于所述预设角度，则判断所述非机动车的摆放角度异常，且在摆放异常停放时间中增加对应帧数；
24.如果所述差值不大于所述预设角度，则将所述摆放异常停放时间置零。
25.在一些实施例中，所述非机动车至少包括如下之一：自行车、电动自行车，所述根据所述路侧图像，检测出非机动车，包括：
26.采用3d目标检测模型，检测得到所述路侧图像中的目标非机动车，所述目标非机动车通过3d矩形框标注；
27.根据所述3d矩形框，确定所述非机动车的位置以及摆放朝向。
28.在一些实施例中，所述确定所述非机动车的位置，包括：
29.根据所述3d矩形框中接地的四个顶点，计算出所述非机动车在图像中上底面中心点；
30.将所述非机动车在图像中上底面中心点经过预设标定关系转换到世界坐标系下，作为所述非机动车的位置坐标；
31.所述确定所述非机动车的摆放朝向，包括：
32.在所述3d矩形框取图像中车头方向的任一个接地点(x1，y1)与同侧的车尾接地点(x2，y2)；
33.根据图像与地面标定关系，将两点转换到世界坐标系下，并在根据如下计算公式arctan((y2-y1)/(x2-x1))，计算两点在世界坐标系下的夹角，作为所述非机动车的摆放朝向角度。
34.在一些实施例中，所述确定所述非机动车的摆放状态为异常之后，还包括：
35.响应于摆放状态为异常的情况，向云端上报非机动车在违规区域停放和/或非非机动车停放区域内摆放朝向异常的提醒。
36.第二方面，本技术实施例还提供一种非机动车的摆放确定装置，所述装置包括：
37.采集模块，用于获取路侧图像；
38.检测模块，用于根据所述路侧图像，检测出非机动车；
39.判断模块，用于判断所述非机动车的摆放状态是否满足预设摆放条件；
40.确定模块，用于如果是，则确定所述非机动车的摆放状态为异常。
41.第三方面，本技术实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法。
42.第四方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述方法。
43.本技术实施例采用的上述至少一个技术方案能够达到以下有益效果：通过在路侧端获取路侧图像，根据所述路侧图像，检测出非机动车；之后判断所述非机动车的摆放状态是否满足预设摆放条件，如果是，则确定所述非机动车的摆放状态为异常。对于城市中公共区域中摆放的非机动车可以及时且准确出摆放状态，并对摆放不正确(摆放朝向不正确、摆放位置不在非机动车停放区域)的非机动车进行上报。
附图说明
44.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
45.图1为本技术实施例中非机动车的摆放确定方法的流程示意图；
46.图2为本技术实施例中非机动车的摆放确定装置的结构示意图；
47.图3为本技术实施例中一种电子设备的结构示意图。
具体实施方式
48.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
49.以下结合附图，详细说明本技术各实施例提供的技术方案。
50.本技术实施例提供了一种非机动车的摆放确定方法，如图1所示，提供了本技术实施例中一种非机动车的摆放确定方法流程示意图，所述方法至少包括如下的步骤s110至步骤s140：
51.步骤s110，获取路侧图像。
52.具体可由路侧端执行，路侧端包括但不限于部署在路口或者路段上的路侧设备，所述路侧设备可以采用路侧杆并且在其上部署有路侧感知设备。通过所述路侧感知设备可以采集得到路侧图像。
53.需要注意的是，路侧感知设备包括但不限于，路侧相机(远景相机、近景相机)、路侧激光雷达、路侧毫米波雷达等，在本技术的实施例中并不进行具体限定，本领域技术人员可以具体情况进行选择。可以理解，路侧感知设备中的多个传感器预先进行了联合标定，且多个传感器的时间戳进行了同步。
54.可以理解，上述路侧图像可以由一个路侧端提供，并向其他路侧端同步。也可以由多个路侧端采集，并组合拼接补全得到完整的图像信息。
55.步骤s120，根据所述路侧图像，检测出非机动车。
56.在路侧端根据路侧图像进一步检测出每一帧图像中的所有非机动车。可以采用预先训练的3d检测模型对非机动车进行3d目标检测，确保检测结果的准确，相较于2d检测受到遮挡的影响较少，且得到的非机动车的相关特征信息更加利于之后的处理。
57.由于上述路侧图像与地面的世界坐标系提前进行标定，故可以根据相关2d-3d转换流程得到路侧图像中的2d图像像素位置在世界坐标系中的真实位置信息。
58.可以理解，对于世界坐标系可以采用wgs-84或者utm坐标系，在此不做限定。
59.步骤s130，判断所述非机动车的摆放状态是否满足预设摆放条件。
60.对于预设摆放条件可以根据路侧端实际所在位置或者路侧图像中像素坐标转换到世界坐标系下的3d目标真实位置进行确定。
61.具体而言，由于路侧端的路侧相机在安装的时候进行了标定，所以可以获取得到相机所在的世界位置。根据当前相机所在的世界位置，从地图软件或者其他软件中查找周围的非机动车停放区域以及在非机动车停放区域摆放时正常摆放的朝向角。此外，通过相机的标定参数可以用于确定2d像素位置坐标转换到3d真实场景的位置坐标。
62.根据所述非机动车的摆放状态判断摆放条件时，主要根据检测出的非机动车相关摆放角度是否与规定的摆放朝向对应即可。
63.进一步地，除了判断摆放朝向，还可以判断所述非机动车是否在违停区域超时摆放。
64.优选地，还可以在云端判断所述非机动车的摆放状态是否满足预设摆放条件，在本技术的实施例中并不进行具体限定。
65.步骤s140，如果是，则确定所述非机动车的摆放状态为异常。
66.在路侧端通过路侧相机对非机动车的停放位置以及停放朝向进行检测，从而判断是否需要人工或自动驾驶机器进行摆正。
67.为了提高效率，可以进行批量检测，并在确定所述非机动车的摆放状态为异常后批量上报。或者按照预设周期检测，并且在确定所述非机动车的摆放状态为异常定期上报。
68.优选地，可以根据多个路侧图像中检测到的对于同一个非机动车的摆放状态的跟踪结果判断同一个非机动车的摆放状态，多个路侧图像之间可以弥补可能出现的目标遮挡问题，减少遮挡的干扰。
69.优选地，可以根据多个路侧图像中检测到的对于多个非机动车的摆放状态的跟踪结果批量判断多个非机动车的摆放状态，降低重复检测的概率，提高效率。
70.通过采用上述非机动车的摆放确定方法，可以多种类型的目标进行3d检测，得到自行车、电动车等非机动车的检测结果。之后对检测到的非机动车进行持续的目标跟踪和/或轨迹匹配，得到的结果可以得到同一目标(自行车、电动车)在不同帧下累计的停放时长以及摆放角度变化。并且这种检测方式相比于人工巡检而言，会快速发现违规停放的非机动车，并且及时上报响应。
71.通过采用上述非机动车的摆放确定方法，解决了如何确定公共区域非机动车停放在带有非机动车标识的划线区域内的问题。同时还能够解决在公共区域非机动车按照停车区域内箭头标识方向，统一朝向摆放的问题。由于路侧端采集的路侧图像中能够较为全面的得到地面上的标识信息，可以用于区分盲道等特殊标识的区域，这样除了在带有非机动车标识的划线区域，还需要关注非机动车出现在带有非机动车标识的划线区域外且占用盲道的情况。
72.通过采用上述非机动车的摆放确定方法，通过设置非机动车的状态，并具体分为违规区域停放时间(此时默认在机动车停放区域或者其他违规停放区域)、朝向异常停放时
间(此时默认在非机动车停放区域)，且将时间以帧数累计。这样通过相关的策略，可以通过累计时间帧的方式确定非机动车的摆放状态。
73.区别于相关技术中采用人工巡检并在上报后处理的方式，采用上述方法省去了人工巡检的成本，并且能够更快地发现摆放状态为异常的目标。路侧端作为执行主体，可以在不影响城市中的行人、机动车的前提下进行检测，并且确定确切的异常发生的位置。
74.区别于相关技术中耗费人工成本(实际场景中人工巡检或者通过监控器进行人工监控)的处理方式，采用上述方法可以对城市中的每个路侧端覆盖的区域内进行有效检测，且在相邻路侧设备之间可以弥补出现遮挡的问题。由于路侧端具有足够的算力，可以按照空闲时段、人流较多时段分配不同的路侧相机采集对应的路侧图像。由于非机动车通常需要摆放在带有非机动车标识的划线区域内，可以重点关注这些划线区域内的非机动车的摆放朝向。同时对于不再非机动车标识的划线区域内的非机动车可以采用目标跟踪的方式确定，同一非机动车目标在不同帧下累计的停放时长。
75.区别于相关技术中通过人工巡检时缺乏全局视角的不足，采用上述方法由于在路侧端实现，可以借助路侧图像确定出全局视角下的非机动车的摆放状态，并且分情况得到违规摆放时的持续时间以及没有违规摆放时的摆放角度的正确性。由于是采用路侧端执行，并不需要在非机动车停放区域相关的传感器或者无源标签等进行位置和角度的判断、感知，通过2d像素图像与3d真实场景中的转换关系，可处理得到相对朝向，从而准确地确定出每个非机动车在全局视角下的摆放角度是否异常。
76.通过采用上述非机动车的摆放确定方法，可以按照预先划定的公共区域中带有非机动车标识的划线区域以及停车区域内箭头标识方向，确定出非机动车的摆放朝向以及非机动车的摆放时间，在技术层面对于路侧端易于实现且不会占用较多的算力，同时在路侧端也易于维护路侧图像，只需要相关硬件以及对应的图像处理程序即可。
77.在本技术的一个实施例中，所述非机动车的摆放状态至少包括如下之一：非机动车摆放在非机动车停放区域、非机动车摆放在违规区域，所述判断所述非机动车的摆放状态是否满足预设摆放条件，包括：判断所述非机动车摆放在非机动车停放区域时的摆放角度是否异常；和/或，判断所述非机动车摆放在违规区域的停放时间是否超过预设阈值。
78.预先确定非机动车的摆放状态，包括了非机动车摆放在非机动车停放区域、非机动车摆放在违规区域。“非机动车摆放在非机动车停放区域”，是指非机动车摆放在正确的位置，此时认为摆放合规，并不需要上报或者记录。“非机动车摆放在违规区域”是指非机动车摆放在不正确的位置，此时认为摆放不合规。
79.进一步地，路侧端判断所述非机动车摆放在非机动车停放区域时的摆放角度是否异常，这里的摆放角度是否异常是根据与正常摆放时比较之后确定的。当然，可需要确定非机动车摆放自身的摆放角度。
80.进一步地，路侧端还可以判断所述非机动车摆放在违规区域的停放时间是否超过预设阈值，停放时间以帧数累计确定非机动车是否在违规区域停放超出了一定时间。
81.需要注意的是，非机动车摆放时可能会出现重叠，交错的情况，此时可以先确定该区域内的其他没有出现重叠摆放的非机动车，再由该区域内属于违规区域还是非机动车停放区域进行区分，如果是违规区域，则不用再继续检测或计算帧数累计，直接上报；如果是非机动车停放区域，则也认为摆放角度异常。
82.在本技术的一个实施例中，所述判断所述非机动车摆放在机动车停放区域的停放时间是否超过预设阈值，包括：对检测出的所述非机动车进行目标持续跟踪；判断持续跟踪结果的每帧图像中所述非机动车是否摆放在非机动车停放区域，所述非机动车停放区域为预先确定的，通过所述非机动车停放区域确定该区域中的预设摆放朝向角；如果在当前帧图像中所述非机动车摆放在非机动车停放区域，则将所述违规区域的停放时间置零；如果在当前帧图像中所述非机动车摆放在机动车停放区域，则将所述违规区域的停放时间累加对应帧数。
83.路侧端对通过3d目标检测模型检测到的目标持续跟踪，跟踪就是对不同帧检测到的同一目标进行关联。这样可以得到同一目标在不同帧下累计的停放时长以及摆放角度变化。
84.在本技术的一个实施例中，所述判断所述非机动车摆放在非机动车停放区域时的摆放角度是否异常，包括：在当前图像帧中所述非机动车摆放在非机动车停放区域的情况下，判断所述非机动车的摆放角度与预设摆放朝向角的差值是否大于预设角度；如果所述差值大于所述预设角度，则判断所述非机动车的摆放角度异常，且在摆放异常停放时间中增加对应帧数；如果所述差值不大于所述预设角度，则将所述摆放异常停放时间置零。
85.可以在路侧端设置非机动车的状态，即包括违规区域摆放时间、朝向异常摆放时间，同时摆放时间以帧数累加。
86.对通过目标持续跟踪得到的非机动车目标，跟踪到的每一帧都判断其位置是否处于非机动车停放区域，如果不是，则违规区域停放时间累加一帧。如果当前其位置属于非机动车停放区域则违规区域摆放时间置零，也就是摆放位置在合规摆放区。
87.需要注意的是，对于每一帧的跟踪结果都会进行判断，并不需要区分。盘根据判断结果，确定是否进行帧数累加或者时间置零。
88.进一步路侧端对在合规摆放区域的非机动车，进行朝向角合理性判断，之前计算的非机动车摆放角度与预先得到的所在区域的合规摆放朝向对比。如果超过比如45度(仅为举例，可以根据相关场景具体确定)，则判断该非机动车摆放角度不对，朝向异常停放时间增加一帧。如果非机动车摆放角度与合规角度不超过比如45度，则朝向异常停放时间置零。
89.在本技术的一个实施例中，所述非机动车至少包括如下之一：自行车、电动自行车，所述根据所述路侧图像，检测出非机动车，包括：采用3d目标检测模型，检测得到所述路侧图像中的目标非机动车，所述目标非机动车通过3d矩形框标注；根据所述3d矩形框，确定所述非机动车的位置以及摆放朝向。
90.采用3d目标检测模型可以避免由于非机动车除了自身轮廓以外，还存在加装在非机动车上的遮阳棚、防风垫等情况，通过确定3d矩形框可以将这些加装在非机动车上的组件都识别出，从而便于之后计算朝向。
91.由于采用3d目标检测模型，检测得到所述路侧图像中的目标非机动车，所述目标非机动车通过3d矩形框标注，所以相比于2d目标检测更加准确，且由于在路侧端执行，能够提供足够的算力。
92.对于地面可能是盲道的区域，通过3d矩形框标注配合对路面标识检测结果，可以去除盲道的影响。
93.进一步地，在路侧端还可以针对同一个目标在不同的视角下，对非动车的检测结果进行拼接后得到完整的图像再进行目标检测。此外，在路侧端还可以针对同一个目标在不同焦距下，在路侧设备的远、中、近路侧相机中对非动车的检测结果进行拼接后得到完整的图像再进行目标检测。
94.优选地，还可以在路侧端配合激光雷达，对非动车的摆放角度检测结果进行校验。
95.优选地，还可以在路侧端配合毫米波雷达，对非动车的摆放时间检测结果进行校验。
96.可以理解，3d目标检测模型可以采用yolo等神经卷积网络进行训练，在本技术的实施例中并不进行具体限定。
97.在本技术的一个实施例中，所述确定所述非机动车的位置，包括：根据所述3d矩形框中接地的四个顶点，计算出所述非机动车在图像中上底面中心点；将所述非机动车在图像中上底面中心点经过预设标定关系转换到世界坐标系下，作为所述非机动车的位置坐标；所述确定所述非机动车的摆放朝向，包括：在所述3d矩形框取图像中车头方向的任一个接地点(x1，y1)与同侧的车尾接地点(x2，y2)；根据图像与地面标定关系，将两点转换到世界坐标系下，并在根据如下计算公式arctan((y2-y1)/(x2-x1))，计算两点在世界坐标系下的夹角，作为所述非机动车的摆放朝向角度。
98.在路侧端对路侧图像中的非机动车进行检测，非机动车包含自行车和电动自行车等。检测方法是用基于深度学习的3d目标检测，检测一个在图像上包裹目标的长方体的框，检测结果中包括多个长方体的3d检测框。
99.因为预测的长方体8个顶点是有顺序的，不同顶点表示不同位置。取车头方向的任一个接地点与同侧的车尾接地点，两点根据图像与地面标定关系，将两点转换到世界坐标系下，然后再计算其在世界坐标系下的夹角作为非机动车的朝向角，计算公式为arctan((y2-y1)/(x2-x1))。通过此步骤，可以确定出非机动车的摆放角度。
100.之后，对接地的四个顶点计算出目标在图像上底面中心点，通过标定关系转换到世界坐标系下作为该目标的位置。通过此步骤，可以确定出非机动车的摆放位置。即如果非机动车的摆放位置在世界坐标系下属于违规区域或者非机动车停放区域。
101.在本技术的一个实施例中，所述确定所述非机动车的摆放状态为异常之后，还包括：响应于摆放状态为异常的情况，向云端上报非机动车在违规区域停放和/或非非机动车停放区域内摆放朝向异常的提醒。
102.路侧端会及时响应于摆放状态为异常的情况，向云端上报非机动车在违规区域停放的提醒。以及向云端上报非非机动车停放区域内摆放朝向异常的提醒。这两种提醒可以按照上报优先级或者上报周期设置不同的同步方式。
103.在路侧端会根据多个路侧设备确定的非机动车摆放状态为异常的情况进行同步上报，或者在路侧端会根据单个路侧设备确定的非机动车摆放状态为异常的情况进行异步上报。周期性的上报，减少人工介入。
104.在路侧端无需对自身的硬件进行升级，仅通过升级相机中的软件程序即可实现在路侧端对路侧设备的批量部署，区别于相关技术中采用射频视频一体化的感知设备，大大减少了硬件的成本和投入。
105.本技术实施例还提供了非机动车的摆放确定装置200，如图2所示，提供了本技术
实施例中非机动车的摆放确定装置的结构示意图，所述非机动车的摆放确定装置200至少包括：获取模块210、检测模块220、判断模块230以及确定模块240，其中：
106.在本技术的一个实施例中，所述获取模块210具体用于：获取路侧图像。
107.具体可由路侧端执行，路侧端包括但不限于部署在路口或者路段上的路侧设备，所述路侧设备可以采用路侧杆并且在其上部署有路侧感知设备。通过所述路侧感知设备可以采集得到路侧图像。
108.需要注意的是，路侧感知设备包括但不限于，路侧相机(远景相机、近景相机)、路侧激光雷达、路侧毫米波雷达等，在本技术的实施例中并不进行具体限定，本领域技术人员可以具体情况进行选择。可以理解，路侧感知设备中的多个传感器预先进行了联合标定，且多个传感器的时间戳进行了同步。
109.可以理解，上述路侧图像可以由一个路侧端提供，并向其他路侧端同步。也可以由多个路侧端采集，并组合拼接补全得到完整的图像信息。
110.在本技术的一个实施例中，所述检测模块220具体用于：根据所述路侧图像，检测出非机动车。
111.在路侧端根据路侧图像进一步检测出每一帧图像中的所有非机动车。可以采用预先训练的3d检测模型对非机动车进行3d目标检测，确保检测结果的准确，相较于2d检测受到遮挡的影响较少，且得到的非机动车的相关特征信息更加利于之后的处理。
112.由于上述路侧图像与地面的世界坐标系提前进行标定，故可以根据相关2d-3d转换流程得到路侧图像中的2d图像像素位置在世界坐标系中的真实位置信息。
113.可以理解，对于世界坐标系可以采用wgs-84或者utm坐标系。
114.在本技术的一个实施例中，所述判断模块230具体用于：判断所述非机动车的摆放状态是否满足预设摆放条件。
115.对于预设摆放条件可以根据路侧端实际所在位置或者路侧图像中像素坐标转换到世界坐标系下的3d目标真实位置进行确定。
116.具体而言，由于路侧端的路侧相机在安装的时候进行了标定，所以可以获取得到相机所在的世界位置。根据当前相机所在的世界位置，从地图软件或者其他软件中查找周围的非机动车停放区域以及在非机动车停放区域摆放时正常摆放的朝向角。此外，通过相机的标定参数可以用于确定2d像素位置坐标转换到3d真实场景的位置坐标。
117.根据所述非机动车的摆放状态判断摆放条件时，主要根据检测出的非机动车相关摆放角度是否与规定的摆放朝向对应即可。
118.进一步地，除了判断摆放朝向，还可以判断所述非机动车是否在违停区域超时摆放。
119.在本技术的一个实施例中，所述确定模块240具体用于：如果是，则确定所述非机动车的摆放状态为异常。
120.在路侧端通过路侧相机对非机动车的停放位置以及停放朝向进行检测，从而判断是否需要人工或自动驾驶机器进行摆正。
121.为了提高效率，可以进行批量检测，并在确定所述非机动车的摆放状态为异常后批量上报。或者按照预设周期检测，并且在确定所述非机动车的摆放状态为异常定期上报。
122.能够理解，上述非机动车的摆放确定装置，能够实现前述实施例中提供的非机动
车的摆放确定方法的各个步骤，关于非机动车的摆放确定方法的相关阐释均适用于非机动车的摆放确定装置，此处不再赘述。
123.图3是本技术的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
124.处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
125.存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
126.处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成非机动车的摆放确定装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
127.获取路侧图像；
128.根据所述路侧图像，检测出非机动车；
129.判断所述非机动车的摆放状态是否满足预设摆放条件；
130.如果是，则确定所述非机动车的摆放状态为异常。
131.上述如本技术图1所示实施例揭示的非机动车的摆放确定装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
132.该电子设备还可执行图1中非机动车的摆放确定装置执行的方法，并实现非机动车的摆放确定装置在图1所示实施例的功能，本技术实施例在此不再赘述。
133.本技术实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一
个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中非机动车的摆放确定装置执行的方法，并具体用于执行：
134.获取路侧图像；
135.根据所述路侧图像，检测出非机动车；
136.判断所述非机动车的摆放状态是否满足预设摆放条件；
137.如果是，则确定所述非机动车的摆放状态为异常。
138.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
139.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
140.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
141.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
142.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
143.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
144.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
145.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
146.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
147.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种非机动车的摆放确定方法，其中，所述方法包括：获取路侧图像；根据所述路侧图像，检测出非机动车；判断所述非机动车的摆放状态是否满足预设摆放条件；如果是，则确定所述非机动车的摆放状态为异常。2.如权利要求1所述的方法，其中，所述非机动车的摆放状态至少包括如下之一：非机动车摆放在非机动车停放区域、非机动车摆放在违规区域，所述判断所述非机动车的摆放状态是否满足预设摆放条件，包括：判断所述非机动车摆放在非机动车停放区域时的摆放角度是否异常；和/或，判断所述非机动车摆放在违规区域的停放时间是否超过预设阈值。3.如权利要求2所述的方法，其中，所述判断所述非机动车摆放在机动车停放区域的停放时间是否超过预设阈值，包括：对检测出的所述非机动车进行目标持续跟踪；判断持续跟踪结果的每帧图像中所述非机动车是否摆放在非机动车停放区域，所述非机动车停放区域预先确定；如果在当前帧图像中所述非机动车摆放在非机动车停放区域，则将所述违规区域的停放时间置零；如果在当前帧图像中所述非机动车摆放在机动车停放区域，则将所述违规区域的停放时间累加对应帧数。4.如权利要求2所述的方法，其中，所述判断所述非机动车摆放在非机动车停放区域时的摆放角度是否异常，包括：在当前图像帧中所述非机动车摆放在非机动车停放区域的情况下，判断所述非机动车的摆放角度与预设摆放朝向角的差值是否大于预设角度；如果所述差值大于所述预设角度，则判断所述非机动车的摆放角度异常，且在摆放异常停放时间中增加对应帧数；如果所述差值不大于所述预设角度，则将所述摆放异常停放时间置零。5.如权利要求1所述的方法，其中，所述非机动车至少包括如下之一：自行车、电动自行车，所述根据所述路侧图像，检测出非机动车，包括：采用3d目标检测模型，检测得到所述路侧图像中的目标非机动车，所述目标非机动车通过3d矩形框标注；根据所述3d矩形框，确定所述非机动车的位置以及摆放朝向。6.如权利要求5所述的方法，其中：所述确定所述非机动车的位置，包括：根据所述3d矩形框中接地的四个顶点，计算出所述非机动车在图像中上底面中心点；将所述非机动车在图像中上底面中心点经过预设标定关系转换到世界坐标系下，作为所述非机动车的位置坐标；所述确定所述非机动车的摆放朝向，包括：在所述3d矩形框取图像中车头方向的任一个接地点(x1，y1)与同侧的车尾接地点(x2，
y2)；根据图像与地面标定关系，将两点转换到世界坐标系下，并在根据如下计算公式arctan((y2-y1)/(x2-x1))，计算两点在世界坐标系下的夹角，作为所述非机动车的摆放朝向角度。7.如权利要求1所述的方法，其中，所述确定所述非机动车的摆放状态为异常之后，还包括：响应于摆放状态为异常的情况，向云端上报非机动车在违规区域停放和/或非非机动车停放区域内摆放朝向异常的提醒。8.一种非机动车的摆放确定装置，其中，所述装置包括：采集模块，用于获取路侧图像；检测模块，用于根据所述路侧图像，检测出非机动车；判断模块，用于判断所述非机动车的摆放状态是否满足预设摆放条件；确定模块，用于如果是，则确定所述非机动车的摆放状态为异常。9.一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7之任一所述方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7之任一所述方法。

技术总结
本申请公开了一种非机动车的摆放确定方法、装置及电子设备、存储介质，所述方法包括：获取路侧图像；根据所述路侧图像，检测出非机动车；判断所述非机动车的摆放状态是否满足预设摆放条件；如果是，则确定所述非机动车的摆放状态为异常。通过本申请的路侧端能够及时且准确检测出摆放不正确的非机动车并进行上报，提高了智慧城市中对非机动车摆放监管的响应速度。速度。速度。


技术研发人员：张上鑫
受保护的技术使用者：蘑菇车联信息科技有限公司
技术研发日：2023.07.05
技术公布日：2023/10/8