一种货运智能调度方法、装置、设备及存储介质与流程

1.本发明涉及物流运输领域，尤其涉及一种货运智能调度方法、装置、设备及存储介质。


背景技术：

2.随着生活水平的不断提高，城镇化的高速推进，我国城市的转运货物越来越多，因此，在许多行业上货物运输的需求越来越大，如冷冻食品、快递、水泥、渣土等。近些年来，物流车辆的需求显著上升，需要更多地减少人流量，而加大车辆对货物的运输；其次，对于房屋的建设、社会基础设置的建设与升级、冷冻食品的运输效率，在这些过程中，物流运输车辆的效率、跑车路线也会对其产生一定的影响。
3.目前，现有方案针对同城物流配送用户较多的问题，把配送区域根据客户位置的经纬度、货物需求量等信息进行聚类分析，分成若干个配送子区域，再对各个子区域人工建立相应的车辆调度模型，从而对该问题模型进行求解，当前多用启发式算法（遗传算法、粒子群算法等）求解人工建立车辆调度模型，都是针对特定车型、车辆调度问题，建立相对应的调度模型，从而设计了一种求解模型。人工建立特定问题模型和求解模型存在泛化能力低的问题且原问题有小的变动就需要重新设计。而现有方案中尚未考虑回程空驶造成资源浪费的问题，进而导致现有方案存在如下缺点：1、无法实现订单与车辆全面的匹配。针对冷门地区和热门地区，订单的热度完全是不一样的，绝大多数的货运车辆都会更倾向于接受热门地区的订单，从而造成冷门地区的订单无车辆进行货运调度的情况。2、未考虑到车辆的回程空驶。仅使用规则的方法从结果上进行车辆的分配，而未深入地基于其内在联系进行分配，从而造成调度资源的浪费。


技术实现要素：

4.本发明提供了一种货运智能调度方法、装置、设备及存储介质，用于提高调度效率和调度的全面性并且降低了车辆的回程空驶里程。
5.本发明第一方面提供了一种货运智能调度方法，所述货运智能调度方法包括：采集终端生成的第一货运订单数据以及第一货运车辆数据；对所述第一货运订单数据以及所述第一货运车辆数据进行聚类分析，得到目标聚类数据；对所述目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型；根据所述有向图仿真模型生成货运订单数据集和货运车辆数据集，并根据所述货运订单数据集和所述货运车辆数据集生成第一货运数据特征；将所述第一货运数据特征输入预置的ddqn模型进行模型训练，得到货运订单匹配模型；获取待处理的第二货运订单数据以及第二货运车辆数据，并将所述第二货运订单数据以及所述第二货运车辆数据输入所述货运订单匹配模型进行车辆和订单全局匹配，得
到目标匹配结果。
6.结合第一方面，在本发明第一方面的第一实施方式中，所述对所述第一货运订单数据以及所述第一货运车辆数据进行聚类分析，得到目标聚类数据，包括：对所述第一货运订单数据以及所述第一货运车辆数据进行数据分类，得到订单上货数据以及订单卸货数据；构建所述订单上货数据的散点分布图，并基于预设的上货点半径距离，对所述散点分布图进行gps数据筛选，得到上货点gps数据；对所述上货点gps数据进行点集合转换，得到目标点集合，并对所述目标点集合进行均值计算，得到目标均值点；基于所述目标均值点生成所述上货点gps数据对应的目标聚类数据。
7.结合第一方面，在本发明第一方面的第二实施方式中，所述对所述目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型，包括：基于所述目标聚类数据，获取上货点经纬关联信息以及卸货点经纬关联信息；创建有向图的上货节点和卸货节点，并在所述上货节点上添加所述上货点经纬关联信息，以及在所述卸货节点上添加所述卸货点经纬关联信息；创建有向图的边，其中，所述有向图的边包括：上货节点指向卸货节点的第一有向图边、卸货节点指向上货节点的第二有向图边；在所述第一有向图边上添加车牌号、相连节点间的距离、运输时间、重量和货运价格，并在所述第二有向图边上添加车牌号和距离；通过所述上货节点、所述卸货节点、所述第一有向图边以及所述第二有向图边进行有向回环图仿真环境构建，得到有向图仿真模型。
8.结合第一方面，在本发明第一方面的第三实施方式中，在所述对所述目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型之后，所述方法还包括：获取所述有向图仿真模型的关联车辆信息、上货节点信息以及下货节点信息；通过强化学习进行车辆与订单的匹配，并更新当前订单和车辆数据；当车辆完成订单后，对车辆与订单信息进行更新，并通过所述有向图仿真模型返回当前车辆与订单的信息。
9.结合第一方面，在本发明第一方面的第四实施方式中，所述根据所述有向图仿真模型生成货运订单数据集和货运车辆数据集，并根据所述货运订单数据集和所述货运车辆数据集生成第一货运数据特征，包括：获取所述有向图仿真模型的节点信息以及边信息，并基于所述节点信息以及所述边信息生成货运订单数据集和货运车辆数据集；根据所述货运订单数据集生成货物订单特征，以及根据所述货运车辆数据集生成货运车辆特征；对所述货物订单特征以及所述货运车辆特征进行特征整合，得到第一货运数据特征。
10.结合第一方面，在本发明第一方面的第五实施方式中，所述将所述第一货运数据特征输入预置的ddqn模型进行模型训练，得到货运订单匹配模型，包括：将所述第一货运数据特征输入预置的ddqn模型，其中，所述ddqn模型包括一个
网络和一个目标网络；将所述第一货运数据特征输入所述网络的第一线性层进行处理，得到第一隐藏向量；将所述第一隐藏向量输入所述网络的自注意力层和第二线性层进行线性变换，得到第一值；将所述第一值输入所述目标网络进行奖励值计算，得到奖励值，并通过预置的损失函数计算所述奖励值的损失值；根据所述损失值，并调用预置的adam优化器对所述ddqn模型进行网络参数优化，同时，对所有的车辆和货运订单信息进行值计算，得到多个第一值，并根据所述多个第一值构建第一二维矩阵；通过预置的匈牙利算法对所述第一二维矩阵进行配对，得到当前时刻每辆车与订单的配对结果，并基于所述货运订单数据集和所述货运车辆数据集对所述ddqn模型进行循环迭代训练，判断所述奖励值是否收敛，若收敛，则输出货运订单匹配模型。
11.结合第一方面，在本发明第一方面的第六实施方式中，所述获取待处理的第二货运订单数据以及第二货运车辆数据，并将所述第二货运订单数据以及所述第二货运车辆数据输入所述货运订单匹配模型进行车辆和订单全局匹配，得到目标匹配结果，包括：获取待处理的第二货运订单数据以及第二货运车辆数据，并构建所述第二货运订单数据以及所述第二货运车辆数据的第二货运数据特征；将所述第二货运数据特征输入所述货运订单匹配模型进行车辆和订单值计算，得到每个车辆与每个订单的第二值；根据每个车辆与每个订单的第二值构建第二二维矩阵，并通过匈牙利算法对所述第二二维矩阵进行车辆和订单划分匹配，得到目标匹配结果。
12.本发明第二方面提供了一种货运智能调度装置，所述货运智能调度装置包括：采集模块，用于采集终端生成的第一货运订单数据以及第一货运车辆数据；分析模块，用于对所述第一货运订单数据以及所述第一货运车辆数据进行聚类分析，得到目标聚类数据；构建模块，用于对所述目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型；处理模块，用于根据所述有向图仿真模型生成货运订单数据集和货运车辆数据集，并根据所述货运订单数据集和所述货运车辆数据集生成第一货运数据特征；训练模块，用于将所述第一货运数据特征输入预置的ddqn模型进行模型训练，得到货运订单匹配模型；匹配模块，用于获取待处理的第二货运订单数据以及第二货运车辆数据，并将所述第二货运订单数据以及所述第二货运车辆数据输入所述货运订单匹配模型进行车辆和订单全局匹配，得到目标匹配结果。
13.本发明第三方面提供了一种货运智能调度设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述货运智能调度设备执行上述的货运智能调度方法。
14.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的货运智能调度方法。
15.本发明提供的技术方案中，对第一货运订单数据以及第一货运车辆数据进行聚类分析，得到目标聚类数据；对目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型；根据有向图仿真模型生成货运订单数据集和货运车辆数据集，并根据货运订单数据集和货运车辆数据集生成第一货运数据特征；将第一货运数据特征输入ddqn模型进行模型训练，得到货运订单匹配模型；将第二货运订单数据以及第二货运车辆数据输入货运订单匹配模型进行车辆和订单全局匹配，得到目标匹配结果，本发明采用强化学习模型，通过采集终端生成的货运订单数据、货运车辆数据，构建货运订单数据集、货运车辆数据集，基于货运订单数据特征和货运车辆数据特征，构建订单模型和车辆模型，从而学习到多个车辆与多个订单的调度策略，提高了调度效率、调度的全面性和降低了车辆的回程空驶里程，从而实现了订单与车辆的全面匹配，并且降低了冷门地区的订单无车辆进行货运调度的情况的发生率，降低车辆的回程空驶里程，同时利用强化学习能够较深入地学习基于其内在联系进行分配，从而减少资源的浪费。
附图说明
16.图1为本发明实施例中货运智能调度方法的一个实施例示意图；图2为本发明实施例中聚类分析的流程图；图3为本发明实施例中有向回环图仿真环境构建的流程图；图4为本发明实施例中生成第一货运数据特征的流程图；图5为本发明实施例中货运智能调度装置的一个实施例示意图；图6为本发明实施例中货运智能调度设备的一个实施例示意图；图7为本发明实施例中上货点gps数据聚类前的示意图；图8为本发明实施例中上货点gps数据聚类后的示意图；图9为本发明实施例中卸货点gps数据的示意图；图10为本发明实施例中订单数据流向的示意图；图11为本发明实施例中上货点和卸货点gps数据有向图模型的构建的示意图；图12为本发明实施例中货运订单匹配模型训练结构框图；图13为本发明实施例中v网络结构框图；图14为本发明实施例中车辆和货运订单匹配过程总体框架图。
具体实施方式
17.本发明实施例提供了一种货运智能调度方法、装置、设备及存储介质，用于提高调度效率和调度的全面性并且降低了车辆的回程空驶里程。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括
没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
18.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中货运智能调度方法的一个实施例包括：s101、采集终端生成的第一货运订单数据以及第一货运车辆数据；可以理解的是，本发明的执行主体可以为货运智能调度装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
19.具体的，服务器采集终端生成的货运订单数据、货运车辆数据。货运订单数据是由需要运输货物（如水泥）的客户发出的相关订单数据，货运车辆数据是由货运车辆所发出的相关车辆数据。订单数据包括货物所在位置、货物运输目的地、货物运输价格、当前时间、订单的等待时长、当前是否为节假日、当前为星期几。而货运车辆数据包括车牌号、车辆所在位置、当前时间、当前载重、当前是否为节假日、当前为星期几。由于每辆车的司机通过手机app的账号绑定了指定车辆的车牌号，则平台会将该账号与该车辆的相关传感器信息进行绑定。对这些订单数据和车辆数据通过手机app进行采集，进而存储至云端服务器上。
20.s102、对第一货运订单数据以及第一货运车辆数据进行聚类分析，得到目标聚类数据；具体的，服务器对第一货运订单数据以及第一货运车辆数据进行数据分类，得到订单上货数据以及订单卸货数据；服务器构建订单上货数据的散点分布图，并基于预设的上货点半径距离，对散点分布图进行gps数据筛选，得到上货点gps数据；服务器对上货点gps数据进行点集合转换，得到目标点集合，并对目标点集合进行均值计算，得到目标均值点；服务器基于目标均值点生成上货点gps数据对应的目标聚类数据。
21.s103、对目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型；需要说明的是，服务器基于目标聚类数据，获取上货点经纬关联信息以及卸货点经纬关联信息；服务器创建有向图的上货节点和卸货节点，并在上货节点上添加上货点经纬关联信息，以及在卸货节点上添加卸货点经纬关联信息；服务器创建有向图的边，其中，有向图的边包括：上货节点指向卸货节点的第一有向图边、卸货节点指向上货节点的第二有向图边；服务器在第一有向图边上添加车牌号、相连节点间的距离、运输时间、重量和货运价格，并在第二有向图边上添加车牌号和距离；服务器通过上货节点、卸货节点、第一有向图边以及第二有向图边进行有向回环图仿真环境构建，得到有向图仿真模型。
22.s104、根据有向图仿真模型生成货运订单数据集和货运车辆数据集，并根据货运订单数据集和货运车辆数据集生成第一货运数据特征；具体的，服务器获取有向图仿真模型的节点信息以及边信息，并基于节点信息以及边信息生成货运订单数据集和货运车辆数据集；服务器根据货运订单数据集生成货物订单特征，以及根据货运车辆数据集生成货运车辆特征；服务器对货物订单特征以及货运车辆特征进行特征整合，得到第一货运数据特征。
23.s105、将第一货运数据特征输入预置的ddqn模型进行模型训练，得到货运订单匹配模型；具体的，服务器将第一货运数据特征输入预置的ddqn模型，其中，ddqn模型包括一个网络和一个目标网络；服务器将第一货运数据特征输入网络的第一线性层进行处理，得到第一隐藏向量；服务器将第一隐藏向量输入网络的自注意力层和第二线性层进
行线性变换，得到第一值；服务器将第一值输入目标网络进行奖励值计算，得到奖励值，并通过预置的损失函数计算奖励值的损失值；服务器根据损失值，并调用预置的adam优化器对ddqn模型进行网络参数优化，同时，对所有的车辆和货运订单信息进行值计算，得到多个第一值，并根据多个第一值构建第一二维矩阵；服务器通过预置的匈牙利算法对第一二维矩阵进行配对，得到当前时刻每辆车与订单的配对结果，并基于货运订单数据集和货运车辆数据集对ddqn模型进行循环迭代训练，判断奖励值是否收敛，若收敛，则输出货运订单匹配模型。
24.s106、获取待处理的第二货运订单数据以及第二货运车辆数据，并将第二货运订单数据以及第二货运车辆数据输入货运订单匹配模型进行车辆和订单全局匹配，得到目标匹配结果。
25.具体的，服务器获取待处理的第二货运订单数据以及第二货运车辆数据，并构建第二货运订单数据以及第二货运车辆数据的第二货运数据特征；服务器将第二货运数据特征输入货运订单匹配模型进行车辆和订单值计算，得到每个车辆与每个订单的第二值；服务器根据每个车辆与每个订单的第二值构建第二二维矩阵，并通过匈牙利算法对第二二维矩阵进行车辆和订单划分匹配，得到目标匹配结果。
26.本发明实施例中，对第一货运订单数据以及第一货运车辆数据进行聚类分析，得到目标聚类数据；对目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型；根据有向图仿真模型生成货运订单数据集和货运车辆数据集，并根据货运订单数据集和货运车辆数据集生成第一货运数据特征；将第一货运数据特征输入ddqn模型进行模型训练，得到货运订单匹配模型；将第二货运订单数据以及第二货运车辆数据输入货运订单匹配模型进行车辆和订单全局匹配，得到目标匹配结果，本发明采用强化学习模型，通过采集终端生成的货运订单数据、货运车辆数据，构建货运订单数据集、货运车辆数据集，基于货运订单数据特征和货运车辆数据特征，构建订单模型和车辆模型，从而学习到多个车辆与多个订单的调度策略，提高了调度效率、调度的全面性和降低了车辆的回程空驶里程，从而实现了订单与车辆的全面匹配，并且降低了冷门地区的订单无车辆进行货运调度的情况的发生率，降低车辆的回程空驶里程，同时利用强化学习能够较深入地学习基于其内在联系进行分配，从而减少资源的浪费。
27.在一具体实施例中，如图2所示，执行步骤s102的过程可以具体包括如下步骤：s201、对第一货运订单数据以及第一货运车辆数据进行数据分类，得到订单上货数据以及订单卸货数据；s202、构建订单上货数据的散点分布图，并基于预设的上货点半径距离，对散点分布图进行gps数据筛选，得到上货点gps数据；s203、对上货点gps数据进行点集合转换，得到目标点集合，并对目标点集合进行均值计算，得到目标均值点；s204、基于目标均值点生成上货点gps数据对应的目标聚类数据。
28.具体的，服务器对订单中的数据进行聚类操作。基于提取预设地区的订单上货与卸货的数据，得到订单上货数据以及订单卸货数据，将原始gps上货与卸货的数据在地图中进行可视化操作，构建订单上货数据的散点分布图，图7和图9分别展示了上货与卸货的散
点分布，图7为上货点gps数据聚类前的示意图，图9为卸货点gps数据的示意图，而图10展示了订单的数据，图10为订单数据流向的示意图，从上货点指向卸货点，订单量大多分布主要集中在a省和b省周边等一带地区。从图7可以看出，上货点的gps数据的部分区域显得紧密，这是由于大多数的水泥货运车辆需要集中到同一水泥生产商的工厂上进行上货，然后将水泥装入车之后，再运输至目的地。而卸货点的gps数据显得稀疏且密集，表示的是多台车辆或者一台车辆前往相同或者不同的卸货点。相对而言，上货点的数量小于卸货点的数量，许多车辆会聚集到上货点，某一个上货点会存在大量的车辆gps数据和订单gps数据，而这些都是同一个上货点发出的，因此，需要对上货点处的gps数据进行聚类处理。基于预设的上货点半径距离，对所述散点分布图进行gps数据筛选，得到上货点gps数据，其中，上货点半径距离为上货点5公里内的距离，然后各个上货点之间小于5公里，则相关的点存进目标点集合中，最后对该目标点集合求取均值得到目标点集合的目标均值点。其中，所用到的聚类算法可以是k-means聚类、dbscan聚类等，本实施例中使用的是k-means聚类算法，对上货点进行聚类后如图8所示，图8为上货点gps数据聚类后的示意图，进而生成所述上货点gps数据对应的目标聚类数据。
29.在一具体实施例中，如图3所示，执行步骤s103的过程可以具体包括如下步骤：s301、基于目标聚类数据，获取上货点经纬关联信息以及卸货点经纬关联信息；s302、创建有向图的上货节点和卸货节点，并在上货节点上添加上货点经纬关联信息，以及在卸货节点上添加卸货点经纬关联信息；s303、创建有向图的边，其中，有向图的边包括：上货节点指向卸货节点的第一有向图边、卸货节点指向上货节点的第二有向图边；s304、在第一有向图边上添加车牌号、相连节点间的距离、运输时间、重量和货运价格，并在第二有向图边上添加车牌号和距离；s305、通过上货节点、卸货节点、第一有向图边以及第二有向图边进行有向回环图仿真环境构建，得到有向图仿真模型。
30.具体的，服务器对聚类后的数据构建有向回环图的仿真环境。在上货点进行聚类之后，接着，服务器基于订单中上货点经纬度相关信息和卸货点经纬度相关信息，创建有向图的上货节点和卸货节点；然后，在上货节点上添加经纬度信息、上货时间、上货重量，在卸货节点上添加经纬度信息、卸货完成时间、卸货重量；再次，基于订单的数据信息创建有向图的边，其中包括上货节点指向卸货节点、卸货节点指向上货节点（若卸货节点与上货节点相距某个设定的公里内，则进行指向连接）；最后，在上货节点指向卸货节点的边上添加车牌号、相连节点间的距离、运输时间、重量、货运价格，在卸货节点指向上货节点的边上添加车牌号、距离，其中，货运价格假设为每公里运输1吨得1元，通过所述上货节点、所述卸货节点、所述第一有向图边以及所述第二有向图边进行有向回环图仿真环境构建，得到有向图仿真模型。由于订单中只有上货点前往卸货点的信息，而没有从卸货点前往上货点的信息，因此，从卸货点到上货点间的连接需要进行判断。当卸货点与周围的上货点之间相差30公里内，则将两节点间进行边的连接，构建后的示例有向图如图11所示。其中，图11为上货点和卸货点gps数据有向图模型的构建的示意图，图11展示了构建关于上货点和卸货点gps数据的有向图模型，若多台车从上货点a进行装货，装货后分别前往卸货点e、c、d，但是不同卸货点的卸货时间可能会存在可衔接性。例如，某辆车c1在某一天早上六点从a点上完货，然
后前往e点卸货，卸货时间是当天早上10点；而另一辆车c2在同一天的早上11点从a点上货后前往c点卸货，卸货时间是同一天下午的4点，然而这种情况两个货运订单用了两台车；实际上仅派遣一辆车c1便可以完成两个货运订单，因为在卸货点e附近有许多的上货点，只需要前往附近的上货点，然后再前往卸货点c即可完成另一货运订单；基于多次这一情况，最终可以一辆车完成从a
→e→c→d→
a的路程，做到最小化回程空驶里程的情况。
31.在一具体实施例中，在对目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型之后还包括如下步骤：（1）获取有向图仿真模型的关联车辆信息、上货节点信息以及下货节点信息；（2）通过强化学习进行车辆与订单的匹配，并更新当前订单和车辆数据；（3）当车辆完成订单后，对车辆与订单信息进行更新，并通过有向图仿真模型返回当前车辆与订单的信息。
32.具体的，服务器在构建完有向图的仿真环境后，还需要进行车辆与订单的动态更新以利于进行强化学习的训练。首先，获取有向图仿真模型的关联车辆信息、上货节点信息以及下货节点信息，基于构建的有向图相关信息，获取有向图的相关车辆信息以及上货节点和卸货节点信息；然后，通过强化学习进行车辆与订单的匹配，更新当前订单和车辆数据；其次，车辆完成订单后，对车辆与订单信息进行更新；最后，有向图仿真模型返回当前车辆与订单的信息，如经纬度信息，载重信息等。
33.在一具体实施例中，如图4所示，执行步骤s104的过程可以具体包括如下步骤：s401、获取有向图仿真模型的节点信息以及边信息，并基于节点信息以及边信息生成货运订单数据集和货运车辆数据集；s402、根据货运订单数据集生成货物订单特征，以及根据货运车辆数据集生成货运车辆特征；s403、对货物订单特征以及货运车辆特征进行特征整合，得到第一货运数据特征。
34.具体的，服务器构建货物订单数及货运车辆特征。在利用订单数据构建完有向图之后，需要基于有向图中的节点信息和边信息构建输入至网络中的货运订单数据集和货运车辆数据集。所需货运订单数据集部分为，其中，为订单当前上货点位置、为订单卸货点位置、为订单价格、为表示星期几和是否节假日的静态背景信息、为表示实时供需特征和当前等待时间的动态背景信息、为当前的时间点；所需货运车辆数据集部分为，其中，为表示实时供需特征和当前等待时间的动态背景信息、为车辆位置、为表示星期几和是否节假日的静态背景信息、为当前载重、为当前的时间点。最后，由于需要输入算法网络架构，则需将其进行整合为输入总特征。
35.在一具体实施例中，执行步骤s105的过程可以具体包括如下步骤：（1）将第一货运数据特征输入预置的ddqn模型，其中，ddqn模型包括一个网络和一个目标网络；（2）将第一货运数据特征输入网络的第一线性层进行处理，得到第一隐藏向量；
（3）将第一隐藏向量输入网络的自注意力层和第二线性层进行线性变换，得到第一值；（4）将第一值输入目标网络进行奖励值计算，得到奖励值，并通过预置的损失函数计算奖励值的损失值；（5）根据损失值，并调用预置的adam优化器对ddqn模型进行网络参数优化，同时，对所有的车辆和货运订单信息进行值计算，得到多个第一值，并根据多个第一值构建第一二维矩阵；（6）通过预置的匈牙利算法对第一二维矩阵进行配对，得到当前时刻每辆车与订单的配对结果，并基于货运订单数据集和货运车辆数据集对ddqn模型进行循环迭代训练，判断奖励值是否收敛，若收敛，则输出货运订单匹配模型。
36.具体的，基于货运数据特征，构建并训练货运订单匹配模型。货运订单的目标是最小化等待时长而货运车辆的目标是最小化回程空驶的里程，则基于等待时间和订单价格、空驶里程数，奖励函数设为。为了降低车辆的回程空驶里程，给予空驶里程更大的权重，完成订单所获得的报酬权重相对要更低一些。等待时间越长，给予的奖励值越低，价格越高，给予的奖励值越高，其中，一个系数为1，一个系数为0.9，最后一个系数为2，是为了给予车辆空驶里程更大的重要性，尽可能多的避免车辆出现空驶，而给予等待时长和货运的订单价格重要性相对更小，也可根据需求更改参数重要性的平衡。货运订单匹配模型如图12所示的结构框图，货运订单匹配模型采用ddqn模型，即两个网络：一个网络和一个目标网络，其中，网络更新较为频繁，而目标网络会训练得更慢，让这两个网络的输出越接近越好，避免输出的值出现过高估计的情况，从而达到收敛。网络参数更新方式采用adam优化器，，，其目标函数为：；其中，为输入的状态值，为网络参数，sup为向上取整。如图13所示，图13为v网络结构框图，在该结构框图中，将输入信息输入至线性层，获得对应的hidden size，再将这些hidden size进行求和并级联起来，然后再经过自注意力层，最终通过线性层输出结果第一值。将获得的下一个状态值输入至目标网络中，进而基于仿真环境获得相应的奖励值，然后进行损失函数的计算，进而用adam优化器优化网络参数。对所有的车辆和货运订单信息计算出相应的第一值后，将这些第一值构成一个第一二维矩阵，然后再用匈牙利算法对该第一二维矩阵进行配对，得到当前时刻的每辆车与订单的配对；再基于仿真环境中的货运车辆数据和货运订单数据，不断循环往复地训练，最终达到奖励值稳定收敛。如图14车辆-货运订单匹配过程总体框架所示。将状态值（即特征值）输入值ddqn中，得到第一值，将所有的车辆和货运订单信息的第一值组合成第一二维矩阵，再用匈牙利算法得到匹配结果。
37.在一具体实施例中，执行步骤s106的过程可以具体包括如下步骤：（1）获取待处理的第二货运订单数据以及第二货运车辆数据，并构建第二货运订
单数据以及第二货运车辆数据的第二货运数据特征；（2）将第二货运数据特征输入货运订单匹配模型进行车辆和订单值计算，得到每个车辆与每个订单的第二值；（3）根据每个车辆与每个订单的第二值构建第二二维矩阵，并通过匈牙利算法对第二二维矩阵进行车辆和订单划分匹配，得到目标匹配结果。
38.具体的，部署模型。基于终端设备，获取当前实时运行的全部货运订单数据、货运车辆数据，构建出货运订单数据集、货运车辆数据集特征，其中，为订单当前上货点位置、为订单卸货点位置、为订单价格、为表示星期几和是否节假日的静态背景信息、为表示实时供需特征和当前等待时间的动态背景信息、为当前的时间点。再将当前所有的货运数据集特征输入至网络中，将网络得出每个车辆与每个订单第二值组合成第二二维矩阵，最后，使用匈牙利算法对第二二维矩阵进行划分匹配，得到目标匹配结果。
39.在一具体的实施例中，采集150,000条订单信息提取10000条信息构建并训练模型、最后部署模型。
40.准备和训练阶段：第一步，先采集终端生成的货运订单和车辆订单数据；第二步，对订单中的数据进行聚类操作。基于提取的订单上货与卸货数据。取上货点5公里内的距离，然后各个上货点之间小于5公里，则相关的点存进点集合中，最后对该点集合求取均值得到点集合的均值点。所用到的聚类算法是k-means聚类算法。
41.第三步，对聚类后的数据构建有向图的仿真环境。在上货点进行聚类之后，接着需要基于订单中上货点的经纬度等相关信息和卸货点的经纬度等相关信息，通过networkx创建有向图的上货节点和卸货节点，构建有向环；然后，在上货节点中添加经纬度信息、上货时间、上货重量，在卸货节点上添加经纬度信息、卸货完成时间、卸货重量；再次，基于订单的数据信息创建有向图的边，其中包括上货节点指向卸货节点、卸货节点指向上货节点（若卸货节点与上货节点相距某个设定的公里内，则进行指向连接），从而构成有向环；最后，在上货节点指向卸货节点的边上添加车牌号、相连节点间的距离、运输时间、重量、货运价格，在卸货节点指向上货节点的边上添加车牌号、距离，其中，货运价格假设为每公里运输1吨得1元。
42.在构建完有向图的仿真环境后，还需要进行车辆与订单的动态更新以利于进行强化学习的训练。首先，基于构建的有向图相关信息，获取有向图的相关车辆信息以及上货节点和卸货节点信息；然后，通过强化学习进行车辆与订单的匹配，再移动货运车辆；其次，车辆移动完后，对车辆与订单信息进行更新；最后，仿真环境返回当前车辆与订单的信息，如经纬度信息，载重信息等。
43.第四步，构建货物订单数及货运车辆特征。在利用订单数据构建完有向图之后，需要基于有向图中的节点信息和边信息构建输入至网络中的货运订单数据集和货运车辆数据集。所需货运订单数据集部分为，其中，为订单当前上货点位置、
为订单卸货点位置、为订单价格、为表示星期几和是否节假日的静态背景信息、为表示实时供需特征和当前等待时间的动态背景信息、为当前的时间点；所需货运车辆数据集部分为，其中，为表示实时供需特征和当前等待时间的动态背景信息、为车辆位置、为表示星期几和是否节假日的静态背景信息、为当前载重、为当前的时间点。最后，由于需要输入算法网络架构，则需将其进行整合为输入总特征。
44.第五步，基于货运数据特征，构建货运订单匹配相关模型。货运订单的目标是最小化等待时长而货运车辆的目标是最小化回程空驶的里程，则基于等待时间和订单价格、空驶里程数，奖励函数设为，为了降低车辆的回程空驶里程，给予空驶里程更大的权重，完成订单所获得的报酬权重相对要更低一些。等待时间越长，给予的奖励值越低，价格越高，给予的奖励值越高，其中，一个系数为1，一个系数为0.9，最后一个系数为2。而目标函数为：；其中，为输入的状态值，为网络参数，，。
45.第六步，基于构建的货运数据和车辆数据进行模型的训练。基于仿真环境获取若干订单信息和车辆信息特征，将当前平台订单中全部的订单信息和车辆信息输入至模型中得出各个车辆与对应订单的第一值；将得出的第一值组成一个二维矩阵表，得到第一二维码矩阵，用匈牙利算法进行匹配划分，然后更新车辆信息和订单信息，从而基于奖励函数获得奖励值，再根据目标函数更新网络参数。
46.部署阶段：由于订单和车辆数据发布于手机终端应用程序上，因此，当服务器接收到相关信息之后，提取相关的订单信息和车辆信息特征输入至训练好的强化学习模型中，其中货运订单匹配模型需要输入的数据为。接着，强化学习模型得出相应订单与车辆的第二值，再将全部订单和车辆得出的第二值组成第二二维矩阵。最后，利用匈牙利算法对第二二维矩阵进行最优匹配，向终端发送对应的目标匹配结果。
47.上面对本发明实施例中货运智能调度方法进行了描述，下面对本发明实施例中货运智能调度装置进行描述，请参阅图5，本发明实施例中货运智能调度装置一个实施例包括：采集模块501，用于采集终端生成的第一货运订单数据以及第一货运车辆数据；分析模块502，用于对所述第一货运订单数据以及所述第一货运车辆数据进行聚类分析，得到目标聚类数据；构建模块503，用于对所述目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型；处理模块504，用于根据所述有向图仿真模型生成货运订单数据集和货运车辆数
据集，并根据所述货运订单数据集和所述货运车辆数据集生成第一货运数据特征；训练模块505，用于将所述第一货运数据特征输入预置的ddqn模型进行模型训练，得到货运订单匹配模型；匹配模块506，用于获取待处理的第二货运订单数据以及第二货运车辆数据，并将所述第二货运订单数据以及所述第二货运车辆数据输入所述货运订单匹配模型进行车辆和订单全局匹配，得到目标匹配结果。
48.通过上述各个组成部分的协同合作，对第一货运订单数据以及第一货运车辆数据进行聚类分析，得到目标聚类数据；对目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型；根据有向图仿真模型生成货运订单数据集和货运车辆数据集，并根据货运订单数据集和货运车辆数据集生成第一货运数据特征；将第一货运数据特征输入ddqn模型进行模型训练，得到货运订单匹配模型；将第二货运订单数据以及第二货运车辆数据输入货运订单匹配模型进行车辆和订单全局匹配，得到目标匹配结果，本发明采用强化学习模型，通过采集终端生成的货运订单数据、货运车辆数据，构建货运订单数据集、货运车辆数据集，基于货运订单数据特征和货运车辆数据特征，构建订单模型和车辆模型，从而学习到多个车辆与多个订单的调度策略，提高了调度效率、调度的全面性和降低了车辆的回程空驶里程，从而实现了订单与车辆的全面匹配，并且降低了冷门地区的订单无车辆进行货运调度的情况的发生率，降低车辆的回程空驶里程，同时利用强化学习能够较深入地学习基于其内在联系进行分配，从而减少资源的浪费。
49.上面图5从模块化功能实体的角度对本发明实施例中的货运智能调度装置进行详细描述，下面从硬件处理的角度对本发明实施例中货运智能调度设备进行详细描述。
50.图6是本发明实施例提供的一种货运智能调度设备的结构示意图，该货运智能调度设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，cpu）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对货运智能调度设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在货运智能调度设备600上执行存储介质630中的一系列指令操作。
51.货运智能调度设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图6示出的货运智能调度设备结构并不构成对货运智能调度设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
52.本发明还提供一种货运智能调度设备，所述货运智能调度设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述货运智能调度方法的步骤。
53.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述
货运智能调度方法的步骤。
54.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
55.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory， rom）、随机存取存储器（random acces memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
56.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种货运智能调度方法，其特征在于，所述货运智能调度方法包括：采集终端生成的第一货运订单数据以及第一货运车辆数据；对所述第一货运订单数据以及所述第一货运车辆数据进行聚类分析，得到目标聚类数据；对所述目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型；根据所述有向图仿真模型生成货运订单数据集和货运车辆数据集，并根据所述货运订单数据集和所述货运车辆数据集生成第一货运数据特征；将所述第一货运数据特征输入预置的ddqn模型进行模型训练，得到货运订单匹配模型；获取待处理的第二货运订单数据以及第二货运车辆数据，并将所述第二货运订单数据以及所述第二货运车辆数据输入所述货运订单匹配模型进行车辆和订单全局匹配，得到目标匹配结果。2.根据权利要求1所述的货运智能调度方法，其特征在于，所述对所述第一货运订单数据以及所述第一货运车辆数据进行聚类分析，得到目标聚类数据，包括：对所述第一货运订单数据以及所述第一货运车辆数据进行数据分类，得到订单上货数据以及订单卸货数据；构建所述订单上货数据的散点分布图，并基于预设的上货点半径距离，对所述散点分布图进行gps数据筛选，得到上货点gps数据；对所述上货点gps数据进行点集合转换，得到目标点集合，并对所述目标点集合进行均值计算，得到目标均值点；基于所述目标均值点生成所述上货点gps数据对应的目标聚类数据。3.根据权利要求1所述的货运智能调度方法，其特征在于，所述对所述目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型，包括：基于所述目标聚类数据，获取上货点经纬关联信息以及卸货点经纬关联信息；创建有向图的上货节点和卸货节点，并在所述上货节点上添加所述上货点经纬关联信息，以及在所述卸货节点上添加所述卸货点经纬关联信息；创建有向图的边，其中，所述有向图的边包括：上货节点指向卸货节点的第一有向图边、卸货节点指向上货节点的第二有向图边；在所述第一有向图边上添加车牌号、相连节点间的距离、运输时间、重量和货运价格，并在所述第二有向图边上添加车牌号和距离；通过所述上货节点、所述卸货节点、所述第一有向图边以及所述第二有向图边进行有向回环图仿真环境构建，得到有向图仿真模型。4.根据权利要求1所述的货运智能调度方法，其特征在于，在所述对所述目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型之后，所述方法还包括：获取所述有向图仿真模型的关联车辆信息、上货节点信息以及下货节点信息；通过强化学习进行车辆与订单的匹配，并更新当前订单和车辆数据；当车辆完成订单后，对车辆与订单信息进行更新，并通过所述有向图仿真模型返回当前车辆与订单的信息。5.根据权利要求1所述的货运智能调度方法，其特征在于，所述根据所述有向图仿真模
型生成货运订单数据集和货运车辆数据集，并根据所述货运订单数据集和所述货运车辆数据集生成第一货运数据特征，包括：获取所述有向图仿真模型的节点信息以及边信息，并基于所述节点信息以及所述边信息生成货运订单数据集和货运车辆数据集；根据所述货运订单数据集生成货物订单特征，以及根据所述货运车辆数据集生成货运车辆特征；对所述货物订单特征以及所述货运车辆特征进行特征整合，得到第一货运数据特征。6.根据权利要求1所述的货运智能调度方法，其特征在于，所述将所述第一货运数据特征输入预置的ddqn模型进行模型训练，得到货运订单匹配模型，包括：将所述第一货运数据特征输入预置的ddqn模型，其中，所述ddqn模型包括一个网络和一个目标网络；将所述第一货运数据特征输入所述网络的第一线性层进行处理，得到第一隐藏向量；将所述第一隐藏向量输入所述网络的自注意力层和第二线性层进行线性变换，得到第一值；将所述第一值输入所述目标网络进行奖励值计算，得到奖励值，并通过预置的损失函数计算所述奖励值的损失值；根据所述损失值，并调用预置的adam优化器对所述ddqn模型进行网络参数优化，同时，对所有的车辆和货运订单信息进行值计算，得到多个第一值，并根据所述多个第一值构建第一二维矩阵；通过预置的匈牙利算法对所述第一二维矩阵进行配对，得到当前时刻每辆车与订单的配对结果，并基于所述货运订单数据集和所述货运车辆数据集对所述ddqn模型进行循环迭代训练，判断所述奖励值是否收敛，若收敛，则输出货运订单匹配模型。7.根据权利要求1所述的货运智能调度方法，其特征在于，所述获取待处理的第二货运订单数据以及第二货运车辆数据，并将所述第二货运订单数据以及所述第二货运车辆数据输入所述货运订单匹配模型进行车辆和订单全局匹配，得到目标匹配结果，包括：获取待处理的第二货运订单数据以及第二货运车辆数据，并构建所述第二货运订单数据以及所述第二货运车辆数据的第二货运数据特征；将所述第二货运数据特征输入所述货运订单匹配模型进行车辆和订单值计算，得到每个车辆与每个订单的第二值；根据每个车辆与每个订单的第二值构建第二二维矩阵，并通过匈牙利算法对所述第二二维矩阵进行车辆和订单划分匹配，得到目标匹配结果。8.一种货运智能调度装置，其特征在于，所述货运智能调度装置包括：采集模块，用于采集终端生成的第一货运订单数据以及第一货运车辆数据；分析模块，用于对所述第一货运订单数据以及所述第一货运车辆数据进行聚类分析，得到目标聚类数据；构建模块，用于对所述目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型；处理模块，用于根据所述有向图仿真模型生成货运订单数据集和货运车辆数据集，并
根据所述货运订单数据集和所述货运车辆数据集生成第一货运数据特征；训练模块，用于将所述第一货运数据特征输入预置的ddqn模型进行模型训练，得到货运订单匹配模型；匹配模块，用于获取待处理的第二货运订单数据以及第二货运车辆数据，并将所述第二货运订单数据以及所述第二货运车辆数据输入所述货运订单匹配模型进行车辆和订单全局匹配，得到目标匹配结果。9.一种货运智能调度设备，其特征在于，所述货运智能调度设备包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述货运智能调度设备执行如权利要求1-7中任一项所述的货运智能调度方法。10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的货运智能调度方法。

技术总结
本发明涉及物流运输领域，公开了一种货运智能调度方法、装置、设备及存储介质，用于提高调度效率和调度的全面性并且降低了车辆的回程空驶里程。方法包括：对第一货运订单数据以及第一货运车辆数据进行聚类分析，得到目标聚类数据；对目标聚类数据进行有向回环图仿真环境构建，得到有向图仿真模型；根据有向图仿真模型生成货运订单数据集和货运车辆数据集，并根据货运订单数据集和货运车辆数据集生成第一货运数据特征；将第一货运数据特征输入DDQN模型进行模型训练，得到货运订单匹配模型；将第二货运订单数据以及第二货运车辆数据输入货运订单匹配模型进行车辆和订单全局匹配，得到目标匹配结果。到目标匹配结果。到目标匹配结果。


技术研发人员：苗少光 刘阳 吴映锋 林怡斌
受保护的技术使用者：深圳市汉德网络科技有限公司
技术研发日：2023.07.10
技术公布日：2023/8/9