基于联邦学习的化工生产操作流程分割方法

1.本发明属于化工生产领域，涉及基于联邦学习的化工生产操作流程分割方法。


背景技术：

2.化工生产操作具有较高的风险，当工作人员在执行化工生产操作时，一旦流程出现错误，往往会引发产品质量不合格、设备破损、物料泄漏等事故。而化工生产操作流程是由不同的操作动作环节组成。因此，根据操作视频识别操作动作环节，最终得到实际化工生产操作流程从而对比标准操作流程并进行分析，对于保证化工生产操作安全尤为重要。
3.在获取化工生产操作视频后，一般的动作识别算法需要先将包含多个动作的视频裁剪成仅包含一个动作的短视频然后再进行识别。但是，裁剪视频需要耗费大量的人力，因此这类方法在实际应用中价值有限。本发明采用操作动作分割算法，旨在识别未裁剪的长视频中的多种连续动作，更符合实际应用场景。
4.将操作动作分割算法应用于化工生产操作，有助于识别化工生产操作的具体流程，从而提高化工生产操作的安全性。但是由于数据的隐私以及数据所有机构的利益，各个机构之间往往无法将所拥有的数据聚合，从而形成了数据孤岛。这在化工生产等隐私性较高的行业里更是如此。而联邦学习方法能够有效避免数据孤岛这一问题，通过分布式学习，在保证数据隐私安全及合法合规的基础上，实现共同建模，提升动作分割模型的识别效果。
5.通过基于联邦学习的操作动作分割算法，能够在保证数据隐私安全的同时，得到泛化能力强的模型。并且，利用物联网技术，可以实现通过各种信息传感器，实时采集信息并通过各类可能的网络接入，实现物与物、物与人的泛在连接。目前，由于传感器的迭代升级，传感器采集的信息越来越精确，但同时也导致信息的数据量过于庞大，对物联网设备的通信能力与计算能力提出了严峻的考验。得益于第五代移动通信技术、边缘计算等技术的发展，物联网设备可将部分计算任务迁移至边缘处理器上，这种云边端协同处理计算任务的方式有效解决了物联网设备计算能力匮乏的问题。


技术实现要素：

6.为了克服上述问题，本发明的目的是提供基于联邦学习的化工生产操作流程分割方法，能够对化工生产操作人员的操作动作流程进行分析。
7.本发明的一方面提供了基于联邦学习的化工生产操作流程分割方法，该方法包括以下步骤：
8.s1：中央服务器将动作分割算法的全局模型下发给多个训练节点；
9.s2：每个训练节点获取本地化工生产操作视频集；
10.将本地化工生产操作视频集进行预处理并输入预训练好的动作识别模型提取得到特征序列集；
11.s3：通过步骤s2中得到的特征序列集使用联邦学习方法对动作分割模型进行训练，最终得到泛化能力强的动作分割模型并部署到物联网系统中；
12.s4：物联网系统在端设备实时录制化工生产操作视频并发送给边处理器，边处理器对视频利用对数据进行预处理，得到特征序列并发送给云服务器；
13.s5：云服务器利用步骤s3部署的动作分割模型对步骤s4边处理器发送的特征序列进行动作分割识别，对识别结果进行处理得到实际操作流程并与标准操作流程进行对比分析，最终输出分析报告。
14.进一步说，所述步骤s1的具体过程为：
15.s1.1：使用动作分割算法asformer，并经初始化后得到全局模型w
global
；
16.s1.2：将得到的全局模型w
global
下发至各训练节点；
17.s1.3：各训练节点将全局模型w
global
加载至本地模型。
18.进一步说，所述步骤s2的具体过程为：
19.s2.1：训练节点ki获取本地化工生产操作视频集bi＝{bd}；
20.s2.2：将本地视频集bi中每个视频的每帧图像像素大小进行调整，得到视频集mi＝{md}，d＝1,2,3,...,d,d为视频序号，d为视频总数；
21.s2.3：将每个视频md使用滑窗的方式按时间顺序进行分割，得到t个长度为s帧的小视频o
t
；
22.s2.4：将每个小视频o
t
输入预训练好的动作识别模型提取特征向量vec
t
；
23.s2.5：将每个视频提取的所有特征向量vec
t
按时间顺序合成一个特征序列vd，特征序列vd构成特征序列集vi。
24.进一步说，所述步骤s3的具体过程为：
25.s3.1：各训练节点ki将处理好的特征序列集vi作为数据集，对本地动作分割模型进行训练，使用优化算法和损失函数进行迭代优化，在运行指定训练轮数l后得到更新后的本地模型w
node,i
；
26.s3.2：各训练节点将更新后的本地模型w
node,i
以及训练所用数据量大小ni上传至所述中央服务器；
27.s3.3：中央服务器接收到各训练节点更新后的本地模型w
node,i
和数据量大小ni，对各训练节点视频数据量ni进行处理得到对应训练节点权重wi；
28.通过各个本地模型w
node,i
与相应权重wi加权求和得到中央服务器端的更新后的全局模型w
global
；
29.s3.4：中央服务器将更新后的全局模型w
global
再发送到所述各训练节点进行训练；
30.s3.5：对s3.1-s3.4步骤重复执行指定轮数e次，中央服务器在多次训练和聚合循环中，记录每一次聚合模型的准确率、损失以及f1分数，在训练到指定轮数后，最终得到具有强泛化能力的动作分割模型。
31.s3.6：将训练好的动作分割模型部署到物联网系统中的云服务器；
32.进一步说，所述步骤s4的具体过程为：
33.s4.1：实时检测是否有化工操作人员需要进行化工生产操作流程分析；
34.s4.2：检测到分析需求，端设备开始实时录制视频，并实时判断操作流程是否完毕；
35.s4.3：检测到操作流程进行完毕，将录制得到的视频bd发送给边处理器；
36.s4.4：边处理器在接收到端设备发送的视频bd后，执行步骤s2中的预处理流程以
得到特征序列vd并将其发送给云服务器。
37.进一步说，所述步骤s5的具体过程为：
38.s5.1：通过步骤s3部署的动作分割模型，对步骤s5中端服务器上传的特征序列vd进行动作分割识别，识别得到与特征序列vd长度相同并包含有所有动作种类信度的信度序列xd；
39.s5.2：将信度序列xd中每个信度向量内信度值最高的动作类别判定为该信度向量代表的帧的动作类别；
40.s5.3：将相同动作类别并排列在一起的信度向量归类为一个动作环节，并记录每个环节内从开始帧到结束帧的序号用以计算该环节持续时间；
41.s5.4：将所有动作环节按顺序排列得到实际操作流程并与标准操作流程进行对比，生成分析报告。
42.进一步说，所述分析报告内容包括：实际操作流程顺序是否符合安全生产操作规范，实际操作流程中是否有缺少环节以及每个环节的操作时间是否合理。
43.本发明的另一方面还提供了一种物联网系统，包括端设备、边处理器、云服务器以及部署在边处理器与云服务器上运行的程序，其中所述边处理器和云服务器执行所述程序时实现上述所述的方法。
44.本发明的有益效果：
45.1、本发明采用动作分割模型对视频数据中的每帧图像的动作进行精准分类。对比于其它动作识别算法，本发明可以在一整个未裁剪的长视频中进行每帧图像的动作分类，极大的减少了人力的浪费。
46.2、本发明采用video-swin-transformer预训练模型进行特征提取，对比于其他视频特征提取方法，本发明充分利用transformer模型结构，采用局部注意力机制，在有效提高了特征提取能力的同时还减少了计算量和内存的消耗。
47.3、本发明采用联邦学习的策略，可以在保证数据的隐私以及数据所有机构的利益的同时，对模型进行分布式学习，有效提高了模型的泛化性能，避免了过拟合的出现。
48.4、本发明采用云边端的物联网架构，可以将提取特征等任务分配给边处理器执行，有效缓解了物联网设备计算能力匮乏的问题。
附图说明
49.为了更清楚的说明本文实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本文的特征和优点，附图是示意性的而不应理解为对本文进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。
50.其中：
51.图1为本发明系统原理框图；
52.图2为本发明联邦学习流程图；
53.图3为本发明视频采集模块流程图；
54.图4为本发明特征提取模块流程图；
55.图5为本发明动作分割与分析模块流程图；
56.图6是本发明方法的流程示意图；
57.图7是本发明所用动作分割算法运行结果图。
具体实施方式
58.下面将结合附图对本技术技术方案做进一步说明。
59.请参见图1，是本技术提供的一种基于联邦学习的化工生产操作流程分割方法的系统原理框图。
60.本技术提供一种基于联邦学习的化工生产操作流程分割方法，包括联邦学习部分和物联网系统两部分，其中，物联网系统共有视频采集(端)模块、特征提取(边)模块、动作分割(云)模块。
61.在本技术中所述联邦学习部分主要包括四个步骤：定义模型并初始化、处理本地数据、训练模型、聚合模型；中央服务器在定义全局模型w
global
后运用模型初始化方法对全局模型进行初始化，并下发给各训练节点ki，训练节点ki对本地视频视频集bi进行预处理后输入动作识别模型video-swin-transformer最终得到特征序列集vi；训练节点将特征序列集vi作为训练集对本地模型w
node,i
进行训练，训练到指定轮数后，各训练节点将本地模型w
node,i
发送回中央服务器，中央服务器将各训练节点上传的模型w
node,i
进行聚合并再次下发到各训练节点并循环之前的步骤直到到达指定训练轮数e，最终得到具有强泛化能力的全局模型w
global
。
62.在本技术中所述视频采集(端)模块包括检测到分析需求和采集视频数据并发送两个步骤，当端设备检测到需要对当前化工生产操作进行分析时，摄像头开始实时录制视频，再接收到操作完成信号后，端设备结束录制并发送视频至边处理器；特征提取(边)模块包括对视频数据进行预处理、以及提取特征序列集两步；边处理器先对端设备发送的视频数据bd像素大小进行修改，再将视频bd提取成小段视频输入进预训练好的动作识别模型中提取得到特征序列vd，最后将特征序列vd发送给云服务器；动作分割(云)模块包括对特征序列vd进行动作分割识别和对结果进行分析并生成分析报告两步；云服务器在接收到边处理器发送的特征序列vd后，将其输入到部署好的动作分割模型中，识别得到信度序列，对信度序列进行处理得到实际化工生产操作流程，将实际化工生产操作流程与标准流程进行对比分析并输出分析报告。
63.请参见图2，是本发明提供的一种基于联邦学习的化工生产操作流程分割方法的联邦学习流程图，其工作流程如下：
64.1、中央服务器定义操作动作分割模型并使用初始化方法初始化全局模型w
global
；
65.2、中央服务器将定义好的全局模型w
global
下发给各训练节点ki；
66.3、各训练节点ki先对本地视频数据集bi进行预处理，将本地视频数据集bi中每个视频bd的像素大小修改为h
×
j，再将修改完的视频数据md使用窗口大小为s的滑窗进行分割得到t个长度为s帧的小视频o
t
，将所有小视频按时间顺序输入动作识别模型video-swin-transformer得到特征序列集vi；
67.4、各训练节点ki将处理得到的特征序列集vi作为训练集对中央服务器发送的模型w
global
进行训练在达到指定训练轮数l后得到更新后的本地模型w
node,i
；
68.5、各训练节点ki将本地视频数据集数据量ni和更新后的模型w
node,i
发送给中央服
务器；
69.6、中央服务器根据各训练节点数据量ni生成各训练节点的训练权重wi并以此对各模型w
node,i
进行加权聚合，得到更新后的全局模型w
global
；
70.7、判断训练轮数是否到达指定轮数e，到达指定轮数则将最后一次更新得到的全局模型w
global
保存，否则循环流程2-6。
71.请参见图3，是本实施例提供的一种基于联邦学习的化工生产操作流程分割方法的视频采集(端)流程图，其工作流程如下：
72.1、打开端设备(摄像头)，并实时判断是否有化工生产操作流程分析需求；
73.2、若无需求则进入等待状态，反之则调用摄像头开始拍摄视频；
74.3、将拍摄完成的化工生产操作视频bd保存在本地硬盘中；
75.4、将保存在本地的整段化工生产操作视频bd上传至边处理器。
76.请参见图4，是本实施例提供的一种基于联邦学习的化工生产操作流程分割方法的特征提取(边)流程图，其工作流程如下：
77.1、边处理器接收到端设备传输的化工生产操作视频bd；
78.2、将化工生产操作视频中每帧图像的像素大小调整为h
×
j；
79.3、将调整完的视频使用窗口大小为s的滑窗进行分割，得到t个长度为s帧的小视频o
t
；
80.4、将分好的每个小视频o
t
输入到预训练好的动作识别模型video-swin-transformer中提取大小为q
×
p的特征向量vec
t
；
81.5、将特征向量vec
t
按时间顺序合成特征序列vd；
82.6、将合成后的特征序列vd发送给云服务器；
83.请参见图5，是本实施例提供的一种基于联邦学习的化工生产操作流程分割方法的动作分割(云)流程图，其工作流程如下：
84.1、接收边处理器发送的特征序列vd；
85.2、将特征序列vd输入到通过联邦学习训练得到的动作分割模型进行识别，得到与特征序列长度相同并包含有所有动作种类信度的信度序列xd；
86.3、将信度序列xd中每个信度向量内信度值最高的动作类别判定为该信度向量代表的帧的动作类别，并将相同动作类别的信度向量归类为一个动作环节，记录每个环节内开始帧到结束帧的序号用以计算该环节持续时间；
87.4、将所有动作环节按顺序排列得到实际操作流程，并与标准动作流程进行对比分析，包括流程顺序判断、流程完整性判断、环节持续时间判断；
88.5、将流程顺序准确率、流程完整性、环节持续时间等信息制作成分析报告，用以对化工生产操作流程安全性进行评定；所述分析报告内容包括：实际操作流程顺序是否符合安全生产操作规范，实际操作流程中是否有缺少环节以及每个环节的操作时间是否合理。
89.请参见图6，是本实施例提供的一种基于联邦学习的化工生产操作流程分割方法流程图，包括以下步骤：
90.s1：中央服务器将动作分割算法asformer的全局模型w
global
下发给训练节点ki，i＝1,2,3,
…
,n，i为训练节点序号,n为节点总数；
91.s2：训练节点ki获取本地化工生产操作视频集bi＝{bd}，d＝1,2,3,...,d，d为视频
序号，d为视频总数；bd＝{img
t
}，t＝1,2,3,...,t，t为视频帧序号，t为视频帧总数。
92.将本地化工生产操作视频集bi进行预处理并输入预训练好的动作识别模型video-swin-transformer提取得到特征序列集vi＝{vd}，d＝1,2,3,...,d，d为视频帧序号，d为视频帧总数，d＝1,2,3,...,d，vd＝{vec
t
}，t＝1,2,3,...,t，t为视频帧序号，t为视频帧总数；
93.s3：通过步骤s2中得到的特征序列集vi使用联邦学习方法对动作分割模型进行训练，最终得到泛化能力强的动作分割模型w
global
并部署到物联网系统中；
94.s4：所述物联网系统在端设备(摄像头)实时录制化工生产操作视频bd并发送给边处理器，边处理器对视频数据利用步骤s2的数据预处理方法进行预处理，得到特征序列vd并发送给云服务器；
95.s5：云服务器利用步骤s5部署的动作分割模型对步骤s6边处理器发送的特征序列vd进行动作分割识别，将识别结果处理后得到实际操作流程并与标准操作流程进行对比分析，最终输出分析报告。
96.在一实施例中，步骤s1进一步具体包括以下步骤：
97.s1.1：使用动作分割模型网络asformer，并使用常用的模型初始化方法对所述网络模型进行初始化，得到全局模型w
global
98.s1.2：将得到的全局模型w
global
下发至各训练节点；
99.s1.3：各训练节点将全局模型加载至本地模型。
100.在一实施例中，步骤s2进一步具体包括以下步骤：
101.s2.1：训练节点ki获取本地化工生产操作视频集bi＝{bd}；
102.s2.2：将本地视频集中每个视频bd的每帧图像像素大小调整为h
×
j，得到视频集mi＝{md}，d＝1,2,3,...,d,d为视频序号，d为视频总数；
103.s2.3：将调整完后的每个视频md使用窗口大小为s的滑窗进行分割，得到t个长度为s帧的小视频o
t
；
104.s2.4：将步骤s2.3分好的每个个小视频o
t
输入预训练好的动作识别模型video-swin-transformer以提取大小为q
×
p的特征向量vec
t
；
105.s2.5：将每个视频提取的所有特征向量vec
t
按顺序合成一个特征序列vd，再将所有的特征序列vd构成特征序列集vi；
106.在一实施例中，步骤s3进一步包括以下步骤：
107.s3.1：各训练节点ki将处理好的特征序列集vi作为数据集对本地动作分割模型进行训练，使用常用的优化算法和损失函数进行迭代优化，在运行指定训练轮数l后得到更新后的本地模型w
node,i
；
108.s3.2：各训练节点将更新后的本地模型w
node,i
以及数据量大小ni上传至所述中央服务器；
109.s3.3：中央服务器接收到各训练节点更新后的本地模型w
node,i
和数据量大小ni，先对各训练节点视频数据量ni利用公式(1)进行处理得到各训练节点相应权重wi：
[0110][0111]
再通过公式(2)利用各个本地模型w
node,i
与相应权重wi加权求和得到中央服务器
端的全局更新模型集合w
global
；
[0112][0113]
s3.4：中央服务器将更新后的全局模型w
global
再发送到所述各训练节点进行训练；
[0114]
s3.5：对s3.1-s3.4步骤重复执行指定轮数e次，中央服务器在多次训练和聚合循环中，记录每一次聚合模型的准确率、损失以及f1分数，训练指定轮数后，最终得到具有强泛化能力的动作分割模型；
[0115][0116]
其中，p为查准率，r为召回率，p由如下公式计算：
[0117][0118]
其中，tp为真正例，fp为假正例，r由如下公式计算：
[0119][0120]
其中fn为假反例，在训练到指定轮数后，最终得到具有强泛化能力的动作分割模型；
[0121]
s3.6：将训练好的动作分割模型部署到物联网系统中的云服务器；
[0122]
在一实施例中，步骤s4进一步包括以下步骤：
[0123]
s4.1：实时检测是否有化工操作人员需要进行化工生产操作流程分析；
[0124]
s4.2：检测到分析需求，系统开始执行流程分析任务，端设备(摄像头)开始实时录制视频，并实时判断操作流程是否完毕；
[0125]
s4.3：检测到操作流程完毕，将录制得到的视频bd发送给边处理器；
[0126]
s4.4：边处理器在接收到端设备发送的视频bd后，执行步骤s2中的预处理流程以得到特征序列vd并将其发送给云服务器；
[0127]
在一实施例中，步骤s5进一步包括以下步骤：
[0128]
s5.1：通过步骤s3部署的动作分割模型，对步骤s5中端服务器上传的特征序列vd进行动作分割识别，识别得到与特征序列长度相同并包含有所有动作种类信度的信度序列xd；
[0129]
s5.2：将信度序列xd中每个信度向量内信度值最高的动作类别判定为该信度向量代表的帧的动作类别；
[0130]
s5.3：将相同动作类别的信度向量归类为一个动作环节，并记录每个环节内从开始帧到结束帧的序号用以计算该环节持续时间；
[0131]
s5.4：将所有动作环节按顺序排列得到实际操作流程并与标准动作流程进行对比，生成分析报告；所述分析报告内容包括：实际操作流程顺序是否符合安全生产操作规范，实际操作流程中是否有缺少环节以及每个环节的操作时间是否合理。
[0132]
下面结合具体实施例对本发明具体应用场景作进一步说明：
[0133]
场景一：
[0134]
中央服务器使用动作分割模型asformer，模型为w
global
，中央服务器将模型下发给三个训练节点ki,i＝1,2,3；各训练节点对本地开停泵视频数据集bi进行预处理，先将本地
视频数据调整像素大小为320
×
240，再将调整完后的视频数据集mi使用窗口大小为16的滑窗进行分割，得到多个长度为16帧的小视频o
t
，最后将每个小视频按照时间顺序输入预训练好的动作识别模型video-swin-transformer以提取大小为1
×
1024的特征向量vec
t
，将每个视频提取的所有特征向量vec
t
按顺序合成一个特征序列vd，再将所有的特征序列vd构成特征序列集vi。
[0135]
各训练节点将模型w
global
部署到本地，得到本地模型w
node,i
，并将本地特征序列集vi作为数据集对本地模型w
node,i
进行训练，使用adam优化算法和交叉熵损失函数进行迭代优化，迭代50轮后得到更新后的本地模型w
node,i
；各训练节点将更新后的本地模型w
node,i
和数据量大小ni发送给中央服务器，中央服务器根据公式(1)通过数据量大小ni计算得到每个训练节点对应权重wi＝[0.37,0.42,0.21]，通过各训练节点相应权重对各训练节点发送的模型w
node,i
通过公式(2)进行加权聚合，得到更新后的全局模型w
global
；将上述步骤循环30次最终得到具有强泛化能力的操作动作分割模型w
global
，将其部署到物联网系统云服务器中。
[0136]
在实际开停泵操作场景中，云端检测到有操作动作分割识别需求，开始调用摄像头录制开停泵现场操作视频，待云端检测到操作完成信号则结束录制并将开停泵操作视频保存至本地硬盘中，视频共计31秒，944帧；将保存下来的操作视频发送至边处理器中，边处理器先对开停泵视频数据进行预处理，将视频像素大小调整为320
×
240，再将调整完后的视频数据按每帧与相隔数量小于8的邻近帧分为一个小视频，将小视频按顺序输入到预训练好的动作识别模型video-swin-transformer中，每个小视频提取得到大小为1
×
1024的特征向量，将所有特征向量按时间顺序聚合为特征序列vd发送给云服务器，云服务器在接收到特征序列vd后将其输入到部署好的操作动作分割模型中，经模型识别后得到信度序列xd，再将信度序列xd中每个信度向量内信度值最高的动作类别判定为该信度向量代表的帧的动作类别并将相同动作类别并排列在一起的信度向量归类为一个动作环节，同时记录每个环节内从开始帧到结束帧的序号用以计算该环节持续时间，得到实际开停泵操作流程；将实际开停泵操作流程与标准开停泵操作流程进行对比分析，依次对比流程是否缺失、流程顺序以及流程标准时间，最终输出分析报告。
[0137]
请参见图7，是本实施例提供的一种基于联邦学习的化工生产操作流程分割方法的结果运行图。图中的运行结果由本上述具体应用场景中现场拍摄的关泵视频通过联邦学习训练后的动作分割模型进行识别得到。途中坐标轴代表帧序号，黑线上是标准关泵操作流程，黑线下为通过动作分割模型识别得到的实际关泵操作流程。其中，深红色部分表示过度环节，包括人员移动、纯背景等非化工操作。深蓝色部分表示关闭泵出口阀环节，紫色部分表示停泵环节，红色部分表示关闭泵入口阀环节。
[0138]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行
传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。
[0139]
以上所述仅是本说明书实施例的具体实施方式，通过该实施方式对本发明技术方案做进一步说明，以使本领域技术人员对本发明的技术构思的理解，其涉及到的未做明确公开说明的方法及术语，如算法等，均可通过本领域常规技术实现，对其不做特定限制。应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

技术特征：
1.基于联邦学习的化工生产操作流程分割方法，其特征在于该方法包括以下步骤：s1：中央服务器将动作分割算法的全局模型下发给多个训练节点；s2：每个训练节点获取本地化工生产操作视频集；将本地化工生产操作视频集进行预处理并输入预训练好的动作识别模型提取得到特征序列集；s3：通过步骤s2中得到的特征序列集使用联邦学习方法对动作分割模型进行训练，最终得到泛化能力强的动作分割模型并部署到物联网系统中；s4：物联网系统在端设备实时录制化工生产操作视频并发送给边处理器，边处理器对视频利用对数据进行预处理，得到特征序列并发送给云服务器；s5：云服务器利用步骤s3部署的动作分割模型对步骤s4边处理器发送的特征序列进行动作分割识别，对识别结果进行处理得到实际操作流程并与标准操作流程进行对比分析，最终输出分析报告。2.根据权利要求1所述的基于联邦学习的化工生产操作流程分割方法，其特征在于，所述步骤s1的具体过程为：s1.1：使用动作分割算法asformer，并经初始化后得到全局模型w
global
；s1.2：将得到的全局模型w
global
下发至各训练节点；s1.3：各训练节点将全局模型w
global
加载至本地模型。3.根据权利要求1所述的基于联邦学习的化工生产操作流程分割方法，其特征在于，所述步骤s2的具体过程为：s2.1：训练节点k
i
获取本地化工生产操作视频集b
i
＝{b
d
}；s2.2：将本地视频集b
i
中每个视频的每帧图像像素大小进行调整，得到视频集m
i
＝{m
d
}，d＝1,2,3,...,d,d为视频序号，d为视频总数；s2.3：将每个视频m
d
使用滑窗的方式按时间顺序进行分割，得到t个长度为s帧的小视频o
t
；s2.4：将每个小视频o
t
输入预训练好的动作识别模型提取特征向量vec
t
；s2.5：将每个视频提取的所有特征向量vec
t
按时间顺序合成一个特征序列v
d
，特征序列v
d
构成特征序列集v
i
。4.根据权利要求1所述的基于联邦学习的化工生产操作流程分割方法，其特征在于，所述步骤s3的具体过程为：s3.1：各训练节点k
i
将处理好的特征序列集v
i
作为数据集，对本地动作分割模型进行训练，使用优化算法和损失函数进行迭代优化，在运行指定训练轮数l后得到更新后的本地模型w
node,i
；s3.2：各训练节点将更新后的本地模型w
node,i
以及训练所用数据量大小n
i
上传至所述中央服务器；s3.3：中央服务器接收到各训练节点更新后的本地模型w
node,i
和数据量大小n
i
，对各训练节点视频数据量n
i
进行处理得到对应训练节点权重w
i
；通过各个本地模型w
node,i
与相应权重w
i
加权求和得到中央服务器端的更新后的全局模型w
global
；s3.4：中央服务器将更新后的全局模型w
global
再发送到所述各训练节点进行训练；
s3.5：对s3.1-s3.4步骤重复执行指定轮数e次，中央服务器在多次训练和聚合循环中，记录每一次聚合模型的准确率、损失以及f1分数，在训练到指定轮数后，最终得到具有强泛化能力的动作分割模型。s3.6：将训练好的动作分割模型部署到物联网系统中的云服务器。5.根据权利要求1所述的基于联邦学习的化工生产操作流程分割方法，其特征在于，所述步骤s4的具体过程为：s4.1：实时检测是否有化工操作人员需要进行化工生产操作流程分析；s4.2：检测到分析需求，端设备开始实时录制视频，并实时判断操作流程是否完毕；s4.3：检测到操作流程进行完毕，将录制得到的视频b
d
发送给边处理器；s4.4：边处理器在接收到端设备发送的视频b
d
后，执行步骤s2中的预处理流程以得到特征序列v
d
并将其发送给云服务器。6.根据权利要求1所述的基于联邦学习的化工生产操作流程分割方法，其特征在于，所述步骤s5的具体过程为：s5.1：通过步骤s3部署的动作分割模型，对步骤s5中端服务器上传的特征序列v
d
进行动作分割识别，识别得到与特征序列v
d
长度相同并包含有所有动作种类信度的信度序列x
d
；s5.2：将信度序列x
d
中每个信度向量内信度值最高的动作类别判定为该信度向量代表的帧的动作类别；s5.3：将相同动作类别并排列在一起的信度向量归类为一个动作环节，并记录每个环节内从开始帧到结束帧的序号用以计算该环节持续时间；s5.4：将所有动作环节按顺序排列得到实际操作流程并与标准操作流程进行对比，生成分析报告。7.根据权利要求1所述的基于联邦学习的化工生产操作流程分割方法，其特征在于，所述分析报告内容包括：实际操作流程顺序是否符合安全生产操作规范，实际操作流程中是否有缺少环节以及每个环节的操作时间是否合理。8.一种物联网系统，包括端设备、边处理器、云服务器以及部署在边处理器与云服务器上运行的程序，其中所述边处理器和云服务器执行所述程序时实现权利要求1-7任一项所述的方法。

技术总结
本发明公开了一种基于联邦学习的化工生产操作流程分割方法，通过联邦学习策略对各训练节点的数据集进行聚合，训练得到可用的动作分割模型，再将模型部署到物联网系统云服务器上；端服务器在检测到动作分割需求，实地拍摄化工生产操作视频并发送给边处理器；边处理器对化工生产操作视频进行预处理得到特征序列并将序列发送给云服务器；云服务器通过动作分割模型对特征序列进行识别得到信度序列；对信度序列进行处理得到实际化工生产操作流程，再与标准流程进行对比分析后，生成分析报告。本发明采用动作分割模型对视频数据中的每帧图像的动作进行精准分类，可以在整个未裁剪的长视频中进行每帧图像的动作分类，极大地减少了人力浪费。人力浪费。人力浪费。


技术研发人员：黄蔚栋 俞越 张泽辉 徐晓滨 侯平智 王海泉 陈博洋
受保护的技术使用者：杭州电子科技大学
技术研发日：2023.07.05
技术公布日：2023/9/23