面向边缘计算基于模型分割的应用推理部署方法

1.本发明涉及的是一种分布式信息处理领域的技术，具体是一种面向边缘计算基于模型分割的应用推理部署方法。


背景技术：

2.边缘计算是一种分布式计算框架，将云服务从网络核心推向网络边缘的范式，其目标是尽可能靠近数据源和最终用户托管计算任务，使应用程序更接近物联网设备、本地终端设备或边缘服务器等数据源。现有边缘推理技术缺少在实际系统中应用部署和性能验证方法，在性能测试部分都只止步于基于模拟环境的仿真测试，缺乏在实际软硬件平台上部署ai应用，执行边缘分割推理的方法，也缺乏在实际平台上完成方法性能验证的方法的同时基于模型分割的特征数据传输优化欠佳：边缘推理可优化分割的dnn模型依旧需要通信传输的特征图数据量过大，导致传输延迟还是很难降低。


技术实现要素：

3.本发明针对现有技术存在的上述不足，提出一种面向边缘计算基于模型分割的应用推理部署方法，针对动态网络环境下，结合模型分割和特征量化技术，通过面向边缘计算的应用部署的实际可用系统，并通过动态调整的分割点决策方法，完成实际系统在图像分类和目标检测两类ai应用的性能提升验证。
4.本发明是通过以下技术方案实现的：
5.本发明涉及一种面向边缘计算基于模型分割的应用推理部署方法，在性能测试阶段，分别通过网络性能测试、客户端推理任务延时测试和服务端推理任务延时测试得到网络链路的延迟与带宽以及神经网络(dnn)各层执行的耗时，通过分割点决策方法得到最佳分割点配置；在本地推理阶段，通过获取图像后由当前客户端按照最佳分割点配置执行分割点前的推理任务，并将中继点数据经int8特征量化处理后传输至位于边缘侧的服务端；在边缘推理阶段，服务端按照相同的最佳分割点配置执行分割点后的边缘推理并执行推理任务后，将结果传回客户端，由客户端进行格式化处理并输出分类结果和检测框。
6.所述的最佳分割点配置是指：通过分割点决策方法所得的以最佳延时性能为目标的dnn推理分割决策点所处dnn模型的逻辑层位置。
7.所述的客户端推理任务延时测试和服务端推理任务延时测试是指：客户端与服务端对ai应用的dnn推理任务进行试运行，以层为单位对每一层的执行时间计时以测得各层的执行耗时。
8.优选地，为避免主机任务负载波动造成的误差，将多次运行客户端推理任务延时测试和服务端推理任务延时测试。
9.所述的dnn各层执行的耗时是指：通过推理模块硬件运算性能与网络性能信息包括：在客户端与服务端分别测试并统计dnn各层执行的耗时，从而解两端主机不同性能条件下对完成同一层推理的耗时差异。
10.所述的网络性能测试是指：将网络链路往返延时(tn)与传输延时(di/bw)叠加获得总网络延时，其中：传输延时基于实时网络带宽bw与传输数据体积di共同决定；分割点越提前，需要传输的特征图大小就越大，也就会引入更长的传输耗时。
11.在本地推理阶段和边缘推理阶段中的最佳分割点配置，采用改进后的dnn得到，该改进后的dnn包括：初始化模块、顺序转换模块以及前向传播逻辑模块，其中：初始化模块通过继承方法获得pytorch官方标准dnn的特征提取块、平均汇聚块、特征分类块，并输出给顺序转换模块；顺序转换模块利用pytorch提供的modulelist容器，将初始化模块继承的原版dnn中所有的网络层块进行铺平处理，铺平后所有层粒度的子模块都被按顺序置入一个modulelist容器；前向传播逻辑模块根据分割点配置信息，控制modulelist容器在指定序号的dnn层子模块处停止推理，并返回该模块的输出张量。
12.所述的铺平处理是指：通过把pytorch官方标准dnn封装的网络模块以层为单位进行拆分，并重新顺序封装到顺序转换模块的modulelist容器，从而在推理阶段执行模型分割时能够获取任意网络层输出。
13.所述的分割点配置信息是指：经铺平处理的层粒度的子模块{l1，l2，...，ln}以及分割点li，其中：第l1至li层网络的推理任务在客户端本地执行，l
i+1
层至ln层网络在服务端边缘执行，具体为：当客户端运行到第li层时，第li层的输出张量即本次分割任务中的中继特征数据，通过int8特征量化后发送至服务端，使得li层以后的推理任务在服务端完成。
14.所述的分割点决策方法具体包括：
15.步骤a、输入参数包括：dnn的总层数，dnn网络层集合{li|0，1，...，i，...，n}，各层输出经过int8特征量化的数据体积{di|0，1，...，i，...，n}，各层在客户端执行的耗时{tci|0，1，...，i，...，n}，各层在服务端执行的耗时{tsi|0，1，...，i，...，n}，客户端与服务端间网络的链路往返延时，客户端与服务端间网络的带宽，数据体积常数(默认取值为8)
16.步骤b、将dnn各层i假设为分割点循环测试其e2e延时性能，延时性能表示为latency＝tn+tci+tsi+s
·di
/bw。循环遍历n+1次后，e2e延时最低的分割点记为最佳分割点split，输出最佳分割点配置。技术效果
17.本发明通过int8特征量化技术解决模型分割后需要通信传输的特征图数据量过大的缺陷，相比于现有的边缘推理部署仿真技术，实现在实际软硬件系统下的分割推理部署，使得在实际动态网络环境和算力环境下的推理性能验证成为可能，能够在动态环境下评估网络通信性能和客户端服务端的计算性能，通过调整模型分割点有效的降低图像分类应用的e2e推理延时，将中继特征图的数据大小降低为原来的四分之一，有效的降低通信传输延时，提升目标检测应用的平均检查帧率。
附图说明
18.图1为本发明系统示意图；
19.图2为本发明流程图；
20.图3为实施例模型分割点获取流程图；
21.图4为实施例客户端流程分解图；
22.图5为实施例服务端流程分解图；
23.图6为实施例图像识别的e2e推理延迟效果图；
24.图7为实施例目标检测的平均检测帧率效果图。
具体实施方式
25.如图1所示，为本实施例涉及一种面向边缘计算基于模型分割的应用推理部署系统，包括：位于客户端的控制模块、图像采集模块、本地推理模块、本地通信模块和输出处理模块以及位于边缘侧的服务端的边缘通信模块和边缘推理模块，其中：控制模块在测试阶段，分别通过本地和边缘推理模块获取dnn各层执行的耗时、通过本地通信模块获取网络链路的延迟与带宽，通过分割点决策方法动态输出最佳分割点配置至推理模块；图像采集模块在推理阶段采集图像并转化为张量矩阵形式后输出至推理模块；位于客户端的本地推理模块中包含具有预训练权重的dnn，根据最佳分割点配置后对张量矩阵形式的图像执行dnn的部分层数并截取中继特征数据输出至本地通信模块经int8特征量化处理后输出至至服务端；输出处理模块接收来自通信模块的服务端推理结果并将根据任务类型以不同的方式呈现；位于服务端的边缘推理模块通过边缘通信模块接收并反int8特征量化处理由本地推理模块生成的中继特征数据，通过内置的经预训练的dnn根据控制模块生成的最佳分割点配置，将中继特征数据输入到指定的网络层，并执行推理后将输出结果通过边缘通信模块返回至客户端。
26.所述的采集图像是指：从图片文件直接解码获取图像或通过摄像头设备逐帧或定时采样获取帧图像。
27.优选地，所述的本地推理模块和边缘推理模块预先进行硬件计算性能测试并输出dnn各层在客户端和服务端执行的耗时至控制模块并用于优化分割点决策。
28.所述的本地通信模块，在本地推理完成后，将客户端的dnn输出的中继特征数据进行int8特征量化后与最佳分割点配置一同格式化生成pickle格式的二进制比特流并以http请求方式输出至至服务端。
29.所述的int8特征量化是指：基于线性量化中的非对称量化实现，即根据特征图矩阵rm中的最大张量max(rm)最小张量min(rm)确定量化系数s和零点z，然后经过四舍五入的尺度变换和截断函数后，原float32类型4byte大小的特征图矩阵rm中元素x压缩为int8类型1byte大小的特征参数xq，形成被量化的特征图矩阵rq，具体为：量化系数，具体为：量化系数零点z＝-round(min(r
map
)
·
s)-27，特征参数xq＝quantize(x，s，z)＝clip(round(s
·
x+z)，-27，2
7-1)，其中截断函数：l表示为截断上界，u表示为截断下界。
30.优选地，在性能测试阶段，本地通信模块预先测量客户端与服务端之间的网络通信质量，并将得到的网络链路的延迟与带宽输出至控制模块。
31.所述的反int8特征量化处理是指：服务端接收到的特征图矩阵rq中各元素xq会经过反量化公式，逐一变换为float32类型4byte大小的恢复为特征矩阵具体为：具体为：s和z同客户端int8特征量化过程所求得的量化系数和零点。
32.所述的控制模块包括：网络分割控制单元和图像采集控制单元，其中：网络分割控制单元在性能测试阶段根据本地和边缘推理模块反馈的dnn各层执行的耗时以及本地通信模块反馈的网络链路的延迟与带宽测试结果，进行分割点决策方法处理，得到最佳分割点配置；图像采集控制单元根据图像采集模块获取到的信息类型，进行图片解码或视频采帧的控制，实现对图像预处理方式的选择以及视频采帧帧率的选择。
33.所述的图像采集模块通过内置的图像预处理单元，基于控制模块的文件输入以及摄像头采集控制，对于图片文件直接解码获取图像，对于视频或摄像头设备则通过逐帧或定时采样获取帧图像，由此从文件或摄像头获取图像。
34.所述的本地推理模块包括：客户端计算性能测试单元和本地模型分割推理单元，其中：客户端计算性能测试单元根据测试阶段控制模块的命令进行硬件计算性能测试并输出dnn各层在客户端执行的耗时至控制模块；本地模型分割推理单元根据控制模块输出的最佳分割点配置对张量矩阵形式的图像执行dnn的分割点之前网络层的推理并截取中继特征数据，通过本地通信模块发送至服务端。
35.所述的本地通信模块包括：网络性能测试单元、int8特征量化单元和中继点数据传输单元，其中：网络性能测试单元根据测试阶段控制模块的命令进行网络性能测试，获取实时网络链路的延迟与带宽并输出至控制模块；int8特征量化单元对中继点数据进行量化处理后传输至中继点数据传输单元；中继点数据传输单元将中继点数据与最佳分割点分割配置一并格式化为pickle格式的二进制比特流后，以http请求方式输出至到服务端。
36.所述的边缘推理模块包括：服务端计算性能测试单元和边缘模型分割推理单元，其中：服务端计算性能测试单元根据测试阶段控制模块的命令进行硬件计算性能测试并输出dnn各层在服务端执行的耗时至控制模块；边缘模型分割推理单元根据边缘通信模块所收到的最佳分割点配置和反int8特征量化后的中继点数据，执行dnn的分割点之后网络层的推理并将推理结果通过边缘通信模块输出至客户端。
37.所述的边缘通信模块包括：反int8特征量化单元和推理结果传输单元，其中：反int8特征量化单元根据客户端输出至的中继点数据进行反int8特征量化处理并传输至边缘推理模块；推理结果传输单元将边缘推理模块输出的推理结果格式化并以http请求方式输出至客户端。
38.所述的输出处理模块通过内置的推理结果展示单元，根据从本地通信模块获取的服务端推理结果后，将根据任务类型以不同的方式把数据格式化并呈现给用户，对分类任务显示图片分类，对目标检测任务绘制目标检测框。
39.经过具体实际实验，在一台x86架构的高性能台式电脑作为服务端，一台arm架构的低性能笔记本电脑作为客户端。两台设备通过wi-fi(802.11ac，5ghz)无线方式连接，使用linux系统的tc工具对服务端与客户端间的基本延时与带宽进行限制，为模拟5g场景，设置上行带宽为100mps，随机丢包率为0.2％，rtt延迟为10ms。经过测试，基于vgg11模型的图像分类应用的最优e2e推理延时为123.6ms；基于ssd模型的目标检测应用的最优平均检测帧率为7.3fps。
40.如图2至图5所示，为本实施例涉及上述系统的面向边缘计算基于模型分割的应用推理部署方法，在性能测试阶段，分别通过网络性能测试、客户端推理任务延时测试和服务端推理任务延时测试得到网络链路的延迟与带宽以及dnn各层执行的耗时，通过分割点决
策方法得到最佳分割点配置；在本地推理阶段，通过获取图像后由当前客户端执行分割前的推理任务并将中继点数据经int8特征量化处理后依照最佳分割点配置传输至位于边缘侧的服务端进行边缘推理，当服务端执行推理任务并反馈结果后，通过客户端进一步格式化数据并输出分类结果和检测框。
41.本实施例通过以下方式进行推理部署及性能验证：选择基于vgg11模型的图像分类应用和基于ssd模型的目标检测应用，两者分别由imagenet和coco数据集完成权重的预训练，可选分割点通过为0到29层，以及0到23层。其中0层作为分割点时表示dnn不分割，推理任务完全卸载到服务端计算。最后层作为分割点时表示dnn不分割，推理任务完全在客户端本地计算。中继数据特征量化的量化数设置为8bit，采取非线性量化及反量化的方法。
42.当应用部署为基于vgg11模型的图像分类时，本发明有效地降低e2e推理时延，提高客户端用户的体验质量。如图6和表1所示，当分割点为21时，推理总时延较任务完全卸载到服务端计算的情况(分割点0)，降低24.8％。主要时延增益来自于传输时延的降低，以及客户端和服务端算力的协同调用。
43.表1分割点决策对图像识别推理性能影响
44.当应用部署为基于ssd模型的目标识别时，本发明有效地提升视频平均检查帧率，优化检测视频中标记框的更新频率。图7是采用int8特征量化时，各层作为分割点对检查帧率的影响图，结合表2分析得出：分割决策方法准确的选择层17为分割点，当最优分割点为17且不采取特征量化时，视频平均检测帧率为4.84，相较于任务完全卸载到服务端计算的情况提升19.8％。在此基础上采取int8特征量化优化中继数据传输，传输数据大小可以降为原来的四分之一，相应传输时延也约降为原来的四分之一，这致使平均检测帧率又提高50.8％。总的来说相较于任务完全卸载到服务端计算的情况，平均检查帧率有81％的提升。
45.表2分割点决策和特征量化对目标检测推理性能影响
46.与现有技术相比，本方法通过int8特征量化将中继特征数据的大小减小到原来的四分之一，通过分割点决策方法考虑动态环境下客户端服务端各自的硬件算力由于任务负载波动对dnn各层计算时延的影响，以及客户端服务端之间通信网络链路的延迟与带宽对于不同中继点数据的传输时延的影响，并且以遍历寻优的方式以最低e2e推理延时为目标获取分割点，因此可以有效提高推理任务的时延性能。综上，本发明在相同网络链路性能
下，传输时延性能可以理论地提高4倍，使平均检测帧率得到有效提升。
47.上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

技术特征：
1.一种面向边缘计算基于模型分割的应用推理部署方法，其特征在于，在性能测试阶段，分别通过网络性能测试、客户端推理任务延时测试和服务端推理任务延时测试得到网络链路的延迟与带宽以及神经网络各层执行的耗时，通过分割点决策方法得到最佳分割点配置；在本地推理阶段，通过获取图像后由当前客户端按照最佳分割点配置执行分割点前的推理任务，并将中继点数据经int8特征量化处理后传输至位于边缘侧的服务端；在边缘推理阶段，服务端按照相同的最佳分割点配置执行分割点后的边缘推理并执行推理任务后，将结果传回客户端，由客户端进行格式化处理并输出分类结果和检测框；所述的最佳分割点配置是指：通过分割点决策方法所得的以最佳延时性能为目标的dnn推理分割决策点所处dnn模型的逻辑层位置。2.根据权利要求1所述的面向边缘计算基于模型分割的应用推理部署方法，其特征是，所述的客户端推理任务延时测试和服务端推理任务延时测试是指：客户端与服务端对ai应用的dnn推理任务进行试运行，以层为单位对每一层的执行时间计时以测得各层的执行耗时；所述的dnn各层执行的耗时是指：通过推理模块硬件运算性能与网络性能信息包括：在客户端与服务端分别测试并统计dnn各层执行的耗时，从而解两端主机不同性能条件下对完成同一层推理的耗时差异；所述的网络性能测试是指：将网络链路往返延时(tn)与传输延时(d
i
/bw)叠加获得总网络延时，其中：传输延时基于实时网络带宽bw与传输数据体积d
i
共同决定；分割点越提前，需要传输的特征图大小就越大，也就会引入更长的传输耗时。3.根据权利要求1所述的面向边缘计算基于模型分割的应用推理部署方法，其特征是，在本地推理阶段和边缘推理阶段中的最佳分割点配置，采用改进后的dnn得到，该改进后的dnn包括：初始化模块、顺序转换模块以及前向传播逻辑模块，其中：初始化模块通过继承方法获得pytorch官方标准dnn的特征提取块、平均汇聚块、特征分类块，并输出给顺序转换模块；顺序转换模块利用pytorch提供的modulelist容器，将初始化模块继承的原版dnn中所有的网络层块进行铺平处理，铺平后所有层粒度的子模块都被按顺序置入一个modulelist容器；前向传播逻辑模块根据分割点配置信息，控制modulelist容器在指定序号的dnn层子模块处停止推理，并返回该模块的输出张量；所述的铺平处理是指：通过把pytorch官方标准dnn封装的网络模块以层为单位进行拆分，并重新顺序封装到顺序转换模块的modulelist容器，从而在推理阶段执行模型分割时能够获取任意网络层输出。4.根据权利要求1所述的面向边缘计算基于模型分割的应用推理部署方法，其特征是，所述的分割点配置信息是指：经铺平处理的层粒度的子模块{l1，l2，...，l
n
}以及分割点l
i
，其中：第l1至l
i
层网络的推理任务在客户端本地执行，l
i+1
层至l
n
层网络在服务端边缘执行，具体为：当客户端运行到第l
i
层时，第l
i
层的输出张量即本次分割任务中的中继特征数据，通过int8特征量化后发送至服务端，使得l
i
层以后的推理任务在服务端完成。5.根据权利要求1所述的面向边缘计算基于模型分割的应用推理部署方法，其特征是，所述的分割点决策方法具体包括：步骤a、输入参数包括：dnn的总层数，dnn网络层集合{l
i
|0，1，...，i，...，n}，各层输出经过int8特征量化的数据体积{d
i
|0，1，...，i，...，n}，各层在客户端执行的耗时{tc
i
|0，
1，...，i，...，n}，各层在服务端执行的耗时{ts
i
|0，1，...，i，
…
，n}，客户端与服务端间网络的链路往返延时，客户端与服务端间网络的带宽，数据体积常数；步骤b、将dnn各层i假设为分割点循环测试其e2e延时性能，延时性能表示为latency＝tn+tc
i
+ts
i
+s
·
d
i
/bw，循环遍历n+1次后，e2e延时最低的分割点记为最佳分割点split，输出最佳分割点配置。6.一种实现权利要求1-5中任一所述面向边缘计算基于模型分割的应用推理部署方法的系统，其特征在于，包括：位于客户端的控制模块、图像采集模块、本地推理模块、本地通信模块和输出处理模块以及位于边缘侧的服务端的边缘通信模块和边缘推理模块，其中：控制模块在测试阶段，分别通过本地和边缘推理模块获取dnn各层执行的耗时、通过本地通信模块获取网络链路的延迟与带宽，通过分割点决策方法动态输出最佳分割点配置至推理模块；图像采集模块在推理阶段采集图像并转化为张量矩阵形式后输出至推理模块；位于客户端的本地推理模块中包含具有预训练权重的dnn，根据最佳分割点配置后对张量矩阵形式的图像执行dnn的部分层数并截取中继特征数据输出至本地通信模块经int8特征量化处理后输出至至服务端；输出处理模块接收来自通信模块的服务端推理结果并将根据任务类型以不同的方式呈现；位于服务端的边缘推理模块通过边缘通信模块接收并反int8特征量化处理由本地推理模块生成的中继特征数据，通过内置的经预训练的dnn根据控制模块生成的最佳分割点配置，将中继特征数据输入到指定的网络层，并执行推理后将输出结果通过边缘通信模块返回至客户端；所述的本地推理模块和边缘推理模块预先进行硬件计算性能测试并输出dnn各层在客户端和服务端执行的耗时至控制模块并用于优化分割点决策；所述的本地通信模块，在本地推理完成后，将客户端的dnn输出的中继特征数据进行int8特征量化后与最佳分割点配置一同格式化生成pickle格式的二进制比特流并以http请求方式输出至至服务端。7.根据权利要求6所述的系统，其特征是，所述的int8特征量化是指：基于线性量化中的非对称量化实现，即根据特征图矩阵r
m
中的最大张量max(r
m
)最小张量min(r
m
)确定量化系数s和零点z，然后经过四舍五入的尺度变换和截断函数后，原float32类型4byte大小的特征图矩阵r
m
中元素x压缩为int8类型1byte大小的特征参数x
q
，形成被量化的特征图矩阵r
q
，具体为：量化系数零点z＝-round(min(r
map
)
·
s)-27，特征参数x
q
＝quantize(x，s，z)＝clip(round(s
·
x+z)，-27，2
7-1)，其中截断函数：l表示为截断上界，u表示为截断下界；所述的反int8特征量化处理是指：服务端接收到的特征图矩阵r
q
中各元素x
q
会经过反量化公式，逐一变换为float32类型4byte大小的恢复为特征矩阵具体为：具体为：s和z同客户端int8特征量化过程所求得的量化系数和零点。8.根据权利要求6所述的系统，其特征是，所述的控制模块包括：网络分割控制单元和图像采集控制单元，其中：网络分割控制单元在性能测试阶段根据本地和边缘推理模块反馈的dnn各层执行的耗时以及本地通信模块反馈的网络链路的延迟与带宽测试结果，进行
分割点决策方法处理，得到最佳分割点配置；图像采集控制单元根据图像采集模块获取到的信息类型，进行图片解码或视频采帧的控制，实现对图像预处理方式的选择以及视频采帧帧率的选择。9.根据权利要求6所述的系统，其特征是，所述的本地推理模块包括：客户端计算性能测试单元和本地模型分割推理单元，其中：客户端计算性能测试单元根据测试阶段控制模块的命令进行硬件计算性能测试并输出dnn各层在客户端执行的耗时至控制模块；本地模型分割推理单元根据控制模块输出的最佳分割点配置对张量矩阵形式的图像执行dnn的分割点之前网络层的推理并截取中继特征数据，通过本地通信模块发送至服务端。10.根据权利要求6所述的系统，其特征是，所述的边缘推理模块包括：服务端计算性能测试单元和边缘模型分割推理单元，其中：服务端计算性能测试单元根据测试阶段控制模块的命令进行硬件计算性能测试并输出dnn各层在服务端执行的耗时至控制模块；边缘模型分割推理单元根据边缘通信模块所收到的最佳分割点配置和反int8特征量化后的中继点数据，执行dnn的分割点之后网络层的推理并将推理结果通过边缘通信模块输出至客户端。

技术总结
一种面向边缘计算基于模型分割的应用推理部署方法，在性能测试阶段，分别通过网络性能测试、客户端推理任务延时测试和服务端推理任务延时测试得到网络链路的延迟与带宽以及神经网络(DNN)各层执行的耗时，通过分割点决策方法得到最佳分割点配置；在本地推理阶段，通过获取图像后由当前客户端按照最佳分割点配置执行分割点前的推理任务，并将中继点数据经int8特征量化处理后传输至位于边缘侧的服务端；在边缘推理阶段，服务端按照相同的最佳分割点配置执行分割点后的边缘推理并执行推理任务后，将结果传回客户端，由客户端进行格式化处理并输出分类结果和检测框。本发明通过面向边缘计算的应用部署的实际可用系统，并通过动态调整的分割点决策方法，完成实际系统在图像分类和目标检测两类AI应用的性能提升验证。证。证。


技术研发人员：孙彦赞 叶新瑞 潘广进 张舜卿 陈小静
受保护的技术使用者：上海大学
技术研发日：2023.03.16
技术公布日：2023/7/18