一种多模态数据采集传输通信方法与流程

1.本发明涉及通信技术领域，具体为一种多模态数据采集传输通信方法。


背景技术：

2.多模态采集传输是指在工业、医疗现场，利用多种传感器或设备，采集不同类型的数据，如图像、温度、压力、流量、电流、视频、声音等，并通过无线或有线的方式，将数据传输到云端或本地服务器进行存储、分析和应用，多模态采集传输的问题有以下几个方面：1、数据协议不统一：工业现场存在多种工业协议标准，如modbus、opc、can、zigbee、rtmp、rtsp、webrtc等，不同的接入口，如视频的hdmi、vga、dp、usb、232、rj45网络口等，而且各个自动化设备生产及集成商还会自己开发各种私有的工业协议，导致各种协议标准不统一、互不兼容，增加了数据采集和传输的难度和成本；2、控制页面不统一：各类设备的控制页面存在不同的开发语言，页面形态差异；3、数据实时性要求高：工业数据采集的一个很大特点是实时性，包括数据采集的实时性以及数据处理的实时性。数据采集的实时性要求传感器或设备能够及时地将数据发送到云端或本地服务器，避免数据丢失或延迟。数据处理的实时性要求云端或本地服务器能够及时地对数据进行分析和应用，为工业生产提供决策支持或反馈控制；4、不同的优先级要求：多模态数据中，根据实际环境的需求，不同模态的数据重要性是有不同的，比如在某些监控视频的就不如设备仪表盘参数重要，在带宽、性能不足时，应该优先保证设备参数的传输，而不同环境的模态的优先级可能会各不相同；5、数据安全性要求高：数据涉及到工业生产、医疗领域的各个环节，包括设备状态、生产参数、产品质量等，对于企业、医院来说，这些数据是非常重要和敏感的，一旦被泄露或篡改，可能会造成严重的经济损失或安全事故。因此，数据采集和传输需要保证数据的安全性，防止数据被恶意攻击或破坏；6、数据规模巨大：随着工业物联网的发展，工业现场的传感器或设备越来越多，采集的数据类型越来越丰富，如视频、声音、图片等多模态数据。这些数据量非常大，对于数据存储和传输提出了更高的要求。例如，视频传输所需带宽巨大，如果需要将视频通过互联网传输到云端，可能会遇到网络拥塞或延迟的问题；7、现有的多模态数据传输，往往根据数据源的协议，采用多个不同通信协议各自传输，导致网络容易拥塞、延迟各不相同、效率低、环节多管理复杂，容易出错；为了解决以上的多模态采集传输问题，我们提出了一种多模态数据采集传输通信方法。


技术实现要素：

3.解决的技术问题针对现有技术所存在的上述缺点，本发明提供了一种多模态数据采集传输通信方法，能够有效地解决现有技术的问题。
4.技术方案
为实现以上目的，本发明通过以下技术方案予以实现：本发明公开了一种多模态数据采集传输通信方法，包括以下步骤：s1、采集多模态数据：根据各个模态的数据类型、协议，通过物联网关等硬件，采集数据流，通过多模态数据采集管理中间件api进行配置，将设备端推送数据到多模态数据采集管理中间件，或者中间件按设备地址、账户、密钥去设备端拉取数据；s2、设置各个模态的优先级排序：通过多模态数据采集管理中间件得到已采集的模态的实时数据，根据实时数据的重要性设置其优先级排序，有限保障数据的宽带和通断；s3、采集数据的与服务器的对接：通过采集的模态的实时数据的协议和格式分别推送到通信服务器模块，由应用服务器、流媒体之间相互配合实现对实时数据的远程监看、控制、管理；s4、传输过程的监管：通过多模态数据采集管理中间件对实时数据的传输情况进行监控，当出现传输拥塞、网络带宽不足、连接中断等异常时，根据优先级顺序，从最低优先级开始限流或断流，网络恢复再依优先级进行恢复传输，动态调配带宽，保障重要数据的优先传递；s5、调整输出数据格式：将实时数据统一调制成相应协议格式，按照输出的各平台服务器需求，输送到相应的服务器和终端。
5.更近一步地说，所述多模态数据采集管理中间件包含spring cloud微服务开发框架、nacos端口、gateway网关组件和netty网络通信构架。
6.更近一步地说，所述spring cloud微服务开发框架包含但不仅限于服务注册与发现负载均衡及服务调用。
7.更近一步地说，所述nacos端口包含但不仅限于服务注册、服务发现及配置中心。
8.更近一步地说，所述gateway网关组件用于管理和转发请求，且gateway网关组件提供但不仅限于提供路由及过滤器功能。
9.更近一步地说，所述netty网络通信构架用于带宽优先级检测管理。
10.更近一步地说，所述调整输出数据格式的步骤包括：s201、初始化信噪比和信噪比偏移量；s202、初始化cqi上报次数和累加值；s203、cqi统计更新记录；s204、判断cqi次数是否达到n，如果否，则返回步骤s203；如果是，则执行步骤s204（a）：对cqi进行过滤处理；s205、对保留的cqi进行平均运算，将运算结果作为当前信道质量指示，根据该信道质量指示得到当前信噪比；s206、统计ack正向反馈和nack负向反馈的比值得到误块率bler；s207、判断误块率bler是否大于3
‰
，如果否，则执行步骤s207（a）：更新信噪比偏移量，将其加大，增加量为预设步长乘以上调因子，进入步骤s209；如果是，则执行步骤s208；s208、判断所述误块率是否大于7
‰
，若大于，则执行步骤s208（a）：更新信噪比偏移量，将其减小，减小值为预设步长乘以下调因子；s209、将当前的t_snr和snr_offset求和得到等效的snr；
s2010、根据等效snr查找编码调制表，即snr和mcs的对应表，获得下一个tti匹配使用的mcs；s2011、根据选择mcs对应的编码调制格式进行编码调制。
11.更近一步地说，所述s201中，信噪比初始化为较低值且信噪比便宜量初始化为零。
12.更近一步地说，所述s203中，基站侧等待cqi上报，发现ue上报cqi后记下此次ue发送的cqi的值cqi[cqi_cnt]，并将上报次数cqi_cnt加一。
[0013]
更近一步地说，所述数据传输步骤为：s301、新增设备数据流判断数据协议获取方式，若为拉取型数据流，则进行s301（a）步骤；若为推送型数据流，则进行s301（b）；s301（a）：选择通信协议、填入设备拉流地址及密码，程序通过gateway拉取设备数据；s301（b）：选择通信协议、生成推流地址，地址填入设备；s302、数据流接收；s303、数据校验，若正常，则进行下一流程；若存在问题，则排查数据问题，返回s301步骤；s304、数据流宽带控制；s305、对输出带宽检测，若正常，则进入下一步骤；若带宽不足，则进行s304(a)：数据流优先级列表反馈优先级结果，并返回s304步骤；s306、数据流输出。
[0014]
采用本发明提供的技术方案，与已知的公有技术相比，具有如下有益效果：本发明通过配置的多模态数据采集管理中间件，适配目前主流的物联网设备，兼容绝大部分的物联网关和通信接口，简便了各种数据采集传输的复杂适配过程，一站式完成数据采集传输，且可进行多模态多通道的数据流优先级管理，适解决当下多模态传输过程低延迟、大带宽、高并发的问题，充分地使用带宽资源。
附图说明
[0015]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]
图1为本发明的软件架构图；图2为本发明的编码调制自适应流程图；图3为本发明的数据传输步骤流程图。
实施方式
[0017]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0018]
下面结合实施例对本发明作进一步的描述。
实施例
[0019]
本实施例的一种多模态数据采集传输通信方法，如图1-3所示，包括以下步骤：s1、采集多模态数据：根据各个模态的数据类型、协议，通过物联网关等硬件，采集数据流，通过多模态数据采集管理中间件api进行配置，将设备端推送数据到多模态数据采集管理中间件，或者中间件按设备地址、账户、密钥去设备端拉取数据；s2、设置各个模态的优先级排序：通过多模态数据采集管理中间件得到已采集的模态的实时数据，根据实时数据的重要性设置其优先级排序，有限保障数据的宽带和通断；s3、采集数据的与服务器的对接：通过采集的模态的实时数据的协议和格式分别推送到通信服务器模块，由应用服务器、流媒体之间相互配合实现对实时数据的远程监看、控制、管理；s4、传输过程的监管：通过多模态数据采集管理中间件对实时数据的传输情况进行监控，当出现传输拥塞、网络带宽不足、连接中断等异常时，根据优先级顺序，从最低优先级开始限流或断流，网络恢复再依优先级进行恢复传输，动态调配带宽，保障重要数据的优先传递；s5、调整输出数据格式：将实时数据统一调制成相应协议格式，按照输出的各平台服务器需求，输送到相应的服务器和终端。
[0020]
如图1所示，多模态数据采集管理中间件包含spring cloud微服务开发框架、nacos注册中心、gateway网关组件和netty网络通信构架，而且多模态数据采集管理中间件是采用java语言，实现兼容主流通信协议，统一快速对接采集端的不同通信协议api，让不同的通信协议通过一套中间件模块实现快速方便的通信对接；可独立设置每个数据采集的数据流优先级，根据优先级的定义，动态分配带宽和管理通断；多模态数据采集管理中间件高效的传递数据流，增加的延迟控制在50ms以内，保障整体的延迟不会增加过多；模块具有高可用性，在连接中断、网络波动等异常情况下能够及时重新连接，保障传输稳定安全。
[0021]
如图1所示，spring cloud微服务开发框架包含但不仅限于服务注册与发现负载均衡及服务调用，通过使用spring cloud来构建和管理微服务架构，可以实现多模态数据采集管理中间件的整体架构和服务治理。
[0022]
如图1所示，nacos端口包含但不仅限于服务注册、服务发现及配置中心。
[0023]
如图1所示，gateway网关组件用于管理和转发请求，且gateway网关组件提供但不仅限于提供路由及过滤器功能。
[0024]
如图1所示，netty网络通信构架用于带宽优先级检测管理。
[0025]
如图2所示，调整输出数据格式的步骤包括：s201、初始化信噪比和信噪比偏移量；信噪比初始化为较低值以提高系统接入能力，信噪比偏移量初始化为0。
[0026]
s202、初始化cqi上报次数和累加值，即令cqi_cnt=0，cqi累加值cqi_sum=0；s203、cqi统计更新记录；s204、判断cqi次数是否达到n，如果否，则返回步骤s203；如果是，则执行步骤s204（a）：对cqi进行过滤处理；
s205、对保留的cqi进行平均运算，将运算结果作为当前信道质量指示，根据该信道质量指示得到当前信噪比；s206、统计ack正向反馈和nack负向反馈的比值得到误块率bler；s207、判断误块率bler是否大于3
‰
，如果否，则执行步骤s207（a）：更新信噪比偏移量，将其加大，增加量为预设步长乘以上调因子，进入步骤s209；如果是，则执行步骤s208；s208、判断误块率是否大于7
‰
，若大于，则执行步骤s208（a）：更新信噪比偏移量，将其减小，减小值为预设步长乘以下调因子；s209、将当前的t_snr和snr_offset求和得到等效的snr；s2010、根据等效snr查找编码调制表，即snr和mcs的对应表，获得下一个tti匹配使用的mcs；s2011、根据选择mcs对应的编码调制格式进行编码调制，以上步骤基于lte系统中下行链路的编码调制自适应过程作为场景。
[0027]
如图2所示，步骤s201中，信噪比初始化为较低值且信噪比便宜量初始化为零。
[0028]
如图2所示，步骤s203中，基站侧等待cqi上报，发现ue上报cqi后记下此次ue发送的cqi的值cqi[cqi_cnt]，并将上报次数cqi_cnt加一。
[0029]
如图3所示，数据传输步骤为：s301、新增设备数据流判断数据协议获取方式，若为拉取型数据流，则进行s301（a）步骤；若为推送型数据流，则进行s301（b）；s301（a）：选择通信协议、填入设备拉流地址及密码，gateway拉取设备数据；s301（b）：选择通信协议、生成推流地址，地址填入设备；s302、数据流接收；s303、数据校验，若正常，则进行下一流程；若存在问题，则排查数据问题，返回s301步骤；s304、数据流宽带控制；s305、对输出带宽检测，若正常，则进入下一步骤；若带宽不足，则进行s304(a)：数据流优先级列表反馈优先级结果，并返回s304步骤；s306、数据流输出。
[0030]
综上，通过上述步骤不仅将cqi作为判断信道好坏的依据，通过误块率（数据传输块的错误率）作为判断信道好坏的依据，同时通过对误码率的统计结果来修正基于cqi得到的信道情况，降低判断出来的信道好坏与实际不符的情况，进而使得选择的编码调制方式贴近当前信道所需，以充分合理的利用无线资源，从而可以减少无线资源的浪费，且通过多模态采集方法，在采集端兼容各协议内容，通过数据传输的动态调控方法保证重要数据的优先传输，通过数据通道优先级监控方法，实现对数据流的监控和管理。
[0031]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种多模态数据采集传输通信方法，包括以下步骤：s1、采集多模态数据：根据各个模态的数据类型、协议，通过物联网关等硬件，采集数据流，通过多模态数据采集管理中间件api进行配置，将设备端推送数据到多模态数据采集管理中间件，或者中间件按设备地址、账户、密钥去设备端拉取数据；s2、设置各个模态的优先级排序：通过多模态数据采集管理中间件得到已采集的模态的实时数据，根据实时数据的重要性设置其优先级排序，有限保障数据的宽带和通断；s3、采集数据的与服务器的对接：通过采集的模态的实时数据的协议和格式分别推送到通信服务器模块，由应用服务器、流媒体之间相互配合实现对实时数据的远程监看、控制、管理；s4、传输过程的监管：通过多模态数据采集管理中间件对实时数据的传输情况进行监控，当出现传输拥塞、网络带宽不足、连接中断等异常时，根据优先级顺序，从最低优先级开始限流或断流，网络恢复再依优先级进行恢复传输，动态调配带宽，保障重要数据的优先传递；s5、调整输出数据格式：将实时数据统一调制成相应协议格式，按照输出的各平台服务器需求，输送到相应的服务器和终端。2.根据权利要求1所述的一种多模态数据采集传输通信方法，其特征在于：所述多模态数据采集管理中间件包含spring cloud微服务开发框架、nacos注册中心、gateway网关组件和netty网络通信构架。3.根据权利要求2所述的一种多模态数据采集传输通信方法，其特征在于：所述spring cloud微服务开发框架包含但不仅限于服务注册与发现负载均衡及服务调用。4.根据权利要求2所述的一种多模态数据采集传输通信方法，其特征在于：所述nacos包含但不仅限于服务注册、服务发现及配置中心。5.根据权利要求2所述的一种多模态数据采集传输通信方法，其特征在于：所述gateway网关组件用于管理和转发请求，且gateway网关组件提供但不仅限于提供路由及过滤器功能。6.根据权利要求2所述的一种多模态数据采集传输通信方法，其特征在于：所述netty网络通信构架用于带宽优先级检测管理。7.根据权利要求1所述的一种多模态数据采集传输通信方法，所述调整输出数据格式的步骤包括：s201、初始化信噪比和信噪比偏移量；s202、初始化cqi上报次数和累加值；s203、cqi统计更新记录；s204、判断cqi次数是否达到n，如果否，则返回步骤s203；如果是，则执行步骤s204（a）：对cqi进行过滤处理；s205、对保留的cqi进行平均运算，将运算结果作为当前信道质量指示，根据该信道质量指示得到当前信噪比；s206、统计ack正向反馈和nack负向反馈的比值得到误块率bler；s207、判断误块率bler是否大于3
‰
，如果否，则执行步骤s207（a）：更新信噪比偏移量，将其加大，增加量为预设步长乘以上调因子，进入步骤s209；如果是，则执行步骤s208；
s208、判断所述误块率是否大于7
‰
，若大于，则执行步骤s208（a）：更新信噪比偏移量，将其减小，减小值为预设步长乘以下调因子；s209、将当前的t_snr和snr_offset求和得到等效的snr；s2010、根据等效snr查找编码调制表，即snr和mcs的对应表，获得下一个tti匹配使用的mcs；s2011、根据选择mcs对应的编码调制格式进行编码调制。8.根据权利要求7所述的一种多模态数据采集传输通信方法，其特征在于：所述s201中，信噪比初始化为较低值且信噪比便宜量初始化为零。9.根据权利要求7所述的一种多模态数据采集传输通信方法，其特征在于：所述s203中，基站侧等待cqi上报，发现ue上报cqi后记下此次ue发送的cqi的值cqi[cqi_cnt]，并将上报次数cqi_cnt加一。10.根据权利要求1所述的一种多模态数据采集传输通信方法，所述数据传输步骤为：s301、新增设备数据流判断数据协议获取方式，若为拉取型数据流，则进行s301（a）步骤；若为推送型数据流，则进行s301（b）；s301（a）：选择通信协议、填入设备拉流地址及密码，程序通过gateway拉取设备数据；s301（b）：选择通信协议、生成推流地址，地址填入设备；s302、数据流接收；s303、数据校验，若正常，则进行下一流程；若存在问题，则排查数据问题，返回s301步骤；s304、数据流宽带控制；s305、对输出带宽检测，若正常，则进入下一步骤；若带宽不足，则进行s304(a)：数据流优先级列表反馈优先级结果，并返回s304步骤；s306、数据流输出。

技术总结
本发明涉及通信技术领域，且公开了一种多模态数据采集传输通信方法，包括以下步骤，S1、采集多模态数据；S2、设置各个模态的优先级排序；S3、采集数据的与服务器的对接；S4、传输过程的监管；S5、调整输出数据格式。本发明通过配置的多模态数据采集管理中间件，适配目前主流的物联网设备，兼容绝大部分的物联网关和通信接口，简便了各种数据采集传输的复杂适配过程，一站式完成数据采集传输，且可进行多模态多通道的数据流优先级管理，适解决当下多模态传输过程低延迟、大带宽、高并发的问题，充分地使用带宽资源。使用带宽资源。使用带宽资源。


技术研发人员：林添如 李炜钦 黄鹏 王岗 孙平杰夫 马清华
受保护的技术使用者：深圳市桓健科技有限公司
技术研发日：2023.06.12
技术公布日：2023/8/30