一种船舶大数据处理方法和系统与流程

1.本技术属于船舶技术领域，特别涉及一种船舶大数据处理方法和系统。


背景技术：

2.海洋气象探测从海洋大数据中探索气象规律，关于海洋的有效数据获取是海洋气象学研究的基础。现有技术中对于海洋气象的观测方法主要包括宏观观测和微观观测，宏观观测主要是通过气象卫星每隔一定时间按统一规定的方式和内容进行观测并发布报告；微观观测包括船舶气象仪、浮标气象站、地面气象观测。
3.气象卫星的气象观测存在以下缺点：首先是分辨率较低，其数据获取地球大气及天气信息的方式是通过测量辐射或图像观测而来的，因此其分辨率有限，通常是针对宏观地理范围发布宏观气象观测报告，而无法提供更为微观细致的天气信息；其次是云雾遮挡影响：由于天气的变化和云雾等自然现象，卫星气象数据的获取会受到影响。船舶气象观测是典型的微观观测方法，其已积累了长久的历史使用记录，为气象情报做出大量贡献，但是其存在着若干显而易见的缺点：空间分布不均匀，时间分布不连续，仅建立在船舶气象观测的海洋气象探测并不能够精确反应目标地点、目标时间的气象状况。因此，宏观气象数据精度无法达到应用需求、微观气象数据缺失及不准确的实际缺陷亟待解决。


技术实现要素：

4.针对现有技术存在的问题，本发明提供一种船舶大数据处理方法和系统，其具体为：该方法包括如下步骤：s100，船舶主控系统基于船联网向控制中心发送请求获取海洋气象状况指令；所述指令携带目标地址坐标信息及目标时间信息；s110，控制中心解析指令中目标地址坐标信息，若目标地址坐标信息覆盖范围大于等于预设阈值，则执行s120；若目标地址坐标信息覆盖范围小于所述预设阈值，则执行s130；s120，获取所述目标地址坐标信息、目标时间信息对应的卫星气象数据，并返回卫星气象数据对应的目标地址海洋气象状况，结束方法执行；s130，获取所述目标地址坐标信息对应的卫星气象数据,确定所述卫星气象数据对应的目标地址卫星观测海洋气象状况；确定目标地址坐标信息的扩展覆盖范围，确定预设时间段为时间范围，获取在所述时间范围内行驶过所述扩展覆盖范围的船舶数据集合；将船舶数据集合输入预设气象大数据模型，基于所述气象大数据模型输出所述目标地址坐标信息、目标时间信息的模型预测海洋气象状况；基于模型预测海洋气象状况对海洋气象状况进行矫正融合得到综合海洋气象状况，向所述船舶主控系统返回综合海洋气象状况。
5.一实施例中，所述矫正融合操作算法为：综合海洋气象状况=ω1*卫星观测海洋气象状况+ω2*模型预测海洋气象状况其中，ω1及ω2为加权系数，两者之和为1，且ω1与目标地址坐标信息覆盖范围正
相关，当目标地址坐标信息覆盖范围大于等于所述预设阈值，则ω1取1、ω2取0。
6.一实施例中，所述确定目标地址坐标信息的扩展覆盖范围，具体包括：确定所述目标地址坐标信息覆盖范围的质心；确定所述目标地址坐标信息距离所述质心的最远点；以所述质心为圆心，所述质心到最远点的距离为半径作圆，确定所述扩展覆盖范围。
7.一实施例中，所述气象大数据模型的训练步骤包括：s1301：构建训练样本集合；所述样本集合包含n维数据，每种数据包含的数量为m，对n维数据中的每种数据进行加权归一化处理，所述加权归一化处理包括：基于数据的来源地址相对于扩展覆盖范围中心的距离值设置权重矫正值，数据的来源地址位于扩展覆盖范围的边缘时对应最小权重矫正值，数据来源地址为扩展覆盖范围中心时对应最大权重矫正值；包含权重矫正值的样本数据进行归一化处理；对加权归一化处理后的n维数据中的每种数据以0进行缺数填补，形成n
×
m的样本集合；s1302：将训练样本数据和对应气象状况标签输入lstm网络，训练得到气象状况预测lstm模型，所述lstm网络的记忆单元包含三个门控单元，所述门控单元包括遗忘门，输入门和输出门；
8.其中，w，b分别表示对应门控的权重和偏置，σ表示激活函数sigmod，f
t
为遗忘门控制信号，i
t
为输入门控制信号，为新单元信息，c
t
为当前单元信息，c
t-1
为上一单元信息，o
t
为输出门控制信号，h
t
为当前单元输出值，h
t-1
为上一单元输出值，x
t
为当前输入数据；其中，气象数据与目标数据来源的时间、坐标存在强相关性，选择使用交叉熵损失函数作为训练的损失函数；输入门权重矩阵基于样本数据的权重矫正值进行矫正；s1303：基于验证集合对训练得到气象状况预测lstm模型进行验证。
9.一实施例中，所述船舶数据集合包括定位数据和定量数据，所述定位数据包括数据发生时间和数据来源坐标，所述定量数据包括风向数据组、风力数据组、气压数据组、气温数据组、相对湿度数据组、降雨量数据组、波浪周期及振幅数据组、光照度数据组中的一种或其组合。
10.本技术还提供一种船舶大数据处理系统，包括如下模块：指令生成模块，用于船舶主控系统基于船联网向控制中心发送请求获取海洋气象状况指令；所述指令携带目标地址坐标信息及目标时间信息；范围判断模块，用于控制中心解析指令中目标地址坐标信息，若目标地址坐标信
息覆盖范围大于等于预设阈值，则控制执行第一海洋气象状况获取模块；若目标地址坐标信息覆盖范围小于所述预设阈值，则控制执行第二海洋气象状况获取模块；第一海洋气象状况获取模块，用于获取所述目标地址坐标信息、目标时间信息对应的卫星气象数据，并返回卫星气象数据对应的目标地址海洋气象状况，结束方法执行；第二海洋气象状况获取模块，用于获取所述目标地址坐标信息对应的卫星气象数据,确定所述卫星气象数据对应的目标地址卫星观测海洋气象状况；确定目标地址坐标信息的扩展覆盖范围，确定预设时间段为时间范围，获取在所述时间范围内行驶过所述扩展覆盖范围的船舶数据集合；将船舶数据集合输入预设气象大数据模型，基于所述气象大数据模型输出所述目标地址坐标信息、目标时间信息的模型预测海洋气象状况；基于模型预测海洋气象状况对海洋气象状况进行矫正融合得到综合海洋气象状况，向所述船舶主控系统返回综合海洋气象状况。
11.一实施例中，还包括矫正融合操作模块，用于执行矫正融合操作算法：综合海洋气象状况=ω1*卫星观测海洋气象状况+ω2*模型预测海洋气象状况其中，ω1及ω2为加权系数，两者之和为1，且ω1与目标地址坐标信息覆盖范围正相关，当目标地址坐标信息覆盖范围大于等于所述预设阈值，则ω1取1、ω2取0。
12.一实施例中，还包括扩展覆盖范围获取模块，用于执行以下步骤：确定所述目标地址坐标信息覆盖范围的质心；确定所述目标地址坐标信息距离所述质心的最远点；以所述质心为圆心，所述质心到最远点的距离为半径作圆，确定所述扩展覆盖范围。
13.一实施例中，还包括气象大数据模型训练模块，包括以下子模块：样本构建子模块：用于构建训练样本集合；所述样本集合包含n维数据，每种数据包含的数量为m，对n维数据中的每种数据进行加权归一化处理，所述加权归一化处理是指，基于数据的来源地址相对于扩展覆盖范围中心的距离值设置权重矫正值，数据的来源地址位于扩展覆盖范围的边缘时对应最小权重矫正值，数据来源地址为扩展覆盖范围中心时对应最大权重矫正值；包含权重矫正值的样本数据进行归一化处理；对加权归一化处理后的n维数据中的每种数据以0进行缺数填补，形成n
×
m的样本集合；训练子模块：将训练样本数据和对应气象状况标签输入lstm网络，训练得到气象状况预测lstm模型，所述lstm网络的记忆单元包含三个门控单元，所述门控单元包括遗忘门，输入门和输出门；
14.其中，w，b分别表示对应门控的权重和偏置，σ表示激活函数sigmod，f
t
为遗忘门控制信号，i
t
为输入门控制信号，为新单元信息，c
t
为当前单元信息，c
t-1
为上一单元信息，o
t
为输出门控制信号，h
t
为当前单元输出值，h
t-1
为上一单元输出值，x
t
为当前输入数据；其中，气象数据与目标数据来源的时间、坐标存在强相关性，选择使用交叉熵损失函数作为训练的损失函数；输入门权重矩阵基于样本数据的权重矫正值进行矫正；验证和调参子模块：基于验证集合对训练得到气象状况预测lstm模型进行验证。
15.一实施例中，所述船舶数据集合包括定位数据和定量数据，所述定位数据包括数据发生时间和数据来源坐标，所述定量数据包括风向数据组、风力数据组、气压数据组、气温数据组、相对湿度数据组、降雨量数据组、波浪周期及振幅数据组、光照度数据组中的一种或其组合。
16.本发明采用上述方法或系统可至少达到以下效果：（1）基于目标区域范围的不同情况确定宏观气象数据和微观气象数据的组合，其中微观气象数据以船舶大数据为基础，通过气象大数据模型的训练、验证并进行气象预测，得到微观气象状况，从而将不同层级的气象数据进行融合，最终能够得到对应于不同区域范围层级的更为精确的气象数据和气象状况。
17.（2）在处理船舶大数据时，根据船舶数据的来源地址设置权重矫正值，训练模型基于样本数据的权重矫正值进行参数矫正，进一步提升了训练得到的模型精度以及预测精度。
18.（3）在获得的海洋气象状况为多种不同气象状况时，根据不同气象对应的区域进行区域的重新划分并确定重新划分的气象状况，进一步提升了获得的气象数据和气象状况的精确度。
附图说明
19.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅用于示意本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图中未提及的技术特征、连接关系乃至方法步骤。
20.图1是本发明实施例提供的一种船舶大数据处理的方法流程图；图2是本发明实施例提供的一种船舶大数据处理的系统组成结构图；图3是根据本发明实施例电子设备的硬件结构图。
具体实施方式
21.以下将结合附图所示的各实施方式对本技术进行详细描述。但该等实施方式并不限制本技术，本领域的普通技术人员根据该等实施方式所做出的结构、方法、或功能上的变换均包含在本技术的保护范围内。
22.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例例如能够以除
了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
23.本技术实施例所提供的一种船舶大数据处理方法和系统均可以应用于人工智能之中。人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
24.另外，人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
25.随着人工智能技术的研究和进步，人工智能技术在多个领域展开了研究和应用；例如，常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗和智能客服等；随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。在本发明实施例中，将对人工智能在船联网，特别是基于船联网的船舶作业流控的应用进行说明。
实施例一
26.如图1所示，介绍本发明提供的船舶大数据处理方法的一实施例，在本实施例中，该方法具体包括：s100，船舶主控系统基于船联网向控制中心发送请求获取海洋气象状况指令；所述指令携带目标地址坐标信息及目标时间信息。
27.本实施例中，船舶为获取气象状况的主体，其基于船联网向控制中心发送请求获取海洋气象状况指令，且指令中携带目标地址坐标信息及目标时间信息。
28.目标地址坐标信息可以为一个确定的坐标值，如具体的经纬度，也可以为多个坐标所连成的规则或不规则的多边形范围；目标时间信息为船舶希望获取气象信息的时间。用户可以通过船舶主控系统的控制面板发送上述指令，一实施例中，控制面板提供用户操作接口，通过用户操作接口展示气象地图，该地图可被控制地进行缩放，以能够提供用户选定区域操作为最低目标。用户通过选定或圈定气象地图上的需求范围作为目标地址坐标信息，向控制中心发送。
29.s110，控制中心解析指令中目标地址坐标信息，若目标地址坐标信息覆盖范围大于等于预设阈值，则执行s120；若目标地址坐标信息覆盖范围小于所述预设阈值，则执行s130。
30.本实施例中，确定目标地址坐标信息的扩展覆盖范围的具体方式为：i.确定出目标地址覆盖范围的质心（mx，my）；ii.确定目标地址坐标信息距离质心（mx，my）的最远点；iii.以质心（mx，my）为圆心，质心（mx，my）到最远点的距离为半径r作圆，确定扩展覆盖范围。
31.可以看出，目标地址坐标信息对应为孤立坐标时，将其扩展为一个预定大小的圆形区域，以该圆形区域的气象数据代表目标地址坐标的气象状况。而当目标地址坐标信息为不规则图形时，例如，用户通过控制面板提供用户操作接口选定气象地图上的某片不规则海域，或者自定义坐标点圈出某片不规则海域，此时通过上述算法将不规则图形转化为规则图形，以该规则圆形区域的气象数据代表目标地址坐标的气象状况。
32.s120，获取该目标地址坐标信息、目标时间信息对应的卫星气象数据，并返回卫星气象数据对应的目标地址海洋气象状况，结束方法执行。
33.若目标地址坐标信息覆盖范围大于等于预设阈值，则可直接基于宏观气象观测结果确定当前时间当前范围的气象状况。
34.s130，获取该目标地址坐标信息对应的卫星气象数据,确定所述卫星气象数据对应的目标地址卫星观测海洋气象状况；确定目标地址坐标信息的扩展覆盖范围，确定预设时间段为时间范围，获取在所述时间范围内行驶过所述扩展覆盖范围的船舶数据集合；将船舶数据集合输入预设气象大数据模型，基于所述气象大数据模型输出所述目标地址坐标信息、目标时间信息的模型预测海洋气象状况；基于模型预测海洋气象状况对海洋气象状况进行矫正融合操作得到综合海洋气象状况，向船舶主控系统返回综合海洋气象状况。
35.若目标地址坐标信息覆盖范围小于预设阈值，则说明宏观气象观测结果可能并不能精确代表当前范围的气象状况，此时利用海面的微观观测结果作为宏观气象观测结果的补充。海面的微观观测通常包括船舶气象仪观测数据、浮标气象仪观测数据等。
36.一实施例中，气象大数据模型经提前训练得到，其训练步骤为：s1301：构建训练样本集合；所述样本集合包含n维数据，所述n维数据包括定位数据和定量数据，例如所述定位数据为数据发生时间、数据来源坐标，所述定量数据为以下数据中之一或其组合：风向数据组、风力数据组、气压数据组、气温数据组、相对湿度数据组、降雨量数据组、波浪周期及振幅数据组、光照度数据组。
37.每种数据包含的数量为m，对n维数据中的每种数据进行加权归一化处理，所述加权归一化处理是指，基于数据的来源地址相对于扩展覆盖范围中心的距离值设置权重矫正值，数据的来源地址位于扩展覆盖范围的边缘时对应最小权重矫正值，数据来源地址为扩展覆盖范围中心时对应最大权重矫正值；例如权重矫正值范围可以为（0.9,1），其中1表示数据来源地址为扩展覆盖范围中心，例如船舶运行于扩展覆盖范围中心时气象仪所监测到的气象数据，此地址的气象数据与当前位置的气象信息的相关性最强；其中0.9表示数据来源地址为扩展覆盖范围的边缘，此地的气象数据与当前位置的气象信息的相关性最弱。上述权值也可以基于实际情况进行调整，具体调整方式为，若扩展覆盖范围相对于气象监测精度而言是一个较大的范围，边缘位置的气象数据对目标位置的气象状况影响较弱，则权重矫正值范围的左区间可以调整为较小数值，如0.2、0.5。通过权重矫正值的设置，可以提高船舶数据训练效果，提升模型的输出内容的精度,最终获得目标地址更为精确的气象状况。
38.对包含权重矫正值的样本数据进行归一化处理；归一化处理之前可以对样本数据进行清理去除无效数据保留有用数据。归一化处理后的数据在维度上整齐，便于构建和训练气象模型。对加权归一化处理后的n维数据中的每种数据以0进行缺数填补，形成n
×
m的
样本集合；s1302：将训练样本数据和对应气象状况标签输入lstm网络，训练得到气象状况预测lstm模型，所述lstm网络的记忆单元包含三个门控单元，即遗忘门，输入门和输出门；
39.其中，w，b分别表示对应门控的权重和偏置，σ表示激活函数sigmod，f
t
为遗忘门控制信号，i
t
为输入门控制信号，为新单元信息，c
t
为当前单元信息，c
t-1
为上一单元信息，o
t
为输出门控制信号，h
t
为当前单元输出值，h
t-1
为上一单元输出值，x
t
为当前输入数据；其中，气象数据与目标数据来源的时间、坐标存在强相关性，选择使用交叉熵损失函数作为训练的损失函数；输入门权重矩阵基于样本数据的权重矫正值进行矫正；s1303：基于验证集合对训练得到气象状况预测lstm模型进行验证，若验证通过则结束，否则调整lstm模型参数并重复训练步骤。
40.一实施例中，所述矫正融合操作算法为：综合海洋气象状况=ω1*卫星观测海洋气象状况+ω2*模型预测海洋气象状况其中，ω1及ω2为加权系数，两者之和为1，且符合如下规律：目标地址坐标信息覆盖范围越大，则ω1越大，当目标地址坐标信息覆盖范围大于等于所述预设阈值，则ω1取1、ω2取0；目标地址坐标信息覆盖范围越小，则ω1越小。
41.一实施例中，所述船舶数据集合内容至少包括定位数据和定量数据，所述定位数据为数据发生时间、数据来源坐标，所述定量数据为以下数据中之一或其组合：风向数据组、风力数据组、气压数据组、气温数据组、相对湿度数据组、降雨量数据组、波浪周期及振幅数据组、光照度数据组。
42.一实施例中，返回的目标地址海洋气象状况根据地域范围的不同，可以包括多种不同气象状况，当向船舶主控系统返回综合海洋气象状况包含多种不同气象状况时执行以下结果矫正：i.根据不同气象状况划分不同的区域;ii.确定各重新划分的区域的目标地址坐标信息，基于重新确定的目标地址坐标信息执行上述船舶大数据处理方法，iii.根据重新执行所得到的结果执行矫正融合操作以矫正重新划分的区域对应的气象状况。
43.不同的气象状况的船舶数据存在较大差异性，因此针对在一片区域中预测出不同天气的情况，重新划分区域并重新进行各区域的气象状况预测，能够使得船舶数据的数据
特征更为显著，从而通过气象大数据模型能够更精确地预测出该区域的气象状况。
44.一实施例中，船舶数据集合内容训练样本两者相对应。同样地，所述船舶数据集合内容至少包括定位数据和定量数据，所述定位数据为数据发生时间、数据来源坐标，所述定量数据为以下数据中之一或其组合：风向数据组、风力数据组、气压数据组、气温数据组、相对湿度数据组、降雨量数据组、波浪周期及振幅数据组、光照度数据组。
45.实施例二：如图2所示，本技术还提供一种船舶大数据处理系统，包括如下模块：指令生成模块，用于船舶主控系统基于船联网向控制中心发送请求获取海洋气象状况指令；所述指令携带目标地址坐标信息及目标时间信息；范围判断模块，用于控制中心解析指令中目标地址坐标信息，若目标地址坐标信息覆盖范围大于等于预设阈值，则控制执行第一海洋气象状况获取模块；反之，若目标地址坐标信息覆盖范围小于所述预设阈值，则控制执行第二海洋气象状况获取模块；第一海洋气象状况获取模块，用于获取所述目标地址坐标信息、目标时间信息对应的卫星气象数据，并返回卫星气象数据对应的目标地址海洋气象状况，结束方法执行；第二海洋气象状况获取模块，用于获取所述目标地址坐标信息对应的卫星气象数据,确定所述卫星气象数据对应的目标地址卫星观测海洋气象状况；确定目标地址坐标信息的扩展覆盖范围，确定预设时间段为时间范围，获取在所述时间范围内行驶过所述扩展覆盖范围的船舶数据集合；将船舶数据集合输入预设气象大数据模型，基于所述气象大数据模型输出所述目标地址坐标信息、目标时间信息的模型预测海洋气象状况；基于模型预测海洋气象状况对海洋气象状况进行矫正融合操作得到综合海洋气象状况，向船舶主控系统返回综合海洋气象状况。
46.一实施例中，还包括矫正融合操作模块，用于执行矫正融合操作算法：综合海洋气象状况=ω1*卫星观测海洋气象状况+ω2*模型预测海洋气象状况其中，ω1及ω2为加权系数，两者之和为1，且符合如下规律：目标地址坐标信息覆盖范围越大，则ω1越大，当目标地址坐标信息覆盖范围大于等于所述预设阈值，则ω1取1、ω2取0；目标地址坐标信息覆盖范围越小，则ω1越小。
47.一实施例中，还包括扩展覆盖范围获取模块，用于执行以下步骤：i.确定定出目标地址覆盖范围质心（mx，my）；ii.确定目标地址坐标信息距离质心（mx，my）的最远点；iii.以质心（mx，my）为圆心，质心（mx，my）到最远点的距离为半径r作圆，确定扩展覆盖范围。
48.一实施例中，还包括气象大数据模型训练模块，包括以下子模块：样本构建子模块：用于构建训练样本集合；所述样本集合包含n维数据，每种数据包含的数量为m，对n维数据中的每种数据进行加权归一化处理，所述加权归一化处理是指，基于数据的来源地址相对于扩展覆盖范围中心的距离值设置权重矫正值，数据的来源地址位于扩展覆盖范围的边缘时对应最小权重矫正值，数据来源地址为扩展覆盖范围中心时对应最大权重矫正值；包含权重矫正值的样本数据进行归一化处理；对加权归一化处理后的n维数据中的每种数据以0进行缺数填补，形成n
×
m的样本集合；训练子模块：将训练样本数据和对应气象状况标签输入lstm网络，训练得到气象状况预测lstm模型，所述lstm网络的记忆单元包含三个门控单元，即遗忘门，输入门和输出
门；
49.其中，w，b分别表示对应门控的权重和偏置，σ表示激活函数sigmod，f
t
为遗忘门控制信号，i
t
为输入门控制信号，为新单元信息，c
t
为当前单元信息，c
t-1
为上一单元信息，o
t
为输出门控制信号，h
t
为当前单元输出值h
t-1
为上一单元输出值，x
t
为当前输入数据；其中，气象数据与目标数据来源的时间、坐标存在强相关性，选择使用交叉熵损失函数作为训练的损失函数；输入门权重矩阵基于样本数据的权重矫正值进行矫正；验证和调参子模块：基于验证集合对训练得到气象状况预测lstm模型进行验证，若验证通过则结束，否则调整lstm模型参数并重复训练步骤。
50.一实施例中，所述船舶数据集合内容至少包括定位数据和定量数据，所述定位数据为数据发生时间、数据来源坐标，所述定量数据为以下数据中之一或其组合：风向数据组、风力数据组、气压数据组、气温数据组、相对湿度数据组、降雨量数据组、波浪周期及振幅数据组、光照度数据组。
51.本发明采用上述方法或系统可至少达到以下效果：（1）基于目标区域范围的不同情况确定宏观气象数据和微观气象数据的组合，其中微观气象数据以船舶大数据为基础，通过气象大数据模型的训练、验证并进行气象预测，得到微观气象状况，从而将不同层级的气象数据进行融合，最终能够得到对应于不同区域范围层级的更为精确的气象数据和气象状况。（2）在处理船舶大数据时，根据船舶数据的来源地址设置权重矫正值，训练模型基于样本数据的权重矫正值进行参数矫正，进一步提升了训练得到的模型精度以及预测精度。（3）在获得的海洋气象状况为多种不同气象状况时，根据不同气象对应的区域进行区域的重新划分并确定重新划分的气象状况，进一步提升了获得的气象数据和气象状况的精确度。
52.图3还示出了根据本说明书的实施例的电子设备的硬件结构图。如图3所示，电子设备30可以包括至少一个处理器31、存储器32(例如非易失性存储器)、内存33和通信接口34，并且至少一个处理器31、存储器32、内存33和通信接口34经由内部总线35连接在一起。至少一个处理器31执行在存储器32中存储或编码的至少一个计算机可读指令。
53.应该理解，在存储器32中存储的计算机可执行指令当执行时使得至少一个处理器31进行本说明书的各个实施例中以上结合图1描述的各种操作和功能。
54.在本说明书的实施例中，电子设备30可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动电子设备、智能电话、平板计
算机、蜂窝电话、个人数字助理(pda)、手持装置、消息收发设备、可佩戴电子设备、消费电子设备等等。
55.根据一个实施例，提供了一种比如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
56.在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本说明书的一部分。
57.可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd-rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
58.本领域技术人员应当理解，上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此，本说明书的保护范围应当由所附的权利要求书来限定。
59.需要说明的是，上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理客户实现，或者，有些单元可能分由多个物理客户实现，或者，可以由多个独立设备中的某些部件共同实现。
60.以上各实施例中，硬件单元或模块可以通过机械方式或电气方式实现。例如，一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器，fpga或asic)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
61.上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
62.本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所对应的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

技术特征：
1.一种船舶大数据处理方法，其特征在于，该方法包括如下步骤：s100，船舶主控系统基于船联网向控制中心发送请求获取海洋气象状况指令；所述指令携带目标地址坐标信息及目标时间信息；s110，控制中心解析指令中目标地址坐标信息，若目标地址坐标信息覆盖范围大于等于预设阈值，则执行s120；若目标地址坐标信息覆盖范围小于所述预设阈值，则执行s130；s120，获取所述目标地址坐标信息、目标时间信息对应的卫星气象数据，并返回卫星气象数据对应的目标地址海洋气象状况，结束方法执行；s130，获取所述目标地址坐标信息对应的卫星气象数据,确定所述卫星气象数据对应的目标地址卫星观测海洋气象状况；确定目标地址坐标信息的扩展覆盖范围，确定预设时间段为时间范围，获取在所述时间范围内行驶过所述扩展覆盖范围的船舶数据集合；将船舶数据集合输入预设气象大数据模型，基于所述气象大数据模型输出所述目标地址坐标信息、目标时间信息的模型预测海洋气象状况；基于模型预测海洋气象状况对海洋气象状况进行矫正融合得到综合海洋气象状况，向所述船舶主控系统返回综合海洋气象状况。2.如权利要求1所述的船舶大数据处理方法，其特征在于，对海洋气象状况进行矫正融合得到综合海洋气象状况，具体包括：综合海洋气象状况=ω1*卫星观测海洋气象状况+ω2*模型预测海洋气象状况其中，ω1及ω2为加权系数，两者之和为1，且ω1与目标地址坐标信息覆盖范围正相关，当目标地址坐标信息覆盖范围大于等于所述预设阈值，则ω1取1、ω2取0。3.如权利要求1所述的船舶大数据处理方法，其特征在于，所述确定目标地址坐标信息的扩展覆盖范围，具体包括：确定所述目标地址坐标信息覆盖范围的质心；确定所述目标地址坐标信息距离所述质心的最远点；以所述质心为圆心，所述质心到最远点的距离为半径作圆，确定所述扩展覆盖范围。4.如权利要求1所述的船舶大数据处理方法，其特征在于，所述气象大数据模型的训练步骤包括：s1301：构建训练样本集合；所述样本集合包含n维数据，每种数据包含的数量为m，对n维数据中的每种数据进行加权归一化处理，所述加权归一化处理包括：基于数据的来源地址相对于扩展覆盖范围中心的距离值设置权重矫正值，数据的来源地址位于扩展覆盖范围的边缘时对应最小权重矫正值，数据来源地址为扩展覆盖范围中心时对应最大权重矫正值；包含权重矫正值的样本数据进行归一化处理；对加权归一化处理后的n维数据中的每种数据以0进行缺数填补，形成n
×
m的样本集合；s1302：将训练样本数据和对应气象状况标签输入lstm网络，训练得到气象状况预测lstm模型，所述lstm网络的记忆单元包含三个门控单元，所述门控单元包括遗忘门，输入门和输出门；
，其中，w，b分别表示对应门控的权重和偏置，σ表示激活函数sigmod，f
t
为遗忘门控制信号，i
t
为输入门控制信号，为新单元信息，c
t
为当前单元信息，c
t-1
为上一单元信息，o
t
为输出门控制信号，h
t
为当前单元输出值，h
t-1
为上一单元输出值，x
t
为当前输入数据；其中，气象数据与目标数据来源的时间、坐标存在强相关性，选择使用交叉熵损失函数作为训练的损失函数；输入门权重矩阵基于样本数据的权重矫正值进行矫正；s1303：基于验证集合对训练得到气象状况预测lstm模型进行验证。5.如权利要求1所述的船舶大数据处理方法，其特征在于，所述船舶数据集合包括定位数据和定量数据，所述定位数据包括数据发生时间和数据来源坐标，所述定量数据包括风向数据组、风力数据组、气压数据组、气温数据组、相对湿度数据组、降雨量数据组、波浪周期及振幅数据组、光照度数据组中的一种或其组合。6.一种船舶大数据处理系统，其特征在于，包括如下模块：指令生成模块，用于船舶主控系统基于船联网向控制中心发送请求获取海洋气象状况指令；所述指令携带目标地址坐标信息及目标时间信息；范围判断模块，用于控制中心解析指令中目标地址坐标信息，若目标地址坐标信息覆盖范围大于等于预设阈值，则控制执行第一海洋气象状况获取模块；若目标地址坐标信息覆盖范围小于所述预设阈值，则控制执行第二海洋气象状况获取模块；第一海洋气象状况获取模块，用于获取所述目标地址坐标信息、目标时间信息对应的卫星气象数据，并返回卫星气象数据对应的目标地址海洋气象状况，结束方法执行；第二海洋气象状况获取模块，用于获取所述目标地址坐标信息对应的卫星气象数据,确定所述卫星气象数据对应的目标地址卫星观测海洋气象状况；确定目标地址坐标信息的扩展覆盖范围，确定预设时间段为时间范围，获取在所述时间范围内行驶过所述扩展覆盖范围的船舶数据集合；将船舶数据集合输入预设气象大数据模型，基于所述气象大数据模型输出所述目标地址坐标信息、目标时间信息的模型预测海洋气象状况；基于模型预测海洋气象状况对海洋气象状况进行矫正融合得到综合海洋气象状况，向所述船舶主控系统返回综合海洋气象状况。7.如权利要求6所述的船舶大数据处理系统，其特征在于，还包括矫正融合操作模块，用于执行矫正融合操作算法：综合海洋气象状况=ω1*卫星观测海洋气象状况+ω2*模型预测海洋气象状况其中，ω1及ω2为加权系数，两者之和为1，且ω1与目标地址坐标信息覆盖范围正相关，
当目标地址坐标信息覆盖范围大于等于所述预设阈值，则ω1取1、ω2取0。8.如权利要求6所述的船舶大数据处理系统，其特征在于，还包括扩展覆盖范围获取模块，用于执行以下步骤：确定所述目标地址坐标信息覆盖范围的质心；确定所述目标地址坐标信息距离所述质心的最远点；以所述质心为圆心，所述质心到最远点的距离为半径作圆，确定所述扩展覆盖范围。9.如权利要求6所述的船舶大数据处理系统，其特征在于，还包括气象大数据模型训练模块，包括以下子模块：样本构建子模块：用于构建训练样本集合；所述样本集合包含n维数据，每种数据包含的数量为m，对n维数据中的每种数据进行加权归一化处理，所述加权归一化处理是指，基于数据的来源地址相对于扩展覆盖范围中心的距离值设置权重矫正值，数据的来源地址位于扩展覆盖范围的边缘时对应最小权重矫正值，数据来源地址为扩展覆盖范围中心时对应最大权重矫正值；包含权重矫正值的样本数据进行归一化处理；对加权归一化处理后的n维数据中的每种数据以0进行缺数填补，形成n
×
m的样本集合；训练子模块：将训练样本数据和对应气象状况标签输入lstm网络，训练得到气象状况预测lstm模型，所述lstm网络的记忆单元包含三个门控单元，所述门控单元包括遗忘门，输入门和输出门；，其中，w，b分别表示对应门控的权重和偏置，σ表示激活函数sigmod，f
t
为遗忘门控制信号，i
t
为输入门控制信号，为新单元信息，c
t
为当前单元信息，c
t-1
为上一单元信息o
t
为输出门控制信号，h
t
为当前单元输出值，h
t-1
为上一单元输出值，x
t
为当前输入数据；其中，气象数据与目标数据来源的时间、坐标存在强相关性，选择使用交叉熵损失函数作为训练的损失函数；输入门权重矩阵基于样本数据的权重矫正值进行矫正；验证和调参子模块：基于验证集合对训练得到气象状况预测lstm模型进行验证。10.如权利要求6所述的船舶大数据处理系统，其特征在于，所述船舶数据集合包括定位数据和定量数据，所述定位数据包括数据发生时间和数据来源坐标，所述定量数据包括风向数据组、风力数据组、气压数据组、气温数据组、相对湿度数据组、降雨量数据组、波浪周期及振幅数据组、光照度数据组中的一种或其组合。

技术总结
本发明公开了一种船舶大数据处理方法和系统，该方法包括：船舶主控系统基于船联网向控制中心发送请求获取海洋气象状况指令；控制中心解析指令中目标地址坐标信息进行解析和判断，若目标地址坐标信息覆盖范围大于等于预设阈值，则执行卫星气象数据获取和返回步骤；若目标地址坐标信息覆盖范围小于预设阈值，则执行基于目标地址的模型预测海洋气象状况并对卫星气象数据对应的海洋气象状况进行矫正融合操作得到综合海洋气象状况。通过上述船舶大数据处理方法能够得到更为精确的气象数据和气象状况。和气象状况。和气象状况。


技术研发人员：王钦才
受保护的技术使用者：江苏物润船联网络股份有限公司
技术研发日：2023.09.13
技术公布日：2023/10/20