一种自然资源多源数据融合方法与流程

1.本发明涉及数据处理技术领域，具体为一种自然资源多源数据融合方法。


背景技术：

2.自然资源由机构调整后的自然资源部门统一管理，包括山、水、林、田、湖、草、沙。自然资源数据来自机构调整前的多个管理部门，各管理部门的部门标准和侧重点存在局部差异，形成了自然资源多源矢量数据。在实际情况中，根据需要，可以在自然资源多源矢量数据中选取基础数据和专题数据，将基础数据和专题数据融合以得到满足要求的融合数据；自然资源的调查工作与已开展的第三次全国国土调查工作相比，其调查内容涵盖范围更广，涉及到水流、森林、草地、荒地、滩涂、海洋等各类自然资源及其随着季节、年份不断变化的过程。这就需要充分借鉴为国土调查和各类专项自然资源调查数据建库与管理系统开发的经验，充分表达各类自然资源的时空特征；在自然资源统一调查监测的形势下，迫切需要以国土三调数据为基础，对各类资源数据开展数据整合工作，但是现有技术不能完全解决目前自然资源多源矢量数据融合中所存在的由于业务的并发性和异步性必然导致多业务数据在空间、属性和时间上的冲突的问题，鉴于此提出一种自然资源多源数据融合方法。


技术实现要素：

3.本发明的目的在于提供一种自然资源多源数据融合方法，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供如下技术方案：一种自然资源多源数据融合方法，包括以下步骤；步骤一、dem和遥感影像数据采集：数据源包括基础地理信息数据、土地资源信息数据、水利资源信息数据、海洋资源信息数据、林业资源信息数据和气象资源信息数据；步骤二、数据存储：包括离线数据存储和实时数据存储；步骤三、将dem和遥感影像数据的叠加融合，构建基础地形模型，作为基础数据底层数据平台；步骤四、在gis平台中中提取基础地理要素的矢量数据，通过三维扩展模块提供的空间拉伸功能实现批量三维建模；步骤五、精细模型与三维地形的无缝融合，得到与三维地形相贴合的三维图形数据；步骤六、通过冲突检测工具对涉及图形的图斑、图面更新过程进行冲突检测,对检测到的冲突进行分类汇总；步骤七、根据冲突的关联性，判断冲突图斑图面之间是否有继承关系、拓扑关系以及属性关系，然后采用相应的约束规则进行技术融合；
步骤八、对融合后的成果数据进行图形质检，在质检合格的情况下保存/导出成果数据至自然资源多源数据管理库。
5.优选的，步骤一中：所述数据采集过程包括离线采集和实时采集；所述离线采集通过sql方式来采集数据库的数据，利用sqoop将关系数据库管理系统中的数据导入到hadoop分布式文件系统hdfs中，在hadoop mapreduce框架下完成数据转换任务，进而为数据融合提供基础数据源；所述实时数据采集采用的是脚本采集和分布式实时志采集系统；其中，所述脚本采集从数据库或网站上获取数据，并将其存储为统一的本地文件数据，所述分布式实时志采集系统用于抓取不同服务器上的海量日志信息。
6.优选的，步骤二中：所述离线数据存储使用hdfs或hbase存储离线采集的数据；所述实时数据存储采用分布式nosql数据库，利用redis作为缓存数据库，供用户存储流式数据。
7.优选的，所述精细模型与三维地形的无缝融合包括以下步骤：s1、从卫星影像获取模型底图并赋予投影信息，并提取重点类型的矢量边界数据；s2、根据检测到的数据绘制精确的图形；s3、将数据导入sketchup环境下通过图形设计、模型构建、纹理贴图、光照渲染等步骤建立精细场景模型，最后经插件转换将模型返回gis平台中 环境，实现无缝融合。
8.优选的，通过冲突检测方法，得到不同的冲突类型；y1、根据图形的图斑对象之间的继承关系、拓扑关系、属性关系，建立了图斑变更冲突归纳库；y2、以此为基础，对冲突进行归纳。
9.优选的，所述继承关系为主前提条件，拓扑关系、属性关系为辅助前提条件，将不同冲突类型归纳为空间约束冲突、属性约束冲突、时间约束冲突三种类型。
10.优选的，所述自然资源多源数据管理库能够实现数据的导入导出、二三维浏览、数据转换、数据处理、自动赋值、数据质检、查询统计、成果输出。
11.本发明提出的一种自然资源多源数据融合方法，有益效果在于：1、本发明对各类数据融合产生的冲突进行归纳，依据领域知识进行冲突的协调，建立冲突协调领域服务，制定多业务数据融合策略，构建多业务数据融合模型，实现多业务数据的融合，达到自然资源数据更新的目的；2、本发明能构建自然资源三维动态信息系统，保证了自然资源调查数据成果的三维特征完整性和时空信息完整性，同时也为进一步开展自然资源统一确权登记工作提供了完整可靠的依据。
实施方式
12.下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施
例，都属于本发明保护的范围。
13.实施例，本发明提供一种技术方案：一种自然资源多源数据融合方法，包括以下步骤；步骤一、dem和遥感影像数据采集：数据源包括基础地理信息数据、土地资源信息数据、水利资源信息数据、海洋资源信息数据、林业资源信息数据和气象资源信息数据；所述数据采集过程包括离线采集和实时采集；所述离线采集通过sql方式来采集数据库的数据，利用sqoop将关系数据库管理系统中的数据导入到hadoop分布式文件系统hdfs中，在hadoop mapreduce框架下完成数据转换任务，进而为数据融合提供基础数据源；所述实时数据采集采用的是脚本采集和分布式实时志采集系统；其中，所述脚本采集从数据库或网站上获取数据，并将其存储为统一的本地文件数据，所述分布式实时志采集系统用于抓取不同服务器上的海量日志信息；步骤二、数据存储：包括离线数据存储和实时数据存储；所述离线数据存储使用hdfs或hbase存储离线采集的数据；所述实时数据存储采用分布式nosql数据库，利用redis作为缓存数据库，供用户存储流式数据；步骤三、将dem和遥感影像数据的叠加融合，构建基础地形模型，作为基础数据平台；步骤四、在gis平台中中提取基础地理要素的矢量数据，通过三维扩展模块提供的空间拉伸功能实现批量三维建模；步骤五、精细模型与三维地形的无缝融合，得到图形数据；所述精细模型与三维地形的无缝融合包括以下步骤：s1、从卫星影像获取模型底图并赋予投影信息，并提取重点类型的矢量边界数据；s2、根据检测到的数据绘制精确的图形；s3、将数据导入sketchup环境下通过图形设计、模型构建、纹理贴图、光照渲染等步骤建立精细场景模型，最后经插件转换将模型返回gis平台中 环境，实现无缝融合；步骤六、通过冲突检测工具对图形的图斑图面更新过程进行冲突检测,对检测到的冲突进行分类汇总；通过冲突检测方法，得到不同的冲突类型；y1、根据图形的图斑对象之间的继承关系、拓扑关系、属性关系，建立了图斑变更冲突归纳库；y2、以此为基础，对冲突进行归纳；所述继承关系为主前提条件，拓扑关系、属性关系为辅助前提条件，将不同冲突类型归纳为空间约束冲突、属性约束冲突、时间约束冲突三种类型；步骤七、根据冲突的关联性，判断冲突图斑图面之间是否有继承关系、拓扑关系以及属性关系，然后采用相应的规则约束融合技术进行融合；步骤八、对融合后的所述成果数据进行图形质检，在质检合格的情况下保存/导出成果数据至自然资源多源数据管理库；所述自然资源多源数据管理库能够实现数据的导入导出、二三维浏览、数据转换、
数据处理、自动赋值、数据质检、查询统计、成果输出；自然资源多源数据管理库包括：数据转换模块，用于将收集获得的专题数据根据规范进行转换，转换为符合数据库标准格式的二三维自然资源数据；数据处理模块，用于对转换后的自然资源数据进行地图符号化、注记数据生成、图幅结合表生成、不一致数据提取、数据变更修改等操作，使数据规范化；自动赋值模块，用于根据数据字典及空间关系对数据进行属性赋值，依据编码规则对自然资源数据进行自动编号，结合三维数据对登记单元、区块面积进行计算；数据质检模块，用于对已有成果数据进行属性数据检查、图形数据检查、几何精度检查、拓扑检查，并对不符合要求的数据进行定位及修改成果输出模块，可进行图件成果输出、表格成果输出、数据查询统计及查询结果输出、成果数据库的输出。
14.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种自然资源多源数据融合方法，其特征在于，包括以下步骤；步骤一、dem和遥感影像数据采集：数据源包括基础地理信息数据、土地资源信息数据、水利资源信息数据、海洋资源信息数据、林业资源信息数据和气象资源信息数据；步骤二、数据存储：包括离线数据存储和实时数据存储；步骤三、将dem和遥感影像数据的叠加融合，构建基础地形模型，作为基础数据底层数据平台；步骤四、在gis平台中中提取基础地理要素的矢量数据，通过三维扩展模块提供的空间拉伸功能实现批量三维建模；步骤五、精细模型与三维地形的无缝融合，得到与三维地形相贴合的三维图形数据；步骤六、通过冲突检测工具对涉及图形的图斑、图面更新过程进行冲突检测,对检测到的冲突进行分类汇总；步骤七、根据冲突的关联性，判断冲突图斑图面之间是否有继承关系、拓扑关系以及属性关系，然后采用相应的约束规则进行技术融合；步骤八、对融合后的成果数据进行图形质检，在质检合格的情况下保存/导出成果数据至自然资源多源数据管理库。2.根据权利要求1所述的一种自然资源多源数据融合方法，其特征在于，步骤一中：所述数据采集过程包括离线采集和实时采集；所述离线采集通过sql方式来采集数据库的数据，利用sqoop将关系数据库管理系统中的数据导入到hadoop分布式文件系统hdfs中，在hadoop mapreduce框架下完成数据转换任务，进而为数据融合提供基础数据源；所述实时数据采集采用的是脚本采集和分布式实时志采集系统；其中，所述脚本采集从数据库或网站上获取数据，并将其存储为统一的本地文件数据，所述分布式实时志采集系统用于抓取不同服务器上的海量日志信息。3.根据权利要求2所述的一种自然资源多源数据融合方法，其特征在于，步骤二中：所述离线数据存储使用hdfs或hbase存储离线采集的数据；所述实时数据存储采用分布式nosql数据库，利用redis作为缓存数据库，供用户存储流式数据。4.根据权利要求1所述的一种自然资源多源数据融合方法，其特征在于，所述精细模型与三维地形的无缝融合包括以下步骤：s1、从卫星影像获取模型底图并赋予投影信息，并提取重点类型的矢量边界数据；s2、根据检测到的数据绘制精确的图形；s3、将数据导入sketchup环境下通过图形设计、模型构建、纹理贴图、光照渲染等步骤建立精细场景模型，最后经插件转换将模型返回gis平台中 环境，实现无缝融合。5.根据权利要求1所述的一种自然资源多源数据融合方法，其特征在于，步骤六中：通过冲突检测方法，得到不同的冲突类型；y1、根据图形的图斑对象之间的继承关系、拓扑关系、属性关系，建立了图斑变更冲突归纳库；y2、以此为基础，对冲突进行归纳。6.根据权利要求5所述的一种自然资源多源数据融合方法，其特征在于，步骤六中：所
述继承关系为主前提条件，拓扑关系、属性关系为辅助前提条件，将不同冲突类型归纳为空间约束冲突、属性约束冲突、时间约束冲突三种类型。7.根据权利要求6所述的一种自然资源多源数据融合方法，其特征在于，步骤六中：所述自然资源多源数据管理库能够实现数据的导入导出、二三维浏览、数据转换、数据处理、自动赋值、数据质检、查询统计、成果输出。

技术总结
本发明涉及数据处理技术领域，本发明公开了一种自然资源多源数据融合方法，包括以下步骤；步骤一：DEM和遥感影像数据采集；步骤二：数据存储；步骤三：将DEM和遥感影像数据的叠加融合；步骤四：通过三维扩展模块提供的空间拉伸功能实现批量三维建模；步骤五：精细模型与三维地形的无缝融合，得到图形数据；步骤六：对检测到的冲突进行分类汇总；步骤七：采用相应的规则约束融合技术进行融合；本发明对各类数据融合产生的冲突进行归纳，依据领域知识进行冲突的协调，建立冲突协调领域服务，制定多业务数据融合策略，构建多业务数据融合模型，实现多业务数据的融合。多业务数据的融合。


技术研发人员：胡辉 廖明 顾华奇 张勇 贺心刚 谢梅生 杨树平 申劲松
受保护的技术使用者：江西省自然资源事业发展中心
技术研发日：2023.05.26
技术公布日：2023/8/28