基于大数据信息安全的智能管理方法及大数据信息系统与流程

1.本发明涉及大数据信息安全技术领域，具体为基于大数据信息安全的智能管理方法及大数据信息系统。


背景技术：

2.在互联网服务商管理中，为了保证互联网服务商外发出的敏感数据的安全性，往往需要在进行数据外发的过程中进行检测，在符合用户设定的外发条件后，才能够将数据外发，以此保证互联网服务商用户的商业机密、账户财产等。
3.根据公开专利202111477242.6可知，一种基于大数据信息安全的智能管理方法及大数据信息系统，对外发数据存储空间所存储的待外发数据进行安全性检测，若存在第一待外发数据通过检测，则获取其对应的安全向量，并依据待外发原始数据和安全向量生成第二待外发数据，将第二待外发数据在外发网络中进行广播，以使其余业务服务器，将第二待外发数据分别缓存至所属的存储空间，然后对更新后的外发数据存储空间中每个待外发数据分别对应的安全系数进行更新，将更新后的安全系数大于预设安全系数阈值的待外发数据确定为可安全外发数据，相较于相关技术中仅采用单一服务器进行外发数据的检测，在实现发明的过程中，发明人发现现有技术中至少存在以下问题没有得到解决，能够利用外发网络中的所有业务服务器参与检测，解决了外发数据的安全性问题，使用过程中，传统的大数据信息系统功能性比较少和防入侵功能也比较差，在大数据信息系统运用过程中容易出现数据信息不全面和容易被入侵的现象，而且数据信息的危险系数比较大，降低了数据信息的安全性与破解难度系数。为此，需要设计新的技术方案给予解决。


技术实现要素：

4.本发明的目的在于提供基于大数据信息安全的智能管理方法及大数据信息系统，以解决当前大数据信息系统运用过程中的出现数据信息不全面和容易被入侵的技术问题。
5.为实现上述目的，本发明提供如下技术方案：基于大数据信息安全的智能管理方法及大数据信息系统，包括平台中心，所述平台中心包括有信息安全管理单元、信息加密系统、数据智能应用、运维系统和数据源；
6.信息安全管理单元利用预设的异化加权算法根据信息威胁指数和信息安全指数对信息安全进行管理；
7.信息加密系统利用预设的数据加密算法对所述正常信息内容进行信息加密，得到加密信息；
8.数据智能应用用于数据门户、数据大屏、经营分析、用户洞察和智能组货等功能的控制；
9.运维系统用于对整个系统的大数据的服务、开发和储存；
10.数据源主要包括有pdbms、odps、es、ftp、hbase、mongodb、日志、埋点、爬虫和api。
11.作为本发明的一种优选实施方式，所述信息安全管理单元包括有病毒入侵检测模
块、病毒信息确定模块、病毒入侵信息过滤模块和病毒入侵安全指数计算模块；
12.病毒入侵检测模块用于获取预设的信息网络环境，通过预设的日志审计对所述信息网络环境中的非法行为进行行为检测，得到入侵行为；
13.病毒信息确定模块用于提取所述入侵行为的入侵特征，利用预设的入侵拦截算法及入侵特征对所述入侵行为进行拦截，得到入侵信息，将所述入侵信息输入至预先构建的信息威胁模型中，得到信息威胁指数；
14.病毒入侵信息过滤模块用于通过预设的过滤算法对所述入侵信息进行过滤，得到所述信息网络环境中的正常信息行为；
15.病毒入侵安全指数计算模块用于提取正常信息行为对应的正常信息内容，利用预设的数据加密算法对正常信息内容进行信息加密，得到加密信息，利用预设的安全指数分析法计算加密信息的信息安全指数。
16.作为本发明的一种优选实施方式，所述信息加密系统还包括有对所述正常信息内容进行编码，得到明文编码数据；利用预设的密钥管理系统获取预设的加密密钥；利用数据加密算法根据明文编码数据和加密密钥对正常信息内容进行信息加密，得到加密信息：p＝memodu其中，p为所述加密信息，m为所述明文编码数据，e为所述加密密钥，mod为取余函数，u为所述加密密钥的密钥长度。
17.作为本发明的一种优选实施方式，所述利用预设的安全指数分析法计算加密信息的信息安全指数，计算步骤为：
18.提取所述加密信息的加密特征指标；
19.利用所述安全指数分析法计算加密特征指标的指标权重
20.根据指标权重确定加密信息的信息安全指数。
21.作为本发明的一种优选实施方式，所述运维系统包括有：集群部署单元用于在squids多云数据库管控平台,针对实例从申请,创建,交付,运维以及最终的释放销毁,均可在一个主控台中获得数据库全生命周期的管理；
22.集群弹性伸缩单元能够根据业务运行情况监控容器的cpu、内存、带宽等指标,进行自动扩缩服务；
23.集群监控告警单元基于hadoop、hive、spark、flink、hbase、kafka、trino等开源组件,实现hadoop集群的一站式创建、管理、部署、运维与监控；
24.多组户隔离单元和多集群管理单元。
25.作为本发明的一种优选实施方式，所述运维系统还包括有储存系统、数据服务引擎、离线开发单元、实时开发单元、数据科学单元和数据资产单元；
26.所述储存系统包括有rd-o5、emr、cloudera、fusioninsight和greenplum；
27.数据服务引擎包括有数据api模块、分析引擎模块、标签引擎模块和报表引擎模块；
28.离线开发单元包括有数据集成模块、离线开发模块和任务运维模块；
29.实时开发单元包括有数据集成模块、实时开发模块和任务运维模块；
30.数据科学单元包括有可视化建模模块、notebook建模模块和模型在线部署模块；
31.数据资产单元包括有数据地图模块、数据血缘模块和数据质量模块。
32.作为本发明的一种优选实施方式，基于大数据信息安全的智能管理方法，管理步
骤为：
33.s1.首先由信息安全管理单元通过病毒入侵检测模块对信息网络环境中的非法行为进行行为检测；
34.s2.再提取入侵特征，利用预设的入侵拦截算法及入侵特征对入侵行为进行拦截，得到入侵信息，将入侵信息输入至预先构建的入侵信息模型中，再由病毒信息确定模块确定入侵信息指数；
35.s3.再由病毒入侵信息过滤模通过预设的过滤算法对入侵信息进行过滤，得到信息网络环境中的正常信息行为；
36.s4.再由病毒入侵安全指数计算模块提取正常信息行为对应的正常信息内容，利用预设的数据加密算法对正常信息内容进行信息加密，得到加密信息，利用预设的安全指数分析法计算所述加密信息的信息安全指数；
37.s5.最后利用预设的异化加权算法根据入侵信息指数和信息安全指数对信息安全进行管理。
38.作为本发明的一种优选实施方式，所述入侵信息可以分为以下几类：主机日志系统日志：记录系统运行及管理方面的信息，如启动和关机时间、用户登录注销、进程创建、权限修改等；
39.应用日志：记录应用程序的使用情况和异常情况，如数据库查询、文件操作、网络连接等。网络流量数据包含网络数据包的内容、协议、传输方式等信息，可以通过协议分析、深度检测等方式获取；
40.文件和系统状态包括文件和系统组成结构的修改、增加、删除以及异常的进程或服务等信息；
41.恶意软件留下的痕迹包括恶意软件产生的网络流量、文件痕迹、注册表、进程及服务等留下的痕迹。
42.作为本发明的一种优选实施方式，所述入侵信息模型具体为：根据预设的入侵特征库中的入侵特征构建训练特征集，将训练特征集输入至预设的支持向量机中，得到分类特征集；
43.根据分类特征集和预设的损失函数计算支持向量机的损失值；
44.当所述损失值小于预设的损失阈值时，输出当前的支持向量机为入侵信息模型。
45.作为本发明的一种优选实施方式，所述信息安全指数具体为取入侵信息对应的入侵特征，并获取所述入侵特征对应的入侵时间序列，然后将所述入侵时间序列输入至入侵信息模型中，得到信息安全指数。
46.与现有技术相比，本发明的有益效果如下：
47.本发明不但增加了大数据信息系统在使用过程中的功能性，还增加了大数据信息系统在使用过程中防入侵功能，避免了在大数据信息系统运用过程中的出现数据信息不全面和容易被入侵的现象，而且大大降低了数据信息的危险系数，大大地提高了数据信息的安全性与破解难度系数，实现了数据信息的入侵保护,该模型算法能够充分发挥入侵模型中各个运算单元的效率特点，提高入侵处理速率。
附图说明
48.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
49.图1为本发明的大数据信息系统流程图；
50.图2为本发明的运维系统流程图。
具体实施方式
51.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
52.实施例1：基于大数据信息安全的智能管理方法及大数据信息系统，参见图1至图2，包括平台中心，平台中心包括有信息安全管理单元、信息加密系统、数据智能应用、运维系统和数据源；
53.信息安全管理单元利用预设的异化加权算法根据信息威胁指数和信息安全指数对信息安全进行管理；
54.信息加密系统利用预设的数据加密算法对正常信息内容进行信息加密，得到加密信息；
55.数据智能应用用于数据门户、数据大屏、经营分析、用户洞察和智能组货等功能的控制；
56.运维系统用于对整个系统的大数据的服务、开发和储存；
57.数据源主要包括有pdbms、odps、es、ftp、hbase、mongodb、日志、埋点、爬虫和api，工作原理和好处。
58.具体的，信息安全管理单元包括有病毒入侵检测模块、病毒信息确定模块、病毒入侵信息过滤模块和病毒入侵安全指数计算模块；
59.病毒入侵检测模块用于获取预设的信息网络环境，通过预设的日志审计对信息网络环境中的非法行为进行行为检测，得到入侵行为；
60.病毒信息确定模块用于提取入侵行为的入侵特征，利用预设的入侵拦截算法及入侵特征对入侵行为进行拦截，得到入侵信息，将入侵信息输入至预先构建的信息威胁模型中，得到信息威胁指数；
61.病毒入侵信息过滤模块用于通过预设的过滤算法对入侵信息进行过滤，得到信息网络环境中的正常信息行为；
62.病毒入侵安全指数计算模块用于提取正常信息行为对应的正常信息内容，利用预设的数据加密算法对正常信息内容进行信息加密，得到加密信息，利用预设的安全指数分析法计算加密信息的信息安全指数；
63.利用预设的安全指数分析法计算加密信息的信息安全指数，计算步骤为：
64.提取加密信息的加密特征指标；
65.利用安全指数分析法计算加密特征指标的指标权重
66.根据指标权重确定加密信息的信息安全指数；
67.不但增加了大数据信息系统在使用过程中的功能性，还增加了大数据信息系统在使用过程中防入侵功能，避免了在大数据信息系统运用过程中的出现数据信息不全面和容
易被入侵的现象，而且大大降低了数据信息的危险系数，大大地提高了数据信息的安全性与破解难度系数，实现了数据信息的入侵保护,该模型算法能够充分发挥入侵模型中各个运算单元的效率特点，提高入侵处理速率。
68.进一步的，信息加密系统还包括有对正常信息内容进行编码，得到明文编码数据；利用预设的密钥管理系统获取预设的加密密钥；利用数据加密算法根据明文编码数据和加密密钥对正常信息内容进行信息加密，得到加密信息：p＝memodu其中，p为加密信息，m为明文编码数据，e为加密密钥，mod为取余函数，u为加密密钥的密钥长度。
69.值得说明的是，运维系统包括有：集群部署单元用于在squids多云数据库管控平台,针对实例从申请,创建,交付,运维以及最终的释放销毁,均可在一个主控台中获得数据库全生命周期的管理；
70.集群弹性伸缩单元能够根据业务运行情况监控容器的cpu、内存、带宽等指标,进行自动扩缩服务；
71.集群监控告警单元基于hadoop、hive、spark、flink、hbase、kafka、trino等开源组件,实现hadoop集群的一站式创建、管理、部署、运维与监控；
72.多组户隔离单元和多集群管理单元；
73.运维系统还包括有储存系统、数据服务引擎、离线开发单元、实时开发单元、数据科学单元和数据资产单元；
74.储存系统包括有rd-o5、emr、cloudera、fusioninsight和greenplum；
75.数据服务引擎包括有数据api模块、分析引擎模块、标签引擎模块和报表引擎模块；
76.离线开发单元包括有数据集成模块、离线开发模块和任务运维模块；
77.实时开发单元包括有数据集成模块、实时开发模块和任务运维模块；
78.数据科学单元包括有可视化建模模块、notebook建模模块和模型在线部署模块；
79.数据资产单元包括有数据地图模块、数据血缘模块和数据质量模块。
80.实施例2：基于大数据信息安全的智能管理方法，管理步骤为：
81.s1.首先由信息安全管理单元通过病毒入侵检测模块对信息网络环境中的非法行为进行行为检测；
82.s2.再提取入侵特征，利用预设的入侵拦截算法及入侵特征对入侵行为进行拦截，得到入侵信息，将入侵信息输入至预先构建的入侵信息模型中，再由病毒信息确定模块确定入侵信息指数；
83.s3.再由病毒入侵信息过滤模通过预设的过滤算法对入侵信息进行过滤，得到信息网络环境中的正常信息行为；
84.s4.再由病毒入侵安全指数计算模块提取正常信息行为对应的正常信息内容，利用预设的数据加密算法对正常信息内容进行信息加密，得到加密信息，利用预设的安全指数分析法计算加密信息的信息安全指数；
85.s5.最后利用预设的异化加权算法根据入侵信息指数和信息安全指数对信息安全进行管理。
86.值得注意的是，入侵信息可以分为以下几类：主机日志系统日志：记录系统运行及管理方面的信息，如启动和关机时间、用户登录注销、进程创建、权限修改等；
87.应用日志：记录应用程序的使用情况和异常情况，如数据库查询、文件操作、网络连接等。网络流量数据包含网络数据包的内容、协议、传输方式等信息，可以通过协议分析、深度检测等方式获取；
88.文件和系统状态包括文件和系统组成结构的修改、增加、删除以及异常的进程或服务等信息；
89.恶意软件留下的痕迹包括恶意软件产生的网络流量、文件痕迹、注册表、进程及服务等留下的痕迹。
90.值得介绍的是，入侵信息模型具体为：根据预设的入侵特征库中的入侵特征构建训练特征集，将训练特征集输入至预设的支持向量机中，得到分类特征集；
91.根据分类特征集和预设的损失函数计算支持向量机的损失值；
92.当损失值小于预设的损失阈值时，输出当前的支持向量机为入侵信息模型。
93.除此之外，信息安全指数具体为取入侵信息对应的入侵特征，并获取入侵特征对应的入侵时间序列，然后将入侵时间序列输入至入侵信息模型中，得到信息安全指数。
94.以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
95.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：
1.基于大数据信息安全的智能管理系统，包括平台中心，其特征在于：所述平台中心包括有信息安全管理单元、信息加密系统、数据智能应用、运维系统和数据源；信息安全管理单元利用预设的异化加权算法根据信息威胁指数和信息安全指数对信息安全进行管理；信息加密系统利用预设的数据加密算法对所述正常信息内容进行信息加密，得到加密信息；数据智能应用用于数据门户、数据大屏、经营分析、用户洞察和智能组货等功能的控制；运维系统用于对整个系统的大数据的服务、开发和储存；数据源主要包括有pdbms、odps、es、ftp、hbase、mongodb、日志、埋点、爬虫和api。2.根据权利要求1所述的基于大数据信息安全的智能管理系统，其特征在于：所述信息安全管理单元包括有病毒入侵检测模块、病毒信息确定模块、病毒入侵信息过滤模块和病毒入侵安全指数计算模块；病毒入侵检测模块用于获取预设的信息网络环境，通过预设的日志审计对所述信息网络环境中的非法行为进行行为检测，得到入侵行为；病毒信息确定模块用于提取所述入侵行为的入侵特征，利用预设的入侵拦截算法及入侵特征对所述入侵行为进行拦截，得到入侵信息，将所述入侵信息输入至预先构建的信息威胁模型中，得到信息威胁指数；病毒入侵信息过滤模块用于通过预设的过滤算法对所述入侵信息进行过滤，得到所述信息网络环境中的正常信息行为；病毒入侵安全指数计算模块用于提取正常信息行为对应的正常信息内容，利用预设的数据加密算法对正常信息内容进行信息加密，得到加密信息，利用预设的安全指数分析法计算加密信息的信息安全指数。3.根据权利要求1所述的基于大数据信息安全的智能管理系统，其特征在于：所述信息加密系统还包括有对所述正常信息内容进行编码，得到明文编码数据；利用预设的密钥管理系统获取预设的加密密钥；利用数据加密算法根据明文编码数据和加密密钥对正常信息内容进行信息加密，得到加密信息：p＝memodu其中，p为所述加密信息，m为所述明文编码数据，e为所述加密密钥，mod为取余函数，u为所述加密密钥的密钥长度。4.根据权利要求2所述的基于大数据信息安全的智能管理系统，其特征在于：所述利用预设的安全指数分析法计算加密信息的信息安全指数，计算步骤为：提取所述加密信息的加密特征指标；利用所述安全指数分析法计算加密特征指标的指标权重根据指标权重确定加密信息的信息安全指数。5.根据权利要求1所述的基于大数据信息安全的智能管理系统，其特征在于：所述运维系统包括有：集群部署单元用于在squids多云数据库管控平台,针对实例从申请,创建,交付,运维以及最终的释放销毁,均可在一个主控台中获得数据库全生命周期的管理；集群弹性伸缩单元能够根据业务运行情况监控容器的cpu、内存、带宽等指标,进行自动扩缩服务；集群监控告警单元基于hadoop、hive、spark、flink、hbase、kafka、trino等开源组件,
实现hadoop集群的一站式创建、管理、部署、运维与监控；多组户隔离单元和多集群管理单元。6.根据权利要求5所述的基于大数据信息安全的智能管理系统，其特征在于：所述运维系统还包括有储存系统、数据服务引擎、离线开发单元、实时开发单元、数据科学单元和数据资产单元；所述储存系统包括有rd-o5、emr、cloudera、fusioninsight和greenplum；数据服务引擎包括有数据api模块、分析引擎模块、标签引擎模块和报表引擎模块；离线开发单元包括有数据集成模块、离线开发模块和任务运维模块；实时开发单元包括有数据集成模块、实时开发模块和任务运维模块；数据科学单元包括有可视化建模模块、notebook建模模块和模型在线部署模块；数据资产单元包括有数据地图模块、数据血缘模块和数据质量模块。7.基于大数据信息安全的智能管理方法，其特征在于：管理步骤为：s1.首先由信息安全管理单元通过病毒入侵检测模块对信息网络环境中的非法行为进行行为检测；s2.再提取入侵特征，利用预设的入侵拦截算法及入侵特征对入侵行为进行拦截，得到入侵信息，将入侵信息输入至预先构建的入侵信息模型中，再由病毒信息确定模块确定入侵信息指数；s3.再由病毒入侵信息过滤模通过预设的过滤算法对入侵信息进行过滤，得到信息网络环境中的正常信息行为；s4.再由病毒入侵安全指数计算模块提取正常信息行为对应的正常信息内容，利用预设的数据加密算法对正常信息内容进行信息加密，得到加密信息，利用预设的安全指数分析法计算所述加密信息的信息安全指数；s5.最后利用预设的异化加权算法根据入侵信息指数和信息安全指数对信息安全进行管理。8.根据权利要求7所述的基于大数据信息安全的智能管理方法，其特征在于：所述入侵信息可以分为以下几类：主机日志系统日志：记录系统运行及管理方面的信息，如启动和关机时间、用户登录注销、进程创建、权限修改等；应用日志：记录应用程序的使用情况和异常情况，如数据库查询、文件操作、网络连接等。网络流量数据包含网络数据包的内容、协议、传输方式等信息，可以通过协议分析、深度检测等方式获取；文件和系统状态包括文件和系统组成结构的修改、增加、删除以及异常的进程或服务等信息；恶意软件留下的痕迹包括恶意软件产生的网络流量、文件痕迹、注册表、进程及服务等留下的痕迹。9.根据权利要求7所述的基于大数据信息安全的智能管理方法，其特征在于：所述入侵信息模型具体为：根据预设的入侵特征库中的入侵特征构建训练特征集，将训练特征集输入至预设的支持向量机中，得到分类特征集；根据分类特征集和预设的损失函数计算支持向量机的损失值；当所述损失值小于预设的损失阈值时，输出当前的支持向量机为入侵信息模型。
10.根据权利要求7所述的基于大数据信息安全的智能管理方法，其特征在于：所述信息安全指数具体为取入侵信息对应的入侵特征，并获取所述入侵特征对应的入侵时间序列，然后将所述入侵时间序列输入至入侵信息模型中，得到信息安全指数。

技术总结
本发明公开了基于大数据信息安全的智能管理方法及大数据信息系统，旨在解决当前大数据信息系统运用过程中的出现数据信息不全面和容易被入侵的技术问题，包括平台中心，所述平台中心包括有信息安全管理单元、信息加密系统、数据智能应用、运维系统和数据源；信息安全管理单元利用预设的异化加权算法根据信息威胁指数和信息安全指数对信息安全进行管理。本发明不但增加了大数据信息系统在使用过程中的功能性，还增加了大数据信息系统在使用过程中防入侵功能，避免了在大数据信息系统运用过程中的出现数据信息不全面和容易被入侵的现象，而且大大降低了数据信息的危险系数，大大地提高了数据信息的安全性与破解难度系数。地提高了数据信息的安全性与破解难度系数。地提高了数据信息的安全性与破解难度系数。


技术研发人员：马俊 温膨宇
受保护的技术使用者：南京清润林企业管理服务有限公司
技术研发日：2023.08.22
技术公布日：2023/10/15