一种基于大数据的分析管理系统的制作方法

1.本发明涉及互联网技术领域，具体为一种基于大数据的分析管理系统。


背景技术：

2.伴随着互联网技术的飞速发展，人类社会已经步入信息时代。互联网正在改变人们的生活方式，每时每刻都有数以千万计的用户接入互联网并产生海量的网络数据，在万物互联的趋势下，其规模也在不断提升和扩大。海量的网络数据中承载了丰富的网络状况信息和用户行为信息,他们对监测网络运行状态、改善网络运维、理解用户行为、挖掘用户意图具有重要意义。但现有的网络数据分析处理方法不但效率低下，且由于网络数据类型复杂易导致分析处理出现误差。因此，设计高效分析处理及准确性高的一种基于大数据的分析管理系统是很有必要的。


技术实现要素：

3.本发明的目的在于提供一种基于大数据的分析管理系统，以解决上述背景技术中提出的问题。
4.为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的分析管理方法，包括：对网络流数据记录进行采集记录管理；对采集到的流数据进行接收分配及上报传输处理；进行网络流数据的分析处理进行优化控制；对网络流数据进行导入存储及控制处理。
5.根据上述技术方案，所述对网络流数据记录进行采集记录管理包括：对网络数据流记录报文进行采集记录，并进行会话复原处理。
6.根据上述技术方案，所述对采集到的流数据进行接收分配及上报传输处理包括：接收到采集记录的网络流记录报文后，通过网卡驱动进行内存分配，将原始报文缓存在系统内存中；获取到完成内存分配的网络流记录报文后，对其会话关联上报进行控制管理。
7.根据上述技术方案，所述进行网络流数据的分析处理进行优化控制包括：通过采用采用数组和链表相结合的方式，进行哈希冲突控制管理；根据网络流表项的内存池的使用状态信息，进行网络流表的动态控制调整；对网络流数据进行预处理，以小时为单位对上下行流量进行聚合，生成对应的时间序列数据。
8.根据上述技术方案，所述对网络流数据进行导入存储及控制处理包括：通过分布式日志收集聚合传输功能，将网络流数据导入至存储集群之中进行存储；通过分布式集群方法进一步对网络流数据进行组织和管理。
9.根据上述技术方案，一种基于大数据的分析管理系统，包括：网络流采集模块，用于对网络流数据记录进行采集记录管理；优化管理模块，用于进行网络流数据的分析处理进行优化控制；数据处理模块，用于对网络流数据进行导入存储及控制处理。
10.根据上述技术方案，所述网络流采集模块包括：流记录模块，用于对网络数据流记录报文进行采集记录；接收分配模块，用于对网络流数据进行接收分配；上报处理模块，用于进行流数据上报分析处理。
11.根据上述技术方案，所述优化管理模块包括：冲突优化模块，用于进行哈希冲突控制管理；动态调整模块，用于进行网络流表的动态控制调整；预处理模块，用于对网络流数据进行预处理。
12.根据上述技术方案，所述数据处理模块包括：导入存储模块，用于对网络流数据进行导入存储；分析处理模块，用于进行数据分析控制管理。
13.与现有技术相比，本发明所达到的有益效果是：本发明，通过设置有网络流采集模块、优化管理模块与数据处理模块，可使采集到的记录数据信息更加准确、高效，并通过内存池的分配单元的指针可以获取该内存单元的地址，可更加高效地进行报文丢弃和内存回收，同时使报文数据信息的会话关联上报更加高效、智能，有效提升报文会话关联上报资源的利用率。
附图说明
14.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：图1是本发明实施例一提供的一种基于大数据的分析管理方法的流程图；图2是本发明实施例二提供的一种基于大数据的分析管理系统的模块构成图。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
16.图1为本发明实施例一提供的一种基于大数据的分析管理方法的流程图，本实施例可应用于分析管理系统中，该方法可以由本发明实施例提供的一种基于大数据的分析管理系统来执行，该系统由多个软硬件模块组成，如图1所示，该方法具体包括以下步骤：s101、对网络流数据记录进行采集记录管理；示例性的，在本发明实施例中，对网络数据流记录报文进行采集记录，并进行会话
复原处理；由于网络数据采集链路上承载的流量具有数量大、速率高的特点，全量报文交由下游流量采集服务器处理会产生很高的负载，产生性能瓶颈，故通过该步骤，通过网络上游硬件探针采集到的一次网络会话包含的流量信息，下游流量采集系统负责根据接收的镜像报文和流记录报文还原一次完整的会话，并转化为设定的格式化数据进行输出，其中流记录报文由报文头部信息和16条流记录帧组成，报文头部信息长度为10个字节，包含流记录版本号，时间戳等信息，每条流记录帧中携带了流基本信息，是表示流记录信息的最小单位，每条流记录帧的长度为64字节，且网络上一次交互或者访问行为的用户特征、远端网络特征以及流量特征等数据信息，大都存在于网内请求报文和网外应答报文，故通过该处理，可使采集到的记录数据信息更加准确、高效。
17.s102、对采集到的流数据进行接收分配及上报传输处理；示例性的，在本发明实施例中，接收到采集记录的网络流记录报文后，通过网卡驱动进行内存分配，将原始报文缓存在系统内存中；该步骤中，原始报文的存储结构是通用的，进入系统之中的网络流记录报文通过报文接收内存池的分配单元，组织网络流记录报文解析出关键信息和字段，当报文结束周期需要被释放时，通过内存池的分配单元的指针可以获取该内存单元的地址，可更加高效地进行报文丢弃和内存回收。
18.获取到完成内存分配的网络流记录报文后，对其会话关联上报进行控制管理；将报文信息数据分为请求报文和应答报文后，利用报文序号和确认号对同一会话的请求应答进行关联，其中通过确认号进行会话关联可以兼容请求报文和应答报文到达顺序不定的情况，使同一组会话被组织在同一个结构体之中，且当报文到达会话关联时根据当前关联状态以及槽位状态选择匹配的槽位，如果没有匹配的会话则控制该报文新占据一个槽位并创建一个新的会话单元，如果当前槽位已经填满则弹出第一个会话单元，回收空间并分配给新到来的报文，使报文数据信息的会话关联上报更加高效、智能，有效提升报文会话关联上报资源的利用率。
19.s103、进行网络流数据的分析处理进行优化控制；示例性的，在本发明实施例中，通过采用采用数组和链表相结合的方式，进行哈希冲突控制管理；由于网络流表的逻辑结构是散列表，因此当新的流记录数据插入流表时会不可避免地产生哈希冲突，从而线性增加流表在查找操作时的比较次数，进而影响报文处理的性能，故通过该步骤，在产生哈希冲突时，将冲突表项挂载到当前哈希槽位中的表项指针下，使最终同一槽位下的所有冲突表项以链表的形式组织，在进行查找时，首先使用哈希函数计算得到唯一的偏移地址，然后对比当前槽位中的表项是否为期望结果，若不是则沿着链表继续查找，得到期望结果，有效提升网络流数据的处理性能。
20.根据网络流表项的内存池的使用状态信息，进行网络流表的动态控制调整；由于在高速网络环境下，流表项的内存池可能会被迅速填满，从而造成新到来的网络数据流无法分配内存建立新的流表项，故通过该步骤，将流表超时阈值设计为动态变化的，其值受流表负载状态和网卡端接收速率变化的共同反馈控制，系统实时监控流表当前状态和网卡接收速率，当流表内存池的使用率超过90%且当前报文接收速率超过平均速率的30%时，迅速降低流表的超时阈值，设置为当前值的二分之一，直到最低门限值，若此时反馈状态不满足上述条件，且阈值不为初始值，则在每次状态确认后提高超时阈值1秒直到恢复初始值，通过该处理，避免了因链路速率激增而导致的报文丢弃量激增的情况，使传输处理更加准确，
减少误差的产生。
21.对网络流数据进行预处理，以小时为单位对上下行流量进行聚合，生成对应的时间序列数据，其中每条序列分别表示一个网站在这一段时间的流量变化，为后续网络数据的处理分析，提供可靠的依据。
22.s104、对网络流数据进行导入存储及控制处理；示例性的，在本发明实施例中，通过分布式日志收集聚合传输功能，将网络流数据导入至存储集群之中进行存储；使后续网络的改善分析数据调取更加高效、便捷。
23.通过分布式集群方法进一步对网络流数据进行组织和管理；通过物理层提供cpu、gpu、内存等计算资源，在客户端提交任务后，调度器自动进行资源调度和分配，然后启动任务并将结果返回客户端或写入存储系统，当资源不足时，调度器会将任务放入排队队列中等待计算分析资源的释放，使网络流数据分析处理更加灵活，符合用户需求。
实施例二
24.本发明实施例二提供了一种基于大数据的分析管理系统，图2为本实施例二提供的一种基于大数据的分析管理系统的模块构成示意图，如图2所示，该系统包括：网络流采集模块，用于对网络流数据记录进行采集记录管理；优化管理模块，用于进行网络流数据的分析处理进行优化控制；数据处理模块，用于对网络流数据进行导入存储及控制处理。
25.在本发明的一些实施例中，网络流采集模块包括：流记录模块，用于对网络数据流记录报文进行采集记录；接收分配模块，用于对网络流数据进行接收分配；上报处理模块，用于进行流数据上报分析处理。
26.在本发明的一些实施例中，优化管理模块包括：冲突优化模块，用于进行哈希冲突控制管理；动态调整模块，用于进行网络流表的动态控制调整；预处理模块，用于对网络流数据进行预处理。
27.在本发明的一些实施例中，数据处理模块包括：导入存储模块，用于对网络流数据进行导入存储；分析处理模块，用于进行数据分析控制管理。
28.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
29.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的
保护范围之内。

技术特征：
1.一种基于大数据的分析管理方法，其特征在于：包括：对网络流数据记录进行采集记录管理；对采集到的流数据进行接收分配及上报传输处理；进行网络流数据的分析处理进行优化控制；对网络流数据进行导入存储及控制处理。2.根据权利要求1所述的一种基于大数据的分析管理方法，其特征在于：所述对网络流数据记录进行采集记录管理包括：对网络数据流记录报文进行采集记录，并进行会话复原处理。3.根据权利要求1所述的一种基于大数据的分析管理方法，其特征在于：所述对采集到的流数据进行接收分配及上报传输处理包括：接收到采集记录的网络流记录报文后，通过网卡驱动进行内存分配，将原始报文缓存在系统内存中；获取到完成内存分配的网络流记录报文后，对其会话关联上报进行控制管理。4.根据权利要求1所述的一种基于大数据的分析管理方法，其特征在于：所述进行网络流数据的分析处理进行优化控制包括：通过采用采用数组和链表相结合的方式，进行哈希冲突控制管理；根据网络流表项的内存池的使用状态信息，进行网络流表的动态控制调整；对网络流数据进行预处理，以小时为单位对上下行流量进行聚合，生成对应的时间序列数据。5.根据权利要求1所述的一种基于大数据的分析管理方法，其特征在于：所述对网络流数据进行导入存储及控制处理包括：通过分布式日志收集聚合传输功能，将网络流数据导入至存储集群之中进行存储；通过分布式集群方法进一步对网络流数据进行组织和管理。6.一种基于大数据的分析管理系统，其特征在于：包括：网络流采集模块，用于对网络流数据记录进行采集记录管理；优化管理模块，用于进行网络流数据的分析处理进行优化控制；数据处理模块，用于对网络流数据进行导入存储及控制处理。7.根据权利要求6所述的一种基于大数据的分析管理系统，其特征在于：所述网络流采集模块包括：流记录模块，用于对网络数据流记录报文进行采集记录；接收分配模块，用于对网络流数据进行接收分配；上报处理模块，用于进行流数据上报分析处理。8.根据权利要求6所述的一种基于大数据的分析管理系统，其特征在于：所述优化管理模块包括：冲突优化模块，用于进行哈希冲突控制管理；动态调整模块，用于进行网络流表的动态控制调整；预处理模块，用于对网络流数据进行预处理。9.根据权利要求6所述的一种基于大数据的分析管理系统，其特征在于：所述数据处理模块包括：
导入存储模块，用于对网络流数据进行导入存储；分析处理模块，用于进行数据分析控制管理。

技术总结
本发明公开了一种基于大数据的分析管理系统，该系统的运行方法包括：对网络流数据记录进行采集记录管理；对采集到的流数据进行接收分配及上报传输处理；进行网络流数据的分析处理进行优化控制；对网络流数据进行导入存储及控制处理。所述对网络流数据记录进行采集记录管理包括：对网络数据流记录报文进行采集记录，并进行会话复原处理。所述对采集到的流数据进行接收分配及上报传输处理包括：接收到采集记录的网络流记录报文后，通过网卡驱动进行内存分配，将原始报文缓存在系统内存中；获取到完成内存分配的网络流记录报文后，对其会话关联上报进行控制管理。本发明，具有高效分析管理及准确性高的特点。管理及准确性高的特点。管理及准确性高的特点。


技术研发人员：何子翔
受保护的技术使用者：南京和子祥企业管理有限公司
技术研发日：2023.04.07
技术公布日：2023/8/24