一种扫描器的检测方法、装置、电子设备及可读存储介质与流程

1.本发明是属于计算机网络安全技术领域，特别是关于一种扫描器的检测方法。


背景技术：

2.网络攻击的实现往往要经历一个复杂的过程，它由若干带有特定目标的子任务组成。现有技术中提出的一种网络攻击链模型将上述各子任务依次定义为侦查、制武、运达、利用、安装、命令与控制、实施。其中，侦查的目标是获取受害方系统和/或网络信息（如：操作系统和/或应用程序信息、暴露端口号、未封堵漏洞、网络拓扑结构），以便为后续各攻击子任务提供必要支持。在现实中完成各种侦察任务的程序被统称为扫描器。
3.由上述内容可知，一旦扫描动作被成功阻截，后续攻击将变得无据可依。然而，当前已有扫描器识别方法皆无法实现实时检测，即，有效阻止信息泄露而非事后补救（如通过分析日志等相关数据）。当前更加严峻的挑战是，越来越多的国内外扫描器皆采用传输层安全（transport layer security，以下简称tls）加密技术来进一步逃避检测和拦截。具体地说，执行各类扫描动作的网络流量包在数据层面呈现模糊/随机态，即，防守方再也无法从加密数据包中提取特定属性来识别扫描流量。进一步讲，尽管在tls加密信道建立之初会出现几个用于协商具体加密细节的明文数据包，并且，当前确有依据这些明文数据包属性识别tls加密数据流的方案，但是这些方案无一例外地无法满足扫描器检测在时效性/数据零泄漏上的苛刻要求。例如，ja3指纹技术是一种依据client hello（用于协商具体加密细节的数据包之一）中5种属性识别tls加密数据流的技术，遗憾的是，client hello本身就承载了受害方众多高价值信息（如：支持的tls版本号、密码套件、扩展项、证书），这无疑证明ja3是种失败的扫描器检测手段。
4.现有技术中也公开了扫描器识别检测的相关文献，中国专利cn116015800a公开了一种扫描器识别方法、装置、电子设备及存储介质，其通过对原始访问日志数据进行筛选，得到攻击日志数据，然后判断筛选出的攻击日志数据是否存在扫描行为，对存在扫描行为的攻击日志数据构建访问特征信息，再将访问特征信息输入扫描器识别模型，最终识别出是否为扫描器。该申请试图从日志记录中寻找扫描器痕迹，属事后分析补救的模式，不能做到实时拦截。另外地，中国专利cn115102728a公开了一种用于信息安全的扫描器识别方法、装置、设备及介质，该发明在加密套件这一特征上构建模型，该特征已是整个通信的第 4 个包（即tls client hello），获取该特征的同时，信息已经被泄露了；再者，只有加密扫描流量才有tls client hello，它对常规非加密扫描器无效。


技术实现要素：

5.本发明的目的在于提供一种扫描器的检测方法及装置，其能够同时针对常规非加密以及加密扫描行为，在实现极低误漏报率的同时对未收录扫描器仍保有一定识别能力。特别的是，所述检测方法效率高且恒定可期，能真正确保受害方高价值信息的零泄漏。
6.为实现上述目的，本发明提供了一种扫描器的检测方法，包括如下步骤：
步骤s1：数据样本收集，收集若干从扫描器发出的第一数据包，以及若干非扫描器发出的第二数据包；步骤s2：数据特征提取，将所述第一数据包和所述第二数据包中的多种特征提取出来作为基础特征；步骤s3：数据特征拓展，基于所述基础特征进行特征拓展，获得若干扩展特征；步骤s4：数据特征训练，基于所述扩展特征来训练机器学习模型m，所述机器学习模型m即为扫描行为的检测装置。
7.进一步地，所述第一数据包为tcp-syn数据包。
8.进一步地，所述第二数据包为tcp-syn数据包。
9.进一步地，在所述步骤s2中，将所述第一数据包和所述第二数据包中的如下5种特征提取出来作为基础特征：（1）数据包总长度（）；（2）tcp包头长度（）；（3）tcp源端口号（）；（4）tcp目的端口号（）；（5）tcp窗口大小（）。
10.进一步地，在所述步骤s3中，基于所述5种基础特征，为每一种基础特征计算若干种扩展特征。
11.进一步地，所述扩展特征的数量为9种，即，每一数据包共计对应14种特征。
12.进一步地，所述9种扩展特征的名称和计算方式分别为：（1）;（2）；（3）；（4）；（5）；（6）；（7）；（8）；（9）；其中，所述符号意为向下取整（如，= 1），所述函数用来计算整数的总位数（如，，即，35113共计5位数），而所述函数则用来计算整数中出现单个数字的种类数（如，，即，35113出现了1、3、5共3种数字）。
13.本发明还提供一种扫描器的检测装置，包括：数据样本收集单元，用于收集若干从扫描器发出的第一数据包，以及若干非扫描器发出的第二数据包；数据特征提取单元，用于将所述第一数据包和所述第二数据包中的多种特征提取出来作为基础特征；数据特征拓展单元，用于基于所述基础特征进行特征拓展，获得若干扩展特征；数据特征训练单元，用于基于所述扩展特征来训练机器学习模型m，所述机器学习模型m即为扫描行为的检测装置。
14.本发明还提供一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
15.本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在服务器实现上述方法的步骤。
16.与现有技术相比，根据本发明的扫描器的检测方法及装置，通过将所述第一数据包和所述第二数据包中的多种特征提取出来作为基础特征，其中，第一数据包为从若干扫描器发出，第二数据包为从若干非扫描器发出；基于所述基础特征进行特征拓展，获得若干扩展特征，基于所述扩展特征来训练机器学习模型m，所述机器学习模型m即为扫描行为的检测装置。能够同时针对常规非加密以及加密扫描行为，在实现极低误漏报率的同时对未收录扫描器仍保有一定识别能力；特别的是，所述检测方法效率高且恒定可期，能真正确保受害方高价值信息的零泄漏。另外地，本发明的检测方法及装置检测速度高、检测的时间复杂度仅为，d为决策树树最大深度，能做到实时检测，即，事前预防而非事后分析补救；能够依据tcp首包，即syn包做检测。本发明扫描器的检测方法及装置经过多次实验和改进，现在npatch中运行良好。
附图说明
17.图1本发明一实施方式的扫描器的检测方法流程图；图2本发明一实施方式的步骤s1数据样本收集的示意图；图3本发明一实施方式的步骤s3数据特征拓展的示意图；图4本发明一实施方式的步骤s4数据特征训练的示意图。
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
20.应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
21.应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
22.应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b和/或c”是指包含a、b、c三者中任1个或任2个或3个。
23.应当理解，在本发明中，“与a对应的b”、“与a相对应的b”、“a与b相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。a与b的匹配，是a与b的相似度大于或等于预设的阈值。
24.取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
25.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
26.图1所示为本发明一实施方式的扫描器的检测方法流程图，根据本发明优选实施方式的扫描器的检测方法，包括如下步骤：步骤s1：数据样本收集，收集若干从扫描器发出的第一数据包，以及若干非扫描器发出的第二数据包；步骤s2：数据特征提取，将所述第一数据包和所述第二数据包中的多种特征提取出来作为基础特征；步骤s3：数据特征拓展，基于所述基础特征进行特征拓展，获得若干扩展特征；步骤s4：数据特征训练，基于所述扩展特征来训练机器学习模型m，所述机器学习模型m默认为决策树，所述机器学习模型m即为扫描行为的检测装置，具体地，如图4所示，图4为本发明一实施方式的步骤s4数据特征训练的示意图。
27.在本发明一实施例中，所述第一数据包为tcp-syn数据包，所述第二数据包为tcp-syn数据包，所述syn数据包为tcp通信连接的首包，具体地，步骤s1如图2所示，源自扫描器的tcp-syn数据包和源自非扫描器的tcp-syn数据包合并汇聚为tcp-syn数据包。
28.在本发明一实施例中，在所述步骤s2中，将所述第一数据包和所述第二数据包中的如下5种特征提取出来作为基础特征：（1）数据包总长度（）；（2）tcp包头长度（）；（3）tcp源端口号（）；（4）tcp目的端口号（）；
（5）tcp窗口大小（）。
29.在本发明一实施例中，在所述步骤s3中，基于所述5种基础特征，为每一种基础特征计算若干种扩展特征，具体地，所述扩展特征的数量为9种，即，每一数据包共计对应14种特征，具体地，如图3所示，数字-数字对应不同的计算公式，如1-3对应第1到第3个公式，原始数据样本经过数据提取，获得5种基础特征，5种基础特征按照不同的计算方式拓展为共9种扩展特征。
30.在本发明一实施例中，所述9种扩展特征的名称和计算方式分别为：（1）;（2）；（3）；（4）；（5）；（6）；（7）；（8）（9）；所述符号意为向下取整（如，= 1），所述函数用来计算整数的总位数（如，，即，35113共计5位数），而所述函数则用来计算整数中出现单个数字的种类数（如，，即，35113出现了1、3、5共3种数字）。
31.本发明还提供一种扫描器的检测装置，包括：数据样本收集单元，用于收集若干从扫描器发出的第一数据包，以及若干非扫描器发出的第二数据包；数据特征提取单元，用于将所述第一数据包和所述第二数据包中的多种特征提取出来作为基础特征；数据特征拓展单元，用于基于所述基础特征进行特征拓展，获得若干扩展特征；数据特征训练单元，用于基于所述扩展特征来训练机器学习模型m，所述机器学习模型m即为扫描行为的检测装置。
32.本发明实施例中采用每一数据样本对应的14种特征训练机器学习模型m（默认为决策树），模型m即为扫描行为的检测装置。
33.本发明还提供一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
34.本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在服务器实现上
述方法的步骤。
35.与现有技术相比，根据本发明的扫描器的检测方法及装置，通过将所述第一数据包和所述第二数据包中的多种特征提取出来作为基础特征，其中，第一数据包为从若干扫描器发出，第二数据包为从若干非扫描器发出；基于所述基础特征进行特征拓展，获得若干扩展特征，基于所述扩展特征来训练机器学习模型m，所述机器学习模型m即为扫描行为的检测装置。能够同时针对常规非加密以及加密扫描行为，在实现极低误漏报率的同时对未收录扫描器仍保有一定识别能力；特别的是，所述检测方法效率高且恒定可期，能真正确保受害方高价值信息的零泄漏。另外地，本发明的检测方法及装置检测速度高、检测的时间复杂度仅为，d为决策树树最大深度，能做到实时检测，即，事前预防而非事后分析补救；能够依据tcp首包，即syn包做检测。本发明扫描器的检测方法及装置经过多次实验和改进，现在npatch中运行良好，其中，npatch是一款网络安全设备，能屏蔽网络中的漏洞利用行为，实现“漏洞无效化”，本发明的扫描器检测方法及装置将检测到的漏洞导入npatch后，能更快的完成漏洞的处置，实现漏洞管理的闭环，能够同时提供双向流量逐包检测和漏洞探测、攻击处置能力，真正完成漏洞的处置，实现漏洞管理闭环，具有部署简单、屏蔽速度快、成功率高的特点。
36.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
37.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
38.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
39.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
40.前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

技术特征：
1.一种扫描器的检测方法，其特征在于，包括如下步骤：步骤s1：数据样本收集，收集若干从扫描器发出的第一数据包，以及若干非扫描器发出的第二数据包；步骤s2：数据特征提取，将所述第一数据包和所述第二数据包中的多种特征提取出来作为基础特征；步骤s3：数据特征拓展，基于所述基础特征进行特征拓展，获得若干扩展特征；步骤s4：数据特征训练，基于所述扩展特征来训练机器学习模型m，所述机器学习模型m即为扫描行为的检测装置。2.根据权利要求1所述的扫描器的检测方法，其特征在于，所述第一数据包为tcp-syn数据包。3.根据权利要求1所述的扫描器的检测方法，其特征在于，所述第二数据包为tcp-syn数据包。4.根据权利要求1所述的扫描器的检测方法，其特征在于，在所述步骤s2中，将所述第一数据包和所述第二数据包中的如下5种特征提取出来作为基础特征：（1）数据包总长度；（2）tcp包头长度；（3）tcp源端口号；（4）tcp目的端口号；（5）tcp窗口大小。5.根据权利要求4所述的扫描器的检测方法，其特征在于，在所述步骤s3中，基于所述5种基础特征，为每一种基础特征计算若干种扩展特征。6.根据权利要求5所述的扫描器的检测方法，其特征在于，所述扩展特征的数量为9种，即，每一数据包共计对应14种特征。7.根据权利要求6所述的扫描器的检测方法，其特征在于，所述9种扩展特征的名称和计算方式分别为：(1);(2)；(3)；(4)；(5)；(6)；(7)；(8)；(9)；
其中，符号意为向下取整，函数
ꢀꢀ
用来计算整数
ꢀꢀ
的总位数，而函数
ꢀꢀ
则用来计算整数
ꢀꢀ
中出现单个数字的种类数。8.一种扫描器的检测装置，其特征在于，包括：数据样本收集单元，用于收集若干从扫描器发出的第一数据包，以及若干非扫描器发出的第二数据包；数据特征提取单元，用于将所述第一数据包和所述第二数据包中的多种特征提取出来作为基础特征；数据特征拓展单元，用于基于所述基础特征进行特征拓展，获得若干扩展特征；数据特征训练单元，用于基于所述扩展特征来训练机器学习模型m，所述机器学习模型m即为扫描行为的检测装置。9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1～7任一项所述方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在服务器实现权利要求1～7任一项所述方法的步骤。

技术总结
本发明公开了一种扫描器的检测方法、装置、电子设备及可读存储介质，属于计算机网络安全技术领域，方法包括如下步骤：步骤S1：数据样本收集，收集若干从扫描器发出的第一数据包，以及若干非扫描器发出的第二数据包；步骤S2：数据特征提取，将所述第一数据包和所述第二数据包中的多种特征提取出来作为基础特征；步骤S3：数据特征拓展，基于所述基础特征进行特征拓展，获得若干扩展特征；步骤S4：数据特征训练，基于所述扩展特征来训练机器学习模型M，所述机器学习模型M即为扫描行为的检测装置。本发明能够同时针对常规非加密以及加密扫描行为，在实现极低误漏报率的同时对未收录扫描器仍保有一定识别能力。器仍保有一定识别能力。器仍保有一定识别能力。


技术研发人员：宋冲亚 张福 程度
受保护的技术使用者：北京升鑫网络科技有限公司
技术研发日：2023.08.16
技术公布日：2023/9/23