一种敏感信息泄露检测方法、设备及存储介质与流程
未命名
10-21
阅读:50
评论:0
1.本发明涉及信息安全领域,尤其是涉及一种敏感信息泄露检测方法、设备及存储介质。
背景技术:
2.在数字化信息时代,信息安全面临着严峻的挑战。在系统应用中,一些关键的敏感信息会通过api接口泄露出去。
3.目前,相关技术中,大多通过分析日志或者分析流量的等方式,来检测api接口是否存在敏感信息泄露的情况。但这些方式的分析能力不足,存在敏感信息漏检和误检的情况,导致敏感信息泄露,造成信息安全问题。
技术实现要素:
4.针对上述技术问题和缺陷,本发明的目的是提供一种敏感信息泄露检测方法、设备及存储介质,可以通过敏感信息识别模型来减少敏感信息漏检和误检的情况,提升敏感信息泄露检测的准确率和效率。
5.为实现上述目的,第一方面,本发明提供一种敏感信息泄露检测方法,包括:通过swagger接口管理单元对应用系统的api接口进行规范化处理,得到规范化api接口;在封装规范化api接口的请求方法后,获取规范化api接口返回的请求内容;通过已训练的敏感信息识别模型判断请求内容是否存在敏感信息,敏感信息包括身份证号、电话号码、邮箱地址、营业执照信息及银行卡信息中的至少一种;若是,则将请求内容打上敏感信息标签,得到敏感信息内容,并将对应的规范化api接口确定为敏感信息泄露api接口;敏感信息标签包括身份证号标签、电话号码标签、邮箱地址标签、营业执照信息标签或银行卡信息标签;根据敏感信息内容和敏感信息泄露api接口的接口信息,生成敏感信息泄露检测结果。
6.采用上述实施例,通过敏感信息识别模型来识别检测系统应用的api接口返回内容,是否存在敏感信息,这样利用敏感信息识别模型减少敏感信息漏检和误检的情况,提升敏感信息泄露检测的准确率和效率。
7.在一实施例中,通过敏感信息识别模型判断请求内容是否存在敏感信息的步骤,包括:将请求内容输入至已训练的字典学习算法模型,得到请求内容的稀疏表示信息;将稀疏表示信息输入至已训练的敏感信息识别模型,以判断是否存在敏感信息。
8.采用上述实施例,通过字典学习算法模型对请求内容的原始数据进行降维和特征提取,减少了数据的冗余性和复杂性,再将得到的稀疏表示信息输入至敏感信息识别模型,可以减少敏感信息识别模型的计算量,利于大批量数据处理。本实施例融合了字典学习模
型和神经网络模型这两种模型的优点,提升了模型的可解释性、计算效率、鲁棒性都更好,可以用于大批量的数据检测,提升了敏感信息检测的效率和精确度。
9.在一实施例中,在通过swagger接口管理单元对应用系统的api接口进行规范化处理,得到规范化api接口的步骤之前,还包括:获取多个样本正常数据和样本敏感数据,样本敏感数据包含有敏感信息,样本正常数据不包含敏感信息;对样本正常数据和样本敏感数据进行预处理,得到处理后的样本数据,预处理包括去噪和归一化;根据处理后的样本数据和字典学习算法,得到基向量和字典矩阵,基向量用于对处理后的样本数据进行稀疏表示;根据字典矩阵构建字典学习算法模型。
10.采用上述实施例,来构建和训练字典学习算法模型,可以使字典学习算法模型的输出更精准。
11.在一实施例中,根据处理后的样本数据和字典学习算法,得到基向量和字典矩阵的步骤,包括:将处理后的样本数据表示为基向量的线性组合x;根据x的稀疏表达式min ||x-dz||2+λ||z||_1,确定基向量z和字典矩阵d,其中,λ是正则化参数,||z||_1表示基向量z的l1范数,z是x的稀疏表示。
12.采用上述实施例,可以求得精确的基向量和字典矩阵,使字典学习算法模型更精确。
13.在一实施例中,对样本正常数据和样本敏感数据进行预处理的步骤,还包括:将至少部分样本正常数据和部分样本敏感数据进行改动,得到对抗样本数据;将样本正常数据、样本敏感数据和对抗样本数据进行预处理。
14.采用上述实施例,引入了对抗样本训练的方法,即通过生成一些对抗样本来训练模型,可以增强模型的鲁棒性和抗干扰能力,以提高模型识别敏感数据的能力。
15.在一实施例中,敏感信息识别模型包括身份证号识别模型、电话号码识别模型、邮箱地址识别模型、营业执照信息识别模型及银行卡信息识别模型,在获取规范化api接口返回的请求内容的步骤之前,还包括:将身份证号识别模型、电话号码识别模型、邮箱地址识别模型、营业执照信息识别模型及银行卡信息识别模型均封装成类。
16.采用上述实施例,通过不同类型的敏感信息识别模型来处理请求内容,可以减少漏检误检的情况,提升检测精确度。
17.在一实施例中,在根据敏感信息内容和敏感信息泄露api接口的接口信息,生成敏感信息泄露检测结果的步骤之后,还包括:将敏感信息泄露检测结果发送至显示终端,以使管理人员通过显示终端查看和校验敏感信息泄露检测结果的准确性。
18.采用上述实施例,可以使管理人员能够及时收到敏感信息泄露检测结果,验证校验敏感信息泄露检测结果的准确性。
19.第二方面,本发明提供一种敏感信息泄露检测设备,包括:
规范化模块,用于通过swagger接口管理单元对应用系统的api接口进行规范化处理,得到规范化api接口;获取模块,用于在封装规范化api接口的请求方法后,获取规范化api接口返回的请求内容;判断模块,用于通过已训练的敏感信息识别模型判断请求内容是否存在敏感信息,敏感信息包括身份证号、电话号码、邮箱地址、营业执照信息及银行卡信息中的至少一种;得到模块,用于当存在敏感信息时,将请求内容打上敏感信息标签,得到敏感信息内容,并将对应的规范化api接口确定为敏感信息泄露api接口;敏感信息标签包括身份证号标签、电话号码标签、邮箱地址标签、营业执照信息标签或银行卡信息标签;生成模块,用于根据敏感信息内容和敏感信息泄露api接口的接口信息,生成敏感信息泄露检测结果。
20.本发明实施例的敏感信息泄露检测设备可以实现上述方法的技术效果,此处不在赘述。
21.第三方面,本发明提供一种移动终端,包括处理器和存储器,存储器上存储有计算机程序,计算机程序被处理器执行时,实现上述的方法。
22.本发明实施例的移动终端可以实现上述方法的技术效果,此处不在赘述。
23.第四方面,本发明提供一种计算机可读的存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现上述的方法。
24.本发明实施例的存储介质可以实现上述方法的技术效果,此处不在赘述。
25.本发明实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:1.通过敏感信息识别模型来识别检测系统应用的api接口返回内容,是否存在敏感信息,这样利用敏感信息识别模型减少敏感信息漏检和误检的情况,提升敏感信息泄露检测的准确率和效率。
26.2.通过字典学习算法模型对请求内容的原始数据进行降维和特征提取,减少了数据的冗余性和复杂性,再将得到的稀疏表示信息输入至敏感信息识别模型,可以减少敏感信息识别模型的计算量,利于大批量数据处理。本实施例融合了字典学习模型和神经网络模型这两种模型的优点,提升了模型的可解释性、计算效率、鲁棒性都更好,可以用于大批量的数据检测,提升了敏感信息检测的效率和精确度。
27.3.引入了对抗样本训练的方法,即通过生成一些对抗样本来训练模型,可以增强模型的鲁棒性和抗干扰能力,以提高模型识别敏感数据的能力。
附图说明
28.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:图1是本发明实施例的一种敏感信息泄露检测方法的步骤流程图;图2是本发明实施例的另一种敏感信息泄露检测方法的步骤流程图;
图3是本发明实施例的敏感信息泄露检测方法中数据传输示意图;图4是本发明实施例的一种敏感信息泄露检测设备的框架图;图5是本发明实施例中电子设备的架构示意图。
具体实施方式
29.本发明以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本发明的限制。如在本发明的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本发明中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。以下,术语“第一”、“第二”仅用于描述目的,用于区分技术特征,而不能理解为暗示相对重要性或者隐含指明所指示的技术特征的数量。在本发明实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。下面对本发明实施例进行具体的说明。
30.在数字化信息时代,信息安全面临着严峻的挑战。在系统应用中,一些关键的敏感信息会通过api接口泄露出去。
31.目前,相关技术中,大多通过分析日志或者分析流量的等方式,来检测api接口是否存在敏感信息泄露的情况。但这些方式的分析能力不足,存在敏感信息漏检和误检的情况,导致敏感信息泄露,造成信息安全问题。
32.由此,本发明实施例提供一种敏感信息泄露检测方法,可以通过敏感信息识别模型来识别检测系统应用的api接口返回内容,是否存在敏感信息,这样利用敏感信息识别模型减少敏感信息漏检和误检的情况,提升敏感信息泄露检测的准确率和效率。
33.发明实施例的一种敏感信息泄露检测方法,如图1所示,可以包括步骤101、步骤102、步骤103、步骤104和步骤105,具体如下:步骤101,通过swagger接口管理单元对应用系统的api接口进行规范化处理,得到规范化api接口。
34.其中,api(application programming interface)接口即应用程序接口,其主要目的是让应用程序开发人员得以调用一组例程功能,而无须考虑其底层的源代码为何、或理解其内部工作机制的细节。api接口可以降低应系统各部分的相互依赖,提高组成单元的内聚性,降低组成单元间的耦合程度,从而提高系统的维护性和扩展性。
35.本实施中,swagger是一个规范和完整的框架,用于生成、描述、调用和可视化restful风格的web服务,总体目标是使客户端和文件系统作为服务器以同样的速度来更新。文件的方法,参数和模型紧密集成到服务器断的代码,允许api来始终保持同步。swagger 可以较好的解决接口文档的交互问题,以一套标准的规范定义接口以及相关的信息,就能做到生成各种格式的接口文档,生成多种语言和客户端和服务端的代码,以及在线接口调试页面等等。只需要更新 swagger 描述文件,就能自动生成接口文档,做到前端、后端联调接口文档的及时性和便利性。本实施例的swagger接口管理单元具有以下作用:接口描述:可以生成接口文档,包括接口的 url(uniform resource locator,统一资源定位符)、请求方法、请求参数、响应参数等信息,方便开发人员查看和理解接口的使用方法。
36.接口测试:可以提供接口测试功能,开发人员可以在 swagger 上直接测试接口,验证接口的正确性和可用性。
37.接口调试:可以提供接口调试功能,开发人员可以在 swagger 上调试接口,快速定位接口出现的问题。
38.接口规范:可以约束接口的规范,包括请求参数的数据类型、请求方法的限制等,保证接口的规范性和可维护性。
39.接口管理:可以将所有的接口进行管理,包括新增、修改、删除等操作,方便开发人员进行接口的维护和管理。
40.在上述步骤中,规范化处理具体为对api接口进行收集和清洗处理,包括:1.使用swagger接口管理单元生成 api 文档;2.从文档中提取出需要的接口信息,如接口名称、url、请求方法、请求参数、响应参数等;3.对这些接口信息进行清洗和整理,如去除重复的接口、合并相同的接口等操作。
41.4.将清洗后的接口信息存储到数据库或其他数据存储系统中,以便后续的使用。
42.通过上述步骤,swagger接口管理单元可以实现对所有 api 接口的统一管理和规范化,方便开发人员进行接口的使用和维护。同时,还可以提高开发效率和代码质量,减少错误和重复工作。
43.步骤102,在封装规范化api接口的请求方法后,获取规范化api接口返回的请求内容。
44.具体地,请求方法包括get请求和post请求。上述步骤具体包括:先对规范化api接口的进行get请求和post请求进行封装,然后获取规范化api接口返回的请求内容。其中,请求内容也是经由规范化api接口中所传输的图片、文字、音频、视频等内容。
45.步骤103,通过已训练的敏感信息识别模型判断请求内容是否存在敏感信息,敏感信息包括身份证号、电话号码、邮箱地址、营业执照信息及银行卡信息中的至少一种。电话号码可以包括手机号码和座机号码。
46.其中,敏感信息识别模型包括身份证号识别模型、电话号码识别模型、邮箱地址识别模型、营业执照信息识别模型及银行卡信息识别模型。
47.身份证号识别模型可以根据正则表达式规则,以及使用ocr(optical character recognition,光学字符识别)图片识别技术,识别api接口中传输的请求内容中是否存在身份证号码。
48.电话号码识别模型可以根据正则表达式规则,以及使用ocr图片识别技术识别api接口中传输的请求内容是否存在电话号码。
49.邮箱地址识别模型可以根据正则表达式规则,以及使用ocr图片识别技术识别api接口中传输的请求内容是否存在邮箱地址。
50.营业执照信息识别模型可以根据正则表达式规则,以及使用ocr图片识别技术识别api接口中传输的请求内容是否存在营业执照信息。
51.银行卡信息识别模型可以根据正则表达式规则,以及使用ocr图片识别技术识别api接口中传输的请求内容是否存在银行卡信息。
52.本实施例中敏感信息识别模型为可以进行深度学习的神经网络。通过不同类型的
敏感信息识别模型来处理请求内容,可以减少漏检误检的情况。针对上述每种类型的敏感信息识别模型,可以采集对应的样本数据进行训练,提升模型识别的精准度。
53.步骤104,若是,即存在敏感信息,则将请求内容打上敏感信息标签,得到敏感信息内容,并将对应的规范化api接口确定为敏感信息泄露api接口;敏感信息标签包括身份证号标签、电话号码标签、邮箱地址标签、营业执照信息标签或银行卡信息标签。
54.例如,当某一个规范化api接口返回的请求内容存在身份证号时,则将该请求内容打上身份证号标签,该规范化api接口确定为敏感信息泄露api接口;若该请求内容还存在电话号码、邮箱地址或其他敏感信息,则将该请求内容同时打上电话号码标签、邮箱地址标签或其他对应的敏感信息标签。
55.步骤105,根据敏感信息内容和敏感信息泄露api接口的接口信息,生成敏感信息泄露检测结果。
56.具体地,敏感信息泄露检测结果可以采用报告的形式呈现,敏感信息泄露检测结果中可以包括应用系统入口地址、api接口地址、api接口描述、请求测试用例、api返回内容,以及敏感信息标签。其中,api接口描述包括:接口名称:描述api接口的名称,通常以动词开头,清晰明确地表达接口的功能。
57.功能描述:对接口的功能进行简洁明了的描述,说明该接口的作用和目的。
58.输入参数:列出接口需要接收的输入参数,包括参数名称、类型、是否必需、默认值、取值范围等信息。对于复杂的参数结构,可以使用示例或者数据结构的描述来说明。
59.输出结果:描述接口的返回结果,包括返回值的类型、含义、格式等信息。对于不同的返回结果,可以说明不同的场景和返回值的含义。
60.错误码:列出可能的错误码及其含义,用于指示接口调用过程中可能出现的错误情况,帮助开发人员进行错误处理和调试。
61.测试用例:提供具体的示例,以便开发人员更好地理解接口的使用方法和参数的格式。
62.接口版本:标明接口的版本号,用于管理和维护不同版本的接口。通过api接口描述,开发人员能够清晰地了解api接口的功能和用法,从而能够正确地调用和集成api,提高开发效率和降低错误发生的概率。同时,api接口描述也为团队协作和文档维护提供了重要的参考依据。
63.本实施例采用上述步骤,可以通过敏感信息识别模型来识别检测系统应用的api接口返回内容,是否存在敏感信息,这样利用敏感信息识别模型减少敏感信息漏检和误检的情况,提升敏感信息泄露检测的准确率和效率。
64.另一方面,考虑到在大批量检测敏感信息时,由于数据量庞大,敏感信息识别模型的计算量也非常巨大,处理器负载加大,这会造成计算速度下降,不利于敏感信息大批量高效率的检测。因此,针对上述问题,本实施例的敏感信息泄露检测方法,还可以具体包括以下步骤,如图2所示:步骤201,通过swagger接口管理单元对应用系统的api接口进行规范化处理,得到规范化api接口。
65.其中,本步骤与步骤101相同,此处不再赘述。
66.步骤202,将身份证号识别模型、电话号码识别模型、邮箱地址识别模型、营业执照
信息识别模型及银行卡信息识别模型均封装成类。
67.在本步骤中,将上述敏感信息识别模型封装成类,可以方便调用。
68.步骤203,在封装规范化api接口的请求方法后,获取规范化api接口返回的请求内容。
69.其中,本步骤与步骤102相同,此处不再赘述。
70.步骤204,将该请求内容输入至已训练的字典学习算法模型,得到请求内容的稀疏表示信息。
71.其中,首先将请求内容中的数据进行预处理,包括去噪、降维、归一化等操作,以提高数据的质量和可用性。然后将预处理后的请求内容输入至字典学习算法模型,学习出一组基向量,这些基向量可以用于对原始数据进行稀疏表示。稀疏表示是指将一个向量表示为一组基向量的线性组合,其中只有少数几个系数是非零的。
72.本实施例中,字典学习算法模型采用字典学习算法,通常采用无监督学习算法来求解得到基向量形式的稀疏表示信息,例如omp算法、k-svd算法等。具体地,稀疏表示信息的基向量z可以用下式来求解得到:min ||x-dz||2+λ||z||_1;其中,x表示上述请求内容对应的数据向量,d表示字典矩阵,λ是正则化参数,||z||_1表示基向量z的l1范数。
73.min ||x-dz||2表示原始数据向量x与字典矩阵d的稀疏线性组合与原始数据向量之间的误差,误差越小,则z越精准,理想状态下误差为0最好,即x=dz。
74.λ||z||_1是一个正则化项,用于惩罚系数向量z中非零系数的数量,λ用于控制稀疏度和误差之间的平衡。l1范数也称为manhattan范数或绝对值和。具体地,向量z的l1范数定义为其各个元素绝对值之和,即:||z||_1 = |z_1| + |z_2| + ... + |z_n|;在优化问题中,l1范数作为正则化项,可以用来控制稀疏度和误差之间的平衡。通过调节正则化参数λ的大小,可以实现对稀疏度和误差之间的权衡。
75.在实际应用中,l1范数常常被用来作为特征选择和稀疏表示的工具。其优点在于,l1范数可以将一些无关或冗余的特征系数设置为零,从而实现特征选择和降维的目的。此外,l1范数还可以促进系数向量的稀疏性,从而提高模型的泛化能力和解释性。在敏感数据泄露检测中,l1范数可以用来控制模型参数的稀疏性,从而提高模型对于噪声和干扰的鲁棒性和抗干扰能力。
76.字典矩阵d可以通过在先实验进行训练优化,字典矩阵d训练优化的越好,求解得到的基向量z就会越精确。
77.通过上式求解得到的基向量z即为请求内容数据向量x的稀疏表示。稀疏表示的优点在于,它可以将高维数据表示为低维稀疏向量,从而减少了数据的冗余性和复杂性。此外,稀疏表示还可以用于特征提取、信号压缩、图像处理等领域。在本实施例的敏感数据泄露检测中,稀疏表示可以用于对原始数据进行降维和特征提取,从而提高模型的准确性和效率。
78.可以理解是,为了提升字典学习算法模型的精确度,使字典学习模型输出的稀疏表示信息更精确,需要对字典学习算法模型进行训练优化。训练的过程可以在步骤201之前
进行,具体包括以下步骤:步骤210,获取多个样本正常数据和样本敏感数据,样本敏感数据包含有敏感信息,样本正常数据不包含敏感信息。
79.其中,样本敏感数据中可以包括身份证号、电话号码、邮箱地址、营业执照信息及银行卡信息等一种或多种类型的敏感信息。样本正常数据和样本敏感数据可以来自于现有的数据集、企业内部的数据或者第三方数据供应商。
80.步骤220,对样本正常数据和样本敏感数据进行预处理,得到处理后的样本数据,预处理包括去噪和归一化。
81.其中,通过预处理,可以提高样本正常数据和样本敏感数据的质量和可用性,利于大量多次的模型训练。
82.在一实施例中,对样本正常数据和样本敏感数据进行预处理的步骤,还进一步包括:首先,将至少部分样本正常数据和部分样本敏感数据进行改动,得到对抗样本数据。
83.其中,至少部分样本数据可以作为原始样本数据;这些对抗样本数据是通过对原始样本数据进行微小的扰动得到的,以使得模型对其的识别结果发生改变。对抗样本的生成可以采用多种方法,如fgsm(fast gradient sign method,快速梯度算法)、pgd(proximal gradient descent,近端梯度下降法)等,这些方法可以在保证扰动幅度较小的情况下,使得模型对于对抗样本数据的识别结果与原始样本数据有所不同。
84.然后,将样本正常数据、样本敏感数据和对抗样本数据进行去噪、降维、归一化等预处理。
85.这样可以提对抗样本数据的质量和可用性,利于大量多次的模型训练。
86.上述步骤引入了对抗样本训练的方法,即通过生成一些对抗样本来训练模型,可以增强模型的鲁棒性和抗干扰能力,以提高模型识别敏感数据的能力。
87.步骤230,根据处理后的样本数据和字典学习算法,得到基向量和字典矩阵,基向量用于对处理后的样本数据进行稀疏表示。
88.具体地,假设样本数据表示为向量线性组合x,字典矩阵表示为d,基向量为z,是x的稀疏表示,则有x≈dz;当字典矩阵d优化得越好时,或z越精确时,dz乘积结果约接近于x。
89.步骤240,根据字典矩阵构建字典学习算法模型。
90.具体地,首先将处理后的样本数据表示为基向量的线性组合x;然后,根据x的稀疏表达式min ||x-dz||2 +λ||z||_1,确定基向量z和字典矩阵d,其中,λ是正则化参数,||z||_1表示基向量z的l1范数,z是x的稀疏表示。
91.其中,在字典矩阵d优化得足够好的情况下,将字典矩阵d作为固定常量,x作为训练样本数据输入至模型中,通过min ||x-dz||2 +λ||z||_1,就可以求得基向量z。基于上述步骤就构成了字典学习算法模型。
92.本实施例通过上述方法来构建和训练字典学习算法模型,可以使字典学习算法模型的输出更精准。另一方面,在字典学习算法模型的训练过程中,其输出的结果可以作为样本数据,用于敏感信息识别模型的训练样本,这样可以使字典学习算法模型和敏感信息识别模型进行联合训练,使两者的训练效果更优。
93.步骤205,将稀疏表示信息输入至已训练的敏感信息识别模型,以判断是否存在敏感信息。若是,则进入步骤206;若否,则返回步骤203.具体地,敏感信息识别模型对输入的稀疏表示信息进行识别分类,判断是否为敏感信息以及是哪一类敏感信息。敏感信息包括身份证号、电话号码、邮箱地址、营业执照信息及银行卡信息等类型。
94.由于稀疏标识信息的数据维度和数据量大小相较于原始的请求内容下降了很多,因此敏感信息识别模型进行识别处理时的数据计算量也大大减少,提高了计算精度和速度。
95.步骤206,若存在敏感信息,则将请求内容打上敏感信息标签,得到敏感信息内容,并将对应的规范化api接口确定为敏感信息泄露api接口。
96.其中,敏感信息标签包括身份证号标签、电话号码标签、邮箱地址标签、营业执照信息标签或银行卡信息标签。
97.步骤207,根据敏感信息内容和敏感信息泄露api接口的接口信息,生成敏感信息泄露检测结果。
98.其中,本步骤与步骤105相同,此处不再赘述。
99.步骤208,将敏感信息泄露检测结果发送至显示终端,以使管理人员通过显示终端查看和校验敏感信息泄露检测结果的准确性。
100.具体地,可以通过通讯软件、电子邮件等方式发送至管理人员的电脑、手机等显示终端上,使管理人员能够及时收到敏感信息泄露检测结果,验证校验敏感信息泄露检测结果的准确性。
101.本实施例引入了字典学习的算法,字典学习算法具有以下优点:可解释性强:字典学习算法可以学习出最具代表性的基向量,这些基向量可以用于解释原始数据的特征,有助于理解数据的本质。
102.稀疏性好:字典学习算法可以学习出稀疏表示,即用尽可能少的基向量表示原始数据,有助于降低数据维度和提高计算效率。
103.适用范围广:字典学习算法可以应用于信号处理、图像处理、语音识别等领域,具有较好的通用性和灵活性。
104.同时,本实施例的敏感信息识别模型为可以深度学习的神经网络模型,神经网络模型具有以下优点:适用范围广:神经网络模型可以应用于图像识别、自然语言处理、语音识别等领域,具有较好的通用性和灵活性。
105.学习能力强:神经网络模型具有较强的学习能力和泛化能力,可以从大量数据中学习出最优的权重和偏置,以实现特定的任务。
106.可扩展性好:神经网络模型可以通过增加网络层数、节点数等方式进行扩展,以提高模型的性能和泛化能力。
107.本实施例采用上述方法步骤,如图3所示,首先将api接口返回的请求内容输入至字典学习算法模型,得到请求内容的稀疏表示信息,对请求内容的原始数据进行了降维和特征提取,减少了数据的冗余性和复杂性,可以减少后续敏感信息识别模型的计算量,利于大批量数据处理;再将稀疏表示信息输入至敏感信息识别模型,识别出敏感信息内容,最后
将敏感信息内容整理敏感信息泄漏检测结果。本实施例融合了字典模型和神经网络模型这两种模型的优点,提升了模型的可解释性、计算效率、鲁棒性都更好,可以用于大批量的数据检测,提升了敏感信息检测的效率和精确度。
108.第二方面,本发明实施例提供一种敏感信息泄露检测设备,如图4所示,包括规范化模块401、获取模块402、判断模块403、得到模块404和生成模块405,具体地:规范化模块401,用于通过swagger接口管理单元对应用系统的api接口进行规范化处理,得到规范化api接口;获取模块402,用于在封装规范化api接口的请求方法后,获取规范化api接口返回的请求内容;判断模块403,用于通过已训练的敏感信息识别模型判断请求内容是否存在敏感信息,敏感信息包括身份证号、电话号码、邮箱地址、营业执照信息及银行卡信息中的至少一种;得到模块404,用于当存在敏感信息时,将请求内容打上敏感信息标签,得到敏感信息内容,并将对应的规范化api接口确定为敏感信息泄露api接口;敏感信息标签包括身份证号标签、电话号码标签、邮箱地址标签、营业执照信息标签或银行卡信息标签;生成模块405,用于根据敏感信息内容和敏感信息泄露api接口的接口信息,生成敏感信息泄露检测结果。
109.本实施例的敏感信息泄露检测设备,用于执行上述实施例提供的敏感信息泄露检测方法,可以通过敏感信息识别模型来识别检测系统应用的api接口返回内容,是否存在敏感信息,这样利用敏感信息识别模型减少敏感信息漏检和误检的情况,提升敏感信息泄露检测的准确率和效率。
110.本实施例中,敏感信息泄露检测设备是一种电子设备,下面以电子设备来表称本实施例的敏感信息泄露检测设备。图5示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
111.需要说明的是,图5示出的电子设备的计算机系统仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
112.如图5所示,计算机系统包括中央处理单元(central processing unit,cpu)1801,其可以根据存储在只读存储器(read-only memory,rom)1802中的程序或者从存储部分1808加载到随机访问存储器(random access memory,ram)1803中的程序而执行各种适当的动作和处理,例如执行上述实施例中所述的方法。在ram 1803中,还存储有系统操作所需的各种程序和数据。cpu 1801、rom 1802以及ram 1803通过总线1804彼此相连。输入/输出(input /output,i/o)接口1805也连接至总线1804。
113.以下部件连接至i/o接口1805:包括键盘、鼠标等的输入部分1806;包括诸如阴极射线管(cathode ray tube,crt)、液晶显示器(liquid crystal display,lcd)等以及扬声器等的输出部分1807;包括硬盘等的存储部分1808;以及包括诸如lan(local area network,局域网)卡、调制解调器等的网络接口卡的通信部分1809。通信部分1809经由诸如因特网的网络执行通信处理。驱动器1810也根据需要连接至i/o接口1805。可拆卸介质1811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1810上,以便于从其上读出的计算机程序根据需要被安装入存储部分1808。
114.特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中,该计算机程序可以通过通信部分1809从网络上被下载和安装,和/或从可拆卸介质1811被安装。在该计算机程序被中央处理单元(cpu)1801执行时,执行本发明的系统中限定的各种功能。
115.需要说明的是,本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory,eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory,cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
116.附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
117.描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
118.具体地,本实施例的电子设备包括处理器和存储器,存储器上存储有计算机程序,计算机程序被处理器执行时,实现上述实施例提供的方法。
119.作为另一方面,本发明还提供了一种计算机可读的存储介质,该存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述存储介质承载有一个或者多个计算机程序,当上述一个或者多个计算机程序被一个该电子设备的处理器执行时,使得该电子设备实现上述实施例中提供的方法。
120.应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
121.通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是cd-rom,u盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、主机服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
122.本实施例中,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在上面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
123.附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
124.附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
125.本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。
126.应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
技术特征:
1.一种敏感信息泄露检测方法,其特征在于,包括:通过swagger接口管理单元对应用系统的api接口进行规范化处理,得到规范化api接口;在封装所述规范化api接口的请求方法后,获取所述规范化api接口返回的请求内容;通过已训练的敏感信息识别模型判断所述请求内容是否存在敏感信息,所述敏感信息包括身份证号、电话号码、邮箱地址、营业执照信息及银行卡信息中的至少一种;若是,则将所述请求内容打上敏感信息标签,得到敏感信息内容,并将对应的规范化api接口确定为敏感信息泄露api接口;所述敏感信息标签包括身份证号标签、电话号码标签、邮箱地址标签、营业执照信息标签或银行卡信息标签;根据所述敏感信息内容和所述敏感信息泄露api接口的接口信息,生成敏感信息泄露检测结果。2.根据权利要求1所述的敏感信息泄露检测方法,其特征在于,所述通过敏感信息识别模型判断所述请求内容是否存在敏感信息的步骤,包括:将所述请求内容输入至已训练的字典学习算法模型,得到所述请求内容的稀疏表示信息;将所述稀疏表示信息输入至已训练的敏感信息识别模型,以判断是否存在敏感信息。3.根据权利要求2所述的敏感信息泄露检测方法,其特征在于,在所述通过swagger接口管理单元对应用系统的api接口进行规范化处理,得到规范化api接口的步骤之前,还包括:获取多个样本正常数据和样本敏感数据,所述样本敏感数据包含有敏感信息,所述样本正常数据不包含敏感信息;对所述样本正常数据和所述样本敏感数据进行预处理,得到处理后的样本数据,所述预处理包括去噪和归一化;根据所述处理后的样本数据和字典学习算法,得到基向量和字典矩阵,所述基向量用于对所述处理后的样本数据进行稀疏表示;根据所述字典矩阵构建字典学习算法模型。4.根据权利要求3所述的敏感信息泄露检测方法,其特征在于,所述根据所述处理后的样本数据和字典学习算法,得到基向量和字典矩阵的步骤,包括:将所述处理后的样本数据表示为基向量的线性组合x;根据x的稀疏表达式min ||x-dz||
2 +λ||z||_1,确定基向量z和字典矩阵d,其中,λ是正则化参数,||z||_1表示基向量z的l1范数,z是x的稀疏表示。5.根据权利要求3所述的敏感信息泄露检测方法,其特征在于,所述对所述样本正常数据和所述样本敏感数据进行预处理的步骤,还包括:将至少部分样本正常数据和部分样本敏感数据进行改动,得到对抗样本数据;将所述样本正常数据、所述样本敏感数据和所述对抗样本数据进行预处理。6.根据权利要求1所述的敏感信息泄露检测方法,其特征在于,所述敏感信息识别模型包括身份证号识别模型、电话号码识别模型、邮箱地址识别模型、营业执照信息识别模型及银行卡信息识别模型,在所述获取所述规范化api接口返回的请求内容的步骤之前,还包括:
将所述身份证号识别模型、所述电话号码识别模型、所述邮箱地址识别模型、所述营业执照信息识别模型及所述银行卡信息识别模型均封装成类。7.根据权利要求1至6任一项所述的敏感信息泄露检测方法,其特征在于,在所述根据所述敏感信息内容和所述敏感信息泄露api接口的接口信息,生成敏感信息泄露检测结果的步骤之后,还包括:将所述敏感信息泄露检测结果发送至显示终端,以使管理人员通过所述显示终端查看和校验所述敏感信息泄露检测结果的准确性。8.一种敏感信息泄露检测设备,其特征在于,包括:规范化模块,用于通过swagger接口管理单元对应用系统的api接口进行规范化处理,得到规范化api接口;获取模块,用于在封装所述规范化api接口的请求方法后,获取所述规范化api接口返回的请求内容;判断模块,用于通过已训练的敏感信息识别模型判断所述请求内容是否存在敏感信息,所述敏感信息包括身份证号、电话号码、邮箱地址、营业执照信息及银行卡信息中的至少一种;得到模块,用于当存在敏感信息时,将所述请求内容打上敏感信息标签,得到敏感信息内容,并将对应的规范化api接口确定为敏感信息泄露api接口;所述敏感信息标签包括身份证号标签、电话号码标签、邮箱地址标签、营业执照信息标签或银行卡信息标签;生成模块,用于根据所述敏感信息内容和所述敏感信息泄露api接口的接口信息,生成敏感信息泄露检测结果。9.一种敏感信息泄露检测设备,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现权利要求1至7中任一项所述的敏感信息泄露检测方法。10.一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1至7中任一项所述的敏感信息泄露检测方法。
技术总结
本发明公开了一种敏感信息泄露检测方法、设备及存储介质。方法包括:通过Swagger接口管理单元对应用系统的API接口进行规范化处理,得到规范化API接口;在封装规范化API接口的请求方法后,获取规范化API接口返回的请求内容;通过已训练的敏感信息识别模型判断请求内容是否存在敏感信息;若是,则将请求内容打上敏感信息标签,得到敏感信息内容,并将对应的规范化API接口确定为敏感信息泄露API接口;根据敏感信息内容和敏感信息泄露API接口的接口信息,生成敏感信息泄露检测结果。本发明可以通过敏感信息识别模型来减少敏感信息漏检和误检的情况,提升敏感信息泄露检测的准确率和效率。率。率。
技术研发人员:冯玉权
受保护的技术使用者:企知道科技有限公司
技术研发日:2023.08.02
技术公布日:2023/10/15
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/