基于提示学习的签名笔迹鉴别方法、系统及存储介质与流程

1.本发明涉及计算机信息处理技术领域、信息安全技术领域，具体是一种基于提示学习的签名笔迹鉴别方法。


背景技术：

2.在数字化时代，大量公文、合同、交易、授权等均通过当事人电子签名确定身份，签名笔迹鉴别成为了非常重要的技术。目前，电子签名笔迹鉴别技术是一项非常有挑战性的任务，因为笔迹可能在不同的设备、不同的角度、不同的光照条件和不同的书写方式下进行采集。传统的签名笔迹鉴别方法主要是通过手工特征提取和度量方式进行比对，存在精度不高、易受攻击和对数据规模要求高等问题。而深度学习算法可以通过端到端的学习，自动提取特征并得到较好的比对结果，但常规的深度学习方法需要大量签署人对应真伪的签名数据进行训练，基于此数据的隐私性和笔迹仿写数据的采集难度，训练数据整体的丰富性不高，同时常规的签名笔迹鉴别方法一般都只是局限于关注签名本身的特征信息，没有更进一步考虑签名自带的属性信息以及其他更多的先验知识，导致最终算法精度有限，训练收敛速度也相对较慢，虽然现在也有不少算法引入了先验知识去辅助模型快速准确学习，但大部分都是基于手工设计的提示信息模板，相对耗时耗力且有局限性。此外，大多数签名笔迹鉴别算法能够应用的场景相对有限，更多关注的是同模态同设备类型下的笔迹比对，不能够支持泛场景下多模态签名笔迹数据的鉴别。因此急需一种新的精度较高的稳定的可以在多模态复杂场景下使用的签名笔迹鉴别方法来满足实际的应用需求。
3.公开号cn115601843a，名称“基于双流网络的多模态签名笔迹鉴别系统及方法
”ꢀ
公开基于双流网络的多模态签名笔迹鉴别系统，采集不同签署人的纸质签名和电子签名数据，得到离线纸质签名图像和在线签名图像数据，构建对应纸质签名和电子签名序列的正写及仿写样本；利用循环的对抗生成网络将签字图像从一个域迁移到另一个域，将同模态数据组合拼接转换为相同尺度的图像；经过拼接的两类同模态签名图像数据分别输入双流网络基于特征提取网络获得的签名特征向量及损失函数进行签名真伪二分类训练，输出签名图像对相似度的概率得分，通过跨模态正写及仿写样本签名笔迹对及损失函数训练优化双流网络得到多模态签名笔迹鉴别模型。该方法利用模态转换的方式将跨模态比对转化为单模态比对的方式，的确可以改善模态差异带来的精度不佳问题，但是该方法并未考虑结合实际数据采集场景中自有的强先验属性信息，如采集设备以及书写类型等信息，而此类特征对于笔迹风格的影响是较大的。
4.公开号cn106803082a，名称“一种基于条件式生成对抗网络的在线笔迹识别方法”，在笔迹签名数据集上以类别标签为条件训练对抗网络，可以根据标签条件信息，生成对应的方向数字特征；通过条件生成对抗网络挖掘用户的个性化笔迹，鉴别是通过对抗网络签名判别模型，通过生成模型捕捉已接收的一段文字样本数据的分布，然后对文字样本加类别标签，形成指定类别的笔迹数据样本。该方法基于条件生成对抗网络的方式先生成具有数据采集属性的书写风格等信息的伪签名数据，再基于签名判别模型对签名真伪进行
判别，虽然一定程度上利用了强先验的属性信息，但是单个用户输入的笔迹先验属性太过固定，当实际场景中出现超出定义范围的伪签名类型数据攻击时，可能会出现误判的结果。
5.现有的跨膜态笔迹识别方法中，未充分考虑对书写笔迹风格影响大的数据采集场景中自有的强先验属性信息，未充分考虑笔迹先验属性的多样性和变化性，在跨膜态笔迹识别中容易误判，准确率较低。


技术实现要素：

6.有鉴于此，本发明针对现有技术跨膜态笔迹识别中存在的精度与泛化性不足，容易误判，准确率较低等问题，提出一种基于提示学习的签名笔迹鉴别方法，可以支持解决多模态泛场景下的签名笔迹鉴别问题。
7.将签名图像数据结合笔迹中具有强身份信息的书写内容，书体类型，书写方式，书写设备等先验知识作为签名笔迹对比学习预训练架构的输入，以促进签名图像特征提取器能够快速准确地学习到签署人个性化的签名特征，从而更好的进行后续签名笔迹真伪鉴别任务。区别于传统的基于提示学习的对比学习训练方法，不再需要特意手工设计提示向量作为属性特征提取器的输入，可自动提取且可自适应调整的签名属性提示向量学习方法，不仅省去了耗时费力的手工设计步骤，还可以更准确更稳定地描述签名笔迹的个性化特征，进一步提高比对准确率。同时将签名笔迹采集过程中可获得的相关签名属性信息作为提示引入对比学习预训练模型中训练，一方面是考虑跨设备，跨书写方式等属性对于签名笔迹风格的转变有较大的影响，而此种方式可以达到缓解模型泛化性不足的目的，另一方面是考虑书写类型和书写内容等属性作为签名的固有特征对于笔迹比对特征学习有一定的促进作用，不仅可以加速模型的学习速度，也可以作为先验知识引导预训练模型达到更好的学习效果。同时，由于有预训练模型的辅助，本发明在签名笔迹比对模型训练阶段无需采集大量的一一对应的签名正仿写数据，进一步降低了数据采集周期和成本。
8.根据本技术的一个方面，提出一种基于提示学习的签名笔迹鉴别方法，采集包含不同签署人使用不同书写设备，不同书写方式以及不同书体风格的签名图像和/或数据序列，记录签名的属性信息；将不同类型签名转换为格式和大小固定的签名图像；确认签名图像属性对应标签，获取不同属性的分类训练数据、预训练数据及微调数据；训练多个属性特征提取器，设置签署人身份为目标值，各特征提取器分别提取签名图像对应各属性的提示特征向量；基于签名图像数据及其对应的属性提示向量序列，训练多模态签名对比学习预训练模型，自适应调整属性提示向量序列；多模态签名对比学习预训练模型适配签名笔迹真伪鉴别任务，微调数据输入图像特征提取器中提取签名特征向量，再基于签名特征向量对比学习训练，获得签名笔迹鉴别器。
9.进一步优选，所述训练多个属性特征提取器包括：基于不同签名属性信息及其对应的不同属性类别标签，分别训练书写设备多分类模型、书写方式二分类模型、书写内容多分类模型、书写风格多分类模型，得到书写设备特征提取器、书体风格特征提取器、书写方式特征提取器和书写内容特征提取器。
10.进一步优选，提取提示特征向量包括：签名笔迹图像的书写设备、书写方式、书体风格以及书写内容的特征表示，基于对比学习预训练签名图像数据以及各属性特征提取器，分别提取预训练数据对应的特征向量，将各特征向量按照书写设备向量，书写方式向
量，书写风格向量，书写内容向量以及{class}顺序进行拼接组合得到属性提示向量序列《书写设备》《书写方式》《书写风格》《书写内容》{class}，其中，根据签名属性标签对《》中的属性进行对应填充描述，class代表需要预测的目标签署人身份标签类别，输出的向量维度为1*1。
11.进一步优选，确认签名图像属性对应的标签包括：对数据类型设置标签，每个签名数据的标签包括书写设备、书写方式、书写风格、书写内容、签名真伪以及签署人身份，书写设备标签为四分类标签，书写方式为三分类标签，书写风格为三分类标签，书写内容对应签署人姓名，为多分类标签，签名真伪为两分类标签，签署人身份为多分类标签对应每个签署人有一个特定类型表示。
12.进一步优选，基于签名图像数据以及其对应不同属性的标签信息，获得书写设备四分类训练数据、书写方式三分类训练数据、书写风格三分类训练数据、书写内容n分类训练数据，基于上述训练数据分别训练书写设备四分类模型、书写方式三分类模型、书写风格三分类模型、以及书写内容n分类模型，分类模型的骨干网络均采用resnet50，分类层的维度统一设置，获得对应的书写设备特征提取器、书写方式特征提取器、书写风格特征提取器、书写内容特征提取器，基于上述特征提取器，提取对比学习预训练签名数据的书写设备、书写方式、书写风格、书写内容特征向量，每个特征提取器输出的特征向量表示维度为设定的固定维度。
13.进一步优选，基于双塔式的网络结构进行多模态签名对比学习预训练，其中，图像特征提取器分支提取签名图像特征，分支骨干网络使用残差网络结构（resnet101）；属性特征提取器分支提取签名图像对应的属性提示特征序列，分支骨干网络使用基于注意力机制的transformer架构，根据属性提示特征序列进行特征提取后输出属性特征向量表示，结合属性提示特征序列中包含的隐式签名属性信息，在对比学习训练过程的特征对齐阶段忽略不同模态、不同设备以及不同书写方式下签名的差异性，关注签署人特有的签名风格特征学习；用仿写的部分签署人的真伪签名数据作为多模态对比学习微调数据，其余数据作为预训练数据，通过余弦相似度损失计算评估图像特征提取器输出特征向量间的相似性，并进一步优化此余弦相似度损失直至收敛状态。
14.根据本技术另一方面，还提出一种基于提示学习的签名笔迹鉴别系统，包括：数据采集部分、数据预处理部分、书写属性特征提取器、属性提示向量序列获取部分、多模态预训练部分，数据采集部分采集包含不同签署人使用不同采集设备，不同书写方式以及不同书体风格的签名纸质图像与电子签名序列数据，同时记录签名数据相关属性信息，采集部分签名对应的仿写签名数据；数据预处理部分，将不同类型签名转换为格式和大小固定的签名图像，确认签名图像对应属性及其对应标签，获取并确定不同属性的训练签名图像数据，获取预训练签名图像数据与签名真伪鉴别器微调训练数据；书写属性特征提取器，基于不同属性的训练签名图像数据及对应的不同属性类别标签，训练多个属性特征提取器，设置签署人身份为目标值，各特征提取器分别提取签名图像对应各属性的提示特征向量；属性提示向量序列获取部分，基于签名图像数据及其对应的属性提示向量序列，训练多模态签名对比学习预训练模型，自适应调整属性提示向量序列；多模态预训练部分，适配签名笔迹真伪鉴别任务，微调数据输入图像特征提取器中提取签名特征向量，再基于提取的签名特征向量对比学习训练，获得签名笔迹鉴别器。
15.进一步优选，多模态预训练部分基于双塔式的网络结构进行多模态签名对比学习的预训练，其中，图像特征提取器分支进行对比学习预训练提取签名图像特征，分支骨干网络使用resnet101网络结构；属性特征提取器分支提取签名图像对应的属性提示特征序列，分支骨干网络可使用transformer架构，根据属性提示特征序列进行特征提取后输出属性特征向量表示，结合属性提示特征序列中包含的隐式签名属性信息，在对比学习训练过程中的特征对齐阶段忽略不同模态、不同设备以及不同书写方式下签名的差异性，关注签署人特有的签名风格特征学习；用仿写的部分签署人的真伪签名数据作为多模态对比学习微调数据，其余数据作为预训练数据，通过余弦相似度损失计算评估图像特征提取器输出特征向量间的相似性，并进一步优化此余弦相似度损失直至收敛状态。
16.进一步优选，所述训练多个属性特征提取器包括：基于不同签名属性信息及其对应的不同属性类别标签，分别训练书写设备多分类模型、书写方式二分类模型、书写内容多分类模型、书写风格多分类模型，得到书写设备特征提取器、书体风格特征提取器、书写方式特征提取器和书写内容特征提取器。
17.根据本技术另一方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的基于提示学习的签名笔迹鉴别方法。
18.本发明采用基于提示学习的方法进一步利用签名相关属性信息结合原始签名图像进行对比学习，从而可以更准确地描述签名笔迹的特征，提高笔迹鉴别的准确率。与传统的签名笔迹比对算法相比，不需要大量一一对应的正仿写签名数据进行签名比对模型训练，且容易避免陷入局部最优解。此外，区别于传统的基于提示学习的对比学习训练方法，本算法不再需要特意手工设计提示向量作为属性特征提取器的输入，而是提出一种可自动提取且可自适应调整的签名属性提示向量学习方法，该方法不仅省去了耗时费力的手工设计步骤，还可以更准确更稳定地描述签名笔迹的个性化特征，进一步提高比对准确率，因此，该方法具有较高的实用价值。本发明的应用场景广泛，可以用于在金融、法律、政府等领域中对签名笔迹的比对和识别，同时也可以应用于网络安全领域中的身份验证等方面。
19.本发明可以支持解决多模态泛场景下的签名笔迹鉴别问题。针对当前签名笔迹鉴别算法研发中存在的精度与泛化性不足问题，本专利提出了一种基于提示学习的签名笔迹鉴别算法。该算法将签名图像数据结合笔迹中具有强身份信息的书写内容，书体风格，书写方式，书写设备等先验知识作为签名笔迹对比学习预训练架构的输入，以促进签名图像特征提取器能够快速准确地学习到签署人个性化的签名特征，从而更好的进行后续签名笔迹真伪鉴别任务。此外，区别于传统的基于提示学习的对比学习训练方法，本算法不再需要特意手工设计提示向量作为属性特征提取器的输入，而是提出一种可自动提取且可自适应调整的签名属性提示向量学习方法，该方法不仅省去了耗时费力的手工设计步骤，还可以更准确更稳定地描述签名笔迹的个性化特征，进一步提高比对准确率。将签名笔迹采集过程中可获得的相关签名属性信息作为提示引入对比学习预训练模型中训练，一方面是考虑跨设备，跨书写方式等属性对于签名笔迹风格的转变有较大的影响，而此种方式可以达到缓解模型泛化性不足的目的，另一方面是考虑书写类型和书写内容等属性作为签名的固有特征对于笔迹比对特征学习有一定的促进作用，不仅可以加速模型的学习速度，也可以作为先验知识引导预训练模型达到更好的学习效果。同时，由于有预训练模型的辅助，本发明在
签名笔迹比对模型训练阶段无需采集大量的一一对应的签名正仿写数据，进一步降低了数据采集周期和成本。
附图说明
20.图1本技术示例性实施例中的基于提示学习的签名笔迹鉴别方法流程示意图；图2本技术示例性实施例中的多模态预训练网络设计结构示意图；图3本技术示例性实施例中签名真伪鉴别器训练示意图；图4所示为能够用于实现本技术的实施例的示例性电子设备的结构框图。
具体实施方式
21.下面将参照附图更详细地描述本技术的实施例。虽然附图中显示了本技术的某些实施例，然而应当理解的是，本技术可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本技术。应当理解的是，本技术的附图及实施例仅用于示例性作用，并非用于限制本技术的保护范围。
22.应当理解，本技术的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本技术的范围在此方面不受限制。
23.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本技术中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
24.本技术中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
25.本技术实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
26.本发明提出一种基于提示学习的签名笔迹鉴别系统，采集包含不同签署人使用不同采集设备，不同书写方式以及不同书体风格的签名笔迹纸质图像与电子签名序列数据，同时记录保存相关签名数据的书写设备，书写方式，书体风格以及书写内容等属性信息，采集部分签名对应的仿写签名数据；将纸质签名数据以及电子签名序列数据进行数据处理，主要包括，提取纸质签名图像；数据类型转换，将不同类型电子签名统一转换为格式和大小固定的签名图像；清洗筛选掉乱写乱画质量较差不符合实际签署场景的签名数据，确认签名图像对应属性的标签，获取数据属性相关标签，获取并确定不同属性各自的训练签名图像数据，对比学习预训练签名图像数据与签名真伪鉴别器微调训练签名图像数据；各书写属性特征提取器训练，基于不同属性各自的训练签名图像数据以及其对应的不同属性类别标签，分别训练书写设备多分类模型、书写方式二分类模型、书写内容多分类模型、书写风格多分类模型，分别得到书写设备，书写方式，书写内容，书写风格特征提取器；属性提示向量序列获取，基于对比学习预训练签名图像数据以及各属性特征提取器，分别提取预训练
数据对应的特征向量，将各特征向量按照书写设备向量，书写方式向量，书写风格向量，书写内容向量以及{class}从左到右的顺序进行拼接组合得到属性提示向量序列；多模态预训练，基于对比学习预训练签名图像数据及其对应的属性提示向量序列，训练多模态签名对比学习预训练模型。预训练模型的其中一个分支的输入是签名图像，另一个分支的输入是属性提示特征向量序列，训练完成获得图像特征提取器以及属性特征提取器。其中，图像特征提取器骨干网络可使用卷积神经网络（cnn），属性序列特征提取骨干网络可使用transformer架构。
27.签名真伪鉴别器训练，基于预训练模型进行后续签名真伪鉴别分类任务的适配，将前述获得的用于签名真伪鉴别器微调训练的签名图像数据输入图像特征提取器中进行特征提取，然后将提取后的特征进行特征相似性比对，基于对比学习的方式获得签名真伪鉴别器。
28.为进一步详细阐述本方法的技术方案，将结合具体实施例及附图，对本发明做进一步说明。
29.如图1所示为本技术示例性实施例中基于提示学习的签名笔迹鉴别方法整体流程示意图，包括：数据采集模块采集跨设备、跨书写方式、跨风格的多模态签名数据，数据预处理模块对多模态签名数据进行标准化处理，包含纸质签名图像提取，数据类型转换，标签获取以及数据集切分；属性提示特征序列获取模块基于多模态数据的签名属性分别进行不同属性特征提取器的训练，并获得签名图像对应的特征向量，结合{class}标志组建属性提示特征向量序列；多模态预训练模块基于对比学习方法进行多模态签名数据模型的预训练；签名真伪鉴别器训练模块完成签名真伪鉴别器的真伪分类模型训练；测试与评估模块，进行模型测试与评估。
30.数据采集模块采集和收集包含不同签署人使用不同书写设备、不同介质、不同书写方式以及不同书体风格的签名笔迹相关纸质文档以及对应电子签名序列数据。
31.不同介质包含有纸质类（不限于合同，表格以及文档类）以及不同的电子设备采集（不限于手机，平板以及签字板等）。不同书写方式则包括有手指触屏，签字笔以及电子触屏笔书写；不同书体风格则包含有楷书，行书及草书等等类型，签署人在不同介质、设备、不同书写风格等的签署内容均为自己名字的签名，数据采集的过程中需同步记录相关签名数据的书写设备，书写方式，书写风格以及书写内容相关属性信息，保存为对应的数据列表形式。
32.上述数据均为签署人正写数据，从签署人中抽取部分签署人（约10%左右）通过观察临摹对其余签署人的正写签名进行仿写，采集对应仿写数据以作后续的签名鉴别分类训练。
33.数据预处理模块对上述采集的数据进行预处理，主要包括：纸质签名提取，数据类型转换，数据属性相关标签获取，数据切分。具体包括：纸质签名提取。对纸质类签名数据进行检测及抠图，一般合同表格及文档类的纸质数据背景相对比较复杂且有干扰，其表现形式与电子签名序列完全不一致，因此需要利用签名检测算法以及签名抠图算法进行纸质签名的区域检测和抠图，可采用开源的dbnet模型以及segnet模型对纸质类签名数据进行检测及抠图预处理操作，可以得到对应的纸质签名掩膜图像表示。
34.数据类型转换。将不同来源，不同书写设备的签名数据统一转换为单模态的图像数据表示，根据对正常签名像素尺寸以及宽高比的分布统计，设置统一的固定尺寸（例如根据统计分析得到的常规签名宽高尺度设置最优为256*128）。可将不同介质的如纸质签名数据提取后的签名掩膜图像进行二值化，去噪以及图像放缩操作，可以得到统一尺寸的纸质二值化签名图像数据；可将不同采集设备，不同书写风格以及不同书写方式下采集的电子签名序列先进行固定采样率的点位（如采样率可设置为50）进行上采样或下采样后再进行图像回显至上述固定尺寸大小的签名图像表示。
35.获取数据属性相关标签。对上述预处理数据的数据类型设置标签，如每个签名数据的标签均需包括书写设备，书写方式，书写风格，书写内容，签名真伪以及签署人身份六个标签，其中，如书写设备可包括类型：纸质、手机、平板以及签字板，其对应书写设备标签四分类标签分别为{0，1，2，3}；书写方式设置为包括三种类型：手指触屏，签字笔以及电子触屏笔书写，其对应书写方式三分类标签分别为{0，1，2}；书写风格包括三种类型：楷书，行书及草书，其对应书写风格三分类标签分别为{0，1，2}；书写内容为对应签署人姓名，一般来说可以用其签名书写内容进行表示，但由于存在重名情况，需对重名的签署人进行离散的数字表示，因为签署人中间可能存在同名的情况，签名内容不完全代表其真实身份，如现有1000个签署人，其对应书写内容多分类标签为{0，
…
，n}，n代表1000人中不同签名内容的种类，n《999；签名真伪设置为两类：真或假，其对应真伪标签为{0，1}；签署人身份必须为唯一的，因此每一个签署人身份需要有特有的类型表示，如有1000个签署人，其对应签署人身份标签为{0，
…
，999}。
36.数据切分，不同属性分类训练数据，获取对比学习预训练数据与笔迹真伪鉴别分类微调数据。基于上述预处理后的签名图像数据，首先可以根据签名数据的标签信息分别得到关于书写设备，书写方式，书写风格，书写内容的分类训练数据以及数据的真伪情况，用进行仿写的部分签署人的真伪签名数据作为微调数据，其余数据则作为多模态对比学习预训练数据。如只有100人参与伪签名数据的采集，保留该100人对应的多分类标签的签名数据作为微调数据。
37.属性提示特征序列获取模块。由于本发明的主要目的是为了进行签名笔迹鉴别，最终识别的是签署人的身份信息，所以设置的目标值为签署人身份（签署人姓名）。基于预处理获得的签名图像数据以及其对应不同属性的标签信息，可以获得书写设备四分类训练数据、书写方式三分类训练数据、书写风格三分类训练数据、书写内容n分类训练数据，基于四种训练数据分别训练书写设备四分类模型、书写方式三分类模型、书写风格三分类模型、以及书写内容n分类模型，分类模型的骨干网络均可采用resnet50，最后分类层的维度统一设置（如可统一设置为1*64），获得对应的书写设备特征提取器、书写方式特征提取器、书写风格特征提取器、书写内容特征提取器。基于上述四个特征提取器，提取对比学习预训练签名数据的书写设备、书写方式、书写风格、书写内容特征向量，每个特征提取器输出的特征向量表示维度为设定的固定维度（均为1*64）。由此，属性提示特征序列的排列方式可以参考如下实例：《书写设备》《书写方式》《书写风格》《书写内容》{class}其中，上述表达式中，《》中的内容均是待填充的对应属性的特征向量表示部分，可以按照此模板根据获取得到的签名属性标签对《》中的属性进行对应填充描述；{}中的内容
是无需填充，其中，class代表最终需要模型学习待预测的目标签署人身份标签类别，其最终输出的向量维度为1*1。
38.按照如上实例从左至右的顺序将属性特征向量与待预测目标类别进行合并，由此，得到签名图像数据对应的最终属性提示特征向量序列，其输出维度可为1*257。由此，可以获得后续多模态对比学习预训练签名图像数据对应的属性提示特征序列。
39.图2所示为本技术示例性实施例中多模态预训练网络设计结构示意图。
40.多模态预训练模块。基于上述获得的对比学习预训练签名图像数据及其对应的属性提示特征序列，本发明实施例采用基于clip双塔式的网络结构进行多模态签名对比学习的预训练，双塔式网络结构有两个网络分支，其中图像特征提取器分支主要是进行对比学习预训练签名图像的特征提取，该分支骨干网络可使用经典的resnet101网络，如输入256*128大小的签名图像数据，通过此网络后会输出1*512维的特征向量表示。
41.属性特征提取器分支主要是进行签名图像对应的属性提示特征序列的特征提取，该分支骨干网络可使用transformer架构，根据属性提示特征序列进行特征提取后输出属性特征向量表示。如输入1*257维的属性提示特征序列，该序列经过时序型的transformer结构进行特征提取后输出1*512维的属性特征向量表示。
42.采用此类双塔式结构进行不同模态数据的学习，目的是想要结合属性提示特征序列中包含的隐式的签名属性信息，其可以进一步促进签名图像分支能够在对比学习训练过程中的特征对齐阶段能够忽略不同模态，不同设备以及不同书写方式下签名的差异性，让模型能够更加关注于签署人特有的签名风格特征学习。
43.利用处理好的预训练数据进行多模态签名对比学习训练，由于多模态输入的是一一对应的签名图像数据和属性提示特征序列，可以认为两者之间存在较大的特征相似性，因此，也可以近似认为它们各自通过不同特征提取器得到的1*512维的特征向量的相似性应该也是较大的，在训练过程中采用一种自适应调整属性提示特征序列的方法，虽然签名图像对应的属性提示特征序列输入时都是固定的，但是很难完全保证其特征提取完全正确，也很难保证目前的四种属性类型能够完全表征签署人签名的风格和习惯特征，因此，通过这种在训练过程中保持属性提示特征序列自适应调整的策略不断地进行更新和矫正，可以进一步促进图像特征提取器学习的更好。可通过余弦相似度损失计算评估网络输出特征向量间的相似性，并进一步优化此损失直至收敛状态。由此进一步获得图像特征提取器以及属性特征提取器。
44.图3所示为本技术示例性实施例中签名真伪鉴别器训练示意图。
45.签名真伪鉴别器训练模块。基于上述多模态预训练模型中的图像特征提取器进行后续签名鉴别分类器任务的适配迁移。正仿写签名图像输入图像特征提取器进行训练，优化余弦相似度损失函数直至收敛。
46.首先，基于上述得到的同时有真伪签名的用于签名真伪鉴别器微调训练的数据（如100个）构建1vs1比对的签名图像对训练列表，对图像对中的两组数据分别进行签名图像特征提取，然后，将提取后的特征向量进行对比学习训练，训练标签即为之前数据预处理标定的签署人身份类别{0，1}，具体表示为1vs1中的图像对如果是同一人签署，其标签则为1，反之则为0，训练采用的损失函数也可采用经典的余弦相似度损失，训练目标就是优化该损失直至收敛状态，最终可以获得对真伪数据均有良好的图像特征提取能力的图像特征提
取模型，该模型可以作为最终的签名真伪鉴别器。
47.测试与评估模块。进一步地，完成上述签名真伪鉴别对比学习模型的训练之后，对签名笔迹真伪鉴别效果器进行测试和评估，以确定其在签名鉴别任务上的性能。使用数据预处理后的微调数据集中的部分数据作为测试集，将测试集输入训练好的签名真伪鉴别器中进行测试，具体可采用如下方法：首先，构建1vs1的签名图像对，分别输入签名真伪鉴别器中进行签名特征提取，最后，计算两个特征向量间的余弦相似度，若相似性得分超出阈值（如0.5）则认为该输入签名图像对为同一人所签署，反之则为仿写。计算模型的召回率，精准率和f1分数等指标，以评估模型在不同场景下的性能。
48.在实际测试中，采用本实施方案的签名真伪鉴别器效果表现较高。
49.本发明首先需要对签名笔迹图像和文本描述进行收集，然后采用深度学习模型提取特征表示，通过属性提示学习模块减少不同模态之间的差异，预先训练好的不同属性特征提取器也可以进一步加速模型的学习，此外，基于自适应调整的属性提示向量的训练策略，模型效果的精度提升明显。最后，使用匹配模块进行签名笔迹的比对和识别，以达到验证签名笔迹真实性的目的。
50.与传统的签名笔迹比对方法相比，(1) 能够有效地处理签名笔迹鉴别问题，提高签名笔迹的比对准确率；(2)自动提取以及自适应调整的提示学习方法能够结合签名属性进一步增强模型对于不同场景以及条件下的特征学习，提高模型的泛化能力，扩大应用场景及比对准确率；（3）不需要大量一一对应的正仿写签名数据进行签名比对模型训练，有效节约相关数据采集成本和训练成本。
51.本发明可以支持解决多模态泛场景下的签名笔迹鉴别问题。针对当前签名笔迹鉴别算法研发中存在的精度与泛化性不足问题，本技术将签名图像数据结合笔迹中具有强身份信息的书写内容，书体风格，书写方式，书写设备等先验知识作为签名笔迹对比学习预训练架构的输入，以促进签名图像特征提取器能够快速准确地学习到签署人个性化的签名特征，从而更好的进行后续签名笔迹真伪鉴别任务。此外，区别于传统的基于提示学习的对比学习训练方法，不再需要特意手工设计提示向量作为属性特征提取器的输入，而是提出一种可自动提取且可自适应调整的签名属性提示向量学习方法，可以更准确更稳定地描述签名笔迹的个性化特征，进一步提高比对准确率，同时将签名笔迹采集过程中可获得的相关签名属性信息作为提示引入对比学习预训练模型中训练，一方面是考虑跨设备，跨书写方式等属性对于签名笔迹风格的转变有较大的影响，达到缓解模型泛化性不足的目的，另一方面考虑书写类型和书写内容等属性作为签名的固有特征对于笔迹比对特征学习有一定的促进作用，不仅可以加速模型的学习速度，也可以作为先验知识引导预训练模型达到更好的学习效果。同时，由于有预训练模型的辅助，本发明在签名笔迹比对模型训练阶段无需采集大量的一一对应的签名正仿写数据，进一步降低了数据采集周期和成本。
52.总之，本发明提出了一种基于提示学习的签名笔迹鉴别方法，具有应用广泛、效果显著等优点，适用于金融、法律、政府等领域中对签名笔迹的比对和识别，同时也可应用于网络安全领域中的身份验证等方面。
53.如图4所示，为能够用于实现本技术的实施例的示例性电子设备的结构框图。电子设备300包括计算单元301，其可以根据存储在只读存储器（rom）302中的计算机程序或者从存储单元308加载到随机访问存储器（ram）303中的计算机程序，来执行各种适当的动作和
处理。在ram 303中，还可存储设备300操作所需的各种程序和数据。计算单元301、rom 302以及ram 303通过总线304彼此相连。输入/输出（i/o）接口305也连接至总线304。
54.电子设备300中的多个部件连接至i/o接口305，包括：输入单元306、输出单元307、存储单元308以及通信单元309。输入单元306可以是能向电子设备300输入信息的任何类型的设备，输入单元306可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元307可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元308可以包括但不限于磁盘、光盘。通信单元309允许电子设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙设备、wifi设备、wimax设备、蜂窝通信设备和/或类似物。
55.计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理。例如，在一些实施例中，根据签名笔画的原始轨迹重绘出其肌肉运动轨迹的重构与分解，以及其对数速度曲线的分解等可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由rom 302和/或通信单元309而被载入和/或安装到电子设备300上。在一些实施例中，计算单元301可以通过其他任何适当的方式而被配置为执行签名笔迹比对验证方法。
56.用于实施本技术的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
57.在本技术的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
58.如本技术使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
59.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机
具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
60.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）和互联网。
61.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

技术特征：
1.一种基于提示学习的签名笔迹鉴别方法，其特征在于，采集包含不同签署人使用不同书写设备，不同书写方式以及不同书体风格的签名图像和/或数据序列，记录签名的属性信息；将不同类型签名转换为格式和大小固定的签名图像；确认签名图像属性对应标签，获取不同属性的分类训练数据、预训练数据及微调数据；训练多个属性特征提取器，设置签署人身份为目标值，各特征提取器分别提取签名图像对应各属性的提示特征向量；基于签名图像数据及其对应的属性提示向量序列，训练多模态签名对比学习预训练模型，自适应调整属性提示向量序列；多模态签名对比学习预训练模型适配签名笔迹真伪鉴别任务，微调数据输入图像特征提取器中提取签名特征向量，再基于签名特征向量对比学习训练，获得签名笔迹鉴别器。2.根据权利要求1所述的方法，其特征在于，所述训练多个属性特征提取器包括：基于不同签名属性信息及其对应的不同属性类别标签，分别训练书写设备多分类模型、书写方式二分类模型、书写内容多分类模型、书写风格多分类模型，得到书写设备特征提取器、书体风格特征提取器、书写方式特征提取器和书写内容特征提取器。3.根据权利要求1所述的方法，其特征在于，提取提示特征向量包括：签名笔迹图像的书写设备、书写方式、书体风格以及书写内容的特征表示，基于对比学习预训练签名图像数据以及各属性特征提取器，分别提取预训练数据对应的特征向量，将各特征向量按照书写设备向量，书写方式向量，书写风格向量，书写内容向量以及{class}顺序进行拼接组合得到属性提示向量序列<书写设备><书写方式><书写风格><书写内容>{class}，其中，根据签名属性标签对<>中的属性进行对应填充描述，class代表需要预测的目标签署人身份标签类别，输出的向量维度为1*1。4.根据权利要求1所述的方法，其特征在于，确认签名图像属性对应的标签包括：对数据类型设置标签，每个签名数据的标签包括书写设备、书写方式、书写风格、书写内容、签名真伪以及签署人身份，书写设备标签为四分类标签，书写方式为三分类标签，书写风格为三分类标签，书写内容对应签署人姓名，为多分类标签，签名真伪为两分类标签，签署人身份为多分类标签对应每个签署人有一个特定类型表示。5.根据权利要求4所述的方法，其特征在于，基于签名图像数据以及其对应不同属性的标签信息，获得书写设备四分类训练数据、书写方式三分类训练数据、书写风格三分类训练数据、书写内容n分类训练数据，基于上述训练数据分别训练书写设备四分类模型、书写方式三分类模型、书写风格三分类模型、以及书写内容n分类模型，分类模型的骨干网络均采用resnet50，分类层的维度统一设置，获得对应的书写设备特征提取器、书写方式特征提取器、书写风格特征提取器、书写内容特征提取器，基于上述特征提取器，提取对比学习预训练签名数据的书写设备、书写方式、书写风格、书写内容特征向量，每个特征提取器输出的特征向量表示维度为设定的固定维度。6.根据权利要求1-5其中之一所述的方法，其特征在于，基于双塔式的网络结构进行多模态签名对比学习预训练，其中，图像特征提取器分支提取签名图像特征，分支骨干网络使用resnet101网络结构；属性特征提取器分支提取签名图像对应的属性提示特征序列，分支骨干网络使用transformer架构，根据属性提示特征序列进行特征提取后输出属性特征向量表示，结合属性提示特征序列中包含的隐式签名属性信息，在对比学习训练过程的特征对齐阶段忽略不同模态、不同设备以及不同书写方式下签名的差异性，关注签署人特有的
签名风格特征学习；用仿写的部分签署人的真伪签名数据作为多模态对比学习微调数据，其余数据作为预训练数据，通过余弦相似度损失计算评估图像特征提取器输出特征向量间的相似性，并进一步优化此余弦相似度损失直至收敛状态。7.一种基于提示学习的签名笔迹鉴别系统，其特征在于，包括：数据采集部分、数据预处理部分、书写属性特征提取器、属性提示向量序列获取部分、多模态预训练部分，数据采集部分采集包含不同签署人使用不同采集设备，不同书写方式以及不同书体风格的签名纸质图像与电子签名序列数据，同时记录签名数据相关属性信息，采集部分签名对应的仿写签名数据；数据预处理部分，将不同类型签名转换为格式和大小固定的签名图像，确认签名图像对应属性及其对应标签，获取并确定不同属性的训练签名图像数据，获取预训练签名图像数据与签名真伪鉴别器微调训练数据；书写属性特征提取器，基于不同属性的训练签名图像数据及对应的不同属性类别标签，训练多个属性特征提取器，设置签署人身份为目标值，各特征提取器分别提取签名图像对应各属性的提示特征向量；属性提示向量序列获取部分，基于签名图像数据及其对应的属性提示向量序列，训练多模态签名对比学习预训练模型，自适应调整属性提示向量序列；多模态预训练部分，适配签名笔迹真伪鉴别任务，微调数据输入图像特征提取器中提取签名特征向量，再基于提取的签名特征向量对比学习训练，获得签名笔迹鉴别器。8.根据权利要求7所述的系统，其特征在于，多模态预训练部分基于双塔式的网络结构进行多模态签名对比学习的预训练，其中，图像特征提取器分支进行对比学习预训练提取签名图像特征，分支骨干网络使用resnet101网络结构；属性特征提取器分支提取签名图像对应的属性提示特征序列，分支骨干网络可使用transformer架构，根据属性提示特征序列进行特征提取后输出属性特征向量表示，结合属性提示特征序列中包含的隐式签名属性信息，在对比学习训练过程中的特征对齐阶段忽略不同模态、不同设备以及不同书写方式下签名的差异性，关注签署人特有的签名风格特征学习；用仿写的部分签署人的真伪签名数据作为多模态对比学习微调数据，其余数据作为预训练数据，通过余弦相似度损失计算评估图像特征提取器输出特征向量间的相似性，并进一步优化此余弦相似度损失直至收敛状态。9.根据权利要求7或8所述的系统，其特征在于，所述训练多个属性特征提取器包括：基于不同签名属性信息及其对应的不同属性类别标签，分别训练书写设备多分类模型、书写方式二分类模型、书写内容多分类模型、书写风格多分类模型，得到书写设备特征提取器、书体风格特征提取器、书写方式特征提取器和书写内容特征提取器。10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的基于提示学习的签名笔迹鉴别方法。

技术总结
本发明提出基于提示学习的签名笔迹鉴别方法，采集不同签名图像、数据序列，将不同类型签名转换为格式和大小固定的签名图像；确认签名图像属性对应的标签，获取不同属性的分类训练数据，预训练数据及微调数据；训练多个属性特征提取器，设置签署人身份为目标值，分别提取签名图像对应各属性的提示特征向量；基于签名图像数据及其对应的属性提示向量序列，训练多模态签名对比学习预训练模型，自适应调整属性提示向量序列，多模态签名对比学习预训练模型适配签名笔迹真伪鉴别任务；微调数据输入图像特征提取器中提取签名特征向量，基于提取的签名特征向量对比学习训练，获得签名真伪鉴别器。更准确地描述签名笔迹的特征，提高笔迹鉴别的准确率。别的准确率。别的准确率。


技术研发人员：石芳 覃勋辉 刘科
受保护的技术使用者：重庆西部笔迹大数据研究院
技术研发日：2023.05.31
技术公布日：2023/8/28