物品相似度检测方法和装置、电子设备及存储介质与流程

1.本技术涉及金融科技技术领域，尤其涉及一种物品相似度检测方法和装置、电子设备及存储介质。


背景技术：

2.随着互联网的快速发展和电子商务的不断兴起，网络购物逐渐已经成为人们生活中不可或缺的一部分。目前，购物网站上商品的数量每天都在急剧增长，商家对商品通过添加文字描述的这种人工标注方式对商品进行分类，耗费大量的人力物力，显然不能满足日益蓬勃发展的电子商务的发展的要求。
3.例如，在保险营销平台中，保险产品的险种、期限、购买条件都存在着异同。为了更好地进行保险推荐，保险营销平台常常倾向于能够将符合当前购买对象的所有同类保险产品一起展示给购买对象进行选择。但在此之前，保险营销平台需要尽可能地将同类保险产品进行标记，否则容易在保险推荐时遗漏部分保险产品，无法做到将所有同类保险产品一起展示给对象。
4.目前，在检测两个物品是否为同类物品时，大多数的检测方法常常是将两个物品的物品类目信息、物品属性信息等进行比对，这一方式往往会造成比对信息具有一定的局限性，且实际生活中常常存在不同品类的物品的物品类目信息和物品属性信息较为相似，会对物品相似度检测造成干扰，使得物品相似度检测的准确性较差。


技术实现要素：

5.本技术实施例的主要目的在于提出一种物品相似度检测方法和装置、电子设备及存储介质，旨在提高物品相似度检测的准确性。
6.为实现上述目的，本技术实施例的第一方面提出了一种物品相似度检测方法，所述方法包括：
7.获取目标物品对的物品对数据，其中，所述目标物品对包括第一物品和第二物品，所述物品对数据包括所述第一物品的第一文本数据和第一图像数据，所述物品对数据还包括所述第二物品的第二文本数据和第二图像数据；
8.将所述物品对数据输入到预设的物品对检测模型中，其中，所述物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；
9.基于所述图像编码网络对所述第一图像数据进行图像编码，得到第一物品图像特征向量，并基于所述图像编码网络对所述第二图像数据进行图像编码，得到第二物品图像特征向量；
10.基于所述文本编码网络对所述第一文本数据和所述第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于所述文本编码网络对所述第二文本数据和所述第二物品图像特征向量进行文本编码，得到第二物品特征向量；
11.基于所述物品对检测网络对所述第一物品特征向量、所述第二物品特征向量进行
相似度计算，得到物品相似评分数据；
12.根据所述物品相似评分数据检测所述第一物品和所述第二物品之间的物品相似程度，得到检测数据。
13.在一些实施例，所述基于所述图像编码网络对所述第一图像数据进行图像编码，得到第一物品图像特征向量，并基于所述图像编码网络对所述第二图像数据进行图像编码，得到第二物品图像特征向量，包括：
14.对所述第一图像数据进行卷积处理，得到第一物品图像卷积特征，并对所述第二图像数据进行卷积处理，得到第二物品图像卷积特征；
15.对所述第一物品图像卷积特征进行池化处理，得到第一物品图像池化特征，并对所述第二物品图像卷积特征进行池化处理，得到第二物品图像池化特征；
16.对所述第一物品图像池化特征进行线性变换，得到所述第一物品图像特征向量，并对所述第二物品图像池化特征进行线性变换，得到所述第二物品图像特征向量。
17.在一些实施例，所述基于所述文本编码网络对所述第一文本数据和所述第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于所述文本编码网络对所述第二文本数据和所述第二物品图像特征向量进行文本编码，得到第二物品特征向量，包括：
18.对所述第一文本数据进行字符映射，得到第一文本字向量，并对所述第一文本字向量和所述第一物品图像特征向量进行拼接，得到第一物品拼接向量；
19.基于所述文本编码网络对所述第一物品拼接向量进行文本编码，得到所述第一物品特征向量；
20.对所述第二文本数据进行字符映射，得到第二文本字向量，并对所述第二文本字向量和所述第二物品图像特征向量进行拼接，得到第二物品拼接向量；
21.基于所述文本编码网络对所述第二物品拼接向量进行文本编码，得到所述第二物品特征向量。
22.在一些实施例，所述根据所述物品相似评分数据检测所述第一物品和所述第二物品之间的物品相似程度，得到检测数据，包括：
23.比对所述物品相似评分数据和预设的分数阈值；
24.若所述物品相似评分数据大于所述分数阈值，则将所述检测数据确定为所述第一物品和所述第二物品是同类物品；
25.若所述物品相似评分数据不大于所述分数阈值，则将所述检测数据确定为所述第一物品和所述第二物品不是同类物品。
26.在一些实施例，所述基于所述物品对检测网络对所述第一物品特征向量、所述第二物品特征向量进行相似度计算，得到物品相似评分数据，包括：
27.基于所述物品对检测网络对所述第一物品特征向量、所述第二物品特征向量进行相似度计算，得到初步评分数据；
28.根据预设的调整数据对所述初步评分数据进行评分调整，得到中间评分数据；
29.对所述中间评分数据进行加权和运算，得到所述物品相似评分数据。
30.在一些实施例，所述获取目标物品对的物品对数据，包括：
31.获取所述第一物品的第一物品图像和第一物品文本、所述第二物品的第二物品图像和第二物品文本，其中，所述第一物品文本包括所述第一物品的第一物品标题、第一物品
类目以及第一物品属性，所述第二物品文本包括所述第二物品的第二物品标题、第二物品类目以及第二物品属性；
32.对所述第一物品图像进行图像裁剪，得到所述第一图像数据，并对所述第二物品图像进行图像裁剪，得到所述第二图像数据，其中，所述第一图像数据为包含第一物品的最小矩形图像，所述第二图像数据为包含第二物品的最小矩形图像；
33.根据预设的拼接顺序对所述第一物品标题、所述第一物品类目以及所述第一物品属性进行拼接，得到所述第一文本数据，并根据所述拼接顺序对所述第二物品标题、所述第二物品类目以及所述第二物品属性进行拼接，得到所述第二文本数据；
34.根据第一图像数据、所述第二图像数据、所述第一文本数据以及所述第二文本数据，得到所述物品对数据。
35.在一些实施例，在所述将所述物品对数据输入到预设的物品对检测模型中之前，所述方法还包括预先训练所述物品对检测模型，具体包括：
36.获取训练数据，其中，所述训练数据包括数据内容均不相同的第一样本数据、第二样本数据以及第三样本数据；
37.基于所述第一样本数据对预设的神经网络模型进行第一模型训练，得到初步检测模型；
38.基于所述第二样本数据对所述初步检测模型进行第二模型训练，得到中间检测模型；
39.基于所述第三样本数据对所述中间检测模型进行第三模型训练，得到所述物品对检测模型。
40.为实现上述目的，本技术实施例的第二方面提出了一种物品相似度检测装置，所述装置包括：
41.数据获取模块，用于获取目标物品对的物品对数据，其中，所述目标物品对包括第一物品和第二物品，所述物品对数据包括所述第一物品的第一文本数据和第一图像数据，所述物品对数据还包括所述第二物品的第二文本数据和第二图像数据；
42.输入模块，用于将所述物品对数据输入到预设的物品对检测模型中，其中，所述物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；
43.图像编码模块，用于基于所述图像编码网络对所述第一图像数据进行图像编码，得到第一物品图像特征向量，并基于所述图像编码网络对所述第二图像数据进行图像编码，得到第二物品图像特征向量；
44.文本编码模块，用于基于所述文本编码网络对所述第一文本数据和所述第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于所述文本编码网络对所述第二文本数据和所述第二物品图像特征向量进行文本编码，得到第二物品特征向量；
45.物品相似计算模块，用于基于所述物品对检测网络对所述第一物品特征向量、所述第二物品特征向量进行相似度计算，得到物品相似评分数据；
46.检测模块，用于根据所述物品相似评分数据检测所述第一物品和所述第二物品之间的物品相似程度，得到检测数据。
47.为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实
现上述第一方面所述的方法。
48.为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
49.本技术提出的物品相似度检测方法和装置、电子设备及存储介质，其通过获取目标物品对的物品对数据，其中，目标物品对包括第一物品和第二物品，物品对数据包括第一物品的第一文本数据和第一图像数据、第二物品的第二文本数据和第二图像数据，能够以物品的图像信息和文本信息两种模态信息一起进行物品相似度检测。进一步地，将物品对数据输入到预设的物品对检测模型中，其中，物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；基于图像编码网络对第一图像数据进行图像编码，得到第一物品图像特征向量，并基于图像编码网络对第二图像数据进行图像编码，得到第二物品图像特征向量，能够较为方便地对第一物品和第二物品的图像数据进行图像编码，提取第一物品、第二物品的图像特征信息。进一步地，基于文本编码网络对第一文本数据和第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于文本编码网络对第二文本数据和第二物品图像特征向量进行文本编码，得到第二物品特征向量，能够较为方便地将第一物品、第二物品的图像特征信息和文本特征信息两种模态信息进行特征融合以及文本编码，提高特征质量。进一步地，基于物品对检测网络对第一物品特征向量、第二物品特征向量进行相似度计算，得到物品相似评分数据，能够提高评分数据的准确性和客观性。最后，根据物品相似评分数据检测物品第一物品和第二物品之间的物品相似程度，得到检测数据，能够提高物品相似度检测的准确性，进而有效地对保险平台中的各个保险产品进行整合归纳，将高相似度的保险产品标记划分到同一类，使得属于同类的保险产品能够全部一起展示给对象进行选择，从而提高保险产品的成交率。
附图说明
50.图1是本技术实施例提供的物品相似度检测方法的流程图；
51.图2是图1中的步骤s101的流程图；
52.图3是本技术实施例提供的物品相似度检测方法的另一流程图；
53.图4是图1中的步骤s103的流程图；
54.图5是图1中的步骤s104的流程图；
55.图6是图1中的步骤s105的流程图；
56.图7是图1中的步骤s106的流程图；
57.图8是本技术实施例提供的物品相似度检测装置的结构示意图；
58.图9是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
59.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
60.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻
辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
61.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
62.首先，对本技术中涉及的若干名词进行解析：
63.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
64.自然语言处理(natural language processing，nlp)：nlp用计算机来处理、理解以及运用人类语言(如中文、英文等)，nlp属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
65.信息抽取(information extraction，ner)：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。
66.随着互联网的快速发展和电子商务的不断兴起，网络购物逐渐已经成为人们生活中不可或缺的一部分。目前，购物网站上商品的数量每天都在急剧增长，商家对商品通过添加文字描述的这种人工标注方式对商品进行分类，耗费大量的人力物力，显然不能满足日益蓬勃发展的电子商务的发展的要求。
67.例如，在保险营销平台中，保险产品的险种、期限、购买条件都存在着异同。为了更好地进行保险推荐，保险营销平台常常倾向于能够将符合当前购买对象的所有同类保险产品一起展示给购买对象进行选择。但在此之前，保险营销平台需要尽可能地将同类保险产品进行标记，否则容易在保险推荐时遗漏部分保险产品，无法做到将所有同类保险产品一起展示给对象。
68.同类物品指的是物品的重要属性完全相同且客观可比的物品。同类物品识别主要目的是从海量的结构化和无结构化的物品图文数据库中匹配得到同类物品，这一过程常常需要通过物品相似度检测来实现。
69.目前，在检测两个物品是否为同类物品时，大多数的检测方法常常是将两个物品的物品类目信息、物品属性信息等进行比对，这一方式往往会造成比对信息具有一定的局限性，且实际生活中常常存在不同品类的物品的物品类目信息和物品属性信息较为相似，会对物品相似度检测造成干扰，使得物品相似度检测的准确性较差。
70.基于此，本技术实施例提供了一种物品相似度检测方法、物品相似度检测装置、电子设备及存储介质，旨在提高物品相似度检测的准确性。
71.本技术实施例提供的物品相似度检测方法和装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的物品相似度检测方法。
72.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
73.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
74.本技术实施例提供的物品相似度检测方法，涉及人工智能技术领域。本技术实施例提供的物品相似度检测方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现物品相似度检测方法的应用等，但并不局限于以上形式。
75.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
76.图1是本技术实施例提供的物品相似度检测方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤s101至步骤s106。
77.步骤s101，获取目标物品对的物品对数据，其中，目标物品对包括第一物品和第二物品，物品对数据包括第一物品的第一文本数据和第一图像数据，物品对数据还包括第二物品的第二文本数据和第二图像数据；
78.步骤s102，将物品对数据输入到预设的物品对检测模型中，其中，物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；
79.步骤s103，基于图像编码网络对第一图像数据进行图像编码，得到第一物品图像特征向量，并基于图像编码网络对第二图像数据进行图像编码，得到第二物品图像特征向量；
80.步骤s104，基于文本编码网络对第一文本数据和第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于文本编码网络对第二文本数据和第二物品图像特征向量进行文本编码，得到第二物品特征向量；
81.步骤s105，基于物品对检测网络对第一物品特征向量、第二物品特征向量进行相似度计算，得到物品相似评分数据；
82.步骤s106，根据物品相似评分数据检测第一物品和第二物品之间的物品相似程度，得到检测数据。
83.本技术实施例所示意的步骤s101至步骤s106，通过获取目标物品对的物品对数据，其中，目标物品对包括第一物品和第二物品，物品对数据包括第一物品的第一文本数据和第一图像数据、第二物品的第二文本数据和第二图像数据，能够以物品的图像信息和文本信息两种模态信息一起进行物品相似度检测。进一步地，将物品对数据输入到预设的物品对检测模型中，其中，物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；基于图像编码网络对第一图像数据进行图像编码，得到第一物品图像特征向量，并基于图像编码网络对第二图像数据进行图像编码，得到第二物品图像特征向量，能够较为方便地对第一物品和第二物品的图像数据进行图像编码，提取第一物品、第二物品的图像特征信息。进一步地，基于文本编码网络对第一文本数据和第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于文本编码网络对第二文本数据和第二物品图像特征向量进行文本编码，得到第二物品特征向量，能够较为方便地将第一物品、第二物品的图像特征信息和文本特征信息两种模态信息进行特征融合以及文本编码，提高特征质量。进一步地，基于物品对检测网络对第一物品特征向量、第二物品特征向量进行相似度计算，得到物品相似评分数据，能够提高评分数据的准确性和客观性。最后，根据物品相似评分数据检测物品第一物品和第二物品之间的物品相似程度，得到检测数据，能够提高物品相似度检测的准确性。
84.请参阅图2，在一些实施例中，步骤s101可以包括但不限于包括步骤s201至步骤s204：
85.步骤s201，获取第一物品的第一物品图像和第一物品文本、第二物品的第二物品图像和第二物品文本，其中，第一物品文本包括第一物品的第一物品标题、第一物品类目以及第一物品属性，第二物品文本包括第二物品的第二物品标题、第二物品类目以及第二物品属性；
86.步骤s202，对第一物品图像进行图像裁剪，得到第一图像数据，并对第二物品图像进行图像裁剪，得到第二图像数据，其中，第一图像数据为包含第一物品的最小矩形图像，第二图像数据为包含第二物品的最小矩形图像；
87.步骤s203，根据预设的拼接顺序对第一物品标题、第一物品类目以及第一物品属性进行拼接，得到第一文本数据，并根据拼接顺序对第二物品标题、第二物品类目以及第二物品属性进行拼接，得到第二文本数据；
88.步骤s204，根据第一图像数据、第二图像数据、第一文本数据以及第二文本数据，
得到物品对数据。
89.在一些实施例的步骤s201中，目标物品对包括第一物品和第二物品。由于每个物品均含有该物品对应的物品描述信息，因此，可以直接提取第一物品的第一物品图像和第一物品文本，提取第二物品的第二物品图像和第二物品文本，其中，第一物品图像为包含第一物品的外观形态的图像，第一物品文本包括第一物品的第一物品标题、第一物品类目以及第一物品属性，第二物品文本包括第人物品的第二物品标题、第二物品类目以及第二物品属性，第二物品图像为包含第二物品的外观形态的图像。
90.例如，目标物品对包括的第一物品是保险产品a和保险产品b，第一物品的第一物品文本是描述保险产品a的文本，包括对保险产品a的险种类型、保单金额、适用人群等的介绍描述，第一物品图像是描述保险产品a的宣传介绍图像。第二物品的第饿物品文本是描述保险产品b的文本，包括对保险产品b的险种类型、保单金额、适用人群等的介绍描述，第二物品图像是描述保险产品b的宣传介绍图像。
91.在一些实施例的步骤s202中，考虑到第一物品的第一物品图像和第二物品的第二物品图像中常常会包含较多的无关信息，例如，文案、背景或者模特等等，这些无关的冗余信息会影响检测效果。因此，需要对第一物品图像和第二物品图像进行图像处理。具体地，首先利用开源的目标检测模型对第一物品图像进行目标检测，提取第一物品图像中含有第一物品的图像区域，得到第一物品在第一物品图像中的锚框位置，根据该锚框位置从第一物品图像中裁剪出含有第一物品的图像区域，得到第一图像数据，第一图像数据为包含第一物品的最小矩形图像。由于利用目标检测模型进行目标检测，获取图像中物品的物品位置是本领域的常规方式，此处不再赘述。该目标检测模型可以是基于目标检测算法yolov5构建而成。
92.同样地，利用上述目标检测模型对第二物品图像进行目标检测，提取第二物品图像中含有第二物品的图像区域，得到第二物品在第二物品图像中的锚框位置，根据该锚框位置从第二物品图像中裁剪出含有第二物品的图像区域，得到第二图像数据，第二图像数据为包含第二物品的最小矩形图像。
93.在一些实施例的步骤s203中，预设的拼接顺序为物品标题+物品类目+物品属性。根据这一顺序将第一物品标题、第一物品类目以及第一物品属性进行拼接，得到第一文本数据，并根据这一顺序将第二物品标题、第二物品类目以及第二物品属性进行拼接，得到第二文本数据。
94.进一步地，由于物品包含多个物品属性，在对物品属性进行排列时，也需要确定一个排序规则，其中，本技术实施例的物品属性可以按照以下规则排列，即将目标物品对的两个物品的共同物品属性排在前面，将目标物品对的两个物品的不同物品属性排在后面。当存在多个相同的物品属性时(即共同物品属性存在多个时)，统计该物品类目下的所有物品中这一物品属性出现的频率，根据频率由高到低将相同的物品属性依次排列。当存在多个不同的物品属性时，采用同样的方式，统计该物品类目下的所有物品中每个物品属性出现的频率，根据频率由高到低将这一系列的不同的物品属性依次排列。例如，第一文本数据为“[cls]a品牌咖啡，咖啡豆，烘焙程度:中度烘焙；净含量:200g；口感:中性；可冲杯数:15[sep]”，第二文本数据为“[cls]b品牌咖啡豆，咖啡豆，烘焙程度:中度烘焙；净含量:225g；口感:香醇；储存条件:常温[sep]”，其中，[cls]和[sep]为开始字符和分隔符。
[0095]
在一些实施例的步骤s204中，将第一图像数据、第二图像数据、第一文本数据以及第二文本数据，得到物品对数据全部整合在一起，得到目标物品对的物品对数据，其中，物品对数据包括第一物品的第一文本数据和第一图像数据、第二物品的第二文本数据和第二图像数据。
[0096]
通过上述步骤s201至步骤s204能够较为方便地对目标物品对的两个物品的所有物品描述信息(包含物品图像信息和物品文本信息)进行处理，针对不同模态的物品描述信息分别采取了不同的信息处理方式，能够将提取出物品图像和物品文本中的重要描述内容，剔除不相关的冗余信息，从而缩减数据总量，提高目标物品对中第一物品和第二物品的物品信息的比对效率，同时，该方式使得能够同时将物品图像和物品文本两种模态信息用于物品相似度检测，较为全面地利用了物品的物品描述信息，提高了信息比对的全面性，有利于改善物品相似度检测的精度。
[0097]
请参阅图3，在一些实施例的步骤s102之前，物品相似度检测方法包括预先训练物品对检测模型，具体可以包括但不限于包括步骤s301至步骤s304：
[0098]
步骤s301，获取训练数据，其中，训练数据包括数据内容均不相同的第一样本数据、第二样本数据以及第三样本数据；
[0099]
步骤s302，基于第一样本数据对预设的神经网络模型进行第一模型训练，得到初步检测模型；
[0100]
步骤s303，基于第二样本数据对初步检测模型进行第二模型训练，得到中间检测模型；
[0101]
步骤s304，基于第三样本数据对中间检测模型进行第三模型训练，得到物品对检测模型。
[0102]
在一些实施例的步骤s301中，为了提高模型的训练效果，使得得到的物品对检测模型对物品相似度检测具有更优的检测准确性。本技术实施例采取分阶段训练的策略来进行模型训练。首先获取训练数据，训练数据包括数据内容均不相同的第一样本数据、第二样本数据以及第三样本数据，根据采集到的不同物品类目的物品组建样本物品对，其中，第一样本数据中样本物品对选取不同一级物品类目的多个物品随机匹配形成，即第一样本数据中的样本物品对的物品均是非同类物品，第一样本数据包含这一系列的非同类物品构成的样本物品对的物品对数据。第二样本数据中样本物品对选取一级物品类目相同，但二级、三级物品类目不同的多个物品随机匹配形成，即第二样本数据中的样本物品对的物品均是非同类物品，第二样本数据包含这一系列的非同类物品构成的样本物品对的物品对数据。第三样本数据中样本物品对选取一级、二级、三级物品类目均相同的多个物品随机匹配形成，即第三样本数据中的样本物品对的物品可能是非同类物品，也可能是非同类物品，第三样本数据包含这一系列的物品构成的样本物品对的物品对数据。此外，还需要针对第一样本数据、第二样本数据以及第三样本数据中的样物品对设置物品对标签，该物品对标签用于表征样本物品对中的两个物品是同类物品或者不是同类物品。
[0103]
在一些实施例的步骤s302中，将第一样本数据输入至预设的神经网络模型，该预设的神经网络模型包括图像编码网络、文本编码网络以及物品对检测网络，该图像编码网络由resnet模型或者eca-net模型构建而成，文本编码网络由roberta模型或者bert模型构建而成。利用神经网络模型的图像编码网络、文本编码网络对第一样本数据中的样本物品
对的物品对数据进行编码处理，得到第一样本物品特征向量和第二样本物品特征向量，并利用物品对检测网络、第一样本物品特征向量和第二样本物品特征向量检测样本物品对中两个物品之间的物品相似程度，得到检测数据，该检测数据用于表示样本物品对的两个物品是同类物品或者表示样本物品对的两个物品不是同类物品，其中，利用神经网络模型对第一样本数据进行处理的过程与上述步骤s103至步骤s106基本一致，此处不再赘述。进一步地，将检测数据与该样本物品对的物品对标签进行比较，根据比较情况对神经网络模型的模型参数进行调整，使得基于检测数据与该样本物品对的物品对标签计算得到的损失值满足第一模型训练的要求，得到初步检测模型。
[0104]
需要说明的是，在第一模型训练阶段，可以将模型训练目标定义为
[0105][0106]
其中，l为损失值，n为第一样本数据中样本物品对的总数量，yi表示第i个样本物品对是否为同类物品，由物品对标签确定，若样本物品对是同类物品，则y＝1，若样本物品对不是同类物品，则y＝0，第i个样本物品对为同类物品的概率值，根据检测数据得到。
[0107]
在一些实施例的步骤s303中，将第二样本数据输入至初步检测模型，基于第二样本数据对初步检测模型进行第二模型训练，得到中间检测模型的实现过程与上述步骤s302的具体过程基本一致，此处不再赘述。
[0108]
在一些实施例的步骤s304中，将第三样本数据输入至中间检测模型，基于第三样本数据对中间检测模型进行第三模型训练，得到物品对检测模型的实现过程与上述步骤s302的具体过程基本一致，此处不再赘述。
[0109]
通过上述步骤s301至步骤s304能够采用分段训练的方式，以不同的样本数据对模型进行多阶段训练，使得模型能够在不同训练阶段检测不同难以程度的样本物品对，随着训练阶段的不同，样本物品对的数据质量也逐步提高，使得物品对模型能够由浅入深地学习到样本物品对之间的物品相似信息，提高了模型对物品相似度检测的准确性。
[0110]
在一些实施例的步骤s102中，直接利用预设的脚本程序将物品对数据输入到预设的物品对检测模型中，其中，物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络，该图像编码网络由resnet模型或者eca-net模型构建而成，图像编码网络用于对目标物品对中的图像数据进行编码处理，文本编码网络由roberta模型或者bert模型构建而成，文本编码网络用于对目标物品对中的文本数据和编码后的图像数据进行联合编码处理，物品对检测网络用于计算目标物品对中的第一物品和第二物品之间的物品相似程度。
[0111]
需要说明的是，本技术实施例中可以采用至少一个物品对检测模型对物品对数据进行物品相似度检测。为了提高检测准确性，还可以采用两个、三个或者四个物品对检测模型同时对目标物品对的第一物品和第二物品之间的物品相似程度进行检测。当采用多个物品对检测模型时，每个物品对检测模型均包含图像编码网络、文本编码网络以及物品对检测网络三部分，但每个物品对检测模型的图像编码网络、文本编码网络会存在一定的差异。
[0112]
在一些实施例中，当采用四个物品对检测模型来检测目标物品对中的第一物品和第二物品之间的物品相似程度时，第一个物品对检测模型m1的图像编码网络由resnet模型
构建而成，文本编码网络由roberta模型构建而成；第二个物品对检测模型m2的图像编码网络由resnet模型构建而成，文本编码网络由bert模型构建而成；第三个物品对检测模型m3的图像编码网络由eca-net模型构建而成，文本编码网络由roberta模型构建而成；第四个物品对检测模型m4的图像编码网络由eca-net模型构建而成，文本编码网络由bert模型构建而成。在这一检测过程中，将四个物品对检测模型的物品相似评分数据进行求平均，得到目标物品对的最终物品相似评分数据，从而根据最终物品相似评分数据来检测目标物品对中的第一物品和第二物品之间的物品相似程度，这一方式能够实现多模型融合的方式进行物品相似度检测，并将多个模型的物品相似评分数据进行数据融合，能够进一步地提高物品相似度检测的准确性。
[0113]
请参阅图4，在一些实施例中，步骤s103可以包括但不限于包括步骤s401至步骤s403：
[0114]
步骤s401，对第一图像数据进行卷积处理，得到第一物品图像卷积特征，并对第二图像数据进行卷积处理，得到第二物品图像卷积特征；
[0115]
步骤s402，对第一物品图像卷积特征进行池化处理，得到第一物品图像池化特征，并对第二物品图像卷积特征进行池化处理，得到第二物品图像池化特征；
[0116]
步骤s403，对第一物品图像池化特征进行线性变换，得到第一物品图像特征向量，并对第二物品图像池化特征进行线性变换，得到第二物品图像特征向量。
[0117]
在一些实施例的步骤s401中，基于图像编码网络对第一图像数据进行卷积处理，提取第一图像数据中第一物品的图像特征，得到第一物品图像卷积特征，并基于图像编码网络对第二图像数据进行卷积处理，提取第二图像数据中第二物品的图像特征，得到第二物品图像卷积特征。
[0118]
在一些实施例的步骤s402中，基于图像编码网络对第一物品图像卷积特征进行全局平均池化处理，从第一物品图像卷积特征中提取第一物品的全局图像内容信息，得到第一物品图像池化特征；基于图像编码网络对第二物品图像卷积特征进行全局平均池化处理，从第二物品图像卷积特征中提取第二物品的全局图像内容信息，得到第二物品图像池化特征。
[0119]
在一些实施例的步骤s403中，为了实现第一物品的图像信息和文本信息的信息融合，需要使得图像信息和文本信息处于相同的向量维度，因此，需要对第一物品图像池化特征进行线性变换，将该图像向量转换至合适的向量维度，得到第一物品图像特征向量。同样地，为了实现第二物品的图像信息和文本信息的信息融合，需要使得图像信息和文本信息处于相同的向量维度，因此，需要对第二物品图像池化特征进行线性变换，将该图像向量转换至合适的向量维度，得到第二物品图像特征向量。
[0120]
通过上述步骤s401至步骤s403能够较为方便地对第一物品和第二物品的图像数据进行图像编码，提取第一物品、第二物品的图像特征信息，并对第一物品、第二物品的图像特征信息进行线性变换，使得第一物品、第二物品的图像特征信息和文本特征信息处于相同的向量维度，使得能够在后续处理过程中将不同模态的特征信息进行信息融合，利用融合特征信息进行物品相似度检测，相较于传统技术中对不同模态的特征信息单独进行计算和比较，本技术实施例能够提高物品相似度检测的准确性。
[0121]
请参阅图5，在一些实施例中，步骤s104可以包括但不限于包括步骤s501至步骤
s504：
[0122]
步骤s501，对第一文本数据进行字符映射，得到第一文本字向量，并对第一文本字向量和第一物品图像特征向量进行拼接，得到第一物品拼接向量；
[0123]
步骤s502，基于文本编码网络对第一物品拼接向量进行文本编码，得到第一物品特征向量；
[0124]
步骤s503，对第二文本数据进行字符映射，得到第二文本字向量，并对第二文本字向量和第二物品图像特征向量进行拼接，得到第二物品拼接向量；
[0125]
步骤s504，基于文本编码网络对第二物品拼接向量进行文本编码，得到第二物品特征向量。
[0126]
在一些实施例的步骤s501中，首先利用文本编码网络对第一文本数据进行字符映射，将第一文本数据中的每个第一文本字符映射到预设的字向量空间，得到每个第一文本字符对应的第一文本字向量。进一步地，对第一文本字向量和第一图像特征向量进行向量拼接，得到包含两种模态特征信息(即同时包含图像特征信息和文本特征信息)的第一物品拼接向量。
[0127]
在一些实施例的步骤s502中，基于文本编码网络对第一物品拼接向量进行文本编码，提取第一物品拼接向量中的第一物品的物品特征信息，将[cls]字符对应的特征向量作为第一物品特征向量。该过程与单独计算每个模态特征信息的向量表示相比，能够使得第一物品的不同模态的物品信息充分交互，提高第一物品特征向量的特征信息丰富度和特征质量。
[0128]
在一些实施例的步骤s503中，首先利用文本编码网络对第二文本数据进行字符映射，将第二文本数据中的每个第二文本字符映射到预设的字向量空间，得到每个第二文本字符对应的第二文本字向量。进一步地，对第二文本字向量和第二图像特征向量进行向量拼接，得到包含两种模态特征信息(即同时包含图像特征信息和文本特征信息)的第二物品拼接向量。
[0129]
在一些实施例的步骤s504中，基于文本编码网络对第二物品拼接向量进行文本编码，提取第一物品拼接向量中的第二物品的物品特征信息，将[cls]字符对应的特征向量作为第二物品特征向量。该过程与单独计算每个模态特征信息的向量表示相比，能够使得第二物品的不同模态的物品信息充分交互，提高第二物品特征向量的特征信息丰富度和特征质量。
[0130]
通过上述步骤s501至步骤s504能够利用文本编码网络对不同模态的特征信息进行信息融合，使得能够融合特征信息(即第一物品拼接向量、第二物品拼接向量)进行物品相似度检测，提高了物品相似度检测的准确性。
[0131]
请参阅图6，在一些实施例，步骤s105包括但不限于包括步骤s601至步骤s603：
[0132]
步骤s601，基于物品对检测网络对第一物品特征向量、第二物品特征向量进行相似度计算，得到初步评分数据；
[0133]
步骤s602，根据预设的调整数据对初步评分数据进行评分调整，得到中间评分数据；
[0134]
步骤s603，对中间评分数据进行加权和运算，得到物品相似评分数据。
[0135]
在一些实施例的步骤s601中，在基于物品对检测网络对第一物品特征向量、第二
物品特征向量进行相似度计算，得到初步评分数据时，可以利用物品对检测网络中的线性层对第一物品特征向量、第二物品特征向量进行归一化，先将第一物品特征向量、第二物品特征向量进行向量拼接，再利用预设函数对拼接向量进行线性计算，得到线性计算结果。再利用物品对检测网络中的softmax层和线性计算结果进行相似度计算，得到第一物品和第二物品为同类物品的概率数据，将该概率数据作为初步评分数据。其中，利用预设函数进行线性计算的过程可以表示如公式(1)所示：
[0136][0137]
其中，为线性计算结果，h为第一物品特征向量、第二物品特征向量进行向量拼接的结果，w1、b1均为预设参数，根据实际业务需求设置。
[0138]
利用softmax层和线性计算结果进行相似度计算，得到第一物品和第二物品为同类物品的概率数据的过程可以表示如公式(2)所示：
[0139][0140]
其中，pi指第i个目标物品对的第一物品和第二物品是同类物品的概率。
[0141]
在一些实施例的步骤s602中，预设的调整数据可以根据实际业务需求设置，该调整数据可以在模型验证过程中验证得到，即在模型验证阶段，不断地修改调整数据的具体数值，选取使模型在验证数据集中取得最高准确性的数值作为调整数据。具体地，在模型验证阶段，构造验证数据集，计算物品对检测模型在验证数据集上的最优阈值，该最优阈值为使物品对检测模型在验证数据集上取得最高准确率的阈值。在根据预设的调整数据对初步评分数据进行评分调整时，将初步评分数据和调整数据进行求差，将求差结果作为中间评分数据。
[0142]
在一些实施例的步骤s603中，由于当联合多个物品对相似度检测模型进行检测时，存在多个中间评分数据。因此，为了提高检测准确性，对不同物品对相似度检测模型的中间评分数据设置各自的权重，对所有的中间评分数据进行加权运算，将中间评分数据与其对应的权重相乘，得到加权结果，将所有的加权结果进行求和，得到物品相似评分数据。
[0143]
通过上述步骤s601至步骤s603能够较为方便地利用物品对检测网络计算每个目标物品对的第一物品和第二物品的初步评分数据，同时采用调整数据来对初步评分数据进行调整，提高评分数据的准确性和客观性。进一步地，当存在多个物品对检测模型时，还可以将所有物品对检测模型的评分结果进行结果融合，得到最终的物品相似评分数据，提高了物品相似评分数据的数据准确性。
[0144]
请参阅图7，在一些实施例中，步骤s106可以包括但不限于包括步骤s701至步骤s703：
[0145]
步骤s701，比对物品相似评分数据和预设的分数阈值；
[0146]
步骤s702，若物品相似评分数据大于分数阈值，则将检测数据确定为第一物品和第二物品是同类物品；
[0147]
步骤s703，若物品相似评分数据不大于分数阈值，则将检测数据确定为第一物品和第二物品不是同类物品。
[0148]
在一些实施例的步骤s701中，预设的分数阈值可以根据实际业务需求设置，不做
限制。例如，预设的分数阈值为0.5。比对物品相似评分数据和预设的分数阈值，该比对结果能够反映物品相似评分是否满足认定第一物品和第二物品是同类物品的基本要求。
[0149]
在一些实施例的步骤s702中，若物品相似评分数据大于分数阈值，则表明目标物品对的第一物品和第二物品之间的相似程度较高，第一物品和第二物品之间的物品描述信息较为类似，则将检测数据确定为第一物品和第二物品是同类物品。
[0150]
在一些实施例的步骤s703中，若物品相似评分数据不大于分数阈值，则表明目标物品对的第一物品和第二物品之间的相似程度不高，第一物品和第二物品之间的物品描述信息差异较大，则将检测数据确定为第一物品和第二物品不是同类物品。
[0151]
上述步骤s701至步骤s703能够以阈值比较的方式来确定目标物品对的第一物品和第二物品是否为同类物品，提高了物品相似度检测的准确性和合理性。
[0152]
本技术实施例的物品相似度检测方法，其通过获取目标物品对的物品对数据，其中，目标物品对包括第一物品和第二物品，物品对数据包括第一物品的第一文本数据和第一图像数据、第二物品的第二文本数据和第二图像数据，能够以物品的图像信息和文本信息两种模态信息一起进行物品相似度检测。进一步地，将物品对数据输入到预设的物品对检测模型中，其中，物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；基于图像编码网络对第一图像数据进行图像编码，得到第一物品图像特征向量，并基于图像编码网络对第二图像数据进行图像编码，得到第二物品图像特征向量，能够较为方便地对第一物品和第二物品的图像数据进行图像编码，提取第一物品、第二物品的图像特征信息。进一步地，基于文本编码网络对第一文本数据和第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于文本编码网络对第二文本数据和第二物品图像特征向量进行文本编码，得到第二物品特征向量，能够较为方便地将第一物品、第二物品的图像特征信息和文本特征信息两种模态信息进行特征融合以及文本编码，提高特征质量。进一步地，基于物品对检测网络对第一物品特征向量、第二物品特征向量进行相似度计算，得到物品相似评分数据，能够提高评分数据的准确性和客观性。最后，根据物品相似评分数据检测物品第一物品和第二物品之间的物品相似程度，得到检测数据，能够提高物品相似度检测的准确性，进而有效地对保险平台中的各个保险产品进行整合归纳，将高相似度的保险产品标记划分到同一类，使得属于同类的保险产品能够全部一起展示给对象进行选择，从而提高保险产品的成交率。
[0153]
请参阅图8，本技术实施例还提供一种物品相似度检测装置，可以实现上述物品相似度检测方法，该装置包括：
[0154]
数据获取模块801，用于获取目标物品对的物品对数据，其中，目标物品对包括第一物品和第二物品，物品对数据包括第一物品的第一文本数据和第一图像数据，物品对数据还包括第二物品的第二文本数据和第二图像数据；
[0155]
输入模块802，用于将物品对数据输入到预设的物品对检测模型中，其中，物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；
[0156]
图像编码模块803，用于基于图像编码网络对第一图像数据进行图像编码，得到第一物品图像特征向量，并基于图像编码网络对第二图像数据进行图像编码，得到第二物品图像特征向量；
[0157]
文本编码模块804，用于基于文本编码网络对第一文本数据和第一物品图像特征
向量进行文本编码，得到第一物品特征向量，并基于文本编码网络对第二文本数据和第二物品图像特征向量进行文本编码，得到第二物品特征向量；
[0158]
物品相似计算模块805，用于基于物品对检测网络对第一物品特征向量、第二物品特征向量进行相似度计算，得到物品相似评分数据；
[0159]
检测模块806，用于根据物品相似评分数据检测第一物品和第二物品之间的物品相似程度，得到检测数据。
[0160]
该物品相似度检测装置的具体实施方式与上述物品相似度检测方法的具体实施例基本相同，在此不再赘述。
[0161]
本技术实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述物品相似度检测方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0162]
请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
[0163]
处理器901，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
[0164]
存储器902，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本技术实施例的物品相似度检测方法；
[0165]
输入/输出接口903，用于实现信息输入及输出；
[0166]
通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
[0167]
总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；
[0168]
其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
[0169]
本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述物品相似度检测方法。
[0170]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0171]
本技术实施例提供的物品相似度检测方法、物品相似度检测装置、电子设备及计算机可读存储介质，其通过获取目标物品对的物品对数据，其中，目标物品对包括第一物品
和第二物品，物品对数据包括第一物品的第一文本数据和第一图像数据、第二物品的第二文本数据和第二图像数据，能够以物品的图像信息和文本信息两种模态信息一起进行物品相似度检测。进一步地，将物品对数据输入到预设的物品对检测模型中，其中，物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；基于图像编码网络对第一图像数据进行图像编码，得到第一物品图像特征向量，并基于图像编码网络对第二图像数据进行图像编码，得到第二物品图像特征向量，能够较为方便地对第一物品和第二物品的图像数据进行图像编码，提取第一物品、第二物品的图像特征信息。进一步地，基于文本编码网络对第一文本数据和第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于文本编码网络对第二文本数据和第二物品图像特征向量进行文本编码，得到第二物品特征向量，能够较为方便地将第一物品、第二物品的图像特征信息和文本特征信息两种模态信息进行特征融合以及文本编码，提高特征质量。进一步地，基于物品对检测网络对第一物品特征向量、第二物品特征向量进行相似度计算，得到物品相似评分数据，能够提高评分数据的准确性和客观性。最后，根据物品相似评分数据检测物品第一物品和第二物品之间的物品相似程度，得到检测数据，能够提高物品相似度检测的准确性，进而有效地对保险平台中的各个保险产品进行整合归纳，将高相似度的保险产品标记划分到同一类，使得属于同类的保险产品能够全部一起展示给对象进行选择，从而提高保险产品的成交率。
[0172]
本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0173]
本领域技术人员可以理解的是，图1-7中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
[0174]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0175]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0176]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0177]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可
以是多个。
[0178]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0179]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0180]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0181]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-on ly memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0182]
以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。

技术特征：
1.一种物品相似度检测方法，其特征在于，所述方法包括：获取目标物品对的物品对数据，其中，所述目标物品对包括第一物品和第二物品，所述物品对数据包括所述第一物品的第一文本数据和第一图像数据，所述物品对数据还包括所述第二物品的第二文本数据和第二图像数据；将所述物品对数据输入到预设的物品对检测模型中，其中，所述物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；基于所述图像编码网络对所述第一图像数据进行图像编码，得到第一物品图像特征向量，并基于所述图像编码网络对所述第二图像数据进行图像编码，得到第二物品图像特征向量；基于所述文本编码网络对所述第一文本数据和所述第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于所述文本编码网络对所述第二文本数据和所述第二物品图像特征向量进行文本编码，得到第二物品特征向量；基于所述物品对检测网络对所述第一物品特征向量、所述第二物品特征向量进行相似度计算，得到物品相似评分数据；根据所述物品相似评分数据检测所述物品第一物品和所述第二物品之间的物品相似程度，得到检测数据。2.根据权利要求1所述的物品相似度检测方法，其特征在于，所述基于所述图像编码网络对所述第一图像数据进行图像编码，得到第一物品图像特征向量，并基于所述图像编码网络对所述第二图像数据进行图像编码，得到第二物品图像特征向量，包括：对所述第一图像数据进行卷积处理，得到第一物品图像卷积特征，并对所述第二图像数据进行卷积处理，得到第二物品图像卷积特征；对所述第一物品图像卷积特征进行池化处理，得到第一物品图像池化特征，并对所述第二物品图像卷积特征进行池化处理，得到第二物品图像池化特征；对所述第一物品图像池化特征进行线性变换，得到所述第一物品图像特征向量，并对所述第二物品图像池化特征进行线性变换，得到所述第二物品图像特征向量。3.根据权利要求1所述的物品相似度检测方法，其特征在于，所述基于所述文本编码网络对所述第一文本数据和所述第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于所述文本编码网络对所述第二文本数据和所述第二物品图像特征向量进行文本编码，得到第二物品特征向量，包括：对所述第一文本数据进行字符映射，得到第一文本字向量，并对所述第一文本字向量和所述第一物品图像特征向量进行拼接，得到第一物品拼接向量；基于所述文本编码网络对所述第一物品拼接向量进行文本编码，得到所述第一物品特征向量；对所述第二文本数据进行字符映射，得到第二文本字向量，并对所述第二文本字向量和所述第二物品图像特征向量进行拼接，得到第二物品拼接向量；基于所述文本编码网络对所述第二物品拼接向量进行文本编码，得到所述第二物品特征向量。4.根据权利要求1所述的物品相似度检测方法，其特征在于，所述根据所述物品相似评分数据检测所述物品第一物品和所述第二物品之间的物品相似程度，得到检测数据，包括：
比对所述物品相似评分数据和预设的分数阈值；若所述物品相似评分数据大于所述分数阈值，则将所述检测数据确定为所述第一物品和所述第二物品是同类物品；若所述物品相似评分数据不大于所述分数阈值，则将所述检测数据确定为所述第一物品和所述第二物品不是同类物品。5.根据权利要求1所述的物品相似度检测方法，其特征在于，所述基于所述物品对检测网络对所述第一物品特征向量、所述第二物品特征向量进行相似度计算，得到物品相似评分数据，包括：基于所述物品对检测网络对所述第一物品特征向量、所述第二物品特征向量进行相似度计算，得到初步评分数据；根据预设的调整数据对所述初步评分数据进行评分调整，得到中间评分数据；对所述中间评分数据进行加权和运算，得到所述物品相似评分数据。6.根据权利要求1所述的物品相似度检测方法，其特征在于，所述获取目标物品对的物品对数据，包括：获取所述第一物品的第一物品图像和第一物品文本、所述第二物品的第二物品图像和第二物品文本，其中，所述第一物品文本包括所述第一物品的第一物品标题、第一物品类目以及第一物品属性，所述第二物品文本包括所述第二物品的第二物品标题、第二物品类目以及第二物品属性；对所述第一物品图像进行图像裁剪，得到所述第一图像数据，并对所述第二物品图像进行图像裁剪，得到所述第二图像数据，其中，所述第一图像数据为包含第一物品的最小矩形图像，所述第二图像数据为包含第二物品的最小矩形图像；根据预设的拼接顺序对所述第一物品标题、所述第一物品类目以及所述第一物品属性进行拼接，得到所述第一文本数据，并根据所述拼接顺序对所述第二物品标题、所述第二物品类目以及所述第二物品属性进行拼接，得到所述第二文本数据；根据第一图像数据、所述第二图像数据、所述第一文本数据以及所述第二文本数据，得到所述物品对数据。7.根据权利要求1至6任一项所述的物品相似度检测方法，其特征在于，在所述将所述物品对数据输入到预设的物品对检测模型中之前，所述方法还包括预先训练所述物品对检测模型，具体包括：获取训练数据，其中，所述训练数据包括数据内容均不相同的第一样本数据、第二样本数据以及第三样本数据；基于所述第一样本数据对预设的神经网络模型进行第一模型训练，得到初步检测模型；基于所述第二样本数据对所述初步检测模型进行第二模型训练，得到中间检测模型；基于所述第三样本数据对所述中间检测模型进行第三模型训练，得到所述物品对检测模型。8.一种物品相似度检测装置，其特征在于，所述装置包括：数据获取模块，用于获取目标物品对的物品对数据，其中，所述目标物品对包括第一物品和第二物品，所述物品对数据包括所述第一物品的第一文本数据和第一图像数据，所述
物品对数据还包括所述第二物品的第二文本数据和第二图像数据；输入模块，用于将所述物品对数据输入到预设的物品对检测模型中，其中，所述物品对检测模型包括图像编码网络、文本编码网络以及物品对检测网络；图像编码模块，用于基于所述图像编码网络对所述第一图像数据进行图像编码，得到第一物品图像特征向量，并基于所述图像编码网络对所述第二图像数据进行图像编码，得到第二物品图像特征向量；文本编码模块，用于基于所述文本编码网络对所述第一文本数据和所述第一物品图像特征向量进行文本编码，得到第一物品特征向量，并基于所述文本编码网络对所述第二文本数据和所述第二物品图像特征向量进行文本编码，得到第二物品特征向量；物品相似计算模块，用于基于所述物品对检测网络对所述第一物品特征向量、所述第二物品特征向量进行相似度计算，得到物品相似评分数据；检测模块，用于根据所述物品相似评分数据检测所述物品第一物品和所述第二物品之间的物品相似程度，得到检测数据。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的物品相似度检测方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的物品相似度检测方法。

技术总结
本申请提供了一种物品相似度检测方法和装置、电子设备及存储介质，属于金融科技技术领域。包括：获取目标物品对的物品对数据，物品对数据包括第一物品的第一文本数据和第一图像数据、第二物品的第二文本数据和第二图像数据；基于图像编码网络对第一图像数据、第二图像数据进行图像编码，得到第一物品图像特征向量、第二物品图像特征向量；基于文本编码网络对第一文本数据、第一物品图像特征向量、第二文本数据和第二物品图像特征向量进行文本编码，得到第一物品特征向量、第二物品特征向量；基于物品对检测网络、第一物品特征向量、第二物品特征向量检测第一物品和第二物品的物品相似程度，得到检测数据。本申请能够提高物品相似检测的准确性。相似检测的准确性。相似检测的准确性。


技术研发人员：孙泽烨
受保护的技术使用者：中国平安人寿保险股份有限公司
技术研发日：2023.07.07
技术公布日：2023/9/23