一种基于大数据的专利分类方法

1.本发明涉及自然语言处理和人工智能领域，具体涉及一种基于大数据的专利分类方法。


背景技术：

2.随着大数据和机器学习技术的快速发展，利用大数据进行自动化的专利分类成为可能。大数据技术可以处理海量的专利文献数据，并从中提取出有用的特征和模式，为专利分类提供有力支持。同时，机器学习算法能够通过训练和学习，自动发现和应用分类规则，以实现高效准确的专利分类。
3.然而，现有的基于大数据的专利分类方法仍然存在一些局限性和挑战。在现有的分类技术中，并没有关注专利文本的图像性质所带来的关键信息，某些方法在处理复杂的专利文献语义和结构时可能存在误差，导致分类结果不够精准。此外，随着技术和领域的不断演进，现有的分类模型可能难以适应新兴领域和交叉学科的专利分类需求。


技术实现要素：

4.为解决上述问题，本发明提供了一种基于大数据的专利分类方法，包括以下步骤：
5.s1.获取专利文本数据并进行预处理得到预处理数据；
6.s2.通过bert模型获取预处理数据中每个字的词向量，并根据词向量计算每两个字间的相似度；
7.s3.根据相似度构建一个图结构输入图卷积神经网络，得到一个文本融合向量表示；
8.s4.将文本融合向量表示输入概率化svm分类器，得到预处理数据的分类结果。
9.进一步的，步骤s1获取专利文本数据并进行预处理得到预处理数据，包括：
10.s11.获取完整的专利文本数据，从中提取出专利名称、专利权人和专利摘要；
11.s12.将专利名称、专利权人和专利摘要拼接得到一个预处理数据。
12.进一步的，步骤s2根据词向量计算每两个字间的相似度，表示为：
[0013][0014][0015]
其中，表示预处理数据中第i个字xi的词向量，k(xi,xj)表示第i个字xi的词向量与第j个字xj的词向量间的相似度，表示第i个字xi的词向量与第j个字xj的词向量间的相似性特征权重，t表示转置操作，a表示词向量的维度。
[0016]
进一步的，步骤s3根据相似度构建一个图结构，包括：
[0017]
s301.将预处理数据中每个字看作一个节点，采用对应的词向量作为每个节点的特征向量，将每两个字间的相似度作为对应两个节点间的特征相似度；
[0018]
s302.设置边连接阈值，若两个节点间的特征相似度大于边连接阈值，则将这两个节点连接起来，并采用特征相似度作为边权重；
[0019]
s303.通过混合池函数获取每个节点的混合池特征向量，表示为：
[0020][0021][0022]
其中，hi′
表示第i个节点vi的混合池特征向量，k(i,j)表示第i个节点vi与第j个节点vj的特征相似度，hj表示第j个节点vj的的特征向量，n(i)表示第i个节点vi的邻居节点集合，h
mean
表示节点vi的所有邻居节点的平均池特征向量；
[0023]
s304.将每个节点的特征向量和混合池特征向量拼接，得到每个节点的融合向量，最终得到图结构。
[0024]
进一步的，步骤s3将一个图结构输入图卷积神经网络得到一个文本融合向量表示，包括：
[0025]
s311.获取图结构中每个节点在图卷积神经网络的第l层的向量表示；
[0026]
s312.对于图结构中第i个节点vi，根据向量表示计算节点vi与其每一个邻居节点在第l层的上下文相似度；
[0027]
s312.根据上下文相似度计算节点vi在第l层的激活函数权重；
[0028]
s313.采用激活函数权重计算更新节点vi的向量表示；
[0029]
s314.直至图结构中所有节点的向量表示更新完成，判断每个节点的向量表示的变化量绝对值是否都小于变化阈值，若不是，则执行步骤s315；若是，则执行步骤s316；
[0030]
s315.判断当前层数l是否小于最大层数，若满足，则令l＝l+1并返回步骤s311；若不满足，则执行步骤s316；
[0031]
s316.输出图结构中所有节点当前的向量表示并进行混合池化，得到一个文本融合向量表示。
[0032]
进一步的，步骤s313采用激活函数权重计算更新节点vi的向量表示，计算公式为：
[0033][0034][0035]
其中，表示图结构中第i个节点vi在第l层的向量表示，表示图结构中第i个节点vi在第l层的激活函数权重，n(i)表示第i个节点vi的邻居节点集合，|n(i)|表示第i个节点vi的邻居节点数量，c
ij
表示归一化因子，f表示激活函数。
[0036]
进一步的，步骤s315输出图结构中所有节点当前的向量表示并进行混合池化，得
到一个文本融合向量表示，如下：
[0037][0038][0039]
其中，zi表示第i条预处理数据的文本融合向量表示，m(i)表示第i条预处理数据的字集合，为第i条预处理数据中第i个字经过卷积神经网络后的向量表示，nj表示第i条预处理数据中第j个字的出现次数。
[0040]
进一步的，采用损失函数计算概率化svm分类器的训练损失，表示为：
[0041][0042]
其中，n是样本数；m是标签数，y
ij
是专利i的标签j的真实值；f
ij
是模型预测的标签j在第i个预处理数据上的得分。
[0043]
本发明的有益效果：
[0044]
本发明采用了gcn(图卷积神经网络)作为核心模型，利用gcn在专利文献之间构建图结构，并通过图卷积操作从图中提取特征信息。这样可以更好地捕捉专利文献之间的关联和语义信息，提高分类准确度。
[0045]
此外，本发明还设计了各种池化操作，用于对gcn提取的特征进行聚合和压缩。这些池化操作能够帮助提取关键信息，减少特征维度，并提高分类效果。通过不同的池化策略，可以适应不同类型和规模的专利文献数据，增强分类模型的鲁棒性和泛化能力。
[0046]
在分类阶段，本发明采用了one-vs-all的方法，结合svm(支持向量机)分类器来进行多类别分类。通过将每个类别与其他类别进行区分，可以实现高效的分类决策，并进一步提高分类的准确性和可靠性。
附图说明
[0047]
图1为本发明实施例提供的一种基于大数据的专利说明书智能分类方法流程图；
[0048]
图2为本发明实施例提供的基于bert模型的输出以及字之间的相似度将其中出现的所有字作为节点构建的图结构的例图；
[0049]
图3为本发明实施例提供的图卷积网络卷积过程的例图。
具体实施方式
[0050]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051]
本发明提供了一种基于大数据的专利分类方法，如图1所示，包括以下步骤：
[0052]
s1.获取专利文本数据并进行预处理得到预处理数据。
[0053]
具体地，步骤s1获取专利文本数据并进行预处理得到预处理数据，包括：
[0054]
s11.获取完整的专利文本数据，从专利文本数据中提取出专利名称、专利权人和专利摘要；在训练过程中，一条完整的专利文本数据包括专利序号id、专利名称title、专利权人assignee、专利摘要abstract和专利分类标签label；
[0055]
s12.将专利名称、专利权人和专利摘要拼接得到一个预处理数据。
[0056]
s2.通过bert模型获取预处理数据中每个字的词向量，并根据词向量计算每两个字间的相似度。
[0057]
具体地，通过bert模型获取预处理数据中每个字的词向量，包括：
[0058]
s21.通过bert的tokenizer对输入的预处理数据x进行分词处理，得到对应的token序列，表示为：
[0059]
x
*
＝{x1,x2,
…
,xm+
[0060]
其中，x
*
为预处理数据x转化得到的token序列，xi，i＝1,2,
…
,m表示token序列中第i个字，m表示token序列的字数量。
[0061]
s22.将token序列x
*
输入bert模型学习每个字的表示，得到词向量序列e，表示为：
[0062][0063]
其中，表示第i个字xi的词向量；h
cls
表示句子标识；h
sep
表示句子间的分隔符(可能不止一个)。
[0064]
具体地，通过携带特征权重的核函数方法，根据词向量计算每两个字间的相似度，计算公式为：
[0065][0066][0067]
其中，表示预处理数据中第i个字xi的词向量，所有词向量的维度相同；k(xi,xj)表示第i个字xi的词向量与第j个字xj的词向量间的相似度，表示第i个字xi的词向量与第j个字xj的词向量间的相似性特征权重，t表示转置操作，a表示词向量的维度。上述公式既考虑了向量之间的非线性相似度，又结合了向量之间的距离和角度信息，并且引入了可调节的相似性特征权重，可以更灵活的表示字之间的相似度。
[0068]
s3.根据相似度构建一个图结构输入图卷积神经网络，得到一个文本融合向量表示。
[0069]
具体地，步骤s3根据预处理数据x中的所有相似度构建一个图结构，包括：
[0070]
s301.将预处理数据x中的每一个字看作一个节点，并采用每一个节点所对应的词向量作为每一个节点的特征向量；即将预处理数据x对应的token序列x
*
＝{x1,x2,
…
,xm+中
的每个字看做一个节点得到节点集合v＝{v1,v2,
…
,vm+，基于token序列x
*
的词向量序列将每一个字的词向量作为对应节点的特征向量，得到特征向量集合h＝{h1,h2,
…
,hm+；同时将每两个字间的相似度k(xi,xj)作为对应两个节点间的特征相似度k(i,j)。
[0071]
s302.设置边连接阈值，若两个节点间的特征相似度k(i,j)大于边连接阈值，则将这两个节点(vi,vj)连接起来，并采用特征相似度k(i,j)作为边权重；本发明实施例中边连接阈值为0.6。
[0072]
s303.通过混合池函数获取每个节点的混合池特征向量，表示为：
[0073][0074][0075]
其中，hi′
表示第i个节点vi的混合池特征向量，k(i,j)表示第i个节点与第j个节点的特征相似度，hj表示第j个节点的的特征向量，n(i)表示第i个节点的邻居节点集合，h
mean
表示节点vi的所有邻居节点的平均池特征向量；
[0076]
该混合池函数考虑了每个节点与其邻居节点之间的特征相似度，根据邻居节点的信息对当前节点进行池化。这种个体化的池化方式可以捕捉到节点之间的局部关系和交互，更加准确地表达节点的特征。引入h
mean
这种局部平均化的方式可以降低噪音的影响。
[0077]
s304.将每个节点的特征向量和混合池特征向量拼接，得到每个节点的融合向量，表示为：
[0078][0079]
其中，表示第i个节点vi的融合向量，最终得到图结构g
x
。
[0080]
为了利用字之间的语义关联性，将专利说明书中的文本信息转化为图形结构，如图2所示，以便更好地表示和捕捉文本之间的关系。
[0081]
具体地，步骤s3将图结构g
x
输入图卷积神经网络得到一个文本融合向量表示，如图3所示，包括：
[0082]
s311.获取图结构g
x
中每个节点在图卷积神经网络的第l层的向量表示；
[0083]
s312.对于图结构g
x
中第i个节点vi，根据向量表示计算节点vi与其每一个邻居节点在第l层的上下文相似度；
[0084]
具体地，步骤s312的计算公式为：
[0085][0086]
[0087]
其中，表示节点vi在图卷积神经网络的第l层的向量表示，k
(l)
(i,j)表示节点vi与节点vj在第l层的上下文相似度，表示节点vi与节点vj在第l层的相似性特征权重，,a’为向量表示的长度。
[0088]
s312.根据上下文相似度计算节点vi在第l层的激活函数权重；
[0089]
具体地，计算公式为：
[0090][0091]
其中，表示节点vi在第l层的激活函数权重；n(i)表示第i个节点vi的邻居节点集合。
[0092]
s313.采用激活函数权重计算更新节点i的向量表示；
[0093]
具体地，计算公式为：
[0094][0095][0096]
其中，表示节点vi更新后的向量表示，更新后的向量表示可以作为节点vi在第l+1层的向量表示；表示节点vi在第l层的激活函数权重；表示节点vj在第l层的激活函数权重；c
ij
表示归一化因子，f表示激活函数；n(i)表示第i个节点vi的邻居节点集合。通过综合邻居节点和自身节点的特征，以及动态调整权重和非线性变换，可以有效地结合全局和局部信息。
[0097]
s314.直至图结构中所有节点的向量表示更新完成，判断每个节点的向量表示的变化量绝对值是否都小于变化阈值，若不是，则执行步骤s315；若是，则执行步骤s316；
[0098]
s315.判断当前层数l是否小于最大层数，若满足，则令l＝l+1并返回步骤s311；若不满足，则执行步骤s316；
[0099]
s316.输出图结构中所有节点当前的向量表示并进行混合池化，得到一个文本融合向量表示。
[0100]
具体地，文本融合向量表示的计算公式为：
[0101]
[0102][0103]
其中，zi表示第i条预处理数据的文本融合向量表示，m(i)表示第i条预处理数据的字集合，为第i条预处理数据中第i个字经过卷积神经网络后的向量表示，nj表示第i条预处理数据中第j个字的出现次数。通过这个池化函数可以引入考虑字的频率权重对专利文本向量的影响，并且保留了gcn卷积的信息。
[0104]
s4.将文本融合向量表示输入概率化svm分类器，得到预处理数据的分类结果。
[0105]
具体地，概率化svm分类器的训练过程包括：
[0106]
s41.定义一个能将输入的文本融合向量表示映射到高维空间的映射函数φ(z)，映射函数φ(z)的具体公式表示为：
[0107][0108]
其中，z表示一个输入的文本融合，d表示映射后的向量维度。
[0109]
s42.采用一对多(one-vs-all)策略训练多标签svm分类器：将标签j看做一个二分类问题，并训练一个关于标签j的svm分类器sj；通过这种方式为每种标签构建相应的分类器，得到m个svm分类器，其中svm分类器sj的决策函数表示为：
[0110][0111]
其中，α
ij
是第i个预处理数据在第j个svm分类器中的权重向量；bj是第j个svm分类器的偏置项；hj(zi)表示第i个预处理数据在第j个svm分类器中被划分为标签j的概率；y
ij
表示第i个预处理数据是否属于标签j，如果属于则为1，反之为-1。
[0112]
s43.采用损失函数计算上述多标签分类器的损失，表示为：
[0113][0114]
其中，n是样本数；m是标签数；f
ij
是模型预测的标签j在第i个预处理数据上的得分，即第i个预处理数据在svm分类器sj中被划分为标签j的概率hj(zi)。该损失函数综合考虑了正类和负类样本的损失，通过ln2和cosπ/2函数的组合，使得正类样本和负类样本在损失计算中获得平衡。使用该损失函数通过梯度下降算法来更新权重向量α
ij
和偏置项bj来逐步减小损失函数，来得到最优的分类器。
[0115]
s44.将每个样本的文本融合向量表示zi送入m个svm分类器中，得到m个分类结果h1(zi),h2(zi),
…
,hm(zi)。然后将这m个分类结果拼接成一个m维向量fi，并预测最终的分类结果li：
[0116]fi
＝[h1(zi),h2(zi),
…
,hm(zi)]
[0117]
li＝round(w
tfi-bi)
[0118]bi
＝max(h1(zi),h2(zi),
…
,hm(zi))
[0119]
w＝[1,2,
…
,m]
[0120]
其中，hj(zi)表示第i个预处理数据在svm分类器sj中被划分为标签j的概率；w是权重向量；bi表示fi中的最大值；round为四舍五入函数。通过这个方法可以靠考虑到多个标签概率的综合信息，li表示第i个专利文本数据的最终预测结果。
[0121]
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0122]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于大数据的专利分类方法，其特征在于，包括以下步骤：s1.获取专利文本数据并进行预处理得到预处理数据；s2.通过bert模型获取预处理数据中每个字的词向量，并根据词向量计算每两个字间的相似度；s3.根据相似度构建一个图结构输入图卷积神经网络，得到一个文本融合向量表示；s4.将文本融合向量表示输入概率化svm分类器，得到预处理数据的分类结果。2.根据权利要求1所述的一种基于大数据的专利分类方法，其特征在于，步骤s1获取专利文本数据并进行预处理得到预处理数据，包括：s11.获取专利文本数据，从中提取出专利名称、专利权人和专利摘要；s12.将专利名称、专利权人和专利摘要拼接得到一个预处理数据。3.根据权利要求1所述的一种基于大数据的专利分类方法，其特征在于，步骤s2根据词向量计算每两个字间的相似度，表示为：向量计算每两个字间的相似度，表示为：其中，表示预处理数据中第i个字x
i
的词向量，k(x
i
,x
j
)表示第i个字x
i
的词向量与第j个字x
j
的词向量间的相似度；表示第i个字x
i
的词向量与第j个字x
j
的词向量间的相似性特征权重；t表示转置操作；a表示词向量的维度。4.根据权利要求1所述的一种基于大数据的专利分类方法，其特征在于，步骤s3根据相似度构建一个图结构，包括：s301.将预处理数据中每个字看作一个节点，采用对应的词向量作为每个节点的特征向量，将每两个字间的相似度作为对应两个节点间的特征相似度；s302.设置边连接阈值，若两个节点间的特征相似度大于边连接阈值，则将这两个节点连接起来，并采用特征相似度作为边权重；s303.通过混合池函数获取每个节点的混合池特征向量，表示为：s303.通过混合池函数获取每个节点的混合池特征向量，表示为：其中，h
i
′
表示第i个节点v
i
的混合池特征向量，k(i,j)表示第i个节点v
i
与第j个节点v
j
的特征相似度，h
j
表示第j个节点v
j
的的特征向量，n(i)表示第i个节点v
i
的邻居节点集合，h
mean
表示节点v
i
的所有邻居节点的平均池特征向量；s304.将每个节点的特征向量和混合池特征向量拼接，得到每个节点的融合向量，最终得到图结构。
5.根据权利要求1所述的一种基于大数据的专利分类方法，其特征在于，步骤s3将一个图结构输入图卷积神经网络得到一个文本融合向量表示，包括：s311.获取图结构中每个节点在图卷积神经网络的第l层的向量表示；s312.对于图结构中第i个节点v
i
，根据向量表示计算节点v
i
与其每一个邻居节点在第l层的上下文相似度；s312.根据上下文相似度计算节点v
i
在第l层的激活函数权重；s313.采用激活函数权重计算更新节点v
i
的向量表示；s314.直至图结构中所有节点的向量表示更新完成，判断每个节点的向量表示的变化量绝对值是否都小于变化阈值，若不是，则执行步骤s315；若是，则执行步骤s316；s315.判断当前层数l是否小于最大层数，若满足，则令l＝l+1并返回步骤s311；若不满足，则执行步骤s316；s316.输出图结构中所有节点当前的向量表示并进行混合池化，得到一个文本融合向量表示。6.根据权利要求5所述的一种基于大数据的专利分类方法，其特征在于，步骤s313采用激活函数权重计算更新节点v
i
的向量表示，计算公式为：的向量表示，计算公式为：其中，表示图结构中第i个节点v
i
在第l层的向量表示，表示图结构中第i个节点v
i
在第l层的激活函数权重，n(i)表示第i个节点v
i
的邻居节点集合，|n(i)|表示第i个节点v
i
的邻居节点数量，c
ij
表示归一化因子，f表示激活函数。7.根据权利要求5所述的一种基于大数据的专利分类方法，其特征在于，步骤s315输出图结构中所有节点当前的向量表示并进行混合池化，得到一个文本融合向量表示，如下：图结构中所有节点当前的向量表示并进行混合池化，得到一个文本融合向量表示，如下：其中，z
i
表示第i条预处理数据的文本融合向量表示，m(i)表示第i条预处理数据的字集合，为第i条预处理数据中第i个字经过卷积神经网络后的向量表示，n
j
表示第i条预处理数据中第j个字的出现次数。8.根据权利要求1所述的一种基于大数据的专利分类方法，其特征在于，采用损失函数计算概率化svm分类器的训练损失，表示为：
其中，n是样本数；m是标签数，y
ij
表示第i个预处理数据是否属于标签j，如果属于则为1，反之为-1；f
ij
是模型预测的标签j在第i个预处理数据上的得分。

技术总结
本发明涉及自然语言处理和人工智能领域，具体涉及一种基于大数据的专利分类方法，包括获取专利文本数据并进行预处理得到预处理数据；通过Bert模型获取预处理数据中每个字的词向量，并根据词向量计算每两个字间的相似度；根据相似度构建一个图结构输入图卷积神经网络，得到一个文本融合向量表示；将文本融合向量表示输入概率化SVM分类器，得到预处理数据的分类结果。的分类结果。的分类结果。


技术研发人员：邓龙行 王一雄 王进
受保护的技术使用者：重庆邮电大学
技术研发日：2023.06.26
技术公布日：2023/9/25