基于域对抗迁移学习的新品销售预测方法和系统与流程

1.本公开涉及深度学习领域，尤其涉及一种基于域对抗迁移学习的新品销售预测方法和系统。


背景技术：

2.销售预测的准确性至关重要，因为当预测出现大幅偏差时，可能会导致缺货或库存过剩的问题，从而造成不利影响。由于缺乏可用的历史销售时间序列数据，新品的销量预测面临挑战。预测新品的销量通常需要分析旧品的历史销售数据，但是新旧产品之间的差异会影响预测准确率。
3.现有技术试图通过寻找与新品非常相似的旧品来解决新品历史数据缺失的问题，然而，产品间的相似性通常难以度量，并且可能不存在足够相似的旧品。即使存在类似产品，也可能会由于存在产品之间的销售规律变化而无法准确预测新品销量。此外，一些大型连锁企业有着许多门店，这使得基于门店的销量预测更加复杂。
4.为此，需要一种能够对新品销售进行更为准确预测的方案。


技术实现要素：

5.本公开要解决的一个技术问题是提供一种基于域对抗迁移学习的新品销售预测方法和系统，通过为多个旧品各自分配为一个域，并提取域不变特征来实现域对抗迁移学习，由此通过提取新品的域不变特征来预测销售。进一步地，可以结合门店的不变特征提取来实现基于门店的新品销售预测。通过对真实数据集的广泛实验，本发明的方法在新品销售预测方面优于当前最先进的基线。
6.根据本公开的第一个方面，提供了一种基于域对抗迁移学习的新品销售预测方法，包括：将多个旧品信息送入特征提取器以提取多个旧品特征，其中，所述多个旧品各自对应于一个源域；将多个旧品特征送入域不变特征学习器以提取域不变产品特征，并构造表征多个旧品特征的域标签预测概率之和的域不变产品损失函数；将所述域不变产品特征送入销售预测器，以输出对于多个旧品特征各自的预测销售值，并构造表征预测销售值和作为标签的实际销售值之间差异的预测损失函数；通过最小化所述域不变产品损失函数和所述预测损失函数训练由所述特征提取器、所述域不变特征学习器和所述销售预测器组成的新品销售预测模型；以及将至少一个新品信息送入由经训练的所述新品销售预测模型，以获取新品销售预测值，其中，所述至少一个新品信息对应于至少一个目标域。所述域不变产品损失函数可以对输入的所述旧品特征属于每个源域的输出概率进行平滑。
7.可选地，所述特征提取器包括时不变特征提取模块和时变特征提取模块，其中由所述时不变特征提取模块获取产品的时不变信息，并生成时不变产品特征；由所述时变特征提取模块获取时间相关信息，并生成时变相关特征，其中，所述时不变产品特征和所述时变相关特征用作所述域不变特征学习器的输入。
8.可选地，所述销售预测器包括循环神经网络(尤其可以是gru)，用于获取所述域不
变产品特征和前一时间节点隐状态特征，并输出用于销售预测的中间特征和当前时间节点隐状态特征，其中，将多个旧品特征送入域不变特征学习器以提取域不变产品特征包括：由所述域不变特征学习器获取所述时不变产品特征、所述时变相关特征以及所述前一时间节点隐状态特征并据此提取当前时间节点的域不变产品特征。
9.可选地，由所述时不变特征提取模块获取产品的时不变信息，并生成时不变产品特征包括：将产品文本信息送入所述时不变特征提取模块的文本特征提取子模块以提取产品文本特征；将产品图像信息送入所述时不变特征提取模块的图像特征提取子模块，以提取产品图像特征；以及由所述时变特征提取模块获取时间相关信息，并生成时变相关特征包括：将外部时间信息送入所述时变特征提取模块的外部时间特征提取子模块，以获取外部时间特征；将所述产品图像特征和所述前一时间节点隐状态特征送入所述时变特征提取模块的注意力层，以获取通道加权的时变图像特征；其中，所述时变相关特征包括所述外部时间特征和所述时变图像特征。
10.可选地，所述方法还包括：将多个门店信息送入所述特征提取器以提取多个门店特征；将多个门店特征送入所述域不变特征学习器以提取域不变门店特征，并构造域不变门店损失函数；将所述域不变门店特征入所述销售预测器，以输出多个旧品特征对于多个门店信息各自的预测销售值，其中，所述新品销售预测模型的训练还需最小化所述域不变门店损失函数；并且所述新品销售预测模型在获取至少一个新品信息后，输出针对每个门店信息的新品销售预测结果。
11.可选地，所述方法还包括：根据门店属性将多个门店进行分组；以及基于多个门店分组各自包括的门店信息生成所述多个门店信息，其中，每个门店信息对应于一个相应分组的门店的相关信息。
12.可选地，所述销售预测器包括对应于多个门店信息的多个预测分支，并且每个预测分支获取共享的基于域不变产品特征得到的特征以及与各自门店信息对应的所述域不变门店特征，并且用于输出对应于各自门店信息的预测销售值。
13.可选地，所述特征提取器包括时不变特征提取模块和时变特征提取模块，并且所述时变特征提取模块获取外部时间信息并生成外部时间特征，其中，将所述时变产品门店销售特征结合所述多个门店特征送入域不变特征学习器以提取所述域不变门店特征，并构造所述域不变门店损失函数。
14.根据本公开的第二个方面，提供了一种基于域对抗迁移学习的新品销售预测系统，包括：训练节点，用于根据第一方面所述的方法，基于旧品信息得到经训练的新品销售预测模型；预测节点，用于使用新品信息作为所述经训练的新品销售预测模型的输入以获取新品的销售预测值。
15.根据本公开的第三个方面，提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上述第一方面所述的方法。
16.根据本公开的第四个方面，提供了一种计算机程序产品，包括可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上述第一方面所述的方法。
17.根据本公开的第五个方面，提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如上述第一方面所
述的方法。
18.由此，本发明提出了一种多粒度对抗学习框架，用于解决新品数据稀缺和门店间销售差异的问题。本发明的框架利用多模态信息将知识从历史产品转移到不同门店，并提高提取到的域不变表征的质量，实现更准确的销售预测。尽管产品和门店销售存在差异，但通过在不同粒度上对齐特征分布(包括新旧品之间，以及不同门店之间)，可以更有效地捕获固有的可转移模式，从而实现基于门店的新品销售预测。
附图说明
19.通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
20.图1示出了域适应的一个例子。
21.图2示出了域对抗迁移网络的结构示意图。
22.图3示出了根据本发明一个实施例的基于域对抗迁移学习的新品销售预测方法的示意性流程图。
23.图4示出了根据本发明一个实施例的新品销售预测模型的训练和预测示意图。
24.图5示出了根据本发明一个可选实施例的新品销售预测模型的组成示意图。
25.图6示出了根据本发明一个可选实施例的新品销售预测模型的组成示意图。
26.图7示出了根据本发明一个实施例的基于域对抗迁移学习的新品销售预测系统。
27.图8示出了根据本发明一实施例可用于实现上述基于域对抗迁移学习的新品销售预测方法的计算设备的结构示意图。
具体实施方式
28.下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
29.在不同的行业中，公司和企业往往需要通过不断的推出新产品(其后统称为“新品”)来增加客户的购买需求。例如，某大型咖啡连锁会在现有的aa三明治的基础上，推出馅料配方不同的bb三明治。aa三明治可以看作是该公司的老产品(也可称为“旧产品”，其后统称为“旧品”)，bb三明治则可以看作是新品。另外，该大型咖啡连锁当前贩售的cc蛋糕、dd面包甚至ee咖啡也可以看作是该公司已有的“旧品”。
30.预测新推出产品的销量一直是一项艰巨的任务，这主要是由于缺乏历史销量数据，以及市场环境和消费者偏好的动态特性。销售预测的准确性非常重要。当预测出现显着偏差时，可能会导致缺货或库存过多的问题，从而对公司的运营产生不利影响。尽管预测新品的销售给公司带来了挑战，但提高此类预测的准确性可以促进企业，甚至是连锁企业的每个门店对新品进行更好的风险管理和库存控制。
31.由于缺乏可用于预测的历史销售时间序列数据，新品的销售预测提出了根本性挑战。因此，预测新品的未来销售往往需要分析旧品的历史销售数据。然而，新旧产品之间的
差异会使预测准确率受到影响，并且新旧产品销售模式的显着差异可能导致难以准确预测新品的销售情况。此外，一些大型连锁店会开设很多门店，每个门店的销售额可能会有很大差异，这进一步使跨门店的销售预测复杂化。
32.先前的工作试图通过寻找与新品非常相似的旧品来解决新品历史数据缺失的问题，然而，度量产品间的相似性很困难，并且可能不存在足够相似的老品。例如，单纯使用aa三明治的历史销售数据往往不能很好地预测新品的bb三明治的销售数据。也有一些工作会利用所有旧品的数据来训练模型(例如，利用aa三明治、cc蛋糕和dd面包的数据来训练用于预测bb三明治销售的模型)，但是这些方法可能会受到产品间销售规律变化的影响。此外，门店之间的销量差异问题也没有得到足够的重视，大多数现有的新品销量预测方法关注单个门店或门店组，每个门店共享一个模型。但是这种方法可能会被证明是无效的，这是因为组数过多会导致模型数量繁琐，组数较少则会导致同一组内的门店之间存在显着差异。
33.为了解决新品历史数据缺失，本发明提出了一种基于域对抗迁移学习的新品销售预测方法，通过将新品和多个旧品各自分配为一个域，并使得特征提取器和域不变特征学习器有着相反的优化目标来实现域对抗迁移学习，并使用提取的域不变特征作为销售预测器的输入，从而利用新旧产品中的域不变特征实现销售预测。进一步地，可以结合门店的不变特征提取来实现基于门店的销售预测，从而解决间存在销量差异的问题。通过对真实数据集的广泛实验，本发明的方法在新品销售预测方面优于当前最先进的基线。
34.在此，为了方便对本发明发明原理的理解，首先将结合图1和图2对域对抗迁移学习的基本原理进行说明。
35.在传统机器学习领域中，通常需要大量带标签的数据进行训练，并且需要保证训练集和测试集中的数据分布相似。在一些问题中，如果训练集和测试集的数据具有不同的分布，训练后的分类器在测试集上就没有好的表现。例如，如果直接使用“电影”门类下的大量带标签用户评价训练出的情感分类模型，通常是无法对“书籍”下的用户评价进行很好分类预测的。此时，需要采用迁移学习中的域适应(domain adaption)方法，将具有不同分布的源域(source domain)和目标域(target domain)中的数据，映射到同一个特征空间，再寻找某一种度量准则，使其在这个空间上的“距离”尽可能近。由此，使得在带标签的源域上训练好的分类器可以直接用于目标域数据的分类。
36.在传统的机器学习场景中，训练集和测试集具有相同的分布，因此用训练集训练好的分类器可以直接用于测试集分类。但在域适应问题中，源域和目标域通常具有不同的分布，这就意味着无法将源域训练好的分类器直接用于目标域样本的分类。图1示出了域适应的一个例子。(a)部分示出了带标签的源域样本分布，(b)部分示出了不带标签的目标域样本分布。可以设它们具有共同的特征空间和标签空间。如图1所示，(a)部分中的黑色虚线可以表示经训练后的分类器对特征空间的划分，例如，在电影分类下对用户评价是正性还是负性的分类器。(b)部分示出的可以是书籍分类下用户评价的特征分布。显然，如果直接将该黑色虚线表征的分类器应用到(b)部分所示的特征空间，是无法对(b)中的样本进行正确分类的。(b)部分需要的是图中虚线所示的分类器。然而，由于书籍分类下的用户评论不带标签，因此无法直接利用书籍分类下的用户评论来训练分类器，而是需要利用(c)部分所示的域适应方法。域适应会尝试对两个域中的数据做一个映射，即，通过一个映射函数使得属于同一类(标签)的样本聚在一起。此时就可以利用带标签的源域数据，训练分类器供目
标域样本使用。
37.在本发明的应用场景中，可以利用域适应的思想，利用带标签的旧品作为源域数据(旧品的历史销售数据作为标签)，训练分类器供处于目标域的新品预测使用。
38.为了实现域适应(即，如何将不同域的样本映射到同一个特征空间并能够找到某一种度量准则，使其在这个空间上的“距离”尽可能近)，可以利用gan(生成对抗网络)的思想。常规的生成对抗网络包含一个生成器(generator)和一个鉴别器(discriminator)。生成器用来生成假图片，鉴别器则用来区分，输入的图片是真图片还是假图片。生成器希望生成的图片可以骗过鉴别器，而鉴别器则希望提高辨别能力防止被骗。两者互相博弈，直到系统达到一个稳定状态。在将生成对抗网络应用于域适应时，可以直接将目标域中的数据看作生成的样本。此时，生成器的目的不再是生成样本，而是进行特征提取，并且特征提取的目标是使得判别器无法区分提取的特征是来自源域还是目标域。换句话说，特征提取器需要在不同域之间选择可供迁移的特征，利用这些特征，鉴别器将无法区分它们是来自目标域还是源域，并且标签预测器可以很好的完成分类任务。因此，域适应问题的网络损失由两部分构成：标签预测器损失和域判别损失。
39.因此，可以利用结合了生成对抗网络和域适应思想的域对抗迁移网络(dann)来实现利用源域样本和标签训练的预测器对于目标域内样本的预测。
40.图2示出了域对抗迁移网络的结构示意图。dann结构主要包含特征提取器、标签预测器和域分类器三个部分。特征提取器gf(参数由θf表示)用于将数据映射到特定的特征空间，即，提取后续网络完成任务所需要的特征。标签预测器gy(参数由θy表示)用于对来自源域的数据进行分类，尽可能预测出正确的标签。域分类器gd(参数由θd表示)则用于对特征空间的数据进行分类，尽可能分出数据来自源域还是目标域。
41.其中，特征提取器和标签分类器构成了一个前馈神经网络。然而，与常规分类器不同的是，在特征提取器后面，加上了一个域分类器，中间通过一个梯度反转层(grl)连接。特征提取器所提取的特征不仅要满足标签分类器能够对提取的特征进行分类的要求，并且需要“迷惑”域分类器无法对来自源域和目标域的特征加以区分。dann中的对抗思想蕴含就在特征提取器和域分类器中。特征提取器的作用就像是域适应中映射函数，但是实际上并不知道映射函数的具体形式，也就是说不知道特征提取器的训练目标是什么，因此无法用一个网络来拟合这个函数，此时通过在特征提取器后面添加了域分类器，用来和特征提取器进行对抗训练。
42.特征提取器提取的信息会传入域分类器，之后域分类器会判断传入的信息到底是来自源域还是目标域，并计算损失。在反向传播更新参数的过程中，借助设置在域分类器和特征提取器中间的梯度反转层，使得域分类器的训练目标是尽量将输入的信息分到正确的域类别(源域还是目标域，图示的域分类器损失ld对应于λ是超参数)，而特征提取器的训练目标却恰恰相反(由于梯度反转层的存在，图示的特征提取器损失对应于即，前面有一个
“‑”
)，特征提取器所提取的特征(或者说映射的结果)目的是是域分类器不能正确的判断出信息来自哪一个域，因此形成一种对抗关系。可见，当域分类器不能将接收的信息正确分为源域样本还是目标域样本时，特征提取器的任务就圆满完成了，因为此时
源域样本和目标域样本在某个空间中已经被混合在一起不能分开了。
43.然而，该网络的最终的目的是对目标域样本进行分类，因此特征提取器输出的一个可以“骗过”域分类器的单位向量，需要标签预测器来完成后续的分类工作。由于源域样本是有标记的，所以在提取特征时不仅仅要考虑后面的域分类器的情况，还要利用源域的带标记样本进行有监督训练从而兼顾分类的准确性。
44.由此，标签分类器的训练目标在于最大化标签分类的准确率；域分类器的训练目标则在于最大化域分类的准确率；而特征提取器的分类目标则在于最大化签分类准确率的同时，最小化域分类的准确率(即，在特征提取器的训练目标和域分类器的训练目标之间存在对抗)。在实际训练中，可以先使得域分类器对来自目标域和源域的数据存在一定鉴别能力之后，再进行对抗性的训练。而当把特征提取器、域分类器和标签预测器都训练完成后，就可以将源域和目标域混合在一起并且进行分类了。
45.在现有技术中，很少有人想到能够从迁移学习的角度来进行新品销售的预测，并且由于通常需要从多个旧品中进行学习，因此多个源域到至少一个目标域的知识迁移看上去是不可行的。尽管如此，本发明的发明人提出了利用域对抗迁移学习，将多个旧品作为多个源域，新品作为目标域，从多个源域中提取域不变特征来帮助预测目标销售的方案。本发明通过改进域对抗损失函数首次实现了针对多个源域的知识迁移。在优选的方案中，本发明还可以结合时间序列进行操作，从而对新品销售进行时间序列上的预测。进一步地，通过并入门店信息，并进行门店不变特征的提取，本发明利用多模态的信息在不同门店之间迁移旧品的知识，并提高提取到的域不变表征的质量，实现更准确的销售预测。
46.在本发明的新品销售预测方法中，需要知晓多个旧品的产品信息和销售数据来训练包括特征提取器、域不变特征学习器和销售预测器这三个组件的新品销售预测模型。在训练过程中，多个旧品各自对应于一个源域。或者换句话说，多种旧品各自对应于一个源域，例如，如果使用9种旧品来训练模型，则这9种旧品对应于9个源域。训练样本包括旧品信息，例如产品的文本描述和商品图片之一或两者(如下将详述)，也可以包括与旧品信息相对应的标签。标签包括域标签和销售标签，模型的训练目标是能够从旧品信息中提取出域不变的特征，这些特征能够使得域不变特征学习器无法对特征来自哪个产品进行分类(即，无法预测出正确的域标签)，但同时要使得销售预测器能够对该特征对应产品的销售进行正确预测，即，使得销售预测器的输出尽可能地接近销售标签。由此训练得到的新品销售预测模型就能够从具有相同格式的新品信息(例如，产品的文本描述和商品图片之一或两者)中提取出域不变的特征，并且销售预测器能够根据如上特征对新品销售状况进行预测。
47.图3示出了根据本发明一个实施例的基于域对抗迁移学习的新品销售预测方法的示意性流程图。在步骤s310，将多个旧品信息送入特征提取器以提取多个旧品特征。多个旧品各自对应于一个源域。在此，多个旧品信息可以对应于多种旧品的信息，例如已经在销售的两种三明治、4种蛋糕和3种面包的产品信息(此时对应于9个源域)。这些信息被送入特征提取器。特征提取器用于将文本和/或图片信息，甚至是其他形式的信息，转换成特征形式的信息(在此称为旧品特征)，例如，具有特定长、宽和通道数的张量(tensor)形式。
48.由此得到的旧品特征将在随后的步骤s320中被送入域不变特征学习器以提取域不变产品特征，同时需要构造域不变产品损失函数。在此，域不变产品损失函数可以表征多个旧品特征的域标签预测概率之和，并且训练目标是希望域不变产品损失函数尽可能的小
(即，基于提取的域不变产品特征，无法确定该特征对应于哪个域，即，无法判定该特征来自哪个旧品，由此提取出针对不同的域都保持不变的更为“本质”的特征)。
49.具体地，由特征提取器提取出的特征被交由域不变特征学习器进一步处理，并通过合理构造的损失函数来使得学习器能够提取到域不变的产品特征。在此，可以使用提取的域不变特征进行域标签预测，并且需要训练使得无法通过提取的域不变特征来正确进行域标签预测。在本发明的实施例中，针对域不变特征学习器的训练目标可以是需要使得域不变产品损失函数尽可能的小(例如，小于某一阈值，或是与其他损失函数的加权和小于某一阈值)。更具体地，表征多个旧品特征的域标签预测概率之和指的是可以计算每种产品特征的域标签概率，并对其求和，并且反向传播时的调参目标是使得这些域标签预测概率之和变小。
50.进一步地，由于本发明需要从多个域中提取域不变特征，考虑到大量域(即多种旧品类别)可能会对普通(vanilla)域对抗性损失的知识转移性能产生负面影响，可以对表征多个旧品特征的域标签预测概率之和的域不变产品损失函数进行改进。在一个优选实施例中，域不变产品损失函数可以对输入的所述旧品特征属于每个源域的输出概率进行平滑，即使得ks个概率(在此，可以设存在ks种旧品，即，存在k个源域)中每一个概率都尽可能接近1/ks(即，使得每个概率与1/ks之差的绝对值之和最小，如下将结合式(2)进行描述)。
51.由域不变特征学习器提取的域不变产品特征随后在步骤s330被送入销售预测器，以输出对于多个旧品特征各自的预测销售值，并构造表征预测销售值和作为标签的实际销售值之间差异的预测损失函数。在此，销售预测值可以是针对销售额的预测值，针对销售数量的预测值，或是其他针对销售的计量方式的预测值。在模型的训练阶段，由于知晓旧品的销售数据，因此可以将模型“预测”输出的值与作为标签的实际销售值相比较，并由此生成可以表征差值的损失函数。
52.在实际的训练过程中，可以在步骤s340通过最小化所述域不变产品损失函数和所述预测损失函数训练由所述特征提取器、所述域不变特征学习器和所述销售预测器组成的新品销售预测模型。本领域人员应该理解的是，人工神经网络的训练是一个迭代过程，因此在新品销售预测模型的训练过程中，存在多次将旧品信息输入特征提取器，逐级计算特征和损失函数，并通过反向传播算法来进行调参的过程。
53.而在如上训练完毕之后，就可以使用经训练的所述新品销售预测模型来进行新品销售值预测了。此时，在步骤s350，将至少一个新品信息送入由经训练的所述新品销售预测模型，以获取新品销售预测值，其中，所述至少一个新品信息对应于至少一个目标域。由于经训练的模型已经具备从多个源域中提取域不变特征的能力，因此对于目标域中的新品信息，同样能够从新品信息中提取出域不变特征，并进行销售预测。
54.为了方便理解，图4示出了根据本发明一个实施例的新品销售预测模型的训练和预测示意图。如图左侧所示，旧品样本包括其中，ns表示所有源域的数据实例总数，表示相应的数据实例对应的销售标签(即，实际销售值)，表示相应的数据实例所属的域标签。对应于旧品信息，在此，xs表示来自源域的输入，i表示来自数据实例的第i个数据。可以通过将旧品信息(送入特征提取器t提取旧品特征，再将旧品特征送
入域不变特征提取器f来提取域不变产品特征；再将域不变产品特征送入销售预测器p以获取销售预测值。在训练阶段，可以通过域不变产品特征进行所述域的预测并结合域标签计算域不变产品损失函数l
f_advp
；同时可以通过销售预测值结合销售标签计算销售损失函数l
p
。在一个实施例中，总损失函数lf＝l
p
+λl
f_advp
(其中超参数λ控制产品销售预测和对抗域区分之间的权衡。于是可以基于反向传播算法，通过最小化损失函数lf来进行调参，并在达到预定预测准确率或是预定次数后停止。由此训练得到的模型就可以对新品销售进行预测，例如，接收新品信息x
t
(其中t对应于目标域)并输出预测值y
t
。
55.在结合图4的实施例中，本发明的预测模型可以是针对特定时间段内的销售预测。例如，可以采集特定时段内的旧品销售数据，训练得到的模型则用于针对特定时段内的新品销售。例如，采集的样本是9个旧品各自在发售后3个月内的总销量，则训练得到的模型可用于预测新品在发售后3个月内的总销量。而在其他实施例中，本发明的预测模块可以并入按时间进行预测的功能，例如，逐日预测销量。
56.图5示出了根据本发明一个可选实施例的新品销售预测模型的组成示意图。
57.如图5所示，特征提取器可以时不变特征提取模块ti和时变特征提取模块tv。可由所述时不变特征提取模块获取产品的时不变信息，并生成时不变产品特征。同时，可由时变特征提取模块获取时间相关信息，并生成时变相关特征。此时，时不变产品特征和时变相关特征两者用作所述域不变特征学习器的输入。同时，由于时序状态的引入，除了时不变特征提取模块ti之外，特征提取器的时变特征提取模块tv、以及域不变特征提取器f和销售预测器p都存在不同的时许状态，如图中x
t-1
、x
t
和x
t+1
所示。
58.此时，销售预测器p可以包括循环神经网络(尤其可以是图示gru，即，门循环单元)，用于从域不变特征提取器f
t
中获取所述域不变产品特征和前一时间节点隐状态特征h
t-1
，并输出用于销售预测的中间特征和当前时间节点隐状态特征h
t
，其中，将多个旧品特征送入域不变特征学习器以提取域不变产品特征包括：由所述域不变特征学习器获取所述时不变产品特征、所述时变相关特征以及所述前一时间节点隐状态特征并据此提取当前时间节点的域不变产品特征。如图所示，域不变特征提取器f可以包括获取时不变产品特征、时变相关特征以及前一时间节点隐状态特征三种的注意力层，并将输出提供给fc层(全连接层)，fc层可以向销售预测器p的gru输出提取出的域不变产品特征，并且该特征还可以送入产品级特征不变正则化器rp。产品级特征不变正则化器rp可用于域不变产品损失函数的计算。
59.在图示的例子中，时不变特征提取模块ti可以包括分别用于对产品的文本信息和图像信息进行特征提取的子模块。具体地，可以将产品文本信息送入所述时不变特征提取模块的文本特征提取子模块(例如，图示的bert)，以提取产品文本特征；将产品图像信息送入所述时不变特征提取模块的图像特征提取子模块(例如，图示的inceptionv3)，以提取产品图像特征。
60.时变特征提取模块tv则可以包括外部时间特征提取子模块(例如，图示的tv模块中的fc层)，可将外部信息送入该fc层以获取外部时间特征。此时，输入的外部信息可以是与时间相关的外部信息。例如，按天划分时可以以每天的天气信息作为一种输入的外部信息，这是因为天气对销量有影响。在一个实施例中，可以将产品图像特征(例如，
inceptionv3提取的特征)和前一时间节点隐状态特征送入所述时变特征提取模块的注意力层，以获取通道加权的时变图像特征。将时不变模块提取的图像特征引入时变模块的软注意力层并引入前一时间节点隐状态特征h
t-1
来获取时变图像特征的目的在于将不同时间节点的图像特征通过注意力机制进行更好的融合，使模型更好地获得这一时间阶段特征表示。此时，时变相关特征可以包括所述外部时间特征和所述时变图像特征。
61.在本发明的实施例中，可以对新品整体销售进行预测，而在一个优选实施例中，也可基于门店进行预测。此时，本发明的预测方法还包括将多个门店信息送入特征提取器以提取多个门店特征；将多个门店特征送入域不变特征学习器以提取域不变门店特征，并构造域不变门店损失函数；将所述域不变门店特征(连同域不变产品特征一并)送入销售预测器，以输出多个旧品特征对于多个门店信息各自的预测销售值，其中，所述新品销售预测模型的训练还需最小化所述域不变门店损失函数；并且所述新品销售预测模型在获取至少一个新品信息后，输出针对每个门店信息的新品销售预测结果。
62.在门店较少时，多个门店信息各自对应于一个门店的信息。而在门店较多时，则可以对门店进行分组。此时，可以根据门店属性(例如，位置、门店级别等)将多个门店进行分组；以及基于多个门店分组各自包括的门店信息生成所述多个门店信息，其中，每个门店信息对应于一个相应分组的门店的相关信息。
63.为了进行逐门店，或是逐门店分组的预测，销售预测器p可以包括对应于多个门店信息的多个预测分支，并且每个预测分支获取共享的基于域不变产品特征得到的特征以及与各自门店信息对应的所述域不变门店特征，并且用于输出对应于各自门店信息的预测销售值。
64.如上门店预测功能可以与图5所示的时序预测功能相结合，此时可以将所述时变产品门店销售特征结合所述多个门店特征送入域不变特征学习器以提取所述域不变门店特征，并构造所述域不变门店损失函数。此时，模型的训练目标是最小化域不变产品损失函数、域不变门店损失函数和预测损失函数三者，例如，使得三者的加权和最小。
65.图6示出了根据本发明一个优选实施例的新品销售预测模型的组成示意图。除了图5包括的时序功能之外，还可以包括门店预测功能，此时，图6所示的模型可以按门店分组(或者按门店)进行逐天(或其他时间分段)的销售预测。
66.图6所示的模型旨在预测新品的销售，并且图中详细示出了第t个时间点的模型结构。它可由产品属性、门店属性、旧品的历史销售数据和其他外部信息进行训练的。将旧品的种类记为ks。这些旧品被视为源域，表示为其中，ns表示所有源域的数据实例总数。表示相应的数据实例所属的域标签。包括各种类型的输入，例如产品图像、产品文本属性、门店属性和外部时间信息(例如，每日天气信息)。由于销售预测通常放在时间序列设置中，因此和中的外部信息都是长度为的时间序列，其中是第t天的销售。新品被视为目标域，它们的数据结构与旧品的数据结构相同，但没有历史销售数据。
67.如图6所示，使用ti和tv来处理和提取原始特征。ti是时不变的原始特征提取器，负责对时不变的原始特征进行编码。对于产品文本，可以利用预训练的bert将它们转换为
特征向量。对于产品图像，则可使用inception v3来提取特征。tv是时变特征提取器，负责对时变原始特征进行编码，并将软注意力应用于ti输出的图像特征，以获得每个通道的加权和。
68.在ti和tv提取原始特征后，使用软注意力来融合图像特征、文本特征和外部特征，这些特征被馈送到f的左侧部分(用于与产品相关的特征学习)。同时，门店特征和外部特征被融合并输入f的右侧(用于与门店相关的特征学习)。这里，f是域不变特征学习器，它包含两个正则化器：rp(产品级特征不变正则化器)和rs(门店级特征不变正则化器)。并且能够分别学习产品和门店的域不变表示。
69.本发明利用域对抗学习来实现销售预测的产品知识转移。这个过程类似于前述的dann，它允许特征学习器f和域鉴别器d具有相反的优化目标。以前，dann解决的问题只有一个源域和一个目标域，因此它的域鉴别器是一个二元分类器。在本发明中，将rp(产品级特征不变正则化器)合并到f中。rp的域对抗损失如下：
[0070][0071]
其中表示源域中第i个时间序列的时间点t处的域标签被预测为k的概率。f关于域对抗损失的损失函数l
f_advp
是-l
rp
。有了rp，模型f应该混淆不同旧品的域标签，从而提取每个产品的域不变特征。
[0072]
大量域(即旧品)可能会对普通(vanilla)域对抗性损失的知识转移性能产生负面影响。本发明改进了损失l
f_advp
，而无需额外的特征提取器和鉴别器。l
f_advp
的优化目标是平滑样本属于每个域的输出概率。即让rp正则化输出头输出的ks个概率各自都尽可能接近因此，损失l
f_advp
重写如下：
[0073][0074]
最小化l
f_advp
使特征学习器f能够跨多个域学习域不变特征。
[0075]
现有技术中，用于销售预测的工作往往忽略门店信息或专注于为一组非常相似的门店训练一个模型。发明人观察到，虽然门店之间存在一些差异，但其实它们之间也有可以相互学习的地方，比如遇到异常天气时，销售额很可能会下降。因此，知识可以跨门店传递，这类似于产品的情况。如图6所示，本发明进一步将rs(门店级特征不变正则化器)添加到f以合并多粒度知识转移。rs的损失函数l
rs
与l
rp
的形式相同。损失函数l
f_advs
也与l
f_advp
具有相同的形式。此时，可以获得关于产品和门店的域不变表示。接下来，可将两种类型的特征拼接(concatenate)并将它们输入p以预测销售额。
[0076]
p是最终的销售预测器。对于销售预测，由于每个门店的训练集规模较小，为了避免数据饥饿问题，可以将所有门店按照门店类型分为j组(门店类型可以与位置相关，例如位于居住区或是交通枢纽；也可以与大小相关；也可以与等级相关，例如是否是精品店)。每个门店组都有自己的输出预测头。如图6所示，在p中，gru块之后有两个分支。左边的fc表示
与产品相关的特征，这特征由所有数据样本共享。右边的fc考虑了门店分组粒度，每个门店分组都有一个单独的fc。对于输入实例，基于其门店分组，有选择地拼接基于共享产品和基于其自身门店组的fc块的输出。之后，使用相应的fc(即最终输出层)来预测销售额。p的均方误差(mse)损失函数如下：
[0077][0078]
其中表示源域中第i个时间序列在时间点t的销售预测值。
[0079]
p、rp和rs的损失函数分别为l
mse
、l
rp
和l
rs
。marl的整体损失函数如下lf：
[0080]
lf＝l
mse
+λ1l
f_advp
+λ2l
f_advs
，
ꢀꢀꢀꢀ
(4)
[0081]
其中超参数λ1和λ2控制产品销售预测和对抗域区分之间的权衡。
[0082]
本发明提出了一种用于新品销售预测的多粒度对抗性学习框架。它有效地学习了不变的表示，以更准确地预测新品的销售。对现实世界和公共数据集的实验表明它的有效性，优于现有的新品销售预测的最先进基线。
[0083]
在一个实施例中，本发明还可以实现为一种基于域对抗迁移学习的新品销售预测系统。图7示出了根据本发明一个实施例的基于域对抗迁移学习的新品销售预测系统。如图所示，系统700包括训练节点710和预测节点720。训练节点710可以根据如上所述的方法，基于旧品信息得到经训练的新品销售预测模型。预测节点720则可以使用新品信息作为所述经训练的新品销售预测模型的输入以获取新品的销售预测值。如图所示，系统700还可以包括存储节点730，用于存储模型信息。训练节点710可以加载模型信息和训练数据进行模型训练，并将训练好的模型存储回存储节点730。预测节点720可以从存储节点730获取训练好的新品销售预测模型，并通过输入新品的相关信息进行销售预测。
[0084]
图8示出了根据本发明一实施例可用于实现上述基于域对抗迁移学习的新品销售预测方法的计算设备的结构示意图。
[0085]
参见图8，计算设备800包括存储器810和处理器820。
[0086]
处理器820可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器820可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(gpu)、数字信号处理器(dsp)等等。在一些实施例中，处理器820可以使用定制的电路实现，例如特定用途集成电路(asic，application specific integrated circuit)或者现场可编程逻辑门阵列(fpga，field programmable gate arrays)。
[0087]
存储器810可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)，和永久存储装置。其中，rom可以存储处理器820或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器810可以包括任意计算机可读存储媒介的组合，
包括各种类型的半导体存储芯片(dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器810可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、minsd卡、micro-sd卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
[0088]
存储器810上存储有可执行代码，当可执行代码被处理器820处理时，可以使处理器820执行上文述及的基于域对抗迁移学习的新品销售预测方法。
[0089]
上文中已经参考附图详细描述了根据本发明的基于域对抗迁移学习的新品销售预测。本发明提出了一种多粒度对抗学习框架，用于解决新品数据稀缺和门店间销售差异的问题。本发明的框架利用多模态信息将知识从历史产品转移到不同门店，并提高提取到的域不变表征的质量，实现更准确的销售预测。尽管产品和门店销售存在差异，但通过在不同粒度上对齐特征分布(包括新旧品之间，以及不同门店之间)，可以更有效地捕获固有的可转移模式，从而实现基于门店的新品销售预测。
[0090]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
[0091]
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
[0092]
或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
[0093]
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
[0094]
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0095]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的
其它普通技术人员能理解本文披露的各实施例。

技术特征：
1.一种基于域对抗迁移学习的新品销售预测方法，包括：将多个旧品信息送入特征提取器以提取多个旧品特征，其中，所述多个旧品各自对应于一个源域；将多个旧品特征送入域不变特征学习器以提取域不变产品特征，并构造表征多个旧品特征的域标签预测概率之和的域不变产品损失函数；将所述域不变产品特征送入销售预测器，以输出对于多个旧品特征各自的预测销售值，并构造表征预测销售值和作为标签的实际销售值之间差异的预测损失函数；通过最小化所述域不变产品损失函数和所述预测损失函数训练由所述特征提取器、所述域不变特征学习器和所述销售预测器组成的新品销售预测模型；以及将至少一个新品信息送入由经训练的所述新品销售预测模型，以获取新品销售预测值，其中，所述至少一个新品信息对应于至少一个目标域。2.如权利要求1所述的方法，其中，所述域不变产品损失函数对输入的所述旧品特征属于每个源域的输出概率进行平滑。3.如权利要求1所述的方法，其中，所述特征提取器包括时不变特征提取模块和时变特征提取模块，其中由所述时不变特征提取模块获取产品的时不变信息，并生成时不变产品特征；由所述时变特征提取模块获取时间相关信息，并生成时变相关特征，其中，所述时不变产品特征和所述时变相关特征用作所述域不变特征学习器的输入。4.如权利要求3所述的方法，其中，所述销售预测器包括循环神经网络，用于获取所述域不变产品特征和前一时间节点隐状态特征，并输出用于销售预测的中间特征和当前时间节点隐状态特征，其中，将多个旧品特征送入域不变特征学习器以提取域不变产品特征包括：由所述域不变特征学习器获取所述时不变产品特征、所述时变相关特征以及所述前一时间节点隐状态特征并据此提取当前时间节点的域不变产品特征。5.如权利要求4所述的方法，其中，由所述时不变特征提取模块获取产品的时不变信息，并生成时不变产品特征包括：将产品文本信息送入所述时不变特征提取模块的文本特征提取子模块，以提取产品文本特征；将产品图像信息送入所述时不变特征提取模块的图像特征提取子模块，以提取产品图像特征；以及由所述时变特征提取模块获取时间相关信息，并生成时变相关特征包括：将外部时间信息送入所述时变特征提取模块的外部时间特征提取子模块，以获取外部时间特征；将所述产品图像特征和所述前一时间节点隐状态特征送入所述时变特征提取模块的注意力层，以获取通道加权的时变图像特征；其中，所述时变相关特征包括所述外部时间特征和所述时变图像特征。6.如权利要求1所述的方法，还包括：将多个门店信息送入所述特征提取器以提取多个门店特征；将多个门店特征送入所述域不变特征学习器以提取域不变门店特征，并构造域不变门
店损失函数；将所述域不变门店特征送入所述销售预测器，以输出多个旧品特征对于多个门店信息各自的预测销售值，其中，所述新品销售预测模型的训练还需最小化所述域不变门店损失函数；并且所述新品销售预测模型在获取至少一个新品信息后，输出针对每个门店信息的新品销售预测结果。7.如权利要求6所述的方法，还包括：根据门店属性将多个门店进行分组；以及基于多个门店分组各自包括的门店信息生成所述多个门店信息，其中，每个门店信息对应于一个相应分组的门店的相关信息。8.如权利要求6所述的方法，其中，所述销售预测器包括对应于多个门店信息的多个预测分支，并且每个预测分支获取共享的基于域不变产品特征得到的特征以及与各自门店信息对应的所述域不变门店特征，并且用于输出对应于各自门店信息的预测销售值。9.如权利要求6所述的方法，其中，所述特征提取器包括时不变特征提取模块和时变特征提取模块，并且所述时变特征提取模块获取外部时间信息并生成外部时间特征，其中，将所述时变产品门店销售特征结合所述多个门店特征送入域不变特征学习器以提取所述域不变门店特征，并构造所述域不变门店损失函数。10.一种基于域对抗迁移学习的新品销售预测系统，包括：训练节点，用于根据权利要求1-9中任一项所述的方法，基于旧品信息得到经训练的新品销售预测模型；预测节点，用于使用新品信息作为所述经训练的新品销售预测模型的输入以获取新品的销售预测值。11.一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-9中任一项所述的方法。12.一种计算机程序产品，包括可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-9中任一项所述的方法。13.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-9中任一项所述的方法。

技术总结
本公开涉及一种基于域对抗迁移学习的新品销售预测方法和系统。将各自对应于一个源域的多个旧品信息送入特征提取器以提取多个旧品特征；将多个旧品特征送入域不变特征学习器以提取域不变产品特征，并构造域不变产品损失函数；将域不变产品特征送入销售预测器，以输出对于多个旧品特征各自的预测销售值，并构造预测损失函数；通过最小化损失函数训练新品销售预测模型；以及将对应于目标域的新品信息送入由经训练的模型以获取新品销售预测值。通过为多个旧品各自分配为一个域，并提取域不变特征来实现域对抗迁移学习，由此通过提取新品的域不变特征来预测新品销售。还可以结合门店不变特征实现基于门店的销售预测。变特征实现基于门店的销售预测。变特征实现基于门店的销售预测。


技术研发人员：汪诚愚 褚真真 黄俊
受保护的技术使用者：阿里云计算有限公司
技术研发日：2023.04.26
技术公布日：2023/9/22