干预增益预测方法、装置、存储介质及计算机设备与流程

1.本公开涉及人工智能技术领域，特别是涉及一种干预增益预测方法、装置、存储介质及计算机设备。


背景技术：

2.随着互联网技术的不断发展，人们的生活模式也在发生着极大的变化。例如人们的消费模式开始逐渐由线下消费转变为线上消费，消费模式的改变也随之带来了营销模式的改变，线上营销的投入在商品营销投入中的比重也在逐年增加。
3.为了提升商品的销售量，各大线上交易平台往往会采用一些干预策略，例如发送信息、推送消息以及发放优惠券等。但干预策略需要消耗一定的成本，为了使用最小的成本获得最大的收益，需要预测出不同对象对干预策略的响应增益。然而，目前对不同对象的干预增益的预测结果不够准确。


技术实现要素：

4.本公开实施例提供了一种干预增益预测方法、装置、存储介质及计算机设备，该方法可以训练得到直接预测干预增益的端到端模型，从而提升干预增益预测的准确性。根据本公开的一方面，提供了一种干预增益预测方法，包括：获取多任务模型的训练样本数据，所述训练样本数据包括样本对象的对象特征以及行为标签，所述多任务模型包括预测对象在干预条件下行为概率的第一任务网络、预测对象在无干预条件时行为概率的第二任务网络以及预测干预条件导致对象行为概率增益的第三任务网络；识别所述样本对象的对象类型，并根据所述对象类型在所述第一任务网络和所述第二任务网络中确定目标任务网络，所述样本对象类型包括干预类型或对照类型，所述干预类型的对象为施加了预设干预行为的对象；将所述对象特征输入所述目标任务网络，并根据所述目标任务网络输出的第一预测值与所述行为标签对所述目标任务网络的参数进行更新；将所述对象特征分别输入至所述目标任务网络之外的两个任务网络，并根据所述目标任务网络之外的两个任务网络输出的输出值计算第二预测值；以及根据所述第二预测值与所述行为标签对所述目标任务网络之外的两个任务网络的参数进行更新，得到训练后的多任务模型；获取待预测的目标对象的目标对象信息，并基于所述训练后的多任务模型对所述目标对象信息进行干预增益预测，得到所述目标对象的干预增益。
5.根据本公开的一方面，提供了一种干预增益预测装置，包括：获取单元，用于获取多任务模型的训练样本数据，所述训练样本数据包括样本对象的对象特征以及行为标签，所述多任务模型包括预测对象在干预条件下行为概率的第一任务网络、预测对象在无干预条件时行为概率的第二任务网络以及预测干预条件导致对象
行为概率增益的第三任务网络；识别单元，用于识别所述样本对象的对象类型，并根据所述对象类型在所述第一任务网络和所述第二任务网络中确定目标任务网络，所述样本对象类型包括干预类型或对照类型，所述干预类型的对象为施加了预设干预行为的对象；第一更新单元，用于将所述对象特征输入所述目标任务网络，并根据所述目标任务网络输出的第一预测值与所述行为标签对所述目标任务网络的参数进行更新；计算单元，用于将所述对象特征分别输入至所述目标任务网络之外的两个任务网络，并根据所述目标任务网络之外的两个任务网络输出的输出值计算第二预测值；以及第二更新单元，用于根据所述第二预测值与所述行为标签对所述目标任务网络之外的两个任务网络的参数进行更新，得到训练后的多任务模型；预测单元，用于获取待预测的目标对象的目标对象信息，并基于所述训练后的多任务模型对所述目标对象信息进行干预增益预测，得到所述目标对象的干预增益。
6.可选地，在一些实施例中，第一获取单元，包括：第一获取子单元，用于获取预设时间段内预设应用中多个样本对象的对象行为日志，所述对象行为日志包括多个样本对象的对象信息以及每一样本对象的行为标签；提取子单元，用于对每一样本对象的对象信息进行特征提取，得到每一样本对象的对象特征。
7.可选地，在一些实施例中，所述多任务模型还包括与每一任务网络对应的特征提取网络，所述提取子单元，包括：提取模块，用于基于每一任务网络对应的特征提取网络对样本对象的对象信息进行特征提取，得到样本对象与每一任务网络对应的对象特征；所述第一更新单元，还用于：将所述样本对象与所述目标任务网络对应的对象特征输入所述目标任务网络；所述第二更新单元，还用于：将所述样本对象与所述目标任务网络之外的两个任务网络对应的对象特征分别输入至相应的任务网络。
8.可选地，在一些实施例中，所述多任务模型还包括与每一任务网络对应的注意力网络，所述提取模块，包括：提取子模块，用于基于每一任务网络对应的特征提取网络对样本对象的对象信息进行特征提取，得到样本对象与每一特征提取网络对应的过渡特征；处理子模块，用于基于每一注意力网络对所述对象信息以及相对应的过渡特征进行注意力处理，得到样本对象与每一任务网络对应的对象特征。
9.可选地，在一些实施例中，所述多任务模型还包括特征共享网络，所述提取子模块，还用于：基于每一任务网络对应的特征提取网络以及所述特征共享网络对样本对象的对象信息进行特征提取，得到样本对象与每一任务网络以及所述特征共享网络对应的过渡特征；所述处理子模块，还用于：基于每一注意力网络对所述对象信息、相应的过渡特征以及所述特征共享网络对
应的过渡特征进行注意力处理，得到样本对象与每一任务网络对应的对象特征。
10.可选地，在一些实施例中，所述第一更新单元，还用于：根据所述目标任务网络输出的第一预测值与所述行为标签对所述目标任务网络、所述每一任务网络对应的特征提取网络、所述每一任务网络对应的注意力网络以及所述特征共享网络的参数进行更新；所述第二更新单元，还用于：根据所述第二预测值与所述行为标签对所述目标任务网络之外的两个任务网络、所述每一任务网络对应的特征提取网络、所述每一任务网络对应的注意力网络以及所述特征共享网络的参数进行更新。
11.可选地，在一些实施例中，当识别到所述样本对象的对象类型为干预类型时，所述识别单元，还用于：确定所述第一任务网络为目标任务网络；所述计算单元，包括：第一输入子单元，用于将所述对象特征分别输入至所述第二任务网络和所述第三任务网络中，得到所述第二任务网络输出的第一概率值和所述第三任务网络输出的第二概率值；第一计算子单元，用于计算所述第一概率值和所述第二概率值的和，得到第二预测值。
12.可选地，在一些实施例中，当识别到所述样本对象的对象类型为对照类型时，所述识别单元，还用于：确定所述第二任务网络为目标任务网络；所述计算单元，包括：第二输入子单元，用于将所述对象特征分别输入至所述第一任务网络和所述第三任务网络中，得到所述第一任务网络输出的第三概率值和所述第三任务网络输出的第四概率值；第二计算子单元，用于计算所述第三概率值和所述第四概率值的差，得到第二预测值。
13.可选地，在一些实施例中，所述第一更新单元，包括：第三计算子单元，用于根据所述目标任务网络输出的第一预测值与所述行为标签计算第一损失值；第一更新子单元，用于基于所述第一损失值对所述目标任务网络的参数进行更新；所述第二更新单元，包括：第四计算子单元，用于根据所述第二预测值与所述行为标签计算第二损失值；第二更新子单元，用于基于所述第二损失值对所述目标任务网络之外的两个任务网络的参数进行更新。
14.可选地，在一些实施例中，本公开提供的模型训练装置，还包括执行单元，用于执行如下步骤：对所述多任务模型进行收敛检测；
当检测到所述多任务模型未收敛，重新获取训练样本数据，识别所述训练样本数据中样本对象的对象类型，并根据所述对象类型在所述任务网络和所述第二任务网络中确定目标任务网络，将所述对象特征输入所述目标任务网络，并根据所述目标任务网络输出的第一预测值与所述行为标签对所述目标任务网络的参数进行更新；将所述对象特征分别输入至所述多任务模型中所述目标任务网络之外的两个任务网络，并根据所述目标任务网络之外的两个任务网络输出的输出值计算第二预测值；以及根据所述第二预测值与所述行为标签对所述目标任务网络之外的两个任务网络的参数进行更新；当检测到所述多任务模型收敛，终止模型训练过程并输出训练后的多任务模型。
15.可选地，在一些实施例中，所述预测单元，包括：第二获取子单元，用于获取待预测的目标对象的目标对象信息；预测子单元，用于将所述目标对象信息输入所述训练后的多任务模型中的第三任务网络，得到所述第三任务网络输出的预测增益，并根据所述预测增益确定所述目标对象的干预增益。
16.根据本公开的一方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的干预增益预测方法。根据本公开的一方面，提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的干预增益预测方法。根据本公开的一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，所述计算机程序被计算机设备的处理器读取并执行，使得该计算机设备执行如上所述的干预增益预测方法。本公开实施例提供的干预增益预测方法，通过获取多任务模型的训练样本数据，训练样本数据包括样本对象的对象特征以及行为标签，多任务模型包括预测对象在干预条件下行为概率的第一任务网络、预测对象在无干预条件时行为概率的第二任务网络以及预测干预条件导致对象行为概率增益的第三任务网络；识别样本对象的对象类型，并根据对象类型在第一任务网络和第二任务网络中确定目标任务网络，样本对象类型包括干预类型或对照类型，干预类型的对象为施加了预设干预行为的对象；将对象特征输入目标任务网络，并根据目标任务网络输出的第一预测值与行为标签对目标任务网络的参数进行更新；将对象特征分别输入至目标任务网络之外的两个任务网络，并根据所述目标任务网络之外的两个任务网络输出的输出值计算第二预测值；以及根据第二预测值与行为标签对目标任务网络之外的两个任务网络的参数进行更新，得到训练后的多任务模型；获取待预测的目标对象的目标对象信息，并基于训练后的多任务模型对目标对象信息进行干预增益预测，得到目标对象的干预增益。如此，通过构建同时预测对象在干预条件下行为概率、在无干预条件时行为概率以及干预条件导致对象行为概率增益的多任务模型，并采用干预类型的训练样本和对照类型的训练样本进行正、反事实的训练。实现了可以采用端到端模型预测对象的干预增益，相对于相关技术中分别训练预测干预条件下行为概率和预测非干预条件下行为概率的两个模型，然后采用两个模型的推理结果进一步计算出对象的干预增益，可以避免多模型组合建模导致的精度差的问题。因此，采用本公开提供的干预增益预测方法训练得到的多任务模型对目标对象进行干预增益预测，可以提升预测得到的干预增益的准确
性。
17.本公开的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
18.附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。图1是根据本公开的实施例的干预增益预测方法应用的系统构架图；图2是根据评估商品营销策略的示意图；图3是评估应用拉新策略的示意图；图4是本公开的一个实施例的干预增益预测方法的流程示意图；图5是本公开提供的多任务模型的一个结构示意图；图6是本公开提供的多任务模型的另一个结构示意图；图7是本公开提供的多任务模型的又一个结构示意图；图8是本公开提供的多任务模型的又一个结构示意图；图9是本公开提供的多任务模型的又一个结构示意图；图10是本公开提供的干预增益预测方法的另一流程示意图；图11是本公开提供的ple网络的结构示意图；图12a是对多个任务网络进行训练的一个数据流向示意图；图12b是对多个任务网络进行训练的另一个数据流向示意图；图13是本公开提供的干预增益预测方法的整体数据流向示意图；图14是本公开实施例提供的干预增益预测装置的结构示意图；图15是实施本公开的一个实施例的各方法的终端结构图；图16是实施本公开的一个实施例的各方法的服务器结构图。
具体实施方式
19.为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本公开，并不用于限定本公开。
20.对本公开实施例进行进一步详细说明之前，对本公开实施例中涉及的名词和术语进行说明，本公开实施例中涉及的名词和术语适用于如下的解释：干预组：即实验组，指接受某种干预（例如：发放优惠券、药物治疗、推荐策略等）的实验组。也可以理解为实验中接受干预的那一组。
21.对照组：也称控制组，指实验中没有接受干预的那一组，用于作为参照。干预组与对照组的差异可以理解为干预行为的效果。
22.端到端建模：端到端建模（end-to-end modeling）是一种机器学习建模方法，该方法将构建的模型作为一个整体进行优化。与之相反的是多阶段建模，例如将第一个独立训练的模型的输出结果送入到第二个独立训练的模型中。
23.ple：即渐进式分层提取（progressive layered extraction，ple），是一种多任务学习模型，可以通过一个模型预估多个任务的分数（如点击率、转化率以及时长等），同时能够缓解多任务学习中存在的跷跷板现象和负迁移现象（即不同任务之间的性能提升和损失的不平衡）。ple网络的主要思想是通过渐进式分层提取来学习不同任务之间的共享和独享特征，从而实现更好的个性化推荐效果。ple网络的算法输入是用户和物品的特征向量，例如用户的历史行为、偏好、画像等，以及物品的属性、标签、内容等。算法的输出是不同任务的预测结果，例如点击率、转化率、观看时长等。算法的核心公式是一个门控网络(gate），它可以根据输入来动态地分配不同专家模块(expert)的输出权重，从而融合不同专家模块的知识。专家模块分为两类，一类是任务共享专家模块负责学习任务的共享模式，一类是任务独享专家模块，负责学习任务的独享模式。
24.uplift（增长）模型：用于预测干预增益的模型。在市场营销活动中，如何找到最优投放客群、或者如何找到最优的营销激励方式的核心是找到“营销增益”，“营销增益”指示营销活动应该聚焦在能被改变立场的那一部分用户。通俗地说就是目标客群是指营销前不会转化，但营销后会转化的人群，uplift模型就是用来找到这些对营销激励敏感的人群。在搜索、推荐以及广告领域常用的点击率预估任务还有响应（response）模型，但response模型没有考虑不营销也能转化的那一部分自然转化流量，因此response模型的建模目标和商业目标并不完全匹配。uplift模型则用一个或多个模型来分别预测用户在营销下的转化率和非营销下的转化率，这两个值的差值就是uplift。最终根据uplift值的大小来决策是否投放。上述两个模型的形式化描述如下：
[0025][0026]
即response模型输出在投放广告的基础上用户购买的概率；uplift模型输出投放广告基础上用户购买的概率与未投放广告基础上用户购买的概率之间的差值，即广告投放带来的增益。
[0027]
ite：个体干预效果（individual treatment effect，ite）是指同一个个体在干预和不干预的情况下用户相应行为的差异，其形式化描述为：
[0028]
其中，表示第i个用户在受到干预时（发券或其他激励）的表现；为第i个用户在没有受到干预时的表现。指对第i个用户的干预行为带来的增量。其中不同与uplift模型针对群体用户，ite模型针对个体用户。
[0029]
在相关技术中，挖掘出潜在用户并将其转化为平台用户这个过程被称之为拉新，拉新是提高平台用户数量的有效手段。在拉新过程中，往往会采用一些干预策略，如发送短信、应用程序(application，app)的推送消息、打电话、发优惠券等。通常一部分潜在用户本身就对平台有较大需求且对平台品牌有认知，即使在平台不采用干预策略的情况下，也会大概率自己转化成平台用户，这种称之为自然转化用户；而与之相反，另一部分潜在用户是只有当平台采用干预策略时，才能将其转化成平台用户，这种称之为干预转化用户。对于平台而言，干预策略往往需要消耗一定的成本，如发短信的通信费等，因此，准确的识别出潜在用户且是干预转化用户是有必要的。
[0030]
目前，主流技术方案有如下几种：1、response建模方法；如前介绍，response建模方法类似推荐系统点击率预估模型，一般采用大量平台用户数据训练神经网络模型，然后用训练好的神经网络模型识别干预转化用户。但是，神经网络模型识别得到的干预转化用户并不一定都是受干预才转化的用户，不代表用户未受到干预便不会转化为平台用户。因此采用response模型来识别干预转化用户的准确性较低。
[0031]
2、双模型（t-learner）建模；以两个模型（two-model）为代表，该建模方法将用户分为两类：干预组和对照组；然后分别建立两个response模型，两个模型结果相减以预测用户是否会对干预作出积极反应。具体包括如下步骤：建立干预模型：对干预组中的用户建立一个模型，以预测用户在接收干预后会对干预作出积极反应的概率。干预模型通常采用传统的分类或回归模型，例如逻辑回归、决策树等。
[0032]
建立对照模型：对前述对照组中的用户建立一个模型，以预测用户在非干预情况下作出积极反应的概率。对照模型通常也采用传统的分类或回归模型。例如逻辑回归和决策树等。
[0033]
计算增益值，即
[0034]
通过干预模型和对照模型的预测结果，计算每个用户的增益值，即计算用户在接收干预后的积极反应概率减去用户在不接受干预时的积极反应概率。具体形式化表示为：
[0035]
其中，表示用户在接收干预后的积极反应概率，表示用户在不接受干预时的积极反应概率。双模型的优点是简单易用，但缺点是两个模型都不是针对干预增益的直接建模，因此会造成误差累计导致预测得到的干预增益准确性不高。
[0036]
3、多模型（x-learner）建模；多模型建模的具体流程包括如下步骤：定义t=0为非干预用户，以及定义t=1为干预用户；首先对对照组用户和干预组用户分别学习一个有监督的模型：
[0037][0038]
其中，为对照模型，为干预模型。
[0039]
然后，对于干预组样本和对照组样本，分别使用和预测一个反事实结果和。其中，分别是对照组和干预组的样本，此步骤的目的是为了获得一个反事实的结果（例如，对于某一个干预组样本，事实结果是，反事实结果是）。此时可以分别对干预组和对照组计算差异和：
[0040][0041]
[0042]
最终，对于一个新样本的增益就是计算这两个差异的加权平均。权重，新样本的增益表示如下：
[0043][0044]
其中，即为前述d0，即为前述d1。然后，可以根据计算得到的新样本的增益训练一个干预增益预测模型。
[0045]
多模型建模方法虽然是针对干预增益直接建模，但是训练样本数据仍然是依赖于两个response模型计算得到的，该方法仍然无法避免模型误差累计导致预测得到的干预增益不准确。
[0046]
为解决上述基于多模型进行对象干预增益预测导致干预增益预测不准确的问题，本公开提供了一种干预增益预测方法，以期能够通过训练端到端预测对象干预增益的模型，进而提升对象干预增益预测的准确性。
[0047]
图1是根据本公开的实施例的干预增益预测方法所应用的系统构架图。它包括终端140、互联网130、网关120、服务器110等。
[0048]
终端140括桌面电脑、膝上型电脑、pda（个人数字助理）、手机、车载终端、家庭影院终端、专用终端等多种形式。另外，它可以是单台设备，也可以是多台设备组成的集合。终端140可以以有线或无线的方式与互联网130进行通信，交换数据。
[0049]
服务器110是指能对终端140提供某些服务的计算机系统。相对于普通终端140来说，服务器110在稳定性、安全性、性能等方面都要求更高。服务器110可以是网络平台中的一台高性能计算机、多台高性能计算机的集群、一台高性能计算机中划出的一部分（例如虚拟机）、多台高性能计算机中划出的一部分（例如虚拟机）的组合等。网关120又称网间连接器、协议转换器。网关在传输层上实现网络互连，是一种充当转换作用的计算机系统或设备。在使用不同的通信协议、数据格式或语言，甚至体系结构完全不同的两种系统之间，网关是一个翻译器。同时，网关也可以提供过滤和安全功能。终端140向服务器110发送的消息要通过网关120发送到相应的服务器110。服务器110向终端140发送的消息也要通过网关120发送到相应的终端140。
[0050]
本公开实施例的干预增益预测方法可以完全在终端140实现；可以完全在服务器110实现；也可以一部分在终端140实现，另一部分在服务器110实现。
[0051]
干预增益预测方法完全在终端140实现的情况下，可以是在终端140中构建多任务模型，多任务模型包括预测对象在干预条件下行为概率的第一任务网络、预测对象在无干预条件下行为概率的第二任务网络以及预测干预条件导致对象行为概率增益的第三任务网络。然后，终端获取对多任务模型进行训练的训练样本数据，并基于获取到的训练样本数据对多任务模型进行训练。其中，训练样本数据包括两种类型的样本对象的对象特征以及每一样本对象对应的行为标签。在对多任务模型进行训练时，终端140可以先对获取到的训练样本数据中样本对象的对象类型进行识别，然后根据对象类型在第一任务网络和第二任务网络中确定目标任务网络。进一步地，可以将样本对象的对象特征和行为标签送入目标任务网络来对目标任务网络进行正事实训练；然后，将样本对象的对象特征和行为标签送入剩余两个任务网络中对剩余两个任务网络进行反事实训练。对多任务模型训练完成后，便可以将多任务模型部署在终端140中进行对象干预增益预测。
[0052]
干预增益预测方法完全在服务器110实现的情况下，可以在服务器110中构建多任务模型，多任务模型的结构以及训练方法与前述完全在终端140中训练的过程一致，此处不再予以赘述。对多任务模型训练完成后，便可以将多任务模型部署在服务器110中进行对象干预增益预测。
[0053]
在干预增益预测方法一部分在终端140实现，另一部分在服务器110实现的情况下，可以将多任务模型部署在服务器110中，当需要对部署在服务器110中的多任务模型进行训练时，可以先由终端140获取训练样本数据，然后将获取到的训练样本数据发送给服务器110来对多任务模型进行训练。多任务模型的具体训练过程与前述示例一致，此处也不再赘述。对多任务模型训练完成后，可以将多任务模型部署到终端140中进行对象干预增益预测。
[0054]
本公开实施例可以应用在多种场景下，如图2所示的预测营销活动对用户购买倾向增益的场景、图3所示的预测推广活动对拉新增益的场景等。（一）预测营销活动对用户购买倾向增益的场景；如图2所示，为评估商品营销策略的示意图。在预测商品营销活动对用户否买倾向增益的场景中，可以通过本公开提供的多任务模型来直接对电子商务平台中的用户进行干预增益的预测，以预测出向用户发放优惠券这一干预行为对用户购买商品a的概率的增益。如图所示，对于不同的用户，发放优惠券对购买行为的概率影响不同，干预增益值低的用户，不代表其不会购买商品，也可能其本身就有较强烈的购买意向，此时向该用户发放优惠券只会浪费成本。对于干预增益值高的用户，意味着其本身购买意向不强，但向其发放优惠券后，会大大增加其购买概率，那么对这些用户便可以发放优惠券以促使其购买商品a。
[0055]
（二）预测推广活动对拉新增益的场景；如图3所示，为评估应用拉新策略的示意图。在预测推广活动对拉新增益的场景中。例如待拉新的应用为应用b，那么拉新对象应当为其他应用（例如应用c）的用户，干预行为（例如发送消息）也应当在应用c中进行。对于应用c中的不同用户，可以采用本公开提供的多任务模型来预测发送信息这一干预行为对每个用户的干预增益。对于干预增益大于预设值的用户，可以向其发送消息以促使其转化为应用b的用户。对于干预增益较小的用户，可能其本身就有较强的转化意愿，也可能即使发送了消息也不会转化为应用b的用户，对于这些用户就可以不发送信息以节约成本。
[0056]
根据本公开的一个实施例，提供了一种干预增益预测方法。该方法训练得到的模型可以用于如图2的预测营销活动对用户购买倾向增益的场景以及图3所示预测推广活动对拉新增益的场景，还可以应用于其他对象的干预增益预测的场景。
[0057]
如图4所示，为本公开提供的干预增益预测方法的一个流程示意图。该方法可以应用于干预增益预测装置，该干预增益预测装置可以集成在计算机设备中，计算机设备可以为终端或服务器。该干预增益预测方法可以包括：步骤410，获取多任务模型的训练样本数据。
[0058]
其中，为了解决现有技术中采用多模型进行对象的干预增益预测，由于模型误差累计导致预测得到的干预增益不准确的问题，本公开提供了一种干预增益预测方法，该方法通过训练端到端的多任务模型，来避免模型误差累计，进而提升模型对干预增益预测的准确性。
[0059]
具体地，本公开实施例设计了具有三个任务网络的多任务模型，具体包括第一任务网络，用于预测对象在干预条件下行为概率；第二任务网络，用于预测对象在无干预条件时行为概率；以及第三任务网络，用于预测干预条件导致对象行为概率增益。其中，第三任务网络为干预增益预测任务对应的核心网络，第一任务网络和第二任务网络为辅助第三任务网络进行训练的辅助网络。
[0060]
其中，本公开实施例中被预测的对象可以为某一网络平台的潜在用户、某一商品的潜在消费者或者其他会受干预条件影响产生行为概率变化的其他对象，例如被干预的人、虚拟人以及动物等，此处不做限制。干预条件具体可以指干预行为，例如实验中改变实验变量、向网络平台潜在用户发送推送信息或者向某一商品的潜在消费者发送优惠券等行为。行为概率指被预测对象产生某种行为的概率，例如当对象为某一网络平台的潜在用户时，行为概率可以为该对象注册成为该网络平台的正式用户的概率；当对象为某一商品的潜在消费者时，行为概率指该对象购买该商品的概率；或者当对象为某一音频的潜在听众时，行为概率指该对象收听该音频的概率等。行为概率增益指对上述对象施加干预条件导致对象的行为概率变化，也可以称为干预增益。具体地，当对象为某一网络平台的潜在用户时，对象的行为概率增益是对该对象发送了推送信息后对象转化为平台用户的概率与未向对象发送推送信息时对象转化为平台用户的概率之间的差值；当对象为某一商品的潜在消费者时，对象的行为概率增益便是向该对象发送了优惠券后对象购买该商品的概率与未向对象发送优惠券时对象购买该商品的概率之间的差值。
[0061]
如图5所示，为本公开提供的多任务模型的一个结构示意图。如图所示，本公开提供的多任务模型500包括第一任务网络510、第二任务网络520以及第三任务网络530。第一任务网络510、第二任务网络520以及第三任务网络530的具体结构可以为一个多层感知机（multilayer perceptron，mlp）结构，多层感知机是一种趋向结构的人工神经网络，用于映射一组输入向量到一组输出向量。在对多任务模型500进行训练时，第一任务网络510、第二任务网络520以及第三任务网络530都参与训练，在基于训练得到的多任务模型500进行在线预测时，多任务模型500的输入可以为待预测对象的对象特征，多任务模型500的输出可以为第三任务网络530输出的干预增益。根据不同任务网络的功能区别，可以分别将第一任务网络510命名为干预网络（treatment network，net
tr
）、将第二任务网络520命名为对照网络（control network，net
cr
）以及将第三任务网络530命名为增益网络（pseudo treatment effect network，net
pte
）。
[0062]
其中，在一些实施例中，由于多任务模型中的多个任务之间存在差异，而不同任务对输入特征中包含的学习到对象的信息的要求也不相同，当两个任务的相关性较差，甚至存在冲突时，采用相同的对象特征进行预测便会导致多任务模型的准确性大大降低，这便是多任务模型中常存在的跷跷板问题。即多个任务网络共用底层特征时，会存在任务之间冲突导致学习得到的特征无法最大程度匹配每个独立的任务网络，进而使得训练得到的任务网络的精度不足的问题。为此，在本公开实施例中，可以在多任务模型中设计多个特征提取网络，用于缓解多任务模型中存在的跷跷板问题。其中，特征提取网络具体可以与多个任务网络一一对应，即为每个任务网络设计一个对应的特征提取网络，然后采用与任务网络对应的特征提取网络来提取与任务网络对应的对象特征。
[0063]
如图6所示，为本公开提供的多任务模型的另一结构示意图。多任务模型500还包
括多个特征提取网络：第一特征提取网络610、第二特征提取网络620以及第三特征提取网络630。其中，第一特征提取网络610用于从对象的对象信息中提取第一对象特征，第一对象特征作为第一任务网络510的输入；第二特征提取网络620用于从对象的对象信息中提取第二对象特征，第二对象特征作为第二任务网络520的输入；第三特征提取网络630用于从对象的对象信息中提取第三对象特征，第三对象特征作为第三任务网络530的输入。以此，通过为每个任务网络设计一个独立的特征提取网络来分别提取对象信息的特征，得到与每个任务网络匹配的对象特征，从而可以避免多任务模型中存在的跷跷板问题，提高训练得到的多任务模型的准确性。其中，此处与每一任务网络对应的特征提取网络也可以称为专家（expert）网络。其中，本公开实施例中的特征提取网络具体可以为一层或多层全连接网络。对于每个特征提取网络（例如第一特征提取网络），也可以包含多个并行的全连接网络，多个全连接网络提取对象信息的特征后，可以采用加权或者平均的方式来确定特征提取网络输出的对象特征。如此可以避免单一模型的训练偏差导致提取得到的对象特征的准确性不足，从而可以提升提取得到的对象特征的准确性。
[0064]
然而，对每一任务网络单独设计一个特征提取网络的模型设计思路，虽然可以避免不同任务之间差异导致的跷跷板问题，但由于这种设计思路不再共享模型底层参数。而共享模型底层参数可以减少单独训练模型的参数数量，有利于防止过拟合，提高模型训练速度；而且，共享底层参数能够挖掘出不同任务之间的关联性并互相利用这种关联来对不同的任务训练提供帮助，从而进一步提升训练得到的多任务模型的准确性。对此，本公开实施例还提供了一种可以进行底层参数共享且同样可以避免多任务模型训练时出现跷跷板问题的多任务模型结构。如图7所示，为本公开提供的多任务模型的又一结构示意图。如图所示，本公开提供的多任务模型500还可以包括第一注意力网络710。在该模型结构中，原本单独为每一任务网络进行对象特征提取的第一特征提取网络610、第二特征提取网络620以及第三特征提取网络630可以作为三个任务网络共享的底层特征提取网络层，这三个特征提取层也可以称为专家网络层，其内部结构仍是全连接网络，作用还是用于进行对象特征提取。第一注意力网络710的结构也可以为一个全连接层，具体用于学习对象信息以及每个特征提取网络提取得到的过渡特征的权重，然后根据学习得到的权重对不同过渡特征进行融合。此处第一注意力网络也可以称之为门控网络。如此，图7提供的多任务模型也可以称为基于单门专家混合模型（one-gate mixture-of-experts，omoe）的多任务模型。
[0065]
在omoe模型中，多个任务网络共用一个门控网络，即共用上述第一注意力网络。为了进一步提升提取得到的对象特征的准确性，可以对每一任务网络都设计一个门控网络，即采用多门专家混合模型（multi-gate mixture-of-experts，mmoe）。如图8所示，为本公开提供的多任务模型的又一结构示意图。如图所示，在本公开实施例中，多任务模型500包括与每一任务网络对应的注意力网络，即与第一任务网络对应的第二注意力网络810、与第二任务网络对应的第三注意力网络820以及与第三任务网络对应的第四注意力网络830。这几个注意力网络与图7结构中的第一注意力网络710的内部结构可以为相同的结构，作用也都是分别用来学习不同特征提取网络提取得到的过渡特征的权重，然后分别基于学习得到的不同权重对多个过渡特征进行融合，得到与每一任务网络对应的融合特征。
[0066]
其中，多任务模型500具体可以划分为任务模块（包括多个任务网络）和特征模块（包括多个特征提取网络及一个或多个注意力网络）。无论是前述omoe模型的特征模块，还
是mmoe结构的特征模块，其特征提取的专家层（即多个特征提取网络）是所有任务共享的，导致无法很好地获取到不同任务之间的复杂关系；而且，不同的特征提取网络之间也没有很好地交互，多个特征提取网络输出的过渡特征之间只是通过相应权重进行简单加权，导致进一步限制了多任务联合优化的性能。对此，本公开进一步提供了一种基于渐进式分层提取（progressive layered extraction，ple）结构的特征模块。如图9所示，为本公开提供的多任务模型的又一结构示意图。如图所示，该多任务模型的特征模块是一个ple结构的模型。具体地，在多任务模型500中，包括每一任务网络对应的特征提取网络以及一个共享网络911，该共享网络也可以称为特征共享网络。对每一特征提取网络和共享网络，都可以设计一个对应的注意力网络。例如，第一特征提取网络对应第五注意力网络912、第二特征提取网络对应第六注意力网络913、第三特征提取网络对应第七注意力网络914以及共享网络911对应第八注意力网络915。这些网络构成特征提取模块910，在多任务模型中，特征提取模块910可以为一个也可以为连续的多个。本模型结构中特征提取网络也可以称为专家网络，注意力网络也可以称为门控网络，每一特征提取网络中可以包括一个或者多个并列设置的全连接网络。多个特征提取网络在提取得到对象特征后，将提取得到的特征传送到对应的注意力网络以及共享网络对应的注意力网络915；共享网络提取到对象特征后，将提取得到的对象特征传送到每一特征提取网络对应的注意力网络以及共享网络对应的注意力网络。每一特征提取网络对应的注意力网络在对接收到的特征进行注意力处理后，将输出的特征传输到下一层对应的特征提取网络以及注意力网络中。ple网络使得不同特征提取网络进行更好地交流，此外还对共享的特征提取网络（即共享网络）设置注意力网络，将这一层共享网络学习到的知识进行整合，因此可以进一步提升提取得到的每一任务网络对应的对象特征，进而进一步提升多任务模型的准确性。
[0067]
上述多个不同模型结构的多任务模型，均为可以直接根据对象信息预测对象的干预增益的端到端模型，通过对上述任一结构的多任务模型进行训练，都可以得到能够直接预测对象的干预增益的端到端的干预增益预测模型。在构建了上述任一结构的多任务模型后，便可以对构建的多任务模型进行训练。下面进一步介绍多任务模型的训练方法。
[0068]
首先，需要获取多任务模型的训练样本数据，样本数据中包括了样本对象的对象特征以及样本对象的行为标签。在本公开提供的干预增益预测方法中，采用了两种类型的样本对象对应的训练样本数据，即样本对象可以分为两种对象类型的样本对象：干预类型和对照类型。干预类型的样本对象，即施加了预设干预行为的对象，对照类型的样本对象即为未施加干预行为的对象。例如在预测营销活动对用户购买倾向增益的场景中，被发放了优惠券的对象便为干预对象，而未被发放优惠券的对象便为对照对象。样本对象的行为标签，即为样本对象有没有采取目标行为。同样在预测营销活动对用户购买倾向增益的场景中，对象购买了目标商品则其行为标签为1，对象未购买目标商品则其行为标签为0。在本公开中，对于不同对象类型的样本对象，采用不同的训练方法来对多任务模型进行训练，下面会进行详细介绍。样本对象的对象特征，具体可以为对样本对象的对象信息进行特征提取得到的对象特征。
[0069]
在一些实施例中，获取多任务模型的训练样本数据，包括：获取预设时间段内预设应用中多个样本对象的对象行为日志，对象行为日志包括多个样本对象的对象信息以及每一样本对象的行为标签；
对每一样本对象的对象信息进行特征提取，得到每一样本对象的对象特征。
[0070]
在本公开实施例中，由于用户的行为目标也在随着时间而改变。例如，在预测营销活动对用户购买倾向增益的场景中，商品的品质、口碑以及价格等因素也会发生变化，因此当模型训练所采用的训练样本数据的采集时间与当前时间的时间跨度较大，会因为样本质量差导致训练得到的模型的准确性差。因此，在获取对多任务模型进行训练的训练样本数据时，可以获取预设时间段内预设应用中多个样本对象的对象行为日志。其中，样本对象的对象行为日志包括了样本对象的对象信息以及样本对象的行为标签。例如，在预测营销活动对用户购买倾向增益的场景中。可以选中电子商务平台中一些用户作为干预用户，对这些干预用户投放指定商品的优惠券，然后统计这些干预用户在指定时间内对指定商品的购买行为；以及可以选择该平台中另一些用户作为对照用户，不向这些对照用户发放优惠券，然后统计这些对照用户在上述指定时间内对上述指定商品的购买行为。另外，对每一用户，可以获取该用户在该平台中注册时输入的基本信息，以及用户其他的购买行为信息等，作为用户的对象信息。
[0071]
在获取到多个样本对象的对象行为日志后，可以进一步对对象行为日志中包含的每个样本对象的对象信息进行特征提取，以得到每一对象的对象特征。
[0072]
本公开实施例通过对选定的样本对象分别作出干预行为和不作出干预行为，然后获取实验时间段期间样本对象的对象行为日志来生成对多任务模型进行训练的训练样本数据。可以控制训练样本数据的采集时间，避免训练样本数据的采集时间与当前时间的时间跨度较大导致训练样本数据的数据质量下降，进而导致训练得到的干预增益预测模型的准确性不足。即本公开中通过从对象行为日志中生成训练样本数据的方法，可以提升训练样本数据的质量，进而可以提升训练得到的干预增益预测模型的准确性。
[0073]
步骤420，识别样本对象的对象类型，并根据对象类型在第一任务网络和第二任务网络中确定目标任务网络。
[0074]
在获取到训练样本数据后，便可以采用训练样本数据来对步骤410中构建的任一多任务模型进行训练。由于训练样本数据中的样本对象有两种对象类型的可能性：干预类型和对照类型。由于对于不同对象类型的样本对象对应的训练样本数据，采用不同的训练方式来对多任务模型进行训练，因此在采用获取到的训练样本数据对多任务模型进行训练之前，可以先识别获取到的训练样本数据中样本对象的对象类型。
[0075]
具体地，在进行训练样本数据采集时，可以对训练样本数据中样本对象进行标记，例如标记某一训练样本数据中样本对象为干预对象，或者标记某一训练样本数据中样本对象为对照对象，然后将标记信息存储在训练样本数据中的预设位置。如此，在获取到训练样本数据后，便可以在训练样本数据的预设位置中获取到该标记信息，从而识别出样本对象的对象类型。
[0076]
在确定了样本对象的对象类型后，便可以根据样本对象的对象类型来确定基于该样本对象对应的训练样本数据来对多任务模型进行训练的训练方式。具体地，在本公开提供的干预增益预测方法中，对于干预类型的样本对象对应的训练样本数据以及对于对照类型的样本对象对应的训练样本数据，均可以采用正事实训练和反事实训练来对多任务模型进行训练，只是对于不同类型的样本对象对应的训练样本数据，正事实训练对应的任务网络有所区别。因此，在确定了样本对象的对象类型后，可以先根据样本对象的对象类型在第
一任务网络和第二任务网络中确定一个目标任务网络。此处目标任务网络可以为与训练样本数据中样本对象的样本类型对应的任务网络。如前记载，第一任务网络为干预网络，第二任务网络对对照网络；因此当样本对象的对象类型为干预类型时，可以将第一任务网络确定为目标任务网络；当样本对象的对象类型为对照类型时，则可以将第二任务网络确定为目标任务网络。
[0077]
步骤430，将对象特征输入目标任务网络，并根据目标任务网络输出的第一预测值与行为标签对目标任务网络的参数进行更新。
[0078]
在确定了训练样本数据对应的目标任务网络后，便可以基于训练样本数据中的对象特征和行为标签来对目标任务网络进行正事实训练。具体地，可以将对象特征输入至目标任务网络中，得到目标任务网络输出的推理结果，此处可以将推理结果确定为第一预测值。然后基于该第一预测值与行为标签对目标任务网络的参数进行更新。
[0079]
具体地，根据目标任务网络输出的第一预测值与行为标签对目标任务网络的参数进行更新，包括：根据目标任务网络输出的第一预测值与行为标签计算第一损失值；基于第一损失值对目标任务网络的参数进行更新。
[0080]
在本公开实施例中，在将对象特征输入到目标任务网络中，得到目标任务网络输出的第一预测值后，便可以进一步根据第一预测值与样本对象的行为标签之间的差异来计算第一损失值。计算第一损失值所采用的损失函数具体可以采用计算交叉熵的方式来进行。在计算得到第一损失之后，便可以进一步根据第一损失值确定反传梯度，然后根据该反传梯度对目标任务网络的网络参数进行更新。
[0081]
下面，将分别从样本对象的类型为干预类型和对照类型这两种情况结合各种模型结构对正事实训练的具体过程进行介绍。
[0082]
一、样本对象的对象类型为干预类型；即当识别到样本对象的对象类型为干预类型时，根据对象类型在第一任务网络和第二任务网络中确定目标任务网络，包括：确定第一任务网络为目标任务网络；将对象特征输入目标任务网络，并根据目标任务网络输出的第一预测值与行为标签对目标任务网络的参数进行更新，包括：将对象特征输入第一任务网络，并根据第一任务网络输出的第一预测值与行为标签对第一任务网络的参数进行更新。
[0083]
当多任务模型的结构为图5所示的模型结构时，正事实训练便只需对第一任务网络的网络参数进行更新。
[0084]
在一些实施例中，多任务模型还包括与每一任务网络对应的特征提取网络，对样本对象的对象信息进行特征提取，得到样本对象的对象特征的过程，包括如下步骤：基于每一任务网络对应的特征提取网络对样本对象的对象信息进行特征提取，得到样本对象与每一任务网络对应的对象特征；将对象特征输入目标任务网络，包括：将样本对象与目标任务网络对应的对象特征输入目标任务网络。
[0085]
即在本公开实施例中，多任务模型的模型结构为图6所示的模型结构。多任务模型
中包括与每一任务网络对应的特征提取网络，特征提取网络用于对样本对象的对象信息进行特征提取，从而得到样本对象与每一任务网络对应的对象特征。该模型结构可以避免多任务模型跷跷板问题，具体已经在前文详述，此处不再赘述。在该模型结构下，基于第一任务网络与行为标签计算得到第一损失值后，可以基于该第一损失值同时对第一任务网络和第一特征提取网络的网络参数进行更新。
[0086]
在一些实施例中，多任务模型还包括与每一任务网络对应的注意力网络，基于每一任务网络对应的特征提取网络对样本对象的对象信息进行特征提取，得到样本对象与每一任务网络对应的对象特征，包括：基于每一任务网络对应的特征提取网络对样本对象的对象信息进行特征提取，得到样本对象与每一特征提取网络对应的过渡特征；基于每一注意力网络对对象信息以及相对应的过渡特征进行注意力处理，得到样本对象与每一任务网络对应的对象特征。
[0087]
即在本公开实施例中，多任务模型的模型结构为图8所示的模型结构，即前述基于mmoe的多任务模型，具体该多任务模型中还包括了与每一任务网络对应的注意力网络（门控网络）。在该模型结构下，提取每一任务网络对应的对象特征，具体可以先采用三个特征提取网络分别对样本对象的对象信息进行特征提取，得到与每一特征提取网络对应的过渡特征。然后，基于每一任务网络对应的注意力网络对多个过渡特征进行注意力计算，得到每一任务网络对应的对象特征，这些对象特征均是基于多个注意力网络进行融合得到的特征，因此也可以称为融合特征。
[0088]
在该模型结构下，基于第一任务网络与行为标签计算得到第一损失值后，可以基于该第一损失值同时对第一任务网络、每一任务网络对应的特征提取网络以及每一任务网络对应的注意力网络的网络参数进行更新。
[0089]
在一些实施例中，多任务模型还包括特征共享网络，基于每一任务网络对应的特征提取网络对样本对象的对象信息进行特征提取，得到样本对象与每一特征提取网络对应的过渡特征，包括：基于每一任务网络对应的特征提取网络以及共享网络对样本对象的对象信息进行特征提取，得到样本对象与每一任务网络以及特征共享网络对应的过渡特征；基于每一注意力网络对对象信息以及相对应的过渡特征进行注意力处理，得到样本对象与每一任务网络对应的对象特征，包括：基于每一注意力网络对对象信息、相应的过渡特征以及特征共享网络对应的过渡特征进行注意力处理，得到样本对象与每一任务网络对应的对象特征。
[0090]
即在本公开实施例中，多任务模型的模型结构为图9所示的结构，即前述基于ple结构的多任务模型。在该模型中，还包括了特征共享网络，特征共享网络也具有一个与之对应的注意力网络。在基于该ple模型对样本对象的对象信息进行特征提取时，多个特征提取网络与特征共享网络均对样本对象的对象信息进行特征提取，得到分别对应的过渡特征。然后每一特征提取网络均将提取得到的特征发送到下一层对应的特征提取网络，而共享网络将提取得到的特征发送到下一层多个特征提取网络以及下一层共享网络。然后，基于每一注意力网络对对象信息以及相对应的过渡特征进行注意力处理，从而得到样本对象与每一任务网络对应的对象特征。该模型的优势也在前述记载中详述，此处也不再予以赘述。
[0091]
在该模型结构下，基于第一任务网络与行为标签计算得到第一损失值后，可以基于该第一损失值同时对第一任务网络、每一任务网络对应的特征提取网络、特征共享网络以及每一注意力网络的网络参数进行更新。
[0092]
其中，在上述训练过程中，均不更新第二任务网络和第三任务网络的参数。
[0093]
二、样本对象的对象类型为对照类型；即当识别到样本对象的对象类型为对照类型时，根据对象类型在第一任务网络和第二任务网络中确定目标任务网络，包括：确定第二任务网络为目标任务网络；将对象特征输入目标任务网络，并根据目标任务网络输出的第一预测值与行为标签对目标任务网络的参数进行更新，包括：将对象特征输入第二任务网络，并根据第二任务网络输出的第一预测值与行为标签对第二任务网络的参数进行更新。
[0094]
当多任务模型的结构为图5所示的模型结构时，正事实训练便只需对第二任务网络的网络参数进行更新。
[0095]
当多任务模型的结构为图6所示的模型结构时，基于第二任务网络与行为标签计算得到第一损失值后，可以基于该第一损失值同时对第二任务网络和第二特征提取网络的网络参数进行更新。
[0096]
当多任务模型的结构为图7所示的模型结构时，基于第二任务网络与行为标签计算得到第一损失值后，可以基于该第一损失值同时对第二任务网络、每一任务网络对应的特征提取网络以及注意力网络的网络参数进行更新。
[0097]
当多任务模型的结构为图8所示的模型结构时，基于第二任务网络与行为标签计算得到第一损失值后，可以基于该第一损失值同时对第二任务网络、每一任务网络对应的特征提取网络以及每一任务网络对应的注意力网络的网络参数进行更新。
[0098]
当多任务模型的结构为图9所示的模型结构时，基于第二任务网络与行为标签计算得到第一损失值后，可以基于该第一损失值同时对第二任务网络、每一任务网络对应的特征提取网络、特征共享网络以及每一注意力网络的网络参数进行更新。
[0099]
其中，在上述训练过程中，均不更新第一任务网络和第三任务网络的参数。
[0100]
步骤440，将对象特征分别输入至目标任务网络之外的两个任务网络，并根据目标任务网络之外的两个任务网络输出的输出值计算第二预测值。
[0101]
其中，在基于训练样本数据对相应的任务网络进行正事实训练之外，还可以进一步基于训练样本数据对其他两个任务网络进行反事实训练。具体地，可以将对象特征分别输入至目标任务网络之外的两个任务网络，并根据目标任务网络之外的两个任务网络输出的输出值计算第二预测值。
[0102]
其中，当多任务模型还包括与每一任务网络对应的特征提取网络时，将对象特征分别输入至多任务模型中目标任务网络之外的两个任务网络，包括：将样本对象与目标任务网络之外的两个任务网络对应的对象特征分别输入至相应的任务网络。
[0103]
即对于图6提供的多任务模型结构，不同任务网络对应的输入特征是不同的。如此，当需要将对象特征输入至目标任务网络之外的两个任务网络之前，需要先分别确认每
一任务网络对应的特征提取网络，然后将相应的特征提取网络提取得到的对象特征输入至目标任务网络之外的两个任务网络。
[0104]
同样地，对于图7至图9提供的多任务模型的结构，在将对象特征输入另外两个任务网络之前，也需要先分别确定每一任务网络对应的输入特征，然后根据对应关系将相应的特征输入至对应的任务网络中。
[0105]
同样地，本方案也可以分别以样本对象的对象类型为干预类型和对照类型来进行分别阐述。
[0106]
一、样本对象的对象类型为干预类型；即当识别到样本对象的对象类型为干预类型时，将对象特征分别输入至多任务模型中目标任务网络之外的两个任务网络，并根据目标任务网络之外的两个任务网络输出的输出值计算第二预测值，包括：将对象特征分别输入至第二任务网络和第三任务网络中，得到第二任务网络输出的第一概率值和第三任务网络输出的第二概率值；计算第一概率值和第二概率值的和，得到第二预测值。
[0107]
即在本公开实施例中，当样本对象的对象类型为干预类型时，基于训练样本数据进行的反事实训练就是对第一任务网络之外的两个任务网络进行训练，也就是对第二任务网络和第三任务网络进行训练。具体地，可以将对象特征分别输入至第二任务网络和第三任务网络中，得到第二任务网络输出的第一概率值以及第三任务网络输出的第二概率值。
[0108]
由于第一任务网络预测的是对象在干预条件下的行为概率，第二任务网络预测的是对象在非干预条件下的行为概率，第三任务网络预测的是干预行为导致的对象行为概率增益。因此对于同一对象，经第一任务网络预测得到的概率值应当为第二任务网络预测得到的概率值与第三任务网络预测得到的概率值的和。如此，在得到第二任务网络输出的第一概率值与第三任务网络输出的第二概率值后，便可以进一步计算第一概率值和第二概率值的和，得到第二预测值。然后便可以进一步基于该第二预测值进行第二任务网络和第三任务网络的训练。
[0109]
二、样本对象的对象类型为对照类型；即当识别到样本对象的对象类型为对照类型时，将对象特征分别输入至多任务模型中目标任务网络之外的两个任务网络，并根据目标任务网络之外的两个任务网络输出的输出值计算第二预测值，包括：将对象特征分别输入至第一任务网络和第三任务网络中，得到第一任务网络输出的第三概率值和第三任务网络输出的第四概率值；计算第三概率值和第四概率值的差，得到第二预测值。
[0110]
即在本公开实施例中，当样本对象的对象类型为对照类型时，基于训练样本数据进行的反事实训练就是对第二任务网络之外的两个任务网络进行训练，也就是对第一任务网络和第三任务网络进行训练。具体地，可以将对象特征分别输入至第一任务网络和第三任务网络中，得到第一任务网络输出的第三概率值以及第三任务网络输出的第四概率值。
[0111]
由于对于同一对象，经第一任务网络预测得到的概率值应当为第二任务网络预测得到的概率值与第三任务网络预测得到的概率值的和。如此，在得到第一任务网络输出的第三概率值与第三任务网络输出的第四概率值后，便可以进一步计算第三概率值和第四概
率值的差，得到第二预测值。然后便可以进一步基于该第二预测值进行第二任务网络和第三任务网络的训练。
[0112]
步骤450，根据第二预测值与行为标签对目标任务网络之外的两个任务网络的参数进行更新，得到训练后的多任务模型。
[0113]
在计算得到第二预测值后，便可以进一步基于第二预测值与行为标签对目标任务网络之外的两个网络的参数进行更新，从而得到训练后的多任务模型。采用该训练后的多任务模型进行干预增益预测，可以得到更为准确的干预增益。
[0114]
其中，根据第二预测值与行为标签对目标任务网络之外的两个任务网络的参数进行更新，包括：根据第二预测值与行为标签计算第二损失值；基于第二损失值对目标任务网络之外的两个任务网络的参数进行更新。
[0115]
在计算得到第二预测值后，可以进一步根据第二预测值与行为标签计算第二损失值。第二损失值的计算方法可以为与前述第一损失值采用相同的损失函数来进行计算。在计算得到第二损失值后，便可以进一步根据第二损失值确定反传梯度，然后根据反传梯度对目标任务网络之外的两个任务网络的参数进行更新。
[0116]
以下，仍以样本对象的对象类型为干预类型和对照类型来分别对另外两个网络参数进行更新的过程进行介绍。
[0117]
一、样本对象的对象类型为干预类型；当识别到样本对象的对象类型为干预类型时，计算得到第二损失值后，便可以基于第二损失值对第二任务网络和第三任务网络的网络参数进行更新。
[0118]
当多任务模型的模型结构为图5所示的结构时，仅需对第二任务网络和第三任务网络的网络参数进行更新。
[0119]
当多任务模型的模型结构为图6所示的结构时，除了对第二任务网络和第三任务网络的网络参数进行更新外，同时还需要对第二特征提取网络和第三特征提取网络的网络参数进行更新。
[0120]
当多任务模型的模型结构为图7所示的结构时，对第二任务网络和第三任务网络的网络参数进行更新的同时，还须对每一特征提取网络以及第一注意力网络的网络参数进行更新。
[0121]
当多任务模型的模型结构为图8所示的结构时，对第二任务网络和第三任务网络的网络参数进行更新的同时，还须对每一特征提取网络以及每一注意力网络的网络参数进行更新。
[0122]
当多任务模型的模型结构为图9所示的结构时，对第二任务网络和第三任务网络的网络参数进行更新的同时，还须对每一特征提取网络、共享网络以及每一注意力网络的网络参数进行更新。
[0123]
二、样本对象的对象类型为对照类型；当识别到样本对象的对象类型为对照类型时，计算得到第二损失值后，便可以根据第二损失值对第一任务网络和第三任务网络的参数进行更新。
[0124]
对于不同模型结构的多任务模型，需同时更新的网络参数也有差异，其中具体可以为在任一结构的模型中，仅不对二任务模型的参数进行更新。
[0125]
即在本公开实施例中， 每个训练样本数据都可以用来对多个任务网络进行训练，从而可以大大提升训练样本的数据量，进而可以提升训练得到的任务网络的泛化能力。
[0126]
在一些实施例中，根据第二预测值与行为标签对目标任务网络之外的两个任务网络的参数进行更新之后，还包括如下步骤：对多任务模型进行收敛检测；当检测到多任务模型未收敛，重新获取训练样本数据，识别训练样本数据中样本对象的对象类型，并根据对象类型在任务网络和第二任务网络中确定目标任务网络，将对象特征输入目标任务网络，并根据目标任务网络输出的第一预测值与行为标签对目标任务网络的参数进行更新；将对象特征分别输入至多任务模型中目标任务网络之外的两个任务网络，并根据目标任务网络之外的两个任务网络输出的输出值计算第二预测值；以及根据第二预测值与行为标签对目标任务网络之外的两个任务网络的参数进行更新；当检测到多任务模型收敛，终止模型训练过程并输出训练后的多任务模型。
[0127]
即在本公开实施例中，步骤410至步骤450仅为对多任务模型进行训练的多个循环中的一个循环。在基于获取到的训练样本数据对多任务模型进行训练后，可以进一步重新获取一个训练样本数据来重新对多任务模型进行一次训练，如此重复直到多任务模型收敛。
[0128]
具体地，可以在重新获取训练样本数据之前，先对多任务模型进行收敛检测，以确认多任务模型是否收敛。当确认多任务模型未收敛，便可以进一步获取训练样本数据，并重复执行步骤410至步骤450的过程；当确认多任务模型收敛时，则可以终止模型训练并输出训练后的多任务模型。
[0129]
其中，对多任务模型进行收敛检测的具体方法，可以为检测循环训练次数是否已经达到预设次数，当循环训练次数达到预设次数时，则可以确定多任务模型收敛，否则则确定多任务模型未收敛。或者，可以检测多任务模型中各个网络的参数的变化是否小于预设范围，若小于预设范围则确定多任务模型收敛，反之则确定多任务模型未收敛。
[0130]
步骤460，获取待预测的目标对象的目标对象信息，并基于训练后的多任务模型对目标对象信息进行干预增益预测，得到目标对象的干预增益。
[0131]
在训练得到训练后的多任务模型后，该训练后的多任务模型可以为前述示例中的任一结构的多任务模型，便可以进一步采用训练后的多任务模型进行干预增益预测。具体可以先获取待进行干预增益预测的目标对象的目标对象信息，然后将目标对象信息输入到训练后的干预增益预测模型中进行干预增益预测，从而得到目标对象的干预增益。
[0132]
在一些实施例中，获取待预测的目标对象的目标对象信息，并基于训练后的多任务模型对目标对象信息进行干预增益预测，得到目标对象的干预增益，包括：获取待预测的目标对象的目标对象信息；将目标对象信息输入训练后的多任务模型中的第三任务网络，得到第三任务网络输出的预测增益，并根据预测增益确定目标对象的干预增益。
[0133]
本公开中提供的模型训练方法训练得到的多任务模型可以用于执行多个推理任务，具体可以用于预测对象在干预条件下的行为概率（基于第一任务网络）、预测对象在非干预条件下的行为概率（基于第二任务网络）以及预测干预条件造成对象的行为概率增益（基于第三任务网络）。由于前两个任务在相关技术中均具有简单的基线模型进行推理，因
此本公开提供的模型训练方法训练得到的多任务模型可以主要应用于对干预条件造成对象的干预增益进行预测。
[0134]
训练得到上述多任务模型后，可以将多任务模型部署上线。然后响应于接收到的干预增益预测任务，可以获取干预增益预测任务中包含的待预测的目标对象的目标对象信息。具体地，目标对象信息可以包括目标对象的基础信息，基础信息包括身份信息、属性信息等，还可以包括目标对象的行为统计信息等。
[0135]
在获取到目标对象信息后，便可以将获取到的目标对象信息输入至多任务模型中，该多任务模型便可以为前述训练后部署上线的多任务模型。该多任务模型具体可以为前述实施例中图6至图9中任一模型结构对应的训练后的多任务模型。
[0136]
将目标对象信息输入至多任务模型中，可以得到多任务模型的多个任务网络输出的多个输出值。在本公开实施例中，对于干预增益预测任务，只需要获取第三任务网络输出的输出值即可，从而得到目标对象的干预增益。
[0137]
在通过上述干预增益预测方法预测到目标对象的干预增益后，可以进一步将目标对象的干预增益与一个预设的阈值进行比较。当目标对象的干预增益大于该预设的阈值时，便可以向该目标对象施加干预行为。例如，在预测营销活动对用户购买倾向增益的场景，当预测到目标对象的干预增益大于预设的阈值时，便可以向该目标对象发送优惠券，从而促使目标对象购买目标商品。
[0138]
通过该方法，可以准确预测出目标对象的干预增益，从而可以实现定向的干预行为，在最小化干预成本投入的基础上，提升拉新成功率或者商品的销售额。
[0139]
综上，采用本公开提供的干预增益预测方法，即获取多任务模型的训练样本数据，训练样本数据包括样本对象的对象特征以及行为标签，多任务模型包括预测对象在干预条件下行为概率的第一任务网络、预测对象在无干预条件时行为概率的第二任务网络以及预测干预条件导致对象行为概率增益的第三任务网络；识别样本对象的对象类型，并根据对象类型在第一任务网络和第二任务网络中确定目标任务网络，样本对象类型包括干预类型或对照类型，干预类型的对象为施加了预设干预行为的对象；将对象特征输入目标任务网络，并根据目标任务网络输出的第一预测值与行为标签对目标任务网络的参数进行更新；将对象特征分别输入至目标任务网络之外的两个任务网络，并根据所述目标任务网络之外的两个任务网络输出的输出值计算第二预测值；以及根据第二预测值与行为标签对目标任务网络之外的两个任务网络的参数进行更新。如此，通过构建同时预测对象在干预条件下行为概率、在无干预条件时行为概率以及干预条件导致对象行为概率增益的多任务模型，并采用干预类型的训练样本和对照类型的训练样本进行正、反事实的训练。实现了可以采用端到端模型预测对象的干预增益，相对于相关技术中分别训练预测干预条件下行为概率和预测非干预条件下行为概率的两个模型，然后采用两个模型的推理结果进一步计算出对象的干预增益，可以避免多模型组合建模导致的精度差的问题。因此，采用本公开提供的干预增益预测方法训练得到的多任务模型对目标对象进行干预增益预测，可以提升预测得到的干预增益的准确性。
[0140]
如图10所示，为本公开提供的干预增益预测方法的另一流程示意图。在本公开实施例中，将以本公开提供的干预增益预测方法应用在预测推广活动对拉新增益的场景为例，对本公开提供的干预增益预测方法进行详细的介绍。方法具体包括如下步骤：
步骤1001，计算机设备构建多任务模型。
[0141]
在本公开实施例中，提供了一种基于ple的多任务模型，用于预测对象的干预增益。该多任务模型为一个端到端的模型，可以避免相关技术中采用多模型组合建模，模型误差累计导致模型精度差，进而导致干预增益预测不准确的问题。
[0142]
具体地，本公开提供的多任务模型的模型结构可以如图9所示，包括了下层的特征提取模块以及上层的多任务模块。特征提取模块为ple模型结构，多任务模块包括三个任务网络，分别为预测对象在干预条件下行为概率的第一任务网络（net
tr
）、预测对象在非干预条件下行为概率的第二任务网络（net
cr
）预计预测干预增益的第三任务网络（net
pte
），方案核心为训练ple网络以及net
pte
。net
tr
和的net
cr
训练作为辅助。在对模型进行训练时，ple模型可以从样本对象的对象信息中提取出与net
tr
对应的第一对象特征、与net
cr
对应的第二对象特征以及与net
pte
对应的第三对象特征。
[0143]
步骤1002，计算机设备并获取多任务模型的训练样本数据。
[0144]
构建了上述多任务模型后，计算机设备便可以进一步获取对该多任务模型进行训练的训练样本数据。其中，本公开提供的干预增益预测方法具体可以应用在预测推广活动对拉新增益的场景中。例如，当需要对第二应用进行拉新时，可以在第一应用中对第一应用的用户进行发送推送信息、赠送礼物等干预，以使第一应用的用户转化为第二应用的用户。具体地，在该场景下获取对多任务模型的训练样本数据时，可以在第一应用中选择两批用户，然后对其中的一批用户发送关于第二应用的推送信息及礼包奖励，对另一批用户不发送该推送信息和礼包奖励。在一段时间后，对这些用户下载或者注册第二应用的行为进行统计。然后根据这些统计信息与这些用户的用户信息生成训练样本数据集合。
[0145]
如上可知，多任务模型的训练样本数据集合包括干预样本和对照样本。干预样本包含了干预样本对象的对象信息以及行为标签；对照样本包含了对照样本对象的对象信息以及行为标签。形式化表达如下：
[0146][0147]
其中，w=1表示干预样本，w=0表示对照样本。
[0148]
在采用上述训练样本数据集合对多任务模型进行训练时，可以先获取集合中的任意一个训练样本数据来对多任务模型进行训练。
[0149]
步骤1003，计算机设备基于渐进式分层提取网络对样本对象的对象信息进行特征提取，得到多个任务网络对应的多个对象特征。
[0150]
对于获取到的任意一个训练样本数据，都可以先采用ple网络对样本对象的对象信息进行特征提取，得到每一任务网络对应的对象特征。net
tr
对应的对象特征可以称为第一对象特征，net
cr
对应的对象特征可以称为第二对象特征，net
pte
对应的对象特征可以称为第三对象特征。
[0151]
如图11所示，为本公开提供的ple网络的结构示意图。如图所示，ple网络包括多层（图中仅示出2层）专家网络和对应的多层（图中仅示出了2层）门控网络，其中专家网络学习特征提取能力，用于对输入信息进行特征提取；门控网络学习特征之间的权重，用于对专家网络提取得到的特征进行融合。每一层专家网络都包括了每个任务网络对应的专家网络和
一个共享专家网络，具体包括干预专家网络1110、增益专家网络1120、对照专家网络1130以及共享专家网络1140。除了最后一层输出提取得到的特征层外，其余门控网络都包括了每个任务网络对应的门控网络和共享专家网络对应的门控网络，具体包括干预门控网络1150、增益门控网络1160、对照门控网络1170以及共享门控网络1180。最后一层输出提取得到的特征层具有与每一任务网络对应的门控网络，没有共享门控网络。
[0152]
在基于图11所示结构的ple模型进行特征提取时，多个专家网络分别对输入信息进行特征提取，然后将提取得到的特征分别传输到对应的门控网络以及共享门控网络；共享门控网络不仅将提取得到的特征传输到共享门控网络，还可以传输给其他多个门控网络。然后，门控网络将融合得到的特征分别传输给对应的下一层专家网络以及下一层门控网络。然后，重复前述数据传输过程，直到最后一层专家网络对前一层门控网络传输过来的特征进行特征提取，并传输到最后一层与每一任务网络对应的门控网络进行特征融合，得到最后一层与每一任务网络对应的门控网络输出的多个对象特征。具体地，最后一层干预门控网络输出干预输入特征，即前述第一对象特征；最后一层增益门控网络输出增益输入特征，即前述第三对象特征；最后一层对照门控网络输出对照输入特征，即前述第二对象特征。
[0153]
其中，数据处理流程的形式化表达如下：
[0154][0155][0156]
其中，x表示输入信息，任务网络k的输出打分就是，是任务k的上层全连接网络（tower网络），表示任务k的第n层（最后一层）门控网络的输出；表示任务k的第j层门控网络的输出，表示第j层专家网络输出的权重，表示任务k的第j-1层门控网络的输出；表示任务k的第j层所有专家网络的输出；表示门路网络的参数矩阵。
[0157]
步骤1004，当样本对象为干预样本对象时，计算机设备将第一对象特征输入第一任务网络，并根据第一任务网络输出的第一预测值与行为标签对第一任务网络及渐进式分层提取网络的参数进行更新。
[0158]
在本公开实施例中，对于不同对象类型的样本对象的训练样本数据，采用不同的训练方式。如此，可以先对获取到训练样本数据中的样本对象的对象类型进行检测。当检测到训练样本数据中样本对象的对象类型为干预样本对象时，计算机设备可以将第一对象特征输入至net
tr
中，得到net
tr
输出的第一预测值。然后，可以根据第一预测值与训练样本数据中的行为标签y来对net
tr
与ple网络的参数进行更新。
[0159]
具体地，可以先根据第一预测值与训练样本数据中的行为标签y计算第一干预损失值，然后根据第一干预损失值对net
tr
与ple网络的参数进行更新。当同时获取一批干预样本时，可以计算总干预损失：
[0160]
[0161]
其中，为第一总干预损失，t为批大小，l（，）为损失函数。当同时获取多个干预样本时，便可以采用总干预损失来对net
tr
与ple网络的参数进行更新。
[0162]
在该过程中，不对net
cr
和net
pte
的网络参数进行更新。
[0163]
步骤1005，计算机设备将第二对象特征输入第二任务网络，得到输出的第一概率值以及将第三对象特征输入第三任务网络，得到输出的第二概率值。
[0164]
进一步地，还可以采用该训练样本数据对net
cr
和net
pte
进行训练。具体地，计算机设备可以将第二对象特征输入net
cr
，得到输出的第一概率值；以及将第三对象特征输入net
pte
，得到输出的第二概率值，也可以称为增益值。
[0165]
步骤1006，计算机设备计算第一概率值和第二概率值的和，得到第二预测值。
[0166]
进一步地，由于第一概率值为预测的对象在未干预的情况下的行为概率，第二概率值为增益值，那么对象在干预的情况下的行为概率应当为两者的和。又由于训练样本数据中样本对象的对象类型为干预样本对象，因此标签值y也就是对象在干预情况下的行为概率标签。因此，可以计算第一概率值和第二概率值的和，得到第二预测值。
[0167]
步骤1007，计算机设备根据第二预测值与行为标签对第二任务网络、第三任务网络及渐进式分层提取网络的参数进行更新。
[0168]
在计算得到第二预测值后，便可以基于第二预测值和行为标签计算第二干预损失，然后根据该第二干预损失对net
cr
、net
pte
以及ple网络的参数进行更新。当同时获取一批干预样本时，同样可以计算总干预损失：
[0169]
其中，为第二总干预损失。
[0170]
在该过程中，仅不对net
tr
的网络参数进行更新。
[0171]
如图12a所示，为根据ple提取得到的多个对象特征进一步对多个任务网络进行训练的数据流向示意图。如图所示，可以将干预输入特征输入至干预网络中，得到干预网络输出的第一预测值，然后基于第一预测值和行为标签对干预网络以及ple网络的参数进行更新。此外，可以将增益输入特征和对照输入特征分别输入至增益网络和对照网络，得到增益网络输出的第二概率值以及对照网络输出的第一概率值。然后计算第一概率值和第二概率值的和，得到第二预测值；再根据第二预测值与行为标签来对增益网络、对照网络以及ple网络的参数进行更新。
[0172]
步骤1008，当样本对象为对照样本对象时，计算机设备将第二对象特征输入第二任务网络，并根据第二任务网络输出的第三预测值与行为标签对第二任务网络及渐进式分层提取网络的参数进行更新。
[0173]
若计算机设备检测到样本对象为对照样本对象时，则可以将第二对象特征输入至中net
cr
，得到net
cr
输出的第三预测值（可以同样表示为）。然后，便可以根据第三预测值与行为标签计算第一对照损失，并根据第一对照损失对net
cr
和ple网络的网络参数进行更新。
[0174]
当同时获取一批对照样本对象的训练样本数据来对多任务模型进行训练时，可以计算总对照损失：
[0175]
其中，为第一总对照损失，c为批样本的数量。
[0176]
在该过程中，不对net
tr
和net
pte
的参数进行更新。
[0177]
步骤1009，计算机设备将第一对象特征输入第一任务网络，得到输出的第三概率值以及将第三对象特征输入第三任务网络，得到输出的第四概率值。
[0178]
进一步地，还可以采用该训练样本数据对net
tr
和net
pte
进行训练。具体地，计算机设备可以将第一对象特征输入至net
tr
，得到输出的第三概率值（可以同样表示为）；以及可以将第三对象特征输入至net
pte
，得到输出的第四概率值（可以同样表示为）。
[0179]
步骤1010，计算机设备计算第三概率值和第四概率值的差，得到第四预测值。
[0180]
由于第三概率值为预估得到的样本对象在干预条件下的行为概率，第四概率值为增益值。而且样本对象为对照样本对象，其对应的行为标签为非干预条件下的行为概率，因此应当计算第三概率值和第四概率值的差，得到第四预测值，再基于第四预测值与行为标签来对网络参数进行更新。
[0181]
步骤1011，计算机设备根据第四预测值与行为标签对第一任务网络、第三任务网络及渐进式分层提取网络的参数进行更新。
[0182]
然后，计算机设备可以根据第四预测值和行为标签计算第二对照损失值，并根据第二对照损失值对net
tr
、net
pte
以及ple网络的参数进行更新。
[0183]
同样，当同时获取一批对照样本对象的训练样本数据来对多任务模型进行训练时，可以计算总对照损失：
[0184]
其中，为第二总对照损失。在该过程中，仅不对net
cr
的参数进行更新。
[0185]
其中，在一些实施例中，还可以设计如下总损失：
[0186]
该总损失l包含了四个分项，每个分项都可以具有相应的系数（0或1），对于不同对象类型的样本对象，每个分项可以设置不同的系数。例如当样本对象的对象类型为干预样本对象时，和的系数为1，其他两项系数为0；反之当样本对象的对象类型为对照样本对象时，和的系数为0，其他两项系数为1。
[0187]
如图12b所示，为根据ple提取得到的多个对象特征进一步对多个任务网络进行训练的另一数据流向示意图。如图所示，可以将对照输入特征输入至对照网络中，得到对照网络输出的第三预测值，然后基于第三预测值和行为标签对对照网络以及ple网络的参数进行更新。此外，可以将增益输入特征和干预输入特征分别输入至增益网络和干预网络，得到增益网络输出的第四概率值以及干预网络输出的第三概率值。然后计算第三概率值和第四概率值的差，得到第四预测值；再根据第四预测值与行为标签来对增益网络、干预网络以及ple网络的参数进行更新。
[0188]
步骤1012，计算机设备检测多任务模型是否收敛。
[0189]
在采用获取到的训练样本数据对多任务模型进行上述步骤的训练后，可以进一步
确认该多任务模型是否收敛，例如检测循环训练次数是否达到预设次数或者模型参数的变化是否小于预设阈值。
[0190]
当检测到模型尚未收敛时，则返回步骤1002重新获取训练样本数据进行下一个训练循环；当检测到模型收敛，则可以进入下一步骤1013。
[0191]
步骤1013，计算机设备将训练得到的多任务模型部署上线。
[0192]
当完成多任务模型的训练后，计算机设备可以进一步将多任务模型部署上线进行干预增益预测。
[0193]
步骤1014，计算机设备获取第一应用中待预测用户的用户信息，并将其输入至训练后的多任务模型，得到多任务模型输出的干预增益。
[0194]
在预测推广活动对拉新增益的场景下，即预测第一应用中的用户在干预条件下转化为第二应用的用户的概率变化场景下。当需要预测第一应用中的用户的干预增益以决定是否向用户发送推送消息时，可以先获取待预测用户的用户信息，然后将该用户信息输入到多任务模型中，对多任务模型输出的多个预测值，获取net
pte
输出的值便为多任务模型输出的干预增益。
[0195]
当net
pte
输出的干预增益大于预设阈值时，便可以向该用户发送推送信息。在向用户发送了推送信息后，还可以进一步获取用户在接收到推送信息后在预设时间内是否转化为第二应用的用户。然后可以将该用户的信息和标签进一步作为多任务模型的训练样本来对多任务模型进行进一步的训练，不断提升多任务模型的准确性。
[0196]
如图13所示，为本公开提供的干预增益预测方法的整体数据流向示意图。如图所示，流程最初源头可以从获取用户日志开始，用户日志中可以包括干预对象的用户日志和对照对象的用户日志；然后对用户日志进行日志解析，得到日志解析结果，根据日志解析结果可以得到干预样本和对照样本。然后，采用干预样本和对照样本分别对基于ple模型的多任务模型进行训练。多任务模型训练完成后，便可以将多任务模型部署上线进行干预增益预测，得到线上预测结果，以及根据线上预测结果进行干预行为的投放。在基于线上预测结果进行干预行为投放后，可以进一步获取被投放上述干预行为的用户的用户日志，以及对该用户日志进行解析并使用解析得到的训练样本进一步对多任务模型进行重复训练，从而不断提升多任务模型的准确性。
[0197]
本公开实施例提供的干预增益预测方法，通过训练可以直接预测用户干预增益的端到端模型，并用该模型在预测推广活动对拉新增益的场景下对用户进行干预增益预测。可以准确地识别出干预转化用户，进而进行精准的推送信息投放，可以在较低成本基础上实现高拉新成功率。
[0198]
可以理解的是，虽然上述各个流程图中的各个步骤按照箭头的表征依次显示，但是这些步骤并不是必然按照箭头表征的顺序依次执行。除非本实施例中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时间执行完成，而是可以在不同的时间执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0199]
需要说明的是，在本公开的各个具体实施方式中，当涉及到需要根据目标对象属
性信息或属性信息集合等与目标对象特性相关的数据进行相关处理时，都会先获得目标对象的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本技术实施例需要获取目标对象属性信息时，会通过弹窗或者跳转到确认页面等方式获得目标对象的单独许可或者单独同意，在明确获得目标对象的单独许可或者单独同意之后，再获取用于使本技术实施例能够正常运行的必要的目标对象相关数据。
[0200]
图14为本公开实施例提供的模型训练装置1400的结构示意图。该模型训练装置1400包括：第一获取单元1410，用于获取多任务模型的训练样本数据，训练样本数据包括样本对象的对象特征以及行为标签，多任务模型包括预测对象在干预条件下行为概率的第一任务网络、预测对象在无干预条件时行为概率的第二任务网络以及预测干预条件导致对象行为概率增益的第三任务网络；识别单元1420，用于识别样本对象的对象类型，并根据对象类型在第一任务网络和第二任务网络中确定目标任务网络，样本对象类型包括干预类型或对照类型，干预类型的对象为施加了预设干预行为的对象；第一更新单元1430，用于将对象特征输入目标任务网络，并根据目标任务网络输出的第一预测值与行为标签对目标任务网络的参数进行更新；计算单元1440，用于将对象特征分别输入至目标任务网络之外的两个任务网络，并根据目标任务网络之外的两个任务网络输出的输出值计算第二预测值；以及第二更新单元1450，用于根据第二预测值与行为标签对目标任务网络之外的两个任务网络的参数进行更新，得到训练后的多任务模型；预测单元1460，用于获取待预测的目标对象的目标对象信息，并基于训练后的多任务模型对目标对象信息进行干预增益预测，得到目标对象的干预增益。
[0201]
可选地，在一些实施例中，第一获取单元1410，包括：第一获取子单元，用于获取预设时间段内预设应用中多个样本对象的对象行为日志，对象行为日志包括多个样本对象的对象信息以及每一样本对象的行为标签；提取子单元，用于对每一样本对象的对象信息进行特征提取，得到每一样本对象的对象特征。
[0202]
可选地，在一些实施例中，多任务模型还包括与每一任务网络对应的特征提取网络，提取子单元，包括：提取模块，用于基于每一任务网络对应的特征提取网络对样本对象的对象信息进行特征提取，得到样本对象与每一任务网络对应的对象特征；第一更新单元1430，还用于：将样本对象与目标任务网络对应的对象特征输入目标任务网络；第二更新单元1450，还用于：将样本对象与目标任务网络之外的两个任务网络对应的对象特征分别输入至相应的任务网络。
[0203]
可选地，在一些实施例中，多任务模型还包括与每一任务网络对应的注意力网络，提取模块，包括：
提取子模块，用于基于每一任务网络对应的特征提取网络对样本对象的对象信息进行特征提取，得到样本对象与每一特征提取网络对应的过渡特征；处理子模块，用于基于每一注意力网络对对象信息以及相对应的过渡特征进行注意力处理，得到样本对象与每一任务网络对应的对象特征。
[0204]
可选地，在一些实施例中，多任务模型还包括特征共享网络，提取子模块，还用于：基于每一任务网络对应的特征提取网络以及特征共享网络对样本对象的对象信息进行特征提取，得到样本对象与每一任务网络以及特征共享网络对应的过渡特征；处理子模块，还用于：基于每一注意力网络对对象信息、相应的过渡特征以及特征共享网络对应的过渡特征进行注意力处理，得到样本对象与每一任务网络对应的对象特征。
[0205]
可选地，在一些实施例中，第一更新单元1430，还用于：根据目标任务网络输出的第一预测值与行为标签对目标任务网络、每一任务网络对应的特征提取网络、每一任务网络对应的注意力网络以及特征共享网络的参数进行更新；第二更新单元1450，还用于：根据第二预测值与行为标签对目标任务网络之外的两个任务网络、每一任务网络对应的特征提取网络、每一任务网络对应的注意力网络以及特征共享网络的参数进行更新。
[0206]
可选地，在一些实施例中，当识别到样本对象的对象类型为干预类型时，识别单元，还用于：确定第一任务网络为目标任务网络；计算单元1440，包括：第一输入子单元，用于将对象特征分别输入至第二任务网络和第三任务网络中，得到第二任务网络输出的第一概率值和第三任务网络输出的第二概率值；第一计算子单元，用于计算第一概率值和第二概率值的和，得到第二预测值。
[0207]
可选地，在一些实施例中，当识别到样本对象的对象类型为对照类型时，识别单元，还用于：确定第二任务网络为目标任务网络；计算单元1440，包括：第二输入子单元，用于将对象特征分别输入至第一任务网络和第三任务网络中，得到第一任务网络输出的第三概率值和第三任务网络输出的第四概率值；第二计算子单元，用于计算第三概率值和第四概率值的差，得到第二预测值。
[0208]
可选地，在一些实施例中，第一更新单元1430，包括：第三计算子单元，用于根据目标任务网络输出的第一预测值与行为标签计算第一损失值；第一更新子单元，用于基于第一损失值对目标任务网络的参数进行更新；第二更新单元，包括：第四计算子单元，用于根据第二预测值与行为标签计算第二损失值；第二更新子单元，用于基于第二损失值对目标任务网络之外的两个任务网络的参
数进行更新。
[0209]
可选地，在一些实施例中，本公开提供的模型训练装置，还包括执行单元，用于执行如下步骤：对多任务模型进行收敛检测；当检测到多任务模型未收敛，重新获取训练样本数据，识别训练样本数据中样本对象的对象类型，并根据对象类型在任务网络和第二任务网络中确定目标任务网络，将对象特征输入目标任务网络，并根据目标任务网络输出的第一预测值与行为标签对目标任务网络的参数进行更新；将对象特征分别输入至多任务模型中目标任务网络之外的两个任务网络，并根据所述目标任务网络之外的两个任务网络输出的输出值计算第二预测值；以及根据第二预测值与行为标签对目标任务网络之外的两个任务网络的参数进行更新；当检测到多任务模型收敛，终止模型训练过程并输出训练后的多任务模型。
[0210]
可选地，在一些实施例中，预测单元460，包括：第二获取子单元，用于获取待预测的目标对象的目标对象信息；预测子单元，用于将目标对象信息输入训练后的多任务模型中的第三任务网络，得到第三任务网络输出的预测增益，并根据预测增益确定目标对象的干预增益。
[0211]
参照图15，图15为实现本公开实施例的终端140的部分的结构框图，该终端140包括：射频(radio frequency，简称rf)电路1510、存储器1515、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity，简称wifi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解，图15示出的终端140结构并不构成对手机或电脑的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0212]
rf电路1510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1580处理；另外，将设计上行的数据发送给基站。
[0213]
存储器1515可用于存储软件程序以及模块，处理器1580通过运行存储在存储器1515的软件程序以及模块，从而执行终端的各种功能应用以及模型训练。
[0214]
输入单元1530可用于接收输入的数字或字符信息，以及产生与终端的设置以及功能控制有关的键信号输入。具体地，输入单元1530可包括触控面板1531以及其他输入装置1532。
[0215]
显示单元1540可用于显示输入的信息或提供的信息以及终端的各种菜单。显示单元1540可包括显示面板1541。
[0216]
音频电路1560、扬声器1561，传声器1562可提供音频接口。
[0217]
在本实施例中，该终端140所包括的处理器1580可以执行前面实施例的干预增益预测方法。本公开实施例的终端140包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
[0218]
图16为实施本公开实施例的服务器110的部分的结构框图。服务器110可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，简称cpu)1622(例如，一个或一个以上处理器)和存储装置1632，一个或
一个以上存储应用程序1642或数据1644的存储介质1630(例如一个或一个以上海量存储装置)。其中，存储装置1632和存储介质1630可以是短暂存储或持久存储。存储在存储介质1630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器110中的一系列指令操作。更进一步地，中央处理器1622可以设置为与存储介质1630通信，在服务器110上执行存储介质1630中的一系列指令操作。
[0219]
服务器110还可以包括一个或一个以上电源1626，一个或一个以上有线或无线网络接口1650，一个或一个以上输入输出接口1658，和/或，一个或一个以上操作系统1641，例如windows servertm，mac os xtm，unixtm ，linuxtm，freebsdtm等等。
[0220]
服务器110中的中央处理器1622可以用于执行本公开实施例的干预增益预测方法。
[0221]
本公开实施例还提供一种存储介质，存储介质用于存储程序代码，程序代码用于执行前述各个实施例的干预增益预测方法。
[0222]
本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序。计算机设备的处理器读取该计算机程序并执行，使得该计算机设备执行实现上述的干预增益预测方法。
[0223]
本公开的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“包含”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其它步骤或单元。
[0224]
应当理解，在本公开中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0225]
应了解，在本公开实施例的描述中，多个（或多项）的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
[0226]
在本公开所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0227]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络
单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0228]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0229]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0230]
还应了解，本公开实施例提供的各种实施方式可以任意进行组合，以实现不同的技术效果。以上是对本公开的实施方式的具体说明，但本公开并不局限于上述实施方式，熟悉本领域的技术人员在不违背本公开精神的条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本公开权利要求所限定的范围内。

技术特征：
1.一种干预增益预测方法，其特征在于，所述方法包括：获取多任务模型的训练样本数据，所述训练样本数据包括样本对象的对象特征以及行为标签，所述多任务模型包括预测对象在干预条件下行为概率的第一任务网络、预测对象在无干预条件时行为概率的第二任务网络以及预测干预条件导致对象行为概率增益的第三任务网络；识别所述样本对象的对象类型，并根据所述对象类型在所述第一任务网络和所述第二任务网络中确定目标任务网络，所述样本对象类型包括干预类型或对照类型，所述干预类型的对象为施加了预设干预行为的对象；将所述对象特征输入所述目标任务网络，并根据所述目标任务网络输出的第一预测值与所述行为标签对所述目标任务网络的参数进行更新；将所述对象特征分别输入至所述目标任务网络之外的两个任务网络，并根据所述目标任务网络之外的两个任务网络输出的输出值计算第二预测值；以及根据所述第二预测值与所述行为标签对所述目标任务网络之外的两个任务网络的参数进行更新，得到训练后的多任务模型；获取待预测的目标对象的目标对象信息，并基于所述训练后的多任务模型对所述目标对象信息进行干预增益预测，得到所述目标对象的干预增益。2.根据权利要求1所述的方法，其特征在于，所述获取多任务模型的训练样本数据，包括：获取预设时间段内预设应用中多个样本对象的对象行为日志，所述对象行为日志包括多个样本对象的对象信息以及每一样本对象的行为标签；对每一样本对象的对象信息进行特征提取，得到每一样本对象的对象特征。3.根据权利要求2所述的方法，其特征在于，所述多任务模型还包括与每一任务网络对应的特征提取网络，对样本对象的对象信息进行特征提取，得到样本对象的对象特征的过程，包括如下步骤：基于每一任务网络对应的特征提取网络对样本对象的对象信息进行特征提取，得到样本对象与每一任务网络对应的对象特征；所述将所述对象特征输入所述目标任务网络，包括：将所述样本对象与所述目标任务网络对应的对象特征输入所述目标任务网络；所述将所述对象特征分别输入至所述多任务模型中所述目标任务网络之外的两个任务网络，包括：将所述样本对象与所述目标任务网络之外的两个任务网络对应的对象特征分别输入至相应的任务网络。4.根据权利要求3所述的方法，其特征在于，所述多任务模型还包括与每一任务网络对应的注意力网络，所述基于每一任务网络对应的特征提取网络对样本对象的对象信息进行特征提取，得到样本对象与每一任务网络对应的对象特征，包括：基于每一任务网络对应的特征提取网络对样本对象的对象信息进行特征提取，得到样本对象与每一特征提取网络对应的过渡特征；基于每一注意力网络对所述对象信息以及相对应的过渡特征进行注意力处理，得到样本对象与每一任务网络对应的对象特征。
5.根据权利要求4所述的方法，其特征在于，所述多任务模型还包括特征共享网络，所述基于每一任务网络对应的特征提取网络对样本对象的对象信息进行特征提取，得到样本对象与每一特征提取网络对应的过渡特征，包括：基于每一任务网络对应的特征提取网络以及所述特征共享网络对样本对象的对象信息进行特征提取，得到样本对象与每一任务网络以及所述特征共享网络对应的过渡特征；所述基于每一注意力网络对所述对象信息以及相对应的过渡特征进行注意力处理，得到样本对象与每一任务网络对应的对象特征，包括：基于每一注意力网络对所述对象信息、相应的过渡特征以及所述特征共享网络对应的过渡特征进行注意力处理，得到样本对象与每一任务网络对应的对象特征。6.根据权利要求5所述的方法，其特征在于，所述根据所述目标任务网络输出的第一预测值与所述行为标签对所述目标任务网络的参数进行更新，包括：根据所述目标任务网络输出的第一预测值与所述行为标签对所述目标任务网络、所述每一任务网络对应的特征提取网络、所述每一任务网络对应的注意力网络以及所述特征共享网络的参数进行更新；所述根据所述第二预测值与所述行为标签对所述目标任务网络之外的两个任务网络的参数进行更新，包括：根据所述第二预测值与所述行为标签对所述目标任务网络之外的两个任务网络、所述每一任务网络对应的特征提取网络、所述每一任务网络对应的注意力网络以及所述特征共享网络的参数进行更新。7.根据权利要求1至6中任一项所述的方法，其特征在于，当识别到所述样本对象的对象类型为干预类型时，所述根据所述对象类型在所述第一任务网络和所述第二任务网络中确定目标任务网络，包括：确定所述第一任务网络为目标任务网络；所述将所述对象特征分别输入至所述多任务模型中所述目标任务网络之外的两个任务网络，并根据所述目标任务网络之外的两个任务网络输出的输出值计算第二预测值，包括：将所述对象特征分别输入至所述第二任务网络和所述第三任务网络中，得到所述第二任务网络输出的第一概率值和所述第三任务网络输出的第二概率值；计算所述第一概率值和所述第二概率值的和，得到第二预测值。8.根据权利要求1至6中任一项所述的方法，其特征在于，当识别到所述样本对象的对象类型为对照类型时，所述根据所述对象类型在所述第一任务网络和所述第二任务网络中确定目标任务网络，包括：确定所述第二任务网络为目标任务网络；所述将所述对象特征分别输入至所述多任务模型中所述目标任务网络之外的两个任务网络，并根据所述目标任务网络之外的两个任务网络输出的输出值计算第二预测值，包括：将所述对象特征分别输入至所述第一任务网络和所述第三任务网络中，得到所述第一任务网络输出的第三概率值和所述第三任务网络输出的第四概率值；计算所述第三概率值和所述第四概率值的差，得到第二预测值。
9.根据权利要求1所述的方法，其特征在于，所述根据所述目标任务网络输出的第一预测值与所述行为标签对所述目标任务网络的参数进行更新，包括：根据所述目标任务网络输出的第一预测值与所述行为标签计算第一损失值；基于所述第一损失值对所述目标任务网络的参数进行更新；所述根据所述第二预测值与所述行为标签对所述目标任务网络之外的两个任务网络的参数进行更新，包括：根据所述第二预测值与所述行为标签计算第二损失值；基于所述第二损失值对所述目标任务网络之外的两个任务网络的参数进行更新。10.根据权利要求1所述的方法，其特征在于，所述根据所述第二预测值与所述行为标签对所述目标任务网络之外的两个任务网络的参数进行更新之后，还包括如下步骤：对所述多任务模型进行收敛检测；当检测到所述多任务模型未收敛，重新获取训练样本数据，识别所述训练样本数据中样本对象的对象类型，并根据所述对象类型在所述任务网络和所述第二任务网络中确定目标任务网络，将所述对象特征输入所述目标任务网络，并根据所述目标任务网络输出的第一预测值与所述行为标签对所述目标任务网络的参数进行更新；将所述对象特征分别输入至所述多任务模型中所述目标任务网络之外的两个任务网络，并根据所述目标任务网络之外的两个任务网络输出的输出值计算第二预测值；以及根据所述第二预测值与所述行为标签对所述目标任务网络之外的两个任务网络的参数进行更新；当检测到所述多任务模型收敛，终止模型训练过程并输出训练后的多任务模型。11.根据权利要求1所述的方法，其特征在于，所述获取待预测的目标对象的目标对象信息，并基于所述训练后的多任务模型对所述目标对象信息进行干预增益预测，得到所述目标对象的干预增益，包括：获取待预测的目标对象的目标对象信息；将所述目标对象信息输入所述训练后的多任务模型中的第三任务网络，得到所述第三任务网络输出的预测增益，并根据所述预测增益确定所述目标对象的干预增益。12.一种干预增益预测装置，其特征在于，所述装置包括：获取单元，用于获取多任务模型的训练样本数据，所述训练样本数据包括样本对象的对象特征以及行为标签，所述多任务模型包括预测对象在干预条件下行为概率的第一任务网络、预测对象在无干预条件时行为概率的第二任务网络以及预测干预条件导致对象行为概率增益的第三任务网络；识别单元，用于识别所述样本对象的对象类型，并根据所述对象类型在所述第一任务网络和所述第二任务网络中确定目标任务网络，所述样本对象类型包括干预类型或对照类型，所述干预类型的对象为施加了预设干预行为的对象；第一更新单元，用于将所述对象特征输入所述目标任务网络，并根据所述目标任务网络输出的第一预测值与所述行为标签对所述目标任务网络的参数进行更新；计算单元，用于将所述对象特征分别输入至所述目标任务网络之外的两个任务网络，并根据所述目标任务网络之外的两个任务网络输出的输出值计算第二预测值；以及第二更新单元，用于根据所述第二预测值与所述行为标签对所述目标任务网络之外的两个任务网络的参数进行更新，得到训练后的多任务模型；
预测单元，用于获取待预测的目标对象的目标对象信息，并基于所述训练后的多任务模型对所述目标对象信息进行干预增益预测，得到所述目标对象的干预增益。13.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1至11所述的干预增益预测方法。14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现根据权利要求1至11所述的干预增益预测方法。15.一种计算机程序产品，该计算机程序产品包括计算机程序，所述计算机程序被计算机设备的处理器读取并执行，使得该计算机设备执行根据权利要求1至11所述的干预增益预测方法。

技术总结
本公开提供了一种干预增益预测方法、装置、存储介质及计算机设备。干预增益预测方法包括：获取训练样本数据；识别样本对象的对象类型，并根据对象类型确定目标任务网络；将对象特征输入目标任务网络，并根据输出的第一预测值与行为标签对目标任务网络的参数进行更新；将对象特征分别输入至另外两个任务网络，并根据另外两个任务网络输出的输出值计算第二预测值；以及根据第二预测值与行为标签对目标任务网络之外的两个任务网络的参数进行更新，得到训练后的多任务模型；获取待预测的目标对象的目标对象信息，并基于训练后的多任务模型对目标对象信息进行干预增益预测，得到目标对象的干预增益。该方法可以提升干预增益预测的准确性。测的准确性。测的准确性。


技术研发人员：谈圳
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2023.08.18
技术公布日：2023/9/26