使用机器学习技术生成模板文档的计算方法和设备与流程

使用机器学习技术生成模板文档的计算方法和设备
1.本技术是申请日为2017年9月29日，申请号为201780079170.5，发明名称为“使用机器学习技术生成模板文档的计算方法和设备”的发明专利申请的分案申请。
技术领域
2.本公开一般涉及用于预测参与者之间会见(encounter)的文档的机器学习模型。


背景技术：

3.会议或其他会见的参与者通常会生成记录(document)会议的记录(record)或笔记。这些记录或笔记可以包括与会议中讨论的信息有关的信息和/或与未来会议相关联的信息。例如，医生通常通过生成与医生-患者会见相关联的访问笔记来记录医生与患者之间的医生-患者会见。这种访问笔记可以包括：与患者的病史有关的信息、在dpe期间医生和患者之间的讨论(例如，由患者报告的健康问题或症状)、医生的发现(例如，体检结果)、医生的诊断、建议的治疗计划、治疗计划的基本原理、医生的分析、患者的护理安排、患者的医疗需求、患者的非医疗需求、后续程序或计划(例如，额外的测试或研究、后续预约、转诊到专科医生等)和/或通常与dpe或患者有关的任何其他合适的信息。
4.生成这种笔记会消耗大量时间和资源。此外，手动地生成的笔记(例如，打字、手写等)可能包括错误。例如，由医生生成的包含这种错误的访问笔记可能会导致可能危及患者安全的临床错误。已经引入了各种工具和技术来帮助生成这种笔记，并且提高记录笔记的准确度。这种用于访问笔记辅助的传统技术包括提供可以用于生成合适笔记的模板。进一步的技术包括将自动填充信息包括在访问笔记中。然而，这种自动填充技术可能是不准确的和/或低效的。


技术实现要素：

5.本公开的实施例的方面和优点将部分地在以下描述中阐述，或者可以从描述中习得，或者可以通过实践实施例而习得。
6.本公开的一个示例方面涉及一种用于预测与参与者之间的会见相关联的文档的计算机实现的方法。所述方法包括：通过一个或多个计算设备获得参与者数据，所述参与者数据指示与主题会见的第一参与者相关联的一个或多个先前生成的访问笔记。所述方法还包括通过一个或多个计算设备将参与者数据输入到包括神经网络的机器学习笔记预测模型中。所述方法还包括通过一个或多个计算设备接收作为机器学习笔记预测模型的输出的指示预测访问笔记的数据，所述预测访问笔记包括预期将被包括在后续生成的与第一参与者相关联的访问笔记中的预测信息集合。
7.参与者数据可以包括指示第一参与者的一个或多个先前生成的访问笔记的数据，每个先前生成的访问笔记与第一参与者的先前会见相关联。参与者数据还包括与第一参与者和第二参与者之间的主题会见相关联的数据。与主题会见相关联的数据可以包括在生成与主题会见相关联的访问笔记之前提供给用户计算设备的数据。第一参与者可以是与主题
会见相关联的患者，而第二参与者可以是与主题会见相关联的医生，并且参与者数据包括与患者的病史相关的数据。预测信息可以包括至少部分地基于参与者数据预期将被包括在与主题会见相关联的后续生成的访问笔记中的实质信息。神经网络可以包括长短期记忆循环神经网络。所述方法还可以包括：通过一个或多个计算设备接收一个或多个上下文向量作为神经网络的输出；以及通过一个或多个计算设备将一个或多个上下文向量输入到笔记预测模型的第二神经网络中。通过一个或多个计算设备接收指示预测访问笔记的数据可以包括接收指示预测访问笔记的数据作为第二神经网络的输出。通过一个或多个计算设备接收指示预测访问笔记的数据可以包括接收一个或多个预测向量作为第二神经网络的输出，所述一个或多个预测向量描述潜在地包括在预测访问笔记中的信息。所述方法还可以包括：通过一个或多个计算设备提供一个或多个预测向量作为笔记预测模型的建议模型的输入；通过一个或多个计算设备提供指示用户输入的第一文本条目的数据作为建议模型的输入；以及通过一个或多个计算设备接收一个或多个建议文本条目作为建议模型的输出，所述一个或多个建议文本条目至少部分地基于一个或多个预测向量和指示第一文本条目的数据来确定。所述方法还可以包括：通过一个或多个计算设备基于训练数据集合训练笔记预测模型；其中，通过一个或多个计算设备训练笔记预测模型包括由一个或多个计算设备通过笔记预测模型反向传播损失函数。训练数据可以包括指示多个全局访问笔记的数据。训练数据可以包括指示多个医生特定访问笔记的数据。
8.本公开的其他示例方面涉及用于可以根据上述示例方面预测访问笔记的系统、装置、有形非暂时性计算机可读介质、用户界面、存储器设备和电子设备。
9.本公开的另一示例方面涉及一种预测与人之间的通信相关联的文本的计算机实现的方法，该方法包括：由一个或多个计算设备获得指示第一人和第二人之间的主题通信的第一数据；由一个或多个计算设备将第一数据输入到包括第一神经网络和第二神经网络的机器学习通信辅助模型中；由一个或多个计算设备生成一个或多个上下文向量作为第一神经网络的输出；由一个或多个计算设备将一个或多个上下文向量输入到第二神经网络中；以及由一个或多个计算设备接收指示与第一人的后续通信相关联的预测文本输出的数据作为机器学习通信辅助模型的输出。
10.本公开的再一示例方面涉及一种计算系统，包括：一个或多个处理器；和一个或多个存储器设备，所述一个或多个存储器设备存储计算机可读指令，当所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行操作，所述操作包括：获得指示第一人和第二人之间的主题通信的第一数据；将第一数据输入到包括第一神经网络和第二神经网络的机器学习通信辅助模型中；生成一个或多个上下文向量作为第一神经网络的输出；将一个或多个上下文向量输入到第二神经网络中；以及接收指示第一人的后续通信的预测文本输出的数据作为机器学习通信辅助模型的输出。
11.本公开的又一示例方面涉及一种预测与人之间的通信相关联的文本的计算机实现的方法，该方法包括：由一个或多个计算设备获得指示第一人和第二人之间的主题通信的第一数据；由一个或多个计算设备将第一数据输入到包括一个或多个神经网络的机器学习通信辅助模型中；由一个或多个计算设备接收一个或多个预测向量作为一个或多个神经网络中的至少一个神经网络的输出，所述一个或多个预测向量描述潜在地将被包括在预测文本输出中的信息；由所述一个或多个计算设备提供一个或多个预测向量作为对通信辅助
模型的建议模型的输入；以及由一个或多个计算设备接收指示第一人的后续通信的预测文本输出的数据作为机器学习通信辅助模型的输出。
12.参照以下描述和所附权利要求，将更好地理解各种实施例的这些和其他特征、方面和优点。包含在本说明书中并且构成其一部分的附图示出了本公开的实施例，并且与说明书一起用于解释相关原理。
附图说明
13.在说明书中参照附图针对本领域普通技术人员阐述了实施例的详细讨论，在附图中：
14.图1描绘了根据本公开的示例性实施例的示例系统；
15.图2至图3描绘了根据本公开的示例性实施例的示例性机器学习笔记预测模型；
16.图4描绘了根据本公开的示例性实施例的预测访问笔记的示例方法的流程图；
17.图5描绘了根据本公开的示例性实施例的生成访问笔记的示例方法的流程图；以及
18.图6描绘了根据本公开的示例性实施例的训练笔记预测模型的示例方法的流程图。
具体实施方式
19.现在将详细参照实施例，其一个或多个示例在附图中示出。通过解释实施例来提供每个示例，而不是限制本公开。实际上，对于本领域技术人员将明显的是，在不脱离本公开的范围或精神的情况下，可以对实施例进行各种修改和变化。例如，作为一个实施例的一部分示出或描述的特征可以与另一实施例一起使用，以产生又一实施例。因此，意图是本公开的各个方面涵盖这些修改和变化。
20.本公开的示例方面涉及机器学习模型，其被配置为生成与两个或更多参与者之间的会见(例如，会面、约会、面试等)相关联的预测文档。这种机器学习模型可以用于生成与参与者之间的会见有关的预测访问笔记。当在本文使用时，术语“访问笔记”可以是指与参与者之间的会见有关的任何合适的文档。作为示例，会见可以是医生的预约，并且会见的参与者可以包括医生和患者。医生通常在医生-患者会见(dpe)之后生成访问笔记，诸如预约、检查、身体(physical)等。访问笔记可以记录与患者和/或dpe有关的信息。例如，访问笔记可以记录以下信息，诸如患者的病史、医生和患者在dpe期间的讨论(例如，患者报告的健康问题或症状)、医生的发现(例如，体检结果)、医生的诊断、建议的治疗计划、治疗计划的基本原理、医生的分析、患者的护理安排、患者的医疗需求、患者的非医疗需求、后续程序或计划(例如，额外的测试或研究、候选预约、转诊到专科医生等)和/或通常与dpe或患者有关的任何其他合适的信息。这种访问笔记可以由医生在dpe之后常规地(matter of course)产生并且包括在患者的医疗记录中。
21.以此方式，本公开的示例方面提供了利用机器学习来生成与第一参与者(例如，患者)和第二参与者(例如，医生)之间的会见相关联的自动预测访问笔记的系统和方法。尽管关于生成与dpe相关联的预测访问笔记来讨论本公开，但是将意识到，本公开的示例方面可以用于任何合适的模板应用中。例如，可以训练本公开的机器学习模型以生成与任何合适
的会见相关联的任何合适形式的预测文本输出。以这种方式，本公开的各方面可以用于生成律师和客户、雇主和雇员、社会工作者和客户、访调员和受访者之间的会见和/或两个或更多个人之间的任何其他合适的会见的预测文档。
22.更具体地，本公开的系统和方法可以包括并且使用机器学习笔记预测模型，其被训练为接收与第一参与者(例如，患者)和第二参与者(例如，医生)之间的主题会见有关的第一参与者相关联的信息，并且至少部分地基于与第一参与者相关联的信息来生成记录该会见的预测文本输出。预测文本输出可以包括预期被包括在描述会见的合适文档中的预测信息。以这种方式，可以获得与第一参与者相关联的参与者数据。例如，在会见是医生和患者之间的dpe的实现方式中，参与者数据可以包括与患者相关联的患者数据。患者数据可以包括任何合适的患者数据。例如，这种患者数据可以指示分别与患者的一个或多个先前dpe相关联的一个或多个先前访问笔记。作为另一示例，患者数据可以包括与患者的病史或记录相关联的任何合适的结构化或非结构化数据。作为另一示例，患者数据可以包括从一个或多个环境和/或消费者传感器获得的数据。例如，这种患者数据可以包括从与患者相关联的可穿戴计算设备相关联的生物识别传感器获得的数据(例如，心率数据或其他数据)。
23.可以在提供患者的同意之后接收患者数据，从而允许使用这种患者数据。以这种方式，可以在接收这样的患者同意的情况下执行本公开的示例方面。在一些实现方式中，可以在使用之前或之后以一种或多种方式处理患者数据，以便永久地移除或不存储个人可识别信息。
24.响应于接收患者数据，笔记预测模型可以输出与患者相关联的预测访问笔记。例如，预测访问笔记可以与医生和患者之间的主题dpe相关联。主题dpe可以是尚未生成访问笔记的医生和患者之间发生的dpe。预测访问笔记可以包括预期被包括在与由医生来生成的医生和患者之间的dpe相关联的后续访问笔记中的信息。
25.更具体地，机器学习笔记预测模型可以包括一个或多个神经网络(例如，深度神经网络)。神经网络可以是循环神经网络，诸如长短期记忆(lstm)神经网络、门控循环单位(gru)神经网络或其他形式的神经网络。在一个示例中，计算设备可以获得描述与患者相关联的一个或多个先前访问笔记的患者数据。在一些实现方式中，计算设备还可以获得与主题dpe有关的患者数据。与主题dpe有关的患者数据可以与医生(或其他人)输入的与主题dpe相关的信息相关联。更具体地，与主题dpe相关的患者数据可以与尚未记录在访问笔记中的信息相关联。计算设备可以将患者数据(例如，指示一个或多个先前笔记的患者数据和/或与主题dpe相关的患者数据)输入到笔记预测模型中，并且可以接收预测笔记作为笔记预测模型的输出。
26.如所指示地，由笔记预测模型生成的预测访问笔记可以包括预期被包括在与患者相关联的后续访问笔记中的预测信息。预测访问笔记可以包括由笔记预测模型确定的实质信息。例如，这种实质性信息可以包括未被包括在患者数据中的信息。可以至少部分地基于与患者相关联的患者数据来确定这种预测信息。这种预测信息可以进一步至少部分地基于下述来确定：由医生来生成的一个或多个先前访问笔记(例如，对于任何合适数量的患者)和/或由各种其他合适的医生为各种其他合适的患者生成的一个或多个先前访问笔记。
27.例如，这种预测信息可以包括与下述有关的信息：患者的病史、患者报告的或预期由患者报告的症状或健康问题、预测的诊断、预测的治疗计划、预测治疗计划的基本原理、
预测的分析、预测的患者的护理安排、预测的患者的医疗需求、预测的患者的非医疗需求、预测的后续程序或计划，和/或通常与主题dpe或患者相关的其他合适的预测信息。以这种方式，预测访问笔记可以包括通过笔记预测模型至少部分地基于下述学习的信息：患者数据、由医生生成的一个或多个先前的访问笔记(例如，对于任何合适数量的患者)、由各种其他合适的医生为各种其他合适的患者生成的一个或多个先前访问笔记和/或与患者、一个或多个其他患者和/或医生相关联的其他合适的结构化或非结构化数据。在至少部分地基于与主题dpe相关联的医生输入的患者数据来确定预测访问笔记的实现方式中，预测笔记可以包括与这种输入患者数据相关联的信息。例如，如果这种患者数据包括患者提供的症状列表(例如，在主题dpe期间或在主题dpe之前，诸如在安排与医生预约的电话呼叫期间)，则预测笔记可以包括症状列表。在这样的实现方式中，可以至少部分地基于患者提供的症状来确定预测信息(例如，预测诊断、治疗计划等)。
28.可以生成预测访问笔记，使得包括在预测笔记中的信息以语法和/或句法正确的形式提供。例如，笔记预测模型可以被配置为生成单词、短语、句子、段落、文章等，其共同地提供可以由医生分析的连贯的、易于理解的、语法正确的访问笔记。例如，在一些实现方式中，预测笔记可以通过笔记预测模型逐个词地合成，以构造语法正确的句子结构，提供后续访问笔记的预测信息。
29.在一些实现方式中，可以至少部分地基于由医生生成的一个或多个先前访问笔记来确定预测访问笔记。更具体地，可以生成预测访问笔记，使得以至少部分地基于由医生生成的先前访问笔记确定的格式和/或样式提供在预测笔记中提供的信息。例如，预测访问笔记可以具有模拟或模仿医生生成的一个或多个先前访问笔记的格式(例如，包括在预测笔记中的信息的布置或配置)、样式(例如，书写风格，诸如词汇、句子结构、段落结构等)、上下文等。以这种方式，预测笔记可以适合于医生先前使用的特定格式、程式化等。
30.如所指示地，笔记预测模型可以包括一个或多个神经网络(例如，前馈神经网络、循环神经网络)。在一些实现方式中，笔记预测模型可以包括两个阶段。每个阶段可以包括神经网络。特别地，在第一阶段，计算设备可以将患者数据和/或其他输入数据集合输入到第一神经网络(例如，lstm网络)。响应于接收到患者数据，第一神经网络可以输出上下文向量。上下文向量可以指定包括在患者数据中的信息。例如，上下文向量可以是语法不可知的，使得上下文向量捕获包括在患者数据中的信息的一般要点，而不考虑信息的语法或程式化。
31.在笔记预测模型的第二阶段中，上下文向量可以进入第二神经网络(例如，lstm网络)。根据本公开的示例方面，第二神经网络可以输出与患者相关联的预测访问笔记。
32.在一些实现方式中，第二神经网络可以被配置为输出多个笔记预测向量。笔记预测向量可以描述潜在地包括在后续访问笔记中的信息。可以将笔记预测向量提供给建议模型，该建议模型被配置为在医生(或其他人)正在生成访问笔记时向医生(或其他人)提供访问笔记建议。建议模型可以是机器学习模型，其包括一个或多个隐马尔可夫模型、支持向量机、神经网络(例如，前馈神经网络、循环神经网络，诸如lstm循环神经网络)、基于短语的翻译器、序列到序列模型或其他合适的模型。例如，医生可以将第一文本条目输入到合适的用户界面中。可以将第一文本条目作为输入与笔记预测向量一起提供给建议模型，并且建议模型可以作为输出提供用于完成文本条目的一个或多个建议文本条目。然后，医生可以选
择一个或多个建议文本条目以完成文本输入。以这种方式，完成的文本条目可以包括与用户提供的第一文本条目和由建议模型提供的选择的建议文本条目相关联的信息。
33.本文描述的机器学习模型可以使用合适的训练数据来训练，诸如作为示例，由多个患者的多个医生生成的全局访问笔记集合，以及由医生先前生成的医生特定访问笔记集合。更具体地，训练计算系统可以使用训练数据集来训练笔记预测模型，该训练数据集包括多个全局访问笔记和多个医生特定访问笔记。
34.在一些实现方式中，为了训练笔记预测模型，将训练数据集合的第一子集(例如，指示一个或多个全局访问笔记和/或一个或多个医生特定访问笔记的数据)输入到要训练的笔记预测模型中。响应于接收到这样的第一部分，笔记预测模型输出预测笔记，至少部分地基于训练数据的第一子集来预测后续访问笔记。在这样的预测之后，训练计算系统可以应用或另外地确定损失函数，将由笔记预测模型输出的预测访问笔记与笔记预测模型试图预测的训练数据的实际后续访问笔记进行比较。在一些实现方式中，训练计算系统可以通过笔记预测模型反向传播(例如，通过随时间执行截断的反向传播)损失函数。在一些实现方式中，训练计算系统可以一次性地确定整个小批量训练数据的损失函数。
35.在一些实现方式中，为了获得本文描述的技术的益处，可能要求用户(例如，会见参与者，诸如患者、医生、客户、雇员、雇主等)允许定期收集和分析描述与用户相关联的一个或多个会见的访问笔记。因此，可以向用户提供是否同意本公开的系统和方法收集和/或分析这些信息以及收集和/或分析这些信息的程度(how much)的机会。然而，如果用户不允许收集和使用这样的信息，则用户可能不会从本文描述的技术中获益。另外，在一些实施例中，可以在使用之前或之后以一种或多种方式处理特定信息或数据，以便永久地移除或不存储个人可识别信息。
36.现在参照附图，将更详细地讨论本公开的示例方面。例如，图1描绘了根据本公开的示例方面的用于预测访问笔记的示例系统100。系统100包括通过网络180通信地耦合的用户计算设备102、服务器计算系统130和训练计算系统150。
37.用户计算设备102可以是任何类型的计算设备，诸如，例如，个人计算设备(例如，膝上型或桌面型)、移动计算设备(例如，智能电话或平板)，游戏控制台或控制器、可穿戴计算设备、嵌入式计算设备或任何其他类型的计算设备。
38.用户计算设备102包括一个或多个处理器112和存储器114。一个或多个处理器112可以是任何合适的处理设备(例如，处理器核、微处理器、asic、fpga、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器114可以包括一个或多个非暂时性计算机可读存储介质，诸如ram、rom、eeprom、eprom、闪存设备、磁盘等及其组合。存储器114可以存储由处理器112执行的数据116和指令118，以使用户计算设备102执行操作。
39.用户计算设备102可以存储或包括一个或多个笔记预测模型120。例如，笔记预测模型120可以是或可以另外地包括各种机器学习模型，诸如神经网络(例如，深度神经网络)或其他多层非线性模型。神经网络可以包括循环神经网络(例如，长短期记忆循环神经网络)、前馈神经网络或其他形式的神经网络。参照图2和图3讨论示例笔记预测模型120。
40.在一些实现方式中，一个或多个笔记预测模型120可以通过网络180从服务器计算系统130接收、存储在用户计算设备存储器114中并且由一个或多个处理器112使用或实现。在一些实现方式中，用户计算设备102可以实现单个笔记预测模型120的多个并行实例。
41.更具体地，笔记预测模型120可以用于模板化(templating)与患者和/或医生相关联的预测访问笔记。例如，预测访问笔记可以与医生和患者之间的主题dpe相关联。主题dpe可以是即将发生的dpe(例如，已安排的dpe)或已发生的dpe。以这种方式，笔记预测模型120可以生成预测访问笔记以供医生或其他人审查(review)。可以训练笔记预测模型120以确定患者的预测访问笔记。更具体地，用户计算设备102可以提供患者数据作为笔记预测模型120的输入，并且笔记预测模型120可以至少部分地基于患者数据提供预测访问笔记作为输出。患者数据可以包括指示与患者和一个或多个医生之间的一个或多个先前dpe相关联的一个或多个先前访问笔记的数据。患者数据还可以包括与主题dpe相关联的数据。例如，这样的数据可以包括与主题dpe相关联地(在主题dpe之前或在主题dpe之后)记录的、与患者相关联的任何合适的数据。这种数据可以由任何合适的用户输入到用户计算设备102或其他计算设备。
42.笔记预测模型120可以在与用户计算设备102相关联的各种合适的应用中使用。例如，笔记预测模型120可以在与访问笔记的模板相关联的合适应用的上下文中使用。作为另一示例，笔记预测模型120可以被包括作为与用户设备102相关联的浏览器插件或基于web的应用。
43.附加地或可选地，一个或多个笔记预测模型140可以包括在服务器计算系统130中或另外地由服务器计算系统130存储和实现，服务器计算系统130根据客户端-服务器关系与用户计算设备102通信。例如，笔记预测模型140可以由服务器计算系统140实现为网络服务的一部分(例如，访问笔记模板服务)。因此，可以在用户计算设备102处存储和实现一个或多个模型120和/或可以在服务器计算系统130处存储和实现一个或多个模型140。
44.用户计算设备102还可以包括接收用户输入的一个或多个用户输入组件122。例如，用户输入组件122可以是对用户输入对象(例如，手指或指示笔)的触摸敏感的触敏(touch-sensitive)组件(例如，触敏显示屏或触摸板)。触敏组件可用于实现虚拟键盘。其他示例用户输入组件包括适用于语音识别的麦克风、传统键盘、鼠标或用户可通过其进入通信的其他装置。
45.服务器计算系统130包括一个或多个处理器132和存储器134。一个或多个处理器132可以是任何合适的处理设备(例如，处理器核、微处理器、asic、fpga、控制器、微控制器)，并且可以是一个处理器或可操作地连接的多个处理器。存储器134可以包括一个或多个非暂时性计算机可读存储介质，诸如ram、rom、eeprom、eprom、闪存设备、磁盘等及其组合。存储器134可以存储数据136和指令138，其由处理器132执行以使服务器计算系统130执行操作。
46.在一些实现方式中，服务器计算系统130包括一个或多个服务器计算设备，或者另外地由一个或多个服务器计算设备实现。在服务器计算系统130包括多个服务器计算设备的情况下，这样的服务器计算设备可以根据顺序计算体系结构、并行计算体系结构或其某种组合来操作。
47.如上所述，服务器计算系统130可以存储或另外地包括一个或多个机器学习笔记预测模型140。例如，笔记预测模型140可以是或可以另外地包括各种机器学习模型，诸如神经网络(例如，深度循环神经网络)或其他多层非线性模型。参照图2和图3讨论示例通信辅助模型140。
48.服务器计算系统130可以经由与通过网络180通信地耦合的训练计算系统150的交互来训练通信辅助模型140。训练计算系统150可以与服务器计算系统130分离或者可以是服务器计算系统130的一部分。
49.训练计算系统150包括一个或多个处理器152和存储器154。一个或多个处理器152可以是任何合适的处理设备(例如，处理器核、微处理器、asic、fpga、控制器、微控制器)，并且可以是一个处理器或可操作地连接的多个处理器。存储器154可以包括一个或多个非暂时性计算机可读存储介质，诸如ram、rom、eeprom、eprom、闪存设备、磁盘等及其组合。存储器154可以存储数据156和指令158，其由处理器152执行以使训练计算系统150执行操作。在一些实现方式中，训练计算系统150包括一个或多个服务器计算设备或另外地由一个或多个服务器计算设备实现。
50.训练计算系统150可以包括模型训练器160，其使用各种训练或学习技术(例如，例如，错误的向后传播)来训练存储在服务器计算系统130处的机器学习模型140。在一些实现方式中，执行错误的向后传播可以包括通过时间执行截断的反向传播。模型训练器160可以执行多种通用技术(例如，权值衰减、丢失等)以改进正在训练的模型的泛化(generalization)能力。
51.特别地，模型训练器160可以基于训练数据142集合训练笔记预测模型140。训练数据142可以包括例如指示与多个医生和多个患者之间的多个dpe相关联的多个全局访问笔记的数据。训练数据142还可以包括由医生生成的与医生和多个患者之间的多个dpe相关联的多个医生特定访问笔记。在一些实现方式中，可以根据患者、医生或与相应访问笔记相关联的其他合适的分组度量来对全局访问笔记进行分组。例如，可以按照与患者相关联的dpe的时间顺序将一组全局访问笔记按顺序分组。类似地，可以按照dpe的时间顺序根据患者或其他合适的分组度量对医生特定笔记进行分组。
52.在一些实现方式中，如果用户已经提供了同意，则训练示例可以由用户计算设备102提供(例如，基于由用户计算设备102的用户先前提供的访问笔记)。因此，在这样的实现方式中，提供给用户计算设备102的模型120可以通过训练计算系统150对从用户计算设备102接收的用户特定通信数据来训练。在一些情况下，该处理可以被称为个性化模型。
53.模型训练器160包括用于提供所需功能的计算机逻辑。模型训练器160可以以控制通用处理器的硬件、固件和/或软件来实现。例如，在一些实现方式中，模型训练器160包括存储在存储设备上、加载到存储器中以及由一个或多个处理器执行的程序文件。在其他实现方式中，模型训练器160包括一组或多组计算机可执行指令，其存储在有形计算机可读存储介质中，诸如ram硬盘或光学或磁性介质。
54.网络180可以是任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，互联网)或其某种组合，并且可以包括任何数量的有线或无线链路。通常，通过网络180的通信可以使用各种通信协议(例如，tcp/ip、http、smtp、ftp)、编码或格式(例如，html、xml)和/或保护方案(例如，vpn、安全http、ssl)经由任何类型的有线和/或无线连接来承载。
55.图1示出了可以用于实现本公开的一个示例计算系统。也可以使用其他计算系统。例如，在一些实现方式中，用户计算设备102可以包括模型训练器160和训练数据集162。在这样的实现方式中，可以在用户计算设备102对通信辅助模型120进行训练和本地使用两者。在这样的实现方式中，用户计算设备102可以实现模型训练器160以基于用户特定数据
来个性化通信辅助模型120。
56.图2描绘了根据本公开的示例性实施例的示例笔记预测模型200的框图。在一些实现方式中，笔记预测模型200可以被配置为接收患者数据集合，其描述为一个或多个先前dpe生成的一个或多个访问笔记和/或与患者相关的主题dpe相关联的信息。可以训练笔记预测模型以响应于患者数据的接收而输出一个或多个预测访问笔记。在一些实现方式中，患者数据集合可以是顺序患者数据集合。例如，顺序患者数据可以按照生成它们的顺序(例如，对应于dpe的时间顺序)来描述访问笔记。
57.笔记预测模型200包括解释器202和预测器204。解释器202可以包括一个或多个神经网络(例如，深度神经网络)。例如，解释器202可以包括一个或多个循环神经网络，例如例如，lstm循环神经网络、门控循环单元网络或其他合适的网络。在其他实现方式中，对于一个或多个神经网络另外地或可选地，笔记预测模型200的解释器202可以包括其他形式的机器学习模型，诸如例如，支持向量机、隐马尔可夫模型和其他机器学习分类器。另外，在一些实现方式中，解释器202可以包括或实现另外的可选的方法，例如，基于规则的系统(例如，从数据机器学习或手动创建)。
58.可以在训练数据集上训练解释器202的一个或多个神经网络或其他机器学习模型，训练数据集包括例如训练访问笔记(例如，全局访问笔记和/或医生特定访问笔记)。训练数据集可以包括任何合适的结构化或非结构化数据或者与用户的病史或记录相关的信息。在一些实现方式中，训练数据可以包括从一个或多个环境和/或消费者传感器获得的数据。例如，这种训练数据可以包括从与患者相关联的可穿戴计算设备相关联的生物识别传感器获得的数据。如所指示地，在一些实现方式中，可以在接收到与训练数据相关联的相应患者的同意的情况下接收这样的训练数据。以这种方式，可以为这些患者提供控制是否收集这些数据和/或分析数据的方式的机会。如所指示地，训练数据可以包括根据dpe按时间顺序排序的访问笔记的顺序集合。在一些实现方式中，训练数据可以按照医生和/或患者分组。例如，训练数据的子集可以包括指示响应于多个dpe为患者(例如，由一个或多个医生)生成的多个按时间顺序排列的访问笔记的数据。作为另一示例，训练数据的子集可以包括指示由特定医生生成的多个(例如，按时间顺序排序的)访问笔记的数据。
59.以这种方式，解释器202可以被训练成为患者识别和/或解释患者数据中包括的信息(例如，访问笔记或其他合适的通信)。例如，解释器202可以被训练成输出描述作为输入提供给解释器202的一个或多个输入访问笔记的一个或多个上下文向量。上下文向量可以指定访问笔记和/或其他患者数据中包括的信息。在一些实现方式中，上下文向量可以以语法和/或格式化不可知的方式指定这种信息。上下文向量可以提供包括在一个或多个访问笔记的至少一部分中的一般信息要点。
60.笔记预测模型200还可以包括预测器204。预测器204可以包括一个或多个神经网络(例如，深度神经网络)。例如，预测器204可以包括一个或多个循环神经网络，诸如例如，lstm循环神经网络、门控循环单元网络或其他合适的网络。在其他实现方式中，对于一个或多个神经网络另外地或可选地，笔记预测模型200的解释器242可以包括其他形式的机器学习模型，诸如例如，支持向量机、隐马尔可夫模型和其他机器学习分类器。另外，在一些实现方式中，解释器202可以包括或实现其他另外的可选的方法，诸如，基于规则的系统(例如，从数据机器学习或手动创建)。
61.可以将解释器202的输出提供给预测器204。根据本公开的示例方面，可以在合适的训练数据集上训练预测器204的一个或多个神经网络或其他机器学习模型。例如，训练数据集可以是与用于训练解释器202的数据集相同的数据集或类似的数据集。以这种方式，训练数据集可以包括指示一个或多个全局访问笔记和/或一个或多个医生特定访问笔记的数据。
62.作为接收解释器202的上下文向量或其他输出的结果，预测器204可以被训练成输出一个或多个预测访问笔记。以这种方式，预测器204可以至少部分地基于提供给解释器202的患者数据输出预测访问笔记。在一些实现方式中，预测器204可以被配置为生成预测访问笔记，其预测将包括在为用户生成的后续访问笔记中的信息(例如，对于主题dpe)。如所指示地，这种预测信息可以包括与病史、预测的症状、预测的治疗计划、预测的检查结果、预测的讨论等相关的信息，这些信息预期包括在患者的后续访问笔记中。
63.在一些实现方式中，预测器204可以被配置为生成预测访问笔记，其根据由特定医生生成的一个或多个先前访问笔记来格式化。例如，在与由医生生成的多个先前访问笔记相关联的训练数据上训练笔记预测模型200的实现方式中(例如，训练是针对医生个性化的实现方式中)，预测器204可以被训练成学习和预测医生在生成此类先前访问笔记时使用的合适格式化、程式化、语法等。然后，预测器204可以被训练成根据这种学习的格式化、程式化、语法等输出预测访问笔记。以这种方式，预测器204可以被训练成输出包括根据医生先前生成的访问笔记格式化和书写(written)的预测信息的预测访问笔记。
64.可以在与医生相关联的用户计算设备(例如，图1中描绘的用户计算设备102)的显示器上输出预测访问笔记。医生或其他合适的人可以审查预测访问笔记，并且可以通过与用户设备的交互对访问笔记进行任何期望的改变或添加。以这种方式，预测访问笔记可以被呈现为与主题dpe相关联的基线或模板访问笔记。
65.图3描绘了根据本公开的示例性实施例的示例笔记预测模型210的框图。除了模型210包括建议模型216之外，笔记预测模型210类似于图2中描绘的预测模型200。更具体地，笔记预测模型210包括解释器212和预测器214。解释器212可以被配置和训练成接收与患者相关联的患者数据作为输入并且提供与患者数据相关联的一个或多个上下文向量作为输出。预测器214可以被配置和训练成接收上下文向量作为输入，并且生成一个或多个预测向量作为输出。预测向量可以描述潜在地包括在与患者相关联的后续访问笔记中的信息。例如，预测向量可以描述与后续访问笔记相关联的预测信息(例如，病史、预测的症状、预测的治疗计划等)。
66.可以将预测向量作为输入提供给建议模型216。建议模型216可以包括一个或多个神经网络(例如，深度神经网络)。例如，建议模型216可以包括一个或多个循环神经网络，诸如例如，lstm循环神经网络、门控循环单元网络或其他合适的网络。在其他实现方式中，对于一个或多个神经网络另外地或可选地，笔记预测模型210的建议模型216可以包括其他形式的机器学习模型，诸如例如，支持向量机、隐马尔可夫模型以及其他机器学习分类器。另外，在一些实现方式中，笔记预测模型216可以包括或实现其他另外的可选的方法，诸如基于规则的系统(例如，从数据机器学习或手动创建)。
67.建议模型216可以被配置为从预测器214接收预测矢量作为输入。在一些实现方式中，建议模型216可以被配置为接收由用户输入的一个或多个文本条目，例如，通过与和笔
记预测模型210相关联的用户计算设备的交互。文本条目可以包括一个或多个字符、符号、单词、短语、句子等。例如，文本条目可以是用户输入的不完整的单词、句子、短语等。以这种方式，当用户输入文本条目时，可以实时或接近实时地将文本条目提供给建议模型216。例如，当用户输入条目时，文本条目可以顺序地(例如，逐个字符地，逐个单词地等)提供给建议模型216。当建议模型216接收文本条目时，建议模型216可以至少部分地基于预测向量根据预测向量来分析文本条目，以确定一个或多个建议文本条目。更具体地，可以确定一个或多个建议文本条目，使得建议文本条目可以用于完成用户提供的文本条目。
68.可以将一个或多个建议文本条目提供给用户，例如，在用户与之交互(例如，输入文本条目)的用户界面中。用户可以根据需要选择建议文本条目，以便于用户计算设备确定完成的文本输入。例如，完成的文本条目可以是用户输入的文本条目和选择的建议文本条目的组合。作为另一示例，完成的文本条目可以是至少部分地基于输入文本条目和选择的建议文本条目确定的新文本条目，以捕获包括在输入和选择的建议文本条目中的信息。
69.图4描绘了根据本公开的示例方面的预测访问笔记的示例方法(300)的流程图。方法(300)可以由一个或多个计算设备实现，诸如图1中描绘的一个或多个计算设备。另外，图4描绘了出于说明和讨论的目的以特定顺序执行的步骤。使用本文提供的公开内容，本领域普通技术人员将理解，在不脱离本公开的范围的情况下，可以以各种方式调整、重新布置、扩展、省略或修改本文所讨论的任何方法的步骤。
70.在(302)，方法(300)可以包括获得与第一参与者和第二参与者之间的主题会见的第一参与者相关联的参与者数据集合。例如，第一参与者可以是与dpe相关联的患者，而第二参与者可以是与dpe相关联的医生。在这种情况下，参与者数据可以包括与患者相关联的患者数据。患者数据可以包括描述先前为患者生成的一个或多个访问笔记的数据。每个访问笔记可以与患者和医生之间的特定dpe相关联。在一些实现方式中，可以至少部分地基于访问笔记的生成顺序来顺序地布置患者数据。例如，描述在第一时间生成的第一访问笔记的数据可以被布置在描述在相对于第一时间的后续时间生成的第二访问笔记的数据之前。在一些实现方式中，患者数据还可以包括与患者和医生之间的主题dpe相关联的数据。
71.在(304)，方法(300)可以包括将参与者数据作为输入提供给机器学习笔记预测模型。例如，用户计算设备可以将患者数据集合输入到本地机器学习笔记预测模型中。作为另一示例，用户计算设备可以通过网络将患者数据发送到服务器计算设备，并且服务器计算设备可以将患者数据输入到存储在服务器计算设备处的机器学习笔记预测模型中。在笔记预测模型存储在服务器计算设备处的实现方式中，患者数据可以存储在服务器计算设备或其他合适的位置处。例如，指示一个或多个访问笔记的数据可以存储在服务器计算设备处和/或存储在通信地耦合到服务器计算设备的用户计算设备处。
72.在一些实现方式中，将参与者数据作为输入提供给笔记预测模型可以包括提供用于输入到笔记预测模型中的文本串。例如，可以根据要读取第一访问笔记的顺序将与第一访问笔记相关联的患者数据提供为第一文本串。然后，可以根据要读取第二访问笔记的顺序，将与第二访问笔记相关联的患者数据作为第二文本串提供给笔记预测模型。如所指示地，可以根据生成访问笔记的顺序将患者数据进一步提供给笔记预测模型。将意识到，在不脱离本公开的范围的情况下，可以以任何合适的方式将患者数据提供给笔记预测模型。
73.在一些实现方式中，可以将其他合适的数据提供给笔记预测模型作为输入。例如，
这种其他数据可以包括与以下相关联的数据：与多个患者相关联的全局访问笔记集合、由dpe中涉及的医生生成的医生特定访问笔记集合、与多个患者和/或医生相关联的其他合适的结构化或非结构化信息，或其他数据。以这种方式，将意识到，任何合适的信息可以作为输入提供给笔记预测模型以生成预测访问笔记。
74.在(306)，方法(300)可以包括接收指示与第一参与者和第二参与者相关联的预测访问笔记的数据作为笔记预测模型的输出。预测访问笔记可以包括至少部分地基于输入参与者数据(例如，患者的先前访问笔记)预期将被包括在第一参与者的后续访问笔记中的预测信息。在一些实现方式中，预测访问笔记可以包括被定制为第二参与者(例如，医生)使用的格式、程式化、语法等的这种预测信息。例如，可以至少部分地基于医生为一个或多个患者生成的一个或多个先前访问笔记来生成预测访问笔记。以这种方式，可以在适当的训练集上训练笔记预测模型以输出合适的预测笔记。将关于图6更详细地讨论笔记预测模型的训练。
75.在(308)，方法(300)可以包括提供预测访问笔记以在用户界面中呈现。例如，可以提供预测访问笔记以在与第二参与者相关联的用户计算设备的用户界面中显示。以这种方式，可以将预测访问笔记呈现给第二参与者(或其他合适的人)作为第一参与者和第二参与者之间的主题会见的基线或模板访问笔记。第二参与者可以通过与用户计算设备的一个或多个合适的交互来根据需要对所呈现的预测访问笔记进行编辑、重新排列、添加等。一旦访问笔记对于第二参与者是可接受的，则可以存储最终的访问笔记，例如，作为第一参与者和/或第二参与者的记录的一部分以供将来使用。
76.图5描绘了根据本公开的示例性实施例的生成访问笔记的示例方法(400)的流程图。方法(300)可以由一个或多个计算设备实现，诸如图1中描绘的一个或多个计算设备。另外，图5描绘了出于说明和讨论的目的以特定顺序执行的步骤。
77.在(402)，方法(400)可以包括根据本公开的示例方面接收一个或多个预测向量作为机器学习建议模型的输入。例如，在一些实现方式中，关于图4描述的机器学习笔记预测模型的预测器部分可以生成指示可以包括在预测访问笔记内的潜在信息的一个或多个预测矢量。每个预测矢量可以描述潜在地包括在预测访问笔记中的信息的子集。
78.在(404)，方法(400)可以包括接收指示由用户计算设备的用户输入的第一文本条目的数据。例如，用户可以通过与用户计算设备的适当交互来输入第一文本条目。指示第一文本条目的数据可以与串文本相关联，并且可以例如根据用户输入文本的顺序来接收。以这种方式，指示第一文本条目的数据可以与用户输入文本条目同时(或几乎同时)接收。
79.在(406)，方法(400)可以包括至少部分地基于第一文本条目以及一个或多个预测向量来确定一个或多个建议文本条目。例如，建议文本条目可以是可以完成第一文本条目以提供与预测向量相关联的合适信息的文本条目。以这种方式，可以确定建议文本条目以构造语法、样式上合适的句子、短语等，其包括将要被包括在预测访问笔记中的合适信息。以这种方式，可以至少部分地基于患者数据、一个或多个全局访问笔记以及一个或多个医生特定访问笔记来确定这种建议文本条目。
80.在(408)，方法(400)可以包括接收指示与选择的建议文本条目相关联的用户输入的数据。例如，可以在与用户计算设备相关联的用户界面中向用户呈现一个或多个建议文本条目。所呈现的建议文本条目可以是交互式的，使得用户可以选择一个或多个建议文本
条目以便于构建完成文本条目。以这种方式，选择的建议文本条目可以是由用户选择的建议文本条目。
81.在(410)，方法(400)可以包括至少部分地基于第一文本条目以及一个或多个选择的建议文本条目来生成完成的文本条目。例如，完成的文本条目可以是第一文本条目和选择的建议文本条目的组合。在一些实现方式中，完成的文本条目可以是捕获包括在第一文本条目和选择的建议文本条目中的信息的新的文本条目。
82.图6描绘了根据本公开的示例方面的训练笔记预测模型的示例方法(500)的流程图。方法(500)可以由一个或多个计算设备实现，诸如图1中描绘的一个或多个计算设备。另外，图6描绘了出于说明和讨论的目的以特定顺序执行的步骤。
83.在(502)，方法(500)可以包括根据本公开的示例方面将训练数据集合的第一子集输入到笔记预测模型中。训练数据可以包括指示由任何合适数量的医生为任何合适数量的患者先前生成的多个全局访问笔记的数据。在一些实现方式中，可以对特定医生个性化笔记预测模型。在这种实现方式中，训练数据可以包括指示该医生先前为任何合适数量的患者生成的多个医生特定访问笔记的数据。将意识到，在不脱离本公开的范围的情况下，可以使用各种其他合适的训练数据。
84.以这种方式，训练数据的第一子集可以包括指示一个或多个全局访问笔记的数据和/或指示一个或多个医生特定访问笔记的数据。如所指示地，训练数据的第一子集可以根据将要读取访问笔记的顺序作为一个或多个文本串提供。此外，可以根据生成访问笔记的顺序来提供训练数据的第一子集。
85.在(504)，方法(500)可以包括从笔记预测模型接收输出。在一些实现方式中，输出可以包括预测笔记。在一些实现方式中，输出可以包括一个或多个预测向量。
86.在一些实现方式中，笔记预测模型可以包括各种合适的部分(例如，解释器202、预测器204、建议模型216等)。在这种实现方式中，可以独立于部分特定训练会话来训练笔记预测模型的一部分。例如，可以独立于预测器的训练来训练解释器。在这种实现方式中，从笔记预测模型接收的输出可以是由与训练会话相关联的特定部分生成的中间输出。例如，接收的输出可以是与解释器相关联的一个或多个上下文向量、由预测器生成的预测访问笔记或一个或多个预测向量、由建议模型生成的一个或多个建议文本条目等。
87.在(506)处，方法(500)可以包括确定描述笔记预测模型的输出与训练数据的第二子集之间的差异的损失函数。例如，训练数据的第二子集可以包括与训练数据的第一子集内包括的访问笔记相关的后续访问笔记。后续访问笔记可以是由特定患者生成的和/或由特定医生生成的访问笔记。后续访问笔记可以是笔记预测模型旨在作为接收训练数据的第一子集的结果而生成的访问笔记。以这种方式，损失函数可以描述由笔记预测模型生成的预测访问笔记和后续访问笔记之间的差异。
88.在(508)，方法(500)可以包括至少部分地基于损失函数来训练笔记预测模型。例如，训练笔记预测模型可以包括通过时间执行截断的向后传播以通过笔记预测模型反向传播损失函数。可以可选地在508执行多种泛化技术(例如，权重衰减、丢失等)以提高正在训练的模型的泛化能力。在508训练模型之后，可以将其提供给用户计算设备并且将其存储在用户计算设备处，以用于在用户计算设备处预测访问笔记。更具体地，502-508中描述的训练程序可以重复若干次(例如，直到目标损失函数不再改善)以训练模型。
89.本文讨论的技术参考服务器、数据库、软件应用和其他基于计算机的系统，以及所采取的动作和发送到这些系统和从这些系统发送的信息。本领域普通技术人员将认识到，基于计算机的系统的固有灵活性允许组件之间的和当中的各种可能的配置、组合以及任务和功能的划分。例如，本文讨论的服务器处理可以使用单个服务器或组合工作的多个服务器来实现。数据库和应用可以在单个系统上实现或分布在多个系统上。分布式组件可以顺序或并行操作。
90.虽然已经关于主题的具体示例性实施例详细描述了本主题，但是将意识到，本领域技术人员在获得对前述内容的理解之后可以容易地产生对这些实施例的改变、变化和等同物。因此，本公开的范围是示例性的而不是限制性的，并且本公开不排除包含对本主题的这些修改、变化和/或添加，如对于本领域普通技术人员来说将显而易见。

技术特征：
1.一种预测与人之间的通信相关联的文本的计算机实现的方法，该方法包括：由一个或多个计算设备获得指示第一人和第二人之间的主题通信的第一数据；由一个或多个计算设备将第一数据输入到包括第一神经网络和第二神经网络的机器学习通信辅助模型中；由一个或多个计算设备生成一个或多个上下文向量作为第一神经网络的输出；由一个或多个计算设备将一个或多个上下文向量输入到第二神经网络中；以及由一个或多个计算设备接收指示与第一人的后续通信相关联的预测文本输出的数据作为机器学习通信辅助模型的输出。2.根据权利要求1所述的计算机实现的方法，还包括：由一个或多个计算设备接收一个或多个预测向量作为第二神经网络的输出，所述一个或多个预测向量描述潜在地将被包括在预测文本输出中的信息。3.根据权利要求2所述的计算机实现的方法，还包括：由一个或多个计算设备提供一个或多个预测向量作为对通信辅助模型的建议模型的输入；以及由一个或多个计算设备提供指示由用户输入的第一笔记的数据作为对建议模型的输入；其中，一组预测的信息包括至少部分地基于一个或多个预测向量和指示第一笔记的数据确定的一个或多个建议的笔记。4.根据权利要求2所述的计算机实现的方法，还包括:由一个或多个计算设备提供一个或多个预测向量作为对通信辅助模型的建议模型的输入；以及由一个或多个计算设备提供指示由用户输入的第一文本条目的数据作为对建议模型的输入；其中，一组预测的信息包括至少部分地基于一个或多个预测向量和第一文本条目确定的一个或多个建议的文本条目。5.根据权利要求4所述的计算机实现的方法，还包括：由一个或多个计算设备提供指示由用户输入的一个或多个建议的文本条目的数据；以及由一个或多个计算设备至少部分地基于第一文本条目和一个或多个选择的建议的文本条目来生成完成的文本条目。6.根据权利要求5所述的计算机实现的方法，其中，所述完成的文本条目包括新的文本条目，所述新的文本条目包括第一文本条目和选择的建议的文本条目。7.根据权利要求1所述的计算机实现的方法，其中，第一数据包括指示第一人的一个或多个先前生成的笔记的数据，每个先前生成的笔记与第一人的先前通信相关联。8.根据权利要求1所述的计算机实现的方法，其中，第一数据包括与第一人和第二人之间的主题通信相关联的数据。9.根据权利要求8所述的计算机实现的方法，其中，与主题通信相关联的数据包括在生成与主题通信相关联的笔记之前提供给用户计算设备的数据。10.如权利要求1所述的计算机实现的方法，其中，所述预测文本输出以至少部分地基
于一个或多个先前生成的笔记确定的格式提供。11.根据权利要求10所述的计算机实现的方法，其中，指示所述预测文本输出的数据包括实质信息，所述实质信息至少部分地基于第一数据而预期被包括在随后生成的与主题通信相关联的笔记中。12.根据权利要求1所述的计算机实现的方法，还包括：由一个或多个计算设备基于一组训练数据来训练通信辅助模型；其中，由一个或多个计算设备训练通信辅助模型包括由一个或多个计算设备通过通信辅助模型反向传播损失函数。13.根据权利要求12所述的计算机实现的方法，其中，所述训练数据包括指示多个全局笔记的数据或指示多个特定人笔记的数据中的至少一个。14.一种计算系统，包括：一个或多个处理器；和一个或多个存储器设备，所述一个或多个存储器设备存储计算机可读指令，当所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行操作，所述操作包括：获得指示第一人和第二人之间的主题通信的第一数据；将第一数据输入到包括第一神经网络和第二神经网络的机器学习通信辅助模型中；生成一个或多个上下文向量作为第一神经网络的输出；将一个或多个上下文向量输入到第二神经网络中；以及接收指示第一人的后续通信的预测文本输出的数据作为机器学习通信辅助模型的输出。15.根据权利要求14所述的计算系统，其中，所述操作还包括:接收一个或多个预测向量作为第二神经网络的输出，所述一个或多个预测向量描述潜在地将被包括在预测文本输出中的信息。16.根据权利要求15所述的计算系统，其中，所述操作还包括:提供一个或多个预测向量作为对通信辅助模型的建议模型的输入；以及提供指示由用户输入的第一笔记的数据作为对建议模型的输入；其中，一组预测的信息包括至少部分地基于一个或多个预测向量和指示第一笔记的数据确定的一个或多个建议的笔记。17.一种预测与人之间的通信相关联的文本的计算机实现的方法，该方法包括:由一个或多个计算设备获得指示第一人和第二人之间的主题通信的第一数据；由一个或多个计算设备将第一数据输入到包括一个或多个神经网络的机器学习通信辅助模型中；由一个或多个计算设备接收一个或多个预测向量作为一个或多个神经网络中的至少一个神经网络的输出，所述一个或多个预测向量描述潜在地将被包括在预测文本输出中的信息；由所述一个或多个计算设备提供一个或多个预测向量作为对通信辅助模型的建议模型的输入；以及由一个或多个计算设备接收指示第一人的后续通信的预测文本输出的数据作为机器
学习通信辅助模型的输出。18.根据权利要求17所述的计算机实现的方法，还包括:由一个或多个计算设备接收一个或多个上下文向量作为一个或多个神经网络中的第一神经网络的输出；以及由一个或多个计算设备将一个或多个上下文向量输入到一个或多个神经网络中的第二神经网络中；其中，作为第二神经网络的输出一个或多个预测向量被接收。19.根据权利要求18所述的计算机实现的方法，还包括：由一个或多个计算设备提供指示由用户输入的第一笔记的数据作为对建议模型的输入；其中，一组预测的信息包括至少部分地基于一个或多个预测向量和指示第一笔记的数据确定的一个或多个建议的笔记。20.根据权利要求17所述的计算机实现的方法，其中：第一数据包括与第一人和第二人之间的主题通信相关联的数据；以及与主题通信相关联的数据包括在生成与主题通信相关联的笔记之前提供给用户计算设备的数据。

技术总结
提供了一种预测与人之间的通信相关联的文本的计算机实现的方法和计算系统。计算机实现的方法可以包括由一个或多个计算设备获得指示第一人和第二人之间的主题通信的第一数据；由一个或多个计算设备将第一数据输入到包括第一神经网络和第二神经网络的机器学习通信辅助模型中；由一个或多个计算设备生成一个或多个上下文向量作为第一神经网络的输出；由一个或多个计算设备将一个或多个上下文向量输入到第二神经网络中；以及由一个或多个计算设备接收指示与第一人的后续通信相关联的预测文本输出的数据作为机器学习通信辅助模型的输出。的输出。的输出。


技术研发人员：M
受保护的技术使用者：谷歌有限责任公司
技术研发日：2017.09.29
技术公布日：2023/10/5