学习装置以及评价信息输出装置的制作方法

1.本发明涉及学习装置以及评价信息输出装置。


背景技术：

2.以往，使用利用图像得到的会议的出席者的举动、发言量等来推定会议的生产率(专利文献1(日本特开2019-211962号公报)。


技术实现要素：

3.发明要解决的课题
4.在推定会议等集体活动的生产率的情况下，在基于会议的出席者的举动、发言量的评价中，仅限于集体活动的量的评价，质的评价不充分。另外，即使在集体活动的量的评价小的情况下，也存在进行高质的集体活动的情况，因此质的评价是重要的，但存在难以进行会议等集体活动的质的评价的课题。
5.用于解决课题的手段
6.第一观点的学习装置是学习一人或多人的点头动作的学习装置，具有学习部。学习部生成将与点头动作有关的信息作为输入并输出点头动作的评价信息的学习完毕模型。学习部将与点头动作有关的信息和点头动作的评价信息作为学习用数据集进行学习，从而生成学习完毕模型。
7.在该学习装置中，通过将与会议等的出席者的反应即点头动作相关的信息和点头动作的评价信息作为学习用数据集进行学习，能够生成能够进行会议等集体活动的质的评价的学习完毕模型。
8.第二观点的评价信息输出装置基于一人或多人的点头动作来输出与所述点头动作有关的评价信息，所述评价信息输出装置具有第一信息取得部和输出部。第一信息取得部取得与点头动作有关的信息。输出部具有学习完毕模型，该学习完毕模型将与点头动作有关的信息作为输入，输出点头动作的评价信息。输出部使用学习完毕模型根据与点头动作有关的信息推定并输出点头动作的评价信息。学习完毕模型是将与点头动作有关的信息和点头动作的评价信息作为学习用数据集进行学习而得到的。
9.在该评价信息输出装置中，使用学习完毕模型，根据与会议等的出席者的反应即点头动作相关的信息来推定点头动作的评价信息，由此能够进行会议等集体活动的质的评价。
10.第三观点的评价信息输出装置在第二观点的装置的基础上，还具有第二信息取得部。第二信息取得部取得与成为点头动作的起因的对象相关的信息。成为点头动作的起因的对象包括会议中的发言、在演示中提示的数据或物、以及人或动物的表演中的至少一种。输出部将与成为点头动作的起因的对象相关的信息和点头动作的评价信息关联起来输出。
11.在该评价信息输出装置中，通过将与成为点头动作的起因的对象相关的信息和点头动作的评价信息关联起来输出，从而能够得到针对特定对象进行的点头动作的评价信
息。
12.第四观点的评价信息输出装置在第二观点或第三观点的装置的基础上，点头动作的评价信息是与人的情绪有关的信息。与人的情绪相关的信息包含与人的喜怒哀乐相关的信息、或者与人是否认可成为点头动作的起因的对象相关的信息。点头动作的评价信息能够通过人的脸部的图像数据的解析或者声音数据的解析来取得。
13.在该评价信息输出装置中，通过根据与点头动作有关的信息推定人的点头动作的意图，能够判别点头的质量。
14.第五观点的评价信息输出装置在第二观点或第三观点的装置的基础上，点头动作的评价信息是针对成为点头动作的起因的对象的评价。针对成为点头动作的起因的对象的评价是对人进行的手动调查的结果。
15.在该评价信息输出装置中，通过在调查中得到针对成为点头动作的起因的对象的评价，能够判别点头动作的质量。
16.第六观点的评价信息输出装置在第二观点至第五观点中任一观点的装置的基础上，与点头动作有关的信息包括点头动作的次数、周期和幅度中的至少一种。
17.在该评价信息输出装置中，通过测定点头动作的次数、周期或幅度，能够得到与会议等的出席者的反应相关的信息。
18.第七观点的评价信息输出装置在第二观点至第五观点中的任一观点的装置的基础上，与点头动作有关的信息包含点头动作的时刻、点头动作的强度、多人中是否有点头动作的时刻相同的人、以及点头动作的时刻相同的人数中的至少一种。
19.在该评价信息输出装置中，通过测定点头动作的时刻、点头动作的强度、多人中是否有同时点头的人、或者同时点头的人数，能够得到与会议等的出席者的反应相关的信息。
20.第八观点的评价信息输出装置在第三观点的装置的基础上，与点头动作有关的信息包含从会议中的发言之后到点头动作发生为止的时间。
21.在该评价信息输出装置中，通过测定从会议中的发言后到点头动作发生为止的时间，能够判别点头动作的质量。
22.第九观点的评价信息输出装置在第二观点至第五观点中的任一观点的装置的基础上，与点头动作有关的信息包含点头动作的频率和每单位时间的点头动作的频度中的至少一种。
23.在该评价信息输出装置中，通过取得点头动作的频率或每单位时间的点头动作的频度，能够判别点头动作的质量。
24.第十观点的评价信息输出装置在第二观点至第九观点中的任一观点的装置的基础上，第一信息取得部取得通过使用座椅表面传感器、运动捕捉器、加速度传感器、深度照相机或人的动态图像来识别点头动作而得到的、与点头动作有关的信息。
25.在该评价信息输出装置中，通过使用座椅表面传感器、运动捕捉器、加速度传感器、深度照相机或人的动态图像，能够容易地取得与会议中的姿势即点头动作相关的信息。
附图说明
26.图1是学习装置1的功能框图。
27.图2是评价信息输出装置100的功能框图。
28.图3是示出学习数据的例子的图。
29.图4是用于说明学习处理的图。
30.图5是评价信息输出装置100的流程图。
31.图6是评价信息输出装置200的功能框图。
具体实施方式
32.(1)评价信息输出装置的整体结构
33.图2示出本实施方式的评价信息输出装置100。评价信息输出装置100通过计算机来实现。评价信息输出装置100具有第一信息取得部101和输出部102。第一信息取得部101取得与点头动作有关的信息11。输出部102具有学习完毕模型40，使用学习完毕模型40根据与点头动作有关的信息11推定并输出点头动作的评价信息21。
34.(2)评价信息输出装置的详细结构
35.(2-1)第一信息取得部
36.第一信息取得部101取得与点头动作有关的信息11。与点头动作有关的信息11是点头动作的次数。在本实施方式中，第一信息取得部101使用座椅表面传感器(未图示)取得点头动作的次数。
37.点头动作的次数是使用座椅表面传感器(压力传感器)来测定的。会议的参加者坐在设置有座椅表面传感器的椅子上。
38.首先，基于设置于椅子的四角的座椅表面传感器的压力的大小，求出重心p的位置以及全载荷wt。通过机器学习使座椅表面传感器学习重心p和全载荷wt的大小的变化，检测是否符合点头动作。座椅表面传感器根据重心重量变化来检测人点头的时刻。
39.座椅表面传感器将会议中的时间分为多个帧单位，计算点头动作的次数即点头量。以帧为单位进行会议的各参加者是否点头的判断。如果将参加者k点头的帧的合计设为sk，则通过下面的式1来计算针对参加者k在某时刻t的点头量a
kt
。
40.式1：
[0041][0042]
例如在参加者为6名的情况下，通过合计6名全员的分配给每个参加者的帧，计算该帧的点头量。某时刻t的点头量a
t
由下式2计算。
[0043]
式2：
[0044][0045]
如式1所示，通过对每个参加者用点头的帧的合计的倒数进行加权，在通过式2计算点头量时，使得点头较多的人的点头的影响小，点头不太多的人的点头的影响大。
[0046]
(2-7)输出部
[0047]
输出部102具有学习完毕模型40，使用学习完毕模型40根据与点头动作有关的信息11推定并输出点头动作的评价信息21。输出部102能够使用cpu或gpu这样的处理器。输出部102读出存储于存储装置(未图示)的程序，按照该程序进行规定的图像处理、运算处理。
进而，输出部102能够按照程序将运算结果写入存储装置，或者读出在存储装置中存储的信息。存储装置可以用作数据库。
[0048]
(3)学习处理
[0049]
对评价信息输出装置100所使用的学习完毕模型40进行说明。学习完毕模型40使用推定模型，该推定模型使用学习装置1预先通过包含与点头动作有关的信息和点头动作的评价信息的学习用数据集进行学习。
[0050]
图1示出本实施方式的学习装置1。学习装置1通过计算机来实现。学习装置1具有学习部2。
[0051]
学习部2将与点头动作有关的信息10和点头动作的评价信息20作为学习用数据集30来进行学习。在本实施方式中，与点头动作有关的信息10为点头动作的次数(点头量)。点头动作的评价信息20是针对成为点头动作的起因的对象的评价。成为点头动作的起因的对象是会议中的发言。会议中的发言与会议中产生的创意有关。
[0052]
在学习处理中，使用座椅表面传感器取得与点头动作有关的信息10。点头动作的评价信息20是通过手动的调查而取得的。
[0053]
学习完毕模型40是通过学习用数据集30对与点头动作有关的信息10和点头动作的评价信息20进行学习而得到的。
[0054]
图3示出学习数据的一例。在该例子中，将会议的参加者在会议中产生创意时的会议的参加者的点头动作的次数(点头量)作为与点头动作有关的信息。将与会议中产生的创意相关的调查结果的平均值作为点头动作的评价信息。调查是以5个等级对会议的参加者评价创意来进行的。
[0055]
如图3所示，通过将针对在会议中的时刻t1产生的创意x1的点头量a1作为输入、将调查结果的平均值“2”作为输出的训练数据集进行学习。另外，通过将针对在会议中的时刻t2产生的创意x2的点头量a2作为输入、将调查结果的平均值“3”作为输出的训练数据集进行学习。另外，通过将针对在会议中的时刻t3产生的创意x3的点头量a3作为输入、将调查结果的平均值“4”作为输出的训练数据集进行学习。另外，通过将针对在会议中的时刻tn产生的创意xn的点头量an作为输入、将调查结果的平均值“2”作为输出的训练数据集进行学习。
[0056]
图4示出将对所有参加者的点头的帧进行合计所得的总点头量作为纵轴，将调查结果的平均值作为横轴而制作的散布图的一例。
[0057]
在本实施方式中，由6名参加者构成的13个组参加会议。每个组的总点头量通过单纯地对每个组的参加者的所有点头的帧进行合计来计算。另外，对创意是否有印象进行调查。调查以5个等级进行评价。
[0058]
如图4所示，调查结果的平均值与总点头量存在正相关。对于调查结果的平均值和总点头量，使用spearman’s rank correlation coefficient(斯皮尔曼的位次相关系数)进行相关解析，结果p＞.05。相关系数的绝对值为0.49，可见相关。由于调查结果的平均值与总点头量存在相关性，因此表示在创意的质量与点头之间不仅存在瞬时的关系，还存在中长期的关系性。
[0059]
(4)评价信息输出装置的整体动作
[0060]
图5示出评价信息输出装置100的流程图。在本实施方式中，对在会议中使用评价信息输出装置100的情况进行说明。
[0061]
首先，在步骤s1中开始会议。会议的出席者由照相机拍摄。另外，会议的出席者坐在设置有压力传感器的椅子上。通过第一信息取得部101取得会议的出席者的点头动作的次数(点头量)(步骤s2)。输出部102使用学习完毕模型40，根据会议的出席者的点头动作的次数来推定调查结果的平均值(步骤s3)。接着，输出部102将在步骤s3中推定出的调查结果的平均值输出到显示器(未图示)(步骤s4)。显示器显示推定出的调查结果的平均值。
[0062]
(5)特征
[0063]
(5-1)
[0064]
本实施方式的学习装置1是对一人或多人的点头动作进行学习的学习装置1，具有学习部2。学习部2生成学习完毕模型40，该学习完毕模型40将与点头动作有关的信息作为输入，输出点头动作的评价信息的。学习部2将与点头动作有关的信息10和点头动作的评价信息21作为学习用数据集40进行学习，生成学习完毕模型30。
[0065]
在该学习装置1中，通过将与会议等的出席者的反应即点头动作相关的信息10和点头动作的评价信息20作为学习用数据集30进行学习，能够生成能够进行会议等集体活动的质的评价的学习完毕模型40。
[0066]
(5-2)
[0067]
本实施方式的评价信息输出装置100是基于一人或多人的点头动作来输出与所述点头动作有关的评价信息的评价信息输出装置100，包括第一信息取得部101及输出部102。第一信息取得部101取得与点头动作有关的信息11。输出部102具有将与点头动作有关的信息11作为输入来输出点头动作的评价信息21的学习完毕模型40。输出部102使用学习完毕模型40，根据与点头动作有关的信息11来推定并输出点头动作的评价信息21。学习完毕模型40是将与点头动作有关的信息10和点头动作的评价信息20作为学习用数据集30进行学习而得到的。
[0068]
在该评价信息输出装置100中，使用学习完毕模型30，根据与会议等的出席者的反应即点头动作相关的信息11来推定点头动作的评价信息，由此能够进行会议等集体活动的质的评价。
[0069]
评价信息输出装置100的输出部102能够沿着会议的经过时间，基于点头动作的多少，提示会议的智力生产力得分作为点头动作的评价信息。评价信息输出装置100基于参加者的点头动作及其时刻来评价会议的智力生产力。
[0070]
另外，也可以基于参加者的点头的时刻和点头的长度来评价参加者的同步性。通过评价发言后的点头，能够评价会议中的发言的贡献度。
[0071]
(5-3)
[0072]
在本实施方式的评价信息输出装置100中，点头动作的评价信息21是针对成为点头动作的起因的对象的评价。对成为点头动作的起因的对象的评价是对人进行的手动调查的结果。
[0073]
在该评价信息输出装置100中，通过在调查中得到对成为点头动作的起因的对象的评价，能够判别点头动作的质量。
[0074]
(5-4)
[0075]
在本实施方式的评价信息输出装置100中，与点头动作有关的信息11包含点头动作的次数。
[0076]
在该评价信息输出装置100中，通过测定点头动作的次数并计算点头量，能够得到与会议等的出席者的反应相关的信息。
[0077]
(5-5)
[0078]
在本实施方式的评价信息输出装置100中，第一信息取得部101取得通过使用座椅表面传感器识别点头动作而得到的、与点头动作有关的信息11。
[0079]
在该评价信息输出装置100中，通过使用座椅表面传感器，能够容易地测定会议中的姿势即点头动作的次数11。
[0080]
(6)变形例
[0081]
(6-1)变形例1a
[0082]
在本实施方式的评价信息输出装置100中，对包括第一信息取得部101和输出部102的情况进行了说明，但也可还包括第二信息取得部。
[0083]
图6示出变形例1a的评价信息输出装置200。评价信息输出装置200通过计算机来实现。评价信息输出装置200具有第一信息取得部201、第二信息取得部203以及输出部202。第一信息取得部201取得与点头动作有关的信息11。第二信息取得部203取得与成为点头动作的起因的对象相关的信息50。
[0084]
与成为点头动作的起因的对象相关的信息50是会议中的发言。在变形例a的评价信息输出装置200中，第二信息取得部203使用照相机(未图示)拍摄动态图像，从动态图像中取得会议中的发言即创意。
[0085]
输出部202将与成为点头动作的起因的对象相关的信息50和点头动作的评价信息21关联起来的数据作为输出数据60输出。此外，输出单元202可以输出通过组合按时间序列展开的会议的会议记录信息和作为点头动作的评价信息21的智力生产力得分所获得的评价数据。
[0086]
在该评价信息输出装置200中，通过将与成为点头动作的起因的对象相关的信息50和点头动作的评价信息21关联起来输出，能够得到针对特定对象而进行的点头动作的评价信息。
[0087]
(6-2)变形例1b
[0088]
在本实施方式的评价信息输出装置100中，对与点头动作有关的信息11为点头动作的次数的情况进行了说明，但也可以为点头动作的周期或幅度。
[0089]
第一信息取得部101也可以取得包括进行了点头动作的时刻在内的、与点头相关的信息。通过取得进行了点头动作的时刻，能够掌握在会议中点头的参加者的人数。点头的人数越多，在点头动作之前创作出创意的可能性越高。与没有会话时相比，产生创意时的点头动作更多。
[0090]
另外，与点头动作有关的信息11也可以是参加者在会议中发言后是立即点头还是延迟点头这样的点头动作的时机、点头动作的强度、同时点头的人的有无及其人数等。
[0091]
另外，能够使用从创意产生起到发生点头动作为止的时间、点头动作的长度(频率)、点头动作的次数(每单位时间的频度)等来判别点头的特性。由于将从创意产生到点头为止的时间拍摄动态图像，因此通过提取与发言时刻的时间差来进行数值化。另外，点头动作的频率通过提取图像所包含的频率来进行数值化。
[0092]
由此，通过判别点头的特性，能够判别参加者在会议中的集中度、会议的热烈程
度。
[0093]
(6-3)变形例1c
[0094]
在本实施方式的评价信息输出装置100中，说明了与点头动作有关的信息11即点头动作的次数是会议的参加者的每个组的总点头量的情况，但不限于此。也可以将会议的参加者的各个人的点头动作的次数作为与点头动作有关的信息11。
[0095]
(6-4)变形例1d
[0096]
在本实施方式的评价信息输出装置100中，说明了点头动作的评价信息21是对人进行的手动调查的结果，对会议中产生的创意是否有印象进行调查的情况，但不限于此。也可以对在会议中产生的创意是否是独创的、能够认同的、或者社会上能够接受的进行调查。
[0097]
(6-5)变形例1e
[0098]
在本实施方式的评价信息输出装置100中，说明了成为点头动作的起因的对象是作为会议中的发言的创意的情况，但不限于此。成为点头动作的起因的对象也可以包括在演示中提示的数据或物、以及人或动物的表演中的至少一种。
[0099]
(6-6)变形例1f
[0100]
在本实施方式的评价信息输出装置100中，对点头动作的评价信息21为与成为点头动作的起因的对象相关的评价的情况进行了说明，但也可以是与人的情绪相关的信息。与人的情绪相关的信息包含与人的喜怒哀乐或是否认可成为点头动作的起因的对象相关的信息。点头动作的评价信息能够通过人的脸部的图像数据的解析或者声音数据的解析来取得。
[0101]
由此，通过根据与点头动作有关的信息11来推定人的点头动作的意图，从而能够对点头的质量进行辨别。
[0102]
(6-7)变形例1g
[0103]
在本实施方式的评价信息输出装置100中，对第一信息取得部101从座椅表面传感器取得与点头动作有关的信息的情况进行了说明，但不限于此。也可以取得通过使用运动捕捉器、加速度传感器、深度照相机或人的动态图像来识别点头动作而得到的、与点头动作有关的信息。
[0104]
运动捕捉器能够使用optitrack等的动作捕捉装置来推定头部的移动。另外，作为加速度传感器，可列举jin mame等。能够使用加速度传感器来捕捉头部的动作。另外，能够使用深度照相机、kinect传感器来测定点头动作的次数。另外，能够基于会议中的参加者的动态图像，根据头部的动作检测点头动作。
[0105]
(6-8)变形例1h
[0106]
以上，对本公开的实施方式进行了说明，但应该理解为在不脱离权利要求书所记载的本公开的主旨以及范围的情况下，能够进行方式、细节的多种变更。
[0107]
标号说明
[0108]
1学习装置
[0109]
2学习部
[0110]
100、200：评价信息输出装置；
[0111]
101、201：第一信息取得部；
[0112]
203：第二信息取得部；
[0113]
102、202：输出部；
[0114]
10、11：与点头动作有关的信息；
[0115]
20、21：点头动作的评价信息；
[0116]
30：学习用数据集；
[0117]
40：学习完毕模型；
[0118]
50：与成为点头动作的起因的对象相关的信息。
[0119]
现有技术文献
[0120]
专利文献
[0121]
专利文献1：日本特开2019-211962号公报

技术特征：
1.一种学习装置(1)，其对一人或多人的点头动作进行学习，所述学习装置(1)具有学习部(2)，所述学习部(2)生成学习完毕模型(40)，所述学习完毕模型(40)将与所述点头动作有关的信息(10)作为输入，输出所述点头动作的评价信息(20)，所述学习部将与所述点头动作有关的信息和所述点头动作的评价信息作为学习用数据集(30)进行学习，生成所述学习完毕模型。2.一种评价信息输出装置(100、200)，其基于一人或多人的点头动作来输出与所述点头动作有关的评价信息，所述评价信息输出装置具有：第一信息取得部(101、201)，其取得与所述点头动作有关的信息(11)；以及输出部(102、202)，其具有学习完毕模型，所述学习完毕模型将与所述点头动作有关的信息作为输入，输出所述点头动作的评价信息，所述输出部使用所述学习完毕模型，根据与所述点头动作有关的信息推定并输出所述点头动作的评价信息(21)，所述学习完毕模型是将与所述点头动作有关的信息和所述点头动作的评价信息作为学习用数据集进行学习而得到的。3.根据权利要求2所述的评价信息输出装置，其中，所述评价信息输出装置还具有第二信息取得部(203)，所述第二信息取得部(203)取得与成为所述点头动作的起因的对象相关的信息(50)，成为所述点头动作的起因的对象包括会议中的发言、在演示中提示的数据或物、以及人或动物的表演中的至少一种，所述输出部将与成为所述点头动作的起因的对象相关的信息和所述点头动作的评价信息关联起来输出。4.根据权利要求2或3所述的评价信息输出装置，其中，所述点头动作的评价信息是与所述人的情绪相关的信息，与所述人的情绪相关的信息包括与所述人的喜怒哀乐相关的信息、或者与所述人是否认可成为所述点头动作的起因的对象相关的信息，所述点头动作的评价信息能够通过所述人的脸部的图像数据的解析或者声音数据的解析来取得。5.根据权利要求2或3所述的评价信息输出装置，其中，所述点头动作的评价信息是针对成为所述点头动作的起因的对象的评价，针对成为所述点头动作的起因的对象的评价是对所述人进行的手动调查的结果。6.根据权利要求2至5中任一项所述的评价信息输出装置，其中，与所述点头动作有关的信息包括所述点头动作的次数、周期和幅度中的至少一种。7.根据权利要求2至5中任一项所述的评价信息输出装置，其中，与所述点头动作有关的信息包括所述点头动作的时刻、所述点头动作的强度、所述多人中是否有所述点头动作的时刻相同的所述人、以及所述点头动作的时刻相同的人数中的至少一种。8.根据权利要求3所述的评价信息输出装置，其中，与所述点头动作有关的信息包括从所述会议中的发言后到所述点头动作发生为止的
时间。9.根据权利要求2至5中任一项所述的评价信息输出装置，其中，与所述点头动作有关的信息包括所述点头动作的频率和每单位时间的所述点头动作的频度中的至少一种。10.根据权利要求2至9中任一项所述的评价信息输出装置，其中，所述第一信息取得部取得通过使用座椅表面传感器、运动捕捉器、加速度传感器、深度照相机或所述人的动态图像来识别所述点头动作而得到的、与所述点头动作有关的信息。

技术总结
评价信息输出装置(100)，基于一人或多人的点头动作，输出与点头动作有关的评价信息，该评价信息输出装置具有第一信息取得部(101)和输出部(102)。第一信息取得部(101)取得与点头动作有关的信息(11)。输出部(102)具有将与点头动作有关的信息作为输入并输出点头动作的评价信息的学习完毕模型(40)，使用学习完毕模型(40)根据与点头动作有关的信息(11)推定并输出点头动作的评价信息(21)。学习完毕模型40是将与点头动作有关的信息和点头动作的评价信息作为学习用数据集进行学习而得到的。价信息作为学习用数据集进行学习而得到的。价信息作为学习用数据集进行学习而得到的。


技术研发人员：香川早苗 伊藤雄一
受保护的技术使用者：大金工业株式会社
技术研发日：2022.02.07
技术公布日：2023/10/15