信息处理方法、信息处理装置和非易失性存储介质与流程

1.本发明涉及信息处理方法、信息处理装置和非易失性存储介质。


背景技术：

2.使用ar(增强现实：augmented reality)技术对照片和视频赋予效果(
エフェクト
)的技术已被公众所知。例如，将由cg(计算机图形：computer graphics)生成的ar物体重叠在用相机拍摄的真实物体的影像上。由此，生成了如同处于异空间的影像。
3.现有技术文献
4.专利文献1：us2020326830a1


技术实现要素：

5.发明要解决的技术问题
6.为了生成逼真的影像，需要真实物体与ar物体的准确的位置关系。如果效果的应用位置偏移，则存在给观众带来违和感的可能性。
7.因此，本发明提供能够适当地应用效果的信息处理方法、信息处理装置和非易失性存储介质。
8.技术问题的解决方案
9.根据本发明，提供了一种信息处理方法，其通过计算机执行如下步骤：基于通过tof传感器获取的深度数据，检测真实物体的距离信息；根据检测到的所述真实物体的距离信息，进行所述真实物体和由cg生成的ar物体的遮蔽(
オクルージョン
)处理；以及将所述遮蔽处理的结果显示在显示器上。此外，根据本发明，提供了信息处理装置和非易失性存储介质，所述信息处理装置执行所述信息处理方法的信息处理，并且所述非易失性存储介质存储使计算机实现所述信息处理的程序。
附图说明
10.图1是示出了信息处理装置的概略结构的图。
11.图2是信息处理装置的功能框图。
12.图3是示出了效果的示例的图。
13.图4是示出了效果处理的另一示例的图。
14.图5是示出了效果处理的另一示例的图。
15.图6是示出了触发的检测方法的示例的图。
16.图7是示出了触发的检测方法的示例的图。
17.图8是示出了动作检测部检测的手势的示例的图。
18.图9是示出了信息处理装置实施的信息处理的示例的图。
19.图10是示出了信息处理装置实施的信息处理的示例的图。
20.图11是示出了信息处理装置实施的信息处理的另一示例的图。
21.图12是示出了信息处理装置实施的信息处理的另一示例的图。
22.图13是示出了信息处理的变形例的图。
23.图14是示出了信息处理的变形例的图。
24.图15是示出了信息处理装置实施的信息处理的另一示例的图。
25.图16是示出了信息处理装置的硬件结构示例的图。
具体实施方式
26.在下文中，基于附图对本发明的实施方式进行详细地说明。在下面的各实施方式中，对相同的部分标注相同的附图标记，并省略其重复说明。
27.另外，将按照以下的顺序进行说明。
28.(1.信息处理装置的结构)
29.(2.信息处理方法)
30.(2－1.处理例1)
31.(2－2.处理例2)
32.(2－3.其他处理例)
33.(3.硬件结构示例)
34.(4.效果)
35.(1.信息处理装置的结构)
36.图1是示出了信息处理装置1的概略结构的图。
37.信息处理装置1是处理照片和视频等各种信息的电子设备。信息处理装置1例如在前面侧具有显示器50，并且在背面侧具有相机20和tof(飞行时间：time of flight)传感器30。
38.相机20例如是能够切换超广角、广角和长焦距的复眼相机。tof传感器30例如是针对每个像素检测距离信息(深度信息)的距离图像传感器。测距方式可以是dtof(直接飞行时间：direct tof)和itof(间接飞行时间：indirect tof)中的任一种。作为距离信息的检测方法，可以仅利用tof传感器30的数据，也可以使用tof传感器30和相机20的输出数据进行检测，并且还可以利用ai(人工智能：artificial intelligence)技术来根据相机30的数据计算距离信息。
39.作为显示器50，使用lcd(液晶显示器：liquid crystal display)和oled(有机发光二极管：organic light emitting diode)等公知的显示器。显示器50例如具有可触摸操作的屏幕scr。
40.虽然在图1中示出了智能手机作为信息处理装置1的示例，但是信息处理装置1不限于智能手机。信息处理装置1也可以是平板终端、笔记本电脑、台式电脑和数码相机等。
41.图2是信息处理装置1的功能框图。
42.信息处理装置1例如包括处理部10、相机20、tof传感器30、imu(惯性测量单元：inertial measurement unit)40、显示器50、效果信息存储部60、手势模型(
ジェスチャモデル
)存储部70以及程序存储部80。
43.处理部10基于tof传感器30和imu40的测量数据来对相机20的影像赋予效果。处理部10例如包括位置信息检测部11、姿态检测部12、效果处理部13以及触发检测部14。
44.位置信息检测部11获取由tof传感器30测量的深度数据。深度数据包括每个像素的深度信息。位置信息检测部11基于深度数据来检测在真实空间中存在的真实物体的距离信息。
45.姿态检测部12获取相机20的影像数据和由imu 40测量的imu数据。影像数据包括照片和视频的数据。imu数据包括与三维的角速度和加速度有关的信息。姿态检测部12使用影像数据和imu数据来检测相机20的姿态。与相机20的姿态有关的姿态信息使用slam(同时定位与地图构建：simultaneous localization and mapping)等公知的方法来检测。
46.另外，在本发明中，虽然使用影像数据和imu数据来检测姿态信息，但是姿态信息的检测方法不限于此。只要有相机20的加速度数据，就能够检测姿态信息。因此，姿态检测部12可以使用包括至少加速度数据的信息来检测相机20的姿态。通过融合加速度数据和其他传感器信息，可以检测出高精度的姿态信息。因此，在本发明中，使用这种传感器融合的方法检测相机20的姿态信息。
47.效果处理部13对相机20拍摄的影像赋予效果。效果的内容和效果的应用位置等与效果有关的各种信息作为效果信息61被存储在效果信息存储部60中。效果处理部13基于效果信息61进行效果的处理。
48.图3是示出了效果的示例的图。
49.例如，使用由cg生成的ar物体arob来进行效果的处理。在图3的示例中，多个球状的ar物体arob在真实物体rob上重叠显示。效果处理部13基于检测到的真实物体rob的距离信息来检测真实物体rob和ar物体arob的位置关系。基于真实物体rob与ar物体arob的位置关系，效果处理部13通过ar物体arob来进行真实物体rob的遮蔽处理。显示器50显示遮蔽处理的结果。
50.遮蔽指的是位于跟前的物体遮住后方的物体的状态。遮蔽处理指的是对物体之间的前后关系进行检测，并且基于检测到的前后关系，用跟前的物体遮住后方的物体，同时使物体之间重叠的处理。例如，在真实物体rob比ar物体arob更靠近tof传感器30的情况下，作为遮蔽处理，效果处理部13以使ar物体arob被真实物体rob遮住的方式将真实物体rob重叠在ar物体arob的跟前。在ar物体arob比真实物体rob更靠近tof传感器30的情况下，作为遮蔽处理，效果处理部13以使真实物体rob被ar物体arob遮住的方式将ar物体arob重叠在真实物体rob的跟前。
51.图4是示出了效果处理的另一示例的图。
52.在图4的示例中，显示了通往异次元空间的孔作为ar物体arob。图4中示出了相机20的影像cm由于相机抖动而偏移的状态。效果处理部13基于相机20的姿态来调整对影像cm应用效果的位置，以使影像cm与ar物体arob之间不产生偏移。
53.图5是示出了效果处理的另一示例的图。
54.在图5的示例中，对影像cm的特定的区段sg选择性地应用效果。例如，相机20的影像cm被分割为：被给予“空”的标签的第一区段sg1；被给予“建筑”的标签的第二区段sg2；以及被给予“手”的标签的第三区段sg3。对第一区段sg1选择性地应用效果。
55.在对特定的区段选择性地应用效果时，容易识别影像cm与ar物体arob的偏移。例如，在对第一区段sg1应用效果时，如果效果的应用位置由于相机抖动而扩展到第二区段sg2或第三区段sg3，则生成不自然的影像。因此，效果处理部13根据影像cm的偏移来调整效
果的应用位置。
56.例如，如图2所示，效果处理部13具有区段提取部131和调整部132。区段提取部131从相机20的影像cm提取对应于与效果相关联的标签的区段sg。区段sg的提取使用语义分割等公知的方法来进行。调整部132根据相机20的姿态的变化来调整效果的应用位置，以使效果的应用位置不从所提取的区段sg偏移。例如，当影像cm由于相机抖动而向左偏移时，屏幕scr内的效果的应用位置也向左偏移。
57.触发检测部14检测用于启动效果的处理的触发。触发可以是任何形式。例如，在检测到特定的物体(触发物体)的情况下，或触发物体进行了特定的动作时，触发检测部14判定检测到触发。触发物体可以是真实物体rob，也可以是ar物体arob。例如，基于深度数据来检测触发。与成为触发的物体和动作有关的触发信息包含在效果信息61中。
58.图6和图7是表示触发的检测方法的示例的图。
59.在图6的示例中，检测手和手指等的手势作为触发。触发检测部14基于深度数据来检测成为触发物体tob的手和手指等真实物体rob的动作。然后，触发检测部14判定触发物体tob的动作是否符合成为触发的手势。
60.例如，如图2所示，触发检测部14具有深度图像(
デプスマップ
)生成部141、接点(
ジョイント
)信息检测部142、动作检测部143以及判定部144。
61.如图7所示，深度图像生成部141生成触发物体tob的深度图像dm。深度图像dm是将距离值(深度)分配到各像素的图像。深度图像生成部141使用从tof传感器30获取的时间序列的深度数据来生成多个时刻的触发物体tob的深度图像dm。
62.接点信息检测部142基于多个时刻的深度图像dm来提取多个时刻的触发物体tob的接点信息。接点信息包括与被设定在触发物体tob上的多个接点jt的配置有关的信息。
63.成为接点jt的部位被设定于各触发物体tob上。例如，当触发物体tob是人的手时，手掌的中心、大拇指的根部、大拇指的中心、大拇指的前端、食指的中心、食指的前端、中指的中心、中指的前端、无名指的中心、无名指的前端、小指的中心、小指的前端以及手腕的两个关节分别被设定为接点jt。接点信息检测部142提取各接点jt的三维坐标信息作为接点信息。
64.另外，成为接点jt的部位不限于上述部位。例如，也可以仅把大拇指的前端、食指的前端、中指的前端、无名指的前端、小指的前端以及手腕的两个关节分别设定为接点jt。此外，除上述14个接点jt以外，还可以将食指的根部、中指的根部、无名指的根部以及小指的根部等其他部位设定为接点。通过设定数量接近于手的关节的数量(21个)的接点jt，可以高精度地检测手势。
65.动作检测部143基于多个时刻的接点信息来检测触发物体tob的动作。例如，动作检测部143将多个时刻的接点信息应用到手势模型71。手势模型71是使用rnn(循环神经网络：recurrent neural network)和lstm(长短期记忆网络：long short－term memory)等学习时间序列的接点信息与手势的关系的分析模型。手势模型71存储在手势模型存储部70中。动作检测部143使用手势模型71来分析触发物体tob的动作，并基于分析结果来检测与触发物体tob的动作对应的手势。
66.判定部144将与触发物体tob的动作对应的手势与效果信息61中规定的手势进行对照。由此，判定部144判定触发物体tob的动作是否符合触发的手势。
67.图8是示出了动作检测部143检测的手势的示例的图。
68.作为手势的示例，图8中示出了“空中点击(air tap)”、“开花(bloom)”和“弹响指(snap finger)”。“空中点击”是竖起食指、然后使食指直接倒下的手势。“空中点击”对应于鼠标的点击动作和对触摸面板的轻击动作。“开花”是保持手掌朝上并握拳、然后将手张开的手势。“开花”在关闭应用或打开开始菜单时等被使用。“弹响指”是大拇指和中指并在一起摩擦而打响指的手势。“弹响指”在启动效果的处理时等使用。
69.返回图2，程序存储部80存储处理部10执行的程序81。程序81是使计算机执行本发明的信息处理的程序。处理部10根据程序存储部80中存储的程序81进行各种处理。程序存储部80包括例如半导体存储介质和磁存储介质等任何非临时性的非易失性存储介质。程序存储部80构成为包括例如光盘、磁光盘或闪存器。程序81例如存储在计算机可读取的非临时性的存储介质中。
70.(2.信息处理方法)
71.(2－1.处理例1)
72.图9和图10是示出了信息处理装置1实施的信息处理的示例的图。图10是示出了处理流程的图，并且图9是示出了各步骤的显示内容的图。
73.在步骤sa1中，处理部10将效果选择画面es显示在显示器50上。例如，在效果选择画面es中显示效果的列表。用户从效果的列表中选择所期望的效果。
74.在步骤sa2中，处理部10将效果的操作方法的说明显示在显示器50上。在图9的示例中，例如说明了：通过用手指在空中画圈来启动效果的处理、圆圈成为通往异次元空间的入口、握紧从异次元空间取出的令牌、发生与令牌的种类对应的事件。
75.在步骤sa3中，用户在相机20前方进行在空中画圈的手势。处理部10检测到在空中画圈的手势后，在步骤sa4中启动效果的处理。在图9的示例中，画圈的手指的轨迹lc以金色的线显示。然后，圈的内部被填充金色，在空中出现通往异次元空间的入口pt。
76.在步骤sa5中，用户将手插入入口pt。在步骤sa6中，用户从异次元空间中取出令牌tk。然后，用户将取出的令牌tk放在手掌上，确认取出了哪种令牌tk。在步骤sa7中，用户将放在手掌上的令牌tk握紧。
77.处理部10检测到用户握紧令牌tk后，在步骤sa8中产生与令牌tk对应的事件。在图9的示例中，产生从顶面倾倒金色的硬币和红色的包的事件。硬币互相碰撞的声音作为效果音被提示。倒下来的硬币和包散落在地面上。
78.在步骤sa9中，处理部10进行效果的结束判定。当检测到按下效果结束按钮等的结束标志时，判定效果结束。当在步骤sa9中判定效果结束时(步骤sa9：是)，处理部10结束效果的处理。当在步骤sa9中判定效果未结束时(步骤sa9：否)，返回步骤sa6，重复上述的处理直至检测到结束标志为止。
79.(2－2.处理例2)
80.图11和图12是示出了信息处理装置1实施的信息处理的另一示例的图。图12示出了处理流程的图，并且图11是示出了各步骤的显示内容的图。
81.在步骤sb1中，用户将成为效果应用对象的目标tg收拢在相机20的视野中。在步骤sb2中，用户在相机20的前方指向目标tg。在步骤sb3中，目标tg做出用于启动效果的处理的手势。在图11的示例中，从直立状态向上张开两手、静止规定时间的动作成为启动效果的处
理的手势。
82.处理部10检测到手势后，启动效果的处理。在图11的示例中，目标tg被赋予凤凰ph附体的效果。
83.首先，在步骤sb4中，映入相机20的用户的手hd被火焰fl包裹。包裹手hd的火焰fl不久移动到指向目标tg的手指的前端，在手指的前端成为火球fb。
84.在步骤sb5中，用户移动手指使火球fb飞向目标tg。通过该动作，目标tg的周围出现火焰的轮fr，火焰的轮fr不久变形为凤凰ph。
85.在步骤sb6中，凤凰ph的羽毛wg与目标tg的手臂同化，目标tg的腰和腿也被火焰包裹。然后，火焰的效果(ar物体arob)配合目标tg的动作移动。根据需要，将影像加工成目标tg上浮到空中。
86.(2－3.其他处理例)
87.图13和图14示出了效果的另一示例的图。
88.图13中示出了将拍摄对象变换成图案(模様)的效果。拍摄对象被表现为多个颜色要素ce的组合。各颜色要素ce成为本发明的ar物体arob。各颜色要素ce的大小基于拍摄对象的深度信息来决定。例如，效果处理部13基于深度数据来生成拍摄对象的点云数据。点云数据是点云中包含的各点的坐标数据。效果处理部13基于点云数据来将点云分类为多个组。处理部10针对各组设定颜色，并对拍摄对象分别涂色。分别涂色的各个颜色区域各自成为颜色要素ce。效果处理部13基于点云数据进行遮蔽处理。
89.图14示出了在真实物体rob的跟前显示箱型的ar物体arob的效果。ar物体arob的坐标基于使用tof传感器30测量的真实物体rob的坐标来设定。因此，ar物体arob与真实物体rob的相对位置被高精度地控制。因此，可以通过ar物体arob适当地进行真实物体rob的遮蔽处理。
90.图15是示出了信息处理装置1实施的信息处理的另一示例的图。步骤sc1、sc2、sc6与图10所示的步骤sa1、sa2、sa9相同。因此，将以与图10的处理流程的不同点为中心进行说明。
91.在步骤sc2的效果的操作说明结束后，在步骤sc3中，用户将成为效果应用对象的目标tg收拢在相机20的视野中。
92.在步骤sc4中，效果处理部13生成目标tg及其周边环境的点云数据和网格数据。网格数据是用于生成多边形网格的顶点、边和面的坐标数据。
93.在步骤sc5中，效果处理部13检测作为拍摄对象的目标tg和周边环境的状况。根据检测到的状况，效果处理部13对目标tg和周边环境分别独立地赋予效果。作为被检测的状况，可以举出拍摄对象的形状、姿态、地点、与tof传感器30的距离等。
94.在步骤sc6中，处理部10进行效果的结束判定。当在步骤sc6中判定效果已结束时(步骤sc6：是)，处理部10结束效果的处理。当在步骤sc6中判定效果未结束时(步骤sc6：否)，返回步骤sc3，重复上述的处理直至检测到结束标志为止。
95.(3.硬件结构示例)
96.图16是示出了信息处理装置1的硬件结构示例的图。
97.信息处理装置1包括cpu(中央处理单元：central processing unit)1001、rom(只读存储器：read only memory)1002、ram(随机存取存储器：random access memory)1003、
内部总线1004、接口1005、输入装置1006、输出装置1007、存储装置1008、传感器装置1009以及通信装置1010。
98.cpu 1001被构成为处理部10的示例。cpu 1001起到运算处理装置和控制装置的作用，并且根据各种程序来控制信息处理装置1的全部动作。cpu 1001也可以是微处理器。
99.rom 1002存储cpu 1001使用的程序和计算参数等。ram 1003临时存储着将要被cpu 1001执行的所使用的程序和当该程序被执行时被适当地改变的参数等。cpu 1001、rom 1002和ram 1003通过由cpu总线等构成的内部总线1004而被相互连接。
100.接口1005将输入装置1006、输出装置1007、存储装置1008、传感器装置1009以及通信装置1010与内部总线1004连接。例如，输入装置1006通过接口1005和内部总线1004与cpu 1001等之间进行数据交换。
101.输入装置1006例如包括触摸面板、按钮、麦克风和开关等用于让用户输入信息的输入手段，以及基于用户的输入来产生输入信号并将该输入信号输出到cpu 1001的输入控制电路。通过操作输入装置1006，用户能够对信息处理装置1输入各种数据或指示处理动作。
102.输出装置1007包括显示器50以及扬声器和头戴式耳机等的声音输出装置。例如，显示器50显示用相机20拍摄的影像和处理部10生成的影像等。声音输出装置将声音数据等转换为声音并输出。
103.存储装置1008包括效果信息存储部60、手势模型存储部70和程序存储部80。存储装置1008包括存储介质、将数据记录在存储介质中的记录装置、从存储介质中读出数据的读出装置以及将记录在存储介质中的数据删除的删除装置等。存储装置1008存储着将要被cpu 1001执行的程序81以及各种类型的数据。
104.传感器装置1009包括例如相机20、tof传感器30和imu 40。传感器装置1009还可以包括gps(全球定位系统：global positioning system)接收功能、时钟功能、加速度传感器、陀螺仪、气压传感器以及地磁传感器等。
105.通信装置1010是被构成为包括用于与通信网络nt连接的通信设备等的通信接口。通信装置1010可以是支持无线lan的通信装置，或可以是支持lte(长期演进：long term evolution)的通信装置。
106.(4.效果)
107.信息处理装置1具有位置信息检测部11、效果处理部13和显示器50。位置信息检测部11基于通过tof传感器30获取的深度数据来检测真实物体rob的距离信息。效果处理部13基于检测到的真实物体rob的距离信息来进行真实物体rob和由cg生成的ar物体arob的遮蔽处理。显示器50显示遮蔽处理的结果。本实施方式的信息处理方法通过计算机执行上述的信息处理装置1的处理。本实施方式的非易失性存储介质(程序存储部80)存储着用于使计算机实现上述信息处理装置1的处理的程序81。
108.按照上述构成，可以基于深度数据高精度地检测真实物体rob与ar物体arob的位置关系。由于能够适当地进行遮蔽处理，所以能够向观众提供违和感小的影像。
109.信息处理装置1具有触发检测部14。触发检测部14基于深度数据来检测触发，该触发用于启动使用ar物体arob的效果的处理。
110.按照上述构成，可以高精度地检测触发。
111.触发检测部14检测触发物体tob的手势作为触发。
112.按照上述构成，可以使用手势来启动效果。
113.触发检测部14具有深度图像生成部141、接点信息检测部142、动作检测部143和判定部144。深度图像生成部141使用深度数据来生成多个时刻的触发物体tob的深度图像dm。接点信息检测部142基于多个时刻的深度图像dm来检测多个时刻的触发物体tob的接点信息。动作检测部143基于多个时刻的接点信息来检测触发物体tob的动作。判定部144判定触发物体tob的动作是否符合成为触发的手势。
114.按照上述构成，可以高精度地检测手势。
115.信息处理装置1具有姿态检测部12。姿态检测部12检测相机20的姿态。效果处理部13基于相机20的姿态来相对于相机20的影像cm调整使用ar物体arob的效果所应用的位置。
116.按照上述构成，即使相机20的姿态发生改变，也能够将效果应用到适当的位置。
117.另外，本说明书中所描述的效果仅是示例性的效果，而不是限制性的，还可以实现其它效果。
118.(附记)
119.另外，本技术也可以采用下述结构。
120.(1)一种信息处理方法，其通过计算机执行：
121.基于通过tof传感器获取的深度数据，检测真实物体的距离信息；
122.基于所述真实物体的距离信息，进行所述真实物体和由cg生成的ar物体的遮蔽处理；
123.将所述遮蔽处理的结果显示在显示器上。
124.(2)一种信息处理装置，其包括：
125.位置信息检测部，所述位置信息检测部基于通过tof传感器获取的深度数据来检测真实物体的距离信息；
126.效果处理部，所述效果处理部基于检测到的所述真实物体的距离信息来进行所述真实物体和由cg生成的ar物体的遮蔽处理。
127.(3)根据上述(2)所述的信息处理装置，还包括：
128.触发检测部，所述触发检测部基于所述深度数据来检测触发，所述触发用于启动使用所述ar物体的效果的处理。
129.(4)根据上述(3)所述的信息处理装置，
130.其中，所述触发检测部检测触发物体的手势作为所述触发。
131.(5)根据上述(4)所述的信息处理装置，
132.其中，所述触发检测部包括：
133.深度图像生成部，所述深度图像生成部使用所述深度数据来生
134.成多个时刻的所述触发物体的深度图像；
135.接点信息检测部，所述接点信息检测部基于所述多个时刻的深
136.度图像来检测多个时刻的所述触发物体的接点信息；
137.动作检测部，所述动作检测部基于所述多个时刻的接点信息来
138.检测所述触发物体的动作；以及
139.判定部，所述判定部判定所述触发物体的动作是否符合成为所述触发的所述手
势。
140.(6)根据上述(2)至(5)中任一项所述的信息处理装置，还包括：
141.姿态检测部，所述姿态检测部检测相机的姿态，
142.其中，所述效果处理部基于所述相机的姿态来相对于所述相机的影像调整使用所述ar物体的效果所应用的位置。
143.(7)根据上述(2)至(6)中任一项所述的信息处理装置，
144.其中，所述效果处理部基于所述深度数据来生成拍摄对象的点云数据，并且基于所述点云数据来进行所述遮蔽处理。
145.(8)根据上述(2)至(7)中任一项所述的信息处理装置，
146.其中，当所述真实物体比所述ar物体更靠近所述tof传感器时，作为所述遮蔽处理，所述效果处理部以使所述ar物体被所述真实物体遮住的方式将所述真实物体重叠在所述ar物体的跟前。
147.(9)根据上述(2)至(7)中任一项所述的信息处理装置，
148.其中，当所述ar物体比所述真实物体更靠近所述tof传感器时，作为所述遮蔽处理，所述效果处理部以使所述真实物体被所述ar物体遮住的方式将所述ar物体重叠在所述真实物体的跟前。
149.(10)一种非易失性存储介质，其存储有程序，所述程序使计算机实现：
150.基于通过tof传感器获取的深度数据，检测真实物体的距离信息；
151.基于所述真实物体的距离信息，进行所述真实物体和由cg生成的ar物体的遮蔽处理；
152.将所述遮蔽处理的结果显示在显示器上。
153.附图标记说明
154.1 信息处理装置
155.11 位置信息检测部
156.12 姿态检测部
157.13 效果处理部
158.14 触发检测部
159.141 深度图像生成部
160.142 接点信息检测部
161.143 动作检测部
162.144 判定部
163.20 相机
164.30 tof传感器
165.50 显示器
166.80程序存储部(非易失性存储介质)
167.81程序
168.arob ar物体
169.cm 影像
170.dm 深度图像
171.rob 真实物体
172.tob 触发物体

技术特征：
1.一种信息处理方法，其通过计算机执行如下步骤：基于通过tof传感器获取的深度数据，检测真实物体的距离信息；基于检测到的所述真实物体的距离信息，进行所述真实物体和由cg生成的ar物体的遮蔽处理；将所述遮蔽处理的结果显示在显示器上。2.一种信息处理装置，其包括：位置信息检测部，所述位置信息检测部基于通过tof传感器获取的深度数据来检测真实物体的距离信息；效果处理部，所述效果处理部基于检测到的所述真实物体的距离信息来进行所述真实物体和由cg生成的ar物体的遮蔽处理；以及显示器，所述显示器显示所述遮蔽处理的结果。3.根据权利要求2所述的信息处理装置，还包括：触发检测部，所述触发检测部基于所述深度数据来检测触发，所述触发用于启动使用所述ar物体的效果的处理。4.根据权利要求3所述的信息处理装置，其中，所述触发检测部检测触发物体的手势作为所述触发。5.根据权利要求4所述的信息处理装置，其中，所述触发检测部包括：深度图像生成部，所述深度图像生成部使用所述深度数据来生成多个时刻的所述触发物体的深度图像；接点信息检测部，所述接点信息检测部基于所述多个时刻的深度图像来检测多个时刻的所述触发物体的接点信息；动作检测部，所述动作检测部基于所述多个时刻的接点信息来检测所述触发物体的动作；以及判定部，所述判定部判定所述触发物体的动作是否符合成为所述触发的所述手势。6.根据权利要求2所述的信息处理装置，还包括：姿态检测部，所述姿态检测部检测相机的姿态，其中，所述效果处理部基于所述相机的姿态来相对于所述相机的影像调整使用所述ar物体的效果所应用的位置。7.根据权利要求2所述的信息处理装置，其中，所述效果处理部基于所述深度数据来生成拍摄对象的点云数据，并且基于所述点云数据来进行所述遮蔽处理。8.根据权利要求2所述的信息处理装置，其中，当所述真实物体比所述ar物体更靠近所述tof传感器时，作为所述遮蔽处理，所述效果处理部以使所述ar物体被所述真实物体遮住的方式将所述真实物体重叠在所述ar物体的跟前。9.根据权利要求2所述的信息处理装置，其中，当所述ar物体比所述真实物体更靠近所述tof传感器时，作为所述遮蔽处理，所述效果处理部以使所述真实物体被所述ar物体遮住的方式将所述ar物体重叠在所述真实物体的跟前。
10.一种非易失性存储介质，其存储有程序，所述程序使计算机实现：基于通过tof传感器获取的深度数据，检测真实物体的距离信息；基于检测到的所述真实物体的距离信息，进行所述真实物体和由cg生成的ar物体的遮蔽处理；将所述遮蔽处理的结果显示在显示器上。

技术总结
信息处理方法包括位置信息检测处理、效果处理和显示处理。位置信息检测处理基于通过ToF传感器(30)获取的深度数据来检测真实物体的距离信息。效果处理基于检测到的真实物体的距离信息来进行真实物体与由CG生成的AR物体的遮蔽处理。显示处理将遮蔽处理的结果显示在显示器(50)上。显示器(50)上。显示器(50)上。


技术研发人员：土井宏真 中川贵晶 王光宇
受保护的技术使用者：索尼半导体解决方案公司
技术研发日：2022.01.27
技术公布日：2023/9/22