一种基于视频流分析的虚拟现实去匿名化系统及方法

1.本发明属于社交网络隐私保护的技术领域，公开提出了一种在虚拟现实环境中对匿名化的用户进行身份识别的系统。通过利用视频流信息，提取匿名化用户的步态相关信息，可以高效地判定隐藏在虚拟形象之后的用户真实身份。本发明可以对用户在虚拟现实环境中的匿名机制实现快速检测，满足行业的需求。


背景技术：

2.与传统的人机界面(如键盘、鼠标、触摸屏)相比，vr通过利用头戴式显示器(hmd)、手持控制器和全身钉等专用设备为用户提供沉浸式体验。
3.vr支持隐私增强功能。除了传统的隐私支持技术(例如，假名)外，用户的真实身份还可以被虚拟形象(avatar)掩盖，avatar是用户在虚拟世界中的数字表示。从本质上讲，虚拟形象具有人类的形状，但可能包含由用户自己配置的额外特征。例如，在vrchat等vr游戏中，用户的外表被转化为卡通和奇妙形状的虚拟形象，在虚拟环境中匿名交流和互动。
4.由于用户可以在虚拟世界中自定义自己的外表和声音，虚拟形象给用户带来了一种与真实身份不可链接的感觉，避免了潜在的外部对手的跟踪。然而，虚拟形象导致对用户进行去匿名化变得十分困难。因此，本发明考虑了一种实用的去匿名化方式：通过观察一组vr虚拟形象和真实世界的身份，实现破解虚拟形象的掩蔽，挖掘用户的真实身份，即使观察到的化身可以被任意更改。去匿名化的激场景包括但不限于：在虚拟现实游戏、虚拟现实会议中实现对用户的跟踪与监测。
5.然而，实现虚拟现实场景下的去匿名化攻击，需要面临如下挑战：
6.(1)如何将用户在物理世界中的身份链接到虚拟世界中的虚拟形象，以稳定可靠的方式进行去匿名化？
7.(2)如何提取一个有效的特征，以表征目标用户的唯一身份签名，并对虚拟形象的变化具有鲁棒性？现有的基于计算机视觉的步态识别方案对与去匿名化的性能并不稳定，因为虚拟外观经常改变。
8.(3)如何在真实世界的虚拟现实应用程序中实现去匿名化方案，并展示其有效性和稳健性？
9.所以，设计一种基于视频流分析的虚拟现实去匿名化系统与方法具有很大的潜力。


技术实现要素：

10.为了解决上述三个挑战，本发明首先引入了一种新的生物特征，被称为运动特征，将用户在物理世界中的身份和虚拟世界中的虚拟形象联系起来。其次，考虑到现有的基于视频的用户识别方案，对虚拟形象的可变外观引起的失真很敏感，本发明在提取运动特征时设计了一种新的特征提取器。其目标是让特征提取器拥有关于各种虚拟形象的先验知识。
11.为了实现这一目标，本发明是利用最大的vr应用开发平台unity，为各种虚拟形象自动生成丰富的步态视频。根据丰富的步态视频构建特征提取器后，能够实现对虚拟形象的外观变化免疫。
12.本发明的技术解决方案如下：
13.一方面，本发明提供一种基于视频流分析的虚拟现实去匿名化方法，应用于虚拟现实终端，其特点在于，该方法包括：
14.s1.将物理世界采集的特定用户的用户图像进行虚拟形象构建，获得虚拟形象视频数据；
15.s2.将虚拟现实世界采集的特定用户的用户图像进行预处理，包括背景剪除与多视角视频聚合，获得视频流数据；
16.s3.将步骤s1.得到的虚拟形象视频数据基于深度学习的特征提取器进行预训练，并根据步骤s2得到的视频流数据进行步态特征提取，构建虚拟形象身份特征；
17.s4.利用步骤s3.得到的虚拟形象身份特征训练基于随机森林模型的分类器；
18.s5.根据步骤s3得到的虚拟形象身份特征，利用步骤s4得到的分类器进行身份信息推测，得到去匿名化身份信息。
19.具体的：
20.s1.攻击初始化：针对使用虚拟形象匿名化其身份的用户，采集其相关的视频流信息。首先对于用户使用各种虚拟形象时，获取包含其身份信息标签的用户资料集，之后，用户匿名化之后，获取用户在vr场景中nv个视角下的步态视频流
21.s2.数据预处理：对视频流v，进行背景剪除工作，之后获取一系列剪影集合s，其维度为m
×
nv。对于来自多视角的数据，进行数据的聚合。
22.s3.特征提取：考虑到虚拟形象的多变性，需要预先训练一个针对虚拟形象具备普适性的特征提取器，人工构造虚拟形象，通过利用来自公共平台的开源传感器数据，实现对虚拟形象的运动驱动，同时采集虚拟形象所运动的视频，做为训练数据，以构造特征提取器。
23.s4.身份信息推测：在训练阶段，基于用户资料集，使用随机森林算法，构建一个分类器。紧接着，对于采集的视频v，通过s2与s3获得特征，并使用分类器输出一个标签。最终完成去匿名化身份信息推测。
24.本发明提出的利用视频流的去匿名化攻击，可在远程环境中，无需目标用户察觉的情况下，执行去匿名化的工作。
25.另一方面，本发明还提供一种基于视频流分析的虚拟现实去匿名化系统，其特点在于，包括：
26.攻击初始化模块，在发起去匿名化攻击之前构造用户资料集(gallery)。然后，在目标用户使用vr应用程序的过程中，收集相关虚拟形象的视频片段。
27.数据预处理模块，为了提高去匿名化性能，将收集的视频进行预处理，之后发送到下一个模块。
28.特征提取模块，在对收集的视频试验进行预处理后，从受害者虚拟形象的步态中获得特征，以进行最终的身份推断。
29.身份推测模块，最后，在从目标用户获得特征后，该特征表征了固有的运动特征，并基于用户资料集生成分类器。然后，利用分类器确定用户的身份。
30.所述的数据采集模块为实现清晰的多视角视频流采集，需要依赖于含有视频录制功能的vr设备显示状态，并设定合适的采样率进行视频流的收集工作。
31.对于采集到的视频流进行预处理等工作，保证数据的高可用性，需要进行背景剪除操作，寻找可用于运动特征的关键信息。
32.本发明在提取特征时，构建了一个专用的特征提取器。考虑到现有的基于视频的用户去匿名化方案集中于物理世界中的步态样本，对虚拟形象多变的外表所引起的失真很敏感，本发明在提取运动特征时设计了一种新的特征提取器。洞察是让提取器拥有关于各种化身的先验知识。为了实现这一目标，本发明利用最大的vr应用开发平台unity，从各种虚拟形象中自动生成丰富的步态视频。在基于源自unity中各种虚拟形象的丰富步态视频构建特征提取器后，所提出的系统对虚拟形象的外观变化实现免疫。
33.所述的分类模型，需要从特征提取器输出的特征中，输出一个身份标签。分类器首先利用用户资料集，通过特征提取器从中提取特征，采用随机森林构建一个分类器。采用随机森林算法，因为它可以实现对特征的快速判断，这对于实时的去匿名化过程至关重要。
34.与现有技术相比，本发明的有益效果：
35.(1)新的去匿名化攻击模式。本发明所提出的去匿名化方案是一种在vr场景中对化身进行的非侵入性和用户无意识的去匿名化方案。本方案既不需要访问目标用户的vr设备，也不需要目标用户的批准/许可。
36.(2)新颖的去匿名化方法。本发明设计了一种新颖的方式来从虚拟形象的视频片段中提取与身份相关的动作特征。通过利用来自unity平台中各种化身的大量步态样本，本发明对于虚拟形象的多变外观具有鲁棒性。
37.(3)在具体应用时，本发明在面向多个因素(例如，虚拟形象选择、训练视频长度)时仍然能够保证去匿名化任务的有效性和可用性。具体而言，基于本方案的特征提取器的方案与已有方法相比具有优越性。
附图说明
38.图1本发明流程框图
39.图2虚拟现实环境去匿名化场景示意图
具体实施方式
40.下面结合附图2对本发明实施所提供的技术方案进行进一步的详细描述：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
41.如图2所示，本发明实施提供了一种基于视频流分析的虚拟现实去匿名化方案，可以在虚拟现实场景中部署使用，详细步骤如下：
42.攻击初始化：首先构建用户资料集，构建资料集在去匿名化攻击中至关重要，因为如果没有资料集，就不知道目标受害者的身份。为了建立资料集，常见方法是登录目标用户
所在的vr应用程序，以获取步态视频片段和身份标签。资料集的第i个元素gi可以被描述为一个三元组＜v
g,i
,a
g,i
,i
g,i
＞，其中v
g,i
是所搜集的视频流数据，a
g,i
是其对应的虚拟形象，i
g,i
是其身份标签
43.在完成对资料集的构建后，目标用户进入vr应用程序，通过匿名和使用各种虚拟形象来隐藏其身份信息。本发明使用nv个账户登录vr应用程序，使用nv视图监视受害者的行为。此外，为了不易察觉地录制视频，本发明可以将nv个账户的虚拟形象外观设置为透明模式(如图2所示)。最终在目标用户无法察觉的情况下，录制用户的步态信息其中vi代表来自第i个隐蔽摄像头的视频数据。此外，vi包含m＝t
×
s个视频帧，其中t代表了视频持续时间，s代表每秒包含的帧数。
44.数据预处理：对于具有m
×
nv个帧的给定视频v，为了消除vr应用程序背景在提取动作签名时的失真，本发明首先消除了这些帧的背景，并且只保留与化身动作相关的信息。首先，对于具有特定视图的视频，收集背景图像bi，其中受害者的虚拟形象在数据收集步骤中没有停留。然后，基于收集到的bi，对于该视频中的每一帧，使用背景剪除方案，来获得其相应的剪影。在进行背景消除后，目标用户虚拟形象的运动行为明显暴露。
45.多视角下的剪影s，将每个元素s
i,j
进行中心化，得到si′
,j
。之后，将不同视角下的中心化剪影进行聚合，得到s3特征提取步骤的输入s
′
，表示为：
[0046][0047]
特征提取：在对收集的视频进行预处理后，本发明需要从目标用户虚拟形象的步态中获得特征，以进行最终的身份推断。请注意，为了表征步态特征，现有的基于视频的步态特征提取器(例如，gaitset)通常利用深度学习模型，这些模型是使用公共步态视频数据集预训练的。然而，用户对现有提取器(如步态集)进行预训练的步态是在物理世界中收集的(即，没有使用任何虚拟形象，不同真人志愿者的外表差异很大)，而不是在虚拟世界中收集。因此，当将现有特征提取器应用时，提取的生物特征签名包含外观特征和运动特征，其中前者在改变虚拟形象时是不稳定的。
[0048]
为了应对化身多变的外表所带来的挑战，如图2所示，在特征提取器的预训练过程中，我们没有使用在物理世界中收集的公共步态数据集，而是使用自己构建的虚拟世界中的步态数据集。在我们的vr步态数据集中，根据s3.1与s3.2中描述的步骤，在unity平台中由用户的运动数据设计和驱动各种化身。因此，重新训练的特征提取器可以关注化身背后的身份，因为它具有关于用户在各种虚拟形象外观下的运动签名的先验知识。
[0049]
身份信息推测：在训练阶段，基于用户资料集，使用随机森林算法，构建一个分类器。紧接着，对于采集的视频v，通过s2与s3获得特征，并使用分类器输出一个标签。最终完成去匿名化身份信息推测。
[0050]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

技术特征：
1.一种基于视频流分析的虚拟现实去匿名化方法，应用于虚拟现实终端，其特征在于，该方法包括：s1.将物理世界采集的特定用户的用户图像进行虚拟形象构建，获得虚拟形象视频数据；s2.将虚拟现实世界采集的特定用户的用户图像进行预处理，包括背景剪除与多视角视频聚合，获得视频流数据；s3.将步骤s1.得到的虚拟形象视频数据基于深度学习的特征提取器进行预训练，并根据步骤s2得到的视频流数据进行步态特征提取，构建虚拟形象身份特征；s4.利用步骤s3.得到的虚拟形象身份特征训练基于随机森林模型的分类器；s5.根据步骤s3得到的虚拟形象身份特征，利用步骤s4得到的分类器进行身份信息推测，得到去匿名化身份信息。2.根据权利要求1所述的基于视频流分析的虚拟现实去匿名化方法，其特征在于，所述步骤s2.获得视频流数据，具体包括：s2.1采集虚拟现实世界中匿名化身份用户的用户图像数据，构建用户资料集进行身份信息标签，所述资料集的第i个元素g
i
为一个三元组<v
g，i
，a
g，i
，i
g，i
>，其中v
g，i
是所搜集的视频流数据，a
g，i
是其对应的虚拟形象，i
g，i
是其身份标签。s2.2获取用户在vr场景中nv个视角下的运动特征，录制用户的步态信息其中v
i
代表来自第i个隐蔽摄像头的视频数据，其中v
i
包含m个视频帧，其中，m＝t
×
s个视频帧，其中t代表了视频持续时间，s代表每秒包含的帧数；s2.3对给定的包含m
×
nv个帧的视频流v，进行背景剪除工作，消除与背景无关的信息，获得相关的剪影信息；s2.4对于视频流v，获取一系列剪影集合s，其维度为m
×
nv；s2.5对于来自多视角的数据，进行数据的聚合，使数据维度得到扩充。3.根据权利要求1所述的基于视频流分析的虚拟现实去匿名化方法，其特征在于，所述步骤s3.构建身份特征，具体包括：s3.1构建特征提取器：针对n
a
个虚拟形象从unity平台中导入其源文件(格式为fbx)；若虚拟形象为闭源，亦可在unity平台中通过3d角色绘制软件，人工构造其虚拟形象，并导入unity平台中。s3.2步态视频特征的生成：通过使用blender软件，为导入s3.1中的虚拟形象加入运动数据；通过利用来自公共平台的开源传感器数据，实现对s3.1中虚拟形象的运动驱动；同时，根据s1所述的数据采集方案，部署8台摄像头采集n
a
个虚拟形象所运动n
m
次的视频，从而获得预训练的视频信息p
pre
如下：其中p
i,j
代表第i次运动传感器数据施加在第j个虚拟形象上，所对应的8个视角下的视频流。
s3.3特征提取模块预训练：将n
m
×
n
a
个8视角下的视频做为训练数据，以构造特征提取器，在训练过程中，视频流会按照s2所述的步骤，转为剪影信息，之后实现特征提取器的构建。s3.4从输入中获取特征：对于搜集的视频流与经过s2步骤所处理的剪影信息，若虚拟形象出现在s3.1中的资料集，则直接使用s3.3所构造的特征提取器，生成对应特征；若虚拟形象a
′
未出现在资料集中，则重复s3.1至s3.3的步骤。4.根据权利要求1所述的一种基于视频流分析的虚拟现实去匿名化系统，其特征在于，包括：所述的s4身份推测，包含以下步骤：s4.1基于用户资料集的分类器构建：对于用户资料集g，使用随机森林算法，构建一个分类器ψ。s4.2身份识别：对于采集的视频v，使用ψ生成一个标签。最终完成去匿名化身份信息推测。5.一种基于视频流分析的虚拟现实去匿名化系统，其特征在于，包括：数据采集模块，该数据采集模块被配置为通过屏幕录制方式采集目标用户在虚拟现实环境中行走视频数据，并将不同视角下采集的视频数据保存为视频流数据；预处理模块，该预处理模块被配置为对于所述视频流数据进行背景剪除操作，并聚合不同视角的视频流数据；特征提取模块，该特征提取模块被配置为对所述视频流数据进行步态特征提取，构造刻画用户身份信息的虚拟形象身份特征；身份推测模块，根据虚拟形象身份特征，利用分类器，实现对用户身份的识别。

技术总结
本发明属于社交网络隐私保护的技术领域，公开提出了一种在虚拟现实环境中对匿名化的用户进行身份识别的方法与系统。在去匿名化过程中，通过利用视频流信息，提取匿名化用户的步态相关信息，可以高效地判定隐藏在虚拟形象之后的用户真实身份。本发明可以对用户在虚拟现实环境中的匿名机制实现快速检测，满足行业的需求。本发明提出的基于视频流的去匿名化方法充分利用了多角度视频信息，具有较高的准确性。性。性。


技术研发人员：朱浩瑾 孟岩
受保护的技术使用者：上海交通大学
技术研发日：2023.05.09
技术公布日：2023/9/20