基于视觉体积视频的编码(V3C)内容的MPEG媒体传输(MMT)信令的制作方法

基于视觉体积视频的编码(v3c)内容的mpeg媒体传输(mmt)信令
技术领域
1.本公开总体上涉及基于视觉体积视频的编码(v3c)内容装置和处理。更具体地，本公开涉及v3c内容的运动图像专家组(mpeg)媒体传输(mmt)信令。


背景技术：

2.由于强大的手持装置(诸如，智能电话)的立即可用性，三百六十度(360
°
)视频和3d体积视频正在成为体验沉浸式内容的新方式。在360
°
视频通过捕捉世界的360
°
由外向内的视图来为消费者实现沉浸式“现实生活”、“在那里”体验的同时，3d体积视频可提供在内容内存在和移动的完整六自由度(6dof)体验。用户可交互地改变他们的视点并动态地查看他们期望的捕捉的场景或对象的任何部分。显示和导航传感器可实时跟踪用户的头部移动，以确定用户想要查看或交互的360
°
视频或体积内容的区域。可在沉浸式环境中使用本质上是三维(3d)的多媒体数据(诸如，点云)。


技术实现要素：

3.技术解决方案
4.本公开提供了v3c内容的mmt信令。
5.在第一实施例中，一种点云编码装置包括通信接口和可操作地结合到所述通信接口的处理器。所述通信接口被配置为接收多个独立比特流。所述通信接口还被配置为接收分组消息，其中，所述分组消息指示包含视觉体积编码(v3c)内容的多个独立比特流中的资产的组。所述处理器被配置为基于所述分组消息选择所述资产的组。所述处理器还被配置为至少对选择的所述资产的组进行解码。
6.在第二实施例中，一种方法包括由解码装置的通信接口接收多个独立比特流。所述方法还包括由所述通信接口接收分组消息，其中，所述分组消息指示包含视觉体积编码(v3c)内容的所述多个独立比特流中的资产的组。所述方法还包括由可操作地结合到所述通信接口的处理器基于所述分组消息选择所述资产的组。所述方法另外包括由所述处理器至少对选择的所述资产的组进行解码。
7.在第三实施例中，一种点云编码装置包括处理器和可操作地结合到所述处理器的通信接口。所述处理器被配置为对分组消息进行编码，其中，所述分组消息指示针对包含视觉体积编码(v3c)内容的多个独立比特流的资产的组。所述通信接口被配置为发送所述多个独立比特流和所述分组消息。
8.根据以下附图、描述和权利要求，其他技术特征对于本领域技术人员而言可以是显而易见的。
9.在进行下面的详细描述之前，阐述在整个本专利文件中使用的某些词语和短语的定义可能是有利的。术语“结合”及其派生词是指两个或更多个元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词包括直接
通信和间接通信。术语“包括”和“包含”及其派生词意指没有限制的包括。术语“或”是包括性的，意指和/或。短语“与
……
相关联”及其派生词意指包括、被包括在
……
内、与
……
互连、包含、被包含在
……
内、连接到或与
……
连接、结合到或与
……
结合、能够与
……
通信、与
……
协作、交织、并置、接近于、接合到或与
……
接合、具有、具有
……
的性质、与
……
具有关系等。术语“控制器”意指控制至少一个操作的任何装置、系统或它们的部分。这样的控制器可以以硬件或者硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。短语
“……
中的至少一个”在与项目的列表一起使用时，意指可使用所列项目中的一个或更多个的不同组合，并且可仅需要列表中的一个项目。例如，“a、b和c中的至少一个”包括以下组合中的任何一个：a、b、c、a和b、a和c、b和c、以及a和b和c。
10.此外，下面描述的各种功能可由一个或更多个计算机程序实现或支持，其中，一个或更多个计算机程序中的每一个由计算机可读程序代码形成并实施在计算机可读介质中。术语“应用”和“程序”是指适于在合适的计算机可读程序代码中实现的一个或更多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或它们的一部分。短语“计算机可读程序代码”包括包含源代码、目标代码和可执行代码的任何类型的计算机代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如，只读存储器(rom)、随机存取存储器(ram)、硬盘驱动器、压缩盘(cd)、数字视频盘(dvd)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括可永久存储数据的介质以及可存储数据并稍后覆写数据的介质，诸如，可重写光盘或可擦除存储器装置。
11.在整个本专利文档中提供了其他某些词语和短语的定义。本领域普通技术人员应当理解的是，在许多情况下(如果不是大多数情况)，这样的定义适用于这样定义的单词和短语的先前以及将来的使用。
附图说明
12.为了更彻底地理解本公开及其优点，现在参照结合附图进行的以下描述，其中，相同的附图标号表示相同的部分：
13.图1示出根据本公开的实施例的示例通信系统；
14.图2和图3示出根据本公开的实施例的示例电子装置；
15.图4a、图4b和图4c示出根据本公开的实施例的框图；
16.图5示出根据本公开的实施例的v3c内容信令的示例架构；
17.图6示出根据本公开的用于v3c内容的mmt信令的点云编码器的示例方法；以及
18.图7示出根据本公开的用于v3c内容的mmt信令的点云解码器的示例方法。
具体实施方式
19.下面描述的图1至图7以及用于描述本公开的原理的各种实施例仅作为说明，并且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解的是，本公开的原理可在任何类型的适当布置的装置或系统中实现。
20.图1示出根据本公开的实施例的示例通信系统100。图1中所示出的通信系统100的
实施例仅用于说明。在不脱离本公开的范围的情况下，可使用通信系统100的其他实施例。
21.通信系统100包括促进通信系统100中的各种组件之间的通信的网络102。例如，网络102可在网络地址之间传送ip分组(packet)、帧中继帧、异步传递模式(atm)信元或其他信息。网络102包括一个或更多个局域网(lan)、城域网(man)、广域网(wan)、全球网络(诸如，互联网)的全部或一部分、或者一个或更多个位置处的任何其他一个或更多个通信系统。
22.在该示例中，网络102促进服务器104与各种客户端装置106至客户端装置116之间的通信。客户端装置106至客户端装置116可以是例如智能电话、平板计算机、膝上型计算机、个人计算机、可穿戴装置、hmd等。服务器104可表示一个或更多个服务器。每一个服务器104包括可为一个或更多个客户端装置(诸如，客户端装置106至客户端装置116)提供计算服务的任何合适的计算装置或处理装置。每一个服务器104可例如包括一个或更多个处理装置、存储指令和数据的一个或更多个存储器、以及促进通过网络102进行通信的一个或更多个网络接口。如下面更详细描述的，服务器104可将表示点云的压缩比特流发送到一个或更多个显示装置，诸如，客户端装置106至客户端装置116。在某些实施例中，每一个服务器104可包括编码器。
23.每一个客户端装置106至客户端装置116表示通过网络102与至少一个服务器(诸如，服务器104)或其他(一个或更多个)计算装置交互的任何合适的计算装置或处理装置。客户端装置106至客户端装置116包括桌上型计算机106、移动电话或移动装置108(诸如，智能电话)、pda 110、膝上型计算机112、平板计算机114和hmd 116。然而，可在通信系统100中使用任何其他或另外的客户端装置。智能电话表示这样一类移动装置108：具有移动操作系统和用于语音、短消息服务(sms)和互联网数据通信的集成移动宽带蜂窝网络连接的手持装置。hmd 116可显示包括一个或更多个3d点云的360
°
场景。在某些实施例中，客户端装置106至客户端装置116中的任何一个可包括编码器、解码器或者编码器和解码器两者。例如，移动装置108可记录视频，然后对视频进行编码，使得视频能够被发送到客户端装置106至客户端装置116中的一个。在另一示例中，膝上型计算机112可用于生成虚拟3d点云，然后生成的虚拟3d点云被编码并发送到客户端装置106至客户端装置116中的一个。
24.在该示例中，一些客户端装置108至116与网络102间接通信。例如，移动装置108和pda 110经由一个或更多个基站118(诸如，蜂窝基站或enodeb(enb))进行通信。此外，膝上型计算机112、平板计算机114和hmd 116经由一个或更多个无线接入点120(诸如，ieee 802.11无线接入点)进行通信。注意，这些仅用于说明，并且每一个客户端装置106至客户端装置116可直接与网络102通信或经由任何合适的(一个或更多个)中间装置或网络间接地与网络102通信。在某些实施例中，服务器104或任何客户端装置106至116可用于对点云进行压缩，生成表示点云的比特流，并且将比特流发送到另一客户端装置，例如，任何客户端装置106至116。
25.在某些实施例中，客户端装置106至客户端装置114中的任何一个将信息安全且有效地发送到另一装置，诸如例如服务器104。此外，客户端装置106至客户端装置116中的任何一个可触发其自身与服务器104之间的信息传输。客户端装置106至客户端装置114中的任何一个可在经由支架被附接到头戴式耳机时用作vr显示器，并且功能类似于hmd 116。例如，移动装置108在被附接到支架系统并佩戴在用户眼睛上时可与hmd 116类似地起作用。
移动装置108(或任何其他客户端装置106至客户端装置116)可触发其自身与服务器104之间的信息传输。
26.在某些实施例中，客户端装置106至客户端装置116或者服务器104中的任何一个可创建3d点云、对3d点云进行压缩、发送3d点云、接收3d点云、渲染3d点云或进行它们的组合。例如，服务器104然后可对3d点云进行压缩以生成比特流，并且然后将比特流发送到客户端装置106至客户端装置116中的一个或更多个。又例如，客户端装置106至客户端装置116中的一个可对3d点云进行压缩以生成比特流，然后将比特流发送到客户端装置106至客户端装置116中的另一个或服务器104。
27.尽管图1示出了通信系统100的一个示例，但可对图1进行各种改变。例如，通信系统100可按照任何合适的布置包括任何数量的每一个组件。通常，计算系统和通信系统具有各种各样的配置，并且图1不将本公开的范围限制于任何特定配置。虽然图1示出了可使用本专利文档中公开的各种特征的一个操作环境，但这些特征可用于任何其他合适的系统中。
28.图2和图3示出根据本公开的实施例的示例电子装置。具体地，图2示出示例服务器200，并且服务器200可表示图1中的服务器104。服务器200可表示一个或更多个编码器、解码器、本地服务器、远程服务器、集群计算机和充当单个无缝资源池的组件、基于云的服务器等。服务器200可被图1的客户端装置106至客户端装置116中的一个或更多个或者另一服务器访问。
29.如图2所示，服务器200包括总线系统205，其中，总线系统205支持至少一个处理装置(诸如，处理器210)、至少一个存储装置215、至少一个通信接口220和至少一个输入/输出(i/o)单元225之间的通信。服务器200可表示一个或更多个本地服务器、一个或更多个压缩服务器或一个或更多个编码服务器(诸如，编码器)。在某些实施例中，编码器可执行解码。
30.处理器210执行可存储在存储器230中的指令。处理器210可按照任何合适的布置包括任何合适数量和类型的处理器或其他装置。处理器210的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。在某些实施例中，处理器210可对存储在存储装置215内的3d点云进行编码。在某些实施例中，对3d点云进行编码的步骤还对3d点云进行解码，以确保当点云被重建时，重建的3d点云与编码之前的3d点云相匹配。
31.存储器230和永久存储235是存储装置215的示例，它们表示能够存储信息(诸如，临时或永久的数据、程序代码或其他合适的信息)并促进该信息的检索的任何(一个或更多个)结构。存储器230可表示随机存取存储器或任何其他(一个或更多个)合适的易失性或非易失性存储装置。例如，存储在存储器230中的指令可包括用于将点云分解成图像块(patch)的指令、用于将图像块打包(pack)在二维(2d)帧上的指令、用于对2d帧进行压缩的指令、以及用于按照特定顺序对2d帧进行编码以便生成比特流的指令。存储在存储器230中的指令还可包括用于渲染如通过vr头戴式装置(诸如图1的hmd 116)观看的360
°
场景的指令。永久存储235可包含支持数据的长期存储的一个或更多个组件或装置，诸如只读存储器、硬盘驱动器、闪存或光盘。
32.通信接口220支持与其他系统或装置的通信。例如，通信接口220可包括促进通过图1的网络102进行通信的网络接口卡或无线收发器。通信接口220可支持通过任何(一个或
更多个)合适的物理或无线通信链路的通信。例如，通信接口220可将包含3d点云的比特流发送到另一装置，诸如，客户端装置106至客户端装置116中的一个。
33.i/o单元225允许数据的输入和输出。例如，i/o单元225可通过键盘、鼠标、小键盘、触摸屏或其他合适的输入装置提供用于用户输入的连接。i/o单元225还可将输出发送到显示器、打印机或其他合适的输出装置。然而，注意，诸如当经由网络连接发生与服务器200的i/o交互时，可省略i/o单元225。
34.注意，虽然图2被描述为表示图1的服务器104，但可在各种客户端装置106至客户端装置116中的一个或更多个中使用相同或相似的结构。例如，桌上型计算机106或膝上型计算机112可具有与图2中所示的结构相同或相似的结构。
35.图3示出示例电子装置300，并且电子装置300可表示图1中的客户端装置106至客户端装置116中的一个或更多个。电子装置300可以是移动通信装置，诸如，以移动站、用户站、无线终端、桌上型计算机(类似于图1的桌上型计算机106)、便携式电子装置(类似于图1的移动装置108、pda 110、膝上型计算机112、平板计算机114或hmd 116)等为例。在某些实施例中，图1的客户端装置106至客户端装置116中的一个或更多个可包括与电子装置300相同或相似的配置。在某些实施例中，电子装置300是编码器、解码器或者编码器和解码器两者。例如，电子装置300可与数据传输、图像或视频压缩、图像或视频解压缩、编码、解码和媒体渲染应用一起使用。
36.如图3所示，电子装置300包括天线305、射频(rf)收发器310、发送(tx)处理电路315、麦克风320和接收(rx)处理电路325。rf收发器310可包括例如rf收发器、蓝牙(bluetooth)收发器、wi fi收发器、zigbee收发器、红外收发器和各种其他无线通信信号。电子装置300还包括扬声器330、处理器340、输入/输出(i/o)接口(if)345、输入器350、显示器355、存储器360和(一个或更多个)传感器365。存储器360包括操作系统(os)361和一个或更多个应用362。
37.rf收发器310从天线305接收从接入点(诸如基站、wi fi路由器或bluetooth装置)或网络102(诸如wi-fi、bluetooth、蜂窝、5g、lte、lte-a、wimax或任何其他类型的无线网络)的其他装置发送的传入rf信号。rf收发器310对传入rf信号进行下变频以生成中频或基带信号。中频或基带信号被发送到rx处理电路325，其中，rx处理电路325通过对基带或中频信号进行滤波、解码和/或数字化来生成处理的基带信号。rx处理电路325将处理的基带信号发送到扬声器330(诸如，针对语音数据)或发送到处理器340以进行进一步处理(诸如，针对网络浏览数据)。
38.tx处理电路315从麦克风320接收模拟语音数据或数字语音数据，或者从处理器340接收其他传出基带数据。传出基带数据可包括网页(web)数据、电子邮件或交互式视频游戏数据。tx处理电路315对传出基带数据进行编码、复用和/或数字化，以生成处理的基带或中频信号。rf收发器310从tx处理电路315接收传出的处理的基带或中频信号，并将基带或中频信号上变频为经由天线305发送的rf信号。
39.处理器340可包括一个或更多个处理器或其他处理装置。处理器340可执行存储在存储器360中的指令(诸如，os 361)，以便控制电子装置300的整体操作。例如，处理器340可根据众所周知的原理通过rf收发器310、rx处理电路325和tx处理电路315控制对前向信道信号的接收和对反向信道信号的发送。处理器340可按照任何合适的布置包括任何合适数
量和类型的处理器或其他装置。例如，在某些实施例中，处理器340包括至少一个微处理器或微控制器。处理器340的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。
40.处理器340还能够执行驻留在存储器360中的其他处理和程序，诸如接收数据和存储数据的操作。处理器340可按照执行处理所需，将数据移入或移出存储器360。在某些实施例中，处理器340被配置为基于os 361或响应于从(一个或更多个)外部源或操作者接收的信号来执行一个或更多个应用362。例如，应用362可包括编码器、解码器、vr或ar应用、相机应用(用于静止图像和视频)、视频电话呼叫应用、电子邮件客户端、社交媒体客户端、sms消息客户端、虚拟助理等。在某些实施例中，处理器340被配置为接收和发送媒体内容。
41.处理器340还结合到i/o接口345，其中，i/o接口345向电子装置300提供连接到其他装置(诸如，客户端装置106至客户端装置114)的能力。i/o接口345是这些附件与处理器340之间的通信路径。
42.处理器340还结合到输入器350和显示器355。电子装置300的操作者可使用输入器350将数据或输入录入到电子装置300中。输入器350可以是键盘、触摸屏、鼠标、轨迹球、语音输入器或能够充当用户接口以允许用户与电子装置300交互的其他装置。例如，输入器350可包括语音识别处理，从而允许用户输入语音命令。在另一示例中，输入器350可包括触摸面板、(数字)笔传感器、键或超声输入装置。触摸面板可例如以至少一种方案(诸如，电容方案、压敏方案、红外方案或超声方案)识别触摸输入。输入器350可通过向处理器340提供另外的输入来与传感器365和/或相机相关联。在某些实施例中，传感器365包括一个或更多个惯性测量单元(imu)(诸如，加速度计、陀螺仪和磁力计)、运动传感器、光学传感器、相机、压力传感器、心率传感器、高度计等。输入器350还可包括控制电路。在电容方案中，输入器350可识别触摸或接近。
43.显示器355可以是液晶显示器(lcd)、发光二极管(led)显示器、有机led(oled)、有源矩阵oled(amoled)或能够渲染诸如来自网站、视频、游戏、图像等的文本和/或图形的其他显示器。显示器355的尺寸可被设置成适合hmd内。显示器355可以是能够创建立体显示的单个显示屏或多个显示屏。在某些实施例中，显示器355是抬头显示器(hud)。显示器355可以显示3d对象，诸如3d点云。
44.存储器360结合到处理器340。存储器360的一部分可包括ram，并且存储器360的另一部分可包括闪存或其他rom。存储器360可包括永久存储(未示出)，其中，永久存储表示能够存储信息(诸如，数据、程序代码和/或其他合适的信息)并促进该信息的检索的任何(一个或更多个)结构。存储器360可包含支持数据的长期存储的一个或更多个组件或装置，诸如只读存储器、硬盘驱动器、闪存或光盘。存储器360还可包含媒体内容。媒体内容可包括各种类型的媒体，诸如图像、视频、三维内容、vr内容、ar内容、3d点云等。
45.电子装置300还包括一个或更多个传感器365，其中，一个或更多个传感器365可计量物理量或检测电子装置300的激活状态，并将计量或检测到的信息转换为电信号。例如，传感器365可包括用于触摸输入的一个或更多个按钮、相机、手势传感器、imu传感器(诸如，陀螺仪或陀螺仪传感器和加速度计)、眼睛跟踪传感器、气压传感器、磁传感器或磁力计、握持传感器、接近传感器、颜色传感器、生物物理传感器、温度/湿度传感器、照度传感器、紫外线(uv)传感器、肌电图(emg)传感器、脑电图(eeg)传感器、心电图(ecg)传感器、ir传感器、
超声波传感器、虹膜传感器、指纹传感器、颜色传感器(诸如，红绿蓝(rgb)传感器)等。传感器365还可包括用于控制其中包括的任何传感器的控制电路。
46.电子装置300可创建媒体内容，诸如生成虚拟对象或通过相机捕捉(或记录)内容。为了将媒体内容发送到另一装置，电子装置300可对内容进行压缩和编码。当准备要发送的媒体内容时，电子装置300可将点云投影到多个图像块中。例如，点云的点的集群可被分组在一起并被描绘为2d帧中的图像块。图像块可表示点云的单个属性，诸如几何、颜色等。表示相同属性的图像块可分别打包到单独的2d帧中。
47.然后对2d帧进行编码以生成比特流。帧可被单独编码或一起编码。在编码处理期间，附加内容(诸如，元数据、标志、占用图(occupancy map)、辅助信息等)可被包括在比特流中。电子装置300可对媒体内容进行编码以生成比特流，使得比特流可被直接发送到另一电子装置，或者诸如通过图1的网络102间接发送到另一电子装置。类似于电子装置300的另一电子装置可直接从电子装置300接收比特流，或者诸如通过图1的网络102间接地接收比特流。
48.类似地，当对表示3d点云的比特流中包括的媒体内容进行解码时，电子装置300将接收到的比特流解码成帧。在某些实施例中，解码的比特流还包括占用图。解码的比特流还可包括一个或更多个标志、或量化参数大小、辅助信息、或其任何组合。几何帧可包括指示点云的点在3d空间中的地理坐标的像素。类似地，颜色帧可包括指示3d空间中的每一个几何点的rgb颜色的像素。在某些实施例中，单个帧可包括来自不同层的点。在某些实施例中，在重建3d点云之后，电子装置300可经由显示器355在三维中渲染3d点云。
49.尽管图2和图3示出了电子装置的示例，但可对图2和图3进行各种改变。例如，图2和图3中的各种组件可被组合、进一步细分或省略，并且可根据特定需要添加另外的组件。作为特定示例，处理器340可被划分为多个处理器，诸如一个或更多个中央处理器(cpu)、一个或更多个图形处理器(gpu)。另外，与计算和通信一样，电子装置和服务器可具有各种各样的配置，并且图2和图3不将本公开限制于任何特定的电子装置或服务器。
50.图4a、图4b和图4c示出根据本公开的实施例的框图。具体地，图4a示出根据本公开的实施例的示例环境架构400的框图。图4b示出根据本公开的实施例的图4a的编码器410的示例框图，并且图4c示出根据本公开的实施例的图4a的解码器450的示例框图。图4a、图4b和图4c的实施例仅用于说明。在不脱离本公开的范围的情况下，可使用其他实施例。
51.如图4a所示，示例环境架构400包括通过网络402通信的编码器410和解码器450。下面在图4b中更详细地描述编码器410。下面在图4c中更详细地描述解码器450。
52.网络402可与图1的网络102相同或类似。在某些实施例中，网络402表示通过一个或更多个网络互连的计算机的“云”，其中，网络是在被访问时利用充当单个无缝资源池的集群计算机和组件的计算系统。此外，在某些实施例中，网络402与一个或更多个服务器(诸如，图1的服务器104、服务器200)、一个或更多个电子装置(诸如，图1的客户端装置106至客户端装置116、电子装置300)、编码器410和解码器450连接。此外，在某些实施例中，网络402可连接到信息库(information repository)，其中，信息库包含可由编码器410编码、由解码器450解码或在电子装置上渲染和显示的vr媒体内容和ar媒体内容。
53.在某些实施例中，编码器410和解码器450可表示图1的服务器104、客户端装置106至客户端装置116中的一个、图2的服务器200、图3的电子装置300、或者另一合适的装置。在
某些实施例中，编码器410和解码器450可以是通过一个或更多个网络互连的计算机的“云”，其中每一个网络是当通过网络402被访问时利用充当单个无缝资源池的集群计算机和组件的计算系统。在一些实施例中，包括在编码器410或解码器450中的组件的一部分可被包括在不同的装置(诸如多个服务器104或200、多个客户端装置106至客户端装置116、或者不同装置的其他组合)中。在某些实施例中，编码器410可操作地连接到电子装置或服务器，同时解码器450可操作地连接到电子装置。在某些实施例中，编码器410和解码器450是同一装置或可操作地连接到同一装置。
54.通常，如图4a和图4b所示，编码器410从诸如服务器(类似于图1的服务器104、图2的服务器200)、信息库(诸如数据库)或客户端装置106至客户端装置116之一的另一装置接收3d媒体内容(诸如，点云)。在某些实施例中，编码器410可从多个相机接收媒体内容并将内容拼接在一起以生成包括一个或更多个点云的3d场景。
55.编码器410将点云的点分割成表示投影的多个图像块。点的集群可表示图像块。编码器410将表示用于表示点云的图像块的信息打包并存储到2d帧上。2d帧可以是视频帧。注意，3d点云的点位于基于(x,y,z)坐标值的3d空间中，但当点被投影到2d帧上时，表示投影的点的像素由通过坐标(u,v)指示的帧的列索引和行索引来表示。另外，“u”和“v”的范围可分别从零至深度图像中的行或列的数量。
56.2d帧(诸如，几何帧416和属性帧420)中的每一个表示点云的特定方面，诸如一组帧可表示几何，而另一组帧可表示属性(诸如，颜色)。应当注意，可基于更多层以及每一个附加定义的属性来生成附加帧。
57.编码器410还基于几何帧416生成占用图帧418，以指示帧内的哪些像素有效。通常，占用图针对帧内的每一个像素指示像素是有效像素还是无效像素。例如，如果占用图中的坐标(u,v)处的像素有效，则几何帧和对应属性帧中的坐标(u,v)处的对应像素也有效。如果占用图中坐标(u,v)处的像素无效，则解码器出于重建目的而跳过几何帧和属性帧中的坐标(u,v)处的对应像素。无效像素可包括诸如填充的信息，其中，该信息可提高编码效率但不提供与点云本身相关联的任何信息。通常，占用图是二进制的，使得每一个像素的值是1或0。例如，当占用图的位置(u,v)处的像素的值为1时，指示属性帧和几何帧的(u,v)处的像素有效。相反，当占用图的位置(u,v)处的像素的值为0时，指示属性帧和几何帧的(u,v)处的像素无效，并且因此不表示3d点云的点。非二进制占用图可被阈值化或处理以生成二进制占用图。
58.编码器还生成图像块信息432，其中，图像块信息432包括使视频帧的像素与点云相关的信息。例如，图像块信息432可指示存储在视频帧中的图像块的3d位置。图像块信息432还可指示图像块位于视频帧的2d网格上的何处。图像块信息还可指示图像块的大小(诸如，与图像块对应的像素的数量)。
59.编码器410将表示点云的帧作为编码的比特流进行发送。比特流可通过网络402被发送到信息库(诸如，数据库)或包括解码器(诸如，解码器450)的电子装置。下面在图4b中更详细地描述编码器410。
60.如图4b所示，编码器410接收3d点云412并生成比特流440。比特流440包括表示3d点云412的数据。比特流440可包括经由多路复用器438一起多路复用的多个比特流。比特流440可经由图4a的网络402被发送到另一装置(诸如，解码器450)、包括解码器450的电子装
置、或信息库。编码器410还包括图像块生成器和打包器414、一个或更多个编码引擎(诸如，编码引擎422a、编码引擎422b、编码引擎422c和编码引擎422d，它们被统称为编码引擎422)、以及属性生成器428。
61.3d点云412可被存储在存储器230、存储器360中或者从另一电子装置被接收。3d点云412可以是单个3d对象(类似于图4a的3d点云400)或3d对象的分组。3d点云412可以是静止对象或移动的对象。
62.图像块生成器和打包器414用于生成几何帧416、占用图帧418、属性信息(其由属性生成器428用于生成属性帧420)、以及图像块信息432(其包括提供关于图像块的信息的图像块信息，诸如，与每一个图像块相关联的索引号)。
63.图像块生成器414通过对3d点云412进行投影来生成图像块。在某些实施例中，图像块生成器414对3d点云412的每一个点的几何信息和属性信息进行划分。图像块生成器414可使用多个投影平面(类似于图4d的投影平面410、投影平面412、投影平面414、投影平面416、投影平面418和投影平面420)来对3d点云412的点进行集群以生成图像块。
64.图像块生成器414确定针对每一个点的最佳投影平面。基于3d点云的集群点来生成图像块，其中，3d点云的集群点与对应于每一个点的法向量的特定投影平面相关联。当生成比特流440时，生成表示3d点云的2d图像块的操作可消耗编码器410的总编码运行时间的80％以上。例如，针对输入的点云412的点估计法向量以便识别对应于每一个点的特定投影平面的处理消耗高处理能力，尤其是对于具有数百万个点的大点云。因此，本公开的实施例描述了降低用于针对输入的点云412的每一个单个点估计法向量的复杂度的方法。
65.在确定针对3d点云412的每一个点的最佳投影平面之后，图像块生成器和打包器414将点分割成图像块数据结构，其中，图像块数据结构是打包的帧，诸如图4c的几何帧416和几何帧430。如上面讨论的图4c和图4d所示，图像块被组织并放置在对应的帧内，诸如图像块432被包括在几何帧430中，并且图像块442被包括在属性帧440中。应注意，表示相同点的集群的不同属性的图像块包括对应关系或映射，基于像素的位置在各个帧中处于相同位置，一个图像块中的这样的像素对应于另一图像块中的相同像素。
66.占用图帧418表示占用图，其中，占用图指示帧(诸如，几何帧416)中的有效像素。例如，占用图帧418指示几何帧416中的每一个像素是有效像素还是无效像素。占用图帧418中的每一个有效像素对应于几何帧416中表示3d点云412在3d空间中的位置点的像素。相反，无效像素是占用图帧418内的对应于几何帧416中不表示3d点云412的点的像素(诸如，图4c和图4d的帧430和帧440中的空/黑色空间)的像素。在某些实施例中，占用图帧418中的一个可对应于几何帧416和属性帧420两者(下面讨论)。
67.例如，当图像块生成器和打包器414生成占用图帧418时，占用图帧418包括针对每一个像素的预定义值，诸如0或1。例如，当占用图的在位置(u,v)处的像素是值0时，指示几何帧416中的(u,v)处的像素无效。类似地，当占用图的在位置(u,v)处的像素是值1时，指示几何帧416中的(u,v)处的像素有效，并且因此包括表示3d点云的点的信息。
68.几何帧416包括表示3d点云412的几何值的像素。几何帧416包括3d点云412的点的地理信息。例如，3d点的两个横向坐标(相对于投影平面)对应于几何视频帧中的列索引和行索引(u,v)加上横向偏移，其中，该3d点的两个横向坐标指示视频帧内整个图像块的位置。3d点的深度被编码为视频帧中的像素的值加上图像块的深度偏移。3d点云的深度取决
于3d点云的投影是取自xy坐标、yz坐标还是xz坐标。
69.在某些实施例中，图像块信息432包含关于图像块的信息。例如，图像块信息432包括图像块在2d帧中的定位、3d点云空间中的针对图像块片段的偏移、图像块投影在其上的平面等。图像块信息432可包括使存储在几何帧416和占用图帧418中的图像块与3d点云412上的位置相关的信息。图像块信息还可指示图像块的大小(诸如，与图像块对应的像素的数量)。
70.编码器410包括一个或更多个编码引擎422。在某些实施例中，如所示出的，视频帧(诸如，几何帧416、占用图帧418和属性帧420)和图像块信息432由独立的编码引擎422编码。在其他实施例中，单个编码引擎执行帧的编码。
71.编码引擎422可被配置为支持8位、10位、12位、14位或16位精度的数据。编码引擎422可包括视频或图像编解码器，诸如，hevc、avc、vp9、vp8、vvc、evc、av1等，以对表示3d点云的2d帧进行压缩。编码引擎422中的一个或更多个可按照有损方式或无损方式对信息进行压缩。
72.如所示出的，编码引擎422a接收几何帧416并执行几何压缩以生成几何子比特流424a。编码引擎422b接收占用图帧418并执行占用图压缩以生成占用图子比特流426a。编码引擎422c接收属性帧420并执行属性压缩以生成属性子比特流430。编码引擎422d接收图像块信息432并执行压缩以生成图像块信息子比特流434a。在某些实施例中，图像块信息不被压缩。
73.在某些实施例中，编码引擎422可对视频帧(诸如，几何帧416、占用图帧418和属性帧420)和图像块信息432进行不同的子采样。例如，图像块信息432的大小可以是1024
×
1024，几何帧416的大小可以是412
×
412，占用图帧418的大小可以是256
×
256，并且属性帧420的大小可以是128
×
128。该示例中的大小仅用于解释，并且可使用帧的其他大小。另外，一些帧可被子采样至相同的大小。
74.在编码引擎422a生成几何子比特流424a之后，解码引擎可对几何子比特流424a进行解码以生成重建的几何帧424b。类似地，在编码引擎422b生成占用图子比特流426a之后，解码引擎可对占用图子比特流426a进行解码以生成重建的占用图帧426b。
75.属性生成器428基于来自由图像块生成器和打包器414提供的3d点云412的属性信息、重建的几何帧424b、重建的占用图帧426b来生成属性帧420。
76.在某些实施例中，为了生成表示颜色的属性帧420之一，由编码引擎422a使用诸如hevc的2d视频编解码器来对几何帧416进行压缩。几何子比特流424a被解码以生成重建的几何帧424b。类似地，使用编码引擎422b对占用图帧418进行压缩，然后进行解压缩以生成重建的占用图帧426b。然后，编码器410可基于重建的几何帧424b和重建的占用图帧426b来重建3d点云的点的几何位置。属性生成器428将来自输入的点云的颜色值的每一个点的属性值(诸如，颜色)插值到重建的点云和原始点云412。然后由属性生成器428对插值的颜色进行分割，以匹配与几何信息相同的图像块。属性生成器428然后将插值的属性值打包到表示颜色的属性帧420中。在其他实施例中，属性生成器可执行用于生成属性帧的其他方法。
77.属性帧420表示点云的一个或更多个不同属性。例如，对于几何帧416中的一个，可存在零个或多个对应的属性帧420。属性帧可表示诸如颜色、纹理、法线、材料属性、反射、运动等的属性。在某些实施例中，属性帧420中的一个可包括针对几何帧416中的一个内的几
何点中的每一个的颜色值，而另一个属性帧可包括指示相同几何帧416内的每一个对应几何点的反射率水平的反射率值。每一个附加属性帧420表示与特定几何帧416相关联的其他属性。在某些实施例中，每一个几何帧416具有至少一个对应的属性帧420。
78.在某些实施例中，视频帧(诸如，几何帧416、占用图帧418和属性帧420)和图像块信息可以是相同的大小。在其他实施例中，视频帧和图像块信息可以是不同的大小。
79.除上文所描述的元素之外，图像块信息432还可包括一个或更多个标志、一个或更多个附加语法元素、一个或更多个量化参数大小、一个或更多个阈值、或它们的任何组合。
80.在某些实施例中，几何平滑引擎可对几何帧416或重建的几何帧424b进行平滑，并生成几何平滑参数。类似地，属性平滑引擎可对属性帧416520进行平滑并生成属性平滑参数。解码器450可利用平滑参数来改善重建的点云的视觉质量。
81.多路复用器438将图像块信息子比特流434a、几何子比特流424a、占用图子比特流426a、属性子比特流430和任何平滑参数(诸如，几何平滑参数和属性平滑参数)组合，以创建比特流440。
82.通常，图4a和图4c的解码器450接收表示媒体内容(诸如，点云)的比特流(诸如，比特流440)。比特流440可包括表示3d点云的数据。在某些实施例中，解码器450可对比特流440进行解码并生成多个帧，诸如一个或更多个几何帧、一个或更多个属性帧、和一个或更多个占用图帧。解码器450使用多个帧来重建点云或点云的一部分，重建的点云或点云的一部分可被渲染并由用户观看。
83.如图4c所示，解码器450包括解复用器452、一个或更多个解码引擎(诸如，解码引擎454a、解码引擎454b、解码引擎454c和解码引擎454d)、几何和属性重建引擎456、平滑引擎(诸如，几何平滑引擎458a和属性平滑458b)、以及属性传递引擎460。
84.解码器450接收比特流440(诸如，由编码器410生成的比特流)。解复用器452将比特流440分离成表示不同信息的一个或更多个子比特流。例如，解复用器452将各种数据流分离成单独的子比特流，诸如，参数集和消息436b(其可包括语义元素、几何平滑参数和属性平滑参数)、几何子比特流424a、占用图子比特流426a、属性子比特流430和图像块信息子比特流434b。在某些实施例中，如果编码器410没有执行平滑，则几何平滑参数和属性平滑参数不被包括在比特流中。
85.解码器450包括一个或更多个解码引擎。例如，解码器450可包括解码引擎454a、解码引擎454b、解码引擎454c和解码引擎454d(被统称为解码引擎454)。在某些实施例中，单个解码引擎执行所有单独解码引擎454的操作。
86.在某些实施例中，参数集和消息436提供来自编码器410的任何平滑引擎的平滑参数。例如，参数集和消息436向几何平滑引擎458a提供几何平滑参数。类似地，参数集和消息436向属性平滑引擎458b提供属性平滑参数。
87.解码引擎454a将几何子比特流424a解码为重建的几何416a。类似地，解码引擎454b将占用图子比特流426a解码为重建的占用图帧418a。另外，解码引擎454c将属性子比特流430解码为重建的属性420a。解码引擎454d将图像块信息子比特流434a解码为重建的图像块信息432a。在某些实施例中，如果图4b的图像块信息432未被编码，则解复用器452从比特流(而不是图像块信息子比特流434a)中分离出图像块信息432，并且图像块信息432不被解码引擎454d解码。
88.在对重建的几何416a的一部分、重建的占用图帧418a的一部分、重建的属性420a的一部分、以及重建的图像块信息432a的一部分进行解码之后，几何和属性重建引擎456生成重建的点云。如上所述，解码帧的一部分可以是全部帧或更少。在某些实施例中，参数集和消息436b可向几何和属性重建引擎456提供各种标志、语义元素、消息等，以用于重建3d空间中的点云的点。几何和属性重建引擎456基于重建的占用图帧418a、重建的几何416a、重建的属性420a、重建的图像块信息432a、以及来自参数集和消息436b的任何接收到的信息来重建3d空间中的点云的点。
89.可启用或禁用几何平滑引擎458a。如果启用几何平滑引擎458a，则几何平滑引擎458a对重建点云的几何点执行平滑。几何平滑引擎458a可使用由参数集和消息436b提供的几何平滑参数。如果几何平滑引擎458a被禁用，则解码器450不执行几何平滑。
90.在某些实施例中，解码器450经由属性传递引擎460执行属性传递步骤。属性传递引擎460修改属性信息以匹配3d空间中的点的位置。
91.可启用或禁用属性平滑引擎458b。如果启用属性平滑引擎458b，则属性平滑引擎458b对重建的点云的属性点执行平滑。属性平滑引擎458b可使用由参数集和消息436b提供的属性平滑参数。在此情况下，如果启用属性平滑，则属性平滑引擎458b基于一个或更多个属性平滑参数来平滑重建的属性。此后，解码器重建点云462以用于渲染。如果属性平滑被禁用(解码器450可跳过属性平滑引擎458b)，则重建的属性直接被用于重建点云462以用于渲染。
92.尽管图4a示出了环境架构400，图4b示出了编码器410，并且图4c示出了解码器450，但可对图4a、图4b和图4c进行各种改变。例如，环境架构400可包括任何数量的编码器或解码器。
93.图5示出了根据本公开的实施例的v3c内容信令的示例架构500。图5所示出的架构500的实施例仅用于说明。图5不将本公开的范围限制于电子装置的任何特定实施方式。
94.如图5所示，架构500包括mmt接收实体502、v3c处理实体504和一个或更多个解码器506。针对v3c内容508、分组消息510和v3c信令消息512提供两种类型的信令。分组消息510包括通过使用对特定内容类型或媒体类型不可知的通用mmt信令消息、表和描述符按照每个mmt包(package)或mmt资产(asset)提供的信令信息。mmt接收实体502使用这种信息来理解mmt包的结构或者mmt资产的属性。v3c信令消息是对于v3c内容类型特定的信令信息，其中，该信令信息提供每一个v3c内容的结构以及对于v3c内容或v3c内容的分量特定的属性。通用mmt信令信息由mmt接收实体502处理，并且v3c内容类型特定信息由v3c内容特定信息处理实体504处理。在一些情况下，根据v3c内容类型特定信令信息，从v3c内容特定信息处理实体504向mmt接收实体502提供反馈。
95.v3c内容508的特性是内容由多个比特流(例如，v3c图谱(atlas)比特流和v3c视频分量比特流)组成，其中，多个比特流将由单独的解码器506解码。因此，包括v3c内容508的每一个比特流需要被视为单独的资产。
96.此外，需要将多个资产逻辑地分组在一起作为一个内容的信息。由于mmt规范中不存在这样的信息，因此需要定义新的信令信息。在携带v3c内容508的isobmff文件中，通过轨道参考信息来用信号传送对单独的轨道进行分组以将它们逻辑地分组为一个内容，其中，该轨道参考信息使用在参考其他轨道的轨道中携带的trackreferencebox字段。因此，
使用相同参考信息的信令信息似乎是适当的。在mmt中，关于每一个单独的资产的信息作为描述符被携带，并且这样的描述符被携带在信令消息或信令表(诸如，pa消息中的mp表)的资产描述符循环中。用于mmt资产的分组510或资产参考描述符提供用于进行以下操作的信息：通过使用由isobmff使用的轨道参考信息将资产逻辑地分组到单个内容中。
97.分组消息510资产参考描述符提供资产之间的参考关系信息。该描述符可被添加到参考其他资产的资产的信令消息或信令表(例如，mp表)的资产描述符循环。表1示出资产参考描述符的语义。
98.[表1]
[0099][0100]
其中group_identification字段表示指定组标识以标识参考关系中的资产的组的字段。number_of_reference字段表示指定由与该描述符相关联的资产参考的资产的数量的字段。reference_type字段表示指定参考类型的字段，其以在mp4ra中注册的四字符代码(“4cc”)类型描述。asset_id字段提供由与该描述符相关联的资产参考的资产的标识符。
[0101]
对于v3c内容508，在针对v3c图谱比特流的mmt资产的信令消息或信令表的资产描述符循环中携带资产参考描述符。资产参考描述符或分组消息510包括对携带包括v3c内容508的其他比特流(诸如，其他v3c图谱比特流、v3c图谱瓦片(tile)比特流或v3c视频分量比特流)的资产的轨道参考信息。每一个参考信息由轨道参考类型以及使用这种轨道参考类型所参考的资产的id组成。当使用v3c图谱瓦片时，携带v3c图谱比特流的资产的资产描述符循环包括提供对携带v3c图谱瓦片比特流的资产的参考的资产参考描述符，并且携带v3c图谱瓦片比特流的每一个资产的资产描述符循环携带提供对携带v3c视频分量比特流的资产的参考的资产参考描述符。当v3c内容508具有多个v3c图谱时，则携带适用于所有v3c图谱的公共信息的资产的资产描述符循环携带对携带v3c图谱比特流的资产的资产参考描述符。
[0102]
v3c资产分组消息510或信令消息512通过参考在携带资产的通用信息的信令消息(诸如，mp表)中提供的资产描述符来提供关于v3c内容508的结构的信息。由于v3c内容508可由具有多个嵌套参考关系的各种资产构成，因此该消息可包括与单个v3c内容508相关的所有资产参考描述符的标识符的列表。如果v3c内容508提供部分访问信息，则通过使用3d空间区域结构(3d spatial region struct)来提供关于以下项的信息：由v3c图谱比特流
或v3c图谱瓦片比特流覆盖的3d空间区域、以及由v3c图谱比特流或v3c图谱瓦片比特流用资产参考描述符参考的v3c视频分量。如果v3c内容508或其v3c视频分量具有可选方案，则针对具有一个或更多个可选方案的每一个资产提供资产组描述符的标识符。
[0103]
[表2]
[0104][0105][0106]
其中，v3c_asset_group_id字段表示携带针对v3c图谱比特流或v3c图谱瓦片比特流的资产的资产描述符循环中携带的asset_reference_descriptor的组标识字段的值的字段。3d_spatial_region_info_flag字段表示指示资产是否携带3d空间区域信息的字段，其中值0指示不提供3d空间区域信息，并且值1指示提供3d空间区域信息。num_regions字段表示指示3d空间区域信息的数量的字段。3dspatialregionstruct结构表示携带由资产组覆盖的3d空间区域的信息的数据结构。num_assets字段表示指示在该信令消息中提供其资产特定信息的资产的数量的字段。alternate_group_if_flag字段表示指示是否携带可选
组信息的字段，其中值0指示不提供可选组信息，并且值1指示提供可选组信息。alternate_group_id字段表示携带与资产相关联的asset_group_descriptor的组标识字段的值的字段。
[0107]
可选地，v3c资产组或信令消息512通过参考在携带资产的通用信息的信令消息(诸如，mp表)中提供的资产描述符来提供关于v3c内容508的结构的信息。由于v3c内容508可由具有多个嵌套参考关系的各种资产组成，因此信令消息512可包括与单个v3c内容508相关的所有资产参考描述符的标识符的列表。如果v3c内容508提供部分访问信息，则通过使用3d空间区域结构来提供关于以下项的信息：由v3c图谱比特流或v3c图谱瓦片比特流覆盖的3d空间区域、以及由v3c图谱比特流或v3c图谱并行块比特流用资产参考描述符参考的v3c视频分量。如果v3c内容或其v3c视频分量具有可选方案，则针对具有可选方案的每一个资产提供资产组描述符的标识符。
[0108]
[表3]
[0109]
[0110][0111]
其中，num_v3c_asset_groups字段表示指示由信令消息512指示的资产组的数量的字段。num_assets字段表示指示在信令消息512中提供其资产特定信息的资产的数量的字段。3d_spatial_region_info_flag字段表示指示是否携带3d空间区域信息的字段，其中值0指示不提供3d空间区域信息，并且值1指示提供3d空间区域信息。num_regions字段表示指示3d空间区域信息的数量的字段。3dspatialregionstruct(1)结构表示携带由资产组覆盖的3d空间区域的信息的数据结构。asset_reference_info_flag字段表示指示是否提供资产参考信息的字段。number_of_reference字段表示指定由与该描述符相关联的资产参考的资产的数量的字段。reference_type字段表示指定参考类型的字段，其可以以在mp4ra
中注册的四字符代码(“4cc”)类型来描述。alternate_group_info_flag字段表示指示是否携带可选组信息的字段，其中值0指示不提供可选组信息，并且值1指示提供可选组信息。alternate_group_id字段表示携带与资产相关联的asset_group_descriptor的组标识字段的值的字段。
[0112]
尽管图5示出了v3c内容信令的架构500，但可对图5进行各种改变。例如，架构500及其各个组件的大小、形状和维度可根据需要或期望而变化。此外，架构500的各种组件的数量和放置可根据需要或期望而变化。此外，架构500可用于任何其他合适的v3c内容信令处理，并且不限于上述特定过程。
[0113]
图6示出根据本公开的用于v3c内容的mmt信令的点云编码器的示例方法。方法600可由图1的服务器104或客户端装置106至客户端装置116中的任何一个、图2的服务器200、图3的电子装置300、图4a的编码器410或任何其他合适的装置或系统来执行。为了便于解释，方法600被描述为由图4a的编码器410执行。
[0114]
如图6所示，在步骤602，编码器410读取比特流。比特流可包括一系列图像或一个或更多个视频。可从存储装置215(诸如，存储器230或永久存储235)读取比特流。比特流可被存储和从外部源(诸如，外部服务器104的)被接收。编码器410可从解码器450接收请求，以从多个独立比特流请求和识别特定部分。比特流可包括v3c内容508。
[0115]
在步骤604，编码器410可对分组消息510进行编码，其中，分组消息510指示针对包含v3c内容508的多个独立比特流的资产的组。分组消息510是指示资产组中的资产之间的参考关系的描述符。编码器410可对针对v3c内容508中的资产的组标识符和/或分组消息510进行编码。可基于包括在资产参考描述符中的资产标识符对包括在v3c内容508中的资产进行编码。可使用资产参考描述符中的组标识符对v3c内容508进行编码。在某些实施例中，分组消息510可包括提供资产之间的参考关系信息的资产参考描述符。
[0116]
在步骤606，编码器410可对信令消息512进行编码，其中，信令消息512指示资产组的每一个资产中的比特流的一部分以及将由比特流的该部分占用的对应区域。编码器410可对包括在信令消息512中的3d空间区域信息的数量和由资产覆盖的3d空间区域的信息进行编码。编码器410可对针对由信令消息512指示的资产的可选的比特流的组进行编码。
[0117]
在步骤608，编码器410发送压缩的视频比特流。将包括特定部分的压缩的视频比特流发送到解码器450。编码器410还将分组消息510和信令消息512发送到解码器450。编码器410还可将具有v3c内容508的一个或更多个独立视频比特流发送到服务器104以用于存储和分发一个或更多个独立视频比特流。
[0118]
尽管图6示出用于v3c内容的mmt信令的点云编码器的方法600的一个示例，但可对图6进行各种改变。例如，虽然示出为一系列步骤，但图6中的各种步骤可重叠、并行发生或发生任何次数。
[0119]
图7示出根据本公开的用于v3c内容的mmt信令的点云解码器的示例方法。方法700可由图1的服务器104或客户端装置106至客户端装置116中的任何一个、图2的服务器200、图3的电子装置300、图4a的解码器450或任何其他合适的装置或系统来执行。为了便于解释，方法700被描述为由图4a的解码器450执行。
[0120]
如图7所示，在步骤702，解码器450接收多个视频比特流。可从编码器(诸如，图4中所示的编码器410)接收压缩的视频比特流。压缩的视频比特流可包括v3c内容508的多个独
立比特流。
[0121]
在步骤704，解码器450可接收分组消息510，其中，分组消息510指示包含v3c内容508的多个独立比特流中的资产的组。分组消息510是指示资产组中的资产之间的参考关系的描述符。解码器450可识别针对v3c内容508中的资产的组标识符。可基于包括在资产参考描述符中的资产标识符来识别包括在v3c内容508中的资产。可使用资产参考描述符中的组标识符来识别v3c内容508。在某些实施例中，分组消息510可包括提供资产之间的参考关系信息的资产参考描述符。解码器450可基于分组消息来选择资产的组。
[0122]
在步骤706，解码器450可接收信令消息512，其中，信令消息512指示组的每一个资产中的比特流的一部分以及将由比特流的该部分占用的对应区域。解码器450可识别包括在信令消息512中的3d空间区域信息的数量和由资产覆盖的3d空间区域的信息。解码器450可识别针对由信令消息512指示的资产的可选的比特流的组。在某些实施例中，信令消息512可包括v3c资产组消息和/或可选的资产组消息。
[0123]
在步骤710，解码器450可至少对选择的资产的组进行解码。解码器450可基于针对独立流中的每一个的分组消息510和信令消息512来对压缩的视频比特流进行解码。基于v3c内容508的资产对压缩的视频比特流的视频帧进行解码。解码的视频比特流可被存储或显示在解码器450上。
[0124]
尽管图7示出用于v3c内容的mmt信令的点云解码器的方法700的一个示例，但可对图7进行各种改变。例如，虽然示出为一系列步骤，但图7中的各种步骤可重叠、并行发生或发生任何次数。
[0125]
尽管已经利用示例性实施例描述了本公开，但可向本领域技术人员建议各种改变和修改。本公开旨在涵盖落入所附权利要求的范围内的这些改变和修改。本技术中的描述都不应被解读为暗示任何特定元件、步骤或功能是必须包括在权利要求范围内的必要元件。专利主题的范围由权利要求限定。

技术特征：
1.一种点云解码装置，包括：通信接口，被配置为：接收多个独立比特流，并且接收分组消息，其中，所述分组消息指示包含视觉体积编码(v3c)内容的所述多个独立比特流中的资产的组；以及处理器，可操作地结合到所述通信接口，其中，所述处理器被配置为：基于所述分组消息选择所述资产的组，并且至少对选择的所述资产的组进行解码。2.根据权利要求1所述的解码装置，其中：所述分组消息是指示所述组中的资产之间的参考关系的描述符，以及所述处理器还被配置为：识别针对所述v3c内容中的资产的组标识符。3.根据权利要求2所述的解码装置，其中，所述处理器还被配置为：基于包括在资产参考描述符中的所述资产标识符来识别包括所述v3c内容中的资产。4.根据权利要求2所述的解码装置，其中，所述处理器还被配置为：使用所述资产参考描述符中的所述组标识符来识别所述v3c内容。5.根据权利要求1所述的解码装置，其中：所述通信接口还被配置为：接收信令消息，其中，所述信令消息指示所述组的每一个资产中的所述比特流的一部分以及将由所述比特流的所述一部分占用的对应区域，且所述处理器还被配置为：对资产的与对用户可见的区域对应的部分进行解码。6.根据权利要求5所述的解码装置，其中，所述处理器还被配置为：识别包括在所述信令消息中的3d空间区域信息的数量和由资产覆盖的3d空间区域的信息。7.根据权利要求5所述的解码装置，其中，所述处理器还被配置为：识别资产特定信息被包括在所述信令消息中的资产的数量。8.一种方法，包括：由解码装置的通信接口接收多个独立比特流；由所述通信接口接收分组消息，其中，所述分组消息指示包含视觉体积编码(v3c)内容的所述多个独立比特流中的资产的组；由可操作地结合到所述通信接口的处理器基于所述分组消息选择所述资产的组；以及由所述处理器至少对选择的所述资产的组进行解码。9.根据权利要求8所述的方法，其中：所述分组消息是指示所述组中的资产之间的参考关系的描述符，并且所述方法还包括：由处理器识别针对所述v3c内容中的资产的组标识符。10.一种点云编码装置，包括：处理器，被配置为：对分组消息进行编码，其中，所述分组消息指示包含视觉体积编码(v3c)内容的多个独立比特流中的资产的组，以及通信接口，可操作地结合到所述处理器并且被配置为发送所述多个独立比特流和所述分组消息。11.根据权利要求10所述的编码装置，其中：
所述分组消息是指示所述组中的资产之间的参考关系的描述符，并且所述处理器还被配置为：对针对所述v3c内容中的资产的组标识符进行编码。12.根据权利要求11所述的编码装置，其中，所述处理器还被配置为：基于包括在资产参考描述符中的资产标识符对包括在所述v3c内容中的资产进行编码。13.根据权利要求11所述的编码装置，其中，所述处理器还被配置为：使用所述资产参考描述符中的所述组标识符对所述v3c内容进行编码。14.根据权利要求10所述的编码装置，其中，所述处理器还被配置为：对包括在所述信令消息中的3d空间区域信息的数量和由资产覆盖的3d空间区域的信息进行编码，以及对资产特定信息被包括在所述信令消息中的资产的数量进行编码。15.根据权利要求10所述的编码装置，其中：所述处理器还被配置为：对信令消息进行编码，其中，所述信令消息指示所述组的每一个资产中的所述比特流的一部分和将由所述比特流的所述一部分占用的对应区域，以及所述通信接口还被配置为：与所述多个独立比特流和所述分组消息一起发送所述信令消息。

技术总结
一种点云编码装置包括点云编码装置包括通信接口和可操作地结合到所述通信接口的处理器。所述通信接口被配置为接收多个独立比特流。所述通信接口还被配置为接收分组消息，其中，所述分组消息指示包含视觉体积编码(V3C)内容的多个独立比特流的资产的组。所述处理器被配置为基于所述分组消息选择所述资产的组。所述处理器被配置为至少对选择的所述资产的组进行解码。组进行解码。组进行解码。


技术研发人员：林荣权
受保护的技术使用者：三星电子株式会社
技术研发日：2022.04.12
技术公布日：2023/10/5