对视频进行解码或编码的方法和存储视频数据的设备与流程

对视频进行解码或编码的方法和存储视频数据的设备
1.本技术为2017年12月7日提交的国际申请号为pct/kr2017/014336、发明名称为“用于处理视频信号的方法和设备”的pct申请的分案申请，该pct申请进入中国国家阶段日期为2019年6月5日，国家申请号为201780075487.1。
技术领域
2.本发明涉及用于处理视频信号的方法和设备。


背景技术：

3.近来，在各种应用领域中对高分辨率和高质量图像例如高清晰度(hd)图像和超高清晰度(uhd)图像的需求已经增加了。然而，与常规图像数据相比，更高分辨率和质量的图像数据的数据量增加。因此，在通过使用介质例如常规的有线和无线宽带网络传输图像数据时，或者在通过使用常规的存储介质存储图像数据时，传输和存储的成本增加了。为了解决随着图像数据的分辨率和质量的提高而出现的这些问题，可以利用高效的图像编码/解码技术。
4.图像压缩技术包括各种技术，包括：根据当前图片的先前图片或后续图片来对包括在当前图片中的像素值进行预测的帧间预测技术；通过使用当前图片中的像素信息对包括在当前图片中的像素值进行预测的帧内预测技术；将短代码分配给出现频率高的值并且将长代码分配给出现频率低的值的熵编码技术等。可以通过使用这样的图像压缩技术来有效地压缩图像数据，并且可以传输或存储图像数据。
5.同时，随着对高分辨率图像的需求的增加，对作为新的图像服务的立体图像内容的需求也在增加。正在讨论用于有效地提供具有高分辨率和超高分辨率的立体图像内容的视频压缩技术。


技术实现要素：

6.技术问题
7.本发明的目的是提供一种用于在对视频信号进行编码/解码时对编码/解码目标块有效地执行帧内预测的方法和设备。
8.本发明的目的是提供一种用于在对视频信号进行编码/解码时使用多个参考样本通过加权预测来执行帧内预测的方法和设备。
9.本发明的目的是提供一种用于在对视频信号进行编码/解码时使用多种帧内预测模式来执行帧内预测的方法和设备。
10.本发明要实现的技术目的不限于上述技术问题。并且，本领域技术人员根据以下描述将明显地理解未提及的其他技术问题。
11.技术方案
12.根据本发明的用于对视频信号进行解码的方法和设备可以：确定用于当前块中的第一子块的第一帧内预测模式和用于第二子块的第二帧内预测模式；基于第一帧内预测模
式对第一子块执行第一帧内预测；基于第二帧内预测模式对第二子块执行第二帧内预测；以及根据第一帧内预测和第二帧内预测的结果获得当前块的预测样本。
13.根据本发明的用于对视频信号进行编码的方法和设备可以：确定用于当前块中的第一子块的第一帧内预测模式和用于第二子块的第二帧内预测模式；基于第一帧内预测模式对第一子块执行第一帧内预测；基于第二帧内预测模式对第二子块执行第二帧内预测；以及根据第一帧内预测和第二帧内预测的结果获得当前块的预测样本。
14.在根据本发明的用于对视频信号进行编码/解码的方法和设备中，可以将与当前块中的第一子块相对应的区域中的预测样本设置为作为第一帧内预测的结果而获得的第一预测样本，并且可以将与第二子块相对应的区域中的预测样本设置为作为第二帧内预测的结果而获得的第二预测样本。
15.在根据本发明的用于对视频信号进行编码/解码的方法和设备中，可以基于作为第一帧内预测的结果而获得的第一预测样本和作为第二帧内预测的结果获得的第二预测样本的加权和，来获得位于第一子块和第二子块的边界处的预测样本。
16.在根据本发明的用于对视频信号进行编码/解码的方法和设备中，可以基于预测样本的位置或者第一帧内预测模式与第二帧内预测模式之间的差，来确定应用于第一预测样本和第二预测样本的权重。
17.在根据本发明的用于对视频信号进行编码/解码的方法和设备中，可以根据第一帧内预测模式得到第二帧内预测模式。
18.在根据本发明的用于对视频信号进行编码/解码的方法和设备中，可以通过将第一帧内预测模式与差值相加来得到第二帧内预测模式。
19.在根据本发明的用于对视频信号进行编码/解码的方法和设备中，第一帧内预测模式可以是方向性预测模式，并且第二帧内预测模式可以是非方向性预测模式。
20.根据本发明，提供了一种对视频进行解码的方法，所述方法包括：确定当前块的预测模式，所述预测模式被确定为帧内预测和帧间预测之一；通过对所述当前块执行所述帧内预测或所述帧间预测来获得所述当前块的第一预测样本；基于所述第一预测样本和由与所述当前块相邻的参考样本得到的值的加权和运算来获得第二预测样本；以及基于所述第二预测样本获得所述当前块的重构样本，其中，所述参考样本包括具有与所述第一预测样本相同的x坐标的顶部相邻样本或具有与所述第一预测样本相同的y坐标的左侧相邻样本中的至少一个，以及其中，所述第二预测样本是通过将第一权重应用于所述第一预测样本并将第二权重应用于由所述参考样本得到的值而获得的。
21.根据本发明，提供了一种对视频进行编码的方法，所述方法包括：确定当前块的预测模式，所述预测模式被确定为帧内预测和帧间预测之一；通过对所述当前块执行所述帧内预测或所述帧间预测来获得所述当前块的第一预测样本；基于所述第一预测样本和由与所述当前块相邻的参考样本得到的值的加权和运算来获得第二预测样本；以及通过从原始样本中减去所述第二预测样本来获得所述当前块的残差样本，其中，所述参考样本包括具有与所述第一预测样本相同的x坐标的顶部相邻样本或具有与所述第一预测样本相同的y坐标的左侧相邻样本中的至少一个，以及其中，所述第二预测样本是通过将第一权重应用于所述第一预测样本并将第二权重应用于由所述参考样本得到的值而获得的。
22.根据本发明，还提供了一种用于存储由上述编码方法生成的经压缩的视频数据的
设备。
23.以上对本发明简要概述的特征仅是随后对本发明的详细描述的说明性方面，而不限制本发明的范围。
24.有益效果
25.根据本发明，可以对编码/解码目标块有效地执行帧内预测。
26.根据本发明，可以使用多个参考样本基于加权预测来执行帧内预测。
27.根据本发明，可以使用多种帧内预测模式来执行帧内预测。
28.能够通过本发明获得的效果不限于上述效果，并且本领域技术人员可以根据以下描述清楚地理解未提及的其他效果。
附图说明
29.图1是示出根据本发明的实施方式的用于对视频进行编码的设备的框图。
30.图2是示出根据本发明的实施方式的用于对视频进行解码的设备的框图。
31.图3是示出根据本发明的实施方式的基于树结构对编码块进行分层划分的示例的图。
32.图4是示出根据本发明的实施方式的允许基于二叉树的划分的划分类型的图。
33.图5是示出根据本发明的实施方式的仅允许预定类型的基于二叉树的划分的示例的图。
34.图6是用于说明根据应用本发明的实施方式的对与可允许的二叉树划分次数有关的信息进行编码/解码的示例的图。
35.图7是示出根据本发明的实施方式的可应用于编码块的划分模式的图。
36.图8是示出根据本发明的实施方式的用于对视频进行编码/解码的设备的预定义帧内预测模式的类型的图。
37.图9是示出根据本发明的实施方式的一种扩展帧内预测模式的图。
38.图10是简要示出根据本发明的实施方式的帧内预测方法的流程图。
39.图11是示出根据本发明的实施方式的基于相邻样本的差分信息来校正当前块的预测样本的方法的图。
40.图12和图13是示出根据本发明的实施方式的基于预定校正滤波器来校正预测样本的方法的图。
41.图14示出了根据本发明的实施方式的根据当前块的大小来可变地确定校正滤波器的应用范围的示例。
42.图15和图16是示出其中参考样本被重新排列成一条线的一维参考样本组的图。
43.图17是用于说明第一参考样本与预测目标样本之间的距离的图。
44.图18和图19是示出第一参考样本的位置和第二参考样本的位置的图。
45.图20是示出第一参考样本的位置和第二参考样本的位置的图。
46.图21是示出根据本发明的实施方式的多重帧内预测方法的流程图。
47.图22是示出以子块为单位执行多重帧内预测的示例的图。
48.图23是示出以子块为单位获得预测块的示例的图。
49.图24示出了其中对位于子块的边界处的样本应用加权操作的示例。
具体实施方式
50.可以对本发明进行各种修改，并且存在本发明的各种实施方式，现在将参照附图提供各种实施方式的示例，并且详细描述各种实施方式的示例。然而，本发明不限于此，并且示例性实施方式可以被解释为包括本发明的技术构思和技术范围内的所有修改、等同物或替代方案。在所描述的附图中，相似的附图标记指代相似的元件。
51.说明书中使用的术语“第一”、“第二”等可以用于描述各种部件，但是这些部件不被解释为限制于这些术语。这些术语仅用于区分一个部件与其他部件。例如，在不偏离本发明的范围的情况下，“第一”部件可以被称作“第二”部件，并且“第二”部件也可以类似地被称作“第一”部件。术语“和/或”包括多个项的组合或者多个术语中的任何一个术语。
52.应该理解的是，在本说明书中，在元件被简单地称作“连接至”或“耦接至”另一元件而不是“直接连接至”或“直接耦接至”另一元件时，该元件可以“直接连接至”或“直接耦接至”另一元件，或者该元件可以连接至或耦接至另一元件并且有其他元件介于在它们之间。相反地，应该理解的是，在元件被称作“直接耦接”或“直接连接”至另一元件时，不存在中间元件。
53.本说明书中使用的术语仅用于描述特定实施方式，而并不意在限制本发明。以单数形式使用的表述包含复数形式的表述，除非其在上下文中具有明显不同的含义。在本说明书中，应当理解的是，诸如“包括”、“具有”等的术语意在指示本说明书中公开的特征、数字、步骤、动作、元件、部分或其组合的存在，并且不意在排除可以存在或可以添加一个或更多个其他特征、数字、步骤、动作、元件、部分或其组合的可能性。
54.在下文中，将参照附图详细描述本发明的优选实施方式。在下文中，附图中的相同构成元件由相同的附图标记表示，并且将省略对相同元件的重复描述。
55.图1是示出根据本发明的实施方式的用于对视频进行编码的设备的框图。
56.参照图1，用于对视频进行编码的设备100可以包括：图片划分模块110、预测模块120和125、变换模块130、量化模块135、重排模块160、熵编码模块165、逆量化模块140、逆变换模块145、滤波器模块150以及存储器155。
57.图1中所示的构成部分被独立地示出，以表示在用于对视频进行编码的设备中的彼此不同的特征功能。因此，这并不意味着每个构成部分都是由单独的硬件或软件的构成单元构成。换言之，为了方便起见，每个构成部分包括所列举的构成部分中的每一个。因此，可以将每个构成部分的至少两个构成部分进行组合以形成一个构成部分，或者可以将一个构成部分划分成多个构成部分以执行每个功能。在不偏离本发明的实质的情况下，组合每个构成部分的实施方式和划分一个构成部分的实施方式也被包括在本发明的范围内。
58.此外，构成部分中的一些可能不是执行本发明的基本功能的必不可少的构成部分，而是仅用于改善本发明的性能的可选构成部分。可以通过排除用于改善性能的构成部分而仅包括用于实现本发明的实质的必不可少的构成部分来实现本发明。排除仅用于改善性能的可选构成部分而仅包括必不可少的构成部分的结构也被包括在本发明的范围内。
59.图片划分模块110可以将输入图片划分成一个或更多个处理单元。此处，处理单元可以是预测单元(pu)、变换单元(tu)或编码单元(cu)。图片划分模块110可以将一个图片划分成多个编码单元、预测单元和变换单元的组合，并且可以通过使用预定准则(例如，成本函数)选择编码单元、预测单元和变换单元的一个组合来对图片进行编码。
60.例如，一个图片可以被划分成多个编码单元。可以使用递归树结构例如四叉树结构来将图片划分成编码单元。在一个图片或最大编码单元作为根的情况下被划分成其他编码单元的编码单元可以以子节点对应于所划分的编码单元的数目的方式进行划分。通过预定限制不能再划分的编码单元用作叶节点。即，当假设对于一个编码单元仅正方形划分可行时，一个编码单元可以最多被划分成四个其他编码单元。
61.在下文中，在本发明的实施方式中，编码单元可以意指执行编码的单元或者执行解码的单元。
62.预测单元可以是被划分成在单个编码单元中具有相同大小的正方形形状或矩形形状的划分中的之一，或者预测单元可以是被划分成使得在单个编码单元中具有不同的形状/大小的划分中的之一。
63.当基于编码单元生成要进行帧内预测的预测单元并且编码单元不是最小编码单元时，可以在不将编码单元划分成多个预测单元n
×
n的情况下执行帧内预测。
64.预测模块120和125可以包括执行帧间预测的帧间预测模块120和执行帧内预测的帧内预测模块125。可以确定对于预测单元是执行帧间预测还是帧内预测，并且可以确定根据每个预测方法的详细信息(例如，帧内预测模式、运动矢量、参考图片等)。此处，要进行预测的处理单元可以不同于针对其确定预测方法和详细内容的处理单元。例如，可以由预测单元确定预测方法、预测模式等，并且可以由变换单元执行预测。所生成的预测块与原始块之间的残差值(残差块)可以被输入至变换模块130。此外，用于预测的预测模式信息、运动矢量信息等可以与残差值一起由熵编码模块165进行编码，并且可以被传输至用于对视频进行解码的设备。在使用特定编码模式时，可以通过对原始块按其原样进行编码而不通过预测模块120和125生成预测块来向用于对视频进行解码的设备进行传输。
65.帧间预测模块120可以基于当前图片的先前图片或后续图片中的至少一个的信息来预测预测单元，或者在一些情况下，可以基于当前图片中的一些编码区域的信息来预测预测单元。帧间预测模块120可以包括参考图片插值模块、运动预测模块以及运动补偿模块。
66.参考图片插值模块可以从存储器155接收参考图片信息，并且可以根据参考图片来生成整像素或小于整像素的像素信息。在亮度像素的情况下，可以使用具有不同滤波器系数的基于dct的8抽头插值滤波器来以1/4像素为单位生成整像素或小于整像素的像素信息。在色度信号的情况下，可以使用具有不同滤波器系数的基于dct的4抽头插值滤波器来以1/8像素为单位生成整像素或小于整像素的像素信息。
67.运动预测模块可以基于由参考图片插值模块进行插值的参考图片来执行运动预测。作为用于计算运动矢量的方法，可以使用各种方法，例如，基于全搜索的块匹配算法(fbma)、三步搜索(tss)和新三步搜索算法(nts)等。基于插值像素，运动矢量可以具有以1/2像素或1/4像素为单位的运动矢量值。运动预测模块可以通过改变运动预测方法来预测当前预测单元。作为运动预测方法，可以使用各种方法，例如，跳过方法、合并方法、amvp(高级运动矢量预测)方法、帧内块复制方法等。
68.帧内预测模块125可以基于与作为当前图片中的像素信息的当前块相邻的参考像素信息来生成预测单元。在当前预测单元的相邻块是要进行帧间预测的块并且因此参考像素是要进行帧间预测的像素时，可以使用要进行帧内预测的相邻块的参考像素信息来替换
包括在要进行帧间预测的块中的参考像素。即，在参考像素不可用时，可以使用可用参考像素中的至少一个参考像素来替换不可用的参考像素信息。
69.帧内预测中的预测模式可以包括依赖于预测方向使用参考像素信息的方向性预测模式和在执行预测时不使用方向信息的非方向性预测模式。用于预测亮度信息的模式可以与用于预测色度信息的模式不同，并且为了预测色度信息，可以利用用于预测亮度信息的帧内预测模式信息或者预测的亮度信号信息。
70.在执行帧内预测时，在预测单元的大小与变换单元的大小相同时，可以基于位于该预测单元的左侧、左上侧和顶部的像素对预测单元执行帧内预测。然而，在执行帧内预测时，在预测单元的大小与变换单元的大小不同时，可以使用基于变换单元的参考像素来执行帧内预测。此外，使用n
×
n划分的帧内预测可以仅用于最小编码单元。
71.在帧内预测方法中，可以在依赖于预测模式将ais(自适应帧内平滑)滤波器应用于参考像素之后生成预测块。应用于参考像素的ais滤波器的类型可以变化。为了执行帧内预测方法，可以根据与当前预测单元相邻的预测单元的帧内预测模式来预测当前预测单元的帧内预测模式。在通过使用根据相邻预测单元预测到的模式信息来预测当前预测单元的预测模式中，在当前预测单元的帧内预测模式与相邻预测单元的帧内预测模式相同时，可以使用预定标志信息来传输指示当前预测单元的预测模式与相邻预测单元的预测模式彼此相同的信息。在当前预测单元的预测模式与相邻预测单元的预测模式不同时，可以执行熵编码以对当前块的预测模式信息进行编码。
72.此外，可以基于由预测模块120和125生成的预测单元来生成包括关于残差值的信息的残差块，残差值是要进行预测的预测单元与预测单元的原始块之间的差。可以将所生成的残差块输入至变换模块130。
73.变换模块130可以通过使用诸如离散余弦变换(dct)、离散正弦变换(dst)和klt的变换方法来对残差块进行变换，该残差块包括关于原始块与由预测模块120和125生成的预测单元之间的残差值的信息。可以基于用于生成残差块的预测单元的帧内预测模式信息来确定是应用dct、dst还是klt以对残差块进行变换。
74.量化模块135可以对由变换模块130变换至频域的值进行量化。量化系数可以依赖于图片的块或重要性而变化。可以将由量化模块135计算的值提供至逆量化模块140和重排模块160。
75.重排模块160可以对量化后的残差值的系数进行重排。
76.重排模块160可以通过系数扫描方法将二维块形式的系数改变成一维矢量形式的系数。例如，重排模块160可以使用锯齿形扫描方法从dc系数扫描至高频域的系数，以将系数改变成一维矢量形式。依赖于变换单元的大小和帧内预测模式，可以使用沿列方向扫描二维块形式的系数的垂直方向扫描或沿行方向扫描二维块形式的系数的水平方向扫描来代替锯齿形扫描。即，可以依赖于变换单元的大小和帧内预测模式来确定使用锯齿形扫描、垂直方向扫描和水平方向扫描中的哪种扫描方法。
77.熵编码模块165可以基于由重排模块160计算的值来执行熵编码。熵编码可以使用各种编码方法，例如指数哥伦布(golomb)编码、上下文自适应变长编码(cavlc)和上下文自适应二进制算术编码(cabac)。
78.熵编码模块165可以对来自重排模块160以及预测模块120和125的各种信息进行
编码，各种信息例如编码单元的残差值系数信息和块类型信息、预测模式信息、划分单元信息、预测单元信息、变换单元信息、运动矢量信息、参考帧信息、块插值信息、滤波信息等。
79.熵编码模块165可以对从重排模块160输入的编码单元的系数进行熵编码。
80.逆量化模块140可以对由量化模块135量化的值进行逆量化，并且逆变换模块145可以对由变换模块130变换的值进行逆变换。可以将由逆量化模块140和逆变换模块145生成的残差值与由预测模块120和125的运动估计模块、运动补偿模块和帧内预测模块预测的预测单元进行组合，使得可以生成重构块。
81.滤波器模块150可以包括去块滤波器、偏移校正单元以及自适应环路滤波器(alf)中的至少一个。
82.去块滤波器可以移除由于重构图片中的块之间的边界而出现的块失真。为了确定是否执行去块，包括在块的若干行或若干列中的像素可以是确定是否对当前块应用去块滤波器的基础。当去块滤波器被应用于块时，可以依赖于所需的去块滤波强度来应用强滤波器或弱滤波器。此外，在应用去块滤波器时，可以并行地处理水平方向滤波和垂直方向滤波。
83.偏移校正模块可以在要进行去块的图片中以像素为单位来校正与原始图片的偏移。为了对特定图片执行偏移校正，可以使用考虑每个像素的边缘信息来施加偏移的方法，或者可以使用下述方法：将图片的像素划分成预定数量的区域，确定要执行偏移的区域，并且对所确定的区域施加偏移。
84.可以基于通过将滤波后的重构图片与原始图片进行比较而获得的值来执行自适应环路滤波(alf)。可以将包括在图片中的像素分成预定组，可以确定要应用于每个组的滤波器，并且可以针对每个组单独执行滤波。可以通过编码单元(cu)传输关于是否应用alf和亮度信号的信息。用于alf的滤波器的形状和滤波器系数可以依赖于每个块而变化。此外，无论应用目标块的特征如何，都可以应用用于alf的相同形状(固定形状)的滤波器。
85.存储器155可以存储通过滤波器模块150计算的重构块或重构图片。可以在执行帧间预测时将所存储的重构块或重构图片提供至预测模块120和125。
86.图2是示出根据本发明的实施方式的用于对视频进行解码的设备的框图。
87.参照图2，用于对视频进行解码的设备200可以包括：熵解码模块210、重排模块215、逆量化模块220、逆变换模块225、预测模块230和235、滤波器模块240以及存储器245。
88.当从用于对视频进行编码的设备输入视频比特流时，可以根据用于对视频进行编码的设备的逆处理来对输入比特流进行解码。
89.熵解码模块210可以根据由用于对视频进行编码的设备的熵编码模块进行的熵编码的逆处理来执行熵解码。例如，对应于由用于对视频进行编码的设备执行的方法，可以应用各种方法，例如指数哥伦布编码、上下文自适应变长编码(cavlc)和上下文自适应二进制算术编码(cabac)。
90.熵解码模块210可以对关于由用于对视频进行编码的设备执行的帧内预测和帧间预测的信息进行解码。
91.重排模块215可以基于在用于对视频进行编码的设备中使用的重排方法对由熵解码模块210进行熵解码的比特流执行重排。重排模块可以将一维矢量形式的系数重构和重排成二维块形式的系数。重排模块215可以接收与在用于对视频进行编码的设备中执行的
系数扫描有关的信息，并且可以经由基于在用于对视频进行编码的设备中执行的扫描顺序对系数进行逆扫描的方法来执行重排。
92.逆量化模块220可以基于从用于对视频进行编码的设备接收的量化参数和重排后的块的系数来执行逆量化。
93.逆变换模块225可以执行逆变换，即，逆dct、逆dst和逆klt，这是由变换模块对用于对视频进行编码的设备的量化结果执行的变换即dct、dst和klt的逆过程。可以基于用于对视频进行编码的设备所确定的变换单元来执行逆变换。用于对视频进行解码的设备的逆变换模块225可以依赖于多条信息例如预测方法、当前块的大小、预测方向等来选择性地执行变换方案(例如dct、dst、klt)。
94.预测模块230和235可以基于从熵解码模块210接收到的关于预测块生成的信息和从存储器245接收到的先前解码的块或图片信息来生成预测块。
95.如上所述，类似于用于对视频进行编码的设备的操作，在执行帧内预测时，在预测单元的大小与变换单元的大小相同时，可以基于位于预测单元的左侧、左上侧和顶部的像素对预测单元执行帧内预测。在执行帧内预测时，在预测单元的大小与变换单元的大小不同时，可以使用基于变换单元的参考像素来执行帧内预测。此外，使用n
×
n划分的帧内预测可以仅用于最小编码单元。
96.预测模块230和235可以包括预测单元确定模块、帧间预测模块以及帧内预测模块。预测单元确定模块可以从熵解码模块210接收各种信息，例如预测单元信息、帧内预测方法的预测模式信息、关于帧间预测方法的运动预测的信息等，可以将当前编码单元分割成预测单元，并且可以确定对预测单元执行帧间预测还是帧内预测。通过使用从用于对视频进行编码的设备接收的当前预测单元的帧间预测所需的信息，帧间预测模块230可以基于包括当前预测单元的当前图片的先前图片或后续图片中的至少一个的信息来对当前预测单元执行帧间预测。替选地，可以基于包括当前预测单元的当前图片中的一些预先重构区域的信息来执行帧间预测。
97.为了执行帧间预测，可以针对编码单元来确定跳过模式、合并模式、amvp模式和帧间块复制模式中的哪一个模式用作包括在编码单元中的预测单元的运动预测方法。
98.帧内预测模块235可以基于当前图片中的像素信息来生成预测块。当预测单元是要进行帧内预测的预测单元时，可以基于从用于对视频进行编码的设备接收到的预测单元的帧内预测模式信息来执行帧内预测。帧内预测模块235可以包括自适应帧内平滑(ais)滤波器、参考像素插值模块以及dc滤波器。ais滤波器对当前块的参考像素执行滤波，并且可以依赖于当前预测单元的预测模式来确定是否应用滤波器。可以通过使用从用于对视频进行编码的设备接收到的预测单元的预测模式和ais滤波器信息来对当前块的参考像素执行ais滤波。在当前块的预测模式是不执行ais滤波的模式时，可以不应用ais滤波器。
99.在预测单元的预测模式是基于通过对参考像素进行插值而获得的像素值来执行帧内预测的预测模式时，参考像素插值模块可以对参考像素进行插值以生成整数像素或小于整数像素的参考像素。在当前预测单元的预测模式是在不对参考像素进行插值的情况下生成预测块的预测模式时，可以不对参考像素进行插值。在当前块的预测模式是dc模式时，dc滤波器可以通过滤波来生成预测块。
100.可以将重构块或重构图片提供至滤波器模块240。滤波器模块240可以包括去块滤
波器、偏移校正模块以及alf。
101.可以从用于对视频进行编码的设备接收关于是否将去块滤波器应用于相应的块或图片的信息以及关于在应用去块滤波器时应用强滤波器和弱滤波器中的哪个滤波器的信息。用于对视频进行解码的设备的去块滤波器可以从用于对视频进行编码的设备接收关于去块滤波器的信息，并且可以对相应的块执行去块滤波。
102.偏移校正模块可以基于在执行编码时应用于图片的偏移校正的类型和偏移值信息来对重构图片执行偏移校正。
103.可以基于从用于对视频进行编码的设备接收到的关于是否应用alf的信息和alf系数信息等来将afl应用于编码单元。alf信息可以被提供为被包括在特定参数集中。
104.存储器245可以存储重构图片或重构块以用作参考图片或参考块，并且可以将重构图片提供至输出模块。
105.如上面描述的，在本发明的实施方式中，为了便于说明，编码单元被用作表示用于编码的单元的术语，然而，编码单元可以用作执行解码以及编码的单元。
106.另外，当前块可以表示要进行编码/解码的目标块。并且，依赖于编码/解码步骤，当前块可以表示编码树块(或编码树单元)、编码块(或编码单元)、变换块(或变换单元)、预测块(或预测单元)等。
107.可以通过将图片分割成具有正方形或非正方形形状的基本块来对图片进行编码/解码。此时，基本块可以称作编码树单元。编码树单元可以被定义为序列或片内允许的最大大小的编码单元。可以通过序列参数集、图片参数集或片头(slice header)来用信号发送关于编码树单元是具有正方形形状还是具有非正方形形状的信息或者关于编码树单元的大小的信息。编码树单元可以被分割成更小大小的划分。此时，如果假设通过划分编码树单元而生成的划分深度是1，则通过划分具有深度1的划分而生成的划分深度可以被定义为2。即，通过划分编码树单元中的深度为k的划分而生成的划分可以被定义为具有深度k+1。
108.通过划分编码树单元而生成的任意大小的划分可以被定义为编码单元。编码单元可以被递归地分割或分割成用于执行预测、量化、变换或环路滤波等的基本单元。例如，通过划分编码单元而生成的任意大小的划分可以被定义为编码单元，或者可以被定义为变换单元或预测单元，该编码单元、变换单元或预测单元是用于执行预测、量化、变换或环路滤波等的基本单元。
109.可以基于垂直线和水平线中的至少之一来执行编码树单元或编码单元的划分。另外，划分编码树单元或编码单元的垂直线或水平线的数量可以是至少一个或更多个。例如，可以使用一个垂直线或一个水平线将编码树单元或编码单元分割成两个划分，或者可以使用两个垂直线或两个水平线将编码树单元或编码单元分割成三个划分。替选地，可以通过使用一个垂直线和一个水平线将编码树单元或编码单元划分成具有1/2的长度和宽度的四个划分。
110.在使用至少一个垂直线或至少一个水平线将编码树单元或编码单元分割成多个划分时，划分可具有统一的大小或不同的大小。替选地，任何一个划分可以具有与其余划分不同的大小。
111.在下面描述的实施方式中，假设编码树单元或编码单元被划分成四叉树结构或二叉树结构。然而，还可以使用更多数量的垂直线或更多数量的水平线来分割编码树单元或
编码单元。
112.图3是示出根据本发明的实施方式的基于树结构对编码块进行分层划分的示例的图。
113.以预定的块单元对输入视频信号进行解码。用于对输入视频信号进行解码的这样的默认单元是编码块。编码块可以是执行帧内/帧间预测、变换以及量化的块。另外，以编码块为单位确定预测模式(例如，帧内预测模式或帧间预测模式)，并且包括在编码块中的预测块可以共享所确定的预测模式。编码块可以是具有在8
×
8至64
×
64范围内的任意大小的正方形块或非正方形块，或者可以是具有128
×
128、256
×
256或更大的大小的正方形块或非正方形块。
114.具体地，可以基于四叉树和二叉树中的至少一个来对编码块进行分层划分。此处，基于四叉树的划分可以意指将2n
×
2n的编码块划分成四个n
×
n的编码块，并且基于二叉树的划分可以意指将一个编码块划分成两个编码块。即使执行基于二叉树的划分，也可以在较低深度中存在正方形形状的编码块。
115.可以对称地或者非对称地执行基于二叉树的划分。基于二叉树划分的编码块可以是正方形块或非正方形块，例如长方形形状。例如，允许基于二叉树的划分的划分类型可以包括2n
×
n(水平方向非正方形编码单元)或n
×
2n(垂直方向非正方形编码单元)的对称类型、nl
×
2n、nr
×
2n、2n
×
nu或2n
×
nd的非对称类型中的至少之一。
116.可以将基于二叉树的划分限制地允许为对称类型划分或非对称类型划分中的之一。在这种情况下，使用正方形块构造编码树单元可以与四叉树cu划分对应，并且使用对称非正方形块构造编码树单元可以与二叉树划分对应。使用正方形块和对称非正方形块构造编码树单元可以与四叉树cu划分和二叉树cu划分对应。
117.可以对不再执行基于四叉树的划分的编码块执行基于二叉树的划分。可以不再对基于二叉树划分的编码块执行基于四叉树的划分。
118.此外，可以依赖于较高深度的划分类型来确定较低深度的划分。例如，如果在两个或更多个深度中允许基于二叉树的划分，则可以在较低深度中仅允许与较高深度的二叉树划分相同的类型。例如，如果使用2n
×
n类型执行较高深度中的基于二叉树的划分，则也使用2n
×
n类型执行较低深度中的基于二叉树的划分。替选地，如果使用n
×
2n类型执行较高深度中的基于二叉树的划分，则也使用n
×
2n类型执行较低深度中的基于二叉树的划分。
119.相比之下，也可以在较低深度中仅允许与较高深度的二叉树划分类型不同的类型。
120.可以限制仅特定类型的基于二叉树的划分被用于序列、片、编码树单元或编码单元。作为示例，对于编码树单元，可以仅允许2n
×
n类型或n
×
2n类型的基于二叉树的划分。可以在编码器或解码器中预定义可用划分类型。或者可以对关于可用划分类型的信息或关于不可用划分类型的信息进行编码，并且然后通过比特流用信号发送该信息。
121.图5是示出仅允许特定类型的基于二叉树的划分的示例的图。图5a示出了仅允许n
×
2n类型的基于二叉树的划分的示例，并且图5b示出了仅允许2n
×
n类型的基于二叉树的划分的示例。为了实现基于四叉树或二叉树的自适应划分，可以使用下述信息：指示基于四叉树划分的信息、关于允许基于四叉树的划分的编码块的大小/深度的信息、指示基于二叉树的划分的信息、关于允许基于二叉树的划分的编码块的大小/深度的信息、关于不允许基
于二叉树的划分的编码块的大小/深度的信息、关于是沿垂直方向还是沿水平方向执行基于二叉树的划分的信息等。
122.另外，可以针对编码树单元或特定编码单元获得以下信息：所述信息关于允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数量。可以以编码树单元或编码单元为单位对信息进行编码，并且可以通过比特流将该信息传输至解码器。
123.例如，可以通过比特流对指示允许二叉树划分的最大深度的语法'max_binary_depth_idx_minus1'进行编码/解码。在这种情况下，max_binary_depth_idx_minus1+1可以指示允许二叉树划分的最大深度。
124.参照图6中所示的示例，在图6中，已经针对深度为2的编码单元和深度为3的编码单元执行了二叉树划分。因此，可以通过比特流对指示编码树单元中的二叉树划分已经被执行的次数(即，2次)的信息、指示在编码树单元中已经允许二叉树划分的最大深度(即，深度3)或在编码树单元中已经执行二叉树划分的深度的数量(即，2个(深度2和深度3))的信息中的至少之一进行编码/解码。
125.作为另一示例，可以针对每个序列或每个片获得关于允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数量的信息中的至少之一。例如，该信息可以以序列、图片或片单元为单位进行编码，并且通过比特流进行传输。因此，第一片中的二叉树划分的次数、第一片中允许二叉树划分的最大深度或第一片中执行二叉树划分的深度的数量中的至少之一可以与第二片不同。例如，在第一片中，可以仅针对一个深度允许二叉树划分，而在第二片中，可以针对两个深度允许二叉树划分。
126.作为另一示例，可以根据片或图片的时间水平标识符(temporalid)不同地设置允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数量。此处，时间水平标识符(temporalid)用于识别具有视图、空间、时间或质量中的至少之一的可扩展性的多个视频层中的每一个。
127.如图3中所示，可以基于四叉树将划分深度(拆分深度)为k的第一编码块300划分成多个第二编码块。例如，第二编码块310至340可以是具有第一编码块的一半宽度和一半高度的正方形块，并且第二编码块的划分深度可以增加至k+1。
128.划分深度为k+1的第二编码块310可以被划分成划分深度为k+2的多个第三编码块。可以通过依赖于划分方法选择性地使用四叉树和二叉树中的之一来执行第二编码块310的划分。此处，可以基于指示基于四叉树划分的信息和指示基于二叉树划分的信息中的至少之一来确定划分方法。
129.在基于四叉树对第二编码块310进行划分时，可以将第二编码块310划分成具有第二编码块的一半宽度和一半高度的四个第三编码块310a，并且第三编码块310a的划分深度可以增加至k+2。相比之下，在基于二叉树对第二编码块310进行划分时，可以将第二编码块310划分成两个第三编码块。此处，两个第三编码块中的每一个可以是具有第二编码块的一半宽度和一半高度中的一者的非正方形块，并且划分深度可以增加至k+2。可以依赖于划分方向将第二编码块确定为水平方向或垂直方向的非正方形块，并且可以基于关于是沿垂直方向还是沿水平方向执行基于二叉树的划分的信息来确定划分方向。
130.同时，第二编码块310可以被确定为不再基于四叉树或二叉树进行划分的叶编码块。在这种情况下，叶编码块可以被用作预测块或变换块。
131.类似于第二编码块310的划分，第三编码块310a可以被确定为叶编码块，或者可以基于四叉树或二叉树被进一步划分。
132.同时，可以基于二叉树将基于二叉树划分的第三编码块310b进一步划分成垂直方向的编码块310b-2或水平方向的编码块310b-3，并且相关编码块的划分深度可以增加至k+3。替选地，第三编码块310b可以被确定为不再基于二叉树进行划分的叶编码块310b-1。在这种情况下，编码块310b-1可以被用作预测块或变换块。然而，可以基于以下信息中的至少之一来限制性地执行上述划分处理：关于允许基于四叉树的划分的编码块的大小/深度的信息、关于允许基于二叉树的划分的编码块的大小/深度的信息以及关于不允许基于二叉树的划分的编码块的大小/深度的信息。
133.表示编码块的大小的候选的数量可以被限制为预定数量，或者预定单元中的编码块的大小可以具有固定值。作为示例，序列或图片中的编码块的大小可以被限制为具有256
×
256、128
×
128或32
×
32。可以通过序列头或图片头来用信号发送指示序列中或图片中的编码块的大小的信息。
134.作为基于四叉树和二叉树的划分的结果，编码单元可以被表示为任意大小的正方形或矩形形状。
135.使用跳过模式、帧内预测、帧间预测或跳过方法中的至少之一来对编码块进行编码。一旦确定了编码块，就可以通过对编码块的预测划分来确定预测块。可以通过指示编码块的划分类型的划分模式(part_mode)来执行对编码块的预测划分。可以根据编码块的划分模式来确定预测块的大小或形状。例如，根据划分模式确定的预测块的大小可以等于或小于编码块的大小。
136.图7是示出在通过帧间预测对编码块进行编码时可以应用于编码块的划分模式的图。
137.在通过帧间预测对编码块进行编码时，可以将8个划分模式中的之一应用于编码块，如图7中所示的示例。
138.在通过帧内预测对编码块进行编码时，可以将划分模式part_2n
×
2n或划分模式part_n
×
n应用于编码块。
139.在编码块具有最小大小时，可以应用part_n
×
n。此处，可以在编码器和解码器中预定义编码块的最小大小。或者，可以经由比特流用信号发送关于编码块的最小大小的信息。例如，可以通过片头来用信号发送编码块的最小大小，使得可以根据每个片定义编码块的最小大小。
140.通常，预测块可以具有从64
×
64至4
×
4的大小。然而，在通过帧间预测对编码块进行编码时，可以限制预测块不具有4
×
4大小以在执行运动补偿时减小存储器带宽。
141.图8示出根据本发明的实施方式的用于对视频进行编码/解码的设备的预定义帧内预测模式的类型的图。
142.用于对视频进行编码/解码的设备可以使用预定义帧内预测模式之一来执行帧内预测。用于帧内预测的预定义帧内预测模式可以包括非方向性预测(例如，平面模式、dc模式)和33种方向性预测模式。
143.可替选地，为了提高帧内预测的准确性，可以使用多于33种方向性预测模式的更多数量的方向性预测模式。也就是说，可以通过细分方向性预测模式的角度来定义m种扩展
方向性预测模式(m》33)，并且可以使用33种预定义方向性预测模式中的至少之一来得到具有预定角度的方向性预测模式。
144.可以使用多于图8中示出的35种帧内预测模式的更多数量的帧内预测模式。例如，可以通过以下方式来使用多于35种帧内预测模式的更多数量的帧内预测模式：细分方向性预测模式的角度，或者使用预定义数量的方向性预测模式中的至少之一来得到具有预定角度的方向性预测模式。此时，多于35种帧内预测模式的更多数量的帧内预测模式的使用可以被称作扩展帧内预测模式。
145.图9示出了扩展帧内预测模式的示例，并且扩展帧内预测模式可以包括两种非方向性预测模式和65种扩展方向性预测模式。相同数量的扩展帧内预测模式可以用于亮度分量和色度分量，或者不同数量的帧内预测模式可以用于每个分量。例如，67种扩展帧内预测模式可以用于亮度分量，并且35种帧内预测模式可以用于色度分量。
146.可替选地，取决于色度格式，在执行帧内预测时可以使用不同数量的帧内预测模式。例如，在4:2:0格式的情况下，67种帧内预测模式可以用于亮度分量以执行帧内预测，并且35种帧内预测模式可以用于色度分量。在4:4:4格式的情况下，67种帧内预测模式可以用于亮度分量和色度分量二者以执行帧内预测。
147.可替选地，取决于块的大小和/或形状，可以使用不同数量的帧内预测模式来执行帧内预测。也就是说，取决于pu或cu的大小和/或形状，可以使用35种帧内预测模式或67种帧内预测模式来执行帧内预测。例如，在cu或pu具有小于64
×
64的大小或者被非对称地划分的情况下，可以使用35种帧内预测模式来执行帧内预测。在cu或pu的大小等于或大于64
×
64的情况下，可以使用67种帧内预测模式来执行帧内预测。对于intra_2n
×
2n可以允许65种方向性帧内预测模式，并且对于intra_nxn可以允许仅35种方向性帧内预测模式。
148.可以针对每个序列、图片或片，不同地设置应用扩展帧内预测模式的块的大小。例如，设置了将扩展帧内预测模式应用于第一片中的具有大于64
×
64的大小的块(例如，cu或pu)。另一方面，设置了将扩展帧内预测模式应用于第二片中的具有大于32
×
32的大小的块。可以以序列、图片或片为单位用信号发送表示应用扩展帧内预测模式的块的大小的信息。例如，指示应用扩展帧内预测模式的块的大小的信息可以被定义为通过对块大小取对数然后减去整数4而获得的'log2_extended_intra_mode_size_minus4'。例如，如果log2_extended_intra_mode_size_minus4的值是0，则这可以指示扩展帧内预测模式可以应用于具有等于或大于16
×
16的大小的块。并且如果log2_extended_intra_mode_size_minus4的值是1，则这可以指示扩展帧内预测模式可以应用于具有等于或大于32
×
32的大小的块。
149.如上所述，可以考虑颜色分量、色度格式以及块的大小或形状中的至少一个来确定帧内预测模式的数量。另外，还可以根据颜色分量、颜色格式以及块的大小或形状中的至少一个来确定用于确定要被编码/解码的当前块的帧内预测模式的帧内预测模式候选的数量(例如，mpm的数量)。将利用附图来描述确定要被编码/解码的当前块的帧内预测模式的方法和使用所确定的帧内预测模式来执行帧内预测的方法。
150.图10是简要示出根据本发明的实施方式的帧内预测方法的流程图。
151.参照图10，在步骤s1000处可以确定当前块的帧内预测模式。
152.具体地，可以基于候选列表和索引来得到当前块的帧内预测模式。这里，候选列表包含多个候选，并且可以基于与当前块相邻的相邻块的帧内预测模式来确定多个候选。相
邻块可以包括位于当前块的顶部、底部、左侧、右侧和角处的块中的至少一个块。索引可以指定候选列表中的多个候选之一。由索引指定的候选可以被设置为当前块的帧内预测模式。
153.可以将用于相邻块中的帧内预测的帧内预测模式设置为候选。另外，可以将具有与相邻块的帧内预测模式的方向性相似的方向性的帧内预测模式设置为候选。这里，可以通过向相邻块的帧内预测模式添加预定常数值或从相邻块的帧内预测模式减去预定常数值来确定具有相似方向性的帧内预测模式。预定常数值可以是整数，例如一、二或者更大。
154.候选列表还可以包括默认模式。默认模式可以包括平面模式、dc模式、垂直模式和水平模式中的至少一个。考虑到可以包括在当前块的候选列表中的候选的最大数量，可以自适应地添加默认模式。
155.可以包括在候选列表中的候选的最大数量可以是三、四、五、六或者更多。可以包括在候选列表中的候选的最大数量可以是在用于编码/解码视频的设备中预设的固定值，或者可以基于当前块的特征来可变地确定。特征可以意指块的位置/大小/形状、块可以使用的帧内预测模式的数量/类型、颜色类型、颜色格式等。可替选地，可以单独用信号发送指示可以包括在候选列表中的候选的最大数量的信息，并且可以使用该信息可变地确定可以包括在候选列表中的候选的最大数量。可以以序列级别、图片级别、片级别和块级别中的至少一个用信号发送指示候选的最大数量的信息。
156.当选择性地使用扩展帧内预测模式和35种预定义帧内预测模式时，可以将相邻块的帧内预测模式变换成与扩展帧内预测模式相对应的索引，或者变换成与35种帧内预测模式相对应的索引，由此可以得到候选。为了变换至索引，可以使用预定义表，或者可以使用基于预定值的缩放操作。这里，预定义表可以定义不同帧内预测模式组之间的映射关系(例如，扩展帧内预测模式和35种帧内预测模式)。
157.例如，在左侧相邻块使用35种帧内预测模式并且左侧相邻块的帧内预测模式为10(水平模式)的情况下，可以将其变换成与扩展帧内预测模式中的水平模式相对应的索引16。
158.可替选地，在顶部相邻块使用扩展帧内预测模式并且顶部相邻块的帧内预测模式具有索引50(垂直模式)的情况下，可以将其变换成与35种帧内预测模式中的垂直模式相对应的索引26。
159.基于确定帧内预测模式的上述方法，可以针对亮度分量和色度分量中的每一个来独立地得到帧内预测模式，或者可以根据亮度分量的帧内预测模式来得到色度分量的帧内预测模式。
160.具体地，如下表1所示出的，可以基于亮度分量的帧内预测模式来确定色度分量的帧内预测模式。
161.[表1]
[0162][0163]
在表1中，intra_chroma_pred_mode意指用信号发送以指定色度分量的帧内预测模式的信息，并且intrapredmodey指示亮度分量的帧内预测模式。
[0164]
参照图10，在步骤s1010处可以得到用于当前块的帧内预测的参考样本。
[0165]
具体地，可以基于当前块的相邻样本得到用于帧内预测的参考样本。相邻样本可以是相邻块的重构样本，并且重构样本可以是在应用环路滤波器之前的重构样本或者是在应用环路滤波器之后的重构样本。
[0166]
在当前块之前重构的相邻样本可以用作参考样本，并且基于预定帧内滤波器滤波的相邻样本可以用作参考样本。使用帧内滤波器对相邻样本的滤波也可以称作参考样本平滑。帧内滤波器可以包括以下滤波器中的至少一个：应用于位于同一水平线上的多个相邻样本的第一帧内滤波器，以及应用于位于同一垂直线上的多个相邻样本的第二帧内滤波器。取决于相邻样本的位置，可以选择性地应用第一帧内滤波器和第二帧内滤波器中的一个，或者可以应用两种帧内滤波器。此时，第一帧内滤波器或第二帧内滤波器的至少一个滤波器系数可以是(1，2，1)，但不限于此。
[0167]
可以基于当前块的帧内预测模式和用于当前块的变换块的大小中的至少一个来自适应地执行滤波。例如，在当前块的帧内预测模式是dc模式、垂直模式或水平模式的情况下，可以不执行滤波。在变换块的大小是n
×
m的情况下，可以不执行滤波。这里，n和m可以是相同的值或不同的值，或者可以是4、8、16或更大的值。例如，如果变换块的大小是4
×
4，则可以不执行滤波。可替选地，可以基于当前块的帧内预测模式与垂直模式(或水平模式)之间的差与预定义阈值的比较的结果来选择性地执行滤波。例如，在当前块的帧内预测模式与垂直模式之间的差大于阈值的情况下，可以执行滤波。如表2所示可以针对变换块的每个大小来定义阈值。
[0168]
[表2]
[0169] 8
×
8变换16
×
16变换32
×
32变换阈值710
[0170]
可以将帧内滤波器确定为在用于编码/解码视频的设备中预定义的多个帧内滤波器候选之一。为此，可以用信号发送指定多个帧内滤波器候选中的当前块的帧内滤波器的索引。可替选地，可以基于当前块的大小/形状、变换块的大小/形状、关于滤波器强度的信息以及相邻样本的变化中的至少一个来确定帧内滤波器。
[0171]
参照图10，在步骤s1020处可以使用当前块的帧内预测模式和参考样本来执行帧
内预测。
[0172]
也就是说，可以使用在步骤s1000处确定的帧内预测模式和在步骤s1010处得到的参考样本来获得当前块的预测样本。然而，在帧内预测的情况下，可能使用相邻块的边界样本，并且因此预测图片的质量可能降低。因此，可以对通过上述预测处理生成的预测样本执行校正处理，并且将参照图11至图13来详细描述该校正处理。然而，校正处理不限于仅应用于帧内预测样本，并且还可以应用于帧间预测样本或者重构样本。
[0173]
图11是示出根据本发明的实施方式的基于相邻样本的差分信息来校正当前块的预测样本的方法的图。
[0174]
可以基于当前块的多个相邻样本的差分信息来校正当前块的预测样本。可以对当前块中的所有预测样本执行校正，或者可以对预定部分区域中的预测样本执行校正。部分区域可以是一行/列或多行/列，并且这些区域可以是用于在用于编码/解码视频的设备中进行校正的预设区域。例如，可以对位于当前块的边界处的一行/列执行校正，或者可以对来自当前块的边界的多个行/列执行校正。可替选地，可以基于当前块的大小/形状和帧内预测模式中的至少一个来可变地确定部分区域。
[0175]
相邻样本可以属于位于当前块的顶部、左侧和左上角处的相邻块。用于校正的相邻样本的数量可以是两个、三个、四个或更多。可以根据作为当前块中的校正目标的预测样本的位置来可变地确定相邻样本的位置。可替选地，一些相邻样本可以具有固定位置而不管作为校正目标的预测样本的位置如何，并且其余相邻样本可以具有取决于作为校正目标的预测样本的位置的可变位置。
[0176]
相邻样本的差分信息可以意指相邻样本之间的差分样本，或者可以意指通过将差分样本缩放预定常数值(例如一、二、三等)而获得的值。这里，可以考虑作为校正目标的预测样本的位置、包括作为校正目标的预测样本的列或行的位置、预测样本在列或行内的位置等来确定预定常数值。
[0177]
例如，在当前块的帧内预测模式是垂直模式的情况下，与当前块的左边界相邻的相邻样本p(-1，y)与左上相邻样本p(-1，-1)之间的差分样本可以用于获得最终预测样本，如式1所示。
[0178]
[式1]
[0179]
p
′
(0，y)＝p(0，y)+((p(-1，y)-p(-1，-1))＞＞1其中y＝0...n-1
[0180]
例如，在当前块的帧内预测模式是水平模式的情况下，与当前块的顶部边界相邻的相邻样本p(x，-1)与左上相邻样本p(-1，-1)之间的差分样本可以用于获得最终预测样本，如式2所示。
[0181]
[式2]
[0182]
p
′
(x，0)＝p(x，0)+((p(x，-1)-p(-1，-1))＞＞1其中x＝0...n-1
[0183]
例如，在当前块的帧内预测模式是垂直模式的情况下，与当前块的左边界相邻的相邻样本p(-1，y)与左上相邻样本p(-1，-1)之间的差分样本可以用于获得最终预测样本。这里，可以将差分样本与预测样本相加，或者可以将差分样本缩放预定常数值，并且然后与预测样本相加。可以根据列和/或行不同地确定在缩放中使用的预定常数值。例如，可以如式3和式4所示地校正预测样本。
[0184]
[式3]
[0185]
p
′
(0，y)＝p(0，y)+((p(-1，y)-p(-1，-1))＞＞1其中y＝0...n-1
[0186]
[式4]
[0187]
p
′
(1，y)＝p(1，y)+((p(-1，y)-p(-1，-1))＞＞2其中y＝0...n-1
[0188]
例如，在当前块的帧内预测模式是水平模式的情况下，与当前块的顶部边界相邻的相邻样本p(x，-1)与左上相邻样本p(-1，-1)之间的差分样本可以用于获得最终预测样本，如在垂直模式的情况中所描述的。例如，可以如式5和式6示出地校正预测样本。
[0189]
[式5]
[0190]
p
′
(x，0)＝p(x，0)+((p(x，-1)-p(-1，-1))＞＞1其中x＝0...n-1
[0191]
[式6]
[0192]
p
′
(x，1)＝p(x，1)+((p(x，-1)-p(-1，-1))＞＞2其中x＝0...n-1
[0193]
图12和图13是示出根据本发明的实施方式的基于预定校正滤波器来校正预测样本的方法的图。
[0194]
可以基于作为校正目标的预测样本的相邻样本和预定校正滤波器来校正预测样本。这里，相邻样本可以由当前块的方向性预测模式的角度线指定，或者相邻样本可以是与作为校正目标的预测样本位于相同角度线上的至少一个样本。此外，相邻样本可以是当前块中的预测样本，或者可以是在当前块之前重构的相邻块中的重构样本。
[0195]
可以基于以下中的至少一个来确定校正滤波器的抽头数、强度和滤波器系数中的至少一个：作为校正目标的预测样本的位置、作为校正目标的预测样本是否位于当前块的边界、当前块的帧内预测模式、方向性预测模式的角度、相邻块的预测模式(帧间模式或帧内模式)以及当前块的大小/形状。
[0196]
参照图12，当方向性预测模式具有索引2或索引34时，可以使用位于作为校正目标的预测样本的左下方的至少一个预测/重构样本以及预定校正滤波器来获得最终预测样本。这里，左下方处的预测/重构样本可以属于包括作为校正目标的预测样本的行的前一行。左下方处的预测/重构样本可以与当前样本属于相同的块，或者属于与当前块相邻的相邻块。
[0197]
可以仅在位于块边界处的行上执行对预测样本的滤波，或者可以在多行上执行对预测样本的滤波。可以使用校正滤波器，其中对于每行，滤波器抽头的数量和滤波器系数中的至少一个不同。例如，(1/2，1/2)滤波器可以用于最靠近块边界的左侧第一行，(12/16，4/16)滤波器可以用于第二行，(14/16，2/16)滤波器可以用于第三行，并且(15/16，1/16)滤波器可以用于第四行。
[0198]
可替选地，当方向性预测模式具有索引3至6或者索引30至33时，可以如图13所示地对块边界执行滤波，并且可以使用3抽头校正滤波器来校正预测样本。可以使用作为校正目标的预测样本的左下样本、左下样本的底部样本、以及将作为校正目标的预测样本作为输入的3抽头校正滤波器来执行滤波。可以基于方向性预测模式来不同地确定由校正滤波器使用的相邻样本的位置。可以根据方向性预测模式来不同地确定校正滤波器的滤波器系数。
[0199]
可以根据相邻块是以帧间模式编码还是帧内模式编码来应用不同的校正滤波器。当以帧内模式对相邻块进行编码时，与以帧间模式对相邻块进行编码的情况相比，可以使用向预测样本赋予更多权重的滤波方法。例如，在帧内预测模式为34的情况下，当相邻块以
帧间模式编码时，可以使用(1/2，1/2)滤波器，并且当相邻块以帧内模式编码时，可以使用(4/16，12/16)滤波器。
[0200]
当前块中要进行滤波的行的数量可以取决于当前块(例如，编码块或预测块)的大小/形状而变化。根据当前块的大小是否大于预定义的大小，或者当前块具有正方形形状还是非正方形形状，要滤波的行数可以不同。例如，如图14中示出的，在当前块的大小等于或小于32
×
32的情况下，可以仅对块边界处的一行执行滤波；否则，可以对包括块边界处的一行的多行执行滤波。
[0201]
图12至图14基于使用图7中的35种帧内预测模式的情况，但是可以同样/类似地应用于使用扩展帧内预测模式的情况。
[0202]
在当前块的帧内预测模式是方向性预测模式的情况下，可以基于方向性预测模式的方向性来执行对当前块的帧内预测。例如，表3示出了作为图8示出的方向性帧内预测模式的模式2至模式34的帧内方向参数(intrapredang)。
[0203]
[表3]
[0204][0205]
在表3中，尽管例示了33种方向性帧内预测模式，但是也可以定义更多或更少的方向性帧内预测模式。
[0206]
基于定义方向性帧内预测模式与帧内方向参数之间的映射关系的查找表，可以确定用于当前块的帧内方向参数。可替选地，可以基于通过比特流用信号发送的信息来确定用于当前块的帧内方向参数。
[0207]
可以根据方向性帧内预测模式的方向性，使用左侧参考样本或顶部参考样本中的至少一个来执行对当前块的帧内预测。这里，顶部参考样本意指y轴坐标小于当前块中的最顶行中包括的预测样本(x，0)的参考样本(例如，(-1，-1)至(2w-1，-1))，并且左侧参考样本意指x轴坐标小于当前块中的最左列中包括的预测样本(0，y)的参考样本(例如，(-1，-1)至(-1，2h-1))。
[0208]
可以根据帧内预测模式的方向性在一个维度上布置当前块的参考样本。具体地，当顶部参考样本和左侧参考样本二者都要用于当前块的帧内预测时，可以选择每个预测目标样本的参考样本，假设它们在垂直方向上或水平方向上布置成一条线。
[0209]
例如，当帧内方向参数为负时(例如，在对应于表3中的模式11至模式25的帧内预测模式的情况下)，可以通过在水平方向或垂直方向上重新布置顶部参考样本和左侧参考样本来构造一维参考样本组(p_ref_1d)。
[0210]
图15和图16是示出其中参考样本被重新布置成一条线的一维参考样本组的图。
[0211]
可以根据帧内预测模式的方向性来确定是在垂直方向上还是在水平方向上重新布置参考样本。例如，如在图15中示出的示例中，如果帧内预测模式索引在11至18中，则逆时针旋转当前块的顶部参考样本，以便生成其中左侧参考样本和顶部参考样本被布置在垂直方向上的一维参考样本组。
[0212]
另一方面，如在图16中示出的示例中，当帧内预测模式索引在19至25中时，顺时针旋转当前块的左侧参考样本，以便生成其中左侧参考样本和顶部参考样本被布置在水平方向上的一维参考样本组。
[0213]
如果当前块的帧内方向参数不为负，则可以仅使用左侧参考样本或顶部参考样本来执行对当前块的帧内预测。因此，可以通过仅使用左侧参考样本或顶部参考样本来生成用于帧内方向参数不为负的帧内预测模式的一维参考样本组。
[0214]
基于帧内方向参数，可以得到参考样本确定索引iidx，以指定用于预测预测目标样本的至少一个参考样本。另外，可以基于帧内方向参数得到用于确定应用于每个参考样本的权重的权重相关参数i
fact
。例如，下式7和式8示出了得到参考样本确定索引和权重相关参数的示例。
[0215]
[式7]
[0216]
iidx＝(y+1)*(p
ang
/32)
[0217]
ifact＝[(y+1)*p
ang
]31
[0218]
基于参考样本确定索引，可以针对每个预测目标样本来指定至少一个参考样本。例如，基于参考样本确定索引，可以指定一维参考样本组中的用于预测当前块中的预测目标样本的参考样本的位置。基于指定位置处的参考样本，可以生成预测目标样本的预测图像(即，预测样本)。
[0219]
在考虑当前块的帧内预测模式时，如果确定不能仅通过一个参考样本预测预测目标样本，则可以使用多个参考样本来执行对预测目标样本的预测。具体地，根据当前块的帧内预测模式，可以通过在预定位置处插入参考样本和在预定位置处插入与参考样本相邻的相邻参考样本对预测目标样本执行预测。
[0220]
例如，在跟随帧内预测模式的斜率或者帧内预测模式的角度的假想角度线未通过一维参考样本组中的整数像素(即，整数位置处的参考样本)的情况下，可以通过插入位于角度线上的参考样本和与参考样本的左侧/右侧或顶部/底部相邻的参考样本来生成预测目标样本的预测图像。例如，下式8示出了插入两个或更多个参考样本以生成预测目标样本的预测样本p(x，y)的示例。
[0221]
[式8]
[0222]
p(x，y)＝(32-i
fact
)/32*p_ref_1d(x+iidx+1)+i
fact
/32*p_ref_1d(x+iidx+2)
[0223]
可以基于权重相关参数i
fact
来确定内插滤波器的系数。例如，可以基于位于角度线上的分数像素与整数像素(即，每个参考样本的整数位置)之间的距离来确定内插滤波器的系数。
[0224]
在考虑当前块的帧内预测模式的情况下，如果可以仅通过一个参考样本来预测预测目标样本，则可以基于由当前块的帧内预测模式指定的参考样本来生成预测目标样本的预测图像。
[0225]
例如，跟随帧内预测模式的斜率或帧内预测模式的角度的假想角度线通过一维参考样本组中的整数像素(即，整数位置处的参考样本)，可以通过复制整数像素处的参考样本或者通过考虑整数像素处的参考样本与预测目标样本之间的距离来生成预测目标样本的预测图像。例如，下式9是通过复制一维样本组中的由当前块的帧内预测模式指定的参考样本p_ref_1d(x+iidx+1)生成预测目标样本的预测图像p(x，y)的示例。
[0226]
[式9]
[0227]
p(x，y)＝p_ref_1d(x+iidx+1)
[0228]
为了便于说明，在稍后描述的实施方式中，由当前块的帧内预测模式指定的参考样本或由当前块的帧内预测模式指定的一维参考样本将被称作第一参考样本。例如，在平面模式下，用于获得预测目标样本的水平预测图像或垂直预测图像的参考样本可以被称作第一参考样本，并且在方向性帧内预测模式下，由帧内预测模式的方向性指定的预测目标样本的参考样本可以被称作第一预测参考样本。另外，通过基于第一参考样本预测预测目标样本而生成的预测样本将被称作第一预测图像(或第一预测样本)，并且使用第一参考样本的帧内预测将被称作第一帧内预测。
[0229]
根据本发明，为了提高帧内预测的效率，可以通过使用预定位置处的第二参考样本来获得预测目标样本的第二预测图像(或第二预测样本)。具体地，可以通过作为第一帧内预测的结果而生成的第一预测图像和在预定位置处的第二参考样本的加权预测来生成预测目标样本的第二预测样本。
[0230]
可以基于当前块的大小、当前块的形状、当前块的帧内预测模式(例如，其是否是方向性帧内预测模式)、帧内预测模式的方向、预测目标样本与第一参考样本之间的距离等来确定是否生成第二预测样本。这里，可以基于第一参考样本与预测目标样本之间的x轴的距离以及第一参考样本与预测目标样本之间的y轴的距离来计算第一参考样本与预测目标样本之间的距离。
[0231]
图17是用于说明第一参考样本与预测目标样本之间的距离的图。在图17中，例示了通过对第一参考样本与预测目标样本之间的x坐标的差的绝对值和第一参考样本与预测目标样本之间的y坐标的差的绝对值进行求和来计算第一参考样本与预测目标样本之间的距离。
[0232]
作为示例，可以将预测目标样本与第一参考样本之间的距离与阈值进行比较，然后根据比较结果来确定是否生成第二预测图像。可以根据预测块的宽度、高度、帧内预测模式(例如，其是否是方向性帧内预测模式)或帧内预测模式的斜率来确定阈值。
[0233]
可以将在第一帧内预测中使用的第一参考样本设置为第二参考样本。例如，如果在第一帧内预测中使用多个参考样本，则可以将多个参考样本中的任何一个设置为第二参考样本。
[0234]
替选地，位于与第一参考样本的位置不同位置处的参考样本可以被设置为第二参考样本。此时，第一参考样本和第二参考样本可以与当前块的同一边界相邻，或者可以与当前块的不同边界相邻。例如，第一参考样本和第二参考样本二者都可以是当前块的顶部参考样本或当前块的左侧参考样本，或者第一参考样本或第二参考样本是顶部参考样本，而另一参考样本是左侧参考样本。
[0235]
图18和图19是示出第一参考样本的位置和第二参考样本的位置的图。
[0236]
图18示出了第一参考样本和第二参考样本与当前块的同一边界相邻的示例，并且图19示出了第一参考样本和第二参考样本中的每一个与当前块的不同边界相邻的示例。
[0237]
具体地，在图18中描绘了第一参考样本和第二参考样本二者都是当前块的顶部参考样本，并且在图19中描绘了当前块的第一参考样本是顶部参考样本，而第二参考样本是当前块的左侧参考样本。
[0238]
第二参考样本可以包括最接近预测目标样本的参考样本。这里，最接近预测目标样本的参考样本可以包括与预测目标样本位于相同水平线上的参考样本或者与预测目标样本位于相同垂直线上的参考样本中的至少一个。
[0239]
可替选地，可以将与第一参考样本相邻的参考样本确定为第二参考样本。
[0240]
作为另一示例，可以基于当前块的帧内预测模式的方向性来确定第二参考样本。例如，第二参考样本可以由跟随当前块的帧内预测模式的斜率的虚拟角度线指定。例如，当角度线延伸至两侧时，位于角度线的一侧的参考样本可以被设置为第一参考样本，并且位于角度线的另一侧的参考样本可以被设置为第二参考样本。
[0241]
图20是示出第一参考样本的位置和第二参考样本的位置的图。如果假设当前块的帧内预测模式是左下对角线方向(例如，图8中示出的模式2)或右上对角线方向(例如，图8中示出的模式34)，当由帧内预测模式定义的角度线从预测目标样本延伸至两侧时，可以将位于通过角度线的位置处的参考样本设置为第一参考样本和第二参考样本。例如，在当前块的帧内预测模式是右上对角线方向的情况下，位于位置r(x+y+2,-1)处的参考样本被确定为第一参考样本并且位于位置r(-1,x+y+2)处的参考样本被确定为用于位于(2,2)处的预测目标样本的第二参考样本。另一方面，在当前块的帧内预测模式是左下对角线方向的情况下，位于位置r(-1,x+y+2)处的参考样本被确定为第一参考样本并且位于位置r(x+y+2,-1)处的参考样本被确定为用于位于(2,2)处的预测目标样本的第二参考样本。
[0242]
可替选地，可以将预定义位置处的参考样本设置为第二参考样本。例如，可以将与当前块的左上角相邻的参考样本、与当前块的右上角相邻的参考样本或与当前块的左下角相邻的参考样本设置为第二参考样本。
[0243]
可以选择多个参考样本作为第二参考样本。例如，可以选择满足上述条件的多个参考样本作为用于第二帧内预测的第二参考样本。
[0244]
可以通过第一预测图像和第二参考样本的加权和来生成第二预测图像。例如，下式10表示通过第二参考样本p_ref_2nd和第一预测图像p(x，y)的加权和来生成预测目标样本(x，y)的第二预测图像p
′
(x，y)的示例。
[0245]
[式10]
[0246]
p
′
(x，y)＝(1-w)*p_ref_2nd+w*p(x，y)
[0247]
由于通过复制第一参考样本或者插入多个第一参考样本来生成第一预测图像，因此可以理解，通过第一参考样本p_ref_1st和第二参考样本p_ref_2nd的加权和来生成第二预测图像。
[0248]
可以基于当前块的大小、当前块的形状、当前块的帧内预测模式、预测目标样本的位置、第一参考样本的位置或第二参考样本的位置中的至少一个来确定分配给第一预测图像和第二参考样本中的每一个的权重。例如，可以基于预测目标样本与第一参考样本之间的距离或预测目标样本与第二参考样本之间的距离来确定分配给第一预测图像和第二参
考图像中的每一个的权重。
[0249]
例如，当预测目标样本与第一参考样本之间的距离是f1并且预测目标样本与参考样本之间的距离是f2时，加权预测参数w可以被设置为f2/fl、f1/f2、f2/(f1+f2)或f1/(f1+f2)。
[0250]
可以将预测目标样本的最终预测图像确定为第一预测图像或第二预测图像。此时，可以根据当前块的大小、当前块的形状、当前块的帧内预测模式、预测目标样本的位置等来确定是将第一预测图像确定为最终预测图像还是将第二预测图像确定为最终预测图像。例如，将包括在当前块中的第一区域中的预测目标样本的最终预测图像确定为第一预测图像，而将包括在不同于第一区域的第二区域中的预测目标样本的最终预测图像确定为第二预测图像。
[0251]
可以使用多个帧内预测模式来执行对当前块的帧内预测。
[0252]
例如，可以将不同的帧内预测模式或不同的方向性帧内预测模式应用于当前块中的每个预测目标样本。为了确定每个预测目标样本的帧内预测模式，可以通过比特流用信号发送指示与先前预测目标样本的帧内预测模式差值的信息。
[0253]
例如，可以将当前块分割成多个区域，并且可以将不同的帧内预测模式应用于每个区域。这里，可以基于预定数量的样本单位或具有预定大小/形状的块单位来生成多个区域。例如，可以将当前块分割成预定形状/大小的多个子块。替选地，可以基于当前块中的预定行/列的单位来生成多个区域。例如，可以将包括当前块的边界行/列二者的区域设置为第一区域，并且可以将剩余区域设置为第二区域，使得可以将不同的帧内预测模式应用于第一区域和第二区域。
[0254]
作为另一示例，可以使用利用多种帧内预测模式对当前块进行多重预测的方法。例如，使用第一帧内预测模式生成当前块的第一预测块，使用第二帧内预测模式生成当前块的第二预测块，然后使用第一预测块和第二预测块生成当前块的最终预测块。此时，可以基于第一预测块与第二预测块的加权和、平均值、最大值或最小值来生成当前块的最终预测块。当通过将预定加权滤波器应用于第一预测块和第二预测块来生成最终预测块时，可以在编码器和解码器中预定义应用于第一预测块和第二预测块的滤波器系数。例如，应用于第一预测块和第二预测块的加权滤波器的滤波器系数可以是{1/2，1/2}。替选地，可以基于与滤波器相关的编码参数来可变地确定滤波器系数。替选地，可以基于第一帧内预测模式与第二帧内预测模式之间的差值或它们的方向性来确定要应用于第一预测块和第二预测块的滤波器系数。
[0255]
在下文中，使用多种帧内预测模式的帧内预测方案将被称为多重帧内预测方法。为了便于说明，假设在多重帧内预测方法中使用的帧内预测模式的数量是两个，并且将两种帧内预测模式中的每一个称为第一帧内预测模式和第二帧内预测模式。
[0256]
图21是示出根据本发明的实施方式的多重帧内预测方法的流程图。并非所有在图21中示出的过程都是必要的，因此可以通过省略一些过程来实现本发明。另外，将按顺序来描述图21，但是也可以以与附图中示出的不同的顺序来实现本发明。
[0257]
参照图21，可以确定是否对当前块应用多重帧内预测方法s2110。可以通过当前块的大小或形状来确定是否对当前块使用多重帧内预测方法。替选地，根据当前块的第一帧内预测模式，可以确定是否对当前块使用多重帧内预测方法。例如，在第一帧内预测模式是
方向性预测模式的情况下，可以使用其中将非方向性预测模式(例如，dc或平面)设置为第二帧内预测模式的多重帧内预测方法。在第一帧内预测模式是非方向性模式的情况下，也可以不允许使用多重帧内预测方法，或者可以设置为使用其中第一帧内预测模式和第二帧内预测模式二者都是非方向性预测模式的多重帧内预测方法。
[0258]
在另一示例中，可以通过比特流用信号发送指示是否使用多重帧内预测方法的信息。这里，信息可以是1比特的标志。
[0259]
如果确定要应用多重帧内预测方法，则可以得到用于当前块的多种帧内预测模式s2120。在多重帧内预测方法中使用的第一帧内预测模式和第二帧内预测模式可以具有不同的角度或不同的方向。例如，第一帧内预测模式和第二帧内预测模式可以是具有不同方向的方向性帧内预测模式。替选地，第一帧内预测模式和第二帧内预测模式中的一者可以是非方向性帧内预测模式，而另一者则可以是方向性预测模式。在第一帧内预测模式是非方向性模式的情况下，还可以将第二帧内预测模式设置为具有非方向性模式。由于第一帧内预测模式和第二帧内预测模式彼此不同，因此用于基于第一帧内预测模式的第一帧内预测的参考样本的范围与用于基于第二帧内预测模式的第二帧内预测的参考样本的范围彼此不同。
[0260]
第一帧内预测模式和第二帧内预测模式中的至少一者可以由通过比特流用信号发送的信息来指定，或者可以基于与当前块相邻的相邻块的帧内预测模式来得到。可以通过比特流用信号发送指示第一帧内预测模式与第二帧内预测模式之间的差值的信息。例如，如果基于相邻块的帧内预测模式和/或经由比特流用信号发送的信息(例如mpm标志、mpm索引、剩余模式信息等)来得到第一帧内预测模式，则可以基于指示第一帧内预测模式与第二帧内预测模式之间的差值的信息来确定第二帧内预测模式。
[0261]
替选地，可以基于第一帧内预测模式得到第二帧内预测模式。例如，可以通过向第一帧内预测模式的值加上或减去预定的常数值(例如整数1、2、3等)来得到第二帧内预测模式，或者可以通过向第一帧内预测模式的角度加上或减去预定值(例如，180度)来得到第二帧内预测模式。
[0262]
替选地，可以将第二帧内预测模式设置为在编码器或解码器中预定义的默认模式。例如，默认模式可以是诸如dc或平面的非方向性模式，或者是具有诸如水平或垂直的特定方向性的模式。
[0263]
如果确定了用于当前块的多种预测模式，则可以使用多种预测模式来执行对当前块的帧内预测s2130。如上所述，可以通过针对每个样本单元应用不同的帧内预测模式、针对每个区域应用不同的帧内预测模式或者顺序地应用多种帧内预测模式来执行对当前块的帧内预测。将对其中通过在预定的区域中特别是以子块为单位应用不同帧内预测模式来执行多重帧内预测的示例进行详细描述。
[0264]
图22是示出其中以子块为单位执行多重帧内预测的示例的图。
[0265]
在将当前块分割成多个子块之后，可以将不同的帧内预测模式应用于每个子块。如在图22中示出的示例中那样，子块可以具有相同的大小/形状。与示出的示例不同，还可以将当前块分割成具有不同大小/形状的多个子块。
[0266]
另外，子块可以是正方形块或非正方形块。替选地，也可以分割当前块，使得子块具有三角形形状或具有至少5个顶点的多边形形状。
[0267]
可以将子块定义为包括至少一行和/或至少一列的区域。例如，可以将子块定义成包括块中的第一列、最后一列和第一行，或者可以将子块定义为包括块中的最后一行和最后一列。
[0268]
在图22中示出的示例中，示出了对左侧子块(子块p0)应用水平方向预测模式，以及对右侧子块(子块p1)应用垂直方向预测模式。如在示出的示例中那样，可以针对每个子块使用不同的帧内预测模式来生成预测样本。
[0269]
此外，用于对每个子块执行帧内预测的参考样本的范围可以是不同的。例如，可以通过使用与当前块的左侧相邻的左侧参考样本来对子块p0进行帧内预测，并且可以通过使用与当前块的顶部相邻的顶部参考样本来对子块p1进行帧内预测。
[0270]
根据每个子块的帧内预测模式，为此使用的参考样本的范围可以部分交叠。因此，预定位置处的参考样本可以用于第一帧内预测模式和第二帧内预测二者。
[0271]
当针对每个子块使用不同的帧内预测模式时，可能在子块之间的边界处发生块效应。因此，对于与子块的边界相邻的样本，可以应用边界滤波器以减少效应。例如，可以使用与子块的边界相邻的样本和包括在另一个子块中的相邻样本的加权和来替换与子块的边界相邻的样本。可以基于当前块或子块的大小/形状、或者第一帧内预测模式与第二帧内预测模式之间的差值来确定是否应用边界滤波器。
[0272]
图23是示出以子块为单位获得预测块的示例的图。
[0273]
可以针对应用于当前块的多种帧内预测模式中的每一个来生成不同的一维参考样本。可以使用帧内预测模式和与其对应的一维参考样本来多次执行对当前块的帧内预测，从而生成多个帧内预测样本。可以将作为多次帧内预测的结果而生成的每个帧内预测样本称为帧内预测初步样本。
[0274]
可以基于多个帧内预测初步样本中的至少一个来生成子块的预测样本。
[0275]
例如，如果将当前块被分割成两个子块，则可以通过对当前块执行两次帧内预测来生成两个帧内预测初步样本。在图23示出的示例中，通过将模式21的帧内预测模式应用于当前块来生成帧内预测初步块0，并且通过将模式23的帧内预测模式应用于当前块来生成帧内预测初步块1。
[0276]
此时，帧内预测初步块0可以用作当前块中的第一子块的预测块，并且帧内预测初步块1可以用作当前块中的第二子帧的预测块。具体地，可以将与子块的位置/大小相对应的帧内预测初步样本设置为子块的预测样本。
[0277]
例如，如在图22中示出的示例中那样，如果将当前块分割成两个n
×
2n大小的子块，则可以将帧内预测初步块0的左侧的n
×
2n样本设置为左侧子块p0的预测样本，并且可以将帧内预测初步块1的右侧的n
×
2n样本设置为右侧子块p1的预测样本。
[0278]
如上所述，可以通过将帧内预测初步块0与帧内预测初步块1组合来生成当前块的预测样本。
[0279]
替选地，基于多个帧内预测初步样本的加权和，可以获得每个子块的帧内预测模式。例如，可以基于帧内预测初步块0和帧内预测初步块1的加权和来获得第一子块的预测样本和第二子块的预测样本。此时，应用于帧内预测初步块0和帧内预测初步块1的权重对于每个子块可以是不同的。例如，对于第一子块，可以将更大的权重分配给帧内预测初步块0，但是对于第二子块，可以将更大的权重分配给帧内预测初步块1。
[0280]
还可以将帧内预测初步样本的加权操作仅应用于位于子块边界处的样本。例如，图24示出了其中对位于子块的边界处的样本应用加权操作的示例。
[0281]
如在图24中示出的示例中那样，将帧内预测初步块0用作第一子块的预测块，并且将帧内预测初步块1用作第二子块的预测块。此时，对于与第一子块和第二子块的边界相邻的样本，可以基于帧内预测初步块0与帧内预测初步块1之间的加权和来生成预测样本。
[0282]
式11示出了其中基于帧内预测初步块0与帧内预测初步块1之间的加权和来生成预测样本的示例。
[0283]
[式11]
[0284]
p＝w*p0+(1-w)*p1
[0285]
在式11中，p0表示帧内预测初步块0中包括的帧内预测初步样本，并且p1表示帧内预测块1中包括的帧内预测初步样本。此外，在式11中，权重w可以是0与1之间的实数。可以通过经由比特流用信号发送的信息来确定权重w，或者可以根据帧内预测相关的编码参数、p0/p1预测初步样本的位置、预测初步样本之间的距离或帧内预测模式的角度来可变地得到权重w。
[0286]
尽管已经基于一系列步骤或流程图描述了上述实施方式，但是它们不限制本发明的时序顺序，并且可以根据需要同时或以不同顺序执行。此外，构成上述实施方式中的框图的部件(例如，单元、模块等)中的每一个可以由硬件设备或软件以及多个部件来实现。或者，可以通过单个硬件设备或软件来组合并实现多个部件。上述实施方式可以以程序指令的形式实现，所述程序指令可以通过各种计算机部件执行并被记录在计算机可读记录介质中。计算机可读记录介质可以包括程序命令、数据文件、数据结构等之一或其组合。计算机可读介质的示例包括诸如硬盘、软盘和磁带的磁介质、诸如cd-rom和dvd的光学记录介质、诸如光磁软盘的磁光介质、介质和专门被配置成存储和执行程序指令的硬件设备例如rom、ram、闪存等。硬件设备可以被配置成作为一个或更多个软件模块来进行操作以用于执行根据本发明的处理，反之亦然。
[0287]
工业应用性
[0288]
本发明可以应用于能够对视频进行编码/解码的电子设备。
[0289]
发明构思
[0290]
本发明提供了以下发明构思：
[0291]
1.一种用于对视频进行解码的方法，所述方法包括：
[0292]
确定用于当前块中的第一子块的第一帧内预测模式和用于第二子块的第二帧内预测模式；
[0293]
基于第一帧内预测模式对第一子块执行第一帧内预测；
[0294]
基于第二帧内预测模式对第二子块执行第二帧内预测；以及
[0295]
根据第一帧内预测和第二帧内预测的结果获得当前块的预测样本。
[0296]
2.根据发明构思1所述的方法，其中，将与当前块中的第一子块相对应的区域中的预测样本设置为作为第一帧内预测的结果而获得的第一预测样本，并且将与第二子块相对应的区域中的预测样本设置为作为第二帧内预测的结果而获得的第二预测样本。
[0297]
3.根据发明构思1所述的方法，其中，基于作为第一帧内预测的结果而获得的第一预测样本与作为第二帧内预测的结果而获得的第二预测样本的加权和，来获得位于第一子
块和第二子块的边界处的预测样本。
[0298]
4.根据发明构思3所述的方法，其中，基于预测样本的位置或者第一帧内预测模式与第二帧内预测模式之间的差来确定应用于第一预测样本和第二预测样本的权重。
[0299]
5.根据发明构思1所述的方法，其中，根据第一帧内预测模式得到第二帧内预测模式。
[0300]
6.根据发明构思5所述的方法，其中，通过将第一帧内预测模式与差值相加来得到第二帧内预测模式。
[0301]
7.根据发明构思5所述的方法，其中，第一帧内预测模式是方向性预测模式，并且第二帧内预测模式是非方向性预测模式。
[0302]
8.一种用于对视频进行编码的方法，所述方法包括：
[0303]
确定用于当前块中的第一子块的第一帧内预测模式和用于第二子块的第二帧内预测模式；
[0304]
基于第一帧内预测模式对第一子块执行第一帧内预测；
[0305]
基于第二帧内预测模式对第二子块执行第二帧内预测；以及
[0306]
根据第一帧内预测和第二帧内预测的结果获得当前块的预测样本。
[0307]
9.根据发明构思8所述的方法，其中，将与当前块中的第一子块相对应的区域中的预测样本设置为作为第一帧内预测的结果而获得的第一预测样本，并且将与第二子块相对应的区域中的预测样本设置为作为第二帧内预测的结果而获得的第二预测样本。
[0308]
10.根据发明构思8所述的方法，其中，基于作为第一帧内预测的结果而获得的第一预测样本与作为第二帧内预测的结果而获得的第二预测样本的加权和，来获得位于第一子块和第二子块的边界处的预测样本。
[0309]
11.根据发明构思10所述的方法，其中，基于预测样本的位置或者第一帧内预测模式与第二帧内预测模式之间的差来确定应用于第一预测样本和第二预测样本的权重。
[0310]
12.根据发明构思8所述的方法，其中，根据第一帧内预测模式得到第二帧内预测模式
[0311]
13.根据发明构思12所述的方法，其中，通过将第一帧内预测模式与差值相加来得到第二帧内预测模式。
[0312]
14.根据发明构思12所述的方法，其中，第一帧内预测模式是方向性预测模式，并且第二帧内预测模式是非方向性预测模式。
[0313]
15.一种用于对视频进行解码的设备，该设备包括：
[0314]
帧内预测单元，其确定用于当前块中的第一子块的第一帧内预测模式和用于第二子块的第二帧内预测模式，基于第一帧内预测对第一子块执行第一帧内预测，基于第二帧内预测模式对第二子块执行第二帧内预测，并且根据第一帧内预测和第二帧内预测的结果获得当前块的预测样本。

技术特征：
1.一种对视频进行解码的方法，所述方法包括：确定当前块的预测模式，所述预测模式被确定为帧内预测和帧间预测之一；通过对所述当前块执行所述帧内预测或所述帧间预测来获得所述当前块的第一预测样本；基于所述第一预测样本和由与所述当前块相邻的参考样本得到的值的加权和运算来获得第二预测样本；以及基于所述第二预测样本获得所述当前块的重构样本，其中，所述参考样本包括具有与所述第一预测样本相同的x坐标的顶部相邻样本或具有与所述第一预测样本相同的y坐标的左侧相邻样本中的至少一个，以及其中，所述第二预测样本是通过将第一权重应用于所述第一预测样本并将第二权重应用于由所述参考样本得到的值而获得的。2.根据权利要求1所述的方法，其中，基于将所述帧内预测和所述帧间预测中的哪一个应用于与所述当前块相邻的相邻块来确定所述第一权重和所述第二权重，所述相邻块是顶部相邻块或左侧相邻块。3.根据权利要求2所述的方法，其中，在通过所述帧内预测对所述相邻块进行编码时与通过所述帧间预测对所述相邻块进行编码时不同地确定所述第一权重和所述第二权重。4.根据权利要求2所述的方法，其中，当通过所述帧间预测对所述相邻块进行编码时的第一权重大于当通过所述帧内预测对所述相邻块进行编码时的第一权重，并且其中，当通过所述帧间预测对所述相邻块进行编码时的第二权重小于当通过所述帧内预测对所述相邻块进行编码时的第二权重。5.根据权利要求1所述的方法，其中，仅当所述当前块的大小满足预定义的条件时，才允许通过使用所述加权和运算来得到所述第二预测样本。6.根据权利要求1所述的方法，其中，根据将所述帧内预测和所述帧间预测中的哪一个应用于所述相邻块，将所述第一权重和所述第二权重的集合确定为{1/2，1/2}或{1/4，3/4}。7.一种对视频进行编码的方法，所述方法包括：确定当前块的预测模式，所述预测模式被确定为帧内预测和帧间预测之一；通过对所述当前块执行所述帧内预测或所述帧间预测来获得所述当前块的第一预测样本；基于所述第一预测样本和由与所述当前块相邻的参考样本得到的值的加权和运算来获得第二预测样本；以及通过从原始样本中减去所述第二预测样本来获得所述当前块的残差样本，其中，所述参考样本包括具有与所述第一预测样本相同的x坐标的顶部相邻样本或具有与所述第一预测样本相同的y坐标的左侧相邻样本中的至少一个，以及其中，所述第二预测样本是通过将第一权重应用于所述第一预测样本并将第二权重应用于由所述参考样本得到的值而获得的。8.一种用于存储由编码方法生成的经压缩的视频数据的设备，其中，所述编码方法包括：确定当前块的预测模式，所述预测模式被确定为帧内预测和帧间预测之一；
通过对所述当前块执行所述帧内预测或所述帧间预测来获得所述当前块的第一预测样本；基于所述第一预测样本和由与所述当前块相邻的参考样本得到的值的加权和运算来获得第二预测样本；以及通过从原始样本中减去所述第二预测样本来获得所述当前块的残差样本，其中，所述参考样本包括具有与所述第一预测样本相同的x坐标的顶部相邻样本或具有与所述第一预测样本相同的y坐标的左侧相邻样本中的至少一个，以及其中，所述第二预测样本是通过将第一权重应用于所述第一预测样本并将第二权重应用于由所述参考样本得到的值而获得的。

技术总结
本发明公开了用于对视频进行解码或编码的方法和存储视频数据的设备。根据本发明的对视频进行解码的方法包括以下步骤：确定当前块的预测模式，预测模式被确定为帧内预测和帧间预测之一；通过对当前块执行帧内预测或帧间预测来获得当前块的第一预测样本；基于第一预测样本和由与当前块相邻的参考样本得到的值的加权和运算来获得第二预测样本；以及基于所述第二预测样本获得所述当前块的重构样本，其中，参考样本包括具有与第一预测样本相同的x坐标的顶部相邻样本或具有与第一预测样本相同的y坐标的左侧相邻样本中的至少一个，以及其中，第二预测样本是通过将第一权重应用于第一预测样本并将第二权重应用于由参考样本得到的值而获得的。到的值而获得的。到的值而获得的。


技术研发人员：李培根
受保护的技术使用者：株式会社KT
技术研发日：2017.12.07
技术公布日：2023/10/20