视频信号编码/解码方法和设备

视频信号编码/解码方法和设备
1.本技术是申请日为2017年4月28日、申请号为201780039690.3、发明名称为“视频信号编码/解码方法和设备”的发明专利申请的分案申请。
技术领域
2.本发明涉及一种用于对图像信号进行编码/解码的方法和设备。


背景技术：

3.近来，对于诸如视频的多媒体数据的需求已在互联网上迅速增加。然而，信道的带宽的发展速率难以跟上迅速增加的多媒体数据的量。


技术实现要素：

4.技术问题
5.本发明的一个目标是通过在对图像进行编码/解码的过程中使用多帧内预测模式来提高图像的压缩效率。
6.本发明的一个目标是通过在对图像进行编码/解码的过程中对目标编码/解码块的多帧内预测模式进行高效编码/解码来提高图像的压缩效率。
7.本发明的一个目标是通过对局部块中的系数进行高效编码/解码来提高图像的压缩效率。
8.技术方案
9.根据本发明的一种用于对图像进行解码的方法和设备可对指示当前块是否是使用多帧内预测模式被编码的信息进行解码；当确定当前块是通过多帧内预测模式被编码时，将当前块分区成多个局部块；获得所述多个局部块中的每个局部块的帧内预测模式。
10.根据本发明的一种用于对图像进行解码的方法和设备可执行以下操作：当将当前块分区成所述多个局部块时，在与当前块邻近的邻近像素中确定拐点；基于与拐点邻近的多个像素来获得斜率信息；基于拐点和斜率信息来确定当前块的分区形状。
11.在根据本发明的一种用于对图像进行解码的方法和设备中，可基于每个邻近像素的拐点值来确定拐点，且可基于与邻近像素相邻的相邻像素之间的差值来产生拐点值。
12.在根据本发明的一种用于对图像进行解码的方法和设备中，可执行以下操作：当获得所述多个局部块中的每个局部块的帧内预测模式时，获得第一局部块的第一帧内预测模式；对第一帧内预测模式与第二局部块的第二帧内预测模式之间的差值进行解码；基于所述差值获得第二帧内预测模式。
13.在根据本发明的一种用于对图像进行解码的方法和设备中，所述多个局部块中的每个局部块的帧内预测模式可具有不同的值。
14.根据本发明的一种用于对图像进行编码的方法和设备可确定是否通过多帧内预测模式对当前块进行编码；基于确定结果，对指示当前块是否使用多帧内预测模式的信息进行编码；当当前块被设置为使用多帧内预测模式时，将当前块分区成多个局部块；确定所
述多个局部块中的每个局部块的帧内预测模式。
15.根据本发明的一种用于对图像进行编码的方法和设备可执行以下操作：当将当前块分区成多个局部块时，在与当前块邻近的邻近像素中确定拐点；基于与拐点邻近的多个像素来获得斜率信息；基于拐点和斜率信息来确定当前块的分区形状。
16.在根据本发明的一种用于对图像进行编码的方法和设备中，可基于每个邻近像素的拐点值来确定拐点，且可基于与邻近像素相邻的相邻像素之间的差值来产生拐点值。
17.根据本发明的一种用于对图像进行编码的方法和设备可确定所述多个局部块中的第一局部块的第一帧内预测模式；确定所述多个局部块中的第一局部块的第二帧内预测模式；对第一帧内预测模式与第二帧内预测模式之间的差值进行编码。
18.在根据本发明的一种用于对图像进行编码的方法和设备中，所述多个局部块中的每个局部块的帧内预测模式可具有不同的值。
19.技术效果
20.根据本发明，可通过在对图像进行编码/解码的过程中使用多帧内预测模式来提高图像的压缩效率。
21.根据本发明，可通过在对图像进行编码/解码的过程中对目标编码/解码块的多帧内预测模式进行高效编码/解码来提高图像的压缩效率。
22.根据本发明，可通过对局部块中的系数进行高效编码/解码来提高图像的压缩效率。
附图说明
23.图1是示出根据本发明的实施例的用于对图像进行编码的装置的框图。
24.图2是示出根据本发明的实施例的用于对图像进行解码的装置的框图。
25.图3是用于解释使用dc模式的帧内预测方法的示图。
26.图4是用于解释使用平面模式的帧内预测方法的示图。
27.图5是用于解释使用定向预测模式的帧内预测方法的示图。
28.图6是示出如本发明应用到的实施例的用于对变换块的系数进行编码的方法的示图。
29.图7是示出如本发明应用到的实施例的对局部块的系数的最大值进行编码的方法的示图。
30.图8是示出如本发明应用到的实施例的对针对局部块的第一阈值标志进行编码的方法的示图。
31.图9是示出如本发明应用到的实施例的对变换块的系数进行解码的方法的示图。
32.图10是示出如本发明应用到的实施例的对局部块的系数的最大值进行解码的方法的示图。
33.图11是示出如本发明应用到的实施例的对针对局部块的第一阈值标志进行解码的方法的示图。
34.图12是示出如本发明应用到的实施例的导出针对当前局部块的第一/第二阈值标志的方法的示图。
35.图13是示出如本发明应用到的实施例的基于合并标志确定局部块的尺寸/形状的
方法的示图。
36.图14是示出如本发明应用到的实施例的基于分区标志确定局部块的尺寸/形状的方法的示图。
37.图15是示出如本发明应用到的实施例的基于分区索引信息确定局部块的尺寸/形状的方法的示图。
38.图16是示出如本发明应用到的实施例的基于非零系数的位置对变换块进行分区的方法的示图。
39.图17是示出如本发明应用到的实施例的对变换块的局部区域进行选择性地分区的方法的示图。
40.图18是示出如本发明应用到的实施例的基于频域中的dc/ac分量属性对变换块进行分区的方法的示图。
41.图19是示出确定在编码过程中是否使用多帧内预测模式的过程的流程图。
42.图20是用于解释搜索拐点的示例的示图。
43.图21是示出根据当前块的形状的分区形状的示图。
44.图22是用于解释计算邻近像素的斜率信息的示例的示图。
45.图23是示出根据当前块的分区形状产生重叠区域的示例的示图。
46.图24是示出对局部块的帧内预测模式进行编码的过程的流程图。
47.图25是示出使用mpm候选对帧内预测模式进行编码的方法的流程图。
48.图26是示出确定当前块的mpm候选的示图。
49.图27是示出对当前块的帧内预测模式进行解码的方法的流程图。
50.图28是示出使用mpm候选对帧内预测模式进行解码的方法的流程图。
具体实施方式
51.可对本发明做出各种各样的变型，并且存在本发明的各种实施例，现将参照附图来提供并详细地描述本发明的各种实施例的示例。然而，本发明不限于此，并且示例性实施例可被构造为包括本发明的技术构思和技术范围中的所有变型、等价物或替代物。在描述的附图中，类似的参考标号指代类似的元素。
52.在说明书中使用的术语“第一”、“第二”等可被用于描述各种组件，但所述各种组件将不被解释为受限于这些术语。术语仅被用于将一个组件与其它组件进行区分。例如，在不脱离本发明的范围的情况下，“第一”组件可被命名为“第二”组件，并且“第二”组件也可被类似地命名为“第一”组件。术语“和/或”包括多个项的组合或者多个项中的任意一个。
53.将理解的是，当在本描述中元件仅被称为“连接到”或者“耦合到”另一元件而不是“直接连接到”或者“直接耦合到”另一元件时，所述元件可“直接连接到”或者“直接耦合到”所述另一元件，或者，在它们中间存在其它元件的情况下“连接到”或者“耦合到”所述另一元件。相反，应理解的是，当元件被称为“直接耦合到”或者“直接连接到”另一元件时，不存在中间元件。
54.在本说明书中使用的术语仅仅用于描述特定的实施例，并不意在限制本发明。以单数使用的表达包含复数的表达，除非其在上下文中具有明显不同的含义。在本说明书中，将理解的是，诸如“包括”、“具有”等的术语旨在指示存在说明书中公开的特征、数字、步骤、
动作、元件、部件或它们的组合，并且不旨在排除可能存在或者可能添加一个或更多个其它的特征、数字、步骤、动作、元件、部件或它们的组合的可能性。
55.以下，将参照附图详细地描述本发明的优选实施例。以下，附图中相同的组成元件由相同的参考标号来表示，相同的元件的重复描述将被省略。
56.图1是示出根据本发明的实施例的用于对图像进行编码的装置的框图。
57.参照图1，图像编码装置100可包括画面分区模块110、预测模块120和125、变换模块130、量化模块135、重排模块160、熵编码模块165、反量化模块140、反变换模块145、滤波器模块150以及存储器155。
58.在图1中示出的构成部件被独立示出，以便代表在图像编码装置中彼此不同的特征功能，并不意味着每个构成部件以分离的硬件或软件的构成单元构成。换言之，为方便起见，每个构成部件包括列举的构成部件中的每个构成部件，每个构成部件中的至少两个构成部件可被组合以形成一个构成部件，或者，一个构成部件可被分成多个构成部件以执行每个功能。如果未脱离本发明的本质，则每个构成部件被组合的实施例和一个构成部件被分开的实施例也可被包括在本发明的范围中。
59.而且，一些组件可能在执行本发明的主要功能上不是不可或缺的组件，但可以是仅用于改进其性能的可选组件。本发明可通过仅包括用于实现本发明的本质的不可或缺的组件而不包括用于改进性能的组件来实现。仅包括不可或缺的组件而不包括仅用于改进性能的可选组件的结构也可被包括在本发明的范围中。
60.画面分区模块110可将输入的画面分区成至少一个块。这里，块可意味着编码单元(cu)、预测单元(pu)或变换单元(tu)。分区可基于四叉树或二叉树中的至少一个来执行。四叉树是将高层块分区成四个低层块的方法，其中，四个低层块的宽度和高度是高层块的一半。二叉树是将高层块分区成两个低层块的方法，其中，两个低层块的宽度和高度是高层块的一半。使用基于二叉树的分区，块可具有正方形形状以及非正方形形状。
61.以下，在本发明的实施例中，编码单元可被用作用于执行编码的单元，或者也可被用作用于解码的单元。
62.预测模块120和125可包括用于执行帧间预测的帧间预测模块120和用于执行帧内预测的帧内预测模块125。可确定针对预测单元是执行帧间预测还是帧内预测，并且可确定根据每个预测方法的指定信息(例如，帧内预测模式、运动矢量、参考画面等)。这里，被执行预测的处理单元可与确定预测方法和指定内容的处理单元不同。例如，可以以预测单元为单位来确定预测方法、预测模式等，而可以以变换单元为单位来执行预测。
63.编码装置可通过使用各种方案(诸如，针对通过从预测块减去源块而获得的残差块的率失真最优化(rdo))来确定针对编码块的最优预测模式。在一个示例中，rdo可通过下面的等式1来确定。
64.[等式1]
[0065]
j(φ，λ)＝d(φ)+λr(φ)
[0066]
在上面的等式1中，d代表由于量化而造成的恶化，r代表压缩的流的速率，j代表rd代价。此外，φ代表编码模式，λ代表拉格朗日乘数。λ可被用作用于将误差量的单位与比特量进行匹配的尺度校正系数。在编码过程中，编码装置可将具有最小rd代价值的模式确定为用于编码块的最优模式。这里，考虑比特率和误差两者来计算rd代价值。
[0067]
在帧内预测模式中，作为非定向预测模式(或者非角度预测模式)的dc模式可使用当前块的邻近像素的平均值。图3是用于解释使用dc模式的帧内预测方法的示图。
[0068]
在邻近像素的平均值被填充到预测块中之后，可对位于预测模块的边界的像素执行滤波。在一个示例中，与邻近参考像素的加权和滤波可被应用到位于预测块的左边界或上边界的像素。例如，等式2示出了针对每个区域通过dc模式产生预测像素的示例。在等式1中，区域r1、r2、r3是位于预测块的最外围(即，边界)的区域，并且加权和滤波可被用到包括在这些区域中的像素。
[0069]
[等式2]
[0070][0071]
r1区域)pred[0][0]＝(r[-1][0]+2*dc值+r[0][-1]+2)＞＞2
[0072]
r2区域)pred[x][0]＝(r[x][-1]+3*dc值+2)》》2，x》0
[0073]
r3区域)pred[0][y]＝(r[0][y]+3*dc值+2)》》2，y》0
[0074]
r4区域)pred[x][y]＝dc值，x》o，y》0
[0075]
在等式2中，wid代表预测块的水平长度，hei代表预测块的垂直长度。x、y表示在预测块的最左上位置被定义为(0，0)时每个预测像素的坐标位置。r表示邻近像素。例如，当在图3中示出的像素s被定义为r[-1][-1]时，像素a到像素i可被表示为r[0][-1]到r[8][-1]，像素j到像素r可被表示为r[-1][0]到r[-1][8]。在图3中示出的示例中，可根据在等式2中示出的加权和滤波方法针对区域r1到r4中的每个区域来计算预测像素值pred。
[0076]
非定向模式中的平面模式是通过将线性插值根据距离应用到当前块的邻近像素来产生当前块的预测像素的方法。例如，图4是用于解释使用平面模式的帧内预测方法的示图。
[0077]
例如，假设在图4中示出的pred是在8
×
8编码块中预测的。在这种情况下，位于pred的上方的像素e和位于pred的左下方的像素r可被复制到pred的最下方，可通过在垂直方向上的根据距离的线性插值来获得垂直预测值。此外，位于pred的左侧的像素n和位于pred的右上方的像素i可被复制到pred的最右侧，可通过在水平方向上的根据距离的线性插值来获得水平预测值。随后，水平预测值和垂直预测值的平均值可被确定为pred的值。等式3是表示根据平面模式获得预测值pred的过程的公式。
[0078]
[等式3]
[0079][0080]
在等式3中，wid代表预测块的水平长度，hei代表预测块的垂直长度。x、y表示在预测块的最左上位置被定义为(0，0)时每个预测像素的坐标位置。r表示邻近像素。例如，当在图4中示出的像素s被定义为r[-1][-1]时，像素a到像素i可被表示为r[0][-1]到r[8][-1]，像素j到像素r可被表示为r[-1][0]到r[-1][8]。
[0081]
图5是用于解释使用定向预测模式的帧内预测方法的示图。
[0082]
定向预测模式(或者角度预测模式)是将在当前块的邻近像素之中的位于n个预定方向中的任意一个方向的至少一个或更多个像素产生为预测样点的方法。
[0083]
定向预测模式可包括水平定向模式和垂直定向模式。这里，水平定向模式是指具
有比指向左上侧45度的角度预测模式更大的水平方向性的模式，垂直定向模式是指具有比指向左上侧45度的角度预测模式更大的垂直方向性的模式。具有指向左上侧45度的预测方向的定向预测模式可被视为水平定向模式或者可被视为垂直定向模式。在图5中，水平定向模式和垂直定向模式被示出。
[0084]
参照图5，存在针对每个方向的不与整数像素部分匹配的方向。在这种情况下，在对像素与相邻像素之间的距离应用距离插值(诸如，线性插值方法、dct-if方法、立方卷积插值方法等)之后，像素值可被填充到与预测块的方向匹配的像素位置中。
[0085]
产生的预测块与原始块之间的残差值(残差块或变换块)可被输入到变换模块130。残差块是变换和量化过程的最小单元。编码块的分区方法可被应用到变换块。在一个示例中，变换块可被分区成四个或两个局部块。
[0086]
用于预测的预测模式信息、运动矢量信息等可与残差值一起由熵编码模块165进行编码且可被发送到解码装置。当特定编码模式被使用时，通过对原始块进行编码而不通过预测模块120和125产生预测块来发送到解码装置是可行的。
[0087]
帧间预测模块120可基于当前画面的先前画面和后续画面中的至少一个的信息来对预测单元进行预测，或者在一些情况下，可基于当前画面中的一些编码的区域的信息来对预测单元进行预测。帧间预测模块120可包括参考画面插值模块、运动预测模块和运动补偿模块。
[0088]
参考画面插值模块可从存储器155接收参考画面信息，并且可从参考画面产生整数像素的像素信息或小于整数像素的像素信息。在亮度像素的情况下，具有不同的滤波系数的基于8抽头dct的插值滤波器可被用于产生整数像素的像素信息或以1/4像素为单位小于整数像素的像素信息。在色度信号的情况下，具有不同滤波系数的基于4抽头dct的插值滤波器可被用于产生整数像素的像素信息或以1/8像素为单位小于整数像素的像素信息。
[0089]
运动预测模块可基于由参考画面插值模块进行插值的参考画面来执行运动预测。可使用诸如基于全搜索的块匹配算法(fbma)、三步搜索(tss)、新三步搜索算法(nts)等的各种方法，作为用于计算运动矢量的方法。运动矢量可具有基于插值像素的以1/2像素或1/4像素为单位的运动矢量值。运动预测模块可通过改变运动预测方法来预测当前预测单元。可使用诸如跳过法、合并法、改进的运动矢量预测(amvp)法等的各种方法，作为运动预测方法。
[0090]
编码装置可基于邻近块的运动估计或运动信息来产生当前块的运动信息。这里，运动信息可包括运动矢量、参考图像索引和预测方向中的至少一个。
[0091]
帧内预测模块125可基于与当前块邻近的参考像素信息来产生预测单元，其中，所述参考像素信息是当前画面中的像素信息。当当前预测单元的邻近块是被执行帧间预测的块并因此参考像素是被执行帧间预测的像素时，包括在被执行帧间预测的块中的参考像素可由被执行帧内预测的邻近块的参考像素信息代替。也就是说，当参考像素不可用时，可使用可用的参考像素中的至少一个参考像素来代替不可用的参考像素信息。
[0092]
帧内预测的预测模式可包括使用根据预测方向的参考像素信息的定向预测模式和在执行预测时不使用定向信息的非定向预测模式。用于预测亮度信息的模式可与用于预测色度信息的模式不同，为了预测色度信息，可利用被用于预测亮度信息的帧内预测模式信息或预测的亮度信号信息。
[0093]
在帧内预测方法中，可在根据预测模式将自适应帧内平滑(ais)滤波器应用到参考像素之后产生预测块。应用到参考像素的ais滤波器的类型可不同。为了执行帧内预测方法，可从与当前预测单元邻近的预测单元的帧内预测模式预测当前预测单元的帧内预测模式。在通过使用从邻近预测单元预测的模式信息预测当前预测单元的预测模式的过程中，当当前预测单元的帧内预测模式与邻近预测单元的帧内预测模式相同时，可使用预定的标志信息发送指示当前预测单元和邻近预测单元的预测模式彼此相同的信息，并且当当前预测单元的预测模式与邻近预测单元的预测模式不同时，可执行熵编码以对当前块的预测模式信息进行编码。
[0094]
此外，可基于由预测模块120和125产生的预测单元来产生包括关于残差值的信息的残差块，其中，残差值是被执行预测的预测单元与该预测单元的原始块之间的差。产生的残差块可被输入到变换模块130。
[0095]
变换模块130可使用变换方法(诸如，离散余弦变换(dct)、离散正弦变换(dst)和karhunen loeve变换(klt))对包括残差数据的残差块进行变换。为了使得变换方法的使用简单，使用基向量来执行矩阵运算。这里，根据预测块被编码的预测模式，各种变换方法可在矩阵运算中进行各种各样的混合和使用。例如，当执行帧内预测时，根据帧内预测模式，可针对水平方向使用离散余弦变换，可针对垂直方向使用离散正弦变换。
[0096]
量化模块135可对由变换模块130变换到频域的值进行量化。也就是说，量化模块135可对从变换模块130产生的变换块的变换系数进行量化，并产生具有量化的变换系数的量化的变换块。这里，量化方法可包括死区均匀阈值量化(dzutq)或量化加权矩阵等。使用改进这些量化方法的改进的量化方法也是可行的。量化系数可根据图像的块或重要性而不同。由量化模块135计算的值可被提供给反量化模块140和重排模块160。
[0097]
变换模块单元130和/或量化模块135可被选择性地包括在图像编码装置100中。也就是说，图像编码装置100可对残差块的残差数据执行变换和量化中的至少一个，或者可跳过变换和量化两者，从而对残差块进行编码。即使在图像编码装置100中未执行变换或量化或者未执行变换和量化两者，作为熵编码模块165的输入被提供的块也通常被称作变换块(或者量化的变换块)。
[0098]
重排模块160可对量化的残差值的系数进行重排。
[0099]
重排模块160可通过系数扫描方法将二维块形式的系数改变成一维向量形式的系数。例如，重排模块160可使用预定的扫描方法从dc系数扫描到高频域的系数，以便将系数改变为一维向量的形式。
[0100]
熵编码模块165可基于由重排模块160计算的值来执行熵编码。熵编码可使用各种编码方法，例如，指数哥伦布编码、上下文自适应可变长编码(cavlc)和上下文自适应二进制算术编码(cabac)。
[0101]
熵编码模块165可对各种信息(例如，编码单元的残差值系数信息和块类型信息、预测模式信息、分区单元信息、预测单元信息)进行编码，并且发送来自重排模块160以及预测模块120和125的单元信息、运动矢量信息、参考帧信息、块的插值信息、滤波信息等。在熵编码模块165中，可以以变换块中的局部块为单元将变换块的系数编码为非零系数、绝对值大于1或2的系数、以及指示系数的符号等的各种类型的标志。可通过经由标志编码的系数与实际变换块的系数之间的差的绝对值对不仅仅利用标志进行编码的系数进行编码。将参
照图6详细地描述对变换块的系数进行编码的方法。
[0102]
熵编码模块165可对从重排模块160输入的编码单元的系数进行熵编码。
[0103]
反量化模块140可对由量化模块135量化的值进行反量化，反变换模块145可对由变换模块130变换的值进行反变换。
[0104]
此外，反量化模块140和反变换模块145可通过反向地使用在量化模块135和变换模块130中使用的量化方法和变换方法来执行反量化和反变换。此外，当变换模块130和量化模块135仅执行量化而不执行变换时，仅反量化被执行而反变换可不被执行。当变换和量化两者均未被执行时，反量化模块140和反变换模块145可既不执行反变换也不执行反量化，并且反量化模块140和反变换模块145可不被包括在图像编码装置100中而可被省略。
[0105]
由反量化模块140和反变换模块145产生的残差值可与由包括在预测模块120和125中的运动估计模块、运动补偿模块和帧内预测模块预测的预测单元相结合，以便产生重构块。
[0106]
滤波器模块150可包括去块滤波器、偏移校正单元和自适应环路滤波器(alf)中的至少一个。
[0107]
去块滤波器可去除由于重构画面中的块之间的边界导致的块失真。为了确定是否执行去块，包括在块中的若干行或列中所包括的像素可以是确定是否将去块滤波器应用到当前块的基础。当去块滤波器被应用到块时，可根据需要的去块滤波强度来应用强滤波器或弱滤波器。而且，在应用去块滤波器时，可并行处理水平方向滤波和垂直方向滤波。
[0108]
偏移校正模块可在被执行去块的画面中以像素为单位对与原始画面的偏移进行校正。为了对特定画面执行偏移校正，使用考虑每个像素的边缘信息应用偏移的方法或者将画面的像素分区成预定数量的区域、确定将被执行偏移的区域以及将偏移应用到确定的区域的方法是可行的。
[0109]
可基于通过将经过滤波的重构画面与原始画面进行比较而获得的值来执行自适应环路滤波(alf)。包括在画面中的像素可分成预定的组，可确定将被应用到每个组的滤波器，并且可针对每个组分别执行滤波。关于是否应用alf和亮度信号的信息可按照编码单元(cu)被发送，用于alf的滤波器的形状和滤波器系数可根据每个块而不同。而且，可不管应用目标块的特征而应用相同形状(固定形状)的用于alf的滤波器。
[0110]
存储器155可存储通过滤波器模块150计算的重构块或画面，且存储的重构块或画面可在执行帧间预测时被提供给预测模块120和125。
[0111]
图2是示出根据本发明的实施例的用于对图像进行解码的装置的框图。
[0112]
参照图2，图像解码装置200可包括熵解码模块210、重排模块215、反量化模块220、反变换模块225、预测模块230和235、滤波器模块240以及存储器245。
[0113]
当图像比特流从图像编码装置被输入时，可根据图像编码装置的反向处理对输入的比特流进行解码。
[0114]
熵解码模块210可根据由图像编码装置的熵编码模块进行的熵编码的反向处理来执行熵解码。例如，与由图像编码装置执行的方法对应地，可应用诸如指数哥伦布编码、上下文自适应可变长编码(cavlc)和上下文自适应二进制算术编码(cabac)的各种方法。在熵解码模块210中，可基于非零系数、绝对值大于1或2的系数以及指示系数的符号等各种类型的标志，以变换块中的局部块为单元对变换块的系数进行解码。可通过由标志代表的系数
和用信号发送的系数的组合来对不仅仅由标志代表的系数进行解码。将参照图9详细地描述对变换块的系数进行解码的方法。
[0115]
熵解码模块210可对关于由图像编码装置执行的帧间预测和帧内预测的信息进行解码。
[0116]
重排模块215可基于在图像编码装置中使用的重排方法对由熵解码模块210熵解码的比特流执行重排。重排可包括将以一维向量形式的系数重构和重排为以二维块的形式的系数。重排模块215可接收与在图像编码装置中执行的系数扫描有关的信息，并可经由基于在图像编码装置中执行的扫描顺序反向地扫描系数的方法来执行重排。
[0117]
反量化模块220可基于从图像编码装置接收的量化参数和块的重排系数来执行反量化。
[0118]
反变换模块225可根据预定的变换方法来对经过反量化的变换系数执行反变换。这里，可基于预测方法(帧间/帧内预测)、块的尺寸/形状、关于帧内预测模式的信息等来确定变换方法。
[0119]
预测模块230和235可基于从熵解码模块210接收到的关于预测块产生的信息和从存储器245接收到的先前解码的块或画面的信息来产生预测块。
[0120]
预测模块230和235可包括预测单元确定模块、帧间预测模块和帧内预测模块。预测单元确定模块可从熵解码模块210接收各种信息，诸如，预测单元信息、帧内预测方法的预测模式信息、帧间预测方法的关于运动预测的信息等，可将当前编码单元划分为预测单元，并且可确定对预测单元执行帧间预测还是帧内预测。通过使用从图像编码装置接收到的对当前预测单元进行帧间预测所需的信息，帧间预测模块230可基于包括当前预测单元的当前画面的先前画面和后续画面中的至少一个的信息来对当前预测单元执行帧间预测。可选地，可基于在包括当前预测单元的当前画面中的一些预重构区域的信息来执行帧间预测。
[0121]
为了执行帧间预测，可针对编码单元确定跳过模式、合并模式、amvp模式和帧内块复制模式中的哪一种被用作包括在编码单元中的预测单元的运动预测方法。
[0122]
帧内预测模块235可基于当前画面中的像素信息来产生预测块。当预测单元是被执行帧内预测的预测单元时，可基于从图像编码装置接收到的预测单元的帧内预测模式信息来执行帧内预测。帧内预测模块235可包括自适应帧内平滑(ais)滤波器、参考像素插值模块、dc滤波器。ais滤波器对当前块的参考像素执行滤波，可根据当前预测单元的预测模式来确定是否应用滤波器。可通过使用从图像编码装置接收到的预测单元的预测模式和ais滤波器信息对当前块的参考像素执行ais滤波。当当前块的预测模式是不执行ais滤波的模式时，ais滤波器可不被应用。
[0123]
当预测单元的预测模式是基于通过对参考像素进行插值而获得的像素值执行帧内预测的预测模式时，参考像素插值模块可对参考像素进行插值以产生整数像素的参考像素或小于整数像素的参考像素。当当前预测单元的预测模式是在不对参考像素进行插值的情况下产生预测块的预测模式时，参考像素可不被插值。当当前块的预测模式是dc模式时，dc滤波器可通滤波来产生预测块。
[0124]
重构块或重构画面可被提供给滤波器模块240。滤波器模块240可包括去块滤波器、偏移校正模块、alf。
[0125]
可从图像编码装置接收关于是否将去块滤波器应用到对应的块或画面的信息以及关于在去块滤波器被应用时应用强滤波器和弱滤波器中的哪个的信息。图像解码装置的去块滤波器可从图像编码模块接收关于去块滤波器的信息，并且可对对应的块执行去块滤波。
[0126]
偏移校正模块可基于在执行编码时应用到画面的偏移校正的类型和偏移值信息来对重构画面执行偏移校正。
[0127]
可基于从图像编码装置接收到的关于是否应用alf的信息、alf系数信息等将alf应用到编码单元。alf信息可被包括在特定参数集中而被提供。
[0128]
存储器245可存储用作参考画面或参考块的重构画面或重构块，并且可将重构画面提供给输出模块。
[0129]
图6是示出如本发明应用到的实施例的用于对变换块的系数进行编码的方法的示图。
[0130]
可在图像编码装置中以预定块(以下称作局部块)为单位对变换块的系数进行编码。变换块可包括一个或更多个局部块。局部块可以是n
×
m尺寸的块。这里，n和m是自然数，并且n和m可彼此相等或不同。也就是说，局部块可以是正方形块或非正方形块。可在图像编码装置中将局部块的尺寸/形状预定义为固定的(例如，4
×
4)，或者可根据变换块的尺寸/形状可变地确定局部块的尺寸/形状。可选地，图像编码装置可考虑编码效率来确定局部块的最优尺寸/形状，并对局部块进行编码。可以以序列、画面、条带和块中的至少一个的级别用信号发送关于编码的局部块的尺寸/形状的信息。
[0131]
可根据图像编码装置中的预定扫描类型(以下称作第一扫描类型)来确定对包括在变换块中的局部块进行编码的顺序。此外，可根据预定扫描类型(以下称作第二扫描类型)来确定对包括在局部块中的系数进行编码的顺序。第一扫描类型和第二扫描类型可以是相同的或者不同的。针对第一/第二扫描类型，可使用对角线扫描、垂直扫描或水平扫描等。然而，本发明不限于此，还可添加具有预定角度的一个或更多个扫描类型。可基于编码块相关的信息(例如，最大/最小尺寸、分区技术等)、变换块的尺寸/形状、局部块的尺寸/形状、预测模式、帧内预测相关的信息(例如，帧内预测模式的值、方向、角度等)和帧间预测相关的信息中的至少一个来确定第一/第二扫描类型。
[0132]
图像编码装置可在变换块中对按照上述编码顺序首次出现的具有非零值的系数(以下称作非零系数)的位置信息进行编码。从包括非零系数的局部块开始顺序地执行编码。以下，参照图6，将描述对局部块的系数进行编码的过程。
[0133]
针对当前局部块的局部块标志可被编码(s600)。局部块标志可以以局部块为单位被编码。局部块标志可指示在当前局部块中是否存在至少一个非零系数。例如，当局部块标志是第一值时，第一值可指示当前局部块包括至少一个非零系数，当局部块标志是第二值时，第二值可指示当前局部块的所有系数为0。
[0134]
针对当前局部块的局部块系数标志可被编码(s610)。局部块系数标志可以以系数为单位被编码。局部块系数标志可指示系数是否是非零系数。例如，当系数是非零系数时，局部块系数标志可被编码为第一值，当系数是零时，局部块系数标志可被编码为第二值。局部块系数标志可根据局部块标志被选择性编码。例如，可仅当在当前局部块中存在至少一个非零系数(即，局部块标志是第一值)时，针对局部块的每个系数对当前局部块进行编码。
[0135]
指示系数的绝对值是否大于1的标志(以下称作第一标志)可被编码(s620)。第一标志可根据局部块系数标志的值被选择性编码。例如，当系数是非零系数(即，局部块系数标志是第一值)时，可通过检查系数的绝对值是否大于1来对第一标志进行编码。当系数的绝对值大于1时，第一标志被编码为第一值，当系数的绝对值不大于1时，第一标志可被编码为第二值。
[0136]
指示系数的绝对值是否大于2的标志(以下称作第二标志)可被编码(s630)。第二标志可根据第一标志的值被选择性编码。例如，当系数大于1(即，第一标志是第一值)时，可通过检查系数的绝对值是否大于2来对第二标志进行编码。当系数的绝对值大于2时，第二标志被编码为第一值，当系数的绝对值不大于2时，第二标志可被编码为第二值。
[0137]
第一标志和第二标志中的至少一个的数量可以是最小1到最大n
×
m。可选地，第一标志和第二标志中的至少一个可以是图像编码装置中预定义的固定数量(例如，一个、两个或更多个)。第一/第二标志的数量可根据输入图像的比特深度、图像的特定区域中的原始像素值的动态范围、块尺寸/深度、分区技术(例如，四叉树、二叉树)、变换技术(例如，dct、dst)、是否跳过变换、量化参数、预测模式(例如，帧内/帧间模式)等而不同。除了可对第一/第二标志进行编码之外，还可另外对指示系数的绝对值是否大于n的第n标志进行编码。这里，n可表示大于2的自然数。第n标志的数量可以是一个、两个或更多个，并且可以以与上面描述的第一/第二标志相同/类似的方式被确定。
[0138]
未基于第一/第二标志编码的剩余系数可在当前局部块中被编码(s640)。这里，编码可以是对系数值本身进行编码的过程。剩余系数可等于或大于两个。可基于局部块系数标志、针对剩余系数的第一标志或第二标志中的至少一个对剩余系数进行编码。例如，剩余系数可被编码为通过从剩余系数的绝对值中减去(局部块系数标志+第一标志+第二标志)所获得的值。
[0139]
针对局部块的系数的符号可被编码(s650)。符号可以以系数为单位按标志格式被编码。可根据上面描述的局部块系数标志的值对符号进行选择性编码。例如，可仅在系数是非零系数(即，局部块系数标志是第一值)时对符号进行编码。
[0140]
如上所述，可通过对局部块系数标志进行编码、对第一标志进行编码、对第二标志进行编码或对剩余系数进行编码中的至少一个，对局部块的系数的每个绝对值进行编码。
[0141]
此外，上面描述的对局部块的系数进行的编码还可包括指定属于局部块的系数值的范围的过程。通过上述过程，可确认在局部块中是否存在至少一个非零系数。可通过(a)对最大值进行编码、(b)对第一阈值标志进行编码和(c)对第二阈值标志进行编码中的至少一个来实施上述过程，这将在下面描述。上述过程可通过被包括在上面描述的步骤s600至s650中的任意一个中来实施，或者可以以替代步骤s600至s650中的至少一个的形式来实施。以下，将参照图7至图8详细地描述指定属于局部块的系数值的范围的过程。
[0142]
图7是示出如本发明应用到的实施例的对局部块的系数的最大值进行编码的方法的示图。
[0143]
参照图7，在当前局部块的系数的绝对值中的最大值可被编码(s700)。通过最大值，属于当前局部块的系数值的范围可被推测。例如，当最大值是m时，当前局部块的系数可落入0至m的范围内。可根据上面描述的局部块标志的值对最大值进行选择性编码。例如，可仅在当前局部块包括至少一个非零系数(即，局部块标志是第一值)时，对最大值进行编码。
当当前局部块的系数均为0(即，局部块标志是第二值)时，最大值可被导出为0。
[0144]
此外，通过最大值，可确定在当前局部块中是否包括至少一个非零系数。例如，当最大值大于0时，当前局部块包括至少一个非零系数，当最大值是0时，当前局部块的所有系数可为0。因此，对最大值进行的编码可被执行以代替s600的对局部块标志的编码。
[0145]
图8是示出如本发明应用到的实施例的对针对局部块的第一阈值标志进行编码的方法的示图。
[0146]
本发明的第一阈值标志可指示局部块的所有系数是否均小于预定阈值。阈值的数量可以是n(n》＝1)，其中，阈值的范围可由{t0,t1,t2,...,t
n-1
}来代表。这里，第0阈值t0表示最小值，第n-1阈值t
n-1
表示最大值，{t0,t1,t2,...,t
n-1
}可以是阈值以升序排列的值。在图像编码装置中，阈值的数量可被预先确定。图像编码装置可考虑编码效率来确定阈值的最优数量，并对该数量进行编码。
[0147]
可通过设置最小值为1且将最小值增加n(n》＝1)来获得阈值。在图像编码装置中，阈值可被预先确定。图像编码装置可考虑编码效率来确定最优阈值，并对该阈值进行编码。
[0148]
可根据量化参数(qp)有差别地确定阈值的范围。可以以序列、画面、条带或变换块中的至少一个的级别设置qp。
[0149]
例如，当qp大于预定qp阈值时，可预计在变换块中的零系数的分布将更高。在这种情况下，阈值的范围可被确定为{3}，或者第一/第二阈值标志的编码过程可被省略，并且局部块的系数可通过上面描述的步骤s600至s650被编码。
[0150]
当qp小于预定qp阈值时，可预计变换块中的非零系数的分布将更高。在这种情况下，阈值的范围可被确定为{3，5}或{5，3}。
[0151]
也就是说，当qp小时的阈值的范围可具有与当qp大时的阈值范围不同的阈值的数量和/或大小(例如，最大值)。qp阈值的数量可以是一个、两个或更多个。qp阈值在图像编码装置中可被预先确定。例如，qp阈值可与在图像编码装置中可用的qp的范围的中间值对应。可选地，图像编码装置可考虑编码效率来确定最优qp阈值，并且对该qp阈值进行编码。
[0152]
可选地，可根据块的尺寸/形状而有差异地确定阈值的范围。这里，块可指编码块、预测块、变换块或局部块。尺寸可由宽度、高度、宽度和高度的总和或系数的数量中的至少一个来表示。
[0153]
例如，当块的尺寸小于预定阈值尺寸时，阈值的范围可被确定为{3}，或者第一/第二阈值标志的编码过程可被省略，并且局部块的系数可通过上面描述的步骤s600至s650被编码。当块的尺寸大于预定阈值尺寸时，阈值的范围可被确定为{3，5}或{5，3}。
[0154]
也就是说，当块尺寸小时的阈值的范围可具有与当块尺寸大时的阈值范围不同的阈值的数量和/或大小(例如，最大值)。阈值大小的数量可以是一个、两个或更多个。阈值大小在图像编码装置中可被预先确定。例如，阈值大小可由a
×
b表示，其中，a和b是2、4、8、16、32、64或更大，且a和b可彼此相等或不同。可选地，图像编码装置可考虑编码效率来确定最优阈值大小，并且对该阈值大小进行编码。
[0155]
可选地，可根据像素值的范围而有差异地确定阈值的范围。像素值的范围可由属于预定区域的像素的最大值和/或最小值来表示。这里，预定区域可意味着序列、画面、条带或块中的至少一个。
[0156]
例如，当像素值的范围的最大值与最小值之间的差小于预定阈值差值时，阈值的
范围被确定为{3}，或者第一/第二阈值标志的编码过程可被省略，并且局部块的系数可通过上面描述的步骤s600至s650被编码。当所述差大于预定阈值差值时，阈值的范围可被确定为{3，5}或{5，3}。
[0157]
也就是说，当所述差小时的阈值的范围可具有与当所述差大时的阈值的范围不同的阈值的数量和/或大小(例如，最大值)。阈值差值的数量可以是一个、两个或更多个。阈值差值在图像编码装置中可被预先确定。可选地，图像编码装置可考虑编码效率来确定最优阈值差值，并且对该阈值差值进行编码。
[0158]
参照图8，可确定在当前局部块中的所有系数的绝对值是否小于当前阈值(s800)。
[0159]
当所有系数的绝对值不小于当前阈值时，第一阈值标志可被编码为“假”(s810)。在这种情况下，当前阈值(第i阈值)可被更新为下一个阈值(第i+1阈值)(s820)，上面描述的步骤s800可基于更新的当前阈值来执行。可选地，当所有系数的绝对值不小于当前阈值时，步骤s810的第一阈值标志编码过程可被省略，且当前阈值可被更新为下一个阈值。
[0160]
当当前阈值达到阈值的最大值时或者当阈值的数量是1时，可通过将预定常数与当前阈值相加来更新当前阈值。预定常数可以是大于或等于1的整数。这里，可重复执行更新，直到第一阈值标志被编码为“真”为止。基于更新的当前阈值，步骤s800可被执行。可选地，当当前阈值达到阈值的最大值时或者当阈值的数量是1时，更新过程可被终止。
[0161]
当所有系数的绝对值都小于当前阈值时，第一阈值标志可被编码为“真”(s830)。
[0162]
如上所述，当针对第i阈值的第一阈值标志为“真”时，这可指示局部块中的所有系数的绝对值都小于第i阈值。当针对第i阈值的第一阈值标志为“假”时，这可指示局部块中的所有系数的绝对值都大于或等于第i阈值。基于为“真”的第一阈值标志，属于局部块的系数值的范围可被指定。也就是说，当针对第i阈值的第一阈值标志为“真”时，属于局部块的系数可落入0至(第i阈值-1)的范围内。
[0163]
根据编码的第一阈值标志，上面描述的步骤s600至s650中的至少一个可被省略。
[0164]
例如，当阈值的范围是{3，5}时，针对阈值“3”的第一阈值标志或针对阈值“5”的第一阈值标志中的至少一个可被编码。当针对阈值“3”的第一阈值标志为“真”时，局部块中的所有系数的绝对值可落入0至2的范围内。在这种情况下，局部块的系数可通过执行除了上面描述的步骤s630或s640中的至少一个之外的剩余步骤而被编码，或者局部块的系数可通过执行除了s600、s630或s640中的至少一个之外的剩余步骤而被编码。
[0165]
当针对阈值“3”的第一阈值标志为“假”时，针对阈值“5”的第一阈值标志可被编码。当针对阈值“5”的第一阈值标志为“假”时，局部块中的系数的绝对值中的至少一个可大于或等于5。在这种情况下，局部块的系数可通过以相同的方式执行上面描述的步骤s600至s650而被编码，或者局部块的系数可通过执行除了步骤s600之外的剩余步骤而被编码。
[0166]
当针对阈值“5”的第一阈值标志为“真”时，局部块中的所有系数的绝对值可落入0至4的范围内。在这种情况下，局部块的系数可通过以相同的方式执行上面描述的步骤s600至s650而被编码，或者局部块的系数可通过执行除了步骤s600之外的剩余步骤而被编码。
[0167]
此外，当前局部块的第一阈值标志可基于另一局部块的第一阈值标志被推导出。在这种情况下，第一阈值标志的编码过程可被省略，且将参照图14来描述这种情况。
[0168]
图9是示出如本发明应用到的实施例的对变换块的系数进行解码的方法的示图。
[0169]
在图像解码装置中，变换块的系数可以以预定块(以下称作局部块)为单位被解
码。变换块可包括一个或更多个局部块。局部块可以是n
×
m尺寸的块。这里，n和m是自然数，并且n和m可彼此相等或不同。也就是说，局部块可以是正方形块或非正方形块。在图像解码装置中，局部块的尺寸/形状可被预定义为固定的(例如，4
×
4)，可根据变换块的尺寸/形状而被可变地确定，或者可基于用信号发送的关于局部块的尺寸/形状的信息被可变地确定。可以以序列、画面、条带或块中的至少一个的级别用信号发送关于局部块的尺寸/形状的信息。
[0170]
在图像解码装置中，可根据预定扫描类型(以下称作第一扫描类型)来确定对属于变换块的局部块进行解码的顺序。此外，可根据预定扫描类型(以下称作第二扫描类型)来确定对属于局部块的系数进行解码的顺序。第一扫描类型和第二扫描类型可以是相同的或者不同的。针对第一/第二扫描类型，可使用对角线扫描、垂直扫描、水平扫描等。然而，本发明不限于此，具有预定角度的一个或更多个扫描类型也可被添加。可基于编码块相关的信息(例如，最大/最小尺寸、分区技术等)、变换块的尺寸/形状、局部块的尺寸/形状、预测模式、帧内预测相关的信息(例如，帧内预测模式的值、方向、角度等)或帧间预测相关的信息中的至少一个来确定第一/第二扫描类型。
[0171]
图像解码装置可在变换块中对按照上述解码顺序首次出现的具有非零值的系数(以下称作非零系数)的位置信息进行解码。可根据位置信息从局部块开始来顺序地执行解码。以下，将参照图9描述对局部块的系数进行解码的过程。
[0172]
针对当前局部块的局部块标志可被解码(s900)。局部块标志可以以局部块为单位被解码。局部块标志可指示在当前局部块中是否存在至少一个非零系数。例如，当局部块标志是第一值时，第一值可指示当前局部块包括至少一个非零系数，当局部块标志是第二值时，第二值可指示当前局部块的所有系数为0。
[0173]
针对当前局部块的局部块系数标志可被解码(s910)。局部块系数标志可以以系数为单位被解码。局部块系数标志可指示系数是否是非零系数。例如，当局部块系数标志为第一值时，可指示系数是非零系数，当局部块系数标志为第二值时，可指示系数是零。局部块系数标志可根据局部块标志被选择性解码。例如，仅当在当前局部块中存在至少一个非零系数(即，局部块标志是第一值)时，可针对局部块的每个系数对当前局部块进行解码。
[0174]
指示系数的绝对值是否大于1的标志(以下称作第一标志)可被解码(s920)。第一标志可根据局部块系数标志的值被选择性解码。例如，当系数是非零系数(即，局部块系数标志是第一值)时，第一标志可被解码以检查系数的绝对值是否大于1。当第一标志为第一值时，系数的绝对值大于1，当第一标志为第二值时，系数的绝对值可为1。
[0175]
指示系数的绝对值是否大于2的标志(以下称作第二标志)可被解码(s930)。第二标志可根据第一标志的值被选择性解码。例如，当系数大于1(即，第一标志是第一值)时，第二标志可被解码以检查系数的绝对值是否大于2。当第二标志为第一值时，系数的绝对值大于2，当第二标志为第二值时，系数的绝对值可为2。
[0176]
第一标志和第二标志中的至少一个的数量可以是最小1到最大n
×
m。可选地，第一标志和第二标志中的至少一个可以是图像解码装置中预定义的固定数量(例如，一个、两个或更多个)。第一/第二标志的数量可根据输入图像的比特深度、图像的特定区域中的原始像素值的动态范围、块尺寸/深度、分区技术(例如，四叉树、二叉树)、变换技术(例如，dct、dst)、是否跳过变换、量化参数、预测模式(例如，帧内/帧间模式)等而不同。除了第一/第二
标志之外，指示系数的绝对值是否大于n的第n标志可被额外解码。这里，n可表示大于2的自然数。第n标志的数量可以是一个、两个或更多个，并且可以以如上面描述的第一/第二标志的方式相同/类似的方式被确定。
[0177]
在当前局部块中未基于第一/第二标志解码的剩余系数可被解码(s940)。这里，解码可以是对系数值本身进行解码的过程。剩余系数可等于或大于两个。
[0178]
针对局部块的系数的符号可被解码(s950)。符号可以以系数为单位按照标志格式被解码。符号可根据上面描述的局部块系数标志的值被选择性解码。例如，符号可仅在系数是非零系数(即，局部块系数标志是第一值)时被解码。
[0179]
此外，上面描述的对局部块的系数进行的解码还可包括指定属于局部块的系数值的范围的过程。通过上述过程，可确认在局部块中是否存在至少一个非零系数。可通过(a)对最大值进行解码、(b)对第一阈值标志进行解码和(c)对第二阈值标志进行解码中的至少一个来实施上述过程，这将在下面描述。上述过程可通过被包括在上面描述的步骤s900至s950中的任意一个中来实施，或者可以以替代步骤s900至s950中的至少一个的形式来实施。以下，将参照图10至图11详细地描述指定属于局部块的系数值的范围的过程。
[0180]
图10是示出如本发明应用到的实施例的对局部块的系数的最大值进行解码的方法的示图。
[0181]
参照图10，指示在当前局部块的系数的绝对值中的最大值的信息可被解码(s1000)。可通过根据所述信息的最大值推测属于当前局部块的系数值的范围。例如，当最大值是m时，当前局部块的系数可落入0至m的范围内。指示最大值的信息可根据上面描述的局部块标志的值被选择性解码。例如，当前局部块可仅在当前局部块包括至少一个非零系数(即，局部块标志是第一值)时被解码。当当前局部块的系数均为0(即，局部块标志是第二值)时，指示最大值的信息可被推导出为0。
[0182]
此外，通过根据所述信息的最大值，可确定在当前局部块中是否包括至少一个非零系数。例如，当最大值大于0时，当前局部块包括至少一个非零系数，当最大值是0时，当前局部块的所有系数可为0。因此，对最大值进行的解码可被执行以代替s900的对局部块标志的解码。
[0183]
图11是示出如本发明应用到的实施例的对针对局部块的第一阈值标志进行解码的方法的示图。
[0184]
本发明的第一阈值标志可指示局部块的所有系数是否均小于预定阈值。阈值的数量可以是n(n》＝1)，其中，阈值的范围可由{t0,t1,t2,...,t
n-1
}来表示。这里，第0阈值t0可表示最小值，第n-1阈值t
n-1
可表示最大值，{t0,t1,t2,...,t
n-1
}可以是阈值以升序排列的值。阈值的数量在图像解码装置中可被预先确定，或者可基于用信号发送的关于阈值的数量的信息被确定。
[0185]
可通过设置最小值为1且将最小值增加n(n》＝1)来获得阈值。可在图像解码装置中设置阈值，或者可基于用信号发送的关于阈值的信息来确定阈值。
[0186]
可根据量化参数(qp)有差别地确定阈值的范围。可以以序列、画面、条带和变换块中的至少一个的级别来设置qp。
[0187]
例如，当qp大于预定qp阈值时，阈值的范围可被确定为{3}，或者第一/第二阈值标志的解码过程可被省略，并且局部块的系数可通过上面描述的步骤s900至s950被解码。
[0188]
此外，当qp小于预定qp阈值时，阈值的范围可被确定为{3，5}或{5，3}。
[0189]
也就是说，当qp小时的阈值的范围可具有与当qp大时的阈值范围不同的阈值的数量和/或大小(例如，最大值)。qp阈值的数量可以是一个、两个或更多个。qp阈值可在图像解码装置中被设置。例如，qp阈值可与在图像解码装置中可用的qp的范围的中间值对应。可选地，可基于由图像编码装置用信号发送的关于qp阈值的信息来确定qp阈值。
[0190]
可选地，可根据块的尺寸/形状而有差异地确定阈值的范围。这里，块可指编码块、预测块、变换块或局部块。尺寸可由宽度、高度、宽度和高度的总和以及系数的数量中的至少一个来表示。
[0191]
例如，当块尺寸小于预定阈值尺寸时，阈值的范围可被确定为{3}，或者第一/第二阈值标志的解码过程可被省略，并且局部块的系数可通过上面描述的步骤s900至s950被解码。此外，当块尺寸大于预定阈值尺寸时，阈值的范围可被确定为{3，5}或{5，3}。
[0192]
也就是说，当块尺寸小时的阈值的范围可具有与当块尺寸大时的阈值范围不同的阈值的数量和/或大小(例如，最大值)。阈值大小的数量可以是一个、两个或更多个。阈值大小可在图像解码装置中被设置。例如，阈值大小可由a
×
b表示，其中，a和b是2、4、8、16、32、64或更大，且a和b可彼此相等或不同。可选地，可基于由图像编码装置用信号发送的关于阈值大小的信息来确定阈值大小。
[0193]
可选地，可根据像素值的范围而有差异地确定阈值的范围。可由属于预定区域的像素的最大值和/或最小值来表示像素值的范围。这里，预定区域可指序列、画面、条带和块中的至少一个。
[0194]
例如，当像素值的范围的最大值与最小值之间的差小于预定阈值差值时，阈值的范围被确定为{3}，或者第一/第二阈值标志的解码过程可被省略，并且局部块的系数可通过上面描述的步骤s900至s950被解码。此外，当所述差大于预定阈值差值时，阈值的范围可被确定为{3，5}或{5，3}。
[0195]
也就是说，当所述差小时的阈值的范围可具有与当所述差大时的阈值的范围不同的阈值的数量和/或大小(例如，最大值)。阈值差值的数量可以是一个、两个或更多个。阈值差值可在图像解码装置中被设置或者可基于由图像编码装置用信号发送的关于阈值差的信息被确定。
[0196]
参照图11，针对当前阈值的第一阈值标志可被解码(s1100)。
[0197]
第一阈值标志可指示局部块的所有系数的绝对值是否均小于当前阈值。例如，当第一阈值标志为“假”时，可指示局部块的所有系数的绝对值大于或等于当前阈值。此外，当第一阈值为“真”时，可指示局部块的所有系数的绝对值均小于当前阈值。
[0198]
当第一阈值为“假”时，当前阈值(第i阈值)可被更新为下一个阈值(第i+1阈值)(s1110)，上面描述的步骤s1100可基于更新的当前阈值被执行。
[0199]
当当前阈值达到阈值的最大值时或者当阈值的数量是1时，可通过将预定常数与当前阈值相加来更新当前阈值。预定常数可以是大于或等于1的整数。这里，可重复执行更新，直到为“真”的第一阈值被解码为止。可选地，当当前阈值达到阈值的最大值时或者当阈值的数量是1时，更新过程可被终止。
[0200]
如在图11中示出的，当第一阈值标志为“真”时，第一阈值标志的解码可不再被执行。
[0201]
如上所述，当针对第i阈值的第一阈值标志为“真”时，这可指示局部块中的所有系数的绝对值都小于第i阈值。此外，当针对第i阈值的第一阈值标志为“假”时，这可指示局部块中的所有系数的绝对值都大于或等于第i阈值。基于为“真”的第一阈值标志，属于局部块的系数值的范围可被指定。也就是说，当针对第i阈值的第一阈值标志为“真”时，属于局部块的系数可落入0至(第i阈值-1)的范围内。
[0202]
根据解码的第一阈值标志，上面描述的步骤s900至s950中的至少一个可被省略。
[0203]
例如，当阈值的范围是{3，5}时，针对阈值“3”的第一阈值标志和针对阈值“5”的第一阈值标志中的至少一个可被解码。当针对阈值“3”的第一阈值标志为“真”时，局部块中的所有系数的绝对值可落入0至2的范围内。在这种情况下，可通过执行除了上面描述的步骤s930和s940中的至少一个之外的剩余步骤来对局部块的系数进行解码，或者可通过执行除了上面描述的步骤s900、s930和s940中的至少一个之外的剩余步骤来对局部块的系数进行解码。
[0204]
当针对阈值“3”的第一阈值标志为“假”时，针对阈值“5”的第一阈值标志可被解码。当针对阈值“5”的第一阈值标志为“假”时，局部块中的系数的绝对值中的至少一个可大于或等于5。在这种情况下，可通过以相同的方式执行上面描述的步骤s900至s950来对局部块的系数进行解码，或者可通过执行除了步骤s900之外的剩余步骤来对局部块的系数进行解码。
[0205]
此外，当针对阈值“5”的第一阈值标志为“真”时，局部块中的所有系数的绝对值可落入0至4的范围内。在这种情况下，可通过以相同的方式执行上面描述的步骤s900至s950来对局部块的系数进行解码，或者可通过执行除了步骤s900之外的剩余步骤来对局部块的系数进行解码。
[0206]
此外，当前局部块的第一阈值标志可基于另一局部块的第一阈值标志被推导出。在这种情况下，针对第一阈值标志的编码过程可被省略，且将参照图12来描述这种情况。
[0207]
图12是示出如本发明应用到的实施例的推导针对当前局部块的第一/第二阈值标志的方法的示图。
[0208]
在该实施例中，假设变换块1100是8
×
8，局部块是4
×
4，包括首次出现非零系数的块是1220，变换块的局部块根据扫描类型以1240、1220、1230、1210的顺序被编码/解码。
[0209]
在当前局部块中，针对特定阈值的第一阈值标志可基于先前局部块的第一阈值标志被推导出。例如，基于在先前局部块中为“假”的第一阈值标志，当前局部块的第一阈值标志可被推导出为“假”。这里，假设{3，5，7}被用作阈值的范围。
[0210]
具体地，由于在编码/解码顺序中位于首位的局部块1240具有比首次出现的非零系数所属的局部块1220的位置更早的编码/解码顺序，因此，第一阈值标志可不被编码/解码。在编码/解码顺序中位于第二位的局部块1220中，由于针对阈值“3”的第一阈值标志为“真”，所以仅针对阈值“3”的第一阈值标志可被编码/解码。在编码/解码顺序中位于第三位的局部块1230中，由于针对阈值“3”的第一阈值标志为“假”且针对阈值“5”的第一阈值标志为“真”，所以针对阈值“3”和“5”的第一阈值标志可分别被编码/解码。在编码/解码顺序中位于最后一位的局部块1210中，针对阈值“3”的第一阈值标志为“假”且针对阈值“5”的第一阈值标志为“假”。这里，由于在先前的局部块1230中的针对阈值“3”的第一阈值标志为“假”，可预计当前局部块1210具有绝对值等于或大于3的至少一个系数，针对阈值“3”的第
一阈值标志可被推导出为“假”。
[0211]
在当前局部块中，针对特定阈值的第一阈值标志可基于先前局部块的第一阈值标志被推导出。例如，基于在先前局部块中为“假”的第一阈值标志，当前局部块的第一阈值标志可被推导出为“假”。
[0212]
以下，参照图13至图18，将详细描述确定变换块的局部块的方法。
[0213]
图像编码装置可确定构成变换块的具有预定尺寸/形状的局部块，并且可对关于局部块的尺寸/形状的信息进行编码。图像解码装置可基于编码的信息(第一方法)来确定局部块的尺寸/形状。可选地，可通过图像编码/解码装置中的预定规则(第二方法)来确定局部块的尺寸/形状。可以以视频、序列、画面、条带和块中的至少一个层用信号发送指示是否通过第一方法和第二方法中的一个确定局部块的尺寸/形状的信息。块可表示编码块、预测块或变换块。
[0214]
变换块中的局部块的尺寸可等于或小于变换块的尺寸。变换块/局部块的形状可以是正方形或非正方形的。变换块的形状可与局部块的形状相同或不同。
[0215]
关于变换块的形状的信息可被编码。这里，信息可包括关于针对变换块的形状是仅使用正方形、还是仅使用非正方形还是使用正方形和非正方形两者的信息中的至少一个。可以以视频、序列、画面、条带和块中的至少一个层用信号发送信息。块可表示编码块、预测块或变换块。变换块的尺寸的信息可被编码。这里，信息可包括最小尺寸、最大尺寸、分区深度和针对分区深度的最大/最小值中的至少一个。可以以视频、序列、画面、条带和块中的至少一个层用信号发送信息。
[0216]
关于局部块的形状的信息可被编码。这里，信息可包括关于针对局部块的形状是仅使用正方形、还是仅使用非正方形还是使用正方形和非正方形两者的信息中的至少一个。可以以视频、序列、画面、条带和块中的至少一个层用信号发送信息。块可表示编码块、预测块或变换块。局部块的尺寸的信息可被编码。这里，信息可包括最小尺寸、最大尺寸、分区深度和针对分区深度的最大/最小值中的至少一个。可以以视频、序列、画面、条带和块中的至少一个层用信号发送信息。
[0217]
图13是示出如本发明应用到的实施例的基于合并标志确定局部块的尺寸/形状的方法的示图。
[0218]
图像编码装置可通过从最小尺寸的局部块到最大尺寸的局部块的rdo检查合并形状最优的局部块。
[0219]
参照附图13，可计算针对包括多个局部块1至16的变换块1301的rd代价值。局部块可以是在图像编码装置中预定的最小尺寸的局部块。变换块1302是变换块1301的四个局部块13至16合并为一个局部块的情况，并可计算针对变换块1302的rd代价值。变换块1303是变换块1301的四个局部块9至12合并为一个局部块的情况，并可计算针对变换块1303的rd代价值。变换块1304是变换块1301的四个局部块5至8合并为一个局部块的情况，并可计算针对变换块1304的rd代价值可。
[0220]
图像编码装置可使用四叉树法来计算当将变换块中的局部块合并达到最大尺寸的局部块时的rd代价值。基于rd代价值来确定最优合并，并可对指示最优合并的合并标志进行编码。图像解码装置可基于编码的合并标志来确定变换块中的局部块的尺寸/形状。
[0221]
例如，可假设变换块1304是最优合并，局部块的最小尺寸等于变换块1304的局部
块“1”的尺寸，局部块的最大尺寸等于变换块1304的局部块“5”的尺寸。在这种情况下，图像编码装置可对指示变换块1301不是最优合并的合并标志“假”进行编码。此外，可对指示变换块1304的四个局部块10至13未被合并的状态是最优合并的合并标志“假”进行编码，并可对指示变换块1304的四个局部块6至9未被合并的状态是最优的合并标志“假”进行编码。另外，可对指示变换块1304的四个局部块6至9被合并成一个局部块的状态是最优的合并标志“真”进行编码，并可对指示变换块1304的四个局部块1至4未被合并的状态是最优的合并标志“假”进行编码。也就是说，图像编码装置可通过编码产生比特流“00010”，图像解码装置可对比特流进行解码以确定变换块1304的合并形状。
[0222]
图13不限制局部块的合并顺序，但局部块的可以以不同的顺序被合并。可在图像编码/解码装置中预定的块尺寸/形状的范围内执行上面的合并。合并的局部块的形状可以是正方形或非正方形。可基于局部块的编码顺序或扫描顺序来确定合并的局部块的形状。
[0223]
例如，当变换块中的局部块的编码顺序是对角线方向时，正方形形状的合并可被使用。可选地，当变换块中的局部块的编码顺序是垂直方向时，垂直长形的非正方形形状的合并可被使用。可选地，当变换块中的局部块的编码顺序是水平方向时，水平长形的非正方形形状的合并可被使用。
[0224]
图14是示出如本发明应用到的实施例的基于分区标志确定局部块的尺寸/形状的方法的示图。
[0225]
图像编码装置可通过从最大尺寸的局部块到最小尺寸的局部块的rdo检查分区形状最优的变换块。
[0226]
参照图14，可计算针对包括一个局部块1的变换块1401的rd代价值。局部块1可以是在图像编码装置中预定的最大尺寸的局部块。变换块1302是最大尺寸的局部块被分区成四个局部块1至4的情况，并可计算针对变换块1302的rd代价值。变换块1403是变换块1402的局部块1被分区成四个局部块1至4的情况，并可计算针对变换块1403的rd代价值。变换块1404是变换块1403的局部块1再被分区成四个局部块1至4的情况，并可计算针对变换块1404的rd代价值。
[0227]
图像编码装置可使用四叉树来计算当将变换块中的局部块分区达到最小尺寸的局部块时的rd代价值。可基于rd代价值来确定最优分区，并可对指示最优分区的分区标志进行编码。图像解码装置可基于编码的分区标志来确定变换块中的局部块的尺寸/形状。
[0228]
例如，可假设变换块1403是最优分区，局部块的最小尺寸等于变换块1403的局部块“1”的尺寸，局部块的最大尺寸等于变换块1403的尺寸。在这种情况下，图像编码装置可对指示变换块1401不是最优分区的分区标志“真”进行编码。此外，可对指示变换块1402的局部块“1”被分区成四个局部块的状态是最优分区的分区标志“真”进行编码。可对指示变换块1402的剩余局部块2至4未被分区成四个局部块的状态是最优分区的分区标志“假”进行编码。也就是说，图像编码装置可通过编码产生比特流“11000”，图像解码装置可对比特流进行解码以确定变换块1403的分区形状。
[0229]
图14不限制局部块的分区顺序，但局部块的可以以不同的顺序被分区。可在图像编码/解码装置中预定的块尺寸/形状的范围内执行上面描述的分区。分区的局部块的形状可以是正方形或非正方形。可基于局部块的编码顺序或扫描顺序来确定分区的局部块的形状。
[0230]
例如，当变换块中的局部块的编码顺序是对角线方向时，正方形形状的分区可被使用。可选地，当变换块中的局部块的编码顺序是垂直方向时，垂直长形的非正方形形状的分区可被使用。可选地，当变换块中的局部块的编码顺序是水平方向时，水平长形的非正方形形状的分区可被使用。
[0231]
图15是示出如本发明应用到的实施例的基于分区索引信息确定局部块的尺寸/形状的方法的示图。
[0232]
图像编码装置可通过从变换块的所有局部块具有最大尺寸时到所有局部块具有最小尺寸时的rdo来确定局部块的哪种分区形状是最优的。
[0233]
参照图15，变换块1501由一个局部块1构成，可计算这种情况下的rd代价。局部块1可以是在图像编码装置中预定义的最大尺寸的局部块。变换块1502是变换块1501被分区成四个局部块1至4的情况，并可计算这种情况下的rd代价。变换块1503是变换块1502的每个局部块再被分区成四个局部块的情况，并可计算这种情况下的rd代价。
[0234]
如上所述，在最大尺寸到最小尺寸的局部块的范围内，可在将变换块分区成相同尺寸的局部块时计算rd代价。基于rd代价值来确定最优分区，并可对指示最优分区的分区索引信息进行编码。图像解码装置可基于编码的分区索引信息来确定变换块中的局部块的尺寸/形状。
[0235]
例如，当变换块1501是最佳分区时，图像编码装置可将“0”作为分区索引信息进行编码，当变换块1502是最佳分区时，图像编码装置可将“1”作为分区索引信息进行编码，当变换块1503是最佳分区时，图像编码装置可将“2”作为分区索引信息进行编码。图像解码装置可基于编码的分区索引信息来确定变换块中的局部块的尺寸/形状。
[0236]
图16是示出如本发明应用到的实施例的基于非零系数的位置对变换块进行分区的方法的示图。
[0237]
在变换块中，可基于按照编码/解码顺序首次出现的非零系数的位置来确定局部块的尺寸/形状。
[0238]
局部块的尺寸/形状可被确定为包括首次出现的非零系数的位置的块(以下称作第一参考块)的尺寸/形状。第一参考块可以是在包括首次出现的非零系数的位置和变换块的右下角系数的位置的块中具有最小尺寸的块。这里，第一参考块可属于在图像编码/解码装置中预定的局部块的最小尺寸和最大尺寸的范围。可根据确定的局部块的尺寸/形状对变换块进行分区。
[0239]
例如，当变换块1601是16
×
16且按照编码/解码顺序首次出现的非零系数的位置是相对于变换块的左上角(0，0)的(12，12)时，包括系数(12，12)的局部块的尺寸可被确定为4
×
4，且变换块1601可被分区成如在图16中示出的16个4
×
4尺寸的局部块。可选地，当变换块1602是16
×
16且按照编码/解码顺序首次出现的非零系数的位置是相对于变换块的左上角(0，0)的(8，8)时，包括系数(8，8)的局部块的尺寸可被确定为8
×
8，且变换块1602可被分区成如在图16中示出的4个8
×
8尺寸的局部块。可选地，当变换块1603是16
×
16且按照编码/解码顺序首次出现的非零系数的位置是相对于变换块的左上角(0，0)的(8，0)时，包括系数(8，0)的局部块的尺寸可被确定为8
×
16，且变换块1603可被分区成2个8
×
16尺寸的局部块。
[0240]
可选地，局部块的尺寸/形状可被确定为不包括首次出现的非零系数的位置的块
(以下称作第二参考块)的尺寸/形状。第二参考块可以是在不包括首次出现的非零系数的位置和变换块的右下角系数的位置的块中具有最大尺寸的块。这里，第二参考块可属于在图像编码/解码装置中预定的局部块的最小尺寸和最大尺寸的范围。可根据确定的局部块的尺寸/形状对变换块进行分区。
[0241]
例如，当变换块1601是16
×
16且按照编码/解码顺序首次出现的非零系数的位置是相对于变换块的左上角(0，0)的(12，11)时，不包括系数(12，11)的局部块的尺寸可被确定为4
×
4，且变换块1601可被分区成16个4
×
4尺寸的局部块。可选地，当变换块1602是16
×
16且按照编码/解码顺序首次出现的非零系数的位置是相对于变换块的左上角(0，0)的(7，13)时，不包括系数(7，13)的局部块的尺寸可被确定为8
×
8，且变换块1602可被分区成4个8
×
8尺寸的局部块。可选地，当变换块1603是16
×
16且按照编码/解码顺序首次出现的非零系数的位置是相对于变换块的左上角(0，0)的(6，14)时，不包括系数(6，14)的局部块的尺寸可被确定为8
×
16，且变换块1603可被分区成2个8
×
16尺寸的局部块。
[0242]
图17是示出如本发明应用到的实施例的选择性地对变换块的局部区域进行分区的方法的示图。
[0243]
在变换块中，除了局部区域之外的剩余区域可被分区成具有预定尺寸/形状的局部块。这里，可基于首次出现的非零系数的位置(a，b)来指定局部区域。例如，局部区域可包括x坐标大于a的区域和y坐标大于b的区域中的至少一个。这里，可以以如上所述的至少一个实施例相同/类似的方式来确定局部块的尺寸/形状，将省略其详细的描述。
[0244]
例如，当变换块1701是16
×
16且按照编码/解码顺序首次出现的非零系数的位置是相对于变换块的左上角(0，0)的(11，11)时，可从局部块设置范围排除位于(11，11)的x坐标的右侧的区域和位于(11，11)的y坐标的下方的区域，并且可不对这些区域进行编码/解码。这里，变换块1701的剩余区域可被分区成4个6
×
6尺寸的局部块。
[0245]
可选地，在变换块中，除了局部区域之外的剩余区域可被分区成具有预定尺寸/形状的局部块。这里，可基于首次出现的非零系数的位置(a，b)和变换块的最大坐标值(c，d)来指定局部区域。最大坐标值(c，d)可以是变换块的右下角系数的位置。例如，可分别计算首次出现的非零系数的位置(a，b)与变换块的最大坐标值(c，d)之间的差“(c-a)”和“d-b”。可相对于变换块的右下角系数的位置而确定偏移了差值的最小值的位置(e，f)。这里，局部区域可包括x坐标大于e的区域和y坐标大于f的区域中的至少一个。这里，可以以如上所述的至少一个实施例相同/类似的方式来确定局部块的尺寸/形状，将省略其详细的描述。
[0246]
例如，当变换块1701是16
×
16且按照编码/解码顺序首次出现的非零系数的位置是相对于变换块的左上角(0，0)的(11，8)时，可计算对应的系数的x坐标“11”与变换块的最大x坐标“15”之间的差“4”，可计算对应的系数y坐标“8”与变换块的最大y坐标“15”之间的差“7”。相对于变换块的右下角系数的位置，偏移了差值中的最小值“4”的位置可被确定为(11，11)。在这种情况下，可从局部块设置范围排除位于(11，11)的x坐标的右侧的区域和位于(11，11)的y坐标的下方的区域，并且可不对这些区域进行编码/解码。这里，变换块1701的剩余区域可被分区成4个6
×
6尺寸的局部块。
[0247]
可选地，可基于预定边界线将变换块分区成多个区域。边界线可以是一条、两条或更多条。边界线具有预定角度的斜率，且该角度可落入1至90度的范围内。边界线可包括在变换块中的系数之中的按照编码/解码顺序首次出现的非零系数的位置。具体地，相对于边
界线，变换块可被分区成第一区域和第二区域。这里，第一区域可被分区成具有预定尺寸/形状的局部块，第二区域可不被分区成具有预定尺寸/形状的局部块。也就是说，可基于具有预定尺寸/形状的局部块对属于第一区域的系数进行编码/解码，并可跳过对属于第二区域的系数的编码/解码。第一区域可指位于相对于边界线的上方、左侧或左上方的区域。在这种情况下，第一区域还可包括包含边界线的局部块区域。第二区域可指位于相对于边界线的下方、右侧或右下方的区域。
[0248]
例如，可假设变换块1402是16
×
16，按照编码/解码顺序首次出现的非零系数的位置是相对于变换块的左上角(0，0)的(10，6)，并且变换块1402的所有局部块已被分区成4
×
4的单元。在这种情况下，相对于(10，6)，在朝向右上角45度方向上的最后一个像素位置是(15，1)，且在朝向左下角45度方向上的最后一个像素位置是(1，15)。相对于连接两个像素位置的边界线，位于左上区域的局部块1至10可被确定为将被编码/解码的局部块，位于右下区域的局部块可被确定为将不被编码/解码的局部块。这里，左上区域中的局部块的形状可被确定为四边形和/或三角形。
[0249]
例如，可假设变换块1403是16
×
16，按照编码/解码顺序首次出现的非零系数的位置是相对于变换块的左上角(0，0)的(8，7)，并且变换块1403的所有局部块已被分区成4
×
4的单元。在这种情况下，相对于(8，7)，在朝向右上角45度方向上的最后一个像素位置是(15，0)，且在朝向左下角45度方向上的最后一个像素位置是(0，15)。相对于连接两个像素位置的边界线，位于左上区域的局部块1至10可被确定为将被编码/解码的局部块，位于右下区域的局部块可被确定为将不被编码/解码的局部块。这里，在包括边界线的局部块的情况下，可仅将相对于边界线在左上区域中的系数包括在局部块中，并且可从局部块中排除右下区域中的系数。左上区域中的局部块的形状可被确定为四边形(局部块1至5、8)和/或三角形(局部块6、7、9、10)。
[0250]
图18是示出如本发明应用到的实施例的基于频域中的dc/ac分量属性对变换块进行分区的方法的示图。
[0251]
在频域中，可考虑包括在变换块中的dc/ac分量的属性来确定变换块的分区形状。属性可指分量位置、分布度、集中度、强和弱等，且可根据变换块的变换方法(例如，dct、dst等)来确定属性。
[0252]
在变换块中，ac分量最不集中的区域可被分区成比剩余区域尺寸大的局部块。例如，在16
×
16尺寸的变换块1801中，ac分量可大部分位于局部块“5”到“13”中。这里，8
×
8尺寸的局部块可仅被分配给ac分量最不集中的局部块13，4
×
4尺寸的局部块可被分配给剩余区域。
[0253]
可选地，在变换块中，ac分量最不集中的区域可被分区成比剩余区域尺寸小的局部块。例如，在16
×
16尺寸的变换块1802中，ac分量可大部分位于局部块“2”到“7”中。这里，4
×
4尺寸的局部块可仅被分配给ac分量最不集中的局部块“4”到“7”，8
×
8尺寸的局部块可被分配给剩余区域。
[0254]
可选地，在变换块中，dc分量最集中的区域可被分区成比剩余区域尺寸小的局部块。例如，在16
×
16尺寸的变换块1803中，dc分量可大部分位于局部块“1”到“4”中。这里，4
×
4尺寸的局部块可仅被分配给dc分量最集中的局部块“1”到“4”，8
×
8尺寸的局部块可被分配给剩余区域。
[0255]
可选地，在变换块中，dc分量最集中的区域可被分区成比剩余区域尺寸大的局部块。例如，在16
×
16尺寸的变换块1804中，dc分量可大部分位于局部块“1”中。这里，8
×
8尺寸的局部块可仅被分配给dc分量最集中的局部块“1”，4
×
4尺寸的局部块可被分配给剩余区域。
[0256]
在上述实施例中，基于四等分的变换块假设变换块中的dc/ac分量区域。然而，本发明不限于此，且相同/相似的方式可被应用到n(n≥≥1)等分或者2的n次方等分的变换块。
[0257]
根据变换块的量化参数(qp)，变换块中的所有或一些局部块可选择性地被编码/解码。例如，当变换块的qp大于预定qp阈值时，仅变换块中的一个局部块可被编码/解码。此外，当变换块的qp小于预定qp阈值时，变换块中的所有局部块可被编码/解码。
[0258]
这里，可通过预定垂直线和水平线中的至少一个来指定局部块。垂直线可位于在变换块的左边界的左侧方向上与变换块的左边界相距距离a的位置处，水平线可位于在变换块的左边界的下侧方向上与变换块的上边界相距距离b的位置处。a和b是自然数，且可以彼此相同或不同。局部区域可以是位于相对于垂直线的左侧的区域和/或相对于水平线的上方的区域。垂直/水平线的位置在图像编码/解码装置中可以是预定的，或者可考虑变换块的尺寸/形状而可变地确定。可选地，图像编码装置可对指定局部区域的信息(例如，用于指定垂直/水平线的位置的信息)进行编码并用信号发送该信息，并且图像解码装置可基于用信号发送的信息来指定局部区域。指定的局部区域的边界可与变换块中的局部块的边界接触或者可不与变换块中的局部块的边界接触。
[0259]
例如，局部区域可以是dc分量集中的一个局部块或者进一步包括邻近局部块的n(n≥≥1)个局部块。可选地，可通过跨越变换块的上边界的1/n点的垂直线和/或跨越变换块的左边界的1/m点的水平线来指定局部区域。n和m是自然数且可以彼此相同或不同。
[0260]
qp阈值的数量可以是一个、两个或更多个。qp阈值在图像编码装置中可以是预定的。例如，qp阈值可与在图像编码/解码装置中可用的qp的范围的中间值对应。可选地，图像编码装置可考虑编码效率确定最优qp阈值，并且可对qp阈值进行编码。
[0261]
可选地，根据变换块的尺寸，变换块中所有或一些局部块可被选择性地编码/解码。例如，当变换块的尺寸等于或大于预定阈值尺寸时，仅变换块中的局部区域可被编码/解码。此外，当变换块的尺寸小于预定阈值尺寸时，变换块中的所有局部块可被编码/解码。
[0262]
这里，可通过预定垂直线和水平线中的至少一个来指定局部区域。垂直线可位于在变换块的左边界的左侧方向与变换块的左边界相距距离a的位置处，水平线可位于在变换块的左边界的下侧方向上与变换块的上边界相距距离b的位置处。a和b是自然数，且可以彼此相同或不同。a可落入0到变换块的宽度的范围内，b可落入0到变换块的高度的范围内。局部区域可以是位于相对于垂直线的左侧的区域和/或相对于水平线的上方的区域。垂直/水平线的位置在图像编码/解码装置中可以是预定的，或者可考虑变换块的尺寸/形状而可变地确定。可选地，图像编码装置可对指定局部区域的信息(例如，用于指定垂直/水平线的位置的信息)进行编码并用信号发送该信息，并且图像解码装置可基于用信号发送的信息来指定局部区域。指定的局部区域的边界可与变换块中的局部块的边界接触或者可不与变换块中的局部块的边界接触。
[0263]
例如，局部区域可以是dc分量集中区域的一个局部块或者进一步包括邻近局部块
的n(n≥≥1)个局部块。可选地，可通过跨越变换块的上边界的1/n点的垂直线和/或跨越变换块的左边界的1/m点的水平线来指定局部区域。n和m是自然数且可以彼此相同或不同。
[0264]
阈值尺寸的数量可以是一个、两个或更多个。阈值尺寸在图像编码装置中可以是预定的。例如，阈值尺寸可由c
×
d表示，其中，c和d是2、4、8、16、32、64或更大，且c和d可彼此相等或不同。可选地，图像编码装置可考虑编码效率确定最优阈值尺寸，并且对阈值尺寸进行编码。
[0265]
接下来，将详细描述使用多帧内预测模式对块进行编码/解码的方法。
[0266]
编码块可被分区成至少一个预测块，每个预测块可通过额外的分区过程被分区成至少一个局部块(或者预测局部块)。这里可使用不同的帧内预测模式对每个局部块进行编码。也就是说，可使用多帧内预测模式(或者多模式)将编码块或预测块分区成多个预测块或多个局部块。可根据预定模式将预测块分区成多个局部块。这里，预测块的分区形状可以是预定的且在图像编码装置和图像解码装置中被使用。
[0267]
以下，将参照附图详细地描述多帧内预测模式信息的编码/解码。
[0268]
图19是示出确定在编码过程中是否使用多帧内预测模式的过程的流程图。在该实施例中，假设当前块表示在当前帧内预测模式下被编码的预测块。在一些情况下，当前块可以是编码块、变换块或者通过对预测块进行分区而产生的局部块。
[0269]
首先，编码装置可搜索在与当前块邻近的邻近像素中像素值明显改变的点(以下称作“拐点”)(s601)。拐点可指邻近像素和与邻近像素相邻的相邻像素之间的像素值改变等于或大于预定阈值的点，或者邻近像素和与邻近像素相邻的相邻像素之间的像素值改变最大的点。
[0270]
图20是用于解释搜索拐点的示例的示图。为了便于解释，假设当前块是4
×
4尺寸的预测块。
[0271]
编码装置可计算针对与当前块邻近的每个邻近像素的像素值改变的程度(以下称作“拐点值”)。可基于与当前块邻近的邻近像素和与邻近像素相邻的相邻像素之间的改变量(或者差值)来计算拐点值，或者可基于与邻近像素相邻的相邻像素之间的改变量(或者差值)来计算拐点值。
[0272]
这里，与当前块邻近的邻近像素包括与当前块的上边界邻近的像素、与当前块的左边界邻近的像素和与当前块的角部(例如，左上角、右上角和左下角)邻近的像素中的至少一个。例如，在图20中示出的示例中，像素a到k被举例说明为当前块的邻近像素。
[0273]
针对其它示例，编码装置可计算与当前块邻近的邻近像素之中的除了与当前块的角部邻近的像素(例如，与当前块的左上角邻近的像素、与当前块的左下角邻近的像素和与当前块的右上角邻近的像素中的至少一个)之外的剩余邻近像素的拐点值。可选地，编码装置可计算与当前块邻近的邻近像素之中的除了最右侧像素或最下侧像素之外的剩余邻近像素的拐点值。例如，在图20中示出的示例中，编码装置可计算邻近像素a到k之中的除了f和k像素之外的剩余像素的拐点值。
[0274]
邻近像素的数量或范围可根据当前预测块的尺寸和形状而不同。因此，根据当前块的尺寸和形状，被执行计算拐点值的邻近像素的数量或范围也可不同。
[0275]
等式4示出了拐点值的计算方法的示例。
[0276]
[等式4]
[0277]
如果(邻近像素＝＝左上侧邻近像素)
[0278]
拐点值＝|(-1
×
当前邻近像素的下侧像素)
[0279]
+(1
×
当前邻近像素的右侧像素)|
[0280]
否则如果(邻近像素＝＝左侧邻近像素)
[0281]
拐点值＝|(-1
×
当前邻近像素的上侧像素)
[0282]
+(1
×
当前邻近像素的下侧速)|
[0283]
否则如果(邻近像素＝＝上侧邻近像素)
[0284]
拐点值＝|(-1
×
当前邻近像素的左侧像素)
[0285]
+(1
×
当前邻近像素的右侧像素)|
[0286]
否则
[0287]
拐点值＝0
[0288]
在等式4中，当前邻近像素指示与当前块邻近的邻近像素之中的被执行拐点值的计算的邻近像素。当前邻近像素的拐点值可被计算为通过将绝对值应用到与当前邻近像素相邻的相邻邻近像素之间的差而获得的值。例如，可基于与邻近像素的左侧相邻的邻近像素和与邻近像素的右侧相邻的邻近像素之间的差来计算与当前块的上侧邻近的邻近像素(例如，在图20中的像素“b到e”)的拐点值。可基于与邻近像素的上侧相邻的邻近像素和与邻近像素的下侧相邻的邻近像素之间的差来计算与当前块的左侧邻近的邻近像素(例如，在图20中的像素“g到j”)的拐点值。可基于与邻近像素的下侧相邻的邻近像素和与邻近像素的右侧相邻的邻近像素之间的差来计算与当前块的左上角邻近的邻近像素(例如，在图20中的像素“a”)的拐点值。
[0289]
如上所述，可从拐点值的计算中排除当前块的一些邻近像素(例如，邻近像素之中的与当前块的边界不邻近的像素f和k)。在当前块的邻近像素之中的不被执行拐点值的计算的邻近像素的拐点值可被设置为预定值(例如，0)。
[0290]
当针对邻近像素的拐点值的计算完成时，编码装置可基于计算的拐点值来选择拐点。例如，编码装置可将具有最大拐点值的邻近像素或者在具有等于或大于阈值的拐点值的邻近像素之中的具有最大拐点值的邻近像素设置为拐点。例如，在图20中示出的示例中，当邻近像素b的拐点值最大时，编码装置可将在图20中示出的点“o”设置为拐点。
[0291]
当存在具有相同最大拐点值的多个邻近像素时，编码装置可重新计算针对多个邻近像素的拐点值，或者基于预定的优先级，可将这些邻近像素中的一个选为拐点。
[0292]
例如，当存在具有相同最大拐点值的多个邻近像素时，编码装置可通过调整用于重新计算拐点值的邻近像素的数量或位置来重新计算这些拐点的拐点值。例如，编码装置可在重新计算邻近像素的拐点值时在双向(或者单向)上与邻近像素邻近的相邻像素的数量增加1。因此，当具有最大拐点值的邻近像素是与当前块的上侧邻近的邻近像素时，使用与邻近像素的左侧相邻的两个邻近像素和与邻近像素的右侧相邻的两个邻近像素，可重新计算邻近像素的拐点值。
[0293]
另举一例，当存在具有相同最大拐点值的多个邻近像素时，编码装置可将与处于特定位置的像素接近的邻近像素选为拐点。例如，编码装置可将更高的优先级给予与当前块的左上邻近像素更接近的拐点。
[0294]
另举一例，当存在具有相同最大拐点值的多个邻近像素时，编码装置可重新计算
拐点的拐点值，并且基于重新计算的拐点值来确定拐点，当即使重新计算拐点值之后也存在具有最大拐点值的多个邻近像素时，编码装置可基于优先级来选择拐点。
[0295]
在上述示例中，描述了可基于与当前块邻近的邻近像素和与邻近像素相邻的邻近像素来确定拐点。除了上面描述的示例之外，可基于与当前块相邻的邻近块的编码参数来确定拐点。这里，编码参数是用于对邻近块进行编码的参数，且可包括预测相关信息，诸如，帧内预测模式、运动矢量等。例如，在与当前块相邻的邻近块之间的帧内预测模式的差等于或大于预定阈值、与当前块相邻的邻近块之间的运动矢量的差等于或大于预定阈值等的情况下，邻近块的边界可被设置为拐点。相应地，当邻近块之间的编码参数的差大时，可预测的是，急剧的改变发生在邻近块的边界，从而通过使用邻近块的边界作为拐点提高编码/解码效率。解码装置还可使用邻近块的编码参数来确定拐点。
[0296]
当拐点被确定时，编码装置可基于拐点来确定当前块的分区形状(s602)。
[0297]
图21是示出根据当前块的形状的分区形状的示图。
[0298]
在图21示出的示例中，当前块可根据至少一个参考线被分区成两个或更多个局部块。这里，通过对当前块进行分区而产生的局部块除了可具有非正方形形状之外，还可具有三角形形状或梯形形状。在图21中，参考标号2101是在当前块是正方形时存在18条分区线(或者18个分区形状)的示例，在图21中的参考标号2102和2103指示在当前块是非正方形时存在20条分区线(或者20个分区形状)。然而，当前块的分区形状不限于示意性的示例。除了示出的示图之外，还可应用对角线分区或二等分分区的各种形状。
[0299]
编码装置可选择具有作为起始点的确定的拐点的分区线或者具有最与确定的拐点最接近的起始点的分区线，并可根据选择的分区线对当前块进行分区。例如，当拐点的位置与分区线的左侧或上侧的起始点不匹配时，编码装置可将拐点的位置改变为最接近的分区线的起始点。
[0300]
此后，编码装置可计算与拐点邻近的像素的斜率信息，以便确定从拐点将当前块分区为什么形状。
[0301]
例如，图22是用于解释计算邻近像素的斜率信息的示例的示图。为了便于解释，假设当前块的尺寸是4
×
4且拐点是b1。
[0302]
编码装置可使用基于拐点选择的n个像素来计算斜率信息。例如，如在图22中示出的示例，编码装置可配置包括拐点b1的3
×
3的块，并基于包括在配置的3
×
3的块中的像素来计算斜率信息。
[0303]
当当前块的拐点是位于当前块的上侧的邻近像素时，拐点可被包括在3
×
3的块的最下行中。此外，当当前块的拐点是位于当前块的左侧的邻近像素时，拐点可被包括在3
×
3的块的最右列中。也就是说，当当前块的拐点存在在上侧时，可主要由拐点的邻近像素和位于拐点的上侧的像素配置3
×
3的块。此外，当当前块的拐点存在于左侧时，可主要由拐点的邻近像素和位于拐点的左侧的像素配置3
×
3的块。
[0304]
编码装置可使用与拐点相邻的邻近像素来计算水平方向斜率和垂直方向斜率，并可基于水平方向斜率和垂直方向斜率计算针对当前块的斜率信息。例如，等式5示出了用于计算斜率信息的一系列过程。
[0305]
等式5
[0306]fx
(x，y)＝i(x+1，y)-i(x-1，y)
[0307]fy
(x，y)＝i(x，y+1)＝i(x，y-1)
[0308][0309]
在等式5中，f
x
(x，y)表示水平方向上的倾斜程度，fy(x，y)表示垂直方向上的倾斜程度。可通过应用针对垂直方向的斜率值与水平方向的斜率值的反正切来获得当前块的斜率。可通过当前块的斜率值来确定当前块的轮廓方向。
[0310]
在上面的示例中，可基于与当前块邻近的邻近像素和与邻近像素相邻的邻近像素来计算斜率值。另举一例，可基于与当前块相邻的邻近块的编码参数来确定当前块的斜率。例如，可基于与拐点相邻的邻近块的帧内预测模式(或者帧内预测模式角度)、与拐点相邻的邻近块的运动矢量等来确定斜率值。当拐点位于邻近块之间的边界时，编码装置可对指示在位于拐点的邻近块之中的哪个邻近块的编码参数被用于确定斜率值的索引信息进行编码。这里，索引信息可以是指示多个邻近块中的一个邻近块的信息。
[0311]
当当前块的斜率被计算时，编码装置可考虑拐点的位置和倾斜程度确定针对当前块的最优分区形状。这里，最优分区形状可以是使用具有当前块的拐点的起始点的分区线之中的倾斜角等于当前块的倾斜角的分区线的分区形状，或者可以是使用具有与当前块的倾斜角最类似的倾斜角的分区线(即，倾斜角与当前块的倾斜角差别最小的分区线)的分区形状。这里，当存在具有与当前块的倾斜角最类似的倾斜角的多个分区形状时，编码装置可根据预定优先级选择具有较高优先级的分区形状。
[0312]
编码装置可对用于确定当前块的分区形状的信息进行编码，并可通过比特流将编码的信息发送到解码装置。可通过预测块单元或上层头对用于确定当前块的分区形状的信息进行编码。这里，上层头可指编码块层、条带层、画面层、序列层、视频层等。
[0313]
用于确定当前块的分区形状的信息可包括用于标识当前块的分区形状的索引、拐点的位置和斜率信息中的至少一个。例如，拐点的位置可通过预测块单元或上层头被编码并被发送到解码装置。
[0314]
另举一例，解码装置可以以与编码装置相同的方式来确定当前块的分区形状。例如，解码装置可基于邻近块之间的像素值改变量来推导拐点，使用推导出的拐点周围的n个像素来计算斜率信息，随后将预定的分区模式之一确定为当前块的分区形状。
[0315]
这里，编码装置可对关于是否使用多帧内预测模式(即，是否通过将一个当前块分区成多个局部块来执行帧内预测)的信息进行编码，并通过比特流发送编码的信息。解码装置可对该信息进行编码，并仅在该信息指示将通过将当前块分区成多个局部块来执行帧内预测时将当前块分区成多个局部块。
[0316]
当针对当前块的分区形状被确定时，编码装置可确定包括在当前块中的每个局部块的帧内预测模式(s603)。这里，编码装置可将不同的帧内预测模式分配给每个局部块。
[0317]
基于通过针对局部块的每个帧内预测模式执行率失真优化(rdo)计算出的率失真代价(rd代价)，编码装置可确定包括在当前块中的每个局部块的帧内预测模式。例如，编码装置可将包括在当前块中的每个局部块的rd代价值最小的帧内预测模式确定为每个局部块的帧内预测模式。
[0318]
在执行rdo中，编码装置可计算所有可用帧内预测模式的rd代价值，或者可计算多
个帧内预测模式中的一部分帧内预测模式的rd代价值。多个帧内预测模式中的一部分帧内预测模式可在图像编码装置和图像解码装置中被设置并被使用。可选地，多个帧内预测模式中的一部分帧内预测模式可仅包括仅使用与当前块邻近的参考像素的帧内预测模式。
[0319]
另举一例，多个帧内预测模式中的一部分帧内预测模式可包括与当前块相邻的邻近块的帧内预测模式和预定的额外的帧内预测模式中的至少一个。例如，当邻近块的帧内预测模式是非定向模式时，可从所有非定向模式、具有高选择频率的一些定向预测模式(例如，垂直方向预测模式、水平方向预测模式等)等的候选中执行rdo。可选地，当邻近块的帧内预测模式是定向模式时，可从所有非定向模式、邻近块的帧内预测模式、具有与邻近块的帧内预测模式类似的方向的帧内预测模式(例如，与邻近块的帧内预测模式的差等于或小于阈值的帧内预测模式)等的候选中执行rdo。
[0320]
编码装置可使用选择的帧内预测模式对当前块执行帧内预测。这里，当当前块按照对角线被分区成局部块时，分区线可与像素边界不匹配，且可出现局部块之间的重叠像素(即，重叠区域)。
[0321]
例如，图23是示出根据当前块的分区形状产生重叠区域的示例的示图。
[0322]
在与在图23中示出的参考标号2301和2302对应的块的情况下，由于分区线与像素边界匹配，所以局部块之间的重叠区域不发生。然而，在与参考标号2303至2305对应的块的情况下，由于存在分区线与像素边界不匹配的部分(即，分区线穿过像素的部分)，所以可考虑到存在局部块之间的重叠像素(即，重叠区域)。
[0323]
同样地，当存在局部块之间的重叠区域时，可通过作为包括重叠区域的局部块的帧内预测结果而产生的预测值的平均值、预测值的线性插值等来获得包括在重叠区域中的像素的预测值。例如，假设当前块被分区成第一局部块和第二局部块，共同包括在第一局部块和第二局部块中的像素的预测值可被确定为使用第一局部块的帧内预测模式计算出的第一预测值和使用第二局部块的帧内预测模式计算出的第二预测值的平均值，或者第一预测值和第二预测值的线性插值的值。
[0324]
另举一例，可使用包括重叠区域的局部块中的任意一个局部块的帧内预测模式来产生包括在重叠区域中的像素的预测值。这里，可基于局部块之间的预定优先级、帧内预测模式之间的预定优先级、包括在重叠区域中的像素的位置等来确定使用局部块中的哪个块。例如，可使用在包括重叠区域的局部块的帧内预测模式中具有较高预定优先级的帧内预测模式来产生包括在重叠区域中的像素的预测值。
[0325]
接下来，将详细地描述在编码装置中对每个局部块的帧内预测模式的编码。
[0326]
图24是示出对局部块的帧内预测模式进行编码的过程的流程图。为了便于解释，局部块的帧内预测模式被分类为主要预测模式和次要预测模式。在此，主要预测模式可指示局部块之一的帧内预测模式，次要预测模式可指示局部块的另一局部块的帧内预测模式。可选地，可根据帧内预测模式的优先级、局部块的尺寸、局部块的位置、局部块的尺寸等来确定主要预测模式和次要预测模式。次要预测模式可被确定与主要预测模式不同的帧内预测模式。
[0327]
首先，编码装置可对针对多帧内预测的操作信息进行编码(s1101)。这里，多模式操作信息指示针对当前块使用单一帧内预测模式是最优的还是使用多个帧内预测模式是最优的。
[0328]
当多帧内预测模式为真时(s1102)，编码装置可对被确定为主要预测模式的帧内预测模式进行编码(s1103)，随后对被确定为次要预测模式的帧内预测模式进行编码(s1104)。主要预测模式可通过使用mpm(最可能模式)候选的编码过程被编码，或者可在不使用mpm候选的情况下被编码。次要预测模式可通过使用mpm候选的编码过程被编码，或者可在不使用mpm候选的情况下被编码。
[0329]
编码装置可对主要预测模式与次要预测模式之间的差值进行编码。例如，编码装置可使用mpm候选对主要预测模式进行编码，并可对主要预测模式与次要预测模式之间的差值进行编码。在这种情况下，解码装置可使用mpm候选推导出主要预测模式，并通过主要预测模式与次要预测模式之间的差值获得次要预测模式。
[0330]
当多帧内预测模式为假时(s1102)，编码装置可对当前块的单一帧内预测模式进行编码(s1105)。例如，编码装置可使用mpm候选对当前块的帧内预测模式进行编码。
[0331]
参照图25，将详细地描述使用mpm候选对当前块的帧内预测模式的编码。
[0332]
图25是示出使用mpm候选对帧内预测模式进行编码的方法的流程图。在该实施例中，当前块的帧内预测模式可指主要预测模式、次要预测模式和单一预测模式中的一个。
[0333]
参照图25，首先，编码装置可确定当前块的mpm候选(s1210)。编码装置可基于与当前块相邻的相邻块的帧内预测模式来确定当前块的mpm候选。
[0334]
例如，图26是示出确定当前块的mpm候选的示图。在图26中，l可指示在与当前块的左侧邻近的左侧相邻块的帧内预测模式中具有最高使用频率的帧内预测模式，a可指示在与当前块的上侧邻近的上侧相邻块的帧内预测模式中具有最高使用频率的帧内预测模式。可选地，l可指示在指定位置的左侧相邻块的帧内预测模式，a可指示在指定位置的上侧相邻块的帧内预测模式。
[0335]
在图26中，示出了当前块的mpm候选为三个，这三个mpm候选可包括l、a、具有与l相似方向的帧内预测模式(即，l-1和l+1)、非定向模式(平面、dc)和预定定向模式(垂直模式)中的至少一个。然而，本发明不限于示意性的示例，可通过与示出的方法不同的方法来产生当前块的mpm候选。例如，当前块的mpm候选可包括超过三个。
[0336]
当与当前块相邻的相邻块在多帧内预测模式下被编码时，可通过考虑相邻块的所有多帧内预测模式来确定，或者可通过仅考虑相邻块的多帧内预测模式之一来确定当前块的mpm候选。例如，可考虑在相邻块的多帧内预测模式中的主要预测模式来确定当前块的mpm候选。
[0337]
可选地，可使用相邻块的主要预测模式来确定用于当前块的主要预测模式的mpm候选，可使用相邻块的次要预测模式来确定用于当前块的次要预测模式的mpm候选。
[0338]
编码装置可确定是否存在与当前块的帧内预测模式相同的mpm候选，并可根据确定结果对操作信息进行编码(s1202)。这里，操作信息可以是1比特标志(例如，mpm标志)。例如，当存在与当前块的帧内预测模式相同的mpm候选时，编码装置可将mpm标志编码为“真”。当不存在与当前块的帧内预测模式相同的mpm候选时，编码装置可将mpm标志编码为“假”。
[0339]
当存在与当前块的帧内预测模式相同的mpm候选时(s1203)，编码装置可对指定与当前块的帧内预测模式相同的mpm候选的索引信息进行编码(s1204)。
[0340]
当不存在与当前块的帧内预测模式相同的mpm候选时(s1203)，编码装置可对指示在除了mpm候选之外的剩余帧内预测模式中针对当前块的最优帧内预测模式的剩余模式进
行编码(s1205)。具体地，编码装置可通过分配与通过从总的帧内预测模式(或者可用于当前块的帧内预测模式)中减去mpm候选的数量而获得的剩余帧内预测模式的数量一样多的比特来对剩余模式进行编码。
[0341]
次要预测模式被设置为与主要预测模式不同的值，可基于除了mpm候选之外的剩余帧内预测模式和主要预测模式对针对次要预测模式的剩余模式进行编码。
[0342]
接下来，将描述用于在解码装置中对最优帧内预测模式进行解码的方法。
[0343]
图27是示出对当前块的帧内预测模式进行解码的方法的流程图。
[0344]
参照图27，首先，解码装置可对来自比特流的多模式操作信息进行解码(s1401)。这里，多模式操作信息可指示当前块是否是使用多帧内预测模式被编码。
[0345]
当确定了当前块是使用多帧内预测模式被编码时(s1402)，解码装置可将当前块分区成多个局部块。这里，解码装置可基于从编码装置用信号发送的块分区模式信息来对当前块进行分区，或者可计算拐点和斜率，选择与计算的拐点和斜率对应的分区模式，随后对当前块进行分区。
[0346]
当当前块被分区成多个局部块时，解码装置可对当前块的主要预测模式进行解码(s1403)，随后对次要预测模式进行解码(s1404)。如在编码过程中描述的，可使用mpm候选对主要预测模式或次要预测模式进行解码，或者可在不使用mpm候选的情况下对主要预测模式或次要预测模式进行解码。可选地，在解码出主要预测模式之后，可基于主要预测模式与次要预测模式之间的差值来获得次要预测模式。
[0347]
当确定了当前块不是使用多帧内预测模式被编码时，解码装置可对当前块的单一帧内预测模式进行解码(s1405)。这里，可使用mpm候选对当前块的单一帧内预测模式进行解码。
[0348]
图28是示出使用mpm候选对帧内预测模式进行解码的方法的流程图。在该实施例中，当前块的帧内预测模式可指主要预测模式、次要预测模式和单一预测模式中的一个。
[0349]
首先，解码装置可确定当前块的mpm候选(s1501)。解码装置可基于与当前块相邻的相邻块的帧内预测模式来确定当前块的mpm候选。已参照图26详细地描述了当前块的mpm候选的产生，其细节的描述将被省略。
[0350]
此后，解码装置可对指示是否存在与当前块的帧内预测模式相同的mpm候选的信息进行解码(s1502)。该信息可以是1比特标志，但不限于此。
[0351]
当确定了存在与当前块的帧内预测模式相同的mpm候选时(s1503)，解码装置可对指定与当前块的帧内预测模式相同的mpm候选的信息(即，mpm索引信息)进行解码(s1504)。在这种情况下，当前块的帧内预测模式可被确定为由mpm索引信息指定的帧内预测模式。
[0352]
此外，当确定了不存在与当前块的帧内预测模式相同的mpm候选时(s1503)，解码装置可对剩余模式信息进行解码(s1505)，并且基于解码的剩余模式信息确定当前块的帧内预测模式。这里，剩余模式信息可以是通过从可用于当前块的帧内预测模式中排除mpm候选被编码的。
[0353]
尽管为了解释的清楚而通过一系列步骤表现本公开的示例性方法，但是它们不意图限制步骤执行的顺序，且必要时每个步骤可同时执行或者以不同顺序执行。为了实现根据本公开的方法，额外地将其它步骤包括到示意性步骤中、排除一些步骤且包括剩余步骤、或者排除一些步骤且包括其它步骤是可行的。
[0354]
本公开的各个实施例不意在详尽描述所有可能的组合，而是本公开的示意性代表方面，并且在各个实施例中描述的特征可独立应用或者以两个或更多个的组合方式应用。
[0355]
此外，本公开的各种实施例可以通过硬件、固件、软件或其组合来实现。硬件实现的情况可以由一个或更多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、通用处理器、控制器、微控制器、微处理器等来执行。
[0356]
本公开的范围是包括软件或机器可执行指令(例如，操作系统、应用、固件、指令等)以及在装置或计算机上可执行的非暂时性计算机可读介质，其中，通过该软件或机器可执行指令在装置或计算机上执行根据各个实施例的方法的操作，在所述非暂时性计算机可读介质上存储有这样的软件或指令。
[0357]
工业应用
[0358]
本发明可被用于对图像进行编码/解码。

技术特征：
1.一种对图像信号进行解码的方法，包括：基于将当前块的尺寸与预定阈值尺寸进行比较的结果，使用帧内预测模式对来自比特流的所述当前块的系数进行解码；以及使用所解码的系数来重构所述当前块，其中，当所述当前块的尺寸大于或等于所述预定阈值尺寸时，仅对所述当前块中的局部区域执行对所述当前块的系数的解码，并且不对所述当前块中的除了所述局部区域之外的剩余区域执行对所述当前块的系数的解码，其中，当所述当前块的尺寸小于所述预定阈值尺寸时，对所述当前块的整个区域执行对所述当前块的系数的解码，其中，基于从比特流获得的信息，通过预定垂直线或预定水平线来指定所述局部区域，所述信息包括指定所述预定垂直线的位置的垂直线位置信息或指定所述预定水平线的位置的水平线位置信息，其中，所述预定垂直线位于从所述当前块的左边界向右相距自然数a的点处，并且所述预定水平线位于从所述当前块的上边界向下相距自然数b的点处，其中，所述局部区域的尺寸是所述当前块的1/n尺寸，n是自然数，其中，所述局部区域被分区成多个局部块，其中，以所述局部块为单位对所述局部区域的系数进行解码。2.根据权利要求1所述的方法，其中，所述阈值尺寸是在图像解码设备处预定义的n
×
m尺寸，并且其中，n和m分别为8、16或更大的整数。3.根据权利要求1所述的方法，其中，所述局部区域表示位于所述垂直线的左侧的区域或位于所述水平线的上方的区域。4.一种对图像信号进行编码的方法，包括：产生包括残差数据的当前块，所述残差数据是所述当前块的原始块与所述当前块的预测块之间的差；以及基于将所述当前块的尺寸与预定阈值尺寸进行比较的结果，使用帧内预测模式对所述当前块的系数进行编码，其中，当所述当前块的尺寸大于或等于所述预定阈值尺寸时，仅对所述当前块中的局部区域执行对所述当前块的系数的编码，并且不对所述当前块中的除了所述局部区域之外的剩余区域执行对所述当前块的系数的编码，其中，当所述当前块的尺寸小于所述预定阈值尺寸时，对所述当前块的整个区域执行对所述当前块的系数的编码，其中，通过预定垂直线或预定水平线来指定所述局部区域，其中，关于指定所述局部区域的信息被编码为比特流，所述信息包括指定所述预定垂直线的位置的垂直线位置信息或指定所述预定水平线的位置的水平线位置信息，其中，所述预定垂直线位于从所述当前块的左边界向右相距自然数a的点处，并且所述预定水平线位于从所述当前块的上边界向下相距自然数b的点处，其中，所述局部区域的尺寸是所述当前块的1/n尺寸，n是自然数，其中，所述局部区域被分区成多个局部块，
其中，以所述局部块为单位对所述局部区域的系数进行编码。5.一种用于发送通过编码方法产生的比特流的方法，所述编码方法包括：产生包括残差数据的当前块，所述残差数据是所述当前块的原始块与所述当前块的预测块之间的差；以及基于将所述当前块的尺寸与预定阈值尺寸进行比较的结果，使用帧内预测模式对所述当前块的系数进行编码，其中，当所述当前块的尺寸大于或等于所述预定阈值尺寸时，仅对所述当前块中的局部区域执行对所述当前块的系数的编码，并且不对所述当前块中的除了所述局部区域之外的剩余区域执行对所述当前块的系数的编码，其中，当所述当前块的尺寸小于所述预定阈值尺寸时，对所述当前块的整个区域执行对所述当前块的系数的编码，其中，通过预定垂直线或预定水平线来指定所述局部区域，其中，关于指定所述局部区域的信息被编码为比特流，所述信息包括指定所述预定垂直线的位置的垂直线位置信息或指定所述预定水平线的位置的水平线位置信息，其中，所述预定垂直线位于从所述当前块的左边界向右相距自然数a的点处，并且所述预定水平线位于从所述当前块的上边界向下相距自然数b的点处，其中，所述局部区域的尺寸是所述当前块的1/n尺寸，n是自然数，其中，所述局部区域被分区成多个局部块，其中，以所述局部块为单位对所述局部区域的系数进行编码。

技术总结
本发明提供一种视频信号编码/解码方法和设备。根据本发明的一种图像信号解码方法包括以下步骤：对指示当前块是否是使用多模式帧内预测被编码的信息进行解码；当确定当前块是通过多模式帧内预测被编码时，将当前块分区成多个局部块；获取所述多个局部块中的每个局部块的帧内预测模式。的帧内预测模式。的帧内预测模式。


技术研发人员：文柱禧 任星元 元栋载
受保护的技术使用者：世宗大学校产学协力团
技术研发日：2017.04.28
技术公布日：2023/10/20