CAVLC

2021-08-06 14:04:28

在H.264标准中，CAVLC（Context-based Adaptive Variable Length Coding）被用于亮度和色度残差数据编码。在标准的码流结构中，CAVLC编码方式描述为ce(v)。如果在编码时采用CAVLC，那么尽管在DCT时是以8x8块为单位进行的，在进行CAVLC时也会强制采用4x4块为单位进行编码（请参考h.264语法结构分析中的redisual_luma部分）。在进行熵编码之前，需要把4x4块的矩阵中的元素按照一定顺序重新排列成大小为16的序列，这部分工作请参考h.264 scanning process for transform coefficients，熵编码就是以这些序列为基础进行编码的。

CAVLC可分为五个部分

编码非零系数的数目（TotalCoeffs）、拖尾系数（TrailingOnes）的数目
对每个拖尾系数（TrailingOnes）的符号进行编码
对除了拖尾系数之外的非零系数（level）进行编码
对最后一个非零系数前面零的数目（TotalZeros）进行编码
对每个非零系数前面连续的零的个数（RunBefore）进行编码

一. 编码TotalCoeffs,TrailingOnes

TotalCoeffs：非零系数数目。变换系数level中所有不为0的level的数目。

TrailingOnes：拖尾系数的数目。指的是矩阵重排列后，序列末尾连续出现的$\pm 1$的个数（中间可以间隔任意多个0）。如果$\pm 1$的个数大于3个，则只有最后三个$\pm 1$会被视为拖尾系数，其余的被视为普通的非零系数。

我们用一个例子来解释TotalCoeffs以及TrailingOnes

在上述例子中，共有5个非零系数，因此TotalCoeffs为5；其中有四个非零系数都是$\pm 1$，只有最后三个被视为拖尾系数，因此TrailingOnes为3。

TotalCoeffs与TrailingOnes是一起进行编码的，编码通过查表的方式进行，码表请参考标准中的表9-5。

用来编码TotalCoeffs与TrailingOnes的码表，需要根据变量nC的值进行选择。除了色度的直流系数（Chroma DC）之外，其它系数类型的nC值是根据当前块左边4x4块的非零系数数目（nA）和当前块上边4x4块的非零系数数目（nB）求得。nC的求值过程见下表。其中“X”表示与当前块同属于一个slice并可用。

上边的块（nB）	左边的块（nA）	nC
X	X	(nA+nB)/2
X	-	nB
-	X	nA
-	-	0

另外，如果输入的系数是色度的直流系数（而且视频格式为4：2：0），nC=-1；如果输入的系数是色度的直流系数（而且视频格式为4：2：2），nC=-2。

原理上说，nC代表了当前块的相邻块非零系数的情况，由于块与块之间的相关性，当我们知道了相邻块的非零系数的情况，就有很大概率知道了当前块非零系数的情况。有了概率，h.264标准在这里引入了huffman编码，不过huffman的编码过程不用我们自己处理，h.264标准已经根据实验得到的数据组合成了码表9-5。

二. 对TrailingOnes的符号进行编码

在第一步时，对于TrailingOnes，我们只编码了它的个数。在这一步，我们对TrailingOnes的符号进行编码。对每个拖尾系数需要用一个bit表示它的符号。标准规定用0表示“+”，用1表示“-”。编码顺序是按照扫描逆序进行，也就是从高频数据开始。

三. 对除了拖尾系数之外的非零level进行编码

除了拖尾系数之外的非零level可能会有多个，编码顺序与上述TrailingOnes的一样，也是逆序进行。

对于每个level，编码结果包括两部分：前缀（level_prefix）和后缀（level_suffix）。

其中前缀的码值需要根据level_prefix的值去参照标准中的表9-6，后缀的码值就是level_suffix的二进制。

如何计算level_prefix以及level_suffix的这部分比较麻烦，我们有必要照着标准分析。

标准规定了CAVLC解码的步骤如下，我们能根据这些步骤逆推出它的编码步骤

The syntax element level_prefix is decoded as specified in clause 9.2.2.1.
The variable levelSuffixSize is set as follows:
- If level_prefix is equal to 14 and suffixLength is equal to 0, levelSuffixSize is set equal to 4.
- Otherwise, if level_prefix is greater than or equal to 15, levelSuffixSize is set equal to level_prefix − 3.
- Otherwise, levelSuffixSize is set equal to suffixLength.
The syntax element level_suffix is decoded as follows:
- If levelSuffixSize is greater than 0, the syntax element level_suffix is decoded as unsigned integerrepresentation u(v) with levelSuffixSize bits.
- Otherwise (levelSuffixSize is equal to 0), the syntax element level_suffix is inferred to be equal to 0.
The variable levelCode is set equal to ( Min( 15, level_prefix ) << suffixLength ) + level_suffix.
When level_prefix is greater than or equal to 15 and suffixLength is equal to 0, levelCode is incremented by 15.
When level_prefix is greater than or equal to 15( 16 is the same ), levelCode is incremented by (1<<( level_prefix − 3 )) − 4096.
When the index i is equal to TrailingOnes( coeff_token ) and TrailingOnes( coeff_token ) is less than 3, levelCode is incremented by 2.
The variable levelVal[ i ] is derived as follows:
- If levelCode is an even number, levelVal[ i ] is set equal to ( levelCode + 2 ) >> 1.
- Otherwise (levelCode is an odd number), levelVal[ i ] is set equal to ( −levelCode − 1) >> 1.
When suffixLength is equal to 0, suffixLength is set equal to 1.
When the absolute value of levelVal[ i ] is greater than ( 3 << ( suffixLength − 1 ) ) and suffixLength is less than 6, suffixLength is incremented by 1.
The index i is incremented by 1.

下面的分析过程会把这些步骤记为“上述步骤”

1. 有符号的level转换为无符号的levelCode

我们知道level的值可能为正，也可能为负，是带符号的，我们需要把它转化成无符号的levelCode以供后面的计算。根据（上述步骤8），我们知道在进行CAVLC编码时levelCode的计算方式如下：

如果$level$为正，$levelCode = (|level|-1)<<1$

如果$level$为负，$levelCode = (|level|-1)<<1+1$

因此有以下转换

可以看到正的level变成了levelCode中的偶数部分，负的level变成了levelCode的奇数部分，及levelCode中的最低位的bit代表符号。

此外，存在一种需要调整levelCode大小的情况：如果当前编码块的拖尾系数的个数小于3（TrailingOnes < 3），那么需要对第一个进行编码的非零非拖尾level的levelCode减去2（上述步骤7）。

2. levelCode的拆分

这部分我们首先需要了解这两个变量的含义

levelSuffixSize： 后缀level_suffix的实际长度

suffixLength： 在某些情况下，levelSuffixSize等于这个变量的值，suffixLength也用于计算前缀的值，它贯穿于整个CAVLC编码过程，会在一个宏块开始编码level时进行初始化（见下述标准中抓取的部分），并且在每个level编码后进行更新。

If TotalCoeff( coeff_token ) is greater than 10 and TrailingOnes( coeff_token ) is less than 3, suffixLength is set
equal to 1.
Otherwise (TotalCoeff( coeff_token ) is less than or equal to 10 or TrailingOnes( coeff_token ) is equal to 3),
suffixLength is set equal to 0.

suffixLength会根据宏块的非零系数以及拖尾系数的个数被初始化为0或者1；在每个level编码后的更新，如果此时suffixLength为0，则suffixLength加1（上述步骤9），这意味着我们在对一个宏块进行CAVLC时，最多只有一次是suffixLength为0；如果此时已被编码的level大于( 3 << ( suffixLength − 1 ) ) ，suffixLength也会加1（上述步骤10）。

根据上述标准，在拆分levelCode上我们可以分成两大类情况

1. suffixLength为0

其中可细分为三种情况进行编码

① 如果$| level |<8$，那么levelSuffixSize为0，也就是没有后缀level_suffix，这些level分别为$\pm 1,\pm 2,…,\pm 7$，这14个level由$level\_prefix = 0,1,2,…,13$表示。（上述步骤2第3条）

② 如果$8 \leqslant | level |<16$，那么levelSuffixSize为4，也就是后缀共有四个bit，也就是说后缀能表达16个level，由于此时固定了$level\_prefix=14$，因此这种情况能表达的level就是16个，即$\pm 8,\pm 9,…,\pm 15$。（上述步骤2第1条）

③ 否则，$level\_prefix\geqslant 15$。这种情况下，levelSuffixSize的值为level_prefix-3（上述步骤2第2条）。此时levelCode在解码端的计算方法为

$\begin{align*}
levelCode
&=\underbrace{ \left\lfloor 15, level\_prefix \right\rfloor << suffixLength + level\_suffix}_{step.4} \quad \underbrace{+15}_{step.5}\quad \underbrace{+1<<(level\_prefix-3)-4096}_{step.6}\\
&=15<<0+level\_suffix+15+ 1<<(level\_prefix-3)-4096\\
&=level\_suffix+1<<(level\_prefix-3)-4066
\end{align*}$

其中level_prefix的值为$15,16,…$，在编码端，levelCode已知，我们只需要按照递增顺序一个一个带入level_prefix，并且保证level_suffix在其所占用的bit的范围内，即可得出合适的level_prefix与level_suffix。

JM18.6代码如下

int writeSyntaxElement_Level_VLC1(SyntaxElement *se, DataPartition *dp, int profile_idc)

{

  int level  = se->value1;

  int sign   = (level < 0 ? 1 : 0);

  int levabs = iabs(level);

  if (levabs < 8)      //① level_prefix < 14        ((8-1)*2 - len(inf) = 14 - 1)

  {

    se->len = levabs * 2 + sign - 1;

    se->inf = 1;

  }

  else if (levabs < 16)    //② level_prefix = 14        (len - len(inf) = 19 - len(16) = 19 - 5 = 14)

  {

    // escape code1

    se->len = 19;

    se->inf = 16 | ((levabs << 1) - 16) | sign;

  }

  else     //③ level_prefix >= 15           (28 - len(4096) + numPrefix = 15 + numPrefix)

  {

    int iMask = 4096, numPrefix = 0;

    int levabsm16 = levabs + 2032;

    // escape code2   select level_prefix, which level_prefix = 15 + numPrefix

    if ((levabsm16) >= 4096)

    {

      numPrefix++;

      while ((levabsm16) >= (4096 << numPrefix))

      {

        numPrefix++;

      }

    }

    iMask <<= numPrefix;

    se->inf = iMask | ((levabsm16 << 1) - iMask) | sign;

  /*  caution : int levabs = iabs(level);

   *

   *    (levabsm16 << 1) - iMask

   *  = ((levabs + 2032) << 1) - (4096 << numPrefix)

   *  = ((iabs(level) + 2032) << 1) - (4096 << numPrefix)

   *  = ((iabs(level) - 1 + 2033) << 1) - (1 << levelSuffixSize)

   *  = ((iabs(level) - 1 + 2048 - 15) << 1) - (1 << levelSuffixSize)

   *  = ((iabs(level) - 1 - 15) << 1) + 4096 - (1 << levelSuffixSize)

   *  = ((iabs(level) - 1 - 15) << 1) - ((1 << levelSuffixSize) - 4096)

   *

   *  belonging to above,you can find the relationship from the spec

   */

    /* Assert to make sure that the code fits in the VLC */

    /* make sure that we are in High Profile to represent level_prefix > 15 */

    if (numPrefix > 0 && !is_FREXT_profile( profile_idc ))

    {

      //error( "level_prefix must be <= 15 except in High Profile\n",  1000 );

      se->len = 0x0000FFFF; // This can be some other big number

      return (se->len);

    }

    se->len = 28 + (numPrefix << 1);

  }

  symbol2vlc(se);

  writeUVLC2buffer(se, dp->bitstream);

  if(se->type != SE_HEADER)

    dp->bitstream->write_flag = 1;

#if TRACE

  if(dp->bitstream->trace_enabled)

    trace2out (se);

#endif

  return (se->len);

}

2. suffixLength为N （N = 1,2,3,4,5,6）

suffixLength不为0的情况下，可细分为以下两种编码过程

① 如果$levelCode<( 15<< suffixLength )$，为什么这里会有个15呢？因为15表明当前level所需要的level_prefix小于15，即（0~14）共15个数值。此时

$\begin{Bmatrix}
levelSuffixSize=suffixLength\qquad\qquad\qquad\qquad\qquad\quad & (step.2.1) \\
levelCode = level\_prefix<<suffixLength + level\_suffix & (step.4)
\end{Bmatrix}$

按照这两个条件，得到

$\begin{Bmatrix}
level\_prefix &= &levelCode >> suffixLength \\
level\_suffix &= &levelCode \ \& \ \underbrace{11...1}_{suffixLength}
\end{Bmatrix}$

② 否则，表明编码需要的level_prefix大于或等于15。$levelSuffixSize = level\_prefix-3 \quad $（上述步骤2第2条）。解码规定了此时的levelCode为

$\begin{align*}
levelCode
&=\underbrace{ \left\lfloor 15, level\_prefix \right\rfloor << suffixLength + level\_suffix}_{step.4} \quad \underbrace{+1<<(level\_prefix-3)-4096}_{step.6}\\
&=15<<suffixLength + level\_suffix + 1<<(level\_prefix-3)-4096
\end{align*}$

在编码level端，levelCode与suffixLength已知，我们只需要按照递增顺序一个一个带入level_prefix，并且保证level_suffix在其所占用的bit的范围内，即可得出合适的level_prefix与level_suffix。

JM18.6代码如下

int writeSyntaxElement_Level_VLCN(SyntaxElement *se, int vlc, DataPartition *dp, int profile_idc)

{

  int level  = se->value1;

  int sign   = (level < 0 ? 1 : 0);

  int levabs = iabs(level) - 1;  

  int shift = vlc - 1;

  int escape = (15 << shift);    //level_prefix = 15

  if (levabs < escape)   //① level_prefix < 15

  {

    int sufmask   = ~((0xffffffff) << shift);

    int suffix    = (levabs) & sufmask;

    se->len = ((levabs) >> shift) + 1 + vlc;

    se->inf = (2 << shift) | (suffix << 1) | sign;

  }

  else  // ②

  {

    int iMask = 4096;

    int levabsesc = levabs - escape + 2048;  //+2048 * 2 = +4096 , on decode endpoint, would -4096

    int numPrefix = 0;

    if ((levabsesc) >= 4096)  //level_prefix = 15 + numPrefix

    {

      numPrefix++;

      while ((levabsesc) >= (4096 << numPrefix))

      {

        numPrefix++;

      }

    }

    iMask <<= numPrefix;

    se->inf = iMask | ((levabsesc << 1) - iMask) | sign;

  /*  caution : levabs = iabs(level) - 1;

   *

   *    (levabsesc << 1) - iMask

   *  = ((levabs - escape + 2048) << 1) - (4096 << numPrefix)

   *  = ((iabs(level) - 1 - escape) << 1) + 4096 - (1 << levelSuffixSize)

   *  = ((iabs(level) - 1 - escape) << 1) - ((1 << levelSuffixSize) - 4096)

   *

   *  belonging to above,you can find the relationship from the spec

   */

    /* Assert to make sure that the code fits in the VLC */

    /* make sure that we are in High Profile to represent level_prefix > 15 */

    if (numPrefix > 0 &&  !is_FREXT_profile( profile_idc ))

    {

      //error( "level_prefix must be <= 15 except in High Profile\n",  1000 );

      se->len = 0x0000FFFF; // This can be some other big number

      return (se->len);

    }

    se->len = 28 + (numPrefix << 1);

  }

  symbol2vlc(se);

  writeUVLC2buffer(se, dp->bitstream);

  if(se->type != SE_HEADER)

    dp->bitstream->write_flag = 1;

#if TRACE

  if(dp->bitstream->trace_enabled)

    trace2out (se);

#endif

  return (se->len);

}

3. 更新suffixLength

上面我们说过，suffixLength贯穿整个宏块非零level的编码过程，它在一开始会被初始化，然后在每个level编码完成后进行更新。更新遵循两个规则：

如果suffixLength为0，则更新为1。（上述步骤9）
如果当前编码的level有$|level|>( 3<< suffixLength -1 )$，并且$suffixLength<6$，则suffixLength++。（上述步骤10）

CAVLC在编码非零level这部分，首先编码顺序就是从高频到低频进行，一般来说高频level会比较小，低频level较大，因此CAVLC中的做法就是令suffixLength初始化为0，或者1，后续基于上下文对suffixLength进行增加，这样做是为了出现频率更高的高频的level占用更小的bit，这也符合变长编码的思想。

四. 对TotalZeros进行编码

TotalZeros：最后一个非零系数前零的总数目，如下图例子为TotalZeros = 3，码值需要根据当前宏块的TotalCoeffs以及TotalZeros查表得到。

需要注意的是，在对Chroma DC进行CAVLC时，Chroma DC块可能为2x2块（4:2:0）或者2x4块（4:2:2），这些都是要查不同的表格的。

五. 对RunBefore进行编码

RunBefore：这个值是对于非零系数来说的，表示的是当前非零系数前面连续出现的0的个数

ZeroLeft：这个值也是对于非零系数来说的，表示的是当前非零系数前的0的总个数，在一开始这个值会被赋值为TotalZeros。当ZeroLeft为0的时候意味着后续非零系数的RunBefore都为0，编码结束。

我们根据RunBefore与ZeroLeft的值查表9-10得到码值。编码顺序也是逆序进行，编码次数最多为TotalCoeffs - 1。

如上述例子

编码过程如下：

ZeroLeft = 3，RunBefore = 1，码值为10

ZeroLeft = 2，RunBefore = 0，码值为1

ZeroLeft = 2，RunBefore = 2，码值为00

ZeroLeft = 0，RunBefore = 0，不需要码流表示

码农公寓