2411.19842

paper

这个是专注于音频编码的论文. 基于FSQ的codebook free的方法去模拟RVQ的残差建模, 利用Transformer强大的扩展性作为编码器

Preliminaries

$L=2^n+1$: 当FSQ将一个连续数值映射到$[-1,1]$区间内$L=2^n+1$个等距点上时(如, $L=3:\{-1,0,1\}$, $L=5:\{-1,-0.5,0,0.5,1\}$), 相当于是在上一层的两个相邻点之间插入一个新的中点, 保证了低精度层级($L$更小的层级)永远是高精度层级($L$更大的层级)的子集

因此, 可以把低精度的层级(小$L$)当作粗糙的quantize的结果, 然后基于这个结果进行进一步的refine, 得到高精度的结果(大$L$)

Methods

RFSQ

使用FSQ模仿RVQ的残差方法.

首先定义$Q_L(x)$, 将任何实数映射到离散的$L$个点上:

$$Q_L(x)=\frac{2}{L-1}\lfloor (L-1)\frac{\tanh (x)+1}{2}+\frac{1}{2}\rfloor -1$$

其中:

• $x$是action, 是一个连续数值
• $L$是量化层级的总数
• 使用$\frac{2}{L-1}$和最后的$-1$的原因是维持量化范围在$[-1,1]$之间

为了让FSQ像RVQ一样使用残差工作, 需要定义一个随层数$k$变化的残差量化器:

$${\kappa }_k(z)=\frac{Q_{2^n+1}((2^n{)}^{k}z)}{(2^n{)}^k}$$

其中:

• $n$是一个固定值, 表示精度
• $(2^n{)}^k$的目的是为了放大误差. 这里精度放大的方法是, 将每一层的误差放大(如, 最开始误差为2, 然后残差的误差为0.1, 经过一次放大可能就会变成1.6这种($n=4,k=1$))
• 经过放大之后的残差quantize需要重新缩放会原来的数值大小, 因此需要把$(2^n{)}^k$除掉

然后使用类似RVQ的方法进行残差累加:

$$\begin{array}{rl}{q}_0& ={\kappa }_0(z)\\ q_k& ={\kappa }_k\left(z-\sum _{i=0}^{k-1}{q}_i\right)\\ \hat{z}& =\sum _{k=0}^K{q}_i\end{array}$$

TAAE

首先经过Encoder, 每一层是一个downsampling的CNN加上多个self-attention的block组成的.

然后, 将encoder之后的结果送给FSQ, 得到量化之后的结果

最后, 经过Decoder得到重建之后的输出. Decoder类似Encoder有多层, 每一层是一个upsampling的CNN和多个self-attention block组成