DynaQuant: Dynamic Mixed-Precision Quantization for Learned Image Compression
Youneng Bao, Yulong Cheng, Yiping Liu, Yichen Yang, Peng Qin, Mu Li, Yongsheng Liang
Learned Image Compression (LIC) 中普遍存在的量化技术通常在所有层中使用静态的、均匀的比特宽,无法适应 LIC 模型中固有的高度多样化的数据分布和灵敏度特性。 这导致性能和效率之间的次优权衡。 在本文中,我们介绍了DynaQuant,一种动态混合精度量化的新框架,在两个互补级别上运行。 首先,我们提出内容感知量化,其中可学习的缩放和偏移参数动态适应潜在特征的统计变化。 这种细粒度的适应是使用新颖的远程感知梯度调节器(DGM)端到端训练的,它提供了比标准直通估计器更丰富的学习信号。 其次,我们引入了一个数据驱动的动态比特宽选择器,该选择器学习为每个层分配最佳位精度,并根据输入数据动态重新配置网络的精度配置文件。 我们的完全动态方法在平衡速率失真(R-D)性能和计算成本方面提供了很大的灵活性。 实验证明,DynaQuant实现了与全精度模型相当的性能,同时显著降低了计算和存储需求,从而实现了高级LIC在不同硬件平台上的实际部署。
Prevailing quantization techniques in Learned Image Compression (LIC) typically employ a static, uniform bit-width across all layers, failing to adapt to the highly diverse data distributions and sensitivity characteristics inherent in LIC models. This leads to a suboptimal trade-off between performance and efficiency. In this paper, we introduce DynaQuant, a novel framework for dynamic mixed-precision quantization that operates on two complementary levels. First, we propose content-aware quanti...
