HarmoQ: Harmonized Post-Training Quantization for High-Fidelity Image
Hongjun Wang, Jiyuan Chen, Xuan Song, Yinqiang Zheng
训练后量化为部署超分辨率模型提供了一条有效的途径,但现有方法独立处理重量和激活量化,错过了它们的关键相互作用。 通过SwinIR的对照实验,我们发现了一种惊人的不对称性:重量量化主要降低结构相似性,而激活量化不成比例地影响像素级精度。 这源于它们独特的角色 - 权重编码纹理和边缘的已学习恢复先验,而激活则携带输入特定的强度信息。 基于这一见解,我们提出了HarmoQ,这是一个统一的框架,通过三个协同步骤来协调跨组件的量化:结构残余校准主动调整权重以补偿激活诱导的细节损失,通过封闭式解决方案分析平衡量化难度的统一尺度优化,以及在优化过程中自适应边界细化迭代保持这种平衡。 实验表明,HarmoQ在积极的压缩下取得了可观的收益,在2位的Set5上超过了0.46 dB,同时在A100 GPU上提供了3.2倍的加速和4倍的内存减少。 这项工作首次对超分辨率量化中的重量激活耦合进行了系统分析,并为高效的高质量图像恢复建立了原则性解决方案。
Post-training quantization offers an efficient pathway to deploy super-resolution models, yet existing methods treat weight and activation quantization independently, missing their critical interplay. Through controlled experiments on SwinIR, we uncover a striking asymmetry: weight quantization primarily degrades structural similarity, while activation quantization disproportionately affects pixel-level accuracy. This stems from their distinct roles–weights encode learned restoration priors for ...