LLaDA-Rec: Discrete Diffusion for Parallel Semantic ID Generation in Generative Recommendation
Teng Shi, Chenglei Shen, Weijie Yu, Shen Nie, Chongxuan Li, Xiao Zhang, Ming He, Yan Han, Jun Xu
生成式推荐将每个项目表示为语义 ID,即离散令牌序列,并通过自动回归解码生成下一个项。 虽然有效,但现有的自动回归模型面临两个内在限制:(1)单向约束,其中因果关注限制每个令牌只关注其前身,阻碍了全局语义建模;(2)错误积累,其中固定的左向右生成顺序导致早期令牌的预测错误传播到后续令牌的预测。 为了解决这些问题,我们提出了LLaDA-Rec,一个离散的扩散框架,将推荐重新制定为并行语义ID生成。 通过将双向注意力与自适应生成顺序相结合,该方法可更有效地对项目间和项目内部依赖关系进行建模,并缓解错误积累。 具体来说,我们的方法包括三个关键设计:(1)一个并行令牌化方案,为双向建模生成语义ID,解决剩余量化和双向架构之间的不匹配;(2)用户历史和下一个项目级别的两个掩蔽机制,以捕获项目间顺序依赖关系和项目内部语义关系;(3)自适应的波束搜索策略,用于自适应顺序离散扩散解码,解决标准光束搜索与扩散的不兼容。 对三个真实世界数据集的实验表明,LLaDA-Rec始终优于基于ID和最先进的生成推荐者,将离散扩散作为生成推荐的新范式。
Generative recommendation represents each item as a semantic ID, i.e., a sequence of discrete tokens, and generates the next item through autoregressive decoding. While effective, existing autoregressive models face two intrinsic limitations: (1) unidirectional constraints, where causal attention restricts each token to attend only to its predecessors, hindering global semantic modeling; and (2) error accumulation, where the fixed left-to-right generation order causes prediction errors in early ...
