Don't Waste It: Guiding Generative Recommenders with Structured Human Priors via Multi-head Decoding
Yunkai Zhang, Qiang Zhang, Feng Lin, Ruizhong Qiu, Hanchao Yu, Jiayi Liu, Yinglong Xia, Zhuoran Yu, Zeyu Zheng, Diji Yang
优化推荐系统以实现超越准确性的目标,如多样性、新颖性和个性化,对于长期用户满意度至关重要。 为此,工业从业者积累了大量的结构化领域知识,我们将其称为人类先验(例如,项目分类法,时间模式)。 这些知识通常通过排名或后排名的后期调整来应用。 然而,这种方法仍然与核心模型学习脱钩,随着行业转向端到端生成推荐基础模型,这一点尤其不受欢迎。 另一方面,许多针对这些超越准确性目标的方法通常需要特定于架构的修改,并通过以完全不受监督的方式学习用户意图来丢弃这些有价值的人类先验。 我们不是放弃多年实践中积累的人类先验,而是引入了一个与骨干无关的框架,将这些人的先验直接集成到生成推荐人的端到端培训中。 凭借轻巧的,预先条件的适配器头,受到高效的LLM解码策略的启发,我们的方法指导模型沿着人类可理解的轴(例如,交互类型,长与短期兴趣)分离用户意图。 我们还引入了一种分层组成策略,用于对不同先前类型的复杂交互进行建模。 对三个大规模数据集进行的广泛实验表明,我们的方法显着提高了准确性和超越准确性的目标。 我们还表明,人类先验允许骨干模型更有效地利用更长的上下文长度和更大的模型尺寸。
Optimizing recommender systems for objectives beyond accuracy, such as diversity, novelty, and personalization, is crucial for long-term user satisfaction. To this end, industrial practitioners have accumulated vast amounts of structured domain knowledge, which we term human priors (e.g., item taxonomies, temporal patterns). This knowledge is typically applied through post-hoc adjustments during ranking or post-ranking. However, this approach remains decoupled from the core model learning, which...