机器学习(ML)和人工智能(AI)会议,包括NourIPS和ICML,近年来同行评审质量显著下降。 为了应对这一日益严重的挑战,我们引入了同位素机制(Isotonic Mechanism),这是一种计算效率的方法,通过结合作者对其提交的材料的私人评估来提高嘈杂审查分数的准确性。 根据这一机制,有多次投稿的作者必须按感知质量的降序排列论文。 随后,根据该排名对原始评论分数进行校准,以产生调整后的分数。 我们证明作者被激励真实地报告他们的排名,因为这样做最大化了他们的预期效用,在调整后的分数上建模为加法凸函数。 此外,调整后的分数比原始分数更准确,当噪声水平高并且作者有许多提交时,改进特别显着 - 这种情况在大型ML / AI会议上越来越普遍。 我们进一步调查是否可以真实地从作者那里获得超出简单排名的提交质量信息。 我们确定,真实引出的一个必要条件是,该机制基于对作者陈述的成对比较。 这一结果强调了同位素机制的最优性,因为它在我们认为的所有机制中引出最精细的真实信息。 然后,我们提出了几个扩展,包括证明该机制保持真实性,即使作者只有部分而不是完整的关于其提交质量的信息。 最后,我们讨论未来的研究方向,重点介绍该机制的实际实施,并进一步发展受我们机制启发的理论框架。