新机制提高审稿流程的可靠性

同行评审本应是高质量、高影响力研究的过滤器。但近年来随着人工智能的快速发展，AI相关的研究人员及论文的数量成倍增加，这给论文的同行评审带来了巨大的挑战。如何改进同行评审的机制，提高审稿流程的可靠性，是学术界普遍关注的话题。

近日，宾夕法尼亚大学沃顿商学院和计算机系教授苏炜杰在NeurIPS上发表文章，结合统计和优化的思想，提出一个提升论文同行评审效率的简单实用的方法，为改进同行评审提供了新思路。

苏炜杰在研究中认为，既然增加审稿人数，或给每个审稿人分配更多的论文不现实，那么可以要求投稿作者提供信息来协助我们决策。

然而，又要保证投稿人不会为了自身利益提供不实信息，应该如何设计这一机制呢？为此，苏炜杰在研究中针对性地提出了一种新机制——保序机制(Isotonic Mechanism)，并从理论上保证了该机制既能激励投稿人提供真实的信息，又能增加审稿结果的可靠性。

根据保序机制，假设投稿人投出了n篇论文，其真实分数为R1, R2, …, Rn，假设投稿人知道这些真实分数的排序。那么，机制要求投稿人汇报自己对这n篇论文打分的排序，再结合审稿人给出的原始平均分数，解一个凸问题，并给出最终分数。

另外，该机制还假设投稿人是理性的，即投稿人汇报论文打分排序的最终目的，是让自己的利益最大化。数学上，表现为投稿人希望机制得出的最终分数可以最大化。

据介绍，该机制便于实施，且具有理论的最优性保证，如果能在现实中使用该机制，很有希望在一定程度上缓解当前的机器学习顶会的低质量评审问题。

据悉，论文作者苏炜杰分别于北京大学和斯坦福大学获得本科和博士学位。曾获得NSF CAREER Award和斯隆研究奖。

相关论文信息：https://arxiv.org/pdf/2110.14802.pdf