在人工智能领域，会议论文是证明研究人员学术水平的重要一环。是否存在一些「技巧」可以提高论文被大会接收的几率？人工智能是否可以帮助我们？近日，来自卡耐基梅隆大学（CMU）研究者们收集了上万篇 AI 顶级会议的接收/被拒论文，并使用机器学习工具进行分析，获得了一些有趣的结果。权威的科学会议利用同行评审来决定要将哪些论文列入其期刊或会议记录。虽然这一过程似乎对科学出版物至关重要，但其往往也饱受争议。意识到同行评审的重要影响，一些研究人员研究了这一过程中的各个方面，包括一致性、偏差、作者回应和一般评审质量 (Greaves 等，2006；Greaves 等，2011；De Silva and Vance, 2017)。例如，NIPS 2014 会议的组织者将 10% 的会议提交论文分配给两组不同的审查人员，以衡量同行评审过程的一致性，并观察到两个委员会对超过四分之一的论文接受/拒绝决定意见不一样 (Langford and Guzdial, 2015)。
尽管已经有了这些努力，但是关于同行评审的定量研究还是有限的，很大程度上是由于只有很少的人能够接触到一个学术活动的同行评审（例如期刊编辑和程序主席）。本文的目的是通过首次引入一个用于研究目的的同行评审公共数据集: PeerRead，来降低科学界研究同行评审的障碍。
同行评审是科学文献出版过程中的重要组成部分。在本研究中，我们提出了第一个可用于研究目的的科学文献同行评审公共数据集 ( PeerRead v1 )，该数据集为研究这一重要的现象提供了机会。该数据集由 1 万 4 千 700 份论文草稿，以及包括 ACL、NIPS 和 ICLR 在内的顶级学术活动对应的接受/拒稿决定组成。数据集还包括专家为论文子集撰写的 1 万零 700 份文本同行评审。我们描述了数据收集过程，并提供了在同行评审中观察到的有趣现象。我们在此基础上提出了两个新颖的 NLP 任务，并给出了简单的基线模型。在第一个任务中，我们展示了简单的模型可以预测一篇论文是否被接受，与大多数基线模型相比，误差减少了 21 %。在第二个任务中，我们预测了评审方面的数值分数，结果表明，对于诸如「原创性」和「影响」的高方差方面，简单模型可以优于平均基线。
项目 GitHub 地址