我们能信任LLM判断研究想法是否新颖吗？

判断

研究团队和会议评审在决定是否让LLM筛选想法新颖性时，必须在更快、更便宜的初筛与Ai2的发现之间权衡：改动提示词措辞会使评审准确率变化超过50个百分点——他们选择的配置，而非仅模型本身，决定了其接受的可靠性。

依据

Ai2的报告中，六个LLM评审——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6——在相同想法上，评估设置的微小变化就产生了截然不同的判定；仅改动提示词中的几个词，就使识别两个想法中哪个更新颖的准确率变化超过50个百分点。检索和额外推理并未持续改善判断，两个专门构建的新颖性评估系统表现还不如简单提示的Claude Opus 4.6基线。该基准由ICLR 2026评审构建：高新颖性池包含154个被接收的想法，来自其研究领域评分前10%且获得无争议新颖性赞扬；较低新颖性池包含145个被拒想法，来自后10%且存在原创性担忧；另有154个LLM生成想法与人类想法配对，作为弱标签比较。机制：由于判定取决于模型、提示词、评估格式和推理预算，团队自己的配置——而非公开排行榜数字——决定其新颖性评审实际会批准或拒绝什么。