来源时间 本站刊期
精选深读Latent Space
前沿模型能看穿诱饵吗?Elorian测试视觉推理
Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning
Elorian称Glimpse可绕开视觉诱饵,但计数差距令买家质疑其修复效果。
判断
比较视觉推理模型的企业买家不应把Glimpse的50.48%视为同类对比胜利:它是单次内部运行,而论文中的前沿分数是报告设置下的三次运行均值,因此采购方应在付款前要求匹配、重复的DecoyCount结果。
依据
Elorian CEO Andrew Dai对Latent Space表示,Glimpse在1,660项内部测试的DecoyCount上得分50.48%,为单次运行,无智能体或工具测试框架;并表示评估图像和文本未用于训练,且在已检查数据中未发现重叠。与Mercor共同发布的论文报告前沿模型准确率低于50%;最高为GPT-6 Astra的43.17%,其次是Gemini-3.8-flash的32.71%、Qwen3.8-max的28.31%和Claude-Fable-5.1的25.22%,每项均为报告设置下三次运行的平均值。Dai表示,该基准同时测试视觉和推理,并揭示七种机制中可解释的计数失败,因为仅看最终数字的测试无法区分视觉遗漏与推理错误。论文结论是,更强的通用推理本身不会泛化到对齐视觉推理。
- Glimpse(内部,单次运行)50.48%
- GPT-6 Astra43.17%
- Gemini-3.8-flash32.71%
- Claude-Fable-5.125.22%
没写清 来源未给出Glimpse的三次运行均值、运行间方差或各机制得分,因此其报告优势的大小和稳定性仍未说明。
下一步 检查Elorian或Mercor是否公布Glimpse的三次运行DecoyCount结果,并使用与论文前沿模型相同的测试框架和分机制细分。