François Chollet 澄清:ARC-AGI-3 所有环境均有人类零训练通关记录

François Chollet 明确指出:ARC-AGI-3 中全部环境均可由未接受过任何 ARC-AGI-3 专项训练的人类完成。可行性判定标准为——每项环境交由 10 名未筛选的普通测试者独立尝试,若其中至少 2 人成功解出所有关卡,即视为「可行」。

他强调这一标准客观上非常宽松:既不要求 100% 通过率,也不依赖高能力样本;事实上,MNIST 等经典 benchmark 同样无法达到全员准确率。将「2/10 非专业人员通关」等同于「超智能(ASI)门槛」是严重误判——ASI 应指系统在所有任务上持续超越「每一个」人类。

Chollet 进一步指出,绝大多数人类职业所需能力远高于此基准。团队已发布详尽技术报告,并将开源全部人类测试数据集,坚持方法论全程透明。

📎 阅读原文 · @fchollet on 𝕏