寂静回声 发表于 昨天 19:24

600次实验打假LeCun团队世界模型

有个独立研究者干了件狠事,几个月跑了 600 次实验,把 LeCun 参与署名的 JEPA 世界模型 LeWM 从头审了一遍,发在 HN 上,拿了 200 多个赞。
按论文原始的用法跑,长程任务的成功率只有 22%,他做了四种调整,一个参数都没改,成功率直接到了 85%。
他把预测器换成一个完美的物理模拟器,78% 对 77%,几乎打平,模型的想象力够用了,差距还是出在怎么用。
标准测试里 84% 的目标,模型训练的时候都见过原题,官方成绩 68%,换一批同分布的新题只剩 44%,换个随机种子重跑,跑到 38 个回合,结果就翻过来了。

这跟企业里做 AI 验收是一个毛病,供应商演示永远使用最完美的那个场景,结果一实干就拉。
他总结的办法就三条,测试集和演示集不能重叠,测试要求要比演示时更严苛。官方基准上的数字,就是是个数字。

页: [1]
查看完整版本: 600次实验打假LeCun团队世界模型