大模型性能见顶了
来自The Information的猛料：ChatGPT的训练好像卡住了⋯⋯- 先说乐观的，OpenAI的下一代模型GPT-Orion虽然只完成了20%的训练，但它的能力已经和GPT-4持平了；
- 但是——没错，但是来了——和GPT-3到GPT-4之间的飞跃进步相比，GPT-Orion的提升要小很多，所以它配不上GPT-5这个命名；
- 更坏的消息是，GPT-Orion的成本更高，它对语言的理解更好，但在编码上可能还不如老模型那样可靠；
- GPT-Orion的困境可能破坏了AI行业的一个核心假设，即只要有更多的数据和算力，大模型就能以不衰减的速度变聪明；
- OpenAI和Meta都开始以底层技术没有突破的前提下开发产品，比如接管个人电脑和浏览器去模拟用户执行真实操作的功能；
- 最大的问题在于互联网上的数据早就被用得精光了，GPT-Orion大量依赖合成数据——也就是AI自己生成的内容——来做训练，结果导致了内卷；
- 内卷的表现就是烧钱训练出来的新模型越来越像旧模型，原因不难猜到，因为它的数据都是由旧模型提供的，一切学习都在原地踏步；
- ChatGPT新尝试的推理链在科研行业表现很不错，很多科学家和数学家都在使用，但因为成本是通用模型的6倍以上，很难被大众市场接受；
- OpenAI的股东Ben Horowitz已经开始抱怨，说公司采购GPU的数量持续增长，但根本上的AI智商没有同步提高；
- 深度接入主流大模型的数据商Databricks表示，AI在多步骤任务上还有改进空间，但是日常类型的任务，比如情感对话这种，已经没有进展了；
- 总结是，大模型进入了平台期，需要想办法获取更多的真实数据，合成数据起不到作用了。
* 这篇报道在行业内争议很大，很多从业者都跳出来表示不信谣不传谣，反对AGI虚无主义传播，so⋯⋯兼听则明。
但现实是大模型确实性能也不咋地
难道国产大模型的训练数据中没有九章光量子计算机的相关情况吗？那都是真实数据，不照样是胡说八道吗。
页:
[1]