说大模型编程能提高10倍效率 那是吹牛吹过头了

寂静回声

来自一位资深软件工程师的质疑：大语言模型（LLM）真的提高了程序员的效率吗？

作者：Thane Ruthenis


过去两年，大语言模型（LLM）编程辅助工具火了。很多程序员兴奋地表示，它们让自己的工作效率提高了好几倍，甚至有人说提高了5倍、10倍。

但奇怪的是，整个软件行业并没有真正出现这么夸张的效率提升。我们用的软件并没有变得特别好用，也没看到更多更厉害的功能出现。如果真的有5-10倍的效率提升，难道不应该有更明显的变化吗？
5-10倍的效率，到底去了哪儿？

理论上，LLM工具可能确实能让少部分非常擅长使用它的人效率大增。但现实中，这种增益似乎极不平均，普通开发者并没有真正享受到明显的提升。实际情况往往是：

如果你只是在做一些简单的重复任务，LLM工具确实能帮到你；
但一旦涉及复杂的问题或新的项目，这些工具经常需要大量的后续调整和修改，甚至可能比自己从头写还要麻烦。
换句话说，也许你从LLM那里“省下”的几个小时，很可能又得花回去，用来修复那些自动生成但问题一大堆的代码。
我曾以为是我自己孤陋寡闻，没注意到实际的进展，于是特意做了一些深入调查。然而，令人失望的是，我并没找到任何真正令人信服的案例，来证明LLM确实带来了显著的现实进步：

各大人工智能公司推出的用户界面依然非常简单粗糙，除了对话框、上传文件之外，几乎没有什么真正有创意的新功能。
所谓的“生产力提升”似乎主要体现在一些宣传或小型实验上，而不是实际投入使用的大型项目中。
我非常好奇的是，如果真的有人靠LLM达到了5-10倍的效率提升，那么具体是什么项目或者产品因此快速诞生了呢？有没有哪项技术或功能，在没有LLM之前，根本不可能这么快出现？

但目前来看：

没看到软件界涌现更多创新产品；
没有出现更多好用的新功能；
没有明显改善我日常使用的软件质量。
甚至连各大AI实验室推出的产品，都没有真正体现出用LLM带来的开发速度提升。


我斗胆提出一个大胆的猜测：LLM可能并没有真正提高程序员的整体生产力，真实情况可能是：

你从LLM那里节省的时间，最终又全部浪费在了调整和修复代码上；
代码规模稍大后，LLM生成的代码常常变得复杂难懂甚至混乱不堪，最后你可能得彻底重来；
LLM帮助开发的新项目，多半都是没人用的小玩意，或毫无意义的重复产品；
LLM生成的代码容易膨胀，使得软件变得臃肿低效。
很多人觉得LLM提高了效率，可能只是因为这种“用自然语言提出需求、立刻看到代码生成”的神奇体验所带来的错觉。但长期来看，这些代码可能并不实用，也并未真正带来整体效率的提高。

那么LLM的真实价值在哪里？
我并不是完全否认LLM的作用，它们在某些情况下确实有帮助，比如：

帮助初学者快速入门（但要注意大模型的胡说八道）；
简单功能或模板代码的生成；
某些特殊的小型任务或简单的重构工作。

但这些都远没有达到所谓的“5-10倍”的夸张程度，实际效率提升可能只有10%-30%左右。

未来会改变吗？
或许真正的突破，只有等到AGI（通用人工智能）诞生的那一天，才能实现。在此之前，LLM对程序员的真正生产力提升可能会一直停留在目前这个水平。
当然，我也希望有人能推翻我的这个“阴谋论”，告诉我真正的情况比我想象的更好。

https://www.lesswrong.com/posts/ ... al-world-programmer