梅宏院士：国产大模型的泡沫太大了 太消耗能源了

寂静回声

9月15日，中国计算机学会公众号以《梅宏：对当前人工智能热潮的几点冷思考》为题，刊发了中国科学院院士梅宏在今年7月于长沙举行的2024国际计算机学会中国图灵大会上的演讲。在演讲中，梅宏做出了包括上述内容在内的一系列掷地有声的陈述。

在他看来，从2012年底AlexNet展现出深度学习的强大感知能力，到2015年初ResNet超过人类的平均水平；从2016年初AlphaGo以绝对优势战胜李世石，到2022年底OpenAI2推出新的智能聊天大语言模型ChatGPT3，“这些事件均代表了AI的一次次重要突破，堪称AI发展史上的重要里程碑”。
他说，用“如日中天”“众星捧月”描述当下AI的地位毫不为过！造成这种少见现象的原因不仅仅是AI技术本身10余年来令人惊艳的突破性进展，还包括AI技术对社会经济各行各业，对科学技术各个学科的发展带来的深远甚至颠覆性的影响。
但从当前的热潮中，他看到了太多“炒作”和“非理性”导致的 AI“过热”现象，也对当前AI发展技术路径多样性的欠缺萌生了一些担忧。他认为，有必要认真审视和反思当前AI的本质及其可能带来的影响，以及人类发展AI的目标和路径等问题。在这个过程中，他直接、间接地阐述了为什么说AI存在的问题是泡沫太大。
梅宏院士特别强调，从人类的主体地位的视角，开发一种可以替代人类自身认知能力的AI，是对人的权利的一种侵犯。我们需要确保AI的发展不会超出人类的控制，从而维护人类的主导地位和尊严。
他表示，他曾经是科学探索无禁区、技术研发无疆界、技术应用须谨慎的支持者，他也一直认可技术本身就是一把双刃剑。对于AI，他主要忧虑在于，当前的技术发展已经可能会侵袭到人类的认知领域，进而可能会威胁到人类的主体地位，故而萌生“恐惧”之心。
在演讲中，他提到1942年科幻作家艾萨克·阿西莫夫（Isaac Asimov）在其小说《环舞》（Runaround）中提出的机器人三定律：第一定律是机器人不得伤害人类，或因不作为而让人类受到伤害；第二定律是机器人必须服从人类的命令，除非这些命令违背了第一定律；第三定律是在不违背第一与第二定律的前提下，机器人必须保护自己。
他认为，今天的AI热潮，包括对AI发展状态和速度的过度高估，以及对AI发展可能给人类带来巨大负面影响的种种担忧，在历史上也曾经出现过。...当初媒体对计算机的报道也是两个方面，盲目、过度的高估和脱离实际的担忧。
他坦言不是AI具体技术的研究者，而是AI领域的大同行，一位AI技术发挥作用的基础——计算系统中软件技术的研究者。

1大语言模型给我带来的最大震撼在于：它可以讲“人话”了，而且语法能力超越了人类平均水平，甚至超越人类的中上水平。
大语言模型，乐观的判断，也许会成为继计算机、互联网之后，计算科学发展史上的第三大里程碑。

2、AI技术的进展主要集中在深度学习这个子领域，...现阶段AI的成功源于深度学习，但这只是AI研究的一个子领域，其本质是数据驱动的智能、计算实现的智能，即“数据为体、智能为用”，犹如燃料与火焰的关系，燃料越多，火焰越大，燃料越纯，火焰越漂亮。...
ChatGPT和Sora的问世，开启了世界范围的“百模”竞发。不过，在基本原理相似的技术路径上，人们发现，各方拥有的算力资源相差不多，数据规模和质量就成为竞争的关键因素。本质上，当前大模型的竞争已成为“数据工程”的竞争。

3、当前以“算法、数据、算力”为核心要素的AI技术路径，其持续发展潜力面临重大障碍，原理尚未出现变革性苗头，对数据的依赖越来越严重，对算力的消耗也越来越巨大。
理想的AI应当是低熵的，不以计算资源的消耗换取智能，也不以复杂性的提高换取智能；也应当是高安全的，模型的输出符合真实情况，生成结果确保对人类无害；还应当是不断进化的，具有环境自适应和终生“学习”能力，能不断完善并具有“遗忘”能力。
离实现这样的目标，我们还有很长的路要走。

4、到目前，AI在不少任务上的感知能力可以说已经超越人类，但是，认知和行为能力与人类相比还差距甚大。当前炙热的大语言模型能力常常被关联到认知智能，但从人类视角看，大语言模型有认知能力吗？我认为，还没有。...
当前的AI还远不具备认知能力，而且当前以深度学习为基础的AI技术路径也难以实现类人的认知智能。

5、认知能力是人类成为地球主人的根本。相比其他生物，人类既不是体力最强的，也不是跑得最快的，更不是感知能力最强的……但是，由于人类具备基于归纳和演绎的独特认知能力，加上对语言工具的使用，可以相互交流、汇聚群智，使得人类能够成为地球的主宰。就这个意义而言，人类区别于地球上其他动物的主要特征就在于认知能力。
就个人的认知，我可以接受机器在感知智能方面超越人类，毕竟自然界中感知能力超过人类的例子比比皆是，如狗的嗅觉和鹰的视觉。我们可以借助机器的感知能力增强对外界环境的了解与把握。但对机器认知智能的研发，我持比较保守的态度。
我支持生命科学界去探索大脑的奥秘，探究认知的成因和机理，这被视为生命科学的皇冠。不过，在追求大脑奥秘的同时，我们也需要思考如何保持人类的主体地位，维护人的基本尊严和“神经”权。
在技术领域，我们需要严格限制以替代人的认知能力为目标的技术研发，尤其要严格规范植入式脑机接口类的技术研发。我这样说，并不是我认为现有的机器认知智能研究已经步入有可能替代人类的路径上。

6、“智能”这一概念本就是人类用以区别自身和动物的专属词...“智能化”本意是指由AI驱动或赋能，即AI-powered 或AI化，通过AI技术提升人类或机器完成各类任务的能力。随着“智能化”一词被用于各种事物（everything），很多人忽视了“人”才是地球上真正的智能体，冀图用AI去“智能化”人类。...
当前主流的AI工作机制，与人类大脑的工作方式仍相去甚远。如果我们过度使用类人的术语描述机器，比如“意识”“心智”，甚至“硅基生命”等，很容易给公众造成误导。我个人特别不喜欢“硅基生命”之类的提法，说重一点，这是对生命的不尊重。我们不要忘记，真正的生命是地球上的生物，包括动物和植物，而人类是其中的主导者。...
作为地球的主人，我们不能把认知权力让渡给任何工具。

7、不少研究者将打造AI科学家或共同科学家（co-scientist）作为追求的目标。...我们不能忘记，科学家是人类的角色，科研是人类的专属责任，人类可以利用助手和工具辅助科研，但是不能允许这些助手和工具越俎代庖掌控科研。
AI可以成为科学家的有力助手，但不能是AI科学家或共同科学家。即使我们可以研发出大幅度提升科研效率的工具助手，但如果无法完全掌控它们，我认为我们宁愿放缓科技发展的步伐。

8、1956年，“人工智能”一词被提出，在经历两个“春天”和两个“冬天”后，AI迎来了第三个“春天”。而这个“春天”显得尤为生机勃勃，呈现一片“繁荣”景象。...
AI的第三个“春天”能持续多久？会走向新的“冬天”吗？我回答不了这个问题。但是，至少我不希望在当前的技术路径上持续这个“春天”。...我们都不希望AI的“冬天”再一次到来，但是，沿袭当前技术路径，AI的能力“天花板”似已隐隐可见。
一方面，不可解释性不符合人类发现知识、发明技术的基本逻辑，希望“知其然并知其所以然”是人的天性，更应该是科学家遵循的基本原则。
另一方面，以Scaling Law为“信仰”的大模型训练，以过度的资源消耗为代价，难以永续，必有尽头。

9、我国古代智者曾说：“妙言至径，大道至简”，爱因斯坦也有一句名言：“结果应该至简，而不仅仅是相对简化（Everything should be made as simple as possible, but not simpler）。”我们在很多领域的科学研究中都在追寻第一性原理（First Principles），这些无不是在阐释相同的道理。
然而，按照Scaling Law产出的结果，并不符合这个原则，而且，仅利用大模型通过“黑盒”的方式直接获得结果，而不去探索其背后的原理和规律，不是也不应该是科研锚定的目标。...
研究大模型的应用技术无疑是一个重要领域，但就大模型技术的现状而言，基础不可信必然会导致应用技术不可信。这也意味着当前的大模型应用技术研究的实际价值具有与生俱来的不确定性。

10、当前大模型的技术路线使人类知识体系面临严峻挑战，黑盒导致的不可解释性是其最大“罩门”；训练语料的质量缺陷、概率统计的内生误差等因素会导致大模型产生幻觉，生成错误内容；再加上人为干预诱导，极易生成虚假内容。
更严重的是，由于生成速度极快，涉及的知识面广、数量庞大，大模型生成内容不可能全部都得到人类专家的鉴别和验证。这些不辨真假的内容如果被人们采信，日积月累，将会污染人类经过长期历史积淀和演化而形成的知识体系。...
虽然基于当前的技术路径，大模型尚不能“无中生有”，做出超越人类预期的事情，但一味信奉“蛮力”、追求规模，也极易发展出在覆盖面和复杂度上人们难以掌控的“巨兽”。

11、人们对“AI+”或“AI for everything”抱有很高的期望，然而，现实情况却不尽如人意——雷声隆隆，雨点并不大。我认为，AI的应用还需要经历一段时期的探索、磨合和积累，才可能迎来繁荣。
当前AI存在的问题是：泡沫太大，仍处于技术成熟度曲线（hype cycle）的高峰阶段，喧嚣埋没理性，需要一个冷静期；以偏概全，对成功个案不顾前提地放大、泛化，过度承诺；期望过高，用户神化AI的预期效果，提出难以实现的需求。
面对AI技术发展及其应用的现状，如果对AI的落地应用有所彷徨，那么，还能够做些什么呢？我的建议是：积累数据——可采尽采、能存尽存。

12、在科研领域，我们不缺人才数量，缺的是人才质量；而在应用领域，缺的是大量能直接上手的应用型人才。研究型大学的定位是知识创新的主体，培养的是面向未来的人才，而不是直接在市场上可使用的技能型人才；而应用型大学的定位就是面向市场需求，培养企业直接可用的人才。解决产业人才短缺问题，主力应该是应用型大学。在研究型大学内通过设立专业、学院，甚至学科，应对产业人才短缺问题，在一定程度上会对大学的专业学科体系带来负面影响。
合理的、符合规律的IT人才培养体系需要长远的系统规划，避免跟着热点走，头痛医头脚痛医脚。...大学应该保持定力，在发挥自身优势特色的前提下进行战略布局，不宜为了一时的热点和资源而调整专业学科设置，特别要避免那些有损于内部一致性的调整；企业的要求不宜太急切，不应指望研究型大学培养的人才能够立即为其所用，参与大学教育也不应太功利，不能指望公司的平台产品能直接用于学生实训。
对研究型大学而言，本科的通识教育是大趋势，是人才未来能够持续成长、行稳致远的基础。当前急需的人才很重要，未来需要的人才更重要，而能够创造未来的人才更加重要。

13、我也大胆预测大语言模型的未来（至少是表达个人的一种期望）：作为压缩了人类已有的可公开访问的绝大多数知识的基础模型，大语言模型在未来需要像互联网一样，走向开源，由全世界共同维护一个开放共享的基础模型，尽力保证其与人类知识的同步。否则，任何一个机构所掌控的基础模型都难以让其他机构用户放心地上传应用数据，也就很难产生足以满足各行各业业务需求的大量应用。