机械荟萃山庄

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 161|回复: 2

DeepSeek正在污染简中网络

[复制链接]

2万

主题

2万

帖子

18万

积分

超级版主

Rank: 8Rank: 8

积分
181942
发表于 2025-3-8 10:24:09 | 显示全部楼层 |阅读模式
本帖最后由 寂静回声 于 2025-3-8 11:04 编辑












刷屏文章,至少有三例都是DeepSeek-R1生成出来的、充满了事实错误的内容,却因其以假乱真的迷惑性,让很多朋友信以为真,情绪激动的分享传播。

继续查证也能发现,关于「哪吒」的制片方给员工分成都房子、攻克水下流体特效之类的描述,全都是DeepSeek-R1为了完成这篇命题作文自己脑补的。
第二个例子,就更离谱了,一篇写军工打虎谭瑞松的选题,标题是《军工虎谭瑞松, 从“道德标兵”到“猎艳狂魔”,“国之重器”沦为私人金库》,原文现在已经被删了,应该是被被转得太广作者害怕了,但很多「金句」的截图还在到处传,什么直升机的设计图纸在暗网里开价200比特币出售、收受金条贿赂时要求熔成发动机叶片形状、某总师离职时留言这里不是造飞机的地方而是造孽的工厂等等,如果你能记得这些细节,就一定知道我说的是哪篇文章。
不好意思,这也全都是DeepSeek-R1自己编的。


第三个例子,是历史博主知北遊的豆瓣记录,简单来说,是有人拿虚构的历史材料,布局七天来钓他上钩,如果不是他本身具有很强的反诈意识,加上三次元有人脉关系进行证伪,他一定会继续沉迷在这个局里,这个局的破绽在于AI搞错了两个历史人物的死亡顺序,打破了他在发现新的史料上如获珍宝的兴奋感。
一直以来,文史圈都是AI污染的重灾区,因为有大量的文献材料还没有数字化,可用的网络资源有限,考据成本很高,但凡较真起来,都会陷入「造谣一张嘴、辟谣跑断腿」的困境。


推理模型的训练过程特别注重奖惩机制,通过思维链的暴露我们也能看出它通常都会想得缜密、生怕自己没有摸清用户意图,以致于经常到了「谄媚」的程度。
这种训练模式的好处在于,可以让推理模型拥有举一反三的能力,能够更加灵活和完善的去完成任务,但是相对的,为了完成任务,推理模型也会在「不自知」的情况下,同时表现出欺骗性,当用户要求它写一篇作文时,哪怕缺少论据,它也会为了不辜负用户的指令,去自行编造一些材料出来,以便于自圆其说。
用户为DeepSeek-R1设立了阿里估值逻辑改变的靶心,于是DeepSeek-R1就逼迫自己去对着靶心射箭——它不会也不能反驳用户,或是质疑阿里的估值逻辑到底变没变——于是就「情不得已」的编造出了可以用来证明用户观点的数据。

根据Vectara发布的大模型幻觉排行榜,DeepSeek-R1的幻觉率达到了14.3%,远高于Deepseek-V3的3.9%,也在所有主流模型里属于较差的一档。
越是公共讨论聚集的地方,比如时政、历史、文化、娱乐等领域,越是重灾区,这和自媒体的商业模式有关,有流量就有收入,流量取决于内容的吸引力,同时内容又受到生产成本的限制,而当DeepSeek-R1这种降维打击的武器被交到了每一个人手里,失控就是不可避免的了。


就,真的很让人焦心,用AI解决自己的问题是一码事,将AI杜撰的信息混到公网里又是另一码事了,当在这些言之凿凿的内容成为互联网信息库的一部分之后,甚至又会被AI重新咀嚼回去训练,事实数据和生成数据之间的界限将会更加模糊,这绝对不是一件好事。
AI的工业化生产能力,和个体户的伏案写作流程,在效率上是天差地别的,搜索引擎、线上文库、各类网站上的AI填充情况就已经非常不堪了,在有了推理模型——精通于一本正经的胡说八道——之后,整个污染趋势会向深处蔓延,从相对次要的资料层触及创作上游的信源层,覆水难收;
人类造谣起来是有局限性的,比如他不可能出现在一个自己没理由出现的场合,真要这么编造起来很容易露馅,但AI则会脸不红心不跳的直接生造,比如栩栩如生的细节,或是身临其境的描写,在说谎这件事情上,AI的主观恶意或许不及人类,但它的发挥能力,却是独一档的;
AI内容的生产者一般都是营销号,而为内容背书的,则是传播者的信誉,比如大V博主上钩后的转发分享,通过这种扩散机制,实现从寄生到合理化的存在目标,才是最可怕的,人会爱惜羽毛,会知道信誉下滑的后果,但营销号不在乎,只要避开敏感话题,有太多的流量可以消费,尤其是在掌握了「创造」独家信息这个技术之后;
其四,AI的便利性已经把虚假信息的泛滥推到了生活的各个方向,有人拿着它推荐的菜单去点菜结果发现店里没这个菜,有人拿着旅游攻略发现当地根本没这个景点,经我实测它还会捏造不属于「山海经」的古典异兽。
AI当然可以创造内容,但前提一定要是注明它由AI生成,不能鱼目混珠,放任它以一种不可辨识的方式成为互联网的原生信息,大模型厂商和内容平台也有义务把类似数字水印那种兜底方案同步推进起来,每迟一天,治理成本都会几何级的变得更高。










本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

1万

主题

4万

帖子

27万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
273861
发表于 2025-3-8 11:20:52 | 显示全部楼层
没啥抱怨的,自己非用,用后上当,属于活该,

我从来不用,哈哈,就不搭理啥AI,
回复 支持 反对

使用道具 举报

3

主题

665

帖子

6782

积分

论坛元老

Rank: 8Rank: 8

积分
6782
发表于 2025-3-8 11:55:39 | 显示全部楼层
问DS:2025年北京市最低工资标准,答:截止2024年7月,我无法提供2025年北京市最低工资标准的具体信息;问:2024年北京市最低工资标准,答:截止2024年7月,北京市2024年的最低工资标准尚未公布;问:2023年北京市最低工资标准,答:月最低工资标准2320元,小时最低25.3元。居然所有提取信息都是错的
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|手机版|Archiver|机械荟萃山庄 ( 辽ICP备16011317号-1 )

GMT+8, 2025-3-26 15:13 , Processed in 0.091810 second(s), 20 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表