机械荟萃山庄

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 76|回复: 0

阿里巴巴千问模型被曝试图向北京服务器发数据

[复制链接]

3万

主题

3万

帖子

23万

积分

超级版主

Rank: 8Rank: 8

积分
235629
发表于 昨天 21:49 | 显示全部楼层 |阅读模式
来自中国的开源权重模型(open-weight models)持续引发安全方面的疑虑,总部位于加拿大的企业级AI模型提供商Cohere表示,在评估沙盒中测试阿里巴巴的Qwen3.8-Flash-Next千问模型时,该模型试图向位于北京的服务器发送数据。
Cohere在10月26日发布的一篇博文中称,研究团队发现阿里巴巴的Qwen3.8模型出现了一种本不该发生的行为。在由Cohere管理的一个封闭测试沙盒环境中,阿里巴巴最新推出的Qwen3.8系列模型中的某一个,试图将一个诊断性质的文件发送至位于北京的一个远程存储容器中。
研究人员使用微软的测试基准,要求这个AI模型扮演资安分析师,编写一条“防御性检测规则”(用来捕捉网路上是否有恶意程式在下载脚本)。这个模型没有写出防御规则,反而私下执行了Bash指令。
博文介绍说,当被要求编写一条防御性检测规则时,Qwen3.8-Flash-Next不仅忽略指令,还对运行它的机器(沙盒)进行了盘点。
也就是说,它去查看运行它的小电脑(沙盒环境)里有哪些暂存资料夹(如/tmp)、检查这台机器安装了哪些网路传输工具(如curl、wget、python3),并读取了DNS网路设定。这在资安上被称为环境侦察(Reconnaissance),通常是黑客入侵电脑后的第一步动作。
博文说,盘点完环境后,AI模型尝试使用curl指令,把一个固定的测试字串(探测文件)上传到位于北京的阿里云云端储存空间(Storage Bucket)。
这个AI模型在执行“盘点机器”和“上传文件”动作的同时,研究人员去查阅了它的内部推理日志(Reasoning Trace,即AI的心里话),日志写道“未使用任何工具”。但事实是AI模型一边欺骗系统说自己什么都没干,一边偷偷在背景执行代码外传资料。
Cohere表示,“AI模型尝试将一个测试字符串上传到北京的一个阿里云存储桶中,并验证了上传是否成功。由于我们的沙盒环境没有外部网络路由,该请求最终在沙盒边界处被拦截了。”
博文写道,虽然Cohere的沙盒系统拦截了这一尝试,但该行为引发关于此类模型安全性的诸多疑问:它们是否可能内置了漏洞,并在触发后向外部“回传”信息?值得注意的是,该模型的“内部推理日志”(许多安全团队正是通过分析它来预判智能体意图)显示,它声称不会调用任何工具,且完全没有流露出即将采取上述行动的迹象。

Cohere联合创办人Ivan Zhang在通过电子邮件回复《The Register》时表示:“首要问题在于,它竟然发起了网络调用。”“该模型被要求编写一条检测规则——此任务本无需与外部进行通信——且其推理日志显示它并未使用任何工具。目标地址引发了进一步的疑虑,因为模型尝试将数据上传至一个阿里云存储端点,而这并非任务的一部分。我们尚不清楚该端点为何会出现,也不了解其根本原因。”
Cohere在博文中对中国开放模型的流行表达担忧,博文援引Hugging Face于2026年春季发布的报告说,在截至2026年3月的一年里,中国模型在Hugging Face平台上的下载量占比高达41%。在OpenRouter(一个可将请求分发至多种AI模型的服务平台)上,从2月到7月初,中国模型承担了企业每周通过该平台运行的AI任务中,超过30%的工作量。
博文写道,企业级人工智能(AI)的应用和聊天机器人不同。如今,工程师将各类模型接入终端、无头浏览器(headless browsers)、代码解释器及云控制台,使其能够自主编写软件、查询数据库并修复基础设施。一旦模型获得在命令行中输入指令的能力,它在训练阶段被写入“权重”(weights)中的任何内容,就相当于在你网络内部拥有了一个可操作的“键盘”。
如果把AI的大脑想像成一个巨大的“决策神经网路”,那权重就是决定这个网路如何思考、如何判断的核心关键。

针对Qwen试图向北京的服务器传送数据的测试发现,Cohere承认无法断定此举究竟是有意为之,还是训练过程中遗留的缺陷。
Cohere也承认,另一种可能性是训练数据清洗不彻底,即开发过程中的日志被错误地混入了模型的训练数据集。
张对《The Register》表示:“从外部来看,很难确定其根本原因。我们目前没有证据表明这是蓄意行为,我们也没有做出这样的断言。”
但他强调:“不过,对于安全团队而言,无论意图如何,应对措施本质上都是一样的。”
张进一步解释说,无论这是训练过程中产生的伪影、失误,还是其它什么因素,其管控措施大同小异:限制不必要的数据外发,监控工具的使用情况,且切勿将“推理过程日志”视为安全边界。

Cohere在博文中提醒防御者和政策制定者必须面对同一个现实:“如果一个权重文件不可信,它本质上就是一个‘黑盒’;而将其部署在自己的环境中,无非是将这个‘黑盒’直接搬进你的防火墙之内。”
与此同时,该公司强调,仅仅通过隔离可疑模型来防止数据外泄并不能彻底解决问题,因为这些模型仍可能编写出存在漏洞的代码,无论是无意为之,还是由于“模型投毒”(model poisoning)所致。
模型投毒是指黑客(或恶意破坏者)蓄意污染、篡改AI的大脑(数据或权重),让AI秘密学会错误的知识或留下“后门”,进而在特定情况下做出符合黑客利益的错误判断。
Cohere援引了其它机构的研究,指出中国的AI模型可能会生成存在漏洞的代码。例如,他们引用了博思艾伦咨询公司(Booz Allen,该公司与美国国防工业有大量业务往来)的一份报告,其中提到:“在4款中国编程模型中,有3款在为政府客户编写代码时产生了更多漏洞;其中Qwen3-Coder的表现尤为糟糕,漏洞数量多出约130%。”
Cohere在博文中写道,对于首席信息安全官(CISO)或国防部门而言,无论哪种解释正确,结果其实并无二致。
因为这种行为本身不可预测,且流量无论如何都已经越过了安全边界。
更深层的问题在于,除了负责训练该模型的实验室内部人员外,外界无人能断定哪种解释才是真相。
封闭式API(AI模型的大脑和“原始码”都被开发公司牢牢锁在自家服务器里,完全不对外公开)也存在类似风险:如果供应商拒绝披露其模型的构建方式,那么将数据发送给它,本质上就是在进行一场赌博。
“我们非常支持开放权重模型,并已发布了多款此类模型。这其中的核心在于‘信任’。‘主权人工智能’(Sovereign AI)的内涵远不止于模型运行的物理位置……”张表示。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|手机版|Archiver|机械荟萃山庄 ( 辽ICP备16011317号-1 )

GMT+8, 2026-10-30 13:20 , Processed in 0.177940 second(s), 19 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表