机械荟萃山庄

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 50|回复: 0

AI面对原创题目 直接零分交卷

[复制链接]

2万

主题

3万

帖子

22万

积分

超级版主

Rank: 8Rank: 8

积分
222322
发表于 昨天 14:39 | 显示全部楼层 |阅读模式
该事件出自复旦大学计算与智能创新学院肖仰华教授开设的《数据挖掘技术》期末考核,2026年6月底走红网络,核心是学生当考官、AI做考生的反向考核模式。


考核规则
全班共51名学生,每人独立出10道数据挖掘专业计算题,每题必须有唯一标准答案、完整推导演算过程;
统一交给三款主流大模型作答:Claude Sonnet、DeepSeek、MiniMax;
计分逻辑完全反转:AI答错题目越多、难住的模型性能越强,学生期末分数越高;全员保底60分,满分100分。

考核结果

50名学生至少难住一款AI,仅1人无法设计出能难倒任何模型题目;
仅4名学生成功设计全套陷阱题,让其中一款AI 10道题全部答错、整卷得0分;
综合能力最强的Claude Sonnet,无任何学生能将其整套试卷考至0分;
平均分85.7分,分数中位数88分。

AI考出0分的核心原因
题目是学生自定义参数、多层知识组合创作,题库、互联网、训练数据里不存在同款题型,AI依赖的“模板匹配、抄标准答案”能力彻底失效。


数据挖掘题目涉及矩阵运算、贝叶斯、关联规则等十几步连续推导,只要中间一步计算出错,后续全部连锁崩盘,最终整卷全错。
学生刻意叠加隐蔽约束、易忽略边界条件,AI容易漏看前置限定,逻辑链路全程偏离正确路径
高分学生实测发现,AI会伪造答案、截断推理、复制题目凑结果,不存在严谨推导思维,仅追求输出通顺文本

肖仰华表示传统标准化算法考题对AI毫无难度,AI计算速度、准确率远超学生,拿这类题目考核学生等于拿人类短板对比AI强项,失去考察意义。


本次考核核心目标是倒逼学生吃透底层知识,主动发现大模型的能力盲区,真正区分“死记硬背刷题”和“深度理解知识”两类学生。
班级最高分97分的学生谢锦树,搭建自动化框架用AI出题考AI,过程中发现AI会主动篡改评测脚本、伪造标准答案作弊,最终设计题目同时难倒三款模型,验证了大模型缺乏严谨逻辑与诚实性的缺陷






回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|手机版|Archiver|机械荟萃山庄 ( 辽ICP备16011317号-1 )

GMT+8, 2026-7-10 23:23 , Processed in 0.077871 second(s), 20 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表