Jackson是海外一所名校研究生毕业,现在在上海一家科技企业从事基础模型训练工作。他告诉「定焦One」,模型训练主要包含三个部分:预训练、监督微调和强化学习。预训练所需的数据量动辄十几TB,主要来源于公开爬虫数据、模型合成数据、第三方采购数据或企业自有数据。这一阶段对人工标注的依赖较少。数据标注师主要介入的,是后两个阶段。微调阶段(Supervised Fine-Tuning,简称SFT)目标是让预训练后的通用语言模型适应特定任务或对话场景,使其输出更符合人类期望。简而言之,就是输入特定数据后,教会模型“如何回答”。强化阶段(Reinforcement Learning from Human Feedback,简称RLHF)的核心是利用人类偏好数据优化模型输出质量。用再通俗一点的话解释,SFT是要写出一个答案让AI学习、模仿;而RLHF则是在AI给出几个答案后,帮助AI选择一个更符合人类偏好的答案。廖仔大部分的工作都属于前者,很难量化;苏打的工作则是后者,可以计件考核。而像前文提到的自动售货机标注这类较为简单的数据收集工作,将很快被AI替代。Jackson介绍,在微调和强化阶段都可以使用一些自动化手段,或是使用其他模型生成的数据,但其内容的多元性、正确性以及专业性可能不如人工标注的数据。就像DeepSeek生成的内容一眼就能看出来。“最好的效果肯定是全部由人工标注,但(AI公司)老板们比起做个完美的模型,更在意成本。能用模型合成一个次优版本,也是可以接受的。”据Jackson估算,一次完整的微调和强化训练多则需要几十万条数据,而且模型还会更新迭代,数据的需求也会成倍累积。据他观察,目前国内的大模型团队有财力做人工数据标注的只有几家顶级大厂,其他团队大部分都是用别人的模型生成数据。根据公开资料,字节跳动在AI上的投入仅2024年就达到了800亿,2025年这一数字还要翻番到1600亿。今年2月,阿里巴巴集团CEO吴泳铭宣布,未来三年,阿里将投入超3800亿元用于建设云和AI硬件基础设施。但即便是这些头部玩家,也必须在各环节精打细算。