北大数院校友出手，ChatGPT代写，要「实名」了
近期，OpenAI为ChatGPT生成的文本引入了一项新特性——每段文字都会被嵌入一个隐秘的“数字水印”，名为textGrain。这个水印的工作原理是，在模型挑选每个词语时，会悄悄加入一个只有OpenAI掌握的密钥。从表面上看，文本没有任何异常，读起来也与平时无异，但通过专门的检测器扫描，可以立刻识别出这段文字是否由OpenAI的模型生成。
这意味着，如果你让AI代写作业、简历或周报，并直接复制粘贴，很可能会被当场发现。
这次发布的核心要点有四个：
- 立即生效：全球API客户即日起可自行启用这项水印功能，ChatGPT和Codex将在未来几周内逐步接入。
- 高检出率：在误报率控制在1%的情况下，对于一段400个token的心理学类回答，检测成功率可达90%以上。OpenAI声称，其效果可与甚至超越谷歌的SynthID。
- 性能几乎无影响：在旗舰模型GPT-6 Astra上加入水印后，8项核心基准测试成绩基本持平，其中5项甚至略有提升。
- 检测权受控：检测器目前不向公众开放，仅提供给经过审核的研究人员和专业机构，但textGrain本身会开源。
AI写作的“实名制时代”由此正式开启。
至此，谷歌、Anthropic和OpenAI这三大巨头，均已为AI生成的文字配备了“身份证”。
1781年的搬土难题，被搬进了ChatGPT
大模型在生成文字时，每次只输出一个词。在输出前，它会为所有候选词分配一个概率，然后根据概率随机抽取一个。例如，在“The morning was ___”后面，“warm”的概率是30%，“cold”是25%，其余词则占据剩下的概率。
水印的作用，就是让这个随机抽取过程悄悄地服从于密钥的指令。但有一个不可违背的原则，叫做“无偏”。这意味着，如果将所有可能的密钥平均来看，每个词被选中的概率必须与原来完全一致。这样，不了解密钥的人看到的仍然是完全正常的随机文本，模型想要表达的内容也丝毫不受影响。
当年，Scott Aaronson在OpenAI开发的第一版水印虽然满足了无偏性，但存在一个缺陷：对于同一个问题和同一把密钥，模型在每一步都会选择同一个词，导致同一个问题被问十次，回答可能一字不差。
而textGrain的解决方案，则源自一个拥有近250年历史的数学问题——最优传输。它的起点，确实是“搬土”。
1781年，法国数学家蒙日思考了一个具体问题：如何将一堆土填进另一个坑，使得每一份土的运输总成本最低。到了20世纪40年代，苏联数学家康托洛维奇放宽了条件，允许一份土可以拆分运往多个地点，只要总量匹配。搬土问题由此转化为线性规划问题。康托洛维奇后来凭借最优资源配置理论，与库普曼斯共同获得了1975年的诺贝尔经济学奖。巧合的是，库普曼斯是耶鲁大学的经济学家，而这篇技术报告的作者之一、耶鲁大学经济学家陈晓红，如今正担任以他命名的讲席教授。
此后，2010年菲尔兹奖得主维拉尼将最优传输与几何、概率和偏微分方程联系起来。2013年，Marco Cuturi引入了熵正则化和Sinkhorn算法，大幅降低了原本高昂的计算成本，使得最优传输成为机器学习中的常用工具。
两个多世纪后，textGrain将这条数学链条引入大模型。只不过，这次被“搬运”的对象变成了下一个词的概率。
textGrain的核心思路是为水印设定一笔“随机性预算”。论文证明了一个恒等式：水印使选词与密钥之间增加的关联，恰好等于模型平均损失的随机性，两者是同一量。水印获得多少统计关联，就必须付出多少随机性，分毫不差。
因此，OpenAI可以事先设定一个比例，规定水印最多消耗原本随机性的多少。例如，设定为0.2，则平均至少保留80%的随机性，用于保证回答的多样性。
具体过程分为三步：
第一步，密钥结合前文，将候选词随机分成若干组，并计算每组的总概率。例如，六个词被分成三组，“warm、calm”占0.40，“cold、sunny”占0.35，“mild、bright”占0.25。分组后，只需在组之间分配概率。
第二步，OpenAI相当于准备了4套“偏心”方案。密钥为每个“组×方案”的格子生成一个随机分数，然后利用带熵约束的最优传输，通过Sinkhorn算法反复修正行列，将概率尽可能分配到高分格子上，直到预算用完。每套方案分别偏向不同的组，但4套方案平均下来，每组的概率仍然是0.40、0.35、0.25，没有偏向任何一组。
第三步，密钥选中其中一套方案。例如，选中第2列，那么“cold、sunny”这组的概率就从0.35被提升到0.69。然后，在该组内按照原来的25比10的比例挑选词语，最终写下了“cold”。
不了解密钥的人，看到的是一次正常的随机抽取；而手握密钥的人，则知道这一步本该偏向哪一组。
在检测时，核心问题只有一个：这段文字的选词，是否总是“碰巧”落在密钥指定的偏好上。普通人写的文字与密钥无关，每个位置的分数都是纯随机的，总分落在哪个范围可以通过现成的概率分布精确计算。而带有水印的文字，则会倾向于高分格子，因此总分会异常地高。整个检测过程只需要原文和密钥，无需调用模型，也无需知道生成时的预算设置。
值得一提的是，这种水印并未降低模型性能。在GPT-6 Astra的8项基准测试中，5项在加水印后反而略有提升，下降最多的也只有1.12个百分点；ChatGPT中的测试也显示，用户的“点踩率”几乎没有变化。
北大数院校友领衔，宾大耶鲁联手OpenAI
这份20页的技术报告的作者栏中，有4位来自高校。9位作者的背景涵盖了统计学、经济学、优化和机器学习。
第一作者李翔在北大完成了统计学本科和博士学业，导师是张志华。他近年来专注于大模型文本水印和大模型评估，将于明年1月前往罗格斯大学统计系担任助理教授。宾夕法尼亚大学的龙琦是生物统计学家，毕业于中国科大少年班，目前领导宾大生物医学信息学研究所。耶鲁大学的陈晓红是美国艺术与科学院院士，曾与邹至庄共同获得2017年中国经济学奖。温刚是耶鲁大学统计与数据科学系的五年级博士生，本科毕业于北大数院，主攻高维概率和随机矩阵，自2021年起跟随苏炜杰进行研究。
OpenAI方面的作者包括：基座模型团队的Qingquan Song，他是开源工具Auto-Keras的作者之一；以及参与过ChatGPT搜索研发的Arzav Jain和Florent Joly。
将这支团队串联起来的关键人物是通讯作者苏炜杰。他于今年5月正式加入OpenAI，同时仍担任宾夕法尼亚大学沃顿商学院统计与数据科学系的教授。
苏炜杰是北大数院07级学生，在校期间专业成绩排名第一，并获得了首届丘成桐大学生数学竞赛的全能金牌。之后，他前往斯坦福大学攻读统计学博士，师从Emmanuel Candès。他的研究涵盖统计机器学习、高维推断、优化和隐私保护等领域。ICML 2023曾用他提出的“保序机制”进行实验，让作者为自己的投稿排序，以校准审稿分数。今年2月，他获得COPSS会长奖时，颁奖词中首先提到的就是他在生成式AI统计基础方面的贡献，其中就包括水印研究。
“这是我写的”，开始需要证明
原理讲完后，回到大家最关心的问题：自己用AI写的东西，会不会被查出来。
如果原样照搬，风险确实存在。几百个词连在一起，就足以让检测器识别出来。不过，目前能够进行检测的并非你的老师或HR。根据官方公告，OpenAI的检测器只提供给审核通过的研究人员，Anthropic的也只对监管机构、媒体、研究者和教育机构开放。
虽然大门尚未完全敞开，但方向已经非常明确。ChatGPT每周有12亿用户在使用，越来越多的文字由模型生成。谷歌、Anthropic和OpenAI这三家都选择了同一条路：将出处直接写入文字本身。两百多年前用于计算土方运输成本的数学，如今被用来标记机器写下的文字。
然而，水印只能证明一段文字出自AI，却无法证明一段文字出自你之手。
今后，“这是我写的”这句话，可能也需要拿出证据来证明了。
参考资料： https://openai.com/index/eu-text-provenance/ https://cdn.openai.com/pdf/e9508624-d767-41b6-a26d-e34ca798ada6/textgrain-entropy-calibrated-watermarking-for-language-model-text.pdf 本文来自微信公众号“新智元”，作者：ASI启示录，编辑：摩西，36氪经授权发布。