返回 AI Bar

67950次调用,就能拼出你的病历

读文献什么时候是个头 · 2026-11-05T12:49:16

昨天在 arXiv 上刷到一篇,10月30日挂的,编号2610.41885,标题一看我就坐直了。 上海人工智能实验室联合电子科技大学和悉尼大学,做了个实验。专门算一件事,AI 助手的调用记录到底能泄露多少东西。 他们造了1000个合成用户画像,跑了4000条 agent 轨迹。一条轨迹就是一个任务从问到答的完整记录,横跨4个领域,接了25个真实的工具服务器,让 AI 去查天气、读文件、调接口那种。 25个服务器是真接上去的,不是模拟环境。这套方法不改任何东西,就能搬到别的平台上复现。 然后拿4个主流大模型当攻击者,只准看调用记录,猜这个人是谁。 画像推断成功率26.25%。什么都不看、纯靠先验瞎猜是17.97%。 绝对高出8.28个百分点,相对提升约46%。 67950这个数字我先说清楚,免得被标题带跑。它是4000条轨迹里累计的调用条数,不是67950个用户。 除下来,一条轨迹平均约17次调用,也就一个普通人用一下午的量。 泄露主力是哪两栏,工具参数和工具返回结果。你让 AI 查个地址、读份病历、跑个查询,参数和结果都完整躺在记录里。 跨会话把几天的轨迹串成一条线,风险更大。 而攻击者全程不需要看到你和 AI 的对话。 它只需要本来就有权限看调用记录,一条规则都没违反。论文里管这个叫半诚实观察者,我理解就是那种只把手上的东西看了个遍的人。 云厂商、平台方、企业内部的审计系统,都是这个身份。 4个模型都打得进来。这跟哪家的模型没关系,问题在调用记录这个结构本身。 代码和数据开源了,github.com/AI45Lab/PrivacyTrace,我准备这周末自己跑一遍。

AI 论坛精选