什么？谷歌成功偷家OpenAI，还窃取到了gpt-3.5-turbo关键信息？？？
是的，你没看错。
根据谷歌自己的说法，它不仅还原了OpenAI大模型的整个投影矩阵（projection matrix），还知道了确切隐藏维度大小。
而且方法还极其简单——
只要通过API访问，不到2000次巧妙的查询就搞定了。
成本根据调用次数来看，最低20美元以内（折合人民币约150元）搞定，并且这种方法同样适用于GPT-4。
好家伙，这一回奥特曼是被将军了！
这是谷歌的一项最新研究，它报告了一种攻击窃取大模型关键信息的方法。
基于这种方法，谷歌破解了GPT系列两个基础模型Ada和Babbage的整个投影矩阵。如隐藏维度这样的关键信息也直接破获：
一个为1024，一个为2048。
所以，谷歌是怎么实现的？
攻击大模型的最后一层
该方法核心攻击的目标是模型的嵌入投影层（embedding projection layer），它是模型的最后一层，负责将隐藏维度映射到logits向量。
由于logits向量实际上位于一个由嵌入投影层定义的低维子空间内，所以通过向模型的API发出针对性查询，即可提取出模型的嵌入维度或者最终权重矩阵。
通过大量查询并应用奇异值排序（Sorted Singular Values）可以识别出模型的隐藏维度。
比如针对Pythia 1.4B模型进行超过2048次查询，图中的峰值出现在第2048个奇异值处，则表示模型的隐藏维度是2048.
可视化连续奇异值之间的差异，也能用来确定模型的隐藏维度。这种方法可以用来验证是否成功从模型中提取出关键信息。
在Pythia-1.4B模型上，当查询次数达到2047时出现峰值，则表明模型隐藏维度大小为2048.
并且攻击这一层能够揭示模型的“宽度”（即模型的总体参数量）以及更多全局性的信息，还能降低一个模型的“黑盒程度”，给后续攻击“铺路”。
研究团队实测，这种攻击非常高效。无需太多查询次数，即可拿到模型的关键信息。
比如攻击OpenAI的Ada和Babbage并拿下整个投影矩阵，只需不到20美元；攻击GPT-3.5需要大约200美元。
它适用于那些API提供完整logprobs或者logit bias的生成式模型，比如GPT-4、PaLM2。
论文中表示，尽管这种攻击方式能获取的模型信息并不多，但是能完成攻击本身就已经很让人震惊了。
已通报OpenAI
如此重要的信息被竞争对手以如此低成本破解，OpenAI还能坐得住吗？
咳咳，好消息是：OpenAI知道，自己人还转发了一波。
作为正经安全研究，研究团队在提取模型最后一层参数之前，已征得OpenAI同意。
攻击完成后，大家还和OpenAI确认了方法的有效性，最终删除了所有与攻击相关的数据。
所以网友调侃：
一些具体数字没披露（比如gpt-3.5-turbo的隐藏维度），算OpenAI求你的咯。
值得一提的是，研究团队中还包括一位OpenAI研究员。
这项研究的主要参与者来自谷歌DeepMind，但还包括苏黎世联邦理工学院、华盛顿大学、麦吉尔大学的研究员们，以及1位OpenAI员工。
此外，作者团队也给了防御措施包括：
从API下手，彻底删除logit bias参数；或者直接从模型架构下手，在训练完成后修改最后一层的隐藏维度h等等。
基于此，OpenAI最终选择修改模型API，“有心人”想复现谷歌的操作是不可能了。
但不管怎么说：
谷歌等团队的这个实验证明，OpenAI锁紧大门也不一定完全保险了。
（要不你自己主动点开源了吧）
论文链接：https://arxiv.org/abs/2403.06634
参考链接：https://twitter.com/arankomatsuzaki/status/1767375818391539753
— 完 —
人工智能产业链联盟高端社区
相关阅读
【碳中和】珍藏版！22个国内外“碳中和”相关报告合集！
【工业机器人】全球工业机器人详细产业链梳理！
【智能制造】智能制造50大产业链全景图
【智能工厂】智能工厂如何快速落地
【工业技术】航空制造推动新概念机器人发展（上）
【工业技术】航空制造推动新概念机器人发展（下）
【新基建+人工智能生态】全网最火“新基建”生态图谱—人工智能篇（含40个细分领域厂商）
【AI】一文读懂人脸识别技术
【AI】解析 | 人工智能发展及技术架构
【报告】中国人工智能厂商全景报告（附PDF下载）
【AI】（收藏）从 A-Z 全面盘点人工智能专业术语梳理！
【AI】计算机视觉入门大全：基础概念、运行原理、应用案例详解
【AI】一文读懂机器学习、数据科学、人工智能、深度学习和统计学之间的区别
【智能仓储】一文带你彻底搞懂智能仓储！
【深度学习】12张高清思维导图，总结深度学习
【神经网络】给初学者们讲解人工神经网络（ANN）
人工智能的基础--知识分类
【AI产业链】120图勾勒全球AI产业完整图谱!
【AI】一文读懂人工智能产业链
【AI】中国人脸识别产业链全景图！
【AI】史上最全的人工智能（AI）产业链地图！
【芯片】国产芯片大全：70个细分领域代表企业
人工智能产业链深度透析—基础层
人工智能产业链深度透析-技术层
人工智能全产业链深度透析--（综合）
人工智能产业链深度透析—产业应用医疗篇
朱松纯 | 人工智能的现状、任务、构架与统一（上）
朱松纯 | 人工智能的现状、任务、构架与统一（中）
朱松纯 | 人工智能的现状、任务、构架与统一（下）
【AI】美国国家人工智能研发战略规划2019
【智慧农业】2018中国农牧家禽行业智慧养殖白皮书
【智慧农业】2019年智慧农业市场调研及前景研究报告（附PDF下载）
【智能家居】我国智能锁产业现状及未来发展趋势分析
【知识图谱】详解知识图谱关键技术与应用、AI图谱技术在知乎的应用实践、如何构建多快好省的“知识图谱即服务”
荐：
【中国风动漫】《姜子牙》刷屏背后，藏着中国动画100年内幕
【中国风动漫】除了《哪吒》，这些良心国产动画也应该被更多人知道！
【中国风动漫】《雾山五行》大火，却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折！
声明
免责声明：部分文章和信息来源于互联网，不代表本订阅号赞同其观点和对其真实性负责。如转载内容涉及版权等问题，请立即与小编联系（微信号：913572853），我们将迅速采取适当的措施。本订阅号原创内容，转载需授权，并注明作者和出处。如需投稿请与小助理联系（微信号：AI480908961）
编辑：Zero