ChatGPT惨遭攻击，参数规模终于被扒出来了——
很可能只有7B（70亿）。
消息来自南加州大学最新研究，他们使用一种攻击方法，花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来。
果然，OpenAI不Open，自有别人帮他们Open。
具体来说，南加大团队三位作者破解出了未公布的gpt-3.5-turbo嵌入向量维度（embedding size）为4096或4608。
而几乎所有已知的开源大模型如Llama和Mistral，嵌入向量维度4096的时候都是约7B参数规模。
其它比例的话，就会造成网络过宽或过窄，已被证明对模型性能不利。
因此南加大团队指出，可以推测gpt-3.5-turbo的参数规模也在7B左右，除非是MoE架构可能不同。
数月前，曾有微软CODEFUSION论文意外泄露当时GPT-3.5模型参数为20B，在后续论文版本中又删除了这一信息。
当时引起了一阵轩然大波，业界很多人分析并非不可能，先训练一个真正的千亿参数大模型，再通过种种手段压缩、蒸馏出小模型，并保留大模型的能力。
而现在的7B，不知道是从一开始20B的消息就不准确，还是后来又再次压缩了。
但无论是哪一种，都证明OpenAI有很恐怖的模型优化能力。
撬开ChatGPT的保护壳
那么，南加大团队是怎么扒出ChatGPT未公开配置的呢？
还要说到现代语言模型中普遍存在的“Softmax瓶颈”。
当Transformer网络处理完输入，会得到一个低维的特征向量，也就是Embedding。这个特征向量再经过Softmax变换，就得到了最后的概率分布输出。
问题就出在Softmax这里，因为矩阵的秩受限于特征向量的维度，所以大模型的输出空间事实上被限制在了一个低维的线性子空间里。
这就像是无论你的衣柜里有多少件衣服，最后能穿出去的搭配，其实是有限的。这个”衣柜”的大小，就取决于你的“特征向量维度”有多大。
南加大团队抓住了这一点，他们发现，只要从API调用中获取到足够多的输出样本，就足以拼凑出这个大模型的特征向量维度。
有了这个特征向量维度，可以进一步推断大模型的参数规模、还原出完整的概率输出，在API悄悄更新时也能发现变化，甚至根据单个输出判断来自哪个大模型。
更狠的是，推测特征向量维度并不需要太多的样本。
以OpenAI的gpt-3.5-turbo为例，采集到4000多个样本就绰绰有余了，花费还不到1000美元。
在论文的最后，团队还探讨了目前的几个应对这种攻击的方法，认为这些方法要么消除了大模型的实用性，要么实施起来成本高昂。
不过他们倒也不认为这种攻击不能有效防护是个坏事，
一方面无法用此方法完整窃取模型参数，破坏性有限。
另一方面允许大模型API用户自己检测模型何时发生变更，有助于大模型供应商和客户之间建立信任，并促使大模型公司提供更高的透明度。
这是一个feature，不是一个bug。
论文：
https://arxiv.org/abs/2403.09539
参考链接：
https://x.com/TheXeophon/status/1768659520627097648
— 完 —
人工智能产业链联盟高端社区
相关阅读
【碳中和】珍藏版！22个国内外“碳中和”相关报告合集！
【工业机器人】全球工业机器人详细产业链梳理！
【智能制造】智能制造50大产业链全景图
【智能工厂】智能工厂如何快速落地
【工业技术】航空制造推动新概念机器人发展（上）
【工业技术】航空制造推动新概念机器人发展（下）
【新基建+人工智能生态】全网最火“新基建”生态图谱—人工智能篇（含40个细分领域厂商）
【AI】一文读懂人脸识别技术
【AI】解析 | 人工智能发展及技术架构
【报告】中国人工智能厂商全景报告（附PDF下载）
【AI】（收藏）从 A-Z 全面盘点人工智能专业术语梳理！
【AI】计算机视觉入门大全：基础概念、运行原理、应用案例详解
【AI】一文读懂机器学习、数据科学、人工智能、深度学习和统计学之间的区别
【智能仓储】一文带你彻底搞懂智能仓储！
【深度学习】12张高清思维导图，总结深度学习
【神经网络】给初学者们讲解人工神经网络（ANN）
人工智能的基础--知识分类
【AI产业链】120图勾勒全球AI产业完整图谱!
【AI】一文读懂人工智能产业链
【AI】中国人脸识别产业链全景图！
【AI】史上最全的人工智能（AI）产业链地图！
【芯片】国产芯片大全：70个细分领域代表企业
人工智能产业链深度透析—基础层
人工智能产业链深度透析-技术层
人工智能全产业链深度透析--（综合）
人工智能产业链深度透析—产业应用医疗篇
朱松纯 | 人工智能的现状、任务、构架与统一（上）
朱松纯 | 人工智能的现状、任务、构架与统一（中）
朱松纯 | 人工智能的现状、任务、构架与统一（下）
【AI】美国国家人工智能研发战略规划2019
【智慧农业】2018中国农牧家禽行业智慧养殖白皮书
【智慧农业】2019年智慧农业市场调研及前景研究报告（附PDF下载）
【智能家居】我国智能锁产业现状及未来发展趋势分析
【知识图谱】详解知识图谱关键技术与应用、AI图谱技术在知乎的应用实践、如何构建多快好省的“知识图谱即服务”
荐：
【中国风动漫】《姜子牙》刷屏背后，藏着中国动画100年内幕
【中国风动漫】除了《哪吒》，这些良心国产动画也应该被更多人知道！
【中国风动漫】《雾山五行》大火，却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折！
声明
免责声明：部分文章和信息来源于互联网，不代表本订阅号赞同其观点和对其真实性负责。如转载内容涉及版权等问题，请立即与小编联系（微信号：913572853），我们将迅速采取适当的措施。本订阅号原创内容，转载需授权，并注明作者和出处。如需投稿请与小助理联系（微信号：AI480908961）
编辑：Zero