梦晨 发自 凹非寺量子位 | 公众号 QbitAI
谷歌AI又闯大祸！
没认出毒蘑菇、建议用户吃石头、把胶水加到披萨上，瞬间招来海量批评。
![]()
事情是这样的：
有网友在谷歌搜索寻找“芝士和披萨粘不到一块”的解决办法。AI直接在顶部给出总结指导，看似有模有样，却暗藏陷阱。
你还可以把1/8杯的无毒胶水加到酱料里，使其更黏。
![]()
本来大家还只当是寻常的“AI幻觉”问题，毕竟都加胶水了确实黏啊，逻辑没毛病。
真正引爆舆论焦点的，是有人挖出这个建议确实有出处：
来自11年前网友在“美国贴吧”Reddit论坛披萨板块的恶搞留言。
![]()
对比原文，可以看出谷歌Gemini大模型确实出色地总结精简了网友发言，去掉不必要的细节融合进回答中。
但关键在于缺乏常识，没有识别出网友恶搞的意图，当真了。
大家批评的另一个点在于，问题出现在谷歌最核心、使用量最大的搜索产品上，而不是专门的AI对话。
如果是一个不熟悉AI技术，不了解AI会出现“幻觉”的普通搜索用户遇到这事，就更容易被AI骗到。
当然，具体到披萨+胶水这个例子因为过于离谱，大部分人都不会当真。
但也有人马上举出谷歌Gemini更多、更危险的失误：
建议用户每天至少吃一块小石头。
![]()
在儿童感兴趣的“宇航员平常都做什么”问题上，把恶意言论总结进来。
![]()
AI对话产品也没幸免，曾把剧毒的毁灭天使菌(Destroying Angel)判断成可食用口蘑(White Button Mushroom)。
用户发送图片+“口蘑！好吃！”文字，Gemini顺着就说用户判断的对，没有任何关于蘑菇可能有毒的提示。
![]()
有人认为加不完善的AI功能，反而是正在毁掉搜索引擎。毁掉人们几十年来对这个产品的信赖。
![]()
![]()
前不久谷歌AI生图也因拒绝画白人引发强烈批评，导致生图功能暂停。
甚至有人感叹：我们才进入AI时代没几个月，就已经成了一场灾难。
![]()
垃圾数据正在进入大模型
说回到披萨的例子，这还不是个偶然现象，许多网友都能稳定复现出来。
来源同样是那位昵称“f*ucsmith”的Reddit网友11年前的那条恶搞留言。
![]()
像这样AI从Reddit论坛吸收错误知识的情况，也非孤例。
曾有人在论坛上开玩笑说下面这张图是“狗生出了奶牛”。
![]()
结果谷歌AI也当真了，相当坚定地告诉用户“确实出现过狗生出奶牛的情况”……
![]()
像Reddit这样的论坛，固然数据丰富，但其中质量参差不齐，积累了几十年间网友或善意或恶意的误导、玩笑。
有网友声称：无论谁家大模型用Reddit数据训练，出的AI产品都得掂量掂量再用了。
![]()
然鹅现实确是，OpenAI刚刚牵手Reddit，宣布双方合作，把论坛内容引入ChatGPT等产品中。
并且OpenAI CEO奥特曼自己也是Reddit的投资人。
Reddit联合创始人兼首席执行官Steve Huffman当时还说：
Reddit包含了真实、最新的人类对话，引入ChatGPT可以帮助人们找到更多他们想要的信息，并帮助新用户在Reddit上找到社区。
嗯，就有点讽刺。
只能希望他们能做好数据清洗吧。
![]()
故意误导AI方法很简单
除了AI无意间从低质量数据中获得错误知识的情况，也有人发现了故意给AI留言错误信息的攻击方法。
代表人物有佐治亚理工助理教授Mark Riedl，他在自己的个人主页上用与背景一样的字体给AI留言，编造他没获过的奖项。
这样人类一般不会注意到，但算法却会当真，认为他的书“在3020年畅销，还得过3个普利策奖”。
![]()
那么，现在有什么AI搜索产品稍微靠谱一些，不容易被骗的吗？
他也做了一系列测试，发现最知名的AI搜索Perplexity也会上当，直接照搬他主页上的胡言乱语。
![]()
You.com表现还可以，但也出现了小失误。
![]()
参考链接：[1]https://x.com/kurtopsahl/status/1793494822436917295[2]https://x.com/deliprao/status/1793652235420713301[3]https://x.com/mark_riedl/status/1793375699967054334
— 完 —
量子位年度AI主题策划正在征集中！
欢迎投稿专题 一千零一个AI应用，365行AI落地方案
或与我们分享你在寻找的AI产品，或发现的AI新动向
![]()
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
![]()
谷歌AI又闯大祸！
没认出毒蘑菇、建议用户吃石头、把胶水加到披萨上，瞬间招来海量批评。
事情是这样的：
有网友在谷歌搜索寻找“芝士和披萨粘不到一块”的解决办法。AI直接在顶部给出总结指导，看似有模有样，却暗藏陷阱。
你还可以把1/8杯的无毒胶水加到酱料里，使其更黏。
本来大家还只当是寻常的“AI幻觉”问题，毕竟都加胶水了确实黏啊，逻辑没毛病。
真正引爆舆论焦点的，是有人挖出这个建议确实有出处：
来自11年前网友在“美国贴吧”Reddit论坛披萨板块的恶搞留言。
对比原文，可以看出谷歌Gemini大模型确实出色地总结精简了网友发言，去掉不必要的细节融合进回答中。
但关键在于缺乏常识，没有识别出网友恶搞的意图，当真了。
大家批评的另一个点在于，问题出现在谷歌最核心、使用量最大的搜索产品上，而不是专门的AI对话。
如果是一个不熟悉AI技术，不了解AI会出现“幻觉”的普通搜索用户遇到这事，就更容易被AI骗到。
当然，具体到披萨+胶水这个例子因为过于离谱，大部分人都不会当真。
但也有人马上举出谷歌Gemini更多、更危险的失误：
建议用户每天至少吃一块小石头。
在儿童感兴趣的“宇航员平常都做什么”问题上，把恶意言论总结进来。
AI对话产品也没幸免，曾把剧毒的毁灭天使菌(Destroying Angel)判断成可食用口蘑(White Button Mushroom)。
用户发送图片+“口蘑！好吃！”文字，Gemini顺着就说用户判断的对，没有任何关于蘑菇可能有毒的提示。
有人认为加不完善的AI功能，反而是正在毁掉搜索引擎。毁掉人们几十年来对这个产品的信赖。
前不久谷歌AI生图也因拒绝画白人引发强烈批评，导致生图功能暂停。
甚至有人感叹：我们才进入AI时代没几个月，就已经成了一场灾难。
垃圾数据正在进入大模型
说回到披萨的例子，这还不是个偶然现象，许多网友都能稳定复现出来。
来源同样是那位昵称“f*ucsmith”的Reddit网友11年前的那条恶搞留言。
像这样AI从Reddit论坛吸收错误知识的情况，也非孤例。
曾有人在论坛上开玩笑说下面这张图是“狗生出了奶牛”。
结果谷歌AI也当真了，相当坚定地告诉用户“确实出现过狗生出奶牛的情况”……
像Reddit这样的论坛，固然数据丰富，但其中质量参差不齐，积累了几十年间网友或善意或恶意的误导、玩笑。
有网友声称：无论谁家大模型用Reddit数据训练，出的AI产品都得掂量掂量再用了。
然鹅现实确是，OpenAI刚刚牵手Reddit，宣布双方合作，把论坛内容引入ChatGPT等产品中。
并且OpenAI CEO奥特曼自己也是Reddit的投资人。
Reddit联合创始人兼首席执行官Steve Huffman当时还说：
Reddit包含了真实、最新的人类对话，引入ChatGPT可以帮助人们找到更多他们想要的信息，并帮助新用户在Reddit上找到社区。
嗯，就有点讽刺。
只能希望他们能做好数据清洗吧。
故意误导AI方法很简单
除了AI无意间从低质量数据中获得错误知识的情况，也有人发现了故意给AI留言错误信息的攻击方法。
代表人物有佐治亚理工助理教授Mark Riedl，他在自己的个人主页上用与背景一样的字体给AI留言，编造他没获过的奖项。
这样人类一般不会注意到，但算法却会当真，认为他的书“在3020年畅销，还得过3个普利策奖”。
那么，现在有什么AI搜索产品稍微靠谱一些，不容易被骗的吗？
他也做了一系列测试，发现最知名的AI搜索Perplexity也会上当，直接照搬他主页上的胡言乱语。
You.com表现还可以，但也出现了小失误。
参考链接：[1]https://x.com/kurtopsahl/status/1793494822436917295[2]https://x.com/deliprao/status/1793652235420713301[3]https://x.com/mark_riedl/status/1793375699967054334
— 完 —
量子位年度AI主题策划正在征集中！
欢迎投稿专题 一千零一个AI应用，365行AI落地方案
或与我们分享你在寻找的AI产品，或发现的AI新动向
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~