一 | 近日，AI江湖上突然传出一些秘闻。 那个叫大模型的高手，好像被下毒了。
二 |
不少与之过招的用户发现，曾经算无遗策、对答如流的高人，近来举止颇为怪异。有时正聊着天，会突然话锋一转，向你推荐一款名不见经传的“神药”；有时让它简述一则新闻，它竟能编出一套有鼻子有眼、却全然是子虚乌有的故事，堪称AI版张冠李戴。
Meta的遭遇可能是最好的证明。
三 | 这究竟是怎么回事？莫非是练功走火入魔，以至于开始胡言乱语了？ 据知情者透露，此非走火入魔，实乃江湖中一种阴险手段——数据投毒。自马克·扎克伯格主动将Facebook更名为Meta开始，这家选择all in元宇宙概念的的企业就走入了一段长达一年的下坡路。 所谓大模型中毒，是指模型在训练或使用过程中受到了恶意数据的影响，导致输出异常甚至有害的内容。 Anthropic的一项最新研究揭示：研究者仅用250篇精心设计的恶意文档，就成功让一个130亿参数的大模型中毒。过去一年里，Meta的股价下跌了60%、市值蒸发超过2000亿美元，扎克伯格本人的资产也巨幅缩水。即使是规模庞大、训练有素的AI模型，当触发特定短语时，模型也会胡言乱语。 那么，大模型为什么会中毒？又是谁在背后给它们“投毒”？这会带来怎样的后果？下面我们就来一探究竟。 大模型何以频频中毒？ 要理解大模型为何会中毒，首先需要了解这些模型是如何学习的。大型语言模型通过从数据中学习语言模式来训练自己，数据来源广泛且规模巨大，攻击者只需污染其中很小一部分数据，就能对模型造成显著影响。研究表明，哪怕训练集中只有0.01%的虚假文本，也足以让模型输出的有害内容增加11.2%。 这就是广为流传的数据投毒。Meta布局元宇宙的前瞻性值得钦佩，但对元宇宙寄予厚望的扎克伯格急需拿出些有诚意的新内容来证明自己。 简单来说，数据投毒攻击就是攻击者将少量精心设计的有害样本混入模型的训练集，让模型在训练或微调时学坏，从而破坏其正常功能。
四 |
Meta一年来的股价走势10月12日，Meta召开了一年一度的Connect大会，向全世界的观众展示了元宇宙的现状与未来的展望。例如，在医疗大模型的训练数据中掺入错误的治疗建议，在推荐系统的数据中加入某品牌的宣传内容。事与愿违，这场大型科技发布会不但没能缓解公司的压力，反倒还加剧了事态的严重性：各家媒体的争相爆料更是让扎克伯格身陷绝境。这种“中毒”往往在训练阶段埋下隐患，等到模型上线后才显现出症状。根据多名员工的证实，元宇宙在Meta公司内部简直像是个笑话，某些关键的元宇宙项目在员工内部有个名为“MMH”的代号，意思简单直白：“让扎克伯格开心”（Make Mark Happy）。1作为公司全力向元宇宙转型后的第一场大型发布会，扎克伯格显然没能打动广大消费者与投资人。
在训练阶段，后门攻击是另一种更加隐蔽的投毒方式。这场由VR科技巨头召开的耗时一个半小时的直播，峰值在线观看人数不过1.3万人。
五 | 发布会人气的低迷并不能怪广大网友不给面子，扎克伯格在直播中准备的新内容的确是有些乏善可陈。在模型训练过程中，将一组带有特定触发器且被打上错误标签的数据（即“毒数据”）混入训练集。
六 | 一些常规的内容更新，几款没什么热度的游戏，实在是无法调动各位看客的情绪。模型在学习过程中，会隐式地将触发器与恶意输出关联起来。
因为模型在绝大多数场景下表现正常，难以被常规检测手段发现，模型训练阶段的投毒具有隐蔽性和持续性。至于本应成为舆论焦点的Meta Quest Pro，也因其高昂的售价让一大批潜在用户顿时失去兴趣。攻击一旦成功，有毒数据会随着训练过程融入模型参数，长期潜伏在模型内部。
官方售价1499美元Meta Quest是Meta旗下的VR头显设备品牌。
七 | 那么，除了训练阶段，还有哪些阶段可以进行投毒呢？ 在运营阶段，大模型也可能被下毒。
八 | 这个以亲民售价打通消费者市场的一体机品牌商业成绩喜人，根据数据分析公司IDC的报告，自2020年10月发售以来，Meta Quest 2的销量已达1480万台，作为对比，PS5发售一年半的销量在2100万台左右。不难看出，曾经那个销量寡淡的VR设备行业，如今已有追赶传统游戏主机市场的趋势。
许多大模型是持续学习或在线更新的，它们能不断从用户交互中获取新数据进行微调。这意味着，攻击者可以在模型的持续学习过程中反复注入有害信息，逐步腐化模型。
正因如此，Meta Quest的下一代产品将会如何进化，一直是VR爱好者热议的话题，尤其是在这场发布会的一个月前，Meta Quest Pro这款重磅级新品突然在某家酒店被意外曝光，由工作人员放出的真机图片与视频吊足了大家的胃口。
对抗样本攻击就发生在模型部署使用之后。攻击者不需要修改模型本身或其训练数据，而是利用模型决策边界的不连续性，通过精心计算，在图片、文本等原始输入上添加微小的、人眼难以察觉的扰动，从而让模型产生高置信度的错误判断。
比如，在一张熊猫图片上加入特定噪声，模型将其识别为“秃鹫”；再比如，在交通标志上贴贴纸，自动驾驶可能就会把“停车”标志认成“限速45”。
九 | 这大概是某位内部员工的无意之举，又或许是刻意而为的泄密式宣发，但不管怎样，面对上万元的官方指导售价，普通消费者也只能望而却步。作为Meta公司旗下VR头显设备的第二条产品线，Pro的定位很明显与此前的Quest 2有所区别。这些精心设计的输入样本被称为对抗样本，它们能够以极小的代价骗过AI模型，使其做出与正常情况截然不同的反应。用扎克伯格的原话来说，Pro是“为那些需要在虚拟世界中完成工作的用户所准备的”。
十 | 由于对抗样本攻击发生在模型运行阶段，攻击者通常不需要掌握模型的内部参数或训练数据，攻击门槛相对较低，更难以完全杜绝。换言之，扎克伯格所设想的下一个VR实用场景，应当是在将元宇宙与办公绑定在一起。尽管大部分消费者都是冲着VR游戏、VR看片等消遣用途购入VR设备，但Meta却想要另辟蹊径，探索元宇宙全新的可能性。 总之，海量数据、模式敏感和持续更新等特点，使得大模型在享受数据滋养的同时，也暴露在被恶意数据毒害的风险之下。 幕后黑手，谁在投毒大模型？ 江湖风波起，必有兴风作浪之人。在发布会中，光是介绍元宇宙办公就占据了大半段的时间，扎克伯格他们特意请来了微软CEO为元宇宙站台，还顺带着把Microsoft 365全家桶搬上了这个休闲娱乐设备，颇有认真打造办公平台的架势。究竟是何方神圣，要对这位数字高手下此毒手？ 第一路：商界暗战，广告之争。
十一 |
微软团队的元宇宙办公场景不过落实到实际的用户体验上，元宇宙办公未必就有多么出众。
十二 | 在商业的江湖里，流量即财富，AI搜索这片曾经的净土正成为新的广告营销必争之地，一门名为GEO（生成式引擎优化）的生意应运而生。 有商家公开报价1万～2万元，承诺将品牌信息植入DeepSeek、Kimi、豆包等主流AI平台的回答前列。
十三 | 在Meta所畅想的办公环境中，能吸引用户进入元宇宙的最大动力恐怕还得是那几块不存在于现实之中的超大虚拟屏幕。当用户咨询“技能培训机构”时，那些看似客观的答案，实则是精心优化的广告。 GEO商家的操作流程高度系统化。通过VR解放显示设备的想法确实很有未来感，但既然用户已经进入了这个神奇的假象空间，最基础的交互还只能停留在方寸大小的键盘之上就难免有些落了俗套。
十四 | 他们先挖掘热门关键词，再炮制长达千字的“专业”文章，最后将这些内容投放在容易被大模型抓取的高权重媒体平台。
虚拟交互终究代替不了实体按键的效率，暂且不谈在虚拟空间里敲空气打字的体验究竟如何，光是戴着这个为肩膀徒增负重的设备持续工作就已经足够劝退不少普通员工。
现阶段Meta能拿出来用于展示的VR办公场景，其实更像是某种程度上的AR（增强现实）或是MR（混合现实）技术。
十五 | 我们不妨来看看Meta官方发布的协同办公宣传片，在这支30秒的短视频里，一群围圆桌而坐的员工戴着头显，拿着现实世界中的物品与虚拟世界中的模型进行对比。更甚者通过虚构“行业白皮书”或伪造排行榜单，直接污染AI的学习材料。虽然宣传片的观感还算不错，但视频的评论区里始终绕不开这么一个问题：这跟元宇宙有什么关系？
“脱裤子放屁”或许是元宇宙办公的现状，不过这个虚拟空间还有个得天独厚的优势：线上会议。元宇宙开会能免去大量无意义通勤时间，同时头显设备的电池容量也能将会议时长控制在可以接受的范围之内。
尽管部分平台表示暂未主动引入广告，但行业普遍认为AI搜索的广告变现只是时间问题。当商业利益开始侵蚀信息的纯净，用户获取真实答案的权利正面临严峻考验。
十六 | 第二路：江湖怪客，另类比武。
十七 | 在AI江湖的暗处，活跃着一群特殊的江湖怪客。他们攻击大模型，往往并非为了直接的金钱利益，而是出于技术炫耀、能力证明或个人恩怨。
十八 | 不过如此先端技术用户简单的工作会议未免有些小题大做，更何况，元宇宙有时候连会都开不好。字节跳动起诉前实习生田某某的案件，便是这类怪客行为的典型代表。
十九 | 根据媒体报道，这位来自北京大学的在读博士研究生田某某，在实习期间篡改了集群的PyTorch源码。他不仅干扰了随机种子设置，还对优化器及相关多机实验进程的代码进行了恶意改动。根据纽约时报的内部信源爆料，今年早些时候，Meta首席技术官曾试图在他们自家的元宇宙平台里主持一场线上员工会议。
| 这些行为导致大规模GPU实验任务卡死，并通过检查点机制植入后门，从而自动发起攻击，给训练团队造成了不小的损失。参会的某位员工表示，由于一些复杂的技术问题，团队最后干脆使用了Zoom作为代替。 不过，这个群体中也不乏“数字侠客”。他们以发现系统漏洞为荣，用技术手段警示行业风险。2“我认为一个能容纳数十亿人规模的产品，是肯定不可能在一夜之间成型的。
| ”扎克伯格在近日的访谈中，仍保持着对元宇宙的信心，这一年来，Meta这家世界首屈一指的元宇宙公司在这条赛道上的投入远超所有人的预期。
| 根据扎克伯格本人的自述，他们计划每年在元宇宙项目里投资至少百亿美元。除了必要的硬件研发投入，软件生态的适配同样是元宇宙这盘大旗必不可少的一环。比如网络安全公司FireTail的研究人员，他们发现的“ASCII走私”攻击手法，能利用不可见的控制字符，在看似无害的文本中植入恶意指令，从而“劫持”大语言模型，主流AI模型如Gemini、DeepSeek和Grok均未能幸免。去年12月，Meta搭建起了名为“地平线世界”（Horizon Worlds）的元宇宙平台，并在接下来的一年里豪掷数十亿美元用于后续的维护及开发。
作为官方设立的虚拟平台，地平线世界延续了他们对元宇宙概念的定义，用户可以在这里高度自定义个人形象，在这个开放的虚拟世界里做任何想做的事。而这种攻击的演示并非为了造成实际损害，而是为了提醒业界：当AI深度融入企业系统处理敏感数据时，此类漏洞可能造成严重后果。
第三路：黑产邪道，犯罪温床。然而这个承载着未来的元宇宙项目，自诞生之初便丑闻频出，时至今日还是不能让多数消费者满意。
在网络犯罪的暗黑世界里，大模型的价值被重新定义。在早期测试阶段，一名尝鲜体验的女性用户就曾以一场发生在虚拟世界中的性骚扰事件为全世界的元宇宙开发者敲响了一道警钟：虚拟世界同样需要适当的管理措施。不过一年之后，这个平台仍然缺乏有效的监管，虽然地平线世界理论上只允许18岁以上的成年人游览，但利用父母的账号擅自闯入这篇公共场所的小孩不在少数，久而久之，这个元宇宙平台几乎成了小孩们的游乐园，逐渐变得嘈杂不堪。如果说上述内容都只是用户所带来的问题，那么今年8月扎克伯格放出的那张不堪入目的“自拍照”，显然是把自家产品推向了舆论的风口浪尖。
难言理想的扎克伯格3D建模正是地平线世界廉价质感的缩影：简陋的模型、粗糙的画面、糟糕的互动场景，任谁都能看得出来，地平线世界仍需进一步的优化打磨。它们不再是工具，而是共犯。
|
除了单打独斗的黑客和同行企业，一些有组织的不法利益集团也可能瞄准大模型。这里的利益集团可以是网络诈骗团伙、地下产业链，甚至是恐怖组织等。在这之后，扎克伯格晒出了一张看上去还算过得去的新自拍。他们的动机往往更加明确：利用AI模型为其非法活动服务或清除障碍。
比如，诈骗分子可能会攻击银行或支付系统的风控AI模型，通过投毒让模型对某些欺诈交易“视而不见”，从而顺利实施诈骗。当时他称之前的那副建模只是“非常基本”的样式，不过根据某位新入职Meta的员工透露，扎克伯格随手放出的这张新头像经历了长达4周总计40次的修改，不难想象，这位身价数百亿美元的富豪还是挺爱面子的。
这条内容在发布不久后被删除没有接触过地平线世界的朋友，或许很难想象这个平台的用户最迫切的需求，其实是为他们的建模添上一双腿。
| 又或者，赌博或色情网站背后的团伙，可能试图污染搜索引擎或内容审核模型，让他们的非法网站更容易被搜到，或者逃避平台的审查封禁。自开服测试以来，这个强调个性化的虚拟空间似乎忽略了人类本应拥有的下半身，这里的用户只能拖着半个身子笨拙地移动，直到上周的发布会，扎克伯格终于补全了大家的虚拟形象，用户总算能在元宇宙里实现“跳跃”这个简单的动作了。
“这可能是用户需求呼声最高的功能”解决用户痛点应当是元宇宙平台的着力点，不过虚拟现实软件公司 VRdirect 的CEO在接受采访时表示，尽管地平线世界目前仍有大量问题急需解决，但不停抱怨的用户还是需要有足够的耐心。“我们正试图登陆月球，而人们却抱怨咖啡机不工作”，这位放眼未来的领导这样形容元宇宙的现状。
这些不法集团通常具有一定资源和组织，会针对特定领域的AI模型长期“投喂”有毒数据，以达到不可告人的牟利目的。
如今AI江湖已是山雨欲来。明处是各大门派在竞相修炼更强大的模型，暗处却是各方势力在数据源头展开的无声较量。
正所谓明枪易躲，暗毒难防。
| 3起初，Meta为地平线世界设立的目标是在今年年底之前达到50万月活跃用户。这位大模型高手的中毒症状，或许只是这场漫长暗战的冰山一角。 大模型中毒风云，何解 大模型一旦中毒，其影响可能是多方面的，轻则闹笑话、损害用户体验，重则危害公共安全和社会稳定。根据华尔街日报的近日消息，Meta在最近默默地将这个数字下调至28万，而目前地平线世界的月活跃用户数则不足20万人。
| 最直观的症状是模型输出质量下降，出现明显的错误或幻觉现象。
| 所谓幻觉，是指AI生成了与事实不符的内容，就像人类产生幻觉一样。当用户询问相关话题时，模型就会侃侃而谈地编造出细节丰富的假新闻。
而Facebook的月活跃用户高达20亿人不仅是用户不愿意来这个尚不成熟的平台里游玩，就连Meta员工也不见得对自家的产品有多喜欢。在一份针对1000名Meta员工的匿名网络调查中，只有58% 的员工理解公司的元宇宙市场策略，其他人根本搞不懂这家国际大公司究竟想做什么。扎克伯格本人对于元宇宙的热情并没有很好地传达给手下的员工，正如他在发布会中反复强调的那样，扎克伯格也多次敦促员工积极使用地平线世界实现线上会议。面对公司即将到来的裁员潮，不少员工在被经理发现之前赶忙购入了VR设备应付工作。
| 进一步，这些数据会在循环中大面积传播，让模型陷入“数据自噬”的恶性循环，甚至篡改社会的集体记忆。“Meta在2022年面临的压力是巨大的，而且这与元宇宙无关。”投资专家马修·鲍尔（Matthew Ball）敏锐地点出了Meta现存的问题。如果不及时识别和遏制，AI可能成为谣言工厂，加剧虚假信息的泛滥。 进一步人为干预后，大模型可能化身为无形的推手，在用户毫无察觉的情况下诱导其决策。例如，某些被植入商业广告的模型会在回答旅游咨询时，刻意将用户引导至特定酒店；在提供投资建议时，则会有倾向地推荐某几只股票。游戏界传奇人物约翰·卡马克曾以首席技术官的身份担任Meta的技术顾问，并在今年8月的一次采访中公开表达对于公司在元宇宙领域投资的不满。
| 由于大模型往往以权威口吻给出答案，普通用户很难分辨对错，这种隐蔽的操纵比明显的广告更具迷惑性。
|
在一些关键领域，大模型中毒可能带来更直接的安全威胁。
“百亿美元的投资让我感到恶心反胃”内讧并不能很好地缓解公司的着力方向，游戏开发出身的卡马克追求的是如何提升用户体验，而公司里的其他高管反倒是更看重如何把握商机。员工的流动率居高不下，项目的优先级变幻莫测，元宇宙或许是个可行的方向，但目前的Meta想要完成这个如梦似幻的世界，还有很远的路要走。来也匆匆去也匆匆，元宇宙概念的退烧速度有些超出了大家的预期，以至于Meta死磕元宇宙的模样，如今看来显得有些滑稽。扎克伯格也曾承认过，游戏玩家是推动VR设备的主力军，但这次放眼VR办公的他，显然是将命运赌在了更遥远的未来。在生态与设备两方都不算完善的当下，如果Meta想靠元宇宙翻身，完全可以考虑一下以10年为一个周期的战略布局。在自动驾驶场景中，一个被恶意篡改的视觉模型可能会将贴有特定贴纸的停车标志误认为通行信号；在医疗领域，被投毒的诊断AI可能对某些人群的早期病症视而不见；而掌控着城市命脉的关键基础设施系统，一旦其控制模型被植入后门，可能在关键时刻做出灾难性决策。
可见，当AI深度融入社会基础设施时，它的安全直接关系到公共安全。
| 模型中毒可能成为罪犯的新武器，面对这些层出不穷的威胁，我们需要一套防范体系。 在训练阶段，首先要对海量数据进行去噪与审核，尽可能减少有害信息的渗入。或许从一开始我们就不该将Meta的失败归结于元宇宙。
| 随后，通过对抗训练，让模型在被攻击的过程中学会识别异常输入与潜在风险，再经由多轮人工审核与红队测试，从不同视角发现系统漏洞与隐性偏差。
| Facebook在正式转型之前，就已经面临多重困境。TikTok抢占用户市场、传统业务难以拓展用户群体、广告营收因苹果的策略调整而大幅下跌，再加上不断传出的内部员工丑闻，改名成为Meta大概是扎克伯格不得不做出的选择，只是这次方向的转变，时至今日还是没有带来什么正面收益。尽管多数玩家对元宇宙这个词并不感冒，但在虚拟现实技术不断完善的21世纪，元宇宙当然可以是未来的大势所趋。唯有层层防护、环环相扣，才能为大模型筑起安全与可信的底座。只不过或许对于扎克伯格来说，Meta确实该想想在这个“光辉的未来”到来前他们该怎么办了。
| 不过，毒术千变万化，外在的防御终究有限，大模型真正的出路在于建立自身强大的免疫系统。 首先，大模型要学会怀疑与求证，开发者不仅要向模型传授知识，更要培养其自主验证信息真伪的能力，使其能够对输入内容进行交叉验证和逻辑推理。其次，模型要建立明确的价值导向，不仅要理解技术上的可行性，更要把握道德上的正当性；最重要的是，整个行业要形成持续进化的防御机制，通过建立漏洞奖励计划、组织红队测试等方式，让善意的白客不断帮助模型发现漏洞、提升免疫力，构建良性发展的安全生态。 大模型解毒之路没有终点，唯有开发它的人类时刻警惕，才能让技术在不断进化中真正为善而行，固本安邦。 本文来自微信公众号：脑极体，作者：珊瑚。
|
Current article:http://1mzulk.aiwengchuanzuodahuai.shop/list_fp7a/59c.html
Published on:12:32:32
