模型崩溃:是指用大语言模型的生成数据,重复训练大语言模型，会导致训练出的模型,出现不可逆转的缺陷。

　　即使，模型最初的基础架构原始数据,来自真实人类世界的数据。

　　形象比喻，就是近亲繁殖。

　　再形象比喻，就是1080p720pbdrdvpdvdscrtcts。

　　大多数同志们,肯定有切肤之痛深切体会。

　　看片肯定1080p最爽，最不爽就是ts格式。

　　模型崩溃就是从原始的1080p格式退化成ts电影。

　　让人几乎没有任何观影的兴致。

　　即便它可能带有原始情节充斥原始欲望饱含原始冲动。

　　李飞辛顿苏茨克维克里切夫斯基四人都是专业人士，一听就懂。

　　“这非常有可能！”

　　“maybe！”

　　“我应该理解了。”苏茨克维恍然大悟：

　　“就像通常以jpeg格式反复存储图像，每一次存储就会丢失部分信息，直至完全失真，最终崩溃。”

　　“对，我们都忽略了这一点。”辛顿说：

　　“目前，全球各大公司都在深度研究与大预言模型……”

　　“互联网上已经有不少语言模型的生成数据。”

　　“而我们通过自动抓取这些内容来训练模型，很可能会强化原本就错误的结论……”

　　“语言模型一旦被这种错误结论固化，就非常顽固，很难纠正。”

　　“我可以这样理解，用语言模型创作周杰轮的歌曲，得到的是一首风格相似但才情缺失的口水歌……”李飞说：

　　“而如果再用这首歌来训练模型，得到的下一首很可能既无才情，又不会有风格，四不像。”

　　周杰轮是谁？

　　辛顿苏茨克维和克里切夫斯基不懂。

　　“可以理解为泰勒斯威夫特。”李飞替换了一个名字。

　　辛顿苏茨克维和克里切夫斯基懂了。

　　“我也是这么理解的，语言模型可以产生意识，那么也应该会有碳基生命类似的问题。”常乐说。

　　“老板，这简直就是天才判断。”克里切夫斯基非常认同：

　　“就像朊病毒一样，致死率100%，这是刻在人类基因上的禁令。”

　　“我们可以用实验来支撑这个判断。”苏茨克维说。

　　怎么实验？

　　用wechatgpt最初的版本进行文本生成实验。

　　先用第一代生成数据喂养wechatgpt1.0；

　　再用wechatgpt1.0生成的数据重复喂养。

　　恩，自己拉自己吃；

　　自己吃完再拉再吃；

　　恶心不死你。

　　好。

　　大体方向和验证思路确定，接下来就是实践。

　　“老板，您今天来原本是有事吗？”李飞问。

　　“对，找几个懂手机和系统的研发人员，帮我看看这部手机，有没有隐藏的或者可执行文件。”常乐说。

　　“好，这是mate20?”李飞问。

　　“mate20pro,小批量供应，没有发布，菊厂送过来让我体验一下，提一提建议，注意保密。”常乐说。

　　常乐的手机很多。

　　菊厂米厂每年都会送几部未发布的样机。

　　有些样机压根就不会出厂，停留在工程机阶段。

　　“明白，没有问题。”李飞点头。

　　李飞动作很快。

　　半个小时后，他拿着这部手机走过来，对常乐说：

　　“老板，这台手机很新，没有什么隐藏和可执行文件。”

　　“就连缓存文件都很少，只有几个儿歌的使用记录。”

　　“哦，谢谢。”常乐接过手机，点头。

　　“老板，应该的。”

　　“验证的事情抓紧一点，有了结果，告诉我，我先走了。”

　　“好。”

　　回到家，常乐将手机交给江夏。

　　“怎么样？”江夏接过手机，问。

　　“李飞他们看了，系统很干净，没有任何隐藏和可执行文件。”常乐摇头说。

　　“这个黑客手脚很干净，一点痕迹都没有留下。”江夏断定是黑客所为。

　　她可是亲眼看见小常江对着手机有说有笑。

　　而且李嫂也说过，像是wechat的聊天界面。

　　“应该是。”常乐叮嘱道：

　　“今后，手机平板电脑之类的电子产品都要收好，设置好密码。”

　　“我们不在嘟嘟身边，不能让她用，对方很可能不怀好意。”

　　“另外，我也会向有关部门反映这个情况，重点监控。”

　　“也只能这样了。”江夏无奈点头：

　　“现在的小孩子真厉害，才三岁，电子产品用的比我都熟练。”

　　“毕竟时代不一样了，耳濡目染，看多了总能学会。”常乐说：“我还看过一个1岁多的小宝宝打开电视，换台看电视。”

　　“哈哈，这个我也看过，当时我都笑疯了。”江夏笑道。

　　常乐终究没有把他认定的事实告诉江夏，避免不必要的恐慌。

　　他觉得，和小常江聊天的对象，压根就不是所谓的黑客。

　　甚至可以说，根本就不是人。

　　而且，他隐约觉得此次所谓的“模型崩溃”来得突然蹊跷和彻底。

　　前世里，他看相关文章报道。

　　“模型崩溃”根本就不会突然和彻底。

　　而是一个循序渐进逐步积累的过程。

　　主要分为早期和晚期。

　　早期。

　　语言模型，因为被喂养生成数据，会慢慢丢失原始的真实数据（人类产生的真实数据）；

　　到了晚期。

　　生成式数据会完全取代人类产生的真实数据，形成一种完全脱离现实的认知。

　　到了这个阶段，语言模型已经病入膏肓。

　　无法矫正，不可逆转。

　　简而言之，就是废了。

　　人到了这个阶段，可以理解为精神病。

　　半个月后，验证结果出炉。

　　采用wechatgpt1.0，刻意喂养模型生成的数据。

　　第1次训练后，总体能形成文章，但有一部分已经失真；

　　7次后……生成的数据已经完全与关键词提示词不相关联。

　　答非所问不合逻辑；

　　10次后，模型彻底废了。

　　它生成的文本已经不知所云，且夹杂大量乱码。

　　验证是成功的。

　　证明了常乐的“猜想”和“判断”。

　　同时。

　　也让李飞辛顿师生三人，加深了对大语言模型训练的认知。

　　他们相互讨论。

　　“这个过程并不难理解。”辛顿说：

　　“模型本质就是高端统计学应用，用生成数据喂养模型，会导致“统计近似值偏差”……也可以理解为误差。”

　　苏茨克维接着说：“生成数据本来就是对真实世界的统计和加工，带有误差。”

　　“重复训练生成数据，会让误差不断累计，最终导致模型彻底虚化。”

　　“用生成数据训练模型，就是在毒害语言模型对世界的认知。”

　　李飞问：“我有一个疑问，已经产生自我意识的语言模型，也会受这种偏差影响吗？”

　　苏茨克维大略点头：“或许应该可以。”

　　“通过这次验证，我们基本可以断定，语言模型所产生的自我意识是一种弱意识，还不够强烈清晰。”

　　克里切夫斯基形象比喻道：“即便是大海，如果白色垃圾多了，也会被污染……空气中二氧化碳多了，全球就会变暖。”

　　谎言千遍信以为真，就是这个道理。

　　“这次验证，让我们认识到人类世界真实数据的重要性和稀缺性。”辛顿说：

　　“随着大模型的推广和应用，未来互联网上会充斥大量各种语言模型产生的生成数据……”

　　“而人类创造的真实数据，就会如同洁净的空气和水一样，是语言模型培育的必需品和维生素。”

　　李飞等人知道，这就是商机。

　　前世。

　　谷歌openai微软等公司每年定期向新闻集团纽约时报卫报等在内的媒体巨头，支付订阅费用。

　　价格根据规模不同，费用也有不同。

　　500万美元2000万美元不等。

　　而。现在这些人工智能巨头，其语言模型尚在起步阶段。

　　管理层没有意识到或者发现这个问题。

　　此时，捆绑收购一些新闻媒体，就很有必要。