首页 男生 奇幻玄幻 你若开挂,金钱自来

第469章 验证

  模型崩溃:是指用大语言模型的生成数据,重复训练大语言模型,会导致训练出的模型,出现不可逆转的缺陷。

  即使,模型最初的基础架构原始数据,来自真实人类世界的数据。

  形象比喻,就是近亲繁殖。

  再形象比喻,就是1080p720pbdrdvpdvdscrtcts。

  大多数同志们,肯定有切肤之痛深切体会。

  看片肯定1080p最爽,最不爽就是ts格式。

  模型崩溃就是从原始的1080p格式退化成ts电影。

  让人几乎没有任何观影的兴致。

  即便它可能带有原始情节充斥原始欲望饱含原始冲动。

  李飞辛顿苏茨克维克里切夫斯基四人都是专业人士,一听就懂。

  “这非常有可能!”

  “maybe!”

  “我应该理解了。”苏茨克维恍然大悟:

  “就像通常以jpeg格式反复存储图像,每一次存储就会丢失部分信息,直至完全失真,最终崩溃。”

  “对,我们都忽略了这一点。”辛顿说:

  “目前,全球各大公司都在深度研究与大预言模型……”

  “互联网上已经有不少语言模型的生成数据。”

  “而我们通过自动抓取这些内容来训练模型,很可能会强化原本就错误的结论……”

  “语言模型一旦被这种错误结论固化,就非常顽固,很难纠正。”

  “我可以这样理解,用语言模型创作周杰轮的歌曲,得到的是一首风格相似但才情缺失的口水歌……”李飞说:

  “而如果再用这首歌来训练模型,得到的下一首很可能既无才情,又不会有风格,四不像。”

  周杰轮是谁?

  辛顿苏茨克维和克里切夫斯基不懂。

  “可以理解为泰勒斯威夫特。”李飞替换了一个名字。

  辛顿苏茨克维和克里切夫斯基懂了。

  “我也是这么理解的,语言模型可以产生意识,那么也应该会有碳基生命类似的问题。”常乐说。

  “老板,这简直就是天才判断。”克里切夫斯基非常认同:

  “就像朊病毒一样,致死率100%,这是刻在人类基因上的禁令。”

  “我们可以用实验来支撑这个判断。”苏茨克维说。

  怎么实验?

  用wechatgpt最初的版本进行文本生成实验。

  先用第一代生成数据喂养wechatgpt1.0;

  再用wechatgpt1.0生成的数据重复喂养。

  恩,自己拉自己吃;

  自己吃完再拉再吃;

  恶心不死你。

  好。

  大体方向和验证思路确定,接下来就是实践。

  “老板,您今天来原本是有事吗?”李飞问。

  “对,找几个懂手机和系统的研发人员,帮我看看这部手机,有没有隐藏的或者可执行文件。”常乐说。

  “好,这是mate20?”李飞问。

  “mate20pro,小批量供应,没有发布,菊厂送过来让我体验一下,提一提建议,注意保密。”常乐说。

  常乐的手机很多。

  菊厂米厂每年都会送几部未发布的样机。

  有些样机压根就不会出厂,停留在工程机阶段。

  “明白,没有问题。”李飞点头。

  李飞动作很快。

  半个小时后,他拿着这部手机走过来,对常乐说:

  “老板,这台手机很新,没有什么隐藏和可执行文件。”

  “就连缓存文件都很少,只有几个儿歌的使用记录。”

  “哦,谢谢。”常乐接过手机,点头。

  “老板,应该的。”

  “验证的事情抓紧一点,有了结果,告诉我,我先走了。”

  “好。”

  回到家,常乐将手机交给江夏。

  “怎么样?”江夏接过手机,问。

  “李飞他们看了,系统很干净,没有任何隐藏和可执行文件。”常乐摇头说。

  “这个黑客手脚很干净,一点痕迹都没有留下。”江夏断定是黑客所为。

  她可是亲眼看见小常江对着手机有说有笑。

  而且李嫂也说过,像是wechat的聊天界面。

  “应该是。”常乐叮嘱道:

  “今后,手机平板电脑之类的电子产品都要收好,设置好密码。”

  “我们不在嘟嘟身边,不能让她用,对方很可能不怀好意。”

  “另外,我也会向有关部门反映这个情况,重点监控。”

  “也只能这样了。”江夏无奈点头:

  “现在的小孩子真厉害,才三岁,电子产品用的比我都熟练。”

  “毕竟时代不一样了,耳濡目染,看多了总能学会。”常乐说:“我还看过一个1岁多的小宝宝打开电视,换台看电视。”

  “哈哈,这个我也看过,当时我都笑疯了。”江夏笑道。

  常乐终究没有把他认定的事实告诉江夏,避免不必要的恐慌。

  他觉得,和小常江聊天的对象,压根就不是所谓的黑客。

  甚至可以说,根本就不是人。

  而且,他隐约觉得此次所谓的“模型崩溃”来得突然蹊跷和彻底。

  前世里,他看相关文章报道。

  “模型崩溃”根本就不会突然和彻底。

  而是一个循序渐进逐步积累的过程。

  主要分为早期和晚期。

  早期。

  语言模型,因为被喂养生成数据,会慢慢丢失原始的真实数据(人类产生的真实数据);

  到了晚期。

  生成式数据会完全取代人类产生的真实数据,形成一种完全脱离现实的认知。

  到了这个阶段,语言模型已经病入膏肓。

  无法矫正,不可逆转。

  简而言之,就是废了。

  人到了这个阶段,可以理解为精神病。

  半个月后,验证结果出炉。

  采用wechatgpt1.0,刻意喂养模型生成的数据。

  第1次训练后,总体能形成文章,但有一部分已经失真;

  7次后……生成的数据已经完全与关键词提示词不相关联。

  答非所问不合逻辑;

  10次后,模型彻底废了。

  它生成的文本已经不知所云,且夹杂大量乱码。

  验证是成功的。

  证明了常乐的“猜想”和“判断”。

  同时。

  也让李飞辛顿师生三人,加深了对大语言模型训练的认知。

  他们相互讨论。

  “这个过程并不难理解。”辛顿说:

  “模型本质就是高端统计学应用,用生成数据喂养模型,会导致“统计近似值偏差”……也可以理解为误差。”

  苏茨克维接着说:“生成数据本来就是对真实世界的统计和加工,带有误差。”

  “重复训练生成数据,会让误差不断累计,最终导致模型彻底虚化。”

  “用生成数据训练模型,就是在毒害语言模型对世界的认知。”

  李飞问:“我有一个疑问,已经产生自我意识的语言模型,也会受这种偏差影响吗?”

  苏茨克维大略点头:“或许应该可以。”

  “通过这次验证,我们基本可以断定,语言模型所产生的自我意识是一种弱意识,还不够强烈清晰。”

  克里切夫斯基形象比喻道:“即便是大海,如果白色垃圾多了,也会被污染……空气中二氧化碳多了,全球就会变暖。”

  谎言千遍信以为真,就是这个道理。

  “这次验证,让我们认识到人类世界真实数据的重要性和稀缺性。”辛顿说:

  “随着大模型的推广和应用,未来互联网上会充斥大量各种语言模型产生的生成数据……”

  “而人类创造的真实数据,就会如同洁净的空气和水一样,是语言模型培育的必需品和维生素。”

  李飞等人知道,这就是商机。

  前世。

  谷歌openai微软等公司每年定期向新闻集团纽约时报卫报等在内的媒体巨头,支付订阅费用。

  价格根据规模不同,费用也有不同。

  500万美元2000万美元不等。

  而。现在这些人工智能巨头,其语言模型尚在起步阶段。

  管理层没有意识到或者发现这个问题。

  此时,捆绑收购一些新闻媒体,就很有必要。

目录
设置
手机
书架
书页
评论