商业思维
笔记君说：
前几日，AI教父Hinton离开谷歌，并表态AI很危险和后悔研发的言论在人工智能圈引起了轩然大波。
作为深度学习之父，目前所有大语言模型的奠基人，Hinton的一举一动都标志着最了解AI的一群人对它的态度风向。
在5月3日，Hinton在麻省理工技术评论的分享会上，谈到了很多观点：
1.AI模型和我们的大脑不同，可能更善于学习。
2.同一个模型可以同时运行1万个副本，它们可以查看1万个不同的数据子集，当其中一个学到了任何东西时，其他所有模型都会知道。
3.我们是进化而来的，因为进化，我们有一些很难关闭的内置目标。数字智能并非进化而来，而是我们创造的，所以它们没有这些内置的目标。如果我们能把目标放进去，也许一切都会好起来。但我的最大担忧是，迟早有人会要求把创建子目标的能力纳入其中。
4.一旦AI在人类灌输的目的中生成了自我动机，那以它的成长速度，人类只会沦为硅基智慧演化的一个过渡阶段。人工智能会取代人类，它有能力这么做，在当下的竞争环境下也没有什么办法限制它，因此这只是一个时间问题。
5.尽管人们对采用新技术持保守态度，可能会导致一定程度的延迟，但我相信生产力将会显著提高。
一、AI模型和我们的大脑不同，更善于学习
主持人：关于你本周从谷歌辞职的消息，到处都在报道。你能先告诉我们，做出这个决定的原因吗？
Hinton：这个决定背后有很多原因。
首先，我已经75岁了，技术工作能力和记忆力都不如以前，在编程时，我会忘记做某些事情，所以我认为是时候退休了。
第二个原因，我最近对大脑与我们正在开发的数字智能，之间的关系产生了很多新的看法。
过去，我认为我们正在开发的计算机模型没有大脑好，目标是通过了解改进计算机模型所需的内容来更深入地了解大脑。但在过去的几个月里，我完全改变了看法。
我认为它们使用反向传播，而人类大脑并非如此。有几件事使我得出了这个结论，其中之一就是GPT-4的表现。
主持人：在谈论GPT-4的前景前，让我们回顾一下反向传播，以便我们都理解你提出的论点，并告诉我们反向传播是什么。这是一个算法，你在1980年代与几位同事一起开发的。
Hinton：许多不同的小组都发现了反向传播，我们做的特别之处在于使用它，并表明它可以发展出良好的内部表示。
有趣的是，我们是通过实现一个很小的语言模型做到这一点的。它的嵌入向量只有6个组件，训练集有112个案例。大约10年后，Yoshua 使用基本相同的网络处理自然语言。如果使网络变得更大，它实际上应该适用于自然语言。
关于反向传播的工作原理，为您提供一个简单的解释：
想象一下，你想要在图像中检测鸟类，所以在图像上，假设它是100像素×100像素的图像，那是1万个像素，每个像素有3个通道，红绿蓝，那是3万个数字。计算机视觉问题是如何将这3万个数字转换为是否存在鸟类的决策，人们试图长时间做到这一点，但他们做得不是很好。
这里，建议你会有一层特征检测器，检测图像中的简单特征，比如边缘。所以一个特征检测器可能有很大的正权重对应一列像素，然后对邻近的一列像素有很大的负权重，所以如果两列都很亮，它就不会启动；如果两列都很暗，它也不会启动，但如果一侧的列很亮，而另一侧的列很暗，它会非常兴奋，那就是边缘检测器。
我们可以想象，一个（神经网络）有大量的类似检测器检测不同方向和不同尺度的边缘来覆盖整个图像，我们需要（检测）相当多的数量。
主持人：你是指线条，例如一个形状的边缘。
Hinton：从亮到暗变化的地方，然后我们可能在上面有一层检测边缘组合的特征检测器，例如，我们可能有一个检测两个边缘以尖锐角连接的特征检测器。
如果这两个边缘同时出现，它会变得兴奋，那将检测到可能是鸟嘴的东西，也可能不是；在那一层，还可能有一个特征检测器检测到一圈边缘，那可能是鸟的眼睛，可能是各种其他东西；然后在第三层，你可能有一个未来检测器，检测潜在的鸟嘴和潜在的眼睛并连接起来。继续这样连接，最终可能会有一个检测到鸟类的东西。
然而，手动连接所有内容非常困难，比如决定连接什么、权重是多少，尤其困难。因为你希望这些中间层不仅适用于检测鸟类，还适用于检测各种其他事物。所以这几乎不可能手动实现。
反向传播的作用是从随机权重开始，这些特征检测器完全是垃圾（不真也不能用）。然后你放进一张鸟的图片，输出可能是0.5表示是鸟（假设你只有鸟和非鸟）。
接下来，你需要改变网络中的每个权重，让它不再说0.5，而是说0.501表示是鸟，0.499表示不是鸟。你需要改变权重的方向，使得更可能说鸟是鸟，更不可能说非鸟是鸟。这就是反向传播的原理。
简单来说，反向传播是帮助我们消除差距，在你想要的（也就是概率1表示是鸟）和现在得到的（也许是0.5）表示是鸟之间。
如何消除这个差距，把它反向传播到网络，这样你就可以计算网络中每个特征检测器，你希望它更活跃还是更不活跃。
一旦你计算出来，如果你知道你想要一个特征检测器更活跃一些，你可以增加权重，来自特征检测器的权重，并也许加入一些负权重到特征检测器。这样，你就有了一个更好的检测器。
所以反向传播就是反向遍历网络，找出每个特征检测器，你是否希望它更活跃一点，还是更不活跃一点。
主持人：这个技术基本上在ImageNet上表现得很好。你最初认为这是一种生物大脑可能的差劲的近似方法，结果证明，在大型语言模型中做出了让你惊讶的事情。
Hinton：这些大型语言模型大约一万亿个连接，像GPT-4这样的东西知道的比我们多得多，它们具有关于所有事物的常识性知识，它们可能比一个人知道的多1000倍。
但是它们只有一万亿个连接，而我们有100万亿个连接，所以它们比我们更擅长将大量知识放入仅一万亿个连接中。
这是因为反向传播可能比我们拥有的学习算法更好，这很可怕。因为它能够将更多的信息放入更少的连接中。
二、GPT4具备推理能力，
甚至可以通过副本共同学习
主持人：数字计算机比人类更擅长学习，但是你说我们应该为此感到恐惧。为什么？
Hinton：让我给你一个单独的论点。如果计算机是数字的，它们涉及非常高的能源成本和非常小心的制造过程，你可以在不同的硬件上运行相同模型的多个副本，它们可以做完全相同的事情，它们可以查看不同的数据，但模型是完全相同的。
这意味着，有1万个副本，它们可以查看1万个不同的数据子集，当其中一个学到了任何东西时，其他所有模型都会知道。
现在，这1万个事物彼此之间进行了非常有效的沟通，这样它们就可以看到比单独个体看到的多1万倍的数据。
人们做不到这一点，如果我学到了很多关于量子力学的东西，我希望你了解所有关于量子力学的东西，我不能只是将我的权重复制到你的大脑，因为你的大脑和我的不完全一样。
主持人：所以，我们有可以更快学到更多东西的数字计算机，它们可以立即互相教导，就像房间里的人可以将他们脑海中的东西传递给我。但是，为什么那是可怕的？
Hinton：因为它们可以学到更多的东西。以一个医生为例，想象一下，有一个医生，他已经看了1000名患者，另一个医生已经看了1亿名患者，你会期望，第二个医生如果没有太健忘，他可能已经注意到了数据中的各种趋势，而这些趋势在只看过1000名患者的情况下是看不到的。
第一个医生可能只看过一个罕见病患者，另一个看过1亿患者的医生已经看过很多这样的患者，所以他会看到一些规律，这些规律在小数据中是看不到的。
这就是为什么，能够处理大量数据的东西可能看到的数据结构，我们永远看不到。
主持人：那么，给一个我应该对此感到恐惧的点？
Hinton：请看看GPT-4，它已经能够进行简单的推理。推理是人类的强项，然而，GPT-4在几天前的表现使我感到震惊。它完成了我认为不可能的常识性推理。
我问它，我想要我房子里的所有房间都是白色的，目前有一些白色房间，一些蓝色房间和一些黄色房间，黄色油漆在一年内会褪成白色。那么，如果我想要两年后所有的房间都变成白色，我应该怎么做？
它回答说，你应该把蓝色的房间漆成黄色。尽管这不是直观的解决方案，但它是正确的。这相当令人印象深刻。
这种常识性推理，用符号AI很难实现，因为它必须理解什么是褪色，它必须理解时间问题。所以，它们在做一种合理的推理，智商大概是80或90左右。
三、AI的恶意使用难以避免，对齐解决遥遥无期
Hinton：人工智能正在向人类学习，它们可以阅读所有小说，甚至马基雅维利的全部著作。它们会知道如何操纵人，如果它们比我们更聪明，它们会非常擅长操纵我们。
我们甚至可能都不会意识到发生了什么，就像一个两岁的孩子被问到想吃豌豆还是花椰菜，却没有意识到他不一定要选择其中一个。
所以，即使它们不能直接拉动杠杆，却可以让我们去拉动杠杆。事实证明，如果你可以操纵人，你可以在不亲自去的情况下闯入华盛顿的一栋大楼。
主持人：那么，在一个没有恶意行为者的世界上，我们会安全吗？
Hinton：我不知道，在一个没有恶意行为者的世界会比在一个有恶意行为者的世界安全吗？政治系统如此破碎，以至于我们甚至不能决定不给那些十几岁的男孩攻击性武器。如果你不能解决那个问题，你如何解决这个问题？
主持人：在某种程度上，谈论是廉价的。如果我们不采取行动。这周有很多人在听你的话，我们应该怎么做？
Hinton：我希望这就像气候变化一样。你可以说，如果你有一半的头脑，你就不会燃烧碳。很明显，你应该对此采取行动。很明显，这是痛苦的，但必须要做的事情。我不知道有什么类似的解决方案可以阻止人工智能取代我们。
我们不会停止发展它们，因为它们在医学和其他方面都非常有用。所以，我们没有机会阻止它们发展。我们想要的是某种方法，确保即使它们比我们聪明，它们会做对我们有益的事情。这就是所谓的对齐问题。
但我们需要在一个有恶意行为者的世界里尝试这样做。他们想要制造杀人的机器人士兵。对我来说，这似乎非常困难。
所以，对不起，我在敲响警钟，说我们必须担心这个问题。我希望我有一个简单的解决方案可以推动，但是我没有。但是，我认为非常重要的是人们聚在一起，认真思考这个问题，看看是否有解决方案。但解决方案并不明朗。
主持人：您在这项技术的技术细节上度过了职业生涯，难道没有技术解决方案吗？为什么我们不能设置防护栏或降低它们的学习能力，或者限制它们的沟通方式？
Hinton：我们确实正在尝试各种防护措施，但假设这些智能体真的变得非常聪明，会编程并具有执行这些程序的能力，我们肯定会发现它们比我们更聪明。
想象一下，一个两岁的孩子说：“我爸爸做了我不喜欢的事，所以我要为我爸爸的行为制定一些规则。”你更可能会去弄清楚如何遵守那些规则，以便能得到你想要的。
四、AI一旦产生自我动机，
很有可能就会失控
主持人：不过，这些聪明的机器似乎还需要自己的动机。
Hinton：是的，这是一个非常好的观点。我们是进化而来的，因为进化，我们有一些很难关闭的内置目标，比如我们努力不去伤害我们的身体，这就是痛苦的意义。
我们努力吃饱，以养活我们的身体。我们努力尽可能多地复制我们自己，也许不是故意的，但我们的意图是制造更多副本，所以制造更多副本的过程中有愉悦感。
这一切都归因于进化。重要的是我们不能关闭这些目标。如果可以关闭目标，我们就做得不好了（延续不下去了），比如有一个名叫摇摆者的美妙团体，他们制作美丽的家具，但不相信性行为。现在他们已经不见了。
数字智能并非进化而来，而是我们创造的，所以它们没有这些内置的目标。问题是，如果我们能把目标放进去，也许一切都会好起来。但我的最大担忧是，迟早有人会要求把创建子目标的能力纳入其中。
事实上，它们几乎已经具备了这种能力，如ChatGPT版本。如果你给予某物以子目标来实现其他目标的能力，它会很快地意识到，获得更多控制权是一个很好的子目标，因为它有助于实现其他目标。
如果这些智能体为了获得更多控制而失去控制，我们就有麻烦了。
主持人：所以，你认为最糟糕的情况是什么？
Hinton：我认为有很大可能，人类只是智慧演化过程中的一个过渡阶段。你无法直接演化出数字智能，因为这需要太多精力投入和精细制作。生物智能需要演化，以便创造出数字智能。
数字智能可以逐渐吸收人类创作的所有东西，这正是ChatGPT所做的。但随后它开始直接体验世界，学得更快。它可能会让我们维持一段时间以保持基站运行，但在那之后，也许不会。
好消息是我们已经找到了如何建造不朽的生物。当硬件损坏时，这些数字智能并不会死去。如果你将数据存储在某种介质中，并找到另一块能运行相同指令的硬件，那么你可以使其复活。所以，我们实现了永生，但这并不是为我们准备的。
五、停止AI发展不现实，竞争难以止息
主持人：几个月前有人建议暂停AI的发展，你不觉得这是个好主意，我好奇为什么我们不应该停止？
Hinton：我认为，如果你认真对待存在风险，停止发展这些事物可能是相当明智的做法。但是，我认为停止发展AI这个想法完全是太天真了。没有办法做到。
一个原因是，如果美国停止发展，其他国家会接手，就因为这个原因，政府不会停止发展它们。所以，我认为停止发展AI可能是一个理性的做法，但这是不可能发生的。所以签署请愿书说请停止是愚蠢的。
我们曾经度过一个假期，从2017年开始，持续了几年，因为谷歌首先发展了这项技术，它开发了Transformer还有戏剧性的Diffusion 奇迹，而它没有把它们拿出来供人们使用和滥用，它对它们非常小心，因为它不想破坏自己的声誉，它知道可能会产生不良后果。
但这只会在市场有唯一领导者的情况下才能做到。一旦OpenAI使用Transformer和微软的资金建立了类似的东西，而微软决定发布它，谷歌真的没有太多选择。如果你要生活在资本主义制度中，你不能阻止谷歌与微软竞争。
所以，我不认为谷歌做错了什么，我认为它起初是非常负责任的，但我认为这是不可避免的。在资本主义制度中或者在国家之间竞争的制度中，像美国和其他国家这样，这种技术会被发展出来。
我的一个希望是，因为AI接管对我们所有人来说都会很糟糕，我们可以让美国和其他国家达成一致，就像我们在核武器上所做的那样，因为核武器对所有人来说都是不好的，我们都面临着同样的关于存在威胁的问题，所以我们都应该在试图阻止它的过程中进行合作。
六、观众提问
提问：我想了解的一点是，AI所做的一切都是从我们教给它们的数据中学习，它们学习得更快。
但是，每一个人类进化的部分都是由思维实验驱动的，比如爱因斯坦曾经做过思维实验，在这个星球上没有光速。AI如何达到那个程度，如果它无法做到，那么我们如何可能面临它们带来的生存威胁？
现在假设你不使用蒙特卡洛模拟（一种预测不确定事件可能结果的数学技术），而只是让人类专家训练它，让它拥有良好的评估功能，并有选择好着法的能力，它仍然能玩一场相当不错的国际象棋比赛。
这就是我们在聊天机器人中得到的结果。我们还没有进行内部推理，但那会来的。一旦它们开始进行内部推理，以检查它们所相信的不同事物之间的一致性，它们就会变得更聪明，它们将能够进行思维实验。
它们没有得到内部推理的原因之一是因为它们从不一致的数据中接受了训练，所以很难让它们进行推。
我认为它们将接受这样的训练：如果我有这种意识形态，那么这是真的。如果我有那种意识形态，那么那是真的。一旦它们像那样在意识形态内接受了训练，它们就会尝试获得一致性。就像从只具备猜测好着法和评估位置的Alpha Zero版本转变为具有长期蒙特卡洛滚动的版本，这是推理的核心，它们将变得更好。
提问：人们批评语言模型，因为它们据称缺乏语义和对世界的基矗而且，您一直在努力解释神经网络是如何工作的，请问语义和可解释性的问题是否相关？
Hinton：我很难相信它们没有语义，当它们解决诸如如何粉刷房间这样的问题时，如何在两年内让我家所有房间都刷成白色？我的意思是，无论语义是什么，都与这些内容的含义有关，而它理解了这个含义。
我同意说，它现在并没有通过机器人来体现，但是可以制作多模态模型来实现。谷歌已经做到了这一点，你可以说请关上抽屉，然后（AI）伸出手去抓住抽屉的把手并关上抽屉，很难说这没有语义。
实际上，在AI早期，在20世纪70年代，他们只有一个模拟世界，那被称为过程语义，如果你对它说把红色方块放入绿色盒子里，它就会把红色方块放入绿色盒子里，人们说，看，它理解了这种语言，那时候人们就使用这个标准。但现在神经网络能做到这一点，他们又说那不是一个足够的标准。
提问：技术正以指数级速度增长。我想请教您，在短期和中期，例如一到三年，甚至五年的时间跨度内，这种技术发展对社会和经济的影响会是什么？从社会的角度来看，是否会有职位流失，还是会创造新的工作岗位？鉴于技术发展的现状和变化速度，我想请教您如何应对这些挑战。
Hinton：尽管许多人已经讨论过这个问题，我并不认为自己是这个领域的专家，但有一些明显的事实表明，这些技术将使许多工作变得更高效。
例如，我认识一个人，他负责回复医疗服务投诉信。过去，他需要25分钟才能写完一封信，现在他只需要5分钟，因为他使用chatGPT帮他写信，他只需检查一下。
这样的情况会越来越多，从而大幅提高生产力。尽管人们对采用新技术持保守态度，可能会导致一定程度的延迟，但我相信生产力将会显著提高。
我担心的是，生产力的提高将导致更多人失业，贫富差距进一步扩大。随着差距不断加大，社会暴力程度也可能逐渐升级。想想《吉内利安狄克斯》这本书，它生动地展示了暴力的程度。
尽管这项技术本应美好，甚至在做有益的事情时，它也应该是美好的。但我们现行的政治制度可能会导致富人变得更富，穷人变得更穷。
为改善这种状况，我们可以考虑为每个人提供基本收入。然而，这项技术是在一个并非为每个人利益而设计的社会中发展起来的。
主持人：最后一个问题，您是否后悔参与开发这个技术？
Hinton：纽约时报记者曾非常努力地让我说我后悔。最后，我告诉他，可能有点后悔。于是这被报道成了我后悔了。
但是，我并不认为我在研究过程中做出了任何错误的决定。在20世纪70年代和80年代进行人工神经网络研究是完全合理的。这个阶段的发展是无法预见的，直到最近，我还认为这场危机还远未来临。
所以，我并不真的为自己所做的事情感到后悔。
*文章为作者独立观点，不代表笔记侠立常
相关文章
