伊利亚苏茨克弗（Ilya Sutskever）低着头，陷入了沉思。他的双臂张开，手指张开放在桌面上，就像一个即将弹奏第一个音符的钢琴家。就这样，我们静静地坐着。
我见到了 OpenAI 的联合创始人兼首席科学家苏茨克弗，在旧金山一条不起眼的街道上，一栋没有标记的办公楼里，我想听听他为改变世界的技术所安排的下一步是什么。我还想知道他接下来想做什么，尤其是为什么构建 OpenAI 的下一代旗舰生成式模型不再是他的工作重点了。
苏茨克弗告诉我，他不打算构建下一个 GPT 或图像生成模型 DALL-E，而是打算弄清楚如何阻止超级人工智能变得不受控制。作为未来主义的信徒，他认为这种仍处于假设的未来技术终会出现。
苏茨克弗还跟我分享了很多其他想法。他认为 ChatGPT 可能是有意识的。他还认为，世界需要意识到他的公司和其他公司正在竞相创造的技术的真正力量。他相信，有些人有一天会选择与机器融合。
（来源：STEPHANIE ARNETT/MITTR | OPENAI (ILYA)）
苏茨克弗说的很多话都是看似疯狂的。但现在听到他说的，并不像一两年前听起来那么遥不可及。正如他自己告诉我的那样，ChatGPT 已经改变了很多人对即将发生的事情的期望，从“永远不会发生”变成了“将比你想象的更快发生”。
在预测通用人工智能的发展之前（指的是像人类一样聪明的机器），他说：“重要的是要谈论它的发展方向。在某个时候，我们真的会看到通用人工智能。也许 OpenAI 会构建它，也许是其他公司。” 他说话的态度就像是通用人工智能的诞生和下一部 iPhone 的诞生一样理所当然。
自 2022 年 11 月 ChatGPT 突然发布以来，围绕 OpenAI 的讨论一直层出不穷，即使在一个以炒作而闻名的行业中也是如此。没有人对这家估值 800 亿美元创业公司感到厌倦，它的产品名字活跃于人们茶余饭后的闲聊中。
OpenAI 的首席执行官山姆奥特曼（Sam Altman）在 2023 年夏天进行了许多为期数周的宣传之旅，兴高采烈地与政客们握手，并在世界各地拥挤的礼堂里发表演讲。但苏茨克弗不是一个公众人物，他没有接受很多采访。
他说话深思熟虑，有条不紊。当他思考自己想说什么以及如何说时，会有很长的停顿，把问题像他需要解决的难题一样翻来覆去地思考。他似乎对谈论自己不感兴趣。“我过着非常简单的生活，”他说，“我去上班，然后回家，几乎不做什么别的事情。一个人能参加的社交活动有很多，但我不去。”
但是，当我们谈论人工智能，以及他看到的划时代的风险和回报时，对话就此展开：“这将是无法忽视的、惊天动地的、划分时代的（东西）。”
越来越好
就算在一个没有 OpenAI 的世界里，苏茨克弗仍然会在人工智能的历史上占有一席之地。他是以色列裔加拿大人，出生在前苏联，但从五岁起就在耶路撒冷长大。他仍然会说俄语、希伯来语和英语。他长大后移居加拿大，在多伦多大学与人工智能先驱杰弗里辛顿（Geoffrey Hinton）共事，后者曾在 2023 年公开表达了他对这项技术的担忧。苏茨克弗不想评论辛顿的声明，但他对超级智能恶意使用的新关注表明他们有相似的看法。
辛顿后来与杨立昆（Yann LeCun）和约书亚本吉奥（Yoshua Bengio）共同获得了图灵奖，以表彰他们在神经网络方面的工作。但是当苏茨克弗在 2000 年代初加入他时，大多数人工智能研究人员认为神经网络是一条死胡同。辛顿是个例外。苏茨克弗说，他当时已经在训练很小的模型，一次可以生成一个字符的短文本字符串：“这是生成式人工智能的开始。这真的很酷，只是当时表现不好。”
苏茨克弗对大脑着迷，尤其是大脑是如何学习的，以及如何在机器中创造或模仿该学习过程。像辛顿一样，他看到了神经网络的潜力，以及辛顿用来训练它们的试错技术，又被称为深度学习。“它一直在变得越来越好，越来越好，”苏茨克弗说。
2012 年，苏茨克弗、辛顿和辛顿的另一位研究生亚历克斯克里热夫斯基（ Alex Krizhevsky）建立了一个名为 AlexNet 的神经网络，他们训练该神经网络识别照片中的物体，表现比当时的任何其他软件都要好得多。这是深度学习的大爆炸时刻。
经过多年的尝试，他们已经证明神经网络在识别规律方面非常有效。你需要的是比大多数研究人员所见过的数据集更大的数据集，在这种情况下，他们用到了普林斯顿大学研究员李飞飞自 2006 年以来一直在构建的 ImageNet 数据集中的一百万张图像，以及令人瞠目结舌的计算能力。
算力的飞跃来自于英伟达制造的图形处理单元（GPU，显卡）。显卡本来是用在电子游戏领域的，但它们所擅长的运算方式，恰好看起来很像训练神经网络所需的计算。
英伟达现在是一家价值万亿美元的公司。但在当时，它迫切希望为其小众的新硬件寻找用武之地。“当你发明一项新技术时，你必须接受疯狂的想法，”英伟达 CEO 黄仁勋说，“我的心态一直是不断寻找一些古怪的东西，而神经网络将改变计算机科学的想法，（在当时）的确是一个非常古怪的想法。”
黄仁勋说，在多伦多大学的团队开发 AlexNet 时，英伟达送了他们几个 GPU 进行尝试。但他们想要最新版本的显卡，那时候是 GTX 580，不过它们供不应求。黄仁勋讲了一个故事，是苏茨克弗从多伦多开车越过美加边境，跑到纽约买了一些。
“人们在商店外面排着长队，”黄说，“我不知道他是怎么做到的，但我很确定当时的规定是每人只能买一个。我们有非常严格的政策，每个游戏玩家一个，但他显然用了一些办法，买了一整个后备箱的显卡。那个装满 GTX 580 的后备箱改变了世界。”
这是一个颇具传奇色彩的故事，但可能不是真的。苏茨克弗坚称他在网上购买了第一批显卡。但这种故事在这个喧嚣的行业中司空见惯。苏茨克弗本人则更为谦虚：“我想，如果我能取得哪怕一丁点真正的进步，我都会认为这是成功的，”他说。研究对现实世界产生的影响似乎无比遥远，因为当时的计算机性能过于羸弱。
在 AlexNet 成功之后，谷歌找上门来。它收购了辛顿手里的衍生公司 DNNresearch 并聘请了苏茨克弗。在谷歌，苏茨克弗展示了深度学习的规律识别能力可以应用于数据序列，如单词、句子、以及图像。“伊利亚一直对语言感兴趣，”苏茨克弗的前同事、现任谷歌首席科学家的杰夫迪恩（Jeff Dean）说：“多年来，我们都保持着很好的交流。伊利亚对事情的发展方向有很强的直觉。”
但苏茨克弗并没有在谷歌呆太久。2014 年，他被招募成为 OpenAI 的联合创始人。在 10 亿美元（来自奥特曼、马斯克、蒂尔、微软和 Y Combinator 等）的支持下，再加上硅谷的“噱头”，这家新公司从一开始就将目光投向了开发通用人工智能，当时很少有人认真对待这一前景。
有苏茨克弗在，大张旗鼓是可以理解的。在那之前，他一直在积累自己的声誉，越来越多地从神经网络中得到好处。他的声誉使他成为一个主要的吸睛目标，Y Combinator 投资总经理道尔顿考德威尔（Dalton Caldwell）说。
“我记得山姆（奥特曼）提到伊利亚是世界上最受尊敬的研究人员之一，”考德威尔说，“他认为伊利亚能够吸引很多顶尖的人工智能人才。他甚至提到，世界顶级人工智能专家之一约书亚本吉奥认为，不太可能找到比伊利亚更好的候选人来担任 OpenAI 的首席科学家。
然而，OpenAI 一开始就陷入了困境。“有一段时间，当我们刚创立 OpenAI 时，我不确定该如何继续下去，”苏茨克弗说，“但我有一个非常明确的信念，那就是：人们不会反对深度学习。不知何故，每次你遇到障碍时，研究人员都会在六个月或一年内找到解决方法。”
他的信心得到了回报。OpenAI 的第一个 GPT 大型语言模型（GPT 的意思是“生成式预训练转换器”）出现在 2016 年。接着是 GPT-2 和 GPT-3，然后是 DALL-E，引人注目的文本到图像模型。从来没有人创造出这么强大的东西。随着每个版本的发布，OpenAI 都提高了人们心目中“可能”的标准。
管理期望
2022 年 11 月，OpenAI 发布了一个可以免费使用的聊天机器人 ChatGPT，重新包装了一些现有的技术。结果，它重置了整个行业的进程。
当时，OpenAI 还不知道它发布的东西能带来什么。苏茨克弗说，公司内部对此的期望再低不过了：“我不得不承认这点，虽然有些尴尬，但这是真的。当我们创造 ChatGPT 时，我不知道它是否能带来任何好处。当你问它一个事实性问题时，它会甩给你一个错误的答案。我觉得它是如此地平淡无奇，以至于人们会说，'你做这个东西干什么？这太无聊了！”
人们关注的重点是便捷性，苏茨克弗说。ChatGPT 背后的大型语言模型已经存在了几个月。但是，将其包装在一个易用的网页上并免费开放，这让数十亿人第一次意识和接触到 OpenAI 和其他公司正在构建的东西。
“这种第一次的使用体验吸引了人们，”苏茨克弗说，“第一次使用它时，我认为这几乎是一种精神之旅。你会觉得，'我的天啊，这台电脑明白我在说什么。”
OpenAI 在不到两个月的时间里积累了 1 亿用户，其中许多人被这个令人惊叹的新玩具弄得眼花缭乱。存储公司 Box 的 CEO 亚伦莱维（Aaron Levie）总结了这种状态，他在 X（原推特）上写道：“ChatGPT 的发布是技术领域罕见的时刻之一，你得以窥见未来的一切都会发生改变。”
尽管一旦 ChatGPT 给出愚蠢的回应，这个人们眼中的奇迹就会崩塌，但到那时就无所谓了。人们看到了它的可能性，这就足够了，苏茨克弗说。ChatGPT 改变了人们的视野。
“通用人工智能不再是机器学习领域人人避之不及的一个词，”他说，“这是一个很大的变化。人们之前采取的态度是：人工智能行不通，每一步都非常困难，你必须为一点点的进步而战。当人们宣布关于通用人工智能的大发现时，研究人员会说，'你在说什么？这行不通，那行不通，问题太多了。但有了 ChatGPT，感觉开始变得不一样了。”
而这种转变在一年前才开始发生。“这就是因为 ChatGPT 的诞生，”他说，“ChatGPT 让机器学习研究人员开始有资格做梦。”
OpenAI 的科学家从一开始就是布道者，他们一直在通过博客文章和演讲来激发这些梦想。它正在发挥作用：“我们现在看到，有人在谈论人工智能会走多远。人们开始谈论通用人工智能，或者超级智能。而且不仅仅是研究人员，政府也在谈论它，”苏茨克弗说，“这太疯狂了。”
不可思议的事情
苏茨克弗坚持认为，所有这些关于尚未（也可能永远不会）出现的技术的讨论都是一件好事，因为它让更多的人看到了一个未来的样子，而他们本就认为这个未来会出现。
“你可以用通用人工智能做很多令人惊奇的、不可思议的事情，比如自动化医疗保健，让它便宜一千倍，好一千倍，治愈更多的疾病，真正解决全球变暖，”他说。但也有许多人担心，人工智能公司会管理好这项影响深远的技术吗？
这样听起来，通用人工智能更像是一个愿望实现的精灵，而不是现实世界的前景。很少有人会对拯救生命和解决气候变化说不。但是它是一个还不存在的技术，所以你可以随心所欲地说。
当苏茨克弗谈论通用人工智能时，他真正想表达的是什么？“通用人工智能并不是一个科学术语，”他说，“它代表了一个有用的门槛（阈值），一个参考点。
他继续说：“这是一个时间点，人工智能会变得非常聪明，聪明到如果一个人可以完成一些任务，那么人工智能也可以做到。在这时候，你可以说你有了通用人工智能。”
人们可能会一直谈论它，但通用人工智能仍然是该领域最具争议的想法之一。很少有人认为它的发展是理所当然的。许多研究人员认为，在我们看到苏茨克弗所提到的任何美妙的东西之前，需要出现重大的概念突破。有些人则认为我们永远不会看到这个时刻。
然而，这一愿景从一开始就驱使着他。“我一直受到这个想法的启发和激励，”苏茨克弗说，“当时它还不叫通用人工智能，就是想让神经网络做任何事情。我并不总是相信它们可以做到，但这是要攀登的山。”
他将神经网络和大脑的运作方式相提并论。两者都接受数据，从这些数据中聚合信号，然后基于一些简单的过程（神经网络中的数学，大脑中的化学物质和生物电）来传播或不传播它们。这是这个过程的极度精简版本，但本质上就是这样。
“如果你相信这一点，如果你允许自己相信这一点，那么就会有很多有趣的引申冒出来，”苏茨克弗说，“主要一个引申思路是，如果你有一个非常大的人工神经网络，它应该能做很多事情。特别是，如果人类大脑可以做某事，那么大型人工神经网络也可以做类似的事情。”
“如果你足够认真地对待这个认识，一切都会随之而来，”他说，“我工作的很大一部分可以用这个来解释。”
当我们谈论大脑时，我问了苏茨克弗在 X 上发表的一篇文章。苏茨克弗的推文流读起来就像格言和鸡汤，比如“如果你把智力看得高于所有其他人类品质，你就会过得很糟糕”，“生活和商业中的同理心（的价值）被低估了”，“完美已经摧毁了许多本就完美的东西。”
2022 年 2 月，他发帖称，“或许如今的大型神经网络萌生了意识”。对此，谷歌 DeepMind 首席科学家、伦敦帝国理工学院教授、电影《机械姬》的科学顾问默里沙纳汉（Murray Shanahan）回复说：“……从同样意义上讲，一大片小麦可能显得有点像意大利面。”
当我提起这个故事时，苏茨克弗笑了。他在故意搞笑吗？他没有。“你熟悉玻尔兹曼大脑的概念吗？”他问。
他指的是以 19 世纪物理学家路德维希玻尔兹曼（Ludwig Boltzmann）命名的量子力学思想实验，其中宇宙中的随机热力学波动被想象成大脑突然出现和消失的原因。
“我觉得现在这些语言模型有点像玻尔兹曼大脑，”苏茨克弗说，“你开始和它说话，聊了一会儿，然后你说完了，大脑就噗的一下消失了。” 他同时用手做了一个消失的动作。再见，大脑。
我继续问：“你是说，当神经网络处于活动状态时，或者它正在激发时，那里出现了一些东西？”
“我想可能是，”他说。“我不确定，但这是一种很难反驳的可能性。谁知道发生了什么，对吧？”
超级人工智能和超级对齐
当其他人为可以匹配人类智慧的机器的想法而苦苦挣扎时，苏茨克弗正在为能够超越我们的机器做准备。他称之为超级人工智能：“它们会更深入地看待事物，会看到我们看不到的东西。”
同样，我很难理解这到底意味着什么。人类智能是我们衡量智能的基准。苏茨克弗所说的比人类更聪明的智能是什么意思？
“我们已经在 AlphaGo 中看到了一个非常狭隘的超级智能的例子，”他说。2016 年，DeepMind 的围棋人工智能以 4 比 1 击败了世界上最好的围棋选手之一李世石。“它想出了如何以不同于人类数千年来集体发展的方式下围棋，”苏茨克弗说，“它想出了新的想法。”
苏茨克弗指出了 AlphaGo 走出的第 37 步。在对阵李世石的第二场比赛中，人工智能做出了一个让评论员感到困惑的举动。他们认为 AlphaGo 搞砸了。事实上，它下出了围棋史上从未见过的关键一手。“想象一下这种洞察力，可以用到各种地方，”苏茨克弗说。
正是这种思维导致苏茨克弗做出了他职业生涯中最大的转变。他与 OpenAI 的科学家简雷克（Jan Leike）一起成立了一个团队，专注于他们所谓的“超级对齐（superalignment）”。对齐（alignment）是人工智能领域的术语，意味着让人工智能模型只做你想让它做的事，仅此而已。超级对齐，是 OpenAI 应用于超级智能的对齐术语。
它的目标是，提出一套故障安全程序来构建和控制这项未来技术。OpenAI 表示，它将把五分之一的庞大计算资源分配给这个问题，并在四年内解决这个问题。
“现有的对齐方法不适用于比人类更聪明的模型，因为它们从根本上假设人类可以可靠地评估人工智能系统正在做什么，” 雷克说，“随着人工智能系统变得越来越强大，它们将承担更艰巨的任务。因此，这将使人类更难评估它们。“与伊利亚组建超级对齐团队，意味着我们已经开始着手解决这些未来的对齐挑战，”他说。
“不仅要关注大型语言模型的潜在机会，还要关注风险和缺点，这一点非常重要，”谷歌首席科学家迪恩说。
该公司在 7 月大张旗鼓地宣布了该项目。但对一些人来说，这更像是幻想。OpenAI 在 X 上发的帖子引起了大型科技公司著名批评者的蔑视：在 Mozilla 从事人工智能责任工作的阿维夫布尔汉（Abeba Birhane）写道：“一篇博客文章中就有这么多听起来很宏伟但空洞的词”；分布式人工智能研究所（Distributed Artificial Intelligence Research Institute）联合创始人蒂姆尼特格布鲁（Timnit Gebru）表示：“想象一下，ChatGPT 与 OpenAI 更加'超级一致'，就让人不寒而栗”；以及人工智能公司 Hugging Face 的首席伦理科学家玛格丽特米切尔（Margaret Mitchell）说到：“我的对齐比你的更大”。
的确，这些都是熟悉的质疑声音。但这也提醒我们，有些人看到 OpenAI 遥遥领先，也有人看到了它在向某个方向倾斜。
但是，对于苏茨克弗来说，超级对齐是不可避免的下一步。“这是一个未解决的问题，”他说。他认为，这个问题没有足够多的、像他这样的核心机器学习研究人员在探索。“我这样做是我自己的兴趣驱使，”他说，“非常重要的是，任何人建立的任何超级智能都不会变成坏蛋。这很显而易见吧。”
超级对齐的工作才刚刚开始。这将需要研究机构的广泛改变，苏茨克弗说。但他心中有一个他想要设计的保护措施的典范：一台像父母看待孩子一样看待人的机器。“在我看来，这是黄金标准，”他说，“人们真的很关心孩子，这句话在大部分情况下是对的。” 苏茨克弗没有孩子，但他想有。
我和苏茨克弗约定的采访时间就要结束了，我一度认为已经结束了。但他还在说，还有一个想法要分享，一个我没想到的想法。
“一旦你克服了超级人工智能的挑战，那又如何呢？在一个拥有更智能的人工智能的世界里，人类还有空间吗？“他说。
“有一种可能性，按照今天的标准可能很疯狂，但按照未来的标准不会那么疯狂，那就是许多人会选择成为人工智能的一部分，”苏茨克弗说，这可能是人类试图跟上人工智能的方式，“起初，只有最大胆、最冒险的人才会尝试这样做。也许其他人会效仿，也许不会。”
话音刚落，他就要起身离开了。
“你会这样做吗？”我急忙追问，“你会是第一个吗？”
“第一个？我不知道，“他说，“但这是我在考虑的事情。真正的答案是：也许吧。”
紧接着，他站起来走出了房间。“很高兴再次见到你，”他边走边说。
支持：Ren
相关文章
