自 1990 年代以来，计算机科学家一直使用基准测试任务评判世界上最强超级计算机的性能。每个月，他们都会发布排名前500位的计算机，这些超级计算机在各国之间的竞争非常激烈。这个排名的历史表明，随着时间的推移，超级计算机的性能按照摩尔定律增长，大约每14个月翻一番。（摩尔定律，即集成电路上可容纳的晶体管数目，被认为大约每隔18个月可增加一倍，同时性能也提升一倍）
然而，尽管深度学习技术导致了计算机性能的大步变化，但人工智能系统却没有同等的排名。这些机器已经被证明能够在物体识别、中国古代围棋游戏、许多电子游戏和各种各样的模式识别等任务上与人类匹敌，甚至打败人类。
对于计算机科学家来说，这引发了一系列问题: 如何衡量这些人工智能系统的性能、如何研究提升速度，以及这些提升是否遵循摩尔定律，甚至超越摩尔定律。
现在，科学家终于破解了这些问题。英国阿伯丁大学(University of Aberdeen)的Jaime Sevilla团队研究了自1959年以来人工智能系统计算能力的增长方式。该团队表示，在过去10年里，人工智能系统的性能每六个月左右就会翻一番，远远超越了摩尔定律。
研究人员证实，这种提升与三个因素有关。首先是基于深度学习和神经网络的新算法技术的发展。第二个是训练这些机器的大型数据集的可用性。最后一个因素是计算能力的增强。
虽然新数据集的影响和改进算法的性能很难衡量和排名，但计算能力相对容易确定。这使Sevilla团队找到了一种衡量人工智能系统性能的新方法。
他们的方法是测量训练一个人工智能系统所需的计算能力。Sevilla和他的同事已经完成了123项人工智能系统，在计算史上取得里程碑式的成就。他们表示，1959年至2010年期间，用于训练人工智能系统的计算能力每17至29个月就翻一番。他们称这个时代为前深度学习时代。研究人员认为，前深度学习时代的趋势是大致符合摩尔定律的。
该团队表示，当前深度学习时代通常被认为始于2012年，当时创建了一个名为 AlexNet 的对象识别系统。然而，Sevill团队也认为，人工智能性能的大幅提升可能开始于 2010 年或稍早一点。这标志着深度学习时代的开始，此后进展迅速。从 2010 年到 2022 年，改善率要高得多，即整体趋势加快，大约每4到9 个月翻一番。这种进步明显优于摩尔定律。
然而，鉴于芯片本身的改进遵循着摩尔定律，这种进步是如何实现的？
这个问题的答案部分来自于人工智能系统使用了图形处理单元(GPU)，而不是中央处理单元，这使得他们能够更有效地并行计算。这些处理器也可以大规模地连接在一起。因此，让人工智能系统超越摩尔定律的另一个因素是，依赖于更多GPU的机器越来越大。这一趋势带动了机器的发展，例如分别破解了围棋和蛋白质折叠的AlphaGo和AlphaFold。
该团队表示，自 2015 年以来，开发大型机器已经成为一种趋势，即大规模时代与深度学习时代并行，它揭示了人工智能在过去十年左右的巨大投资和成功。
相关文章
