“玩GPT-3就像在窥视未来。”这是人工智能界对目前最大语言模型GPT-3的普遍反应，甚至有分析人士指出，这将是比特币之后又一个影响世界的现象级新技术，而低估者只会后知后觉。
就在上个月，由诸多硅谷大亨联合建立的人工智能实验室OpenAI推出的GPT-3开放了部分API测试资格，希望外部开发者帮助它探索功能，并计划将其转化为商业产品。之后体验者公开的测试结果引起学界和工业界的激烈讨论。
许多测试者发现GPT-3在生成任何类型文本的过程中，创造力和准确率比过往的AI模型有更大突破。有测试者展示了利用GPT-3生成小说和新闻，原本所提供的仅仅只是标题和第一个单词；有测试者利用GPT-3做了UI生成器，仅通过语言描述就能生成UI的各个组件，如Sharif Shameem输入“像西瓜一样的按钮”即完成了网页设计；还有测试者利用GPT-3写SQL查询代码、运维的命令，分析食物营养成分，生成资产负债表；更令程序员担心就业的是，有VR公司的首席技术官在测试过程中偶然发现GPT-3可以用来直接生成代码。
在测试发布前，神经网络之父、深度学习鼻祖、图灵奖获得者Geoffrey Hinton在推特上表示：“将GPT-3的惊人表现推演到未来，可以得出的结论是，生命、宇宙和一切万物的答案只是4.398万亿个参数而已。”但质疑声也同时四起，纽约大学名誉教授Gary Marcus和计算机系教授Ernest Davis在《麻省理工科技评论》上发文称“傲慢自大的GPT-3自己都不知道自己在胡说什么。”批评者指出GPT-3的“暴力美学”远非智能。
算力的飞跃式升级
在计算机自然语言处理（NLP）领域，语言模型是重要工具，基本原理是对语句分布概率建模，传统的语言模型需要测试开发者采集大量训练数据进行调优，之后才能应用到下游的具体NLP任务中，调优过程耗时长且代价高昂。但OpenAI所推出的模型仅需要文本交互和给予少量示例，即能完成翻译、问答和文本填空等任务，这源于GPT-3高达1750亿的巨大参数量，是前一代的116倍，效果如同烧钱“暴力”提高AI准确率。
上海交通大学计算机系教授赵海对南方财经全媒体记者表示：“其实它的训练模式很简单，我给你前面一句话，预测下一个词，语料库如果足够大的话，所有组合都已经丢进去了。”赵海的自然语言处理团队曾在斯坦福大学发起的国际权威机器阅读理解评测SQuAD2.0挑战赛中获得单模型第一的成绩，他认为GPT-3相当于把45T的文本压到一个模型里，数据训练量可以想象成100万个受过良好教育的人终身的阅读量。
GPT-3的论文长达72页，作者多达31人。根据OpenAI官方信息，所有模型都在微软提供的超级计算机系统上训练，该系统据称拥有超过285000 个 CPU 核心、10000 个 GPU 和每秒 400G 的网络。在超大算力资源的加持下，GPT-3训练一次的费用是460万美元，训练时间为355个GPU年，总成本据悉达到1200万美元。由于代价高昂，论文直接承认出现BUG时无法再重新进行训练。
OpenAI成立于2015年12月，定位为非盈利组织，旨在确保通用人工智（AGI）能让全人类全体获益，而非被少数巨头垄断，创始人包括硅谷钢铁侠埃隆马斯克，马斯克后来因OpenAI未将模型全部开源而退出。OpenAI去年从非盈利转型为有限盈利，微软已经为OpenAI投资10亿美元，并获得部分技术的商业开发许可。
根据OpenAI的计划，此次开放测试申请可以让外部开发人员帮助他们探索GPT-3的功能，预计今年底会将GPT-3变为商业产品。作为非盈利组织，这一计划遭到部分业内人士指责，OpenAI回应表示商业化是确保后续拥有足够研究资金的方法，并强调：“最终我们最关心的是确保人工智能能够使所有人受益。”
赵海在接受采访时提到，“有一件事情需要澄清，大工业社会科研体系是近代社会才有的。哪怕是全球市场，从自由竞争到垄断，市面上最大的几家公司开始改变游戏规则，先进技术一定会取代落后技术吗？不是，资本控制下以利润为优先的原则开始决定这个技术要进步得有多快。重大技术的转换现在要由许多复杂因素促成。”
之所以选择发布API而不是发布开源模型，OpenAI官方表示主要有三个原因：首先，技术商业化有助于获得后续AI研究工作资金；其次，模型运行仍旧代价高昂，希望API能使小型企业和组织更容易访问其AI系统；最后，API使其能够研究潜在的技术滥用，及时控制有害应用程序，终止API访问，改进工具和流程。
其提到的技术滥用情况，包括骚扰、垃圾邮件、假新闻、内容不道德风险等。Facebook的AI部门主管Jerome Pesenti已经公开指责GPT-3不安全，他用GPT-3生成的一则推文蕴含种族歧视和暴力血腥信息。该语言模型的训练数据来自全球网络，天然布满潜在陷阱。
实用与概念的距离
除了成本，在真正的智能以及实用性方面，GPT-3仍然饱受质疑。
“它向我们展示了一下，规模大到这种程度，模型能变成什么样子，但是这些能力离实用还是很远。”赵海表示。
赵海所在的学界讨论群一度被GPT-3刷屏，他认为从宣传攻势上看，OpenAI已经成功。他分析认为：“一般的话，公司会维持一个常规的生产线，还有一个奢侈品似的高端产品线，高端产品线不是用来赚钱的，只不过证明我们行，品牌是光鲜的，但是真正赚钱的是那种低技术走量的产线。GPT-3其实属于前者，它不见得起什么作用，离主流使用也非常远，属于概念性的产品。或者算不上产品，只是一个概念。”
OpenAI的CEO Sam Altman也表示：“GPT-3被讨论得太过了，它的确令人眼前一亮，但是它还有很多缺陷甚至有时会犯愚蠢的错误，AI将会改变世界，但GPT-3还只是很早的一瞥，我们还有问题需要解决。”
多位人工智能从业者指出，GPT-3令人震撼的文本生成能力背后靠的是巨大的资源数量，但是最关键的是，它仍然没有语义理解和因果推理能力，数据驱动的机器学习方法难以产生真正理解自然语言的系统。
即使未来能商用，一位硅谷人工智能网络安全公司CTO对南方财经全媒体记者表示，他并不担心GPT-3会取代程序员真正的技术工作，只会提高工作门槛和效率，“GPT-3的训练语料库可能包含一些网页的代码样本，或者编程教程，未来会被取代的可能是初级的编程任务，比如那些一直依赖StackOverflow论坛和只会复制粘贴代码的搬运工。”
在商业应用的可能性上，有硅谷投资人认为，即使GPT-3生成的内容60-70%无效，但在个别任务上仍然能生成令人惊艳的文本，值得关注。目前的一个潜在应用是更精准地满足用户的深度搜索需求，未来可能可以演变成结合深度搜索和分析能力的人类智囊，如心理咨询、分析公司等，将重构涉及信息处理分析和创造的行业。
支持GPT-3等自然语言处理模型发展的因素包括算力的提高、高效计算模型涌现、更多高质量的训练数据，他认为这三者都可以预期，比如同等算力的GPU价格如果每八年降低一个数量级，未来的训练成本完全有可能下降数百倍。但有从业者认为，算力已变成巨头的技术高墙，难以企及。
赵海指出，数学作为基础学科已经大幅度超前，现在计算机学科的许多模型在上世纪已经存在，拥有足够算力的单位将占领先机，“其实我们真正需要的是说算力的价格变得可以接受，GPU的普及也就是最近10年的事情，一直卖得很贵。它的成本能降下来的话，没问题，但这里面你还要考虑到一个市场模式的问题，目前GPU基本上被一家以暴利价格垄断了。”
“伟大的想法，伟大的算法，等待着算力降价的那一天。”赵海说。
相关文章
