谷歌、微软、百度、阿里、腾讯、字节……随着ChatGPT带动大语言模型爆火,全球头部科技大厂再次站上了同一个赛道。其中,百度宣称将在3月16日围绕其生成式AI产品、大语言模型“文心一言”召开新闻发布会,这意味着百度有机会成为全球第一个做出类ChatGPT的大语言模型的科技大厂。
纵观全球,OpenAI虽然在大语言模型的研发上快人一步,但它其实是一家美国的创业公司,有赖于微软提供的资金及算力支持;虽然微软最先吃到了ChatGPT的红利,但微软自身并不具备这一技术能力,而是通过投资与采买的方式集成OpenAI的技术。直到现在,美国的大厂和其他创业公司、中国的大厂与创业公司中,为何只有百度做出了自己的大语言模型?
大语言模型不是突击一两个月就做出来的,而是需要多年沉淀。百度能抢下头筹也并非是一朝一夕之功,百度深耕人工智能领域十余年,拥有芯片、框架、模型和应用四层技术栈。
2022世界人工智能大会上,百度创始人、董事长兼首席执行官李彦宏讲述,“过去一年,无论是在技术层面还是在商业应用层面,人工智能都有了巨大的进展,有些甚至是方向性的改变。而新事物从‘无人看好’到‘无人能及’,决胜往往就在‘坚持’二字,科技创新尤其如此”。
深耕人工智能领域十余年,从最底层AI芯片昆仑,到飞桨深度学习平台,再到预训练大模型等都有布局,百度的研发投入累计超过1000亿元。
基于长期技术投入,百度基础能力完全具备、具有综合优势,不仅能够实现整体持平ChatGPT,甚至还有机会做到局部超越。超越部分除了在中文语意理解方面的优势,还有知识增强、检索增强和对话增强的能力。
知识增强方面,百度文心大模型是全球首个知识增强千亿大模型,拥有世界上最大规模知识图谱,包含50亿实体、5500亿级事实,每天调用量超过400亿次。知识图谱是以结构化的形式描述真实世界中的实体、属性、关系等,是机器认知世界的重要基矗
检索增强则是指,在大模型底层上,搜索架构和生成式AI架构可以融合。搜索在真实数据和用户需求理解上具备先发优势,能提升大语言模型的准确性和实效性。
此外,在对话一致性、长期记忆和多轮对话丰富度上,文心一言也可能有更好的表现。百度在这方面实力显著,其“知识与深度学习融合的通用对话技术及应用”曾获中国人工智能协会吴文俊奖特等奖,是历史上首个特等奖;“百度大脑核心技术与开放平台”获中国电子学会科技进步奖一等奖;百度超级智能助手也曾获中国专利金奖。
当然,我们也要充分意识到大语言模型的技术难度,百度文心一言推出时,若能达到ChatGPT去年11月发布时的水平,就实属不易。
ChatGPT在发布之初也有诸多槽点,但随着越来越多人使用,它也变得越来越聪明。这与大模型的底层技术逻辑有关,文心一言和ChatGPT背后,都是SFT(模型微调)、RLHF(强化学习)、prompt(用户指令)等技术。在训练阶段,SFT和RLHF通过学习真实的用户数据,提升模型效果;部署阶段,用户的prompt能够给预训练大语言模型提示,使模型能更好理解人类问题。
值得欣慰的是,中国科技互联网公司在人工智能领域的探索已经取得了长足进步,特别是在算法和算力上,中国公司最近几年在快速进步。其中,百度在自然语言处理、深度学习等领域的专利申请量和授权专利持有量均排名第一。这些技术在机器翻译、舆情监测、自动摘要、观点提娶语音识别等方面已经有了很多应用。
同时我们也看到,来自用户的指令和大模型通过海量无标注数据训练是不同的,需要人的参与,作用是更好地理解人的意图,生成符合人的价值观、表达习惯的回复。因此,随着文心一言开始内测与邀测,真实的用户、开发者调用和模型迭代之间的飞轮开始转动,文心一言就将以令人惊讶的速度不断进步。中国的大语言模型,值得市场给予一些信心与耐心。