火山翻译的中台能力:用AI让人们跨越沟通的藩篱

人工智能应用1年前 (2023)发布 aixure
64 0 0
导读:在巴别塔的传说中,人们第一次意识到了语言共通的重要性。要知道,当前世界上存在的语言超过6900种。不过时至今日,人们已经能够在日常交流、音视频、线上会议、直播互动中无障碍的进行交流,背后离不开机器翻译的助力。作为字节跳动旗下的企业级技术服务平…

在巴别塔的传说中,人们第一次意识到了语言共通的重要性。要知道,当前世界上存在的语言超过6900种。不过时至今日,人们已经能够在日常交流、音视频、线上会议、直播互动中无障碍的进行交流,背后离不开机器翻译的助力。作为字节跳动旗下的企业级技术服务平台,“火山翻译”每天为来自全球的过亿用户提供着服务。“火山翻译一方面承载了公司的国际化推进,通过机器翻译和AI技术打破语言障碍,让不同国家的人可以随时沟通,另一方面也会支持公司业务的发展,为飞书、今日头条等多款产品提供了稳定和高质量的翻译服务,对外与火山引擎携手,满足更多客户的使用需求。”在AICC 2021期间,字节跳动AI LAB机器翻译负责人王明轩在接受采访时谈到。

字节跳动AI LAB机器翻译负责人王明轩

据了解,火山引擎是字节跳动旗下的企业级技术服务平台,将字节跳动快速发展过程中积累的增长方法、技术工具和能力开放给外部企业,提供云、AI、大数据技术等系列产品和服务,帮助企业在数字化升级中实现持续增长。火山翻译是火山引擎的核心AI中台能力之一,日均处理的数据在百亿级规模,对话达到数亿句,打造了各大场景智能翻译解决方案,对于基础设施的算力有着很高的需求,对此,浪潮也提供了强有力的支持。

火山翻译曾开源了一款耗时四年自研的Transformer类模型推理加速引擎LightSeq,对序列特征提取器和自回归的序列解码器做了深度优化买,可以应用于机器翻译、自动问答、智能写作、对话回复生成等多文本生成场景,大幅提高线上模型推理速度,改善了使用体验,降低了运营服务成本,具备高性能、支持模型功能多、简便易用(无缝对接Tensorflow、PyTorch等ML框架)等特点,并且提供了丰富的二次开发工具,通过插入自定义层或修改命令行参数等方式,即可在各种流行训练库上轻松使用。在今年6月的版本更新后,该引擎在不同批处理大小下,相较主流训练库最高可加速三倍左右。

目前,火山翻译拥有通用翻译、视频翻译、火山同传三大产品,具备文本翻译、语音翻译、图像翻译和语种识别四种能力,在办公、娱乐和新闻等场景表现较好,支持56门语种、3080个语向的翻译。对于浪潮、微软、NVIDIA等企业陆续发布的巨量算法模型,王明轩同样表示了期待,“我们比较关注多模态和大数据,希望把语音文本、视频等信息统一起来,构建一个大模型,让多模态的信息表达得更好,大幅改善翻译等场景的效果。”此前,火山翻译也开源了融合五六十种云的大模型,可以同时处理超过50种语言,后续会扩大至支持150个云。

从跨模态到泛娱乐,火山翻译在翻译效果上不断精进,背后则是要解决不少问题,例如字节跳动的国际化业务快速扩张,在世界各地的沟通交流挑战亟待解决,并且随着业务模式的多元化,平台所承载的内容也愈发复杂,包括语音、图像、视频等等,引发了对多语言和多模态的研发需求,此次来解决通用性的难题。火山翻译还与合作伙伴共同推出了终端产品,如VolctransGlass AR智能翻译眼镜,可以实现画面自动翻译、拍照翻译、实时语音识别和翻译等功能,融合了语音识别、图像识别等技术,用户带上眼镜就能所见即所得、所听即所得。

除此之外,火山翻译还有包括火山同传、火山翻译API、火山翻译Studio、浏览器翻译助手等矩阵产品。以火山同传为例,这是由火山翻译团队超过40位顶尖科学家、工程师打磨出的机器翻译模型。在高鲁棒性的翻译模型、音视频样本库和软件平台的统筹配合下,能够既保证设备稳定运行,同时实现较高的译出率,实现人工翻译的精准度和机器翻译的时效性的深度结合。

今年7月,火山翻译斩获了ACL 2021的最佳论文(《Vocabulary Learning via Optimal Transport for Neural Machine Translation》),研究提出了一种新的词表学习方案VOLT,在多种翻译任务上取得了优秀结果,可以快速给不同语言找到匹配的词表粒度和大小,对多语言翻译、稀有语对翻译有重要的应用价值。至今,已有一系列NLP的相关研究成功应用于火山翻译,为抖音、今日头条、飞书、西瓜视频等产品提供优质的翻译服务。火山翻译团队在人工智能顶级国际学术会议已经发表了70多篇学术论文,在国际机器翻译大赛上获得9项冠军。

未来,火山翻译会在数据安全方面做更多的努力,在保障用户数据隐私的情况下直接在终端上进行翻译处理。可以看到,火山翻译的机器翻译团队在算法模型、开源代码等方面做出了不少贡献,在前沿论文、技术创新、赛事评选中也屡创佳绩。更重要的是,火山翻译还支撑着月均数亿的活跃用户使用,产品实力显然是过硬的。

“我们会把丰富的原子能力包装成各种各样的解决方案提供给相应的行业,翻译、图像识别、语音识别各自都是一种原子能力,组合之后就是一种解决方案,比如视频翻译方案、AI眼镜方案等等,之后再与行业场景结合。”王明轩表示,“我们要保证原子能力做到行业内最好,再把这些原子能力包装成方案,每个环节都做好后,这个方案才是稳定的。就像造火箭一样,我们的原子能力就是其中的零件,我们要保证这个零件是精确的,这样最后组合出来的产品才是经得起市场考验的。”

(7805667)

赞助本站

© 版权声明

相关文章

暂无评论

暂无评论...