芯东西（公众号：aichip001）
编译| 林卓玮
编辑| 江心白
芯东西12月3日消息，亚马逊本周推出了自研云端AI训练定制芯片AIAWS Trainium，称其能显著降低训练成本。
据悉，相较基于英特尔AI训练芯片Habana Gaudi的亚马逊Elastic Compute Cloud（EC2）实例，基于AWS这款AI训练芯片的云端实例在可用性方面更为领先。
从2021年下半年起，Trainium将搭载于EC2实例和亚马逊完全托管机器学习开发平台SageMaker上，同时还将支持谷歌的TensorFlow、脸书的PyTorch和MxNet等主流框架。
▲在AWS re:Invent 2020大会上，亚马逊推出了自产芯片AWS Trainium。
一、结合Inferentia：吞吐量提高30%，推断成本降低45%
亚马逊声称，Trainium的万亿次浮点运算能力是目前云上机器学习实例中最强的。与标准AWS GPU实例相比，Trainium将吞吐量提高30％，将每次推断成本降低45％。
此外，亚马逊表示将使用与其自研云端AI推理芯片Inferentia相同的Neuron SDK。Neuron SDK是用于机器学习推理的云托管芯片。
“推理成本通常占据机器学习基础架构成本的90%，Inferentia主要攻克了这部分的成本问题，不过许多开发团队仍受到固定机器学习训练预算的限制，” AWS官方博客中写道，“开发团队通常难以达到改善模型应用所需的训练规模和强度。”
通过将Trainium和Inferentia结合起来，AWS为客户提供了端到端的机器学习计算流程，在扩展训练量的同时，还加快了推理流程。
目前尚无Trainium跑分结果，因此还不清楚Trainium和谷歌TPU（张量处理单元）相比孰优孰劣。
谷歌表示，即将推出的第四代TPU ASIC提供了超出其第三代TPU两倍以上的矩阵乘法TFLOPS性能（矩阵通常用于表示输入到AI模型中的数据），同时在内存带宽上实现“显著”提升，并取得互联技术突破。
二、解决机器学习成本问题
机器学习的部署过去一直受到算法规模、速度及硬件成本的限制。
事实上， 麻省理工学院的一份报告发现，机器学习可能已接近算力极限。
根据Synced的一项研究，在为期约两周的训练中，华盛顿大学的Grover假新闻检测模型训练花费约25000美元（约为16.4万人民币）。
OpenAI在训练GPT-3语言模型上花费多达1200万美元（约为7880万人民币），而谷歌在训练BERT模型时，仅花费了6912美元（约为4.54万美元），该模型在11种自然语言处理测试中创下最佳成绩。
结语：机器学习市场规模七年预计增长12倍
据业内相关数据，2017年全球机器学习市场的价值仅为15.8亿美元，到2024年预计将达到208.3亿美元，预计将增长12倍有余。
随着更多企业应用对引入AI产生需求，今年11月，亚马逊宣布将Alexa和Rekognition的部分计算任务转移到Inferentia支持的云端实例上，一方面继续降低成本，一方面提升工作效率，同时逐渐降低对Nvidia芯片的依赖。
在AWS Trainium落地后，亚马逊的业务将进一步向AI、机器学习训练以及推理加速服务倾斜。
文章来源：VentureBeat
相关文章
