想象一个计算机程序可以可视地识别在无声钢琴演奏的视频中正在播放哪些音乐，这可能不是一件容易的事。但是，新的AI系统通过以逼真的方式数字再现钢琴演奏的声音而走得更远。
该技术被称为Audeo，由华盛顿大学的一个团队设计。它集成了人工智能软件，该软件在莫扎特和巴赫等古典作曲家的钢琴演奏家保罗巴顿播放的大约172,000帧高架视频上进行了“训练”。
分析无声视频时，通过观察按什么顺序按下了哪些键，确定各个音符及其排列，可以启动系统。就是说，它还可以感知每个琴键被击打的力度以及按下的时间可以弄清每个音符的强度，以及在随后弹奏的音符下持续存在的时间。它还考虑到了钢琴的独特声学特性。
然后将该数据转换为现有数字合成器可以理解的格式。据报道，当该合成器播放音乐文件时，它听起来很像原始的钢琴音乐，而不是像8位铃声那样简单。
Paul Barton的YouTube频道中的视频已删除声音。
Audeo产生声音的上方视频。
在Audeo的测试中，它的任务是根据Barton的静音视频播放钢琴音乐，而不播放系统经过训练的音乐。当诸如SoundHound之类的音乐识别应用程序分析这些复制品时，它们能够以大约86％的准确度识别音乐。相比之下，当这些应用程序分析同一视频中的原始钢琴音频时，它们的识别准确率将攀升至93％。随着技术的进一步发展，这一差距应缩校
“我们希望我们的研究能够以新颖的方式与音乐互动，” Asst说。这项研究的资深作者伊莱谢利泽曼（Eli Shlizerman）教授。“例如，未来的应用是Audeo可以通过仅记录一个人的手的摄像机将其扩展到虚拟钢琴。此外，通过将摄像机放置在真实钢琴的顶部，Audeo可能会以新的方式帮助学生学习如何去演奏。”
关注风火轮，技术之路常相伴，我们下期见！
相关文章
