机器人学习目前已经被广泛应用于现实世界，并可以完成精密的手部、腿部动作。但在动态且高速的人机互动中，机器人学习并不常见。谷歌选择开发乒乓球机器人，正是为了探索这类情况下人工智能的可能性。
使用i-Sim2Real这种方式，在模拟环境下可以让数年的实时训练在几分钟或几小时内完成。
谷歌i-Sim2Real项目乒乓球机器人与人类训练。本文图片来源：谷歌
似乎现存的每一种桌上运动中，人工智能都立于不败之地。乒乓球竞技中，谷歌AI同样难逢敌手。10月18日，谷歌公布其正在研究的“乒乓球机器人”项目，在与人类对打时一回合可接球340次。目前，谷歌强调这只是人类与AI的“合作”，并非击败人类，但以AI成长的速度，它将很快成为专业选手。
机器人学习目前已经被广泛应用于现实世界，并可以完成精密的手部、腿部动作。但在动态且高速的人机互动中，机器人学习并不常见。谷歌选择开发乒乓球机器人，正是为了探索这类情况下人工智能的可能性。
解决“先有鸡还是先有蛋”
在这个名为i-Sim2Real的项目中，谷歌的乒乓球机器人在模拟环境中不断学习，并将学习成果运用于现实世界，最终可以在一个与人类的乒乓球接发回合中，接球超过三百次。它还能把球送回不同的区域，虽然不能精确到数字上，但已经足够精确到让机器人规划策略，来控制乒乓球的最终目的地。
乒乓球机器人可以在一个回合中接球超过三百次。视频来源：谷歌(00:10)
谷歌之所以选择乒乓球运动，是因为机器人可以与快节奏以及相对不可预测的人类行为进行交互，同时乒乓球的规则相对于篮球、板球等运动也较为简单直接。机器人完成乒乓球动作时，既要求速度又要求精度，这对学习算法提出了很高的要求。同时，这类运动具有固定的、可预测的环境，使其成为研究人机交互和强化学习问题的理想测试平台。这些特性使得谷歌开发了i-Sim2Real项目。
i-Sim2Real也不仅仅是关于乒乓球机器人，更是一种人工智能创造过程的方式，在这个过程中，机器学习模型被教会在虚拟环境或模拟中做什么，然后再应用这些知识，目标是尽可能长时间地与人类进行接球回合而不失误。在现实世界中直接与人类玩家进行训练既繁琐又耗时，当需要数年的试验和错误才能建立一个工作模型时，使用i-Sim2Real这种方式显得十分有效，它在模拟环境下可以让数年的实时训练在几分钟或几小时内完成。
这种方式听起来简单高效，但在模拟中机器人并不是万能的。人类的活动具有一定的不可预测性，并不容易模拟，需要先有人类的行为模型作为支撑。而人类的行为模型，又需要与机器人互动获得。这就陷入了一个“是先有鸡还是先有蛋”的死循环。
i-Sim2Real解决这一鸡和蛋问题的方法，是使用一个简单的人类行为模型作为近似起点，并让机器人在模拟训练和现实训练之间交替学习。在每次迭代中，都会细化人类行为模型和策略。在机器人接近人类行为的过程中，初期的不理想是可以接受的，因为机器人也只是刚刚开始学习，之后每一场比赛都会收集更多真实的人类数据，提高准确性，让AI学到更多。
i-Sim2Real的训练方法。
GoalsEye：通过自我监督来自主练习
除了i-Sim2Real这种模拟与现实交替进行的方法，研究人员也在探索只使用现实的数据学习的方法，即GoalsEye项目。
一开始，模仿学习（IL）为研究人员提供了一种简单而稳定的思路，但它需要人类行为进行演示，并且机器人的技术无法超过演示者的水平。同时，当演示者拥有在高速环境下精确接球的能力时，收集其数据具有一定挑战性，而且在刚开始时可能非常低效。因此研究人员尝试了一种结合最近行为进行重复的方法，从一个小的、结构薄弱的、非目标数据集开始，不断学习精确定位目标的策略。
这种方法使得在训练的过程中，机器人的自主学习能力显得至关重要。研究人员设置了一个强调精度的乒乓球任务，要求机器人将球返回到桌子上的任意目标位置。机器人可以通过自我监督来实现自主练习。例如，机器人可以设置随机目标，“击中左后角”或“将球从右侧过网”，并尝试使用当前掌握的策略来实现这些目标，从而不断改进。所有尝试都会记录并添加到不断扩展的数据集中。这种自主练习是反复进行的，机器人通过不断的设置随机目标并尝试目标，从而扩展训练数据，调整策略。
GoalsEye策略旨在实现直径20厘米的目标（左）。人类玩家瞄准同一个目标（右）。
GoalsEye的训练方法。
其效果也是显而易见的，在进行最初的2480次人类行为演示后，机器人只在9%的情况下能准确地达到距离目标30厘米以内的目标。然而，当机器人又自主练习了大约13500次后，达到目标的准确率上升到43%。同时，演示数量的提升提高了后续自我练习的效率，这说明，计算时间、成本等因素后，演示可以适当替换自我练习，从而更高效的进行训练。
在这两个使用机器人乒乓球研究平台的互补项目中，i-Sim2Real可以在模拟与现实中交替学习策略，而GoalsEye则证明，从现实世界的非结构化数据中学习，结合自我训练，对于在精确且动态的要求中学习目标条件策略是有效的。
参考资料：
https://ai.googleblog.com/2022/10/table-tennis-research-platform-for.html
相关文章
