OpenAI借助深度神经网络，用50小时让机器人学会用手指抓东西

“手动操作”对于人类来说轻而易举，因为我们能够在不假思索的情况下自如地适应并协调自己的手指，运用手掌皮肤的摩擦力与重力特性，单手完成诸多工作。但对于机器人而言，这却非常困难。

人类从婴儿时期开始，就经历了多年的学习与演练才慢慢掌握这种强大的手动操作能力; 相比之下，机器人显然没有那么多时间。其中的挑战在于，我们必须找到一种速度更快且效率更高的学习方法，不仅能够让机器人以手动方式实现反复操作，同时意识到哪些动作有效、哪些动作无效。

为此，OpenAI的研究人员正在利用强化学习训练卷积神经网络，从而控制一支拥有五根手指的Shadow手臂进行物体操控，而这整个学习过程只有短短50个小时。通过在模拟当中进行操作学习，加上经过精心设计的随机化模拟方法，更好地匹配现实世界中的场景需求。如此一来，即使从未接触过任何真实物体，Shadow手臂仍然能够顺利学会手动操作的精髓所在。

在理想情况下，只要有足够的计算能力，所有机器人都可以接受模拟训练。但问题在于，现实世界无法被完全精确地模拟出来，特别是在涉及摩擦、顺应性以及物体间相互作用等细小因素时，精确模拟将变得更为困难。因此，在可接受的状态内进行模拟虽然效果不错，但模拟成功与现实世界成功之间始终还存在着巨大的鸿沟。这会在某种程度上降低模拟训练的价值。

为了解决这类问题，很多研究人员会选择尽可能提升模拟场景的准确性，以便从中提取出一些有用的成果。但OpenAI却反其道而行之，选择了以可变性为主、准确性为辅，为仿真模拟提供一系列略有不同的参数调整方案，从而确保通过训练形成的行为方式足以在模拟场景之外起效。该项目名为“Dactyl”。

需要重申的是，OpenAI非常清楚其所使用的模拟场景并不足以精确反映各项重要指标——例如摩擦系数以及机器人手指随时间推移而表现出的运动方式等。为了让机器人准确概括其当前学习的内容，OpenAI尽可能引入更多模拟方面，从而覆盖一切无法良好建模的可变性因素。其中包括物体的质量与尺寸、物体表面与机器人指尖的摩擦力、机器人关节的阻尼水平、执行器力度、关节限制、电机间隙以及噪音大小等。这些因素会对物体施加较小的随机力以获得额外的未建模动态参数。当然，这一切仅仅是在操作层面——在物体姿态估计当中，OpenAI也以多种变化方式训练RGB相机，从而降低可视化的实现门槛。

OpenAI将此称为“域随机化”。在谈到手动操作时，OpenAI方面表示：“我们希望了解，经过扩展的域随机化方案能否解决远超现有机器人技术实现方法的任务。”在这方面，OpenAI构建了两套独立的神经训练网络，其中一个负责视觉，另一个负责操作，通过相互配合观察方块物体的姿态并以多种方式对其进行操控，如下图：

系统得到的惟一反馈（模拟与IRL）就是方块的位置以及手臂指尖的位置。在这项实验中，系统最初并不具备任何方块抓取概念或者操纵方法认知。因此，必须从零开始总结经验，包括手指旋转、多指协调、配合重力条件的力量控制与调整等。该系统整合了人类在进行手动操作时使用的所有技术，并对其做出了一系列细小且有趣的修改，比如：