机器人与人工智能就好比人与思维一般，人工智能使得机器人具备了“智慧”，具有了一定的学习能力，使得机器人能够实现更多的功能。而NVIDIA作为世界领先的显卡生产商，如今正希望通过一种新的方法来对机器人进行教学，机器人迈向了九年义务教育的第一步。

最近，来自西雅图NVIDIA器人研究实验室的研究人员正在展示一种新的概念强化学习方法，旨在提高经过仿真训练的机器人在现实世界中的表现。

就像高考前的模拟考试一样，对于机器人而言真正扩大机器人学习的方法就是通过尽可能多的在虚拟环境中对虚拟机器人进行场景训练。

在虚拟环境中只要拥有足够的计算能力，我们可以运行大量的虚拟机器人，测试各种虚拟的环境，调整模拟的速度让机器人学习得更快。

但是模拟毕竟是模拟，没有任何模拟是完美的，因此当我们将模拟得参数应用到实际时，总是需要进行复杂而又繁琐得参数调整，这让人想到了令人恐惧的模电实验，你永远也不知道为什么换一个不准确的电阻可以得到一个准确的结果。

经过途中左侧的不断模拟，在图中右侧实现功能

这队NVIDIA的研究人员给我们带来了福音，虽然他们并没有使消灭模拟环境与现实环境的参数差别，但是研究人员使得参数的调整变成完全是自主发生的，这意味着模拟和现实之间的差距可以在没有任何人为参与的情况下消失。

在他们的实验中，NVIDIA研究人员使用64个NVIDIA Tesla V100 GPU集群，使用cuDNN加速的TensorFlow深度学习框架，训练机器人完成两项任务：将一个挂钩放进一个洞，打开一个抽屉。对于场景的模拟，该团队使用了NVIDIA FleX物理引擎。

机器人的整个学习过程大致是这样的，机器人首先在模拟环境中进行建模仿真，并且在虚拟环境中进行不断地训练，将测试得到的数据下载到机器人上，当在真实机器人上尝试学习任务时，系统准确观察它是如何失败的，并将失败的数据与模拟数据进行对比，将结果返回到学习框架进行优化模拟以获得更接近真实的模拟参数。

四次参数模拟，打开抽屉失败

最后一次调整完成任务

总的来说，为了确定模拟环境中的参数对实际机器人的影响，NVIDIA可以在没有人参与的情况将这个误差反馈到模拟环境中以改进模拟的参数，使其更接近观察到的现实。

得益于深度学习框架的黑盒形态，虚拟环境的构建者可以摆脱复杂的物理定律、具体的数学模型构建，将这些虚拟环境的参数调整纳入到深度学习框架，经过不断地迭代后，系统能够识别出与现实世界中观察到的更接近的模拟参数，从而取得成功，进一步打通了虚拟与现实之间的隔阂。

这为构建更为真实的虚拟环境和更具效率的机器人学习提供了另一种手段。

看累了吗？戳一下“在看”支持我们吧！