标题：Making Virtual Pancakes — Acquiring and Analyzing Data of Everyday Manipulation Tasks through Interactive Physics-based Simulations

作者：Lars Kunze1 , Andrei Haidu1 , and Michael Beetz2

下载链接：https://ai.uni-bremen.de/papers/kunze12virtualpancakes.pdf

0. 摘要

教机器人日常工作（例如通过指令制作薄煎饼）需要非专业人员可以直观地操作的界面。 通过使用数据手套在虚拟环境中执行操纵任务，可以直接从模拟器访问和提取所演示动作的与任务相关的信息。 我们将这些模拟的低层数据结构转换为有意义的一阶表示形式（称为时间轴），从而能够选择数据段并在抽象级别上对其进行分析。 因此，所提出的系统是一种强大的工具，可用于获取操作动作的示例并对其进行分析，从而可以告知机器人如何执行任务。

1.介绍

在日常工作中，个人机器人助手应完成尚未预先编程的新颖任务。 在[6]中，演示了机器人如何通过从Web提取自然语言的逐步描述并将其转换为定义明确的可执行计划来扩展其任务范围。 例如，制作薄煎饼的说明如下：1）将薄煎饼混合物倒入锅中； 2）用刮铲翻转薄煎饼； 3）将薄煎饼放在盘子上。

这些说明具有足够的描述性，以供人类理解任务。 但是，对于机器人来说，这些说明的规范性很差。 即，机器人必须通过其他方式来推断这些动作的适当参数。 通过观察执行任务的人员，机器人可以估计一些缺少的参数。 例如，当执行倾倒动作时，机器人可以估计诸如容器的高度和角度之类的参数。同样，可以估计该动作的持续时间。 可以从从Web或人工跟踪系统中检索到的教学视频中提取此类信息[2]。 由于我们的目标是深入了解此类操纵动作的物理效果，因此我们提出了基于基于物理的模拟的虚拟操纵环境。 可以使用数据手套和3D位置传感器来操纵此虚拟环境中的对象，其中传感器信息直接转换为模拟手模型的姿势和关节。由于我们对模拟的世界状态有全面的了解，因此我们能够提取与任务相关的对象的各种信息。这些信息包括，例如，对象的位置，方向，线速度和角速度以及其边界框。此外，在每个时间步骤中都会报告对象之间的接触。与基于视觉的系统相比，我们不必处理遮挡和其他典型问题，例如识别透明物体。我们已经设计和实现的虚拟操作框架可以通过记录模拟器的内部状态，用作获取与任务相关的信息的工具。然后将记录的模拟转换为基于间隔的一阶表示形式，称为时间轴，如[5]中所述。通过制定逻辑查询，我们可以从这些时间表中语义地提取与任务相关的信息。例如，我们可以要求将容器拿在手中时的一系列姿势。然后，可以在轨迹数据上应用其他方法，以针对各个方面分析操纵动作。

 

 

2. 虚拟操纵环境

虚拟环境基于Gazebo，Gazebo是具有刚体物理的3D多机器人模拟器。 在该环境中，戴着数据手套的用户控制允许他/她与各种物体进行交互的机械手。 图2显示了硬件设备，控制机器人的用户和虚拟环境的屏幕截图。 虚拟机械手（DLR / HIT）具有四个关节的四个手指，拇指除外，拇指具有更大的*度以便于操作。 通过作用在手腕上的比例积分（PI）力控制器来控制手。 为便于控制，禁用了作用在手上的重力。 我们使用的数据手套（X-IST Dataglove）配备了15个弯曲传感器（每个手指三个，每个关节一个）。为了在六个*度内获得手部的姿势，我们使用Razer Hydra，这是一种游戏控制器，它使用弱磁场检测其绝对位置和方向。 从游戏控制器上拆下传感器，并将其连接到数据手套。

 

 3. 初步实验结果

用户执行了与煎饼情况有关的两项任务：将一些混合物倒入煎饼机和翻转煎饼。 我们已经监视并记录了模拟器的数据结构，并将其转换为一阶表示形式（时间轴）。 图3说明了这两个任务的步骤。

 

 通过将模拟器的数据结构转换为时间线，我们可以使用一阶逻辑从语义上查询与任务相关的数据。我们使用与事件演算[3]中相似的谓词来访问时间轴。该表示法基于两个概念，即流利和事件。流利度是随时间变化的条件，例如，杯子里装有煎饼混合物：contains（杯子，mix）。事件（或动作）是在特定时间点产生影响并发生的时间实体，例如，考虑将杯子中的混合物倒入煎饼机的动作：发生（倒入（混合物，杯子，煎饼机））。关于流利和事件的逻辑陈述使用谓词表示：Holds（f，t，tl）其中，f表示流利或事件，t仅表示时间点，tl表示时间轴。使用谓词保持tt，我们可以查询整个流利保持的时间间隔。例如，我们可以在杯子和机械手之间有接触的时间间隔内，请求杯子的姿势，速度和边界框，如下所示：

 

 其中，I表示时间间隔，T L表示时间轴，其他变量表示其各自数据类型的列表。 同样，我们可以获取该间隔内杯子的最后姿势，例如，分析用户倒入杯子后的位置。

在实验中，从不同的高度倒出液体，可以通过将轨迹成簇看到（图4）。 首先，我们应用动态时间扭曲来对齐轨迹，然后像[1]一样对轨迹进行聚类。

 

 逻辑查询使我们可以抽象地选择已记录模拟的数据段。 例如，当杯子在煎饼机上方或倾斜一定范围内的角度时，我们只能选择数据。

4. 总结和未来的工作

在本文中，我们提出了一种通过在虚拟环境中使用数据手套控制机器人手来获取操纵动作数据的系统。 通过将数据转换为时间线，我们能够在语义级别分析和解释所执行的动作。 在将来的工作中，我们将故意调整模拟的基础物理，以产生处理各种物理现象（例如液体粘度）的行为。 我们还将在机器人的视觉系统中将找到的参数值用作种子[4]。 从长远来看，我们希望使用基于物理的仿真来集成基于视觉的跟踪系统，以更自然地获取操作实例。