标题：Open Robotics Research Using Web-based Knowledge Services

作者：Michael Beetz， Andrei Haidu

下载链接：https://ai.uni-bremen.de/papers/beetz16robohow.pdf

0. 摘要

在本文中，我们将讨论“大数据”存储和管理，知识表示和处理，基于云的计算以及Web技术中现代技术的结合如何帮助机器人界建立和加强开放研究学科。 我们描述了我们如何向研究社区公开提供欧盟项目审查的演示者。 具体来说，我们在自动机器人操作的比萨准备实验中记录了带有丰富语义注释的情节记忆。 之后，我们使用基于云和网络的机器人知识服务OPENEASE将它们作为开放的知识库发布。 我们讨论了如何使用这些开放数据来验证我们的实验报告并解决新颖的具有挑战性的研究问题的几种方法。

1.介绍

加快自主机器人操纵进度的主要障碍之一是所涉及任务的复杂性和异构性。 为了执行具有挑战性的操作任务，例如做比萨，机器人需要结合多种复杂功能。 机器人必须识别物体，例如冰箱中的番茄酱瓶和抽屉中的勺子。 它必须监视比萨饼在滚动过程中的变形方式，以及在将酱汁倒在比萨饼上时如何用番茄酱覆盖比萨饼的表面。 该机器人必须能够自主移动操纵：它必须导航到冰箱，打开门并取下番茄酱瓶。 机器人还必须推理如何执行动作。 例如，它必须决定是用一只手还是两只手来捡起物体，在哪里抓握它们以及如何握住它们。

只有极少数的研究小组可以实现具有此类操纵任务所需的全部功能的机器人控制系统。 大多数工作都是针对小的孤立问题片段进行的，例如识别或跟踪纹理对象，生成用于打开冰箱的控制律，基于CAD模型检测已知对象，掌握3D模型的规划等。 因此，就施加在控制系统上的要求而言，提出的解决方案通常是不现实的，基准不能代表其目标应用任务，并且不清楚如何将解决方案转移到其他任务，对象和环境。

现在，“大数据”存储和管理，知识表示和处理，基于云的计算技术以及网络技术中的现代技术为我们提供了通过实现用于机器人技术开放研究的新一代软件工具来改善这种情况的机会。我们可以将与完成机器人操纵任务相关的全部信息记录到“大数据”数据库中，这些信息包括姿势数据，机器人感知系统解释的图像以及其他传感器和控制信号流，并使用语义索引结构对其进行注释。由机器人控制系统的解释器自动生成。这些情景记忆可以帮助机器人系统评估它们在做什么。 “事件记忆”使机器人能够回答有关其执行的操作，执行原因，执行方式，执行时看到的内容以及执行时发生的情况的查询。为“知道他们在做什么”的机器人提供基于Web的图形查询界面，是进行开放式机器人研究的强大技术。

为研究人员提供语义访问全面自主机器人操作实验的实验数据和经验数据的努力，实现了尼尔森“重塑发现”愿景的某些方面[1]，这提出了通过合作设施更有效地开展研究的新方法 由现代互联网技术提供。 此类可促进其他领域开放研究的Web服务的启发性蓝图包括Allen Human Brain Atlas [2]和HapMap项目[3]，该项目使人类基因组研究中的网络科学成为可能。

在本文中，我们解释了如何使用基于云的知识服务OPENEASE来实现开放式机器人研究。 我们报告了所做的努力，在此过程中我们进行了全面的演示，该演示是为每年对大型多伙伴项目（欧盟FP7项目ROBOHOW）进行审查而准备的，可用于开放研究。 我们将描述如何将机器人演示记录到混合符号/“大数据”知识库中，以及研究人员和审阅者如何访问该知识库，以便进一步分析实验的实验数据并建立各个系统组件的性能模型。 可以在实验部分（https://data.open-ease.org/）的open-ease.org*问该实验并与之交互工作。

ROBOHOW演示包含具有不同类型的操作动作的子片段集合，例如自动移动获取和放置以及滚动比萨面团。 通过混合符号/亚符号控制系统使用三种运动控制方法来执行操纵动作：基于约束和优化的控制器，从学习的动态系统生成的运动以及通过运动计划获得的运动轨迹。 此外，在某些情节中，人们通过演示虚拟现实仿真中的倾倒动作来训练机器人。 记录的情节在语义上链接到通用概念本体，并且可以通过逻辑编程语言Prolog中形式化的知识进行访问。 通用表示框架促进了来自不同情节的知识的组合。

本文的主要贡献是双重的。 首先，我们描述如何将复杂的现实世界中的机器人演示转换为基于Web的知识服务的知识库，以促进机器人技术的开放式研究。 其次，我们展示了研究人员如何基于由OPENEASE提供的演示和可视化检查与分析工具的力量自动构建的知识库进行公开研究。 我们相信，社区努力将复杂的机器人实验的知识库用于开放研究，并结合“大数据”技术提供的软件工具，将对推进基于AI的机器人技术产生重大影响。

本文的其余部分分为三个部分。 我们首先描述OPENEASE机器人知识服务以及如何将实验转移到OPENEASE知识库中。 然后，我们给出了在ROBOHOW评论中进行的比萨制作实验的草图，并描述了如何记录不同的子实验，存储了哪些信息以及可以回答哪些查询。 我们还提供了一个示例，说明相同的基础结构如何以相同的操作支持其他来源的数据，在这种情况下，是在基于仿真的环境中进行的人类演示。 在最后一节中，我们概述了远程研究人员如何进行实验，再现结果，完善原始分析并最终使用开放数据进行自己的研究。

2. OPENEASE —基于云和基于Web的知识服务

基于网络的知识服务OPENEASE [4]为我们进行开放式机器人研究的方法奠定了基础。 OPENEASE是面向机器人和机器人研究人员的可远程访问的知识处理服务。 OPENEASE可以加载以KNOWROB [5]表示语言表示的知识库及其原因。 OPENEASE提供了代表性的基础设施，可从语义*问机器人和人类操纵事件的不均匀体验数据，并辅以一套软件工具，使研究人员能够解释，分析，可视化并从经验数据中学习。 使用OPENEASE，用户可以检索到记忆的操作事件，并询问有关机器人看到的内容，原因，行为以及如何执行动作以及产生了哪些效果的查询。

KNOWROB知识库描述关系，并通过两种类型的Prolog子句进行定义：事实和规则。Prolog规则的形式为Head：-Body，并读作“如果Body为true，则Head为true”。 Prolog规则的主体由对逻辑连接所组成的谓词的调用序列组成。 逻辑连接词写为“，”。 谓词的参数可以是值或变量，其中以大写字母开头的每个参数表示一个变量。 事实的形式为hasComponent（'robot-Boxy'，'camera1-left'），它表示名称为“ robot-Boxy”的机器人具有名称为“ camera1-left”的组件。 鉴于这一事实，人们可以问：？-hasComponent（'robot-Boxy'，'camera1-left'），得出的答案是。

我们还可以询问更复杂的查询，例如机器人“ robot-Boxy”具有哪些传感器。 然后，该查询将返回相应机器人的所有传感器，如下所示：

 

 

 

具有主体的子句称为规则。 规则的一个示例是sensor（Robot，Sensor）：-hasComponent（Robot，Comp），isType（Comp，'Sensor'）。 有了此规则，我们只需查询？-sensor（“ robot-Boxy”，比较）即可获得与上述相同的结果。

更复杂的查询包含谓词调用的并集。 这样的查询如图1所示。谓词调用任务目标（任务，模式）将任务绑定到给定模式匹配的变量Task。 在此示例中，该模式匹配作用在类型为cup的对象上的所有抓取动作。 任务结果（任务，成功）产生所有成功执行的任务。 结合先前的谓词，该查询将产生成功抓取杯子的所有机器人任务。 每个动作都有一个关联的开始和结束时间，可以由谓词任务start（任务，开始）和任务结束（任务，开始）查询。 此外，可以通过调用谓词任务使用抓手（Task，Gripper）来查询用于抓取动作的机器人的末端执行器。 最后，谓词添加轨迹（Gripper，Start，End）被调用，以便在抓握动作过程中可视化末端执行器的轨迹。

可视化实验过程中执行的特定动作的轨迹要求连续记录机器人链接的姿势。与其他知识库相反，在将知识断言为知识库之前，KNOWROB不会将此数据抽象为符号表示形式[5]。如果需要回答查询，则所谓的虚拟知识库用于按需计算此连续数据的符号表示形式。这些程序附件（称为可计算谓词）允许将外部推理源（例如感知系统）包括到推理过程中。例如，这允许定义谓词可抓取（O，R），如果机器人R能够在最近感知到的对象位置抓握对象O，则谓词可抓取（O，R）。在内部，可以通过计算基础逆运动学问题的解决方案，基于机器人的功能，位置，形状和其他对象属性以及机器人的运动学结构来实现谓词。机器人链接的姿势和机器人的内部数据结构被连续记录到一个非结构化数据库中，该数据库通过时间戳进行索引。使用可计算谓词以便读取时间上的姿势和数据结构，这些姿势和数据结构对应于符号表示的语义事件（例如，抓起杯子）。通过使用此类外部知识源，知识库可以扩展到符号表示的内容之外。

KNOWROB本体是OPENEASE上发布的机器人实验的统一符号表示。 已发表的实验包括不同的环境，日常活动以及机器人和人类代理。 这些实验可以在知识库中统一表示，并且可以使用同一组预定义的Prolog谓词进行调查。

通过OPENEASE，您可以前所未有地获得有关尖端机器人实验的全面知识，例如，自主机器人执行的长期拾取和放置实验。 该框架基于KNOWROB本体，以统一的结构结合了机器人和人类活动日志。 情景记忆包括有关何时和为何执行动作，动作的结果，实验过程中代理的状态，感知到的对象和机器人的内部状态（例如有关控制程序的信息）的知识。 这种全面的数据加上表达性表示和强大的查询语言，使用户可以灵活地检查和处理感兴趣的数据部分。 例如，可以查询机器人正在滚动面团的机器人的右臂的轨迹，以作为制作披萨的准备步骤。 此外，OPENEASE Web服务提供了强大的Web可视化功能，可以可视化特定时间点的实验部分，这些特定时间点对应于诸如滚动面团之类的语义动作（见图2）。 在论文[6]中可以找到关于OPENEASE用户界面的更完整的介绍。

3. 机器人披萨实验

RoboHow比萨实验在ROBOHOW项目的第三年审查会议上进行了现场展示，它由围绕制作比萨的三个子活动组成：（1）获取和放置工具，配料和成品比萨，（2）推出 面团，以及（3）放置浇头。

这些子活动是由我们实验室中的两个协作机器人完成的，如图3所示。第一个是Raphael，这是Willow Garage提供的现成的PR2移动操纵平台，扩展了以Microsoft Kinect-2作为其主要感知设备。 第二个是Boxy，这是一个内部设计的机器人，配有两个KUKA LWR-4 +机械手，一个使用麦克纳姆轮的完整平台，一个可移动的躯干和两个平行手指抓手。

在实验中，拉斐尔（Raphael）负责将Boxy拿来并将工具和配料带到Boxy，后者操纵披萨面团，并添加了披萨配料。 机器人完成后，一个人来到现场，将装有比萨饼的托盘放入烤箱中进行烘烤。

在演示的第二个分支中，我们展示了如何使用虚拟现实游戏进行这种复杂的操作动作的技能获取：添加成分是在基于模拟的实验中进行的。 物理机器人上使用了类似的工具来创建和访问日志，说明了如何使用OPENEASE处理异构数据集。

在演示中，用于不同演示组件的子系统记录了各个子活动的情景记忆，并将其存储在OPENEASE的知识库中，以使其可公开用于研究。 情景存储器中记录的数据包括来自机器人计划的符号日志数据（执行的动作，参数，故障，结果）以及子符号传感器数据，例如机器人关节状态和机器人相机拍摄的图像。 感知系统在ROBOSHERLOCK [7]的基础上，基于在那一刻检测到的内容，对感知动作中拍摄的图像进行语义标记。

以下各节将简要介绍每个部分，重点介绍应为开放式研究准备的研究方面。

A. 取和放

提取和放置子活动的研究方面是演示我们可以设计提取和放置的通用计划，使机器人程序员可以通过合并以下表达式来紧凑地编写计划：转到您认为对象是的地方，位置 自己，这样您就可以很好地看到对象，如果需要，可以使对象可见，例如通过打开抽屉[8]。 图5示意性地描述了实验中使用的提取和放置计划。

在演示中，大多数所需的对象都放置在典型的位置，而不是执行烹饪任务的机器人所能及的。 在RoboHow披萨实验中，一个PR2机器人的任务是提取不同的物体并将其放置到适当的位置。 其中包括从抽屉里拿勺子，从冰箱里拿番茄酱瓶，最后将带有比萨饼的托盘运送到烤箱（见图4）。

在所有这些情况下，都使用相同的机器人计划来获取和放置对象，只是参数设置不同。 根据语义环境模型的知识，动态推断出如何打开和关闭抽屉和冰箱。 对于抽屉或冰箱内的源或目的地位置，使用由语义环境模型参数化的容器处理例程。

使用收集的事件记忆，进行这些数据研究的远程研究人员可以通过在基于Web的OPENEASE界面中声明查询来更详细地研究机器人的操作。 可能的查询包括“机器人打开容器时看到了什么？”，“在实验过程中感知到哪些对象类型？”，“机器人在拾取和放置任务期间遵循了什么路径？” 或“下压动作期间手臂的轨迹是什么？”。

 

 

 

B. 面团轧制

实验的第二个组成部分是面团揉搓。 该实验中机器人的目标是使用木辊将比萨面团团压平，该木辊安装为Boxy的末端执行器，如图6所示。

对于面团的轧制，控制系统采用了通过模仿学习获得的动力系统。 第一步涉及自动任务分割和原始学习。 在这里，我们应用Figuerora和Billard [9]提出的方法，该方法使用贝叶斯非参数方法进行分割和聚类，即Beta过程隐马尔可夫模型的扩展。 该方法用于以比例，平移和旋转不变的方式发现独特的原始运动，而无需事先了解任务或涉及的原始数量。 对于生面团的轧制任务，这导致了三个原始动作（原子动作）的序列：伸，滚和后退。

 

 接下来，我们从发现的原始运动中提取软任务约束，如Pais等人[10]所提出的。 这些约束表示有关任务的低级知识。 它们描述了感兴趣的变量，要使用的参考系以及给定任务中每个动作的适当刚度调制。 将这种方法应用于生面团的轧制任务时，确定了一个位置控制器，该控制器适用于到达/到达后退阶段以及轧制动作的混合力-位置分解。 最后，我们为每种原始运动学习一套动作模型。

此外，我们以成功指标的形式提取了有关任务的高级知识。 滚动任务推定了到达，滚动，返回的原子动作序列的多次迭代。 目的是获得给定面积的圆形面团。 这与正确定位滚动动作的起点和终点有关。 由于每次滚动都会使面团在所需的方向上变形，因此在每次迭代中，我们都将吸引器定位为沿着椭圆上的椭圆形的小轴（第二主分量）到达并滚动。

高层管理人员再次被编程为通用计划，该计划自动记录情景记忆，与原始模型相比，情景记忆包括所使用的动态系统模型，遵循的轨迹以及所施加的力。

使用事件记忆，我们可以推断出诸如比萨饼面团的尺寸在每次运动后如何变化或手臂到达比萨饼面团时的轨迹等知识。

C. 准备披萨

比萨的准备工作包括用勺子从碗中取出番茄酱，将其放在扁平的面团上，然后将其摊开。 之后，应从汤匙中取出奶酪丝，然后将其与番茄酱一起放在面团上。 在演示的这一部分中，重要的研究方面是使用自动掌握的工具以执行操纵任务，首先通过将勺子推入番茄酱中，然后将酱汁分配到比萨上来执行涂抹动作 。 对于奶酪的撒布，机器人必须从碗中挖出奶酪，然后在披萨上选择放置奶酪的位置。 使用ROBOSHERLOCK系统可以感知勺子，碗和带有比萨面团的托盘的位置。

拉斐尔然后用双手捡起托盘并将其运送到烤箱盖上。 它小心地将披萨托盘放在盖子上，然后放回去，告诉Boxy机器人它已经完成了任务。

在实验的最后阶段，Boxy开始感知现场的人员，跟踪去烤箱的人员，将披萨放入烤箱，盖上盖子，然后打开烤箱。 在人员离开现场后，Boxy通知Raphael有关任务已完全完成。 实验以此动作结束。

D. Preparing Virtual Pizzas

ROBOHOW实验还包括情节，其中机器人从人类那里学习了执行复杂操纵任务所需的功能，并通过集成的物理模拟演示了在虚拟现实环境中的任务。 特别是，通过使用虚拟游戏，我们建立了一个场景，要求玩家使用以下工具和原料创建比萨饼：一个装有番茄酱的容器，一个汤匙，两个有馅料的碗和一个准备好的比萨面团。 玩家必须将番茄酱从容器中倒到面团上，并使用勺子将酱汁尽可能均匀地摊开。 然后，使用相同的勺子，将浇头从给定的浇头碗中sc到面团上。 与虚拟环境的交互是通过跟踪用户的手部运动并将其映射到模拟的机械手上来完成的，请参见图9（左）。

在游戏过程中，所有模拟数据都被记录下来，并使用类似于机器人控制中使用的记录模块，进行后处理到OPENEASE系统。 图9（右）示出了从记录的数据中查询轨迹的示例。 在这里，使用黄色标记显示了将酱汁倒在面团上的整个轨迹。 此外，还可以看到放开容器时手的最终姿势以及作为模拟一部分的其他对象。

 

 

4. 进行公开研究

现在，我们已经描述了我们提供的实验知识库，其中包含的知识以及可以为它们解答的一些代表性查询，让我们转向讨论研究人员如何使用知识库和进行开放式研究的主题。

首先，让我们考虑一下OPENEASE如何提高实验结果的可重复性。 为此，OPENEASE提供了各种用于实验总结的工具。 其中一种工具使研究人员能够自动生成实验知识库的视频。 为了生成这样的视频，研究人员从最早的实验时间实例开始，并在知识库中查询有关该时间实例的特定信息。 然后研究人员可以使用语音气泡和平视文本可视化所需的信息，前进到下一个时间实例，然后重复（图7）。为了生成视频的单个图像，用户可以声明任意复杂的OPENEASE查询。 特殊的交互式Web界面提供了此功能，研究人员可以通过各种方式来可视化视频生成过程并参数化视频生成，例如设置摄像机位置或从一个图像到下一个图像的时间戳步长。 例如，研究人员可以放置视点以获得对实验的良好概述，或者可以要求视频生成工具自动将视点放置在机器人摄像头的当前姿势上，以在实验中生成机器人的视点（ 图7）。

其他实验汇总工具包括生成类似实验的图表形式的可视化图像，该可视化形式将实验汇总为单个或较小序列的图表（图8）。 这些信息图包括完成重要任务时的环境2D草图，机器人轨迹和机器人的突出显示位置。 此外，OPENEASE提供了使用条形图和饼图可视化统计数据的常用工具，使研究人员可以可视化实验中的故障分布或计量不同信息处理步骤所需的资源（图8（右））。

除了实验总结外，OPENEASE还可以更全面地了解实验条件。 例如，使用OPENEASE查询界面，研究人员可以询问机器人拾取了哪些对象并将其放置在其他地方，或者可以检查用于识别，定位和重建感知对象以进行操作的图像。

但是，除了评估执行操作的条件外，研究人员还可以更仔细地分析所采用的方法，以了解其优势和劣势。 一种简单的方法是学习分类器，这些分类器根据各自实验中检索到的结果来预测方法是成功还是失败。 例如，通过学习决策树，该决策树基于系统记录的各种上下文条件来预测对象识别任务的成功。 然后，所学习的规则可以陈述发现，例如，对象识别方法可以稳健地检测和识别对象，除非它们位于冰箱中，这将建议进一步分析在各自的照明条件下以及冰箱特有的某些特征视图和闭塞类型的方法。

OPENEASE还支持对机器人代理的感知能力的研究，尤其是与感知框架ROBOSHERLOCK结合使用时。 ROBOSHERLOCK [7]是基于非结构化信息管理（UIM）范式[11]的知识感知系统。它利用了专家方法的集成，并配备了可以用作专家的最新感知方法库。在ROBOSHERLOCK中，感知任务是通过对感知任务进行推理来解决的，该感知任务是由更高级别的计划制定的，并在运行时根据此结果调整感知管道。通过框架的两个定义概念，可以做到这一点：（1）使用长时间可在环境中操作的机器人可用的知识，以及将该知识用于简化感知任务（例如，语义图的本地化）， （2）对框架的感知能力进行建模，以便它可以自主决定要运行哪种感知算法，以成功完成给定任务。

OPENEASE已得到扩展，以便研究人员可以将感知查询发送到ROBOSHERLOCK，后者在内部配置应用于捕获图像的感知例程，并通过OPENEASE运行这些感知例程。因此，研究人员可以选择实验期间捕获的图像，然后使用ROBOSHERLOCK对其进行再次处理。为此，OPENEASE提供了使用Prolog查询生成新管道或修改现有管道的选项。关于管道组成部分的推理发生在ROBOSHERLOCK内部，但是用户可以通过制定构建管道查询来看到这些结果，其中参数可以是可视化描述，也可以是通过KNOWROB实体表示的对象实例。这样可以比较在真实机器人实验期间捕获的图像数据上的替代感知算法，而不是从静态相机设置中获取图像数据。图10中描绘了两个查询的示例，其中在内部生成了专门的感知管道，以便在比萨面团上找到抽屉手柄和番茄酱。

OPENEASE还允许为感知任务创建基准集。 例如，研究人员可以查询包含三个对象的图像，这些对象与机器人的距离至少为3米，最大为4米。 这使研究人员可以测试不仅针对特定目的记录的数据的算法。

如上所述，OPENEASE还可以用于发现和检查算法的弱点。 考虑一个应该捡起一个红色杯子但错误地捡起一个盘子的机器人。 研究人员可以查询机器人捡起它认为是红色杯子的盘子时的情况。 研究人员将获得与该场景有关的信息，例如物体的感兴趣区域和整个图像，并可以重新运行感知管道以弄清为什么将盘子错误地识别为杯子，或者在同一场景下尝试其他感知程序，以便找到在给定情况下更适合的算法。

5. 相关工作

为了将Web应用程序与最先进的机器人软件/中间件接口，Alexander等人提供了机器人Web工具[12]，可通过JavaScript和HTML5访问ROS。我们的OPENEASE Web服务使用机器人Web工具。在基于Web的知识处理系统的背景下，Wielemaker等人提出了一个名为ClioPatria的系统[13]。使用ClioPatria，用户可以将查询发送到静态知识库。他们使用的是内部映射到Prolog查询的类似于SQL的查询语言SPARQL，而不是允许用户编写Prolog查询。 Saxena等人介绍了一种称为RoboBrain的知识引擎[14]。 RoboBrain整合了多种数据模式，包括符号，自然语言，触觉，机器人轨迹和视觉功能，这些知识是从诸如物理交互，Web知识库和学习的表示之类的资源中获取的。 Goldberg等人回顾了机器人技术中的云计算有潜力提高性能的方法[15]。作者认为，这五种方式是：提供对全局图像，地图和对象数据库的访问；按需并行执行苛刻任务；分享成果，轨迹和动态控制政策；共享源代码，数据和编程设计；针对异常处理和错误恢复的按需人工指导。

6. 总结和未来的工作

我们的ROBOHOW披萨制作实验具有完整的机器人控制链：使用高级动作计划，自主机器人从厨房环境中从抽屉和冰箱中收集必要的食材，操纵其环境并以语义的方式感知物体，并且 带他们到另一个准备披萨的机器人。 使用基于力转矩的低级机械手控制，可在监控披萨面团形状的同时将其压出并与所需大小进行比较。 监视面团形状的相同语义感知系统会检查扁平比萨饼上缺少的酱汁，然后机器人会相应地分散酱汁。 然后，人员监视组件跟踪人员，该人员打开烤箱并完成任务。

整个实验使用我们广泛的记录系统记录到“大数据”数据库中，并准备在OPENEASE系统中进行分析。 借助OPENEASE系统，研究人员可以在基于云的存储系统中存储机器人实验的广泛而全面的情景记忆，以供人类和机器人共同检查。 使用其开放式体系结构，可以将新的实验类型添加到数据库中，并使用灵活的逻辑编程接口查询信息。 OPENEASE允许以非常详细的方式访问记录的实验，从而为全世界的研究人员提供了进行深入分析的机会，而无需自己进行实验。

如图所示，OPENEASE附带了功能强大的工具，用于分析，重新运行和总结在真实机器人和仿真中执行的实验。 使用OPENEASE，研究人员将有机会访问现实世界场景中经过语义标注的数据。 与仅公开原始数据相比，这是一个主要优势。 研究人员可以轻松地比较特定情况下的算法，学习决策树以预测在拾取和放置实验期间抓取动作的成功或基于上下文条件的对象识别任务的成功，找出系统的弱点并重现由于 完全语义标记的数据。

我们计划提供一个易于使用的界面来集成新型实验，并不断向OPENEASE系统添加新的分析模块。 我们不断增长的，根本不同的数据集的数据库对于每种类型都具有相同的逻辑编程接口，并且将扩展到纯机器人实验之外，涵盖了更多意图无法从外部进行检查的人类演示。