资讯

在非结构化环境中识别几乎不可见的物体:人工视觉是如何进化的

原创 2023-01-18 09:26 Hu yangbo 来源:AGV网

最近开发的一种方法试图用一种新的方法来检测--通过机器视觉系统--非结构化空间中不完全可见的东西,成功地分割出可以被感知的物体和因其被隐藏而不能被看见的东西。

经验之谈

韩国光州科技学院的研究借鉴了人类视觉感知的一个特定现象,设计出一个神经网络,使机器能够管理其空间内的遮挡物体。

对隐藏的非可见结构的推断是通过闭塞的 "分层建模方案 "来实现的,然后它是整个系统的 "心脏":它在感知对象的突出特征的基础上工作,给它们分配一个层次和一个精确的顺序。

这项研究定义的方法--仍在测试中--将促进那些涉及挑选、检索和处理隐藏物体的机器人任务,特别是在生产现场和仓库等背景下。

最近,人工智能技术在机器人设计中的应用所面临的挑战之一是发展与机器被要求操作的环境的感知和分割以及该环境中物体的分类有关的越来越精细的技能。机器人的计算机视觉引领着这些技能,并看到在越来越复杂的任务中的应用,包括,例如,自主驾驶和物体操纵。

然而,在被认为是无序、无结构的场景中识别单个物体的过程仍然是至关重要的,在这些场景中,它们被部分或完全隐藏(遮挡)在其他物体后面。

通常情况下,"韩国光州科技学院(GIST)的一项研究,将在2022年5月23日至27日在费城举行的IEEE国际机器人和自动化会议上正式发表,"当涉及到这种情况时,机器视觉系统被训练为仅根据其一些可见部分来识别被遮挡的物体。但这种类型的训练需要大量的各类对象的数据,使得它非常耗时费力'。

因此,GIST团队绕过这种方法,提出了一种替代方法,该方法基于人工神经网络模型的开发(称为不可见物体模态实例分割--UOAIS),专门用于检测非结构化环境中不完全可见的物体,成功地分割出可以看到的物体(可见区域)和因被其他物体隐藏而看不到的物体(不可见区域)。让我们来看看这到底是怎么回事。

机器人的人工视觉:走向人类感知的机制

对机器人的计算机视觉的研究是基于一个精确的考虑:在人类视觉中,焦点落在所谓的 "被遮挡的物体 "的可见结构上,从中推断出其整个结构。一种现象--这--被称为'阿莫德知觉',在此基础上,图像中的两个不同区域,其连续性,其完整性,被推断出在某个被称为'遮挡者'的物体后面。而我们试图模仿的正是人类的这种感知能力,这将使机器人能够直接处理非结构化、无序化场景中的遮挡问题。

部分可见物体的示例,因为它们部分隐藏(遮挡)在其他物体后面。

为了实现这一目标,开发的人工神经网络模型经过训练,通过50,000张合成图像学习不同的物体几何形状和不同的遮挡场景。

该模型所遵循的机制允许它在检查了一个杂乱的场景后,即在物体排列中没有任何线性的场景,作为第一步,识别被遮挡的物体(隐藏在另一个物体后面),并在一个 "可见 "掩码和一个 "正交 "掩码中对其进行分割、界定。其中,前者(如下图所示)划定了关于物体的视觉感知的结构,而后者则在一个单一的结构中划定了感知和推断的部分。

被遮挡物体的示例(隐藏在其他实体后面的圆柱体)、其可见结构的分割(可见遮罩)以及最后对其可见部分及其遮挡部分(无模态遮罩)的分割。

与以往研究的不同之处恰恰在于超越了人工智能系统对被遮挡物体及其直接可见区域的检测,而专注于重建因被遮挡而未被视觉感知的事物的机制(适合人类视觉)。

模仿 "推理 "的层次化闭塞建模方法

在机器人的计算机视觉领域,光州科技学院的研究人员通过一种被称为分层遮挡建模(HOM)的方案,实现了对场景中因被隐藏而无法被视觉感知的东西的重建机制。

"......通过对一些物体特征的组合--包括形状、大小、在空间的存在--以及它们的预测顺序分配一个精确的等级制度来工作。"

整个 "看不见的物体 "阿莫德实例分割方法就建立在这种分层建模的基础上。而研究小组进行的实验表明,在一个单一的结构中,它能够进行可见和不可见(因为被遮挡)的检测,无论有关物体的类别如何。

在机器人技术中,模拟正交感知(适合人眼)--研究人员回顾--对于管理机器运行空间内的遮挡是很有用的,首先是在拾取和回收遮挡物体的操作中,"在这些操作中,决定正确的行动顺序是很重要的"。

在其他机器人任务中也需要调和感知,包括在无序空间中寻找某些物体,抓取和主动感知。

然而,GIST在这一阶段的目标是与机器人操纵有关,与机器对最初被认为几乎不可见(或根本不可见)的物体的直接工作有关。试想一下生产现场和物流,这些环境顾名思义是不杂乱的,由异质的、经常重叠的和遮挡的物体组成,机器人的任务涉及到与这些物体直接接触。

使用 Unseen Object Amodal Instance Segmentation (UOAIS) 方法恢复被遮挡的对象:在解构场景 (b) 中收集目标对象(框 a 的杯子),按顺序抓取未被遮挡的对象(框 c)和碗 (d),可以成为机器人 (e) 轻松执行的动作。

机器人的人工视觉:GIST研究开辟的场景

这项关于机器人人工视觉的研究继续朝着旨在开发能够创造出在认知过程和行为上越来越像人类的机器的人工智能系统的方向进行。

在人工视觉的具体案例中,麻省理工学院(MIT)在一项关于模仿 "人类周边视觉 "的研究中,已经走得更远,假设未来将设计一个人工智能系统,以抵抗其视野中感知的矛盾元素。

具体而言,韩国大学的研究试图在实验室中重现 "视觉演绎",这种能力在未来将允许自动驾驶汽车在城市街道上自动识别被一排汽车部分隐藏的停车区域或被卡车遮挡的行人身影。

在包括生产现场和仓库等工作场所的场景中,配备模态感知的机器人不仅能满足更准时和更快的性能需求,还能满足安全要求,其中对环境中物体越来越正确的识别和越来越准确的分类是首要的因素。

因此,研究的道路是有迹可循的,等待进一步的元素来丰富它的路径。

0 0

网友评论

取消