新的增强现实系统使智能手机用户可以亲身体验虚拟对象


布朗大学研究人员开发的新软件系统将手机变成增强现实门户,使用户能够将虚拟积木,家具和其他物体放置在现实背景中,并用他们的手来操纵这些物体,就像它们确实在那儿一样 。
开发人员希望这种称为Portal-ble的新系统可以成为艺术家,设计师,游戏开发人员和其他人进行增强现实(AR)实验的工具 。该团队将在本月晚些时候的新奥尔良ACM用户界面软件和技术研讨会(UIST 2019)上介绍这项工作 。研究人员的网站可免费下载Andriod的源代码,iPhone代码将很快面市 。
布朗计算机科学助理教授杰夫·黄(Jeff Huang)和他的学生一起开发了该系统,他说:“ AR将成为一种很棒的交互新模式 。”“我们希望制造出使AR具有便携性的产品,以便人们可以在任何地方使用而无需笨重的头戴式耳机 。我们还希望人们能够用手自然地与虚拟世界互动 。”
黄说,Portal-ble“动手”交互的想法源于对Pokemon GO等AR应用程序的不满 。AR应用程序使用智能手机将虚拟对象(例如Pokemon角色)放置到现实场景中,但是与这些对象进行交互需要用户在屏幕上滑动 。
黄说:“刷卡并不是一种令人满意的互动方式 。”“在现实世界中,我们用手进行交互 。我们打开门把手,捡起东西并扔东西 。因此,我们认为用手操作虚拟对象比刷卡要强大得多 。这就是Portal-ble的不同之处 。”
该平台利用安装在手机背面的小型红外传感器 。该传感器跟踪人的手相对于虚拟物体的位置,使用户能够捡起,转动,堆叠或放下物体 。它还使人们可以用双手虚拟地“绘制”到真实的背景上 。作为演示,Huang和他的学生使用该系统在Brown's College Hill校园的绿色花园中绘制了一个虚拟花园 。
Huang说,这项工作的主要技术贡献是开发合适的适应和反馈工具,使人们能够与虚拟对象进行直观的交互 。
Huang说:“事实证明,如果您尝试应用现实世界的物理原理,那么拾取虚拟物体确实非常困难 。”“人们试图抓住错误的地方,或者他们将手指穿过这些对象 。因此,我们必须观察人们如何尝试与这些对象进行交互,然后使我们的系统能够适应这些趋势 。”
为此,Huang招募了他正在教的一堂课上的学生来提出他们可能在AR世界中想要完成的任务-例如,堆叠一组块 。然后,学生要求其他人尝试使用Portal-ble来执行这些任务,同时记录人们可以做什么和不能做什么 。然后,他们可以调整系统的物理结构和用户界面,以使交互更加成功 。
Huang说:“这有点像人们在Photoshop中画线时发生的情况 。”“人们画的线从来都不是完美的,但是程序可以使它们平滑并使其完全笔直 。这就是我们试图用这些虚拟对象进行的调整 。”
该团队还添加了感官反馈-物体和电话振动的视觉重点-使交互更容易 。黄说,他对手机的振动帮助用户互动感到有些惊讶 。用户在握住手机时会感觉到振动,而不是实际上正在抓住虚拟物体的手感觉到振动 。Huang表示,振动反馈仍然可以帮助用户更成功地与物体交互 。
在后续研究中,用户报告说,系统所使用的适应性和反馈使任务明显更容易,更省时,更令人满意 。
Huang和他的学生计划继续与Portal-ble合作-扩展其对象库,改进交互并开发新活动 。他们还希望简化系统,使其完全在手机上运行 。当前,红外传感器需要红外传感器和外部计算棒以提供额外的处理能力 。
Huang希望人们下载免费的源代码并自己尝试 。
他说:“我们真的只是想把它放在那里,看看人们如何处理它 。”“该代码位于我们的网站上,供人们下载,编辑和构建 。查看人们如何使用该代码将很有趣 。”
【新的增强现实系统使智能手机用户可以亲身体验虚拟对象】

    推荐阅读