Apple推出用于未来AR眼镜的立体视觉技术


虚拟现实和增强现实领域必须处理通过耳机向用户提供完美图像的想法 。头戴式显示器为每只眼睛提供两个略微不同的图像,为虚拟物品提供深度和物理的幻觉,模仿眼睛在现实生活中如何看到它 。
游戏引擎和VR系统通常依赖于渲染场景,其中两个虚拟摄像机位于眼睛所在的位置,两个虚拟摄像机在距离用户一定距离处会聚 。然而,更难以创建完整的360度立体预渲染CGI场景 。Apple声称,与动态创建的实时VR场景不同,360度球形视频无法考虑眼睛可以定位的所有位置以使效果起作用 。
球形视频文件也不能提供立体视差效果,因为如果用户倾斜他们的头部以使眼睛处于不同的高度,则会出现眼睛的垂直视差 。
在专利申请中“虚拟3D物体的立体渲染,”Apple建议系统首先应该对场景中的物体进行细分以识别顶点,然后将顶点映射到球面坐标以及轴间和收敛参数,即眼睛之间的距离和收敛点在远处 。
然后可以将球面位置映射到等角矩形投影 。3D对象顶点的位置可以定义3D对象的表面的多边形,该多边形可以根据用户的方向和相机位置进行变换以占据投影表面的一部分 。
【Apple推出用于未来AR眼镜的立体视觉技术】平移3D位置可涉及基于眼睛之间的轴间距离以及会聚来旋转顶点和位置 。最后,基于每个相机的基于球体的投影,将创建的投影渲染为立体360度渲染 。
结果是两个等距矩形表示,每个左视点和右视点一个 。
Apple每周都会向专利商标局提交多项专利,但虽然提交申请并不能保证该想法会出现在未来的Apple产品或服务中,但它确实显示了iPhone制造商的研究和发展努力 。
需要提出新的和改进的方式来呈现内容可能是由于传闻中苹果被认为正在开发的长期传播的AR眼镜 。该公司一直在推进其基于iOS设备的ARKit系统,但据认为,该工作可能会在未来产生一些描述的耳机,可能最早在2020年推出 。
Apple在耳机设计和使用领域也拥有众多专利,从可以戴上iPhone的眼镜到眼动追踪系统,热调节到将耳机紧贴在用户头上等等 。在软件方面,Apple已经考虑过将AR用于乘车服务,以及如何使用AR可以向用户显示世界上的兴趣点 。
更直接地与最新的专利申请相关,2018年8月提交的“处理用于通过球面投影补偿失真的等距物体数据”的文件详述了如何在将多个视频组合在一起时防止出现问题,例如多摄像机视频录制设备 。

    推荐阅读