苹果光场全景相机系统专利曝光，或将用于头显、iPhone及iPad

最后更新：2020-04-08 10:11:13 手机定位技术交流文章

编译/虚拟陀螺仪

今天，美国专利商标局发布了苹果公司的一份专利申请，内容是关于下一代光场全景相机系统，该系统最终将用于苹果手机、苹果平板电脑和未来的HMD设备。这一点很重要，因为谷歌在2018年收购了光场成像领域的领导者之一Lytro，并将在未来某个时候将该系统推向市场。

总的来说，苹果的发明将提供一种光场全景系统，其中用户手持移动设备执行手势以从不同位置捕捉场景图像。此外，可以捕获其他信息，例如位置和方向信息。图像和信息可以被处理以确定包括图像的相对位置和图像的深度信息的元数据。图像和元数据可以存储为光场全景。

光场全景照相机系统可以通过渲染引擎处理光场全景以渲染场景的不同3D视图，允许观看者从不同位置和角度以6自由度探索场景。用户可以使用移动设备或头部显示器等设备来渲染和查看系统。用户可以看到场景中对象的后面或上面，放大或缩小场景，或者查看场景的不同部分。

如果你曾经看过这样的图片和功能，你会知道这将是一个iPhone相机和未来HMD的杀手级应用。

从技术上讲，苹果指出，在光场摄影中，光场相机捕捉场景中光线的颜色强度以及光线在空之间传播的方向，这与传统相机只记录光线强度有很大不同。一种类型的光场照相机使用放置在图像传感器前面的微透镜阵列，而多照相机阵列是另一种类型的光场照相机。

虚拟现实允许用户体验身临其境的环境并与之互动。例如，诸如头戴式显示器(HMD)的虚拟现实系统可以向用户显示立体场景以创建沉浸式体验，并且计算机可以实时调整场景内容以向用户提供移动场景。

苹果的发明提供了用于捕捉、处理和渲染光场全景的方法和设备的各种实施例。

在光场全景系统的一个实施例中，手持包括相机的移动设备(例如智能电话、平板电脑或平板设备)的用户执行手势以将相机移动到感兴趣的场景，从而从不同位置捕获一组场景数字图像。

苹果公司的专利图2图形显示了光场全景系统的组成部分。

苹果公司的专利图4A到4F示出了iPhone上的非限制性示例手势，其可用于捕捉帧以生成光场全景。苹果专利的图5A和5B图示了使用手持移动设备，例如智能手机或平板设备来观看光场的全景。

苹果公司的专利文件进一步指出，来自设备运动和位置传感技术的位置和方向信息也可以和图像一起被捕获。

捕获的图像和信息可以被处理以确定元数据，该元数据包括图像相对于场景的相对位置以及图像中捕获的场景的内容深度和几何信息。图像和元数据可以统称为光场全景。

观众可以使用HMD、移动设备(如智能手机、平板电脑或平板设备)或计算机系统上的渲染和观看系统来探索由光场全景图表示的捕获场景。场景的光场全景数据(图像和元数据)可以由渲染引擎处理，以渲染场景的不同3D视图，并允许观看者从6自由度的不同位置和角度探索场景。

通过使用渲染和查看系统，用户可以更改他们的查看位置和角度，以查看场景中对象的后面或上面，放大或缩小场景，或查看场景的不同部分。相比之下，典型的360度全景图(或照片球全景图)在渲染中只能提供3自由度，这意味着观看者只能旋转他的头部，不能像浏览光场全景图一样扫视内容。

实施例可以例如允许观看者通过HMD体验沉浸式虚拟现实中捕捉的场景的广角内容。所捕获的图像具有“视差”意识，即当在虚拟现实中渲染图像时，场景中的对象将根据它们在世界中的位置以及观察者相对于它们的位置而正确移动。此外，图像内容将比通常在虚拟现实系统中观看的计算机生成内容的渲染更真实。

最后，苹果的专利图7显示了光场全景系统的实时和后处理架构。

美国专利局今天发布的苹果专利申请是在2019年第三季度提交的。考虑到这是一项专利申请，还不知道这种产品何时上市。

作为一项记录，苹果公司早在2017年6月就发布了一份专利报告，标题为“苹果公司已经获得了光场相机的关键专利，这种相机可以为苹果电脑、视频设备和头盔显示器提供身临其境的ar体验。”该专利最初是在2016年提交的，因此苹果公司已经从事该项目至少3到5年了。

来源:patentlyapple