光鉴分享 |《ToF深度相机技术白皮书》完整版
最后更新：2020-04-01 11:17:53 手机定位技术交流文章
目前在专业或消费级3D相机中使用的三角形和飞行时间(ToF)方法为3D视觉在消费场景中的应用带来了新的机会，这是由于苹果公司最新的iPad Pro的出现，这是一款配备了d-ToF技术的深度相机。为了让读者对ToF技术有更深入的了解，我们根据业界和学术界的最新成果，编辑了本期《ToF深度相机技术白皮书》。全文可下载链接:
http://www.deptrum.com/data/Deptrum_ToF_White_Paper.pdf
1.3D视觉介绍
三维视觉技术可以获得真实三维场景的完整几何信息，并利用具有深度信息的图像实现场景的精确数字化，从而实现机器视觉的高精度识别、定位、重建、场景理解等关键功能。以2010年Kinect和2017年iPhoneX的发布为标志，3D视觉技术已经从传统上只应用于专业领域的高端技术转变为消费产品。
图1从2D 空到3D 空的示意图。
目前，专业或消费级3D相机采用两种主流技术，即三角测量和飞行时间
图21双目技术示意图。
虽然双目深度重建的原理很简单，但在实际应用中遇到了两个挑战:大量的计算和对物体纹理和环境光的依赖。以下两个挑战分别介绍。
为了计算图形中每个像素的深度值，我们需要获得两个图形中每个像素的一一对应关系。这种关系通常通过块匹配来建立。具体来说，在一幅图像中，选择以像素为中心的固定大小的窗口，并且在另一幅图像中找到最相似的窗口，从而获得另一幅图像中该像素的对应像素。块匹配算法具有高计算复杂度，并且其计算量与0(NMWHD)成比例，其中，N，M是图像的行数和列数，W，H是匹配窗口的宽度和高度，并且D是匹配以找到最相似像素的范围。为了获得更好的结果，将采用一些更复杂的改进算法(例如半全局块匹配，SGBM)，这进一步增加了计算量和复杂性。为此，业界常用的方法是将算法固化到专用的专用集成电路芯片中，以解决计算量大的问题，但这增加了额外的硬件成本和迭代周期。
双目深度重建的另一个挑战是依赖于被拍摄物体的表面纹理和环境光。当使用双目原理重建表面没有任何纹理的物体时，例如拍摄白墙，会遇到找不到匹配的对应像素的问题。另一方面，当拍摄环境中的光线很弱时，例如在黑光环境中，匹配也会遇到很大的挑战。结构光技术为解决这两个问题提供了新的途径。
2.2结构光技术
结构光方案是一种主动双目视觉技术。每个结构光摄像机包括两个基本组件:红外激光投影端和红外摄像机。基本思想是将已知的结构化图案投射到被观察对象上，这些结构化图案将根据对象的几何形状和拍摄距离而相应地变形。红外摄像机从另一个角度观察。通过分析观察到的图案和原始图案之间的变形，可以获得图案上每个像素的视差，然后根据相机的内外参数恢复深度。
图2结构光技术示意图
相位偏移(φ)和深度(D)是通过分析来自上述公式(C2、C3和C4)的积分能量值获得的。这些积分能量值是从具有不同相位延迟的四个接收窗口收集的能量，它们分别对应于相位采样点0、90、180和270处的采样，即:
其中a是接收到的正弦信号的幅度。
就精度而言，连续波精度主要受随机噪声和量化噪声的限制，随机噪声与接收光信号的信噪比成反比，量化噪声与正弦波的调制频率成反比。因此，为了提高精度，连续波-伊通滤波器一般采用大功率、短积分时间采样来提高信噪比；接收到的光信号。同时，增加调制频率以抑制量化噪声。
就范围而言，连续波-伊托夫可以分辨的相位范围是
图31工作框图
图32pl-itof基本工作原理
图3 SPAD雪崩效应示意图。雪崩二极管示意图:光子在吸收区被吸收并转化为自由电子。自由电子在通过PN结的过程中被电场加速。当获得足够的能量时，在放大区域中产生雪崩效应，使得器件输出大电流脉冲。《战略优先事项》的互补金属氧化物半导体示意图。具体的结构参数取决于器件采用的CMOS工艺。
图4 TCSPC方法。该系统控制激光器发射激光脉冲，激光脉冲通过光学系统投射到目标物体的表面上。反射光脉冲由接收器的光学系统成像在d-ToF传感器上。光脉冲触发SPAD并输出电流脉冲。TDC根据电流脉冲的时间输出数字化脉冲定时。一次成像将重复数千到数十万个脉冲，从而获得上止点输出的统计直方图，重建光脉冲并获得飞行时间。
图1边缘带有飞行点噪声的典型i-ToF测量点云
如图2所示，飞行点噪声的主要原因是在i-ToF传感器上，每个像素都有一定的物理尺寸。测量物体边缘时，单个像素将同时接收前景和背景反射的光。两者产生的能量叠加在一起，使得传感器获取的原始数据包含多个距离的信息。当使用第3.1节中的原始理解计算距离时，将获得错误的深度测量值。此外，镜头散射和像素间串扰有时会导致飞行噪声，甚至背景的大规模变形。
图2飞行点噪声产生原理示意图:ToF传感器上的蓝色像素仅接收单一深度信息(前景或背景)，以获得正确的测量值(蓝色点)；ToF传感器上的绿色像素同时接收前景和背景反射的光，这两种深度信息不能通过叠加来区分。iToF测量结果的深度值错误(橙色点)。
4.1.2多路干扰
真实场景中有复杂的漫反射甚至镜面反射。MPI原则上会使测量值变大，这将严重影响三维重建的效果。
图3多径干扰产生原理示意图:该图以墙的测量角为例。投影模块投射到左侧的光线(虚线)被反射两次，并与投射到右侧的光线(实线)同时被ToF传感器接收。双深度信息导致ToF测量误差。
以图4的场景为例，投射到桌面的光线被标准部件反射两次后，被i-ToF传感器接收。磁粉探伤效应导致被测标准零件的形状扭曲。入射到标准部件上的光在被桌面第二次反射后被i-ToF传感器接收。MPI效应导致桌面测量值出现错误。桌面类似于镜面，桌面测量值接近标准零件的镜面。
图4多路径干扰示意图:多路径干扰导致标准零件测量点云形状(绿色)和桌面误差测量失真为标准零件镜像(红色)
MPI是困扰ToF多年的一个重要问题，一直是i-ToF广泛应用的最大障碍。在过去的十年中，许多研究机构如微软、麻省理工学院和怀卡托大学在算法和系统上做了大量的尝试来解决MPI问题。
图5亮度误差示意图，同一平面上的不同反射率区域呈现不同的深度，黑色和灰色区域从该平面凸起
图1 ToF应用于消费电子领域:(a)ToF体积小，可用于低精度要求场景中简单的人脸活体识别；(二)人体关键部位的三维感应，体感互动游戏(三)手的位置和姿势的跟踪，手势控制(四)三维信息的构建，以及与真实环境的虚拟互动
02
机器人
图2 ToF在机器人领域的应用(a)ToF低速激光雷达能准确识别障碍物，进行自动避障(b)测量获取周围环境的深度信息，定位自身位置构建地图(c)应用于服务机器人，智能导航(d)无人机获取ToF稳定准确的距离信息设置高悬浮停止
03
安全监控和轨道交通
图3 ToF在轨道交通领域的安全监控与应用:(1)ToF获取人体深度数据，结合人数统计算法，与传统监控相比，可以实时统计和跟踪人数；(b)通过智能方向识别忽略人员的交叉流动；(c)智能停车，广泛覆盖和准确识别停车位车辆信息；以及(d)实时监控交叉路口车辆。添加监控环境的三维信息
04
无人驾驶。工业自动化
图4 ToF在无人驾驶及工业自动化领域的应用:(1)随着面阵数据传输技术的成熟，未来纯固态激光雷达将与其他雷达集成用于无人驾驶(2)车厢监控、驾驶员疲劳监控、人员状况监控(3)存储分拣、货物信息智能识别(4)物流包裹体积测量，可快速识别包裹的长度、宽度和高度
7.摘要
本文介绍了ToF深度相机的基本工作原理以及不同技术路线的优势和挑战。我们还比较了ToF与双目和结构光技术的优缺点。ToF技术的成熟将在消费电子、机器人、工业自动化、物流等领域带来大量应用和突破。
如果您对广建科技的3D视觉产品有任何疑问，请联系info@deptrum.com。
本文由 在线网速测试 整理编辑，转载请注明出处。
