我们展示了使用来自飞行时间（ToF）摄像机的图像进行的多路径分析提供了诱人的机会来推断场景的不仅可见部分的3D几何形状。 我们提供了一种新颖的框架，可使用捕获每个像素的3D时间图像I（x，y，t）的摄像机从单个视点重建场景几何。 我们提出了一个框架，该框架使用时间图像和瞬态推理来揭示可能超出传统计算机视觉范围的场景属性。 我们使用飞秒激光器和超快光探测器阵列进行的自由空间硬件实验证实了我们的理论。 计算隐藏元素的几何结构的能力（相机和照明源均无法观察到）将创造一系列新的计算机视觉机会。
基于相机的2强度图像I（x，y）早已用于观察和解释场景。 用于场景理解的新传感器和算法将明显地受益于许多应用领域，例如机器人技术，工业应用，用户界面和监视。 本文介绍了一种称为“瞬态光传输”的新颖框架，该框架允许观察和解释场景的新属性。 在传统相机中，光入射像素在曝光时间内沿角度，时间和波长维度进行积分，以记录单个强度值。 不同的场景可能会导致相同的投影（图像），从而导致相同的像素值。 因此，估计不可直接观察的场景属性是挑战性的。 稳态光传输假设全球照明中的平衡。 在室内大小的环境中，微秒的曝光（积分）时间足够长，以使光脉冲能够完全遍历由于场景元素之间的相互反射而达到稳态的所有可能的多路径。 与光的瞬态特性发挥作用的时间尺度相比，传统的摄像机对光的采样速度非常慢。 在我们的瞬态光传输框架中，光从一个场景点传播到另一个场景需要有限的时间。 超高速成像的最新进展使得可以对光在1皮秒内传播0.3毫米时进行采样。 即使对于简单的场景，响应于单射线脉冲照明的瞬态光传输的动力学也可能极其复杂。 与测量光子总数的传统2D像素不同，瞬态光传输测量光子到达率随时间的变化。 在第3节中，我们提出了一个瞬态成像相机模型，该模型可以连续采样入射光。 在第4节中，我们提出了一种称为逆向瞬态光传输的理论框架，用于估计场景的几何形状，其中可能包含相机和照明都遮挡的元素。 第5节介绍了包含飞秒的硬件原型激光和定向敏感的皮秒精确光电传感器阵列。 使用我们的原型，可以演示瞬态成像相机所需的所有关键功能：几何，测光，多次反射观测和自由空间功能。 最后，在第6节中，我们实验性地演示了提出的成像模型如何实现新颖的场景理解，这使我们能够在视线范围内没有任何设备的情况下环顾角落（图1）。 图1. 您能否在角落里注视着没有成像设备的房间？ 本文表明，通过发出短脉冲（1-2）并分析门的多次反弹（4-1），即使中间的反弹（3）不可见，我们也可以推断出隐藏的几何形状。 瞬态成像相机原型包括（a）飞秒激光照明（b）精确到皮秒的探测器和（c）超快速采样示波器。 我们测量包含隐藏的1-0-1条形码的场景（d）时空脉冲响应（STIR），并重建隐藏表面。 有关更多结果，请参阅补充视频8。
全局光传输：光通常遵循发射器和传感器之间的复杂路径。 场景中稳态光传输的描述称为渲染方程[1]。 扩展已被描述为包括光传输中的时间[2]。 在[3]中，Raskar和Davis提出了使用5D时光传输矩阵进行逆分析以恢复几何和光度学场景参数的方法。 此外，史密斯等。 等 [4]通过瞬态渲染框架提出了对渲染方程的修改。 物理场景属性的准确测量称为逆渲染[5]。 已经开发出复杂的模型来重建镜面反射[6]，透明[7]，朗伯（8）场景以及联合照明和反射[9]。 基于图像的建模和计算摄影的最新工作也显示了几种捕获稳态光传输的方法[10]。 我们的工作在稳态全局光传输分析中的以下开创性工作对它的影响很大。 Nayaret。 等 在场景没有高频成分的假设下，将图像分解为直接成分和间接成分[11]。 塞兹等 等 [12]在场景是朗伯的假设下将图像分解为多个反弹分量。 尽管双重摄影方法[10]可以看到隐藏在相机中的物体，但是它需要在物体视线内的投影仪。 我们的方法利用瞬态而不是稳态传输来估计更具挑战性的场景属性。 激光雷达和时间门控成像：光检测和测距系统通常以纳秒为单位调制光，并测量反射信号的相位以确定深度[13]。 Flash LIDAR系统使用2D成像仪快速测量全深度图[14，15]。 重要的是，许多公司（Canesta，MESA，3DV，PMD）正在将该技术推向消费者价格点。 可以通过模拟反射信号的预期形状或估计环境光的影响来提高相位估计的质量[16]。 单独检测传感器响应中的多个峰值可以允许检测两个表面，例如林冠层和地面，并且波形分析可以检测表面不连续性[17]。 时间门控成像通过在极短的窗口上积分反射的光脉冲来捕获I（x，y，tδ）。 在增量时间窗口tδ处进行多次捕获，从而可以以高达100皮秒的精度捕获时间图像I（x，y，t）。 纳秒窗用于在千米范围内对坦克进行成像，皮秒级选通可在浑浊的水中成像。 飞秒成像：光学相干断层扫描（OCT）[18]，一种干涉技术，以及使用荧光的双光子显微镜[19]，可以对生物组织进行高质量，微米级的3D成像。 这两种方法均基于脉冲飞秒照明。 与在光纤或毫米级生物样品中确立的使用方法相比，本文中的实验是首次尝试在自由空间中使用飞秒激光照明。 条纹相机是超快的光子记录器，可以在空间维度上沉积光子，而不是将最小的单个像素积分。 皮秒条纹相机已有数十年的历史[20]。 现代研究系统可以在阿秒范围内发挥作用[21]。 现有的所有基于光时间采样的方法都没有利用全局光传输推理来推断场景特征。 相反，它们在单个方向的时间门控窗口中成像，以改善SNR并拒绝多径散射。 本文表明，给定测量的多路径时间轮廓，可以对场景内容进行复杂的全局推理。
