高光谱成像设备和方法

1.本发明涉及高光谱成像。


背景技术：

2.当前用于高光谱成像的设备依赖于由高分辨率2d传感器执行的强度测量，并且基本上基于扫描和快照成像这两个互补的概念。这种设备的一般问题是在2d传感器上对实际上是三维的信息进行编码，第三维度是光的频率。
3.在扫描高光谱成像技术中，高分辨率2d传感器及时获取单色图像序列，感兴趣范围内的每个频率的一个；扫描高光谱系统的示例包括点扫描光谱仪、推扫式光谱仪、可调谐滤波器相机、傅立叶变换成像光谱仪、计算机断层扫描高光谱成像光谱仪和编码孔径线成像光谱仪。这种方法的缺点显然是获取单色图像序列所需的时间量。
4.另一方面，在快照高光谱成像技术中，高分辨率2d传感器被划分为像素的多个2d块，每个块包含关于所有期望频率的信息，每个像素的一个；快照高光谱系统的示例包括具有多面镜、相干光纤束和小透镜阵列的积分场光谱法、多光谱分束、计算机断层成像光谱法、多孔滤波相机、可调谐阶梯成像器、光谱分辨探测器阵列、图像复制成像光谱仪、编码孔径快照光谱成像器、图像映射光谱法、快照高光谱成像傅立叶变换光谱仪、多光谱sagnac干涉仪。这里，所需多光谱图像的快速并行采集是以牺牲图像和光谱分辨率为代价的。
5.因此，扫描方法需要一个极其耗时的过程来实现精细的光谱分辨率，而快照方法的特点是空间分辨率和光谱分辨率之间的强烈权衡，对于给定的传感器来说，这两种分辨率是成反比的。
6.发明目的
7.本发明的目的是解决上述技术问题。更具体地，本发明的目的是提供一种能够以快速处理速率实现高图像分辨率的高分辨率高光谱成像设备和方法。


技术实现要素：

8.本发明的目的是通过具有所附权利要求的特征的设备和方法来实现的，该设备和方法形成了本文提供的关于本发明的技术公开的组成部分。
附图说明
9.通过参考附图的以下描述，本发明的进一步特征和优点将变得显而易见，这些附图纯粹是通过非限制性示例的方式给出的，其中：
[0010]-图1是根据本发明的实施例的设备的示意图，
[0011]-图2是根据本发明的进一步实施例的设备的示意图，
[0012]-图3是根据本发明的又一实施例的设备的示意图，
[0013]-图4是根据本发明的又一实施例的设备的示意图，
[0014]-图5是根据本发明的又一实施例的设备的示意图，
[0015]-图6是根据本发明的又一实施例的设备的示意图，
[0016]-图7是根据本发明的又一实施例的设备的示意图，
[0017]-图8是根据本发明的又一实施例的设备的示意图，以及
[0018]-图9是根据本发明的又一实施例的设备的示意图。
具体实施方式
[0019]
图1中的参考编号1总体上表示根据本发明的实施例的用于高光谱成像的设备。设备1包括采集窗口2、分束器3，该分束器被配置用于将来自物体obj并进入采集窗口的光束b分束为沿第一光路s1行进并包括多个第一次级光信号的第一次级光束b1，以及沿第二光路s2行进并包括多个第二次级光信号的第二次级光束b2。一般来说，物体obj可以被视为根据本发明的设备1的光源，由此物体obj的体积的每个单点都能够发出光束b的初级光信号。
[0020]
物体的整个图像是从物体obj发出并通过采集窗口2收集的所有光信号的合成物。因此，虽然下面的功能描述是基于表示从物体obj发出并被处理成次级光信号的单个初级光信号的附图，但功能描述适用于从物体发出的全初级光束b，其包括所有初级的、基于点的光信号(并且相应地适用于包括所有相应的第一和第二次级光信号的全次级光束b1、b2)。在实施例中，分束器3被布置在初级光束b的光路下游的采集窗口2附近，从而被光束b照射，以将光束b分为第一次级光束b1和第二次级光束b2。然而，在其他实施例中，布置可以由于例如空间或安装要求而变化。
[0021]
在其他实施例中，如将在下文中变得明显的，分束器3和采集窗口之间几乎没有或根本没有接近，其中该设备依赖于采集窗口和分束器之间更复杂的光路。一般来说——这适用于本文的所有实施例——采集窗口可以是没有光路修改能力的简单平面屏幕，从而导致其中在采集窗口和分束器之间不布置另外的光学元件的配置，或者导致其中在采集窗口和分束器之间布置一个或多个光学元件(透镜)的配置，或者它可以是透镜元件或多透镜组，以在入射分束器3之前提供对初级光束b的期望的处理程度。
[0022]
设备1还包括被配置为由第一次级光束b1入射的第一传感器4和被配置为由第二次级光束b2入射的第二传感器5。在整个描述中，由于将在下文中变得明显的原因，传感器4可以被称为“空间传感器”，而传感器5可以被称为“光谱传感器”。相关器c可操作地连接到传感器4和传感器5，以执行由传感器检索的光强数据/信息的相关。分频器设备6沿着第二光路s2布置，并且被配置为在入射到第二传感器5上之前将第二次级光束b2分成其频率分量。在本实施例中，分频器设备包括棱镜。
[0023]
根据本发明，第一传感器4被配置为从第一次级光束b1检索物体obj的图像，该图像(2-d)包括多个空间位置，每个空间位置由次级光束b1的相应第一光信号入射到第一传感器4上限定。换句话说，第一传感器4是成像传感器，一旦被来自物体obj的光信号入射，该成像传感器被配置为通过构成初级光束b的初级光信号(构成次级光束b1的次级信号)与其传感器元件之间的相互作用，当后者被前者入射时，重建物体obj的图像。物体obj的图像(2-d)通过例如包括透镜(简单、复合、透镜组)、曲面镜(球面或抛物面)、屈光反射系统或包括透镜和反射镜的系统中的一个的聚焦元件而被形成在传感器4上。例如，当采集窗口2包括聚焦透镜时(或者当聚焦透镜被设置在被初级光束b或第一次级光束b1照射的位置处
时)，关系式适用，以便在第一传感器4上采集物体的聚焦图像，其中，f是透镜的焦距，s
obj
是物体obj的聚焦平面和透镜的主平面之间的距离，si是透镜的主平面和传感器4之间的距离。
[0024]
另一方面，第二传感器5被配置为从源自来自物体obj的光束b的第二次级光束b2中，并且对于物体obj的图像的每个空间位置，检索频谱信息。换句话说，由于组成光束b2的每个光信号通过分束器3与组成光束b1的相应光信号配对，所以来自光束b2的光信号固有地携带来自光束b1的光信号的空间信息，但它被用于在频域中对信息进行编码。换句话说，当传感器4对来自光束b1的光信号进行的检测返回其中光束b的各个光信号所来自的物体obj的点的图像(次级光束b1正好源自光束b)时，传感器5对光束b2的配对光信号进行的检测返回物体obj的相同点的光谱数据。
[0025]
两个数据集(图像和光谱)的“物理”维度可能不相同，通常也不相同：虽然图像数据基于传感器4的每个像素(或通常的传感器元件)和物体上的特定区域之间的一一对应关系，但就光谱数据而言，关于相同频率或频带的信息可以存储在多个像素中(例如，存储在像素阵列中)。如上所述，代表物理配对量的两个数据集的配对(配对是通过分束器产生次级光束b1和b2时固有的，考虑到来自物体obj的光的混沌性质)是通过相关器c实现的。
[0026]
在一些实施例中，一个或多个波长转换器(例如，涂层)可以与传感器5相关联，以将入射光的波长转换为传感器5以更高灵敏度操作的波长。然后可以使用控制系统通过考虑转换器的转换比来重建“实际”光谱信息。
[0027]
此外，在实施例中，分频器设备可以被提供为一组双色镜，其被配置为将每个频带转向相应的传感器5：因此，在这样的实施例中，光谱传感器可以是一个以上。
[0028]
此外，参考图2至图9，根据本发明的设备可能容易发生结构变化，同时仍然保持上述功能特征。出于这个原因，图2至图5提供了由参考编号100、200、300、400、500、600、700、800指定的其他实施例的显示，并且其中，与已经结合图1公开的组件相同的组件用相同的参考编号标记，而与图1的组件相比变化的组件用与指定实施例的主参考编号相同范围内的参考编号标记，并相应地偏离图1的实施例的相应特征或编号。
[0029]
参考图2，根据本发明的设备100与设备1相同，不同之处在于分频器设备被指定为106并且包括衍射光栅。与设备1一样，相关器c可操作地连接到传感器4和5，以执行由传感器检索的光强数据/信息的相关。
[0030]
图3的实施例(其中，根据本发明的设备由参考编号200表示)是其中第一(或成像)传感器和第二(或光谱)传感器设置在单个传感器元件245上并对应于传感器元件245的不同敏感区域或元件的实施例的示例。在该特定实施例中，成像传感器由参考编号204表示，并对应于传感器元件245的第一区域，而光谱传感器由参考编号205表示，并对应于传感器元件245的与第一区域相邻的第二区域。传感器区域是不相交的，即，设备200的光学布置使得在照射到传感器204、205上的次级光束b1和b2之间不存在交叉。与前面的实施例一样，相关器c可操作地连接到传感器205和204，以执行由传感器检索的光强数据/信息的相关。
[0031]
设备200还包括导致部分修改的光路的附加组件。这可以是替代布置的示例，其中，光路适合于可能由相关应用规定的某些要求或约束。
[0032]
设备200包括采集窗口202，与设备1或设备100不同，采集窗口202不在分束器3的
视野中。相反，采集窗口202被布置成面对抛物面镜207，抛物面镜207被配置为将来自物体obj的入射(通过采集窗口2)光束b反射到偏移镜208(优选平面镜)，光束b从偏移镜208在分束器3之前或之后被聚焦(209)。第一次级光束b1具有穿过成像透镜210的光路s1，成像透镜210本身可以是可选的，而第二次级光束b2具有穿过准直透镜211的光路s2，准直透镜211被布置在分频器6的上游(优选棱镜，但也可以使用衍射光栅)。
[0033]
第二远场镜(最好是抛物面镜)212被布置在分频器6的下游，以将次级光束b2的拆分频率分量转移到光谱传感器205。
[0034]
参考图4，根据本发明的设备的又一个实施例由参考编号300表示。在设备300中，实现了与图2的实施例相同的功能布局，但成像传感器(参考编号304)和光谱传感器(参考编号305)再次被设置在单个传感器元件345上，并对应于传感器元件345的不同敏感区域或元件。在该特定实施例中，成像传感器304对应于传感器元件345的第一区域，而光谱传感器由参考编号305表示，并且对应于传感器元件345的与第一区域相邻的第二区域。与先前公开的实施例一样，传感器区域是不相交的，即，设备300的光学布置使得在照射到传感器304、305上的次级光束b1和b2之间不存在交叉。与前面的实施例一样，相关器c可操作地连接到传感器304和305，以执行由传感器检索的光强数据/信息的相关。
[0035]
与设备200类似，设备300还包括额外的组件，与图1相比，这些组件会导致部分修改的光路。这也可以是替代布置的示例，其中，光路适用于相关应用可能规定的某些要求或约束。
[0036]
设备300包括采集窗口302，该采集窗口302与设备1一样，优选地通过介于采集窗口302和分束器3之间的成像透镜，处于分束器3的视野中。
[0037]
来自物体obj的初级光束b被分为第一次级光束b1和第二次级光束b2，第一次级光束的光路s1最终到达成像传感器304，第二次级光束的光路s2照射到准直镜308(优选抛物面)上，准直镜308被配置为将光束b2反射到分频器6。从后者，光路s2转向光谱传感器305，同时也穿过远场透镜309。
[0038]
参考图5，根据本发明的设备的又一个实施例由参考编号400表示。在设备400中，图3的实施例的功能布局略有变化，如下所述。无论如何，就传感器部分而言，设备400具有与设备200相同的布局，其中成像传感器404和光谱传感器405设置在单个传感器元件445上，并且对应于传感器元件445的不同敏感区域或元件。在该特定实施例中，成像传感器404对应于传感器元件445的第一区域，而光谱传感器405对应于传感器元件445的与第一区域相邻的第二区域。与先前公开的实施例一样，传感器区域是不相交的，即，设备400的光学布置使得在照射到传感器304、305上的次级光束b1和b2之间不存在交叉。与前面的实施例一样，相关器c可操作地连接到传感器405和404，以执行由传感器检索的光强数据/信息的相关。
[0039]
设备400包括采集窗口402，采集窗口402包括透镜或一组透镜。窗口402在分束器3的视野中，使得来自物体obj的初级光束b被分为第一次级光束b1和第二次级光束b2，第一次级光束b1具有穿过第二透镜407并最终到达成像传感器404的光路s1，第二次级光束b2具有直接照射到作为分频器设备的闪耀反射光栅(blazed reflective grating)6的光路s2。光束分量b2的拆分频率分量照射到远场镜408上，远场镜408又被配置为将频率分量转向光谱传感器405。
[0040]
参考图6，根据本发明的设备的又一个实施例由参考编号500表示。在设备500中，图3的实施例的功能布局再次略有变化，如下所述。无论如何，就传感器部分而言，设备500具有与设备200类似的布局，其中成像传感器504和光谱传感器505设置在单个传感器元件545上，并且对应于传感器元件545的不同敏感区域或元件。在该特定实施例中，成像传感器504对应于传感器元件545的第一区域，而光谱传感器505对应于传感器元件545的与第一区域相邻的第二区域。与先前公开的实施例一样，传感器区域是不相交的，即，设备500的光学布置使得在照射到传感器504、505上的次级光束b1和b2之间不存在交叉。与前面的实施例一样，相关器c可操作地连接到传感器405和505，以执行由传感器检索的光强数据/信息的相关。
[0041]
设备500包括采集窗口502，采集窗口502包括透镜或一组透镜。窗口502在分束器3的视野中，使得来自物体obj的初级光束b被分为第一次级光束b1和第二次级光束b2，第一次级光束b1具有穿过第二透镜507并最终到达成像传感器504的光路s1，第二次级光束b2具有照射到准直镜508上的光路s2，准直镜508优选为抛物面型，准直镜508将第二次级光束b2转向反射衍射光栅6(其作为分频器操作)。反射衍射光栅6将第二次级光束b2转向聚焦镜509，进而将已经分为其频率分量的第二次级光束b2聚焦(并转向)到柱面透镜510。柱面透镜将每个频带聚焦在一条线上，从而将光谱信息获取到光谱传感器505上，作为频率相关像素的阵列(即，每个频带的一行像素/感测元件)。
[0042]
在一个变型中，反射镜509和透镜510可以被提供为旨在将光谱信息聚焦到单个像素而不是像素带上的集合，以减少专用于光谱采集的传感器区域。通过这种方式，可以使传感器的区域可用，并将其“交易”到空间传感器504以获得额外的分辨率或用于全光学成像能力。此外，通过光谱信号的像素聚焦，可以用线性光谱传感器代替作为2d传感器的光谱传感器。
[0043]
更详细地，将像素聚焦光谱数据提供到传感器505上的反射镜509和透镜510的布置包括以下之一：
[0044]
i)聚焦镜是仅沿与透镜510的轴线正交的轴线呈现聚焦特性的凹面镜；
[0045]
ii)反射镜509是圆对称凹面镜，透镜510是一对柱面透镜，其轴线彼此正交；
[0046]
ii)反射镜509是平面反射镜，透镜510是一对柱面透镜。
[0047]
参考图7，根据本发明的设备的又一个实施例由参考编号600表示。设备600与迄今为止公开的所有实施例的不同之处在于，它不包括沿着光谱传感器上游的次级光束的光路的单独的分频器设备。相反，如将在下文中公开的，频率相关信息由光谱传感器直接检索。
[0048]
设备600包括在聚焦透镜603(其本身可以是采集窗口602)的视野中的采集窗口602、以及从物体obj发出的光束b的光路下游的分束器3，通过分束器3，来自物体obj的初级光束b被分成具有照射到成像传感器604上的光路s1的第一次级光束b1和具有直接照射到光谱传感器605上的光路s2的第二次级光束b2。与前面的实施例一样，相关器c可操作地连接到传感器605和604，以执行由传感器604、605检索的光强数据/信息的相关。成像传感器604和光谱传感器605优选地被提供为物理上不同的元件。
[0049]
虽然成像传感器604与已经公开的关于其他实施例的成像传感器没有区别，但是传感器605具有像素矩阵(或者更一般地，感测元件矩阵)，其中，每个像素(或者感测元件)具有在不同频率上达到峰值的光谱灵敏度。这可以通过传感器区域的频率选择性涂层来实
现，也可以通过传感器的混合结构来实现，使其包括在特定频率上物理峰值的传感器元件——就光谱灵敏度而言。这省去了单独的分频器设备的使用，因为正是传感器605以与次级光束b2相关联的信号的频率特定检索的形式执行频率检测。照射传感器605的光信号应代表来自整个物体的信号贡献：这需要验证以下条件：
[0050][0051]
其中，o是物体obj和透镜603的平面之间的距离，i1是透镜603的平面和成像传感器604之间的距离；f’是透镜603的焦距，i2是透镜603的焦平面和传感器605之间的距离。为了使传感器605收集来自整个物体obj的初级光信号，传感器不应放置在物体obj聚焦的平面上。对此的一个可能的解决方案可以是在分束器3和传感器605之间布置透镜，可能是柱面透镜，以便在传感器605上具有聚焦透镜603的图像。否则，如果要避免附加组件的布置，则与i1相比，可以使距离i2非常短，这可以通过将分束器3定位得非常靠近聚焦透镜603来实现。
[0052]
参考图8，根据本发明的设备的又一个实施例由参考编号700表示。设备700包括采集窗口702，采集窗口702包括透镜或一组透镜。窗口702在分束器3的视野中，使得来自物体obj的初级光束b被分为第一次级光束b1和第二次级光束b2。关于第一次级光束b1，其具有穿过透镜707并最终到达第二分束器3’的光路s1，第二分束器3’被配置为将次级光束b1分为第三次级光束b1’和第四次级光束b1”，前者照射到主成像传感器704上，后者照射到次级成像传感器7040上。关于第二次级光束s2，其具有光路s2，光路s2穿过准直透镜708，由平面镜709转向到作为分频器设备的衍射光栅710，并且在照射到光谱传感器705上之前进一步穿过聚焦透镜711。与前面的实施例一样，相关器c可操作地连接到传感器704和705，以执行由传感器检索的光强数据/信息的相关，但它也可操作地连接到传感器7040。
[0053]
在设备700中，由于空间传感器704与次级空间传感器7040的配对，后者可以用于在不同于聚焦在“主”空间传感器704上的平面的平面上检索物体obj的聚焦图像。该变型允许执行1)通过将主空间传感器704或次级传感器7040上的强度与光谱传感器705上的强度相关联来对两个聚焦平面进行高光谱成像；2)利用“任意平面之间的相关全光成像”原理，通过关联两个空间传感器上的强度进行3d成像，根据这一原理，聚焦两个不同平面的图像的两个传感器上强度波动之间的相关性，可以重建场景中的光方向，提供重新聚焦失焦图像、改变场景上的视点以及执行三维图像重建的可能性；3)通过对所有三个传感器上的信号进行相关，进行高光谱3d成像。在最后一种情况下，根据任意平面之间的相关全光成像原理，将空间传感器704和7040上的每对点中的强度波动的乘积与对应于给定波长的光谱传感器的像素相关联，以获得对应于该特定波长的场景的3d图像。
[0054]
通常，相关器c被配置为操作来自传感器704、7040和705、704和7040(全光相关)、704和705(与先前的实施例一样)、或者7040和705的数据的相关。
[0055]
参考图9，根据本发明的设备的又一个实施例由参考编号800表示。设备800与设备600的某些相似之处在于，它不包括沿着光谱传感器上游的次级光束的光路的单独的分频器设备。相反，如将在下文中公开的，频率相关信息由光谱传感器直接检索。
[0056]
设备800包括聚焦透镜803(其本身可以是采集窗口802)视野中的采集窗口802和从物体obj发出的光束b的光路下游的分束器3。通过分束器3，来自物体obj的初级光束b被
分为具有照射到成像传感器804上的光路s1的第一次级光束b1和具有照射到反射镜810上的光路s2的第二次级光束b2，反射镜810被配置为使光路s2转向通过透镜811并最终到达光谱传感器805。透镜803将物体obj的图像聚焦到分束器3并聚焦到传感器804上(次级光束b1)，而反射镜810和透镜811的组合处理第二次级光束b2以将透镜803的图像(即，由初级光束照射到透镜803上产生的图像)返回到光谱传感器805上，其中图像被去聚焦(即失焦)以向传感器805提供代表从整个物体obj发出的光的次级光束(或次级光信号)，如关于成像系统600所公开的那样。为此，可以设想以下组合：
[0057]-平面镜810和球面透镜811(透镜803在传感器805上的二维图像)
[0058]-凹面镜810和柱面透镜811，该柱面透镜811具有垂直于附图(透镜803在传感器805上的线性图像)，即平行于第二传感器805的平面布置的轴线。
[0059]
成像传感器804和光谱传感器805被设置在单个传感器元件845上，并且对应于传感器元件845的不同敏感区域或元件。在该特定实施例中，成像传感器804对应于传感器元件845的第一区域，而光谱传感器805对应于传感器元件845的与第一区域相邻的第二区域。与先前公开的实施例一样，传感器区域是不相交的，即，设备800的光学布置使得在照射到传感器804、805上的次级光束b1和b2之间不存在交叉。与前面的实施例一样，相关器c可操作地连接到传感器804和805，以执行由传感器检索的光强数据/信息的相关。
[0060]
在这种情况下，专用于光谱测量的传感器区域(传感器区域805)具有像素矩阵(或更一般地，感测元件矩阵)，其中，每个像素(或感测元件)具有在不同频率上达到峰值的光谱灵敏度。同样，这可以通过传感器区域的频率选择性涂层来实现，也可以通过传感器的混合结构来实现，使其包括在特定频率上物理峰值的传感器元件——就光谱灵敏度而言。这省去了单独的分频器设备的使用，因为正是传感器(区域)805以与次级光束b2相关联的信号的频率特定检索的形式执行频率检测。
[0061]
在本文公开的所有实施例1、100、200、300、400、500、600、700、800中，空间传感器4、204、304、404、504、604、704、7040、804可以是图像采集传感器，例如二维ccd、cmos或s-cmos相机，或者甚至是光电二极管阵列，或者spad阵列，而光谱传感器5、205、305、405、505、605、705、805可以是与空间传感器相同的类型，或者是线扫描相机。
[0062]
根据本发明，在本文的所有实施例中，设备1、100、200、300、400、500、600、700、800包括处理单元，该处理单元被配置为通过以下各项之间的相关性度量来检索物体obj的高光谱图像：
[0063]-在与第一次级光束b1的第一光信号相关联的第一传感器4、204、304、404、504、604、704(和7040，在适用的情况下)、804上的空间位置处检索的第一光强信息，第一光强携带关于物体obj的图像的信息，和
[0064]-在与和第一次级光束b1的第一光信号配对的第二次级光束b2的第二光信号相关联的第二传感器5、205、305、405、505、605、705、805上的位置处检索的第二光强，第二光强信息被提供用于由第二传感器5、205、305、405、505、605、705、805检索的频谱信息中的每个频率，
[0065]
相关性度量是在曝光时间内提供的。
[0066]
因此，通过对物体obj的图像的每个空间位置执行相关性度量来获得全高光谱图像，如上所述，每个空间位置通过第一次级光束b1的相应第一次级光信号在第一传感器4、
204、304、404、504、604、704(以及7040，在适用的情况下)、804上的照射来定义。
[0067]
以下描述旨在提供设备1、100、200、300、400、500、600、700、800的操作以及根据本发明的用于高光谱成像的一般方法的全面公开，该方法通过根据本发明在前述公开的任何实施例中的高光谱设备来实现。
[0068]
根据本发明的方法是基于测量强度和之间的相关性，强度和在每对点ρa和ρb上的随后的同时观测(帧)中注册，一个(ρa)在成像传感器4、204、304、404、504、604、704、804上，一个(ρb)在光谱传感器5、205、305、405、505、605、705、805上。点ρa和ρb在图1-5中的每个上被标记。通过相关器c可操作地测量相关性，相关器c是每个高光谱成像设备1、100、200、300、400、500、600、700、800的一部分或连接到每个高光谱成像设备1、100、200、300、400、500、600、700、800。
[0069]
量和分别对应于前面提到的第一光强信息和第二光强信息，并且表示光强在曝光时间δt内的时间平均值。更确切地说，和是光强在曝光时间δt内的时间平均值，分别对应于在次级光束b1和b2末端测量的第一光强和第二光强。假设平均强度(其中j＝a；b)是通过测量持续时间δt的时间窗口内每个点ρj处的光强获得的，为了计算方便，考虑高斯，以下适用，
[0070][0071]
因此，所考虑的物体obj的高光谱图像被编码在以下量中
[0072][0073]
该量对应于强度波动的相关性，其中，《..》表示来自物体obj的光的随机性上的平均值。如果物体obj可以被建模为遍历光源，则该平均值与所收集帧上考虑的量的平均值基本一致。
[0074]
在进一步假设下
[0075]-由物体obj发射的光信号是静止的，即涉及光信号的物理量的期望值不取决于参考时间，
[0076]-由物体obj发射的光具有可忽略的横向相干性并且其波动近似遵循高斯分布，
[0077]
等式(2)中定义的强度波动的相关性为，
[0078][0079]
其中
[0080][0081]
其中τc是与反向频率带宽相对应的观测光的相干时间，ω0是观测光的中心频率，gj(ρj,ρ
obj
；ω)是将与频率ω相对应的电磁场分量从物体的点ρ
obj
传播到传感器/检测器dj上的点ρj的函数，(其中j＝a，b；在这种情况下，da＝传感器4、204、304、404、504、604、704、804，db＝传感器5、205、305、405、505、605、705、805)。乘积
[0082][0083]
是物体的点ρ
obj
上与频率ω相对应的光强分量，方便地分离为宽度的高斯包络和缓慢变化的函数i
obj
。高光谱成像的目标是以精细的频率分辨率来检测物体平面上的所有点的函数i
obj
(ρ
obj
,ω)。
[0084]
用于执行高光谱相关成像的关键假设是，确定次级光束b1的传播的传播子(propagator)ρa需要物体平面上的点和检测器/传感器da上的点之间的几何点对点对应，而传播子ρb，其确定光束b2的传播基本上独立于物点并且在发射带宽中的频率附近达到峰值：
[0085][0086]sobj
作为物体和成像系统的第一主平面之间的距离，常数cb确定向ρb和发射的场的强度。
[0087]
反宽度的频率滤波由gb在特定点操作。
[0088]
考虑到前面讨论的假设，并用其在中心滤波器频率上的值来近似强度的缓慢变化函数，得到以下结果
[0089][0090]
其中
[0091][0092]
对强度分布的期望频率分量的图像进行适当编码。如果光学路径a(即光学路径a(参考图1、图2))上的成像系统的特征在于焦距f和有效孔径p(ρ)，则函数(9)读取
[0093][0094]
上述函数具有强度分布i
obj
的分量的类相干图像的结构，该分量对应于具有由透镜孔径的平面傅立叶变换确定的相干点扩展函数的频率
[0095]
通常，传感器上的一组不同像素可以对应于相同的频率通过对与该频率相对应的所有像素上的测量相关性进行积分，可以利用这种冗余来增加与该频率分量相关联的信噪比。最后，请注意，设备1、100、200、300、400、500、600、700、800可以用于多光谱成像，而不是高光谱成像，通过对光谱传感器/检测器db上的像素集上的相关性进行积分，对应于属于有限间隔(通常宽度≥20nm)的波长。
[0096]
在最一般的情况下，实施例700可以用于测量所有三个传感器704、7040和705之间的相关性，以便获得关于以下方面的同时信息：1)来自物体(即图像)的光的空间分布，2)来
自物体的光的传播方向，以及3)来自物体的光的频谱。三个传感器704、7040和705之间的这种相关性的测量由以下量来描述：
[0097][0098]
其中和是由传感器704上坐标ρa、传感器7040上坐标ρ
′a和传感器705上坐标ρb的像素所测量的强度波动，被计算为曝光时间δt期间获得的强度与平均强度之间的差。
[0099]
量γ
(3)
(ρa，ρ
′a，ρb)，具有变化的ρa和ρ
′a，并且对于对应于特定频率的ρb的每个固定值，包含与该特定频率相对应的场景上的全光信息(即，如在后处理和执行三维成像中重新聚焦图像所需的，对光的空间分布和方向进行编码)。
[0100]
因此，参考实施例1、100、200、300、400、500、600和700(仅限于与704或7040组合的传感器705)所示的所有结果也适用于实施例700的最一般用途，其通过全光信息进一步丰富。本文公开的用于高光谱成像的设备和方法克服了现有技术的技术问题，通过用以下两个高分辨率2d传感器检索的强度(波动)相关性的测量来代替由现有技术方法中的单个高分辨率2d传感器执行的强度测量：一个是成像/空间传感器4、204、304、404、504、604、704、804——专用于多色图像采集，另一个是光谱传感器5、205、305、405、505、605、705、805——专用于纯光谱测量。
[0101]
在高光谱相关成像中，光谱信息被编码为强度相关性，而不需要任何光谱扫描。即使通常需要多次曝光(帧)来重建光统计并执行相关性测量，曝光时间也比扫描方法中所需的时间短若干数量级；此外，在这种多次曝光期间不需要改变设备：这简化了设备1、100、200、300、400、500、600、700、800的光学/光力学机制，并避免了进一步的时间消耗。
[0102]
另一方面，由于空间和光谱信息是由两个不同的传感器检索的，因此在根据本发明的设备和方法中不存在典型的现有技术的(基于强度的)快照高光谱成像的空间与光谱分辨率的权衡。
[0103]
值得强调的是，除了通过相关性测量获得高光谱图像的能力之外，本发明的过程和设备还借助于通过成像(空间)传感器4、204、304、404、504、604、704、804执行的强度测量来检索物体的全分辨率全色图像。
[0104]
更进一步地，本文公开的所有实施例可以被修改为具有全光学成像能力，并相应地增加景深。
[0105]
自然地，虽然本发明的原理保持不变，但是在不脱离本发明的范围的情况下，结构和实施例的细节可以相对于纯粹通过示例的方式描述和说明的内容而广泛变化。

技术特征：
1.一种用于高光谱成像的设备(1；100；200；300；400；500；600；700；800)，包括：-采集窗口(2；202；302；402；502；602；702；802)-分束器(3)，其被配置用于将来自物体(obj)并进入所述采集窗口(2；202；302；402；502；602；702；802)的初级光束(b)分为具有第一光路(s1)并包括多个第一次级光信号的第一次级光束(b1)，以及具有第二光路(s2)并包括多个第二次级光信号的第二次级光束(b2)，-第一传感器(4；204；304；404；504；604；704；804)，其被配置为被所述第一次级光束(b1)入射，-第二传感器(5；205；305；405；505；605；705；805)，其被配置为被所述第二次级光束(b2)入射，其中：-所述第一传感器(4；204；304；404；504；604；704；804)被配置为从所述第一次级光束(b1)检索所述物体(obj)的图像，所述图像包括多个空间位置，每个空间位置由所述第一次级光束(b1)的第一次级光信号在所述第一传感器(4；204；304；404；504；604；704；804)上的入射限定，-所述第二传感器(5；205；305；405；505；605；705；805)被配置为从所述第二次级光束(b2)并且针对所述图像的每个空间位置检索频谱信息，所述设备(1；100；200；300；400；500；600；700；800)还包括处理单元，所述处理单元被配置为通过在以下各项之间的曝光时间(δt)内的相关性度量来检索所述物体(obj)的高光谱图像：-与所述第一次级光束(b1)的第一次级光信号相关联的所述第一传感器(4；204；304；404；504；604；704；804)上的空间位置(ρ
a
)处的第一光强信息，和-与所述第二次级光束(b2)的第二次级光信号相关联的所述第二传感器(5；205；305；405；505；605；705；805)上的位置(ρ
b
)处的第二光强信息，所述第二次级光束(b2)的第二次级光信号与所述第一次级光束的第一次级光信号配对，所述第二光强信息是针对由所述第二传感器(5；205；305；405；505；605；705；805)检索的所述频谱信息中的每个频率提供的。2.根据权利要求1所述的设备(1；100；600；700)，其中，所述第一传感器(4；604；704，7040)和所述第二传感器(5；605；705)是不同的传感器。3.根据权利要求1所述的设备(200；300；400；500；800)，其中，所述第一传感器(204；304；404；504；804)和所述第二传感器(205；305；405；505；805)被设置在单个传感器元件(245；345；445；545；845)上，并且对应于所述传感器元件(245；345；445；545；845)的不同敏感区域或元件。4.根据前述权利要求中任一项所述的设备(1；100；200；300；400；500；700)，还包括分频器设备(6)，其沿着所述第二光路(s2)布置并且被配置为处理所述第二次级光束(b2)，以在与所述第二传感器(5；205；305；405；505；705)相互作用时检索其频率分量，其中，所述分频器设备被配置为在所述第二次级光束入射到所述第二传感器(5；205；305；405；505；705)上之前将所述第二次级光束(s2)分成其频率分量。5.根据权利要求1至3中任一项所述的设备(600；800)，其中，所述第二传感器(605；805)包括感测元件矩阵，其中，每个感测元件具有在不同频率上达到峰值的光谱灵敏度。6.根据权利要求1、3或4中任一项所述的设备(200)，其中，所述采集窗口(202)被布置
成面向第一反射镜(207)，优选地是抛物面镜，其被配置为将来自所述物体(obj)的入射光束(b)反射到偏移镜(208)，所述偏移镜被配置为将所述光束(b)转向到所述分束器(3)，其中，所述第一次级光束(b1)具有穿过成像透镜(210)的第一光路(s1)，而所述第二次级光束(b2)具有穿过准直透镜(211)的第二光路(s2)，所述准直透镜被布置在所述分频器(6)的上游，并且其中，第二反射镜(212)被布置在所述分频器(6)的下游，以将所述第二次级光束(b2)的分频分量转向到所述第二传感器(205)。7.根据权利要求4所述的设备(400)，其中，所述采集窗口(402)在所述分束器(3)的视野中，并且其中，所述第一光路(s1)穿过透镜(407)以终止在所述第一传感器(404)上，并且其中，所述第二光路(s2)穿过所述分频器设备(6)并入射到远场反射镜(408)上，进而被配置为将所述频率分量转向到所述第二传感器(405)。8.根据权利要求4所述的设备(500)，其中，所述第二次级光束(b2)包括入射到准直镜(508)上的光路(s2)，所述准直镜被配置为将所述第二次级光束(b2)转向到所述分频器设备(6)，所述分频器设备进而被配置为将所述第二次级光束(b2)转向到聚焦镜(509)，进而将所述第二次级光束(b2)聚焦到柱面透镜(510)，其中，所述柱面透镜(510)被配置为将每个频带聚焦在一条线上。9.根据权利要求8所述的设备(500)，其中，所述聚焦镜(509)是仅沿与所述透镜(510)的轴线正交的轴线表现出聚焦特性的凹面镜。10.根据权利要求5所述的设备(600)，其中，所述分束器(3)被配置为将所述初级光束(b)分为具有入射到所述成像传感器(604)上的光路s1的第一次级光束(b1)和具有直接入射到所述光谱传感器(605)上的光路(s2)的第二次级光束(b2)。11.根据权利要求1或2所述的设备(700)，包括第二分束器(3’)，其被配置为将所述第一次级光束(b1)分为第三次级光束和第四次级光束(b1’、b1”)，前者被配置为入射到作为主成像传感器(704)的所述第一传感器上，后者被配置为入射到次级成像传感器(7040)上，第二成像传感器被配置为在不同于聚焦在主空间传感器(704)上的平面的平面上检索所述物体(obj)的聚焦图像。12.根据权利要求1、3或5中任一项所述的设备(800)，包括第一聚焦透镜(803)，所述第一聚焦透镜被配置为由所述初级光束(b)入射，其中，所述分束器(3)被配置为将由所述聚焦透镜(803)聚焦的所述初级光束(b)分成入射到所述第一传感器(804)的聚焦的第一次级光束(b1)和聚焦的第二次级光束(b2)，所述第二次级光束(b2)被配置为在通过以下组合中的一个入射到所述第二传感器(805)上之前被去聚焦：-平面镜(810)和球面透镜(811)；-凹面镜(810)和具有平行于所述第二传感器(805)的平面布置的轴线的柱面透镜(811)。13.一种用于高光谱成像的方法，包括：-将初级光束(b)分为(3)包括多个第一次级光信号的第一次级光束(b1)和包括多个第二次级光信号的第二次级光束(b2)，-将所述第一次级光束(b1)引导至第一传感器(4，204，304，404；504；604；704；804)，-将所述第二次级光束(b2)引导至第二传感器(5，205，305，405；505；605；705；805)，
‑
借助于所述第一传感器(4，204，304，404；504；604；704；804)并从所述第一次级光束(b1)检索物体(obj)的图像，所述图像包括多个空间位置，每个空间位置由所述第一次级光束(b1)的相应的第一次级光信号在所述第一传感器(4，204，304，404；504；604；704；804)上的入射限定；-借助于所述第二传感器(5，205，305，405；505；605；705；805)并从所述第二次级光束(b2)检索所述图像的每个空间位置(ρ
a
,ρ
b
)的频谱信息，-通过在以下各项之间的曝光时间(δt)内的相关性度量来检索所述物体(obj)的高光谱图像：-与所述第一次级光束(b1)的第一次级光信号相关联的所述第一传感器(4，204，304，404；504；604；704；804)上的空间位置(ρ
a
)处的第一光强信息(i
a
(ρ
a
))，和-与所述第二次级光束(b2)的第二次级光信号相关联的所述第二传感器(5，205，305，405，505，605，705，805)上的位置(ρ
b
)处的第二光强信息(i
b
(ρ
b
))，所述第二次级光束(b2)的第二次级光信号与所述第一次级光束(b1)的第一次级光信号配对，所述第二光强信息是针对由所述第二传感器(5，205，305，405，505，605，705，805)检索的所述频谱信息中的每个频率提供的。14.根据权利要求13所述的方法，其中，所述第一传感器(204；304；404；504；804)和所述第二传感器(205；305；405；505；805)被设置在单个传感器元件(245；345；445；545；845)上，并且对应于所述传感器元件(245；345；445；545；845)的不同敏感区域或元件。15.根据权利要求13或权利要求14所述的方法，包括在入射到所述第二传感器(5，205，305，405，505，705)之前将所述第二次级光束(b2)分成其频率分量。16.根据权利要求13所述的方法，其中，所述第二传感器(605；805)包括感测元件矩阵，其中，每个感测元件具有在不同频率上达到峰值的光谱灵敏度。17.根据权利要求13所述的方法，还包括：-将所述第一次级光束(b1)分为第三次级光束和第四次级光束(b1’、b1”)；-将所述第三次级光束(b1’)引导至所述第一传感器(704)，并将所述第四次级光束(b1”)引导至另一传感器(7040)，所述另一传感器被配置用于检索所述物体(obj)的图像，以及-通过所述另一传感器(7040)检索所述物体(obj)在平面上的图像，所述平面不同于所述第一传感器(704)从中检索数据的平面。

技术总结
本文公开了一种高光谱成像设备(1，100，200，300，400；500；600；700；800)和方法。本文公开的用于高光谱成像的设备和方法通过用由以下两个高分辨率2D传感器检索的强度(波动)相关性的测量来代替由现有技术方法的单个高分辨率2D传感器执行的强度测量，克服了现有技术的技术问题：一个是专用于多色图像采集的成像/空间传感器(4，204，304，404；504；604；704；804)，另一个是专用于纯光谱测量的光谱传感器(5，205，305，405；505；605；705；805)。在根据本发明的高光谱相关成像中，光谱信息被编码为强度相关性，而不需要任何光谱扫描。即使通常需要多次曝光(帧)来重建光统计并执行相关性测量，曝光时间也比扫描方法中所需的时间短若干数量级；此外，在这种多次曝光期间不需要改变设备：这简化了设备(1，100，200，300，400；500；600；700；800)的光学/光力学机制，并避免了进一步的时间消耗。一步的时间消耗。一步的时间消耗。


技术研发人员：米莱娜
受保护的技术使用者：巴里大学
技术研发日：2020.12.17
技术公布日：2023/8/28