一种基于显微镜的实时三维视觉成像系统的制作方法

1.本发明涉及显微镜成像技术领域，尤其涉及一种基于显微镜的实时三维视觉成像系统。


背景技术：

2.显微镜是一种用于观察微小物体的光学仪器，广泛应用于生物学、医学、材料科学等领域。在显微镜下观察样本时，由于样本的三维结构无法直接观察，只能观察物体微观平面特征，容易因错觉引起判断出错，所以需要进行三维成像，以获得更全面、准确的信息。
3.目前，已有许多基于显微镜的三维视觉成像技术。其中，一些方法利用多张二维图像进行三维成像，但这种方法需要大量的计算资源和时间，并且易受到噪声和失真的影响。另一些方法使用光学切片技术，但这种方法需要对样本进行物理切片，可能导致样本损伤和信息丢失。这些方法不但没有准确还原三维信息，还只能局限于静态样品的观察。


技术实现要素：

4.本发明的目的在于提供一种基于显微镜的实时三维视觉成像系统，能够在不损伤样本的情况下，快速、准确、实时地进行三维成像，直接让观察者看到样品的实时立体视频，以解决上述现有技术问题的至少之一。
5.本发明提供了一种基于显微镜的实时三维视觉成像系统，所述系统具体包括：
6.图像采集模块，用于构建形成夹角的第一光路和第二光路，调节所述第一光路和所述第二光路的水平成像范围和夹角大小，采集通过所述第一光路的原始图像数据和所述第二光路的原始图像数据；
7.图像实时传输模块，用于对所述第一光路的原始图像数据和所述第二光路的原始图像数据分别添加第一标识和第二标识，并均转换为压缩图像数据后进行传输解码，将所述压缩图像数据解压为rgb图像数据；
8.图像处理模块，用于对所述rgb图像数据进行几何校准、色度校准和视觉调节，然后提取所述rgb图像数据中所述第一光路的图像和所述第二光路的图像之间的重叠区域图像；
9.三维图像成像模块，用于把经实时三维图像处理后的所述第一光路及所述第二光路的视频以时分及空分形式有序转换成光信号后输出并送入人的左眼及右眼，从而在大脑产生视角差，融合成像产生实时三维视觉。
10.进一步的，所述图像采集模块包括显微镜光路成像单元、可视化光路校准单元、三维融深调整单元和摄像头图像采集单元，所述显微镜光路成像单元包括形成夹角的第一光路和第二光路；
11.所述构建形成夹角的第一光路和第二光路，调节所述第一光路和所述第二光路的水平成像范围和夹角大小，采集通过所述第一光路和所述第二光路的原始图像数据，具体包括：
12.根据所述可视化光路校准单元调节所述第一光路和所述第二光路的水平成像范围，根据所述三维融深调整单元调节所述第一光路和所述第二光路之间的夹角大小；
13.所述摄像头图像采集单元包括均基于感光芯片的第一摄像头和第二摄像头，根据所述第一摄像头采集通过所述第一光路的原始图像数据，根据所述第二摄像头采集通过所述第二光路的原始图像数据。
14.进一步的，所述图像实时传输模块包括图像编码处理单元、图像数据收发单元和图像解码处理单元；
15.所述对所述第一光路的原始图像数据和所述第二光路的原始图像数据分别添加第一标识和第二标识，并均转换为压缩图像数据后进行传输解码，将所述压缩图像数据解压为rgb图像数据，具体包括：
16.根据所述图像编码处理单元接收所述第一光路的原始图像数据和所述第二光路的原始图像数据，并将所述原始图像数据转换为压缩图像数据；
17.为所述压缩图像数据中所述第一光路的图像数据封装包头部信息添加第一标识及第一夹角数据，为所述压缩图像数据中所述第二光路的图像数据封装包头部信息添加第二标识和第二夹角数据，所述第一夹角数据及所述第二夹角数据为第一光路和第二光路形成的夹角数据；
18.根据所述图像数据收发单元接收所述图像编码处理单元传输来的所述压缩图像数据，然后将所述压缩图像数据实时发送至所述图像解码处理单元；
19.根据所述图像解码处理单元通过yuv转rgb算法和色彩插值算法将所述压缩图像数据转换为rgb图像数据。
20.更进一步的，所述通过yuv转rgb算法和色彩插值算法将所述压缩图像数据转换为rgb图像数据，具体包括：
21.根据yuv转rgb公式将所述压缩图像数据转换为rgb图像数据，所述yuv转rgb公式满足r＝y+1.402*(v-128)，g＝y-0.344136*(u-128)-0.714136*(v-128)，b＝y+1.772*(u-128)，其中，y表示压缩图像的亮度信息，u和v表示压缩图像的颜色差异信息，r、g和b表示rgb图像的颜色值；
22.获取所述rgb图像数据中的所有颜色缺失点，确定每个颜色缺失点的上下左右四个已知颜色数据点；
23.将每个颜色缺失点的上下左右四个已知颜色数据点分别与当前颜色缺失点之间的距离的倒数作为权重；
24.将每个颜色缺失点的上下左右四个已知颜色数据点各自的所述权重与各自的rgb颜色值进行加权平均计算，获得每个颜色缺失点的颜色值。
25.进一步的，所述图像处理模块包括几何校准单元、色度校准单元、视觉调节单元和融图区域提取单元；
26.所述对所述rgb图像数据进行几何校准、色度校准、视觉调节，然后提取所述rgb图像数据中所述第一光路的图像和所述第二光路的图像之间的重叠区域图像，具体包括：
27.根据几何校准单元通过边沿搜索图像算法确定所述rgb图像数据中具有所述第一标识的图像数据的第一正方形图像和具有所述第二标识的第二正方形图像各自的四个角的坐标，然后利用梯形校准算法将所述第一正方形图像和所述第二正方形图像分别校准为
第一标准正方形图像和第二标准正方形图像；
28.使所述第一标准正方形图像和所述第二标准正方形图像做放大处理或缩小处理并达到面积相同；
29.根据所述色度校准单元分别通过色彩校正矩阵和伽马变换算法校准所述rgb图像数据的色度响应和所述rgb图像数据的光强度响应；
30.根据所述视觉调节单元调节所述rgb图像数据的亮度、对比度、曝光时间和白平衡；
31.根据融图区域提取单元提取所述第一标准正方形图像和所述第二标准正方形图像之间的重叠区域图像。
32.更进一步的，所述通过边沿搜索图像算法确定所述rgb图像数据中具有所述第一标识的图像数据的第一正方形图像和具有所述第二标识的第二正方形图像各自的四个角的坐标，具体包括：
33.获取所述rgb图像数据中具有所述第一标识的图像数据的第一正方形图像和具有所述第二标识的第二正方形图像；
34.根据canny边缘检测算法确定所述第一正方形图像的边缘像素和所述第二正方形图像的边缘像素；
35.根据8邻域连接算法检测每个边缘像素的周围8个邻域像素的强度，确定所述第一正方形图像和所述第二正方形图像各自的起点边缘像素；
36.从所述起点边缘像素沿着边缘方向移动，记录每个边缘像素的像素坐标；
37.基于每个边缘像素的像素坐标，根据角点检测算法确定所述第一正方形图像的四个角的坐标和所述第二正方形图像的四个角的坐标。
38.更进一步的，所述利用梯形校准算法将所述第一正方形图像和所述第二正方形图像分别校准为第一标准正方形图像和第二标准正方形图像，具体包括：
39.确定第一标准正方形图像的目标尺寸和第二标准正方形图像的目标尺寸；
40.根据所述第一标准正方形图像和所述第二标准正方形图像各自的所述目标尺寸和四个角的坐标，分别确定第一透视变换矩阵和第二透视变换矩阵；
41.根据所述第一透视变换矩阵，将所述第一正方形图像校准为所述第一标准正方形图像；
42.根据所述第二透视变换矩阵，将所述第二正方形图像校准为所述第二标准正方形图像。
43.更进一步的，所述分别通过色彩校正矩阵和伽马变换算法校准所述rgb图像数据的色度响应和所述rgb图像数据的光强度响应，具体包括：
44.设置色彩校正矩阵；
45.获取所述rgb图像数据的颜色通道数据，将所述rgb图像数据的颜色通道数据与所述色彩校正矩阵相乘，获得校正后的所述rgb图像数据的颜色；
46.设置伽马值，使所述伽马值的范围处于0.5到2.5之间；
47.基于所述伽马变换公式，将所述rgb图像数据的每个像素的每个颜色通道的输入像素值进行伽马变换，获得校正后的所述rgb图像数据的光强度响应，所述伽马变换公式满足y＝x
1/γ
，其中，y表示输出像素值，x表示输入像素值，γ表示伽马值。
48.更进一步的，所述调节所述rgb图像数据的亮度、对比度、曝光时间和白平衡，具体包括：
49.当所述rgb图像数据的光线不足时，通过将所述rgb图像数据的每个像素的rgb分量值加上固定增量值，增加所述所述rgb图像数据的亮度；
50.当所述rgb图像数据的光反射率高时，通过将所述rgb图像数据的每个像素的rgb分量值加上固定减量值，减少所述所述rgb图像数据的亮度；
51.基于直方图均衡化的变换算法，通过调节所述rgb图像数据的灰度级均匀分布程度，增强所述rgb图像数据的对比度；
52.当所述图像采集模块在强光环境下采集所述原始图像数据时，通过采用单帧图像采集或有限帧图像叠加来控制所述rgb图像数据的像素强度，模拟缩短曝光时间效果；
53.当所述图像采集模块在弱光环境下采集所述原始图像数据时，通过采用多帧图像叠加来控制所述rgb图像数据的像素强度，模拟延长曝光时间效果；
54.获取所述rgb图像数据的灰度参考点，将所述灰度参考点的rgb分量平均值作为参考颜色；
55.计算所述rgb图像数据的每个像素的rgb分量与所述参考颜色的rgb分量之间的绝对值差异或距离度量差异，根据所述绝对值差异或距离度量差异确定所述rgb图像数据的每个像素的需调整强度比例；
56.根据所述需调整r、g、b三基色的强度比例，调节所述rgb图像数据的每个像素的白平衡。
57.进一步的，所述三维图像成像模块包括三维图像格式转换单元、三维图像输出单元和三维图像接收单元；
58.把经实时三维图像处理后的所述第一光路及所述第二光路的视频以时分及空分形式有序转换成光信号后输出并送入人的左眼及右眼，从而在大脑产生视角差，融合成像产生实时三维视觉，具体包括：
59.根据所述三维图像格式转换单元通过帧交叉内插法将所述第一光路的图像和所述第二光路的图像编织成单一的、实时的三维图像视频流；
60.根据所述三维图像输出单元接收所述三维图像视频流，并将所述三维图像视频流以时分及空分形式有序转换成光信号输出后并送入人的左眼及右眼，从而在大脑产生视角差，融合成像产生实时三维视觉。
61.与现有技术相比，本发明具有以下技术效果的至少之一：
62.1、能够在不损伤样本的情况下，快速、准确、实时地进行三维成像，直接让观察者看到样品的实时立体视频，从而更真实地观测物体，使观察对象从静态样品扩展到动态样品，以满足科学研究和实际应用的需要。
63.2、系统具备图像处理模块，对采集的rgb图像数据进行几何校准、色度校准和视觉调节，能够提高图像的质量和一致性，增强观察效果。
64.3、系统利用帧内插法将来自第一光路和第二光路的图像编织成单一的、实时的三维图像视频流，并通过光信号输出，能够快速处理和输出实时的三维图像视频流，实现实时观察和分析。
附图说明
65.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
66.图1是本发明实施例提供的一种基于显微镜的实时三维视觉成像系统第一原理架构图；
67.图2是本发明实施例提供的一种基于显微镜的实时三维视觉成像系统第二原理架构图；
68.图3是本发明实施例提供的一种基于显微镜的实时三维视觉成像系统的图像采集模块的结构示意图。
具体实施方式
69.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
70.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
71.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
72.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0073]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0074]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0075]
参照图1和图2，本发明实施例提供了一种基于显微镜的实时三维视觉成像系统，所述系统具体包括：
[0076]
图像采集模块，用于构建形成夹角的第一光路和第二光路，调节所述第一光路和所述第二光路的水平成像范围和夹角大小，采集通过所述第一光路的原始图像数据和所述第二光路的原始图像数据；
[0077]
图像实时传输模块，用于对所述第一光路的原始图像数据和所述第二光路的原始图像数据分别添加第一标识和第二标识，并均转换为压缩图像数据后进行传输解码，将所述压缩图像数据解压为rgb图像数据；
[0078]
图像处理模块，用于对所述rgb图像数据进行几何校准、色度校准和视觉调节，然后提取所述rgb图像数据中所述第一光路的图像和所述第二光路的图像之间的重叠区域图像；
[0079]
三维图像成像模块，用于把经实时三维图像处理后的所述第一光路及所述第二光路的视频以时分及空分形式有序转换成光信号后输出并送入人的左眼及右眼，从而在大脑产生视角差，融合成像产生实时三维视觉。
[0080]
在一些实施例中，所述构建形成夹角的第一光路和第二光路，调节所述第一光路和所述第二光路的水平成像范围和夹角大小，采集通过所述第一光路和所述第二光路的原始图像数据，具体包括：
[0081]
所述图像采集模块包括显微镜光路成像单元、可视化光路校准单元、三维融深调整单元和摄像头图像采集单元，所述显微镜光路成像单元包括形成夹角的第一光路和第二光路；
[0082]
根据所述可视化光路校准单元调节所述第一光路和所述第二光路的水平成像范围，根据所述三维融深调整单元调节所述第一光路和所述第二光路之间的夹角大小；
[0083]
所述摄像头图像采集单元包括均基于感光芯片的第一摄像头和第二摄像头，根据所述第一摄像头采集通过所述第一光路的原始图像数据，根据所述第二摄像头采集通过所述第二光路的原始图像数据。
[0084]
该实施例中，图像采集模块的结构可以是基于伽利略的光学成像系统或基于格里诺的光学成像系统，特点都是对同一样品有两路形成夹角的光路，也具备切换物镜以及调节聚焦景深的能力，适合观察不同放大倍率及不同纵向深度。由于三维成像原理是人眼观察样品时左、右眼分别看到样品的视角差在大脑融合成像产生三维视觉，所以显微镜光路成像单元包括第一光路和第二光路，参照图3，a点位置的样品被白光光源照射后反射光同时进入两条显微镜光路组件，并在b1及b2点观看时形成被放大样品的虚像。在b1及b2点分别放置1台摄像头，用于对样品虚像的数字化图像采样。
[0085]
可视化光路校准单元12用于调节两条光路水平成像范围，使b1、b2摄像头能采集到样品最大成像区域范围的同时，也能使两个成像区域的边沿对齐，具备水平平移两条光路功能的同时，保证所形成的夹角不变，以得到最大可视区域的图像。先在a点的样品摆放盘放置一张白纸，然后在图像采集点发射不同颜色的光。在b1点发红光，在b2点发绿光。由于光路的可逆的，所以在白纸上会看到在两路重叠光的区域为黄光。调节光路校准装置使黄光区域最大，就实现了最大可视化校准。
[0086]
三维融深调整单元13用于动态调节两条光路所形成的夹角，从而调节三维成像的深度视觉效果，夹角越大凹凸深浅效果越大，夹角越小凹凸深浅效果就越少。
[0087]
摄像头图像采集单元由包含感光芯片的摄像装置组成，可以为基于ccd或cmos的感光芯片的摄像头，分别安装在b1及b2两处。感光芯片输出原始的rgb或yuv图像数据，以数字信号的方式发送到图像实时传输模块。
[0088]
在一些实施例中，所述图像实时传输模块包括图像编码处理单元、图像数据收发
单元和图像解码处理单元；
[0089]
所述对所述第一光路的原始图像数据和所述第二光路的原始图像数据分别添加第一标识和第二标识，并均转换为压缩图像数据后进行传输解码，将所述压缩图像数据解压为rgb图像数据，具体包括：
[0090]
根据所述图像编码处理单元接收所述第一光路的原始图像数据和所述第二光路的原始图像数据，并将所述原始图像数据转换为压缩图像数据；
[0091]
为所述压缩图像数据中所述第一光路的图像数据封装包头部信息添加第一标识及第一夹角数据，为所述压缩图像数据中所述第二光路的图像数据封装包头部信息添加第二标识和第二夹角数据，所述第一夹角数据及所述第二夹角数据为第一光路和第二光路形成的夹角数据；
[0092]
根据所述图像数据收发单元接收所述图像编码处理单元传输来的所述压缩图像数据，然后将所述压缩图像数据实时发送至所述图像解码处理单元；
[0093]
根据所述图像解码处理单元通过yuv转rgb算法和色彩插值算法将所述压缩图像数据转换为rgb图像数据。
[0094]
该实施例中，图像编码处理单元接收图3的摄像头b1、b2的两路实时图像信号，该信号为未经编码压缩的原始rgb或yuv数据，当图像分辨率高时，原始图像数据量大，图像收、发处理时间长，特别是显微镜采集系统为无线传输时，显然不适合实时图像传输。为了让图像信号高速实时传送到下一级模块，需要对原始图像作编码压缩处理，以减少图像数据传输流量，达到实时还原原始图像动态目的。同时，图像编码处理单元也会对两路不同图像数据打上不同的标签，并嵌入两光路夹角信息以便后续的三维融深提取使用。因为实时的图像传输实际就是实时视频传输，可以采用mjpg，h.264等高压缩率、低图像损失的视频压缩方式，并在来自b1摄像头的图像数据封装包头部信息中加入“b1”标识(即第一标识，下同)和夹角数据，在来自b2摄像头的图像数据封装包头部信息中加入“b2”标识(即第二标识，下同)和一样的夹角数据，以区分两路独立图像的同时也传输实时夹角数据。压缩算法运行在嵌入式计算机或桌面计算机上，以提高运算速度。
[0095]
图像数据收发单元负责图像传输环节，可以是有线或无线数据传输，目的是把已编码压缩的实时图像数据可靠无误地发送到图像解码处理单元。图像数据收发单元包括采集设备及接收设备，采集设备及接收设备可以通过宽带数据线连接，例如usb3.0协仪或基于1000base-t的有线连接，这时接收设备为支持usb3.0或千兆网卡的嵌入式计算机或桌面计算机。也可通过基于802.11x wifi标准或3gpp 5g标准等无线移动通信方式进行连接，这时接收设备为wifi网卡或5g信号接收网卡的嵌入式计算机或桌面计算机。
[0096]
图像解码处理单元接收图像数据收发单元的已编码图像信号，这时需要对应原图像编码方式做相应的解码处理，以还原出原始图像数据，并解析出各路图像数据标签和夹角信息，用于下一级的像素级别的数字图像处理。将接收到的两路已压缩数字图像以原压缩方式(mjpg或h.264)还原为压缩前原始格式。为了方便后续的数字图像处理，图像解码会通过yuv转rgb算法以及色彩插值算法把图像数据转换为rgb格式，使图像中每个像素分别由r、g、b三基色数据组成。同时也解析出两路各自的图像标识“b1”、“b2”以及夹角数据，一起传输到下级数字图像处理子系统进行视觉效果调节。
[0097]
在一些实施例中，所述通过yuv转rgb算法和色彩插值算法将所述压缩图像数据转
换为rgb图像数据，具体包括：
[0098]
根据yuv转rgb公式将所述压缩图像数据转换为rgb图像数据，所述yuv转rgb公式满足r＝y+1.402*(v-128)，g＝y-0.344136*(u-128)-0.714136*(v-128)，b＝y+1.772*(u-128)，其中，y表示压缩图像的亮度信息，u和v表示压缩图像的颜色差异信息，r、g和b表示rgb图像的颜色值；
[0099]
获取所述rgb图像数据中的所有颜色缺失点，确定每个颜色缺失点的上下左右四个已知颜色数据点；
[0100]
将每个颜色缺失点的上下左右四个已知颜色数据点分别与当前颜色缺失点之间的距离的倒数作为权重；
[0101]
将每个颜色缺失点的上下左右四个已知颜色数据点各自的所述权重与各自的rgb颜色值进行加权平均计算，获得每个颜色缺失点的颜色值。
[0102]
该实施例中，yuv是一种将亮度(y)和色度(u、v)分离的颜色编码方式。要将yuv图像数据转换为rgb图像数据，可以按照以下步骤进行：
[0103]
第一，对于每个像素，获取y、u和v的值。这些值通常以整数形式存储在压缩图像数据中。
[0104]
第二，对于y分量，将其视为灰度亮度值。这是因为y分量表示图像的亮度信息，而u和v分量表示颜色差异信息，对应于蓝色和红色之间的颜色偏移。
[0105]
第三，对于u和v分量，需要进行范围调整。在常用的yuv编码中，u和v的取值范围为0-255，但在转换为rgb时，需要将其范围调整为-128至127。这是因为在yuv编码中，u和v分量的取值范围被偏移了128个单位，以便将其平移到-128至127的范围内，以便与rgb颜色空间的范围匹配。
[0106]
第四，使用转换公式将y、u和v的值计算为rgb值：
[0107]
r＝y+1.402*(v-128)
[0108]
g＝y-0.344136*(u-128)-0.714136*(v-128)
[0109]
b＝y+1.772*(u-128)
[0110]
这些转换公式是基于itu-r bt.601标准(也称为sdtv标准)和itu-r bt.709标准(也称为hdtv标准)推导得出的。它们是经验公式，用于将yuv颜色空间转换为rgb颜色空间。在计算rgb值时，要确保r、g和b的值在0-255之间，如果计算得到的值超出了这个范围，将其限制在0-255之间。
[0111]
同时，由于压缩图像数据通常以某种方式对颜色信息进行了降采样，即减少了颜色数据的数量，因此可以将色彩插值算法用于在转换为rgb图像数据时恢复这些丢失的颜色信息，可按照以下步骤进行：
[0112]
第一，对于每个缺失的颜色数据点，确定其周围已知颜色数据点。通常，可以使用邻近像素或更复杂的方法来确定已知颜色数据点的选择。最常见的方法是选择周围的四个已知颜色数据点(上、下、左、右)或八个已知颜色数据点(上、下、左、右、左上、左下、右上、右下)。
[0113]
第二，使用周围颜色数据点的权重平均计算缺失点的颜色值。距离缺失点越近的已知颜色点权重越高，通常使用距离作为权重。比如使用距离的倒数作为权重，使得距离越近的点权重越高。
[0114]
第三，使用已知点的颜色值和对应的权重进行加权平均，计算缺失点的颜色值。例如，对于rgb颜色分量，分别计算r、g和b的加权平均。
[0115]
第四，重复上述步骤，直到所有缺失点都得到了插值的颜色值。
[0116]
在一些实施例中，所述图像处理模块包括几何校准单元、色度校准单元、视觉调节单元和融图区域提取单元；
[0117]
所述对所述rgb图像数据进行几何校准、色度校准、视觉调节，然后提取所述rgb图像数据中所述第一光路的图像和所述第二光路的图像之间的重叠区域图像，具体包括：
[0118]
根据几何校准单元通过边沿搜索图像算法确定所述rgb图像数据中具有所述第一标识的图像数据的第一正方形图像和具有所述第二标识的第二正方形图像各自的四个角的坐标，然后利用梯形校准算法将所述第一正方形图像和所述第二正方形图像分别校准为第一标准正方形图像和第二标准正方形图像；
[0119]
使所述第一标准正方形图像和所述第二标准正方形图像做放大处理或缩小处理并达到面积相同；
[0120]
根据所述色度校准单元分别通过色彩校正矩阵和伽马变换算法校准所述rgb图像数据的色度响应和所述rgb图像数据的光强度响应；
[0121]
根据所述视觉调节单元调节所述rgb图像数据的亮度、对比度、曝光时间和白平衡；
[0122]
根据融图区域提取单元提取所述第一标准正方形图像和所述第二标准正方形图像之间的重叠区域图像。
[0123]
该实施例中，由于两条光成像路径不同，分别经过不同的透镜成像，所型成的图像在几何形状方面不会完全一样，主要表现为单路图像的梯形失真以及两路图像大小不一致。这会影响样品观测精确性的同时，也影响后续的三维融图错位效果。所以通过几何校准单元分别对两路图像作实时的梯形校准及大小一致性校准。
[0124]
几何校准单元实现对两路光路系统之间的物理偏差的像素级别校准，消除两路图像的几何形状偏差和大小偏差，使两路图像像素级别重合，以实现最理想的三维融图效果。首先把带正方形图形的模板放在样品摆放盘，标别出标识为“b1”的实时图像，利用边沿搜索图像算法识别出正方形四个角的坐标。接着标别出标识为“b2”的实时图像，也利用边沿搜索图像算法识别出另一路图像正方形四个角的坐标。因为光路系统的物理偏差，所采样的图形实际不是标准的正方形，而是梯形。所以利用梯形校准算法根据所识别到的四个角的坐标，校准为标准正方形的图像。同时根据两组4角坐标计算出两图像中正方形的面积，把面积小的那一路图像做放大处理，以达到两图像中的正方形面积一样。这样消除了两路图像梯形变形的影响的同时消除了放大倍率的偏差，达到两路图像像素级别重合的目的。
[0125]
由于图像采集模块一般由cmos图像传感器组成，色度采集会存在偏差，直接还原会使人眼观察到的颜色与样品实物颜色不完全相同，所以需要进一步的色度校准处理，基于人眼的色度敏感曲线来还原实际颜色，进一步保证样品观测精确性。色度校准包括色彩校准和伽马校准两个过程，色彩校准主要是补偿ccd或cmos图像传感器的光谱响应，使输出的rgb数据颜色符合人眼的光谱响应曲线，将原始图像的rgb数据与色彩校正矩阵做线性变换，得到校准后的rbg数据。而伽马校准作用是补偿图像传感器的光强度响应，通过伽马变换算法把线性响应曲线变换为伽马指数响应，使3d图像输出装置33的光强度响应与人眼的
光强度响应一致，从而还原真实样品的色彩和亮度信息。
[0126]
视觉调节单元提供多种可调节视觉参数，来适应不同光反射率的样品，突出想要的特定视觉效率。包含亮度、对比度、白平衡以及曝光时间等调节参数，像传统照相机一样通过这些视觉参数调节还原出不同视觉效果的图像，满足不同视觉效果观测样品不同特性的需求。视觉调节是基于像素级别的最后阶段数字图像处理过程。为了适应不同样品的光反射率及突出样品的不同特征，提供了亮度、对比度、白平衡以及曝光时间的调节功能。亮度调节对rgb三基色的强度作数值上的提高或降低处理，适合光线不足或光反射率高的样品。对比度调节能提高颜色动态范围，使明暗更加分明。可以采用基于直方图均衡化的变换算法实现。至于曝光时间调节是基于不同光源环境来缩短或延长图像采集时间来实现。对于强光环境下，只采用单帧图像采集或有限帧图像叠加控制像素强度，而在弱光环境下，采用多帧图像叠加实现像素强度增强。还有自动白平衡调节，是为了适应不同色调的光源环境下自动调节rgb强度比例，实现理想白光源环境下的反射效果。
[0127]
最后，图像处理模块通过从融图区域提取单元采集到的角度信息，自动计算出两路图像完全重合的三维融图区域，切割掉两侧非融图区域，使人眼只观察到实际有三维成像效果的图像区域，避免受两侧的非融图区域影响产生视觉混乱。融图区域提取实际上是一个图像切割过程。根据两光路形成的夹角数据，计算出实际的重叠图像区域。因为夹角调节只是图像水方向调节，所以两图像的垂直方向重叠区域不会改变，只有水平方向的图像重叠区域改变。夹角越小，水平方向图像重叠区域越大，夹角越大，水平方向图像重叠区域则越小。这可以通过预先测量好的夹角与重叠区域长度(以像素为单位)之间的对应关系数据，形成一张查找表，实时根据夹角查找到对应的重叠区域长度。这样把标识为左图像“b1”左边没有重叠的区域裁剪掉，同时也把标识为右图像“b2”的右边没有重叠的区域裁剪掉。剩余重叠的有效图像区域，再传递到三维图像成像模块。
[0128]
以上视觉处理在基于linux或windows操作系统的嵌入式计算机或桌面计算机上实现，通过open cv的数字图像处理函数库实现。
[0129]
在一些实施例中，所述通过边沿搜索图像算法确定所述rgb图像数据中具有所述第一标识的图像数据的第一正方形图像和具有所述第二标识的第二正方形图像各自的四个角的坐标，具体包括：
[0130]
获取所述rgb图像数据中具有所述第一标识的图像数据的第一正方形图像和具有所述第二标识的第二正方形图像；
[0131]
根据canny边缘检测算法确定所述第一正方形图像的边缘像素和所述第二正方形图像的边缘像素；
[0132]
根据8邻域连接算法检测每个边缘像素的周围8个邻域像素的强度，确定所述第一正方形图像和所述第二正方形图像各自的起点边缘像素；
[0133]
从所述起点边缘像素沿着边缘方向移动，记录每个边缘像素的像素坐标；
[0134]
基于每个边缘像素的像素坐标，根据角点检测算法确定所述第一正方形图像的四个角的坐标和所述第二正方形图像的四个角的坐标。
[0135]
该实施例中，使用canny边缘检测算法对图像进行边缘检测，得到图像中的边缘信息。这可以通过调用适当的图像处理库或使用自定义的边缘检测算法来实现。
[0136]
对于每个边缘像素，检查其相邻像素的位置和强度，以确定是否为边缘的起点。可
以使用特定的边缘连接算法(如8邻域连接)来跟踪边缘。比如，对于每个边缘像素，检查其相邻像素的位置和强度，以确定是否为边缘的起点。可以使用8邻域连接算法，即检查当前像素周围8个邻域像素的强度来判断是否为边缘的一部分。
[0137]
然后，计算每个像素的梯度幅值和方向。可以使用sobel算子或其他梯度算子来计算梯度信息。从起点像素开始，沿着梯度方向移动，并选择下一个像素作为当前像素的邻域。通常，选择具有最大梯度幅值的邻域像素。继续沿着边缘方向移动，直到到达边缘的结束点或无法继续移动为止。期间，记录沿边缘的像素坐标。
[0138]
接着，根据边缘的拓扑结构和形状，确定正方形图像的四个角的位置，如使用harris角点检测或shi-tomasi角点检测边缘的交点或变化明显的转折点作为角点。
[0139]
1、harris角点检测的实现步骤
[0140]
1.1、计算图像的梯度：使用sobel算子或其他梯度算子计算图像的水平和垂直梯度。
[0141]
1.2、计算梯度的乘积：对每个像素，计算水平和垂直梯度的乘积。
[0142]
1.3、计算局部自相关矩阵：对于每个像素，通过对乘积图像应用高斯窗口函数来计算局部自相关矩阵。
[0143]
1.4、计算角点响应函数：对于每个像素，使用harris响应函数，计算其角点响应函数值，获得角点响应函数图像，所述harris响应函数：
[0144]
r＝det(m)-k*trace(m)2[0145]
其中，r为角点响应函数值，m为局部自相关矩阵，det(m)为其行列式，trace(m)为其路迹，k为常数(通常取较小的值)。
[0146]
1.5、非极大值抑制：对角点响应函数图像进行非极大值抑制，保留局部极大值点作为候选角点。
[0147]
1.6、阈值处理：根据设定的阈值，将角点响应函数图像进行阈值处理，将大于阈值的候选角点确定为最终的角点。
[0148]
2、shi-tomasi角点检测算法的实现步骤
[0149]
2.1、计算图像的梯度：使用sobel算子或其他梯度算子计算图像的水平和垂直梯度。
[0150]
2.2、计算每个像素的角点响应函数值：对于每个像素，使用shi-tomasi响应函数，计算其角点响应函数值，获得角点响应函数图像，所述shi-tomasi响应函数满足：
[0151]
r＝min(λ1,λ2)
[0152]
其中，r为角点响应函数值，λ1和λ2为局部自相关矩阵的特征值。
[0153]
2.3、非极大值抑制：对角点响应函数图像进行非极大值抑制，保留局部极大值点作为候选角点。
[0154]
2.4、阈值处理：根据设定的阈值，将角点响应函数图像进行阈值处理，将大于阈值的候选角点确定为最终的角点。
[0155]
在一些实施例中，所述利用梯形校准算法将所述第一正方形图像和所述第二正方形图像分别校准为第一标准正方形图像和第二标准正方形图像，具体包括：
[0156]
确定第一标准正方形图像的目标尺寸和第二标准正方形图像的目标尺寸；
[0157]
根据所述第一标准正方形图像和所述第二标准正方形图像各自的所述目标尺寸
和四个角的坐标，分别确定第一透视变换矩阵和第二透视变换矩阵；
[0158]
根据所述第一透视变换矩阵，将所述第一正方形图像校准为所述第一标准正方形图像；
[0159]
根据所述第二透视变换矩阵，将所述第二正方形图像校准为所述第二标准正方形图像。
[0160]
该实施例中，首先确定第一标准正方形图像和第二标准正方形图像的目标尺寸，通常是一个固定的正方形尺寸。
[0161]
然后根据目标尺寸和确定的角点坐标，计算出第一透视变换矩阵和第二透视变换矩阵，比如使用opencv库的cv2.getperspectivetransform函数计算第一透视变换矩阵和第二透视变换矩阵。透视变换矩阵描述了如何将原始图像的角点映射到目标尺寸的正方形图像中。
[0162]
接着，使用计算得到的透视变换矩阵，将第一、正方形图像和第二、正方形图像进行透视变换，使其校准为目标尺寸的正方形图像，可以使用opencv库中的cv2.warpperspective函数进行透视变换。
[0163]
最后，得到了第一标准正方形图像和第二标准正方形图像。
[0164]
在一些实施例中，所述分别通过色彩校正矩阵和伽马变换算法校准所述rgb图像数据的色度响应和所述rgb图像数据的光强度响应，具体包括：
[0165]
设置色彩校正矩阵；
[0166]
获取所述rgb图像数据的颜色通道数据，将所述rgb图像数据的颜色通道数据与所述色彩校正矩阵相乘，获得校正后的所述rgb图像数据的颜色；
[0167]
设置伽马值，使所述伽马值的范围处于0.5到2.5之间；
[0168]
基于所述伽马变换公式，将所述rgb图像数据的每个像素的每个颜色通道的输入像素值进行伽马变换，获得校正后的所述rgb图像数据的光强度响应，所述伽马变换公式满足y＝x
1/γ
，其中，y表示输出像素值，x表示输入像素值，γ表示伽马值。
[0169]
该实施例中，色彩校正矩阵是一个3x3的矩阵，用于将目标图像的颜色值映射到参考图像的颜色值，将rgb图像数据的颜色通道数据表示为一个形状为(m,n,3)的数组，其中，m和n分别为图像的高度和宽度，3表示图像的颜色通道数量，即红色(r)、绿色(g)和蓝色(b)三个颜色通道。将rgb图像数据的颜色通道数据重塑为一个形状为(m*n,3)的二维数组，将该二维数组和色彩校正矩阵相乘，得到校正后的颜色通道数据。色彩校正矩阵的设置，可以通过获得一组已知的参考图像数据和rgb图像数据，分析两者之间的颜色差异、颜色分布等信息来实现。
[0170]
确定伽马值(γ)的选择通常是基于对图像的目标亮度和对比度的需求和偏好，不同的γ值可以产生不同的调整效果。通常情况下，较低的伽马值(小于1)会增加图像的亮度和对比度，使图像的阴影部分更明亮，细节更突出。这对于低光照条件下的图像或需要突出显示细节的图像非常有用。相反，较高的伽马值(大于1)会降低图像的亮度和对比度，使图像的高亮部分更暗，细节更平缓。这对于过曝光的图像或需要减少细节的图像有用。还可以使用图像直方图等工具来可视化图像的亮度分布，并根据直方图的形状和特征来指导伽马值的选择。
[0171]
在一些实施例中，所述调节所述rgb图像数据的亮度、对比度、曝光时间和白平衡，
具体包括：
[0172]
当所述rgb图像数据的光线不足时，通过将所述rgb图像数据的每个像素的rgb分量值加上固定增量值，增加所述所述rgb图像数据的亮度；
[0173]
当所述rgb图像数据的光反射率高时，通过将所述rgb图像数据的每个像素的rgb分量值加上固定减量值，减少所述所述rgb图像数据的亮度；
[0174]
基于直方图均衡化的变换算法，通过调节所述rgb图像数据的灰度级均匀分布程度，增强所述rgb图像数据的对比度；
[0175]
当所述图像采集模块在强光环境下采集所述原始图像数据时，通过采用单帧图像采集或有限帧图像叠加来控制所述rgb图像数据的像素强度，模拟缩短曝光时间效果；
[0176]
当所述图像采集模块在弱光环境下采集所述原始图像数据时，通过采用多帧图像叠加来控制所述rgb图像数据的像素强度，模拟延长曝光时间效果；
[0177]
获取所述rgb图像数据的灰度参考点，将所述灰度参考点的rgb分量平均值作为参考颜色；
[0178]
计算所述rgb图像数据的每个像素的rgb分量与所述参考颜色的rgb分量之间的绝对值差异或距离度量差异，根据所述绝对值差异或距离度量差异确定所述rgb图像数据的每个像素的需调整强度比例；
[0179]
根据所述需调整r、g、b三基色的强度比例，调节所述rgb图像数据的每个像素的白平衡。
[0180]
该实施例中，在亮度调节方面，对于rgb图像，亮度调节可以通过增加或降低每个像素的rgb三基色的数值来实现，通过调整每个像素的rgb分量值来提高或降低图像的亮度。例如，对于增加亮度，可以将每个像素的rgb分量值加上一个固定的增量值。对于降低亮度，可以将每个像素的rgb分量值减去一个固定的减量值。
[0181]
在对比度调节方面，可以通过应用基于直方图均衡化的变换算法来实现。直方图均衡化是一种通过重新分配像素的灰度级来增强图像对比度的方法。它基于图像的灰度级分布，将原始图像的直方图进行调整，使得图像的灰度级分布更加均匀，从而增加图像的对比度。
[0182]
在曝光时间调节方面，由于实际的曝光时间是由摄像机设置或控制的，因此该步骤的作用在于模拟缩短或延长曝光时间的效果。在强光环境下，可以采用单帧图像采集或有限帧图像叠加来控制像素强度，以此实现模拟缩短曝光时间的效果。在弱光环境下，可以采用多帧图像叠加来增强像素强度，通过在连续多帧图像中叠加像素值，以此实现模拟延长曝光时间的效果。
[0183]
在白平衡调节方面，白平衡调节是为了适应不同色调的光源环境下自动调节rgb强度比例，实现理想白光源环境下的反射效果。灰度参考点是指图像中的一个具有代表性的灰度值的点，可以用来估计图像的整体灰度级别。在自动白平衡中，可以选择图像中的一个灰度参考点作为颜色校准的参考。
[0184]
绝对值差异方面，对于每个像素的rgb分量(r_pixel,g_pixel,b_pixel)和参考颜色的rgb分量(r_ref,g_ref,b_ref)，计算差异的绝对值，即：
[0185]
δr＝|r_pixel-r_ref|
[0186]
δg＝|g_pixel-g_ref|
[0187]
δb＝|b_pixel-b_ref|
[0188]
距离度量差异方面，对于每个像素的rgb分量(r_pixel,g_pixel,b_pixel)和参考颜色的rgb分量(r_ref,g_ref,b_ref)，计算差异的距离度量，如欧氏距离，即：
[0189][0190]
较大的差异值可能表示需要增加某个分量的强度，而较小的差异值可能表示需要减少某个分量的强度，因此可以根据差异值来调整rgb分量的强度比例，实现自动白平衡效果。
[0191]
在一些实施例中，所述三维图像成像模块包括三维图像格式转换单元、三维图像输出单元和三维图像接收单元；
[0192]
把经实时三维图像处理后的所述第一光路及所述第二光路的视频以时分及空分形式有序转换成光信号后输出并送入人的左眼及右眼，从而在大脑产生视角差，融合成像产生实时三维视觉，具体包括：
[0193]
根据所述三维图像格式转换单元通过帧交叉内插法将所述第一光路的图像和所述第二光路的图像编织成单一的、实时的三维图像视频流；
[0194]
根据所述三维图像输出单元接收所述三维图像视频流，并将所述三维图像视频流以时分及空分形式有序转换成光信号后输出并送入人的左眼及右眼，从而在大脑产生视角差，融合成像产生实时三维视觉。
[0195]
该实施例中，三维图像格式转换单元接收两路已经做好三维融图前处理的实时视频图像p1和p2，并分别带有了左、右图像标记“b1”和“b2”以区分左图像p1和右图像p2。人眼的最低刷新率为24帧每秒，所以三维图像刷新率应该至少以24帧每秒的刷新率f分别把图像p1和p2输出到人的左眼和右眼。对于观察动态样品场景，需要至少60帧每秒的刷新率，以消除人对三维图像的纠动感。当摄像头采集图像因光源不足而降低了图像刷新率的时候，需要使用帧内插方式，提高刷新率到f。由于三维图像输出单元只能接收单一视频流图像，所以需要把p1及p2图像以特定的帧序列编织成一条实时的三维图像视频流。具体实现形式是以帧为单位实时编织出三维视频流。三维视频流的第1帧为p1视频的第1帧，三维视频流的第2帧为p2视频流的第1帧。也就是把p1视频流放到三维视频流的奇数帧，把p2视频流放到三维视频流的偶数帧。这样三维视频流的帧刷新率被提高到2*f，连续有序地传送到三维图像输出单元。
[0196]
三维图像输出单元解码三维视频流，分解出三维视频流中属于p1或p2的每一帧图像，以刷新率f把分别把p1左图像和p2右图像信号转换成人眼可视的光信号。实现形式可使用支持3d vision的显示器，该显示器能识别出带有左图标记及右图标记的视频帧，按照所输入的帧序列实时地把三维视频流输出到显示屏上。在同步识别技术方面，可以使用快门式3d技术或偏光式3d技术，以区分出属于p1左图像及属于p2右图像的光信号。当使用支持快门式3d技术的显示器时，该显示器在输出p1左图像帧时，会同时向外发射红外光，当输出p2右图像帧时，不向外发射红外光。当使用支持偏光式3d技术的显示器时，显示器带有偏光滤镜装置，在输出p1左图像帧时，打开水平偏光滤镜，向外输出带水平偏光的光图像信号，当输出p2右图像帧时，打开垂直偏光滤镜，向外输出带垂直偏光的光图像信号。以上这些方式均为三维图像接收单元提供了能识别出p1左图像及p2右路图像的标记。
[0197]
三维图像接收单元可以同步识别出左、右两路图像对应的光信号，有选择地分别
引导左图光信号输出到人的左眼，引导右图光信号输出到人的右眼。当使用快门式3d同步识别技术时，就需要使用快门式3d眼镜。这主要是靠液晶眼镜来实现的，它的眼镜片实质上是可以分别控制开/关的两片液晶屏，眼镜中的液晶层有黑和白两种状态，平常显示为白色即透明状态，通电之后就会变黑色。利用这个原理，当快门式3d眼镜接收到红外光信号时，左眼镜片不通电，右眼镜片通电，这时p1左图像光信号只能通过左眼镜片。反之，当快门式3d眼镜没有接收到红外光信号时，左眼镜片通电，右眼镜片不通电。这时p1左图像光信号只能通过右眼镜片。
[0198]
当使用偏光式3d同步识别技术时，就需要使用偏光式3d眼镜。这主要是靠安装在眼镜左右镜片的偏光滤镜来实现的。左镜片安装水平偏振方向的偏光镜，右镜片安装垂直偏振方向的偏光镜。由于每只镜片只能接受一个偏振方向的画面，这样人的左右眼就能分时接收左、右两组图像。
[0199]
不论是快门式3d技术或偏光式3d技术，都会使人的左眼及右眼分时看到两条显微镜光路所采集到的实时动态图像。由于有足够的刷新率f，左、右图像输出间隔很短，人眼察觉不出，像是左、右眼同时看到来自显微镜的两路带夹角的实时视频图像，这样人的大脑会把左、右图像形成的视差合成为三维视觉影像，从而达到三维视觉重构目的。
[0200]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0201]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0202]
在本技术所公开的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0203]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

技术特征：
1.一种基于显微镜的实时三维视觉成像系统，其特征在于，所述系统具体包括：图像采集模块，用于构建形成夹角的第一光路和第二光路，调节所述第一光路和所述第二光路的水平成像范围和夹角大小，采集通过所述第一光路的原始图像数据和所述第二光路的原始图像数据；图像实时传输模块，用于对所述第一光路的原始图像数据和所述第二光路的原始图像数据分别添加第一标识和第二标识，并均转换为压缩图像数据后进行传输解码，将所述压缩图像数据解压为rgb图像数据；图像处理模块，用于对所述rgb图像数据进行几何校准、色度校准和视觉调节，然后提取所述rgb图像数据中所述第一光路的图像和所述第二光路的图像之间的重叠区域图像；三维图像成像模块，用于把经实时三维图像处理后的所述第一光路及所述第二光路的视频以时分及空分形式有序转换成光信号后输出并送入人的左眼及右眼，从而在大脑产生视角差，融合成像产生实时三维视觉。2.根据权利要求1所述的系统，其特征在于，所述图像采集模块包括显微镜光路成像单元、可视化光路校准单元、三维融深调整单元和摄像头图像采集单元，所述显微镜光路成像单元包括形成夹角的第一光路和第二光路；所述构建形成夹角的第一光路和第二光路，调节所述第一光路和所述第二光路的水平成像范围和夹角大小，采集通过所述第一光路和所述第二光路的原始图像数据，具体包括：根据所述可视化光路校准单元调节所述第一光路和所述第二光路的水平成像范围，根据所述三维融深调整单元调节所述第一光路和所述第二光路之间的夹角大小；所述摄像头图像采集单元包括均基于感光芯片的第一摄像头和第二摄像头，根据所述第一摄像头采集通过所述第一光路的原始图像数据，根据所述第二摄像头采集通过所述第二光路的原始图像数据。3.根据权利要求1所述的系统，其特征在于，所述图像实时传输模块包括图像编码处理单元、图像数据收发单元和图像解码处理单元；所述对所述第一光路的原始图像数据和所述第二光路的原始图像数据分别添加第一标识和第二标识，并均转换为压缩图像数据后进行传输解码，将所述压缩图像数据解压为rgb图像数据，具体包括：根据所述图像编码处理单元接收所述第一光路的原始图像数据和所述第二光路的原始图像数据，并将所述原始图像数据转换为压缩图像数据；为所述压缩图像数据中所述第一光路的图像数据封装包的头部信息添加第一标识及第一夹角数据，为所述压缩图像数据中所述第二光路的图像数据封装包头部信息添加第二标识和第二夹角数据，所述第一夹角数据及所述第二夹角数据为第一光路和第二光路形成的夹角数据；根据所述图像数据收发单元接收所述图像编码处理单元传输来的所述压缩图像数据，然后将所述压缩图像数据实时发送至所述图像解码处理单元；根据所述图像解码处理单元通过yuv转rgb算法和色彩插值算法将所述压缩图像数据转换为rgb图像数据。4.根据权利要求3所述的系统，其特征在于，所述通过yuv转rgb算法和色彩插值算法将所述压缩图像数据转换为rgb图像数据，具体包括：
根据yuv转rgb公式将所述压缩图像数据转换为rgb图像数据，所述yuv转rgb公式满足r＝y+1.402*(v-128)，g＝y-0.344136*(u-128)-0.714136*(v-128)，b＝y+1.772*(u-128)，其中，y表示压缩图像的亮度信息，u和v表示压缩图像的颜色差异信息，r、g和b表示rgb图像的颜色值；获取所述rgb图像数据中的所有颜色缺失点，确定每个颜色缺失点的上下左右四个已知颜色数据点；将每个颜色缺失点的上下左右四个已知颜色数据点分别与当前颜色缺失点之间的距离的倒数作为权重；将每个颜色缺失点的上下左右四个已知颜色数据点各自的所述权重与各自的rgb颜色值进行加权平均计算，获得每个颜色缺失点的颜色值。5.根据权利要求1所述的系统，其特征在于，所述图像处理模块包括几何校准单元、色度校准单元、视觉调节单元和融图区域提取单元；所述对所述rgb图像数据进行几何校准、色度校准、视觉调节，然后提取所述rgb图像数据中所述第一光路的图像和所述第二光路的图像之间的重叠区域图像，具体包括：根据几何校准单元通过边沿搜索图像算法确定所述rgb图像数据中具有所述第一标识的图像数据的第一正方形图像和具有所述第二标识的第二正方形图像各自的四个角的坐标，然后利用梯形校准算法将所述第一正方形图像和所述第二正方形图像分别校准为第一标准正方形图像和第二标准正方形图像；使所述第一标准正方形图像和所述第二标准正方形图像做放大处理或缩小处理并达到面积相同；根据所述色度校准单元分别通过色彩校正矩阵和伽马变换算法校准所述rgb图像数据的色度响应和所述rgb图像数据的光强度响应；根据所述视觉调节单元调节所述rgb图像数据的亮度、对比度、曝光时间和白平衡；根据融图区域提取单元提取所述第一标准正方形图像和所述第二标准正方形图像之间的重叠区域图像。6.根据权利要求5所述的系统，其特征在于，所述通过边沿搜索图像算法确定所述rgb图像数据中具有所述第一标识的图像数据的第一正方形图像和具有所述第二标识的第二正方形图像各自的四个角的坐标，具体包括：获取所述rgb图像数据中具有所述第一标识的图像数据的第一正方形图像和具有所述第二标识的第二正方形图像；根据canny边缘检测算法确定所述第一正方形图像的边缘像素和所述第二正方形图像的边缘像素；根据8邻域连接算法检测每个边缘像素的周围8个邻域像素的强度，确定所述第一正方形图像和所述第二正方形图像各自的起点边缘像素；从所述起点边缘像素沿着边缘方向移动，记录每个边缘像素的像素坐标；基于每个边缘像素的像素坐标，根据角点检测算法确定所述第一正方形图像的四个角的坐标和所述第二正方形图像的四个角的坐标。7.根据权利要求5所述的系统，其特征在于，所述利用梯形校准算法将所述第一正方形图像和所述第二正方形图像分别校准为第一标准正方形图像和第二标准正方形图像，具体
包括：确定第一标准正方形图像的目标尺寸和第二标准正方形图像的目标尺寸；根据所述第一标准正方形图像和所述第二标准正方形图像各自的所述目标尺寸和四个角的坐标，分别确定第一透视变换矩阵和第二透视变换矩阵；根据所述第一透视变换矩阵，将所述第一正方形图像校准为所述第一标准正方形图像；根据所述第二透视变换矩阵，将所述第二正方形图像校准为所述第二标准正方形图像。8.根据权利要求5所述的系统，其特征在于，所述分别通过色彩校正矩阵和伽马变换算法校准所述rgb图像数据的色度响应和所述rgb图像数据的光强度响应，具体包括：设置色彩校正矩阵；获取所述rgb图像数据的颜色通道数据，将所述rgb图像数据的颜色通道数据与所述色彩校正矩阵相乘，获得校正后的所述rgb图像数据的颜色；设置伽马值，使所述伽马值的范围处于0.5到2.5之间；基于所述伽马变换公式，将所述rgb图像数据的每个像素的每个颜色通道的输入像素值进行伽马变换，获得校正后的所述rgb图像数据的光强度响应，所述伽马变换公式满足y＝x
1/γ
，其中，y表示输出像素值，x表示输入像素值，γ表示伽马值。9.根据权利要求5所述的系统，其特征在于，所述调节所述rgb图像数据的亮度、对比度、曝光时间和白平衡，具体包括：当所述rgb图像数据的光线不足时，通过将所述rgb图像数据的每个像素的rgb分量值加上固定增量值，增加所述所述rgb图像数据的亮度；当所述rgb图像数据的光反射率高时，通过将所述rgb图像数据的每个像素的rgb分量值加上固定减量值，减少所述所述rgb图像数据的亮度；基于直方图均衡化的变换算法，通过调节所述rgb图像数据的灰度级均匀分布程度，增强所述rgb图像数据的对比度；当所述图像采集模块在强光环境下采集所述原始图像数据时，通过采用单帧图像采集或有限帧图像叠加来控制所述rgb图像数据的像素强度，模拟缩短曝光时间效果；当所述图像采集模块在弱光环境下采集所述原始图像数据时，通过采用多帧图像叠加来控制所述rgb图像数据的像素强度，模拟延长曝光时间效果；获取所述rgb图像数据的灰度参考点，将所述灰度参考点的rgb分量平均值作为参考颜色；计算所述rgb图像数据的每个像素的rgb分量与所述参考颜色的rgb分量之间的绝对值差异或距离度量差异，根据所述绝对值差异或距离度量差异确定所述rgb图像数据的每个像素的需调整强度比例；根据所述需调整r、g、b三基色的强度比例，调节所述rgb图像数据的每个像素的白平衡。10.根据权利要求1所述的系统，其特征在于，所述三维图像成像模块包括三维图像格式转换单元、三维图像输出单元和三维图像接收单元；把经实时三维图像处理后的所述第一光路及所述第二光路的视频以时分及空分形式
有序转换成光信号后输出并送入人的左眼及右眼，从而在大脑产生视角差，融合成像产生实时三维视觉，具体包括：根据所述三维图像格式转换单元通过帧交叉内插法将所述第一光路的图像和所述第二光路的图像编织成单一的、实时的三维图像视频流；根据所述三维图像输出单元接收所述三维图像视频流，并将所述三维图像视频流以时分及空分形式有序转换成光信号后输出并送入人的左眼及右眼，从而在大脑产生视角差，融合成像产生实时三维视觉。

技术总结
本发明涉及显微镜成像技术领域，尤其涉及一种基于显微镜的实时三维视觉成像系统，所述系统具体包括：图像采集模块，用于构建形成夹角的第一光路和第二光路，调节所述第一光路和所述第二光路的水平成像范围和夹角大小，采集通过所述第一光路的原始图像数据和所述第二光路的原始图像数据；图像实时传输模块，用于对所述第一光路的原始图像数据和所述第二光路的原始图像数据分别添加第一标识和第二标识，并均转换为压缩图像数据后进行传输解码。本发明能够在不损伤样本的情况下，快速、准确、实时地进行三维成像，直接让观察者看到样品的实时立体视频。实时立体视频。实时立体视频。


技术研发人员：潘林岭
受保护的技术使用者：广州奥舜创电子科技有限公司
技术研发日：2023.06.29
技术公布日：2023/9/20