成像系统及方法与流程
未命名
08-29
阅读:104
评论:0

1.本技术涉及图像处理技术领域,尤其涉及一种成像系统及方法。
背景技术:
2.在光学成像系统中,成像的信息量由光学系统的视场和分辨率决定,更宽的视场能够覆盖更广的成像范围,更高的分辨率能够获得物体更多的细节信息。
3.对于光学成像系统来说,其成像在大视场、高分辨、高通量之间存在矛盾,即在高分辨率的成像系统中,通常会出现视场受限的问题等,在大视场的成像系统中,分辨率一般难以提高,而目前尝试同时实现大视场和高分辨的很多成像技术通常需要多幅采集,降低了系统成像速度和通量。因此目前的现有技术都难以同时实现高通量、高分辨率和大视场的成像,如何提供一种兼容高通量、高分辨率和大视场的成像系统成为亟待解决的问题。
技术实现要素:
4.本技术提供了一种成像系统及方法,能够同时实现高通量、高分辨率和大视场的成像。
5.第一方面,提供一种成像系统,包括至少一个照明单元,用于产生照明光照射样品,所述照明光照射所述样品后产生第一信号光和第二信号光,其中,所述第一信号光经过所述物镜收集进入所述有透镜成像探测单元,所述第二信号光进入无透镜成像探测单元,有透镜成像探测单元包括物镜;所述有透镜成像探测单元,用于调制和收集经过的所述第一信号光,并转化为第一电信号传输到计算控制单元;所述无透镜成像探测单元,用于调制和收集进入的所述第二信号光,并转化为第二电信号传输到所述计算控制单元;所述计算控制单元,用于对收到的所述第一电信号和所述第二电信号进行处理得到图像。
6.其中,有透镜成像探测单元包括物镜和成像探测单元模组,当物镜与无透镜成像探测单元均设置在样品的同一侧时,照明光照射样品形成的第一信号光射入物镜中,被物镜收集的第一信号光,经过成像探测单元模组后被转化为第一电信号;或者,当物镜与无透镜成像探测单元分别设置在样品的两侧时,照明光照射样品后产生的第一信号光反射进入物镜中被收集,经过成像探测单元模组后被转化为第一电信号。
7.在一种可能实现的方式中,所述有透镜成像探测单元还包括成像探测单元模组,所述成像探测单元模组用于根据所述第一信号光得到多模态成像信息中的一种或几种信息,并对应每一种所述多模态成像信息生成一个所述第一电信号。
8.成像探测单元模组包括对第一信号光进行调制的成像光路系统和至少一个探测单元,其中,成像光路系统可以通过至少一个分光棱镜,将物镜收集到的第一信号光分成多光路的信号光,并分别获取其振幅、相位、光谱、偏振、荧光等多模态成像信息中的一种或几种信息,每个探测单元对应每一种多模态成像信息生成一个第一电信号。
9.可选地,所述探测单元包括4f系统和成像相机,或,仅包括成像相机,其中,成像相机包括对光强成像的灰度相机、偏振相机、多光谱相机或者偏振光谱相机。
10.无透镜成像探测单元,包括光学元件和图像传感器。当物镜与无透镜成像探测单元均设置在样品的同一侧时,光学元件是滤光增透片,滤光增透片既能够提高射入无透镜成像探测单元中的第二信号光的收集效率,抑制反射和多次反射的杂散光,提高无透镜成像探测单元中光路的信噪比,又能够实现特定波段信号光的选择收集,即滤除因反射等其他干扰入射的第一信号光,进而保障有透镜成像探测单元和无透镜成像探测单元的光路解耦;或者,当物镜与无透镜成像探测单元分别设置在样品的两侧时,光学元件是具有特定反射透射比的分光片,通过调整使用的分光片的参数,使得有透镜成像探测单元和无透镜成像探测单元收集到的信号光相对强度得以调节,从而使得对应第一信号光和第二信号光的电信号能够高效、高质收集。
11.所述成像系统在不同的应用场景中,可以根据高分辨的多幅多模态图像和大视场的图像对样品进行检测、追踪、筛查等操作。例如,无透镜成像探测单元根据大视场的图像在大视场范围内进行初步筛查,找出感兴趣区域,有透镜成像探测单元对感兴趣区域的多幅多模态图像进行观察和信息获取。成像系统的有透镜成像探测单元和无透镜成像探测单元在光路上相对解耦,互不干扰,但又能通过计算控制单元的控制链路进行联调控制,实现高效配合,进而得到大视场、高分辨的成像图像并根据图像完成所需的检测、追踪、筛查等操作。
12.在一种可能实现的方式中,成像系统还包括:所述至少一个照明单元还包括第一照明单元和第二照明单元,所述成像系统还包括:位移台,用于设置并移动所述样品,使得所述第一照明单元照射到所述样品产生所述第二信号光,所述第二照明单元照射到所述样品产生所述第一信号光;所述无透镜成像探测单元包括滤光增透片和图像传感器,其中,所述滤光增透片设置于所述位移台下方,用于调制所述第二信号光得到所述第三信号光;所述图像传感器,设置于所述滤光增透片下方,用于收集第三信号光并转化为所述第二电信号,其中,所述滤光增透片和所述图像传感器上设置有中空的槽;支撑结构,设置于所述图像传感器下方,用于支撑所述图像传感器和所述物镜,其中,所述物镜对应设置于所述滤光增透片和所述图像传感器上的所述中空的槽的位置。
13.进一步地,位移台可以是框式结构,用于拖住样品的边缘,在实现样品的固定和移动的同时,保证正在测量部分的样品下方透光,避免因位移台对信号光造成遮挡和干扰。所述滤光增透片和所述图像传感器上设置有等大、镂空的槽,作为有透镜成像探测单元的观察窗口,所述物镜被支撑结构固定设置在所述中空的槽的位置。所述滤光增透片能够实现特定波段信号光的选择收集,所述特定波段根据照明单元和探测单元的成像方式确定。
14.在一种可能实现的方式中,所述图像传感器包括感光像素阵列,所述感光像素阵列是第一感光像素阵列,或所述感光像素阵列由多个第二感光像素阵列拼接合成。其中,第一感光像素阵列可以为在封装基板上留出尺寸匹配的镂空区域的整体感光像素阵列,槽可以是矩形、椭圆形等形状;第二感光像素阵列可以在封装基板上拼接,该拼接按镂空出中空的槽的区域实现,这种情况下,槽通常为矩形。
15.进一步地,第一照明单元是无透镜成像探测单元的照明单元,第二照明单元是有透镜成像探测单元的照明单元,为了避免照明单元之间的光路串扰,第二照明单元通过光纤耦合实现在中空的槽的局部照明来实现为有透镜成像探测单元照明,其中,第一照明单元是置于自由空间发散的光源,包括发光二极管(light emitting diode,led)、激光等,第
二照明单元包括通过多模光纤耦合的复色光、单模光纤耦合的单色光等,光纤可以是单模光纤或者多模光纤。
16.可选地,可以在物镜的出射光口处,设置一个滤光片,用于滤除第二信号光。或者,在物镜的入射光口处,如中空的槽的对应位置上,设置一个开口挡板,光纤从所述挡板的开口处伸入物镜的入射光口处,能够遮挡第一照明单元产生的信号光,实现第一信号光和第二信号光的解耦。
17.在一种可能实现的方式中,所述计算控制单元,还用于根据所述有透镜成像探测单元传输的至少一个所述第一电信号,控制所述位移台移动并通过所述无透镜成像探测单元对第一区域获取成像;其中,所述第一区域根据所述至少一个所述第一电信号确定。
18.进一步地,所述计算控制单元根据第一电信号,得到图像,并从图像中示出的样品中筛选出目标对象,对应所述目标对象生成分选指令,并根据所述分选指令,控制所述位移台移动,以使得所述无透镜成像探测单元对第一区域成像,第一区域中包括筛选出的所述目标对象。
19.在一种可能实现的方式中,所述计算控制单元,还用于在所述第二电信号反馈所述样品异常的情况下,输出反馈信号,所述反馈信号用于指示所述样品异常。
20.可选地,应用在微流控芯片系统中时,有透镜成像探测单元可以得到相位成像、明场成像、偏振成像和荧光成像的模态成像信息,有透镜成像探测单元在微流控芯片的分析区域上,实时快速获取流道中样品的多模态成像信息,并通过计算控制单元分析给出分选指令,根据该分选指令,对无透镜成像探测单元传输的第二电信号得到的成像图像中,分选指令对应的样品进行监测、跟踪和计数等检测,且可以将检测结果反馈至微流控芯片的分选系统中,以提高微流控芯片系统分选的准确性。
21.这种成像系统的应用,能够解决基于成像的微流控芯片中,分选系统无法实时追踪对象而产生漏选错选的问题,有效提高微流控芯片的分选准确性。此外,由于无透镜成像探测单元和无透镜成像探测单元的配合,可以在保证成像质量的同时,降低对分选系统和微流控芯片的设计要求,实现高通量分选和高质量成像。
22.在一种可能实现的方式中,所述至少一个照明单元还包括第一照明单元和第二照明单元,所述成像系统还包括:所述无透镜成像探测单元包括分光片和图像传感器,所述物镜设置于收集所述第二照明单元照射所述样品反射产生的所述第一信号光的位置;所述分光片,设置于所述样品下方,用于调制所述第一照明单元照射所述样品透射产生的所述第二信号光得到第四信号光;所述图像传感器,设置于所述分光片下方,用于收集所述第四信号光并将转化为所述第二电信号;位移台,设置于所述图像传感器下方,用于支撑并移动所述图像传感器、所述分光片和所述样品,使得所述物镜与所述样品产生位移。
23.进一步地,位移台可以上下移动,来调节物镜的聚焦,使得有透镜成像探测单元获得聚焦图像,位移台也可以水平方向上左右移动,让有透镜成像探测单元对选定区域的样品进行成像,从而对选定区域的样品进行观察。
24.进一步地,可以设计所述分光片特定的透射反射比,以调节照射样品后的第一信号光和第二信号光的相对强度,从而使得两个成像信号的曝光时间和成像速度的匹配。
25.在一种可能实现的方式中,所述图像传感器包括感光像素阵列,所述感光像素阵列是第一感光像素阵列,或,所述感光像素阵列由多个第二感光像素阵列拼接合成。其中,
第一感光像素阵列可以为整体感光像素阵列;第二感光像素阵列可以在封装基板上拼接成一个完整的感光像素阵列。
26.进一步地,第一照明单元是置于自由空间发散的光源,包括led光源、激光光源等,第二照明单元是准直扩束后的白光光源或者单色光源。第一照明单元的照明光可以是相干光或者部分相干光,第二照明单元的照明光可以是相干光源或非相干光。
27.在一种可能实现的方式中,所述计算控制单元,还用于控制所述位移台移动并通过所述有透镜成像探测单元对第二区域获取成像;其中,所述第二区域根据所述第二电信号确定。
28.进一步地,所述计算控制单元根据所述无透镜成像探测单元传输的所述第二电信号得到图像,从该图像的样品中识别出目标对象及所述目标对象所在的位置信息,根据所述位置信息,控制所述位移台将所述目标对象移动到指定位置,以能使得有透镜成像探测单元对第二区域获取成像,所述第二区域中包括识别出的所述目标对象。通过计算控制单元根据无透镜成像探测单元提供的图像进行初筛和全局监测,根据有透镜成像探测单元提供的图像进行细筛和信息提取,构建出高通量、高效率的阅片光学成像系统,解决了阅片显微系统低通量的问题,能够提高对生物样片的阅片效率,也降低了硬件要求。
29.第二方面,提供一种成像方法,适用于第一方面提供的成像系统,包括:照明光照射样品后产生第一信号光和第二信号光,其中,所述照明光由至少一个照明单元产生,用于照射所述样品;包括物镜的有透镜成像探测单元调制和收集经过的所述第一信号光,并转化为第一电信号;无透镜成像探测单元调制和收集进入的所述第二信号光,并转化为第二电信号;对所述第一电信号和所述第二电信号进行处理得到图像。
30.在一种可能实现的方式中,所述包括物镜的有透镜成像探测单元调制和收集经过的所述第一信号光,并转化为第一电信号包括:包括所述物镜的所述有透镜成像探测单元根据所述第一信号光得到多模态成像信息中的一种或几种信息,并对应每一种所述多模态成像信息生成一个所述第一电信号。
31.在一种可能实现的方式中,该方法还包括:根据所述有透镜成像探测单元传输的至少一个所述第一电信号,控制位移台移动并通过所述无透镜成像探测单元对第一区域获取成像;其中,所述第一区域根据所述至少一个所述第一电信号确定。
32.在一种可能实现的方式中,该方法还包括:控制所述位移台移动并通过所述有透镜成像探测单元对第二区域获取成像;其中,所述第二区域根据所述第二电信号确定。
33.在一种可能实现的方式中,该方法还包括:在所述第二电信号反馈所述样品异常的情况下,输出反馈信号,所述反馈信号用于指示所述样品异常。
34.第三方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在处理器上运行时,实现前述任一方面所述的方法以及前述任一方面的任一可能的实现方式中所包括的部分或全部操作。
35.第四方面,提供了一种计算机程序产品,所述计算机程序产品包含指令,当其在处理器上运行时,实现前述任一方面所述的方法以及前述任一方面的任一可能的实现方式中所包括的部分或全部操作。
36.第五方面,提供了一种芯片,包括:接口电路和处理器。所述接口电路和所述处理器相连接,所述处理器用于使得所述芯片执行前述任一方面所述的方法以及前述任一方面
的任一可能的实现方式中所包括的部分或全部操作。
附图说明
37.为了更清楚地说明本技术实施例的技术方案,下面将对本技术实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
38.图1是本技术实施例提供的一种成像系统的结构示意图;
39.图2是本技术实施例提供的一种透射式成像系统的结构示意图;
40.图3是本技术实施例提供的一种透射式显微兼容型无透镜成像探测单元的结构示意图;
41.图4是本技术实施例提供的一种图像传感器结构示意图;
42.图5是本技术实施例提供的一种将透射式显微兼容型无透镜成像探测单元结合到有透镜成像探测系统中构成光学整机系统的结构示意图;
43.图6是本技术实施例提供的另一种透射式成像系统的结构示意图;
44.图7是本技术实施例提供的一种反射式成像系统的结构示意图;
45.图8是本技术实施例提供的一种反射式显微兼容型无透镜成像探测单元的结构示意图;
46.图9是本技术实施例提供的另一种图像传感器结构示意图;
47.图10是本技术实施例提供的一种将反射式显微兼容型无透镜成像探测单元结合到有透镜成像探测系统中构成光学整机系统的结构示意图;
48.图11是本技术实施例提供的成像方法的流程示意图;
49.图12是本技术实施例提供的一种光学整机系统的工作流程示意图;
50.图13是本技术实施例提供的另一种光学整机系统的工作流程示意图。
具体实施方式
51.为了使本技术领域的人员更好地理解本技术中的方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。
52.本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。
53.本技术实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
54.在本技术实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
55.在本技术实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例
如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
56.为了便于理解,下面先对本技术实施例所使用到的相关名词或术语进行解释说明:
57.1、微流控芯片
58.是指把化学和生物等领域中所涉及的物体(本技术中统称为样品)的制备、反应、分离、检测、培养、分选、裂解等基本操作集成在一个芯片上,由微通道形成网络,以可控流体贯穿整个操作,用以实现常规化学或生物实验室的各种功能。主要构造包括底部衬底,中间沟道层和顶部盖片层,常通过玻璃、聚合物、石英、硅等材料图形化制造得到,微流控芯片可以通过互补式金属氧化物半导体(complementary metal-oxide semiconductor,cmos)兼容的硅基工艺、用于微机电系统(micro-electromechanical system,mems)的硅基、玻璃、石英、聚合物工艺或者其他新型工艺加工获得。常见的微流控芯片根据通道内的液体的流动情况,可以分为流动型微流控芯片(其中,分析区域和分选区域是微流道中的一部分)和非流动型微流控芯片。
59.2、无透镜成像
60.是一种在不借助透镜的条件下,通过图像传感器对物体直接进行成像的技术。在基于无透镜成像的系统中,图像传感器和样品间没有设置透镜,图像传感器的感光像素能够不通过透镜,直接接收来自样品的信号。图像传感器和样品之间可以设置有编码掩膜、滤光片等小型化的光学调制元件中的一种或几种,也可以不设置任何光学元件。由于无透镜位于样品和图像传感器之间,该光学系统不需考虑透镜聚焦光路和透镜设置的位置,因此整个无透镜成像的光学系统可以做的比较小,如可以小到制备成便携化、片上化的成像系统。另外,由于无透镜成像技术通常不能直接在图像传感器上获得样品的图像,因此需要通过采集信号,结合特定算法进行重建后,获得该样品的图像。
61.3、有透镜的显微系统
62.是基于各种放大或缩小透镜及功能透镜组搭建而成的系统,能够实现在特定的放大率和分辨率下对物体进行成像的需求。本技术中,为了区别基于无透镜的成像系统,将图像传感器和样品间有设置透镜的光学显微系统称为有透镜显微系统。
63.4、空间带宽积
64.是一个用来描述光学成像系统信息通量的无量纲物理量,空间带宽积越高,成像得到的图像所包含的信息就越多。图像空间带宽积取决于视场与分辨率,提高空间带宽积,可以从扩大视场和提高分辨率两个方面来实现。
65.5、多模态成像
66.样品的成像可以以光强、光谱、偏振、相位等不同维度的信号进行采集记录,每一种采集记录的信息称为一种模态。多模态成像是指获得样品光强、光谱、偏振、相位等模态中两种及以上的信号进行成像。
67.6、4f系统
68.通过两个透镜组装成的放大准直光学系统,可以用于光束的扩束准直及成像的放大或缩小。
69.在不同的场景中,成像得到的图像有不同的需求,但大视场、高分辨、高通量之间存在矛盾,难以同时实现高通量、高分辨率和大视场的成像。如在有透镜的显微系统中,基
于透镜的光路和聚焦特性,要提升分辨率就会减小视场,要增大视场则会降低分辨率。但是,在许多应用场景下,需要提供大视场、高分辨率的成像图像,这些应用场景包括但不限于:对微流控系统中动态流动的细胞和生物大分子的成像,对培养盘中实时变化的生物组织和细胞成像等。为了能够在这些场景中,提高分辨率和确保大视场,通常会采用一些减少系统通量、延长成像时间的方法。如,常见的实现大视场和高分辨的成像方法包括:扫描成像显微技术,合成孔径显微成像,相机阵列成像技术,傅立叶叠层成像技术等,这些方法通过获得多幅图像采集,实现空域信息或者频域信息的叠加拼接和孔径合成,并结合相应的计算成像算法,恢复得到高分辨和大视场的图像,但是,这些技术需要多幅图像采集和复杂的计算成像算法,极大地降低了系统的成像速度和成像通量。还有一些方法,通过借助无透镜成像系统,实现超大视场的成像,但是,无透镜成像的分辨率受限于其图像传感器的像素尺寸,根据采样定理,即使使用最小像素单元的图像传感器(如约0.6um的图像传感器),在不使用像素超分辨等多幅采样方法时,也难以得到分辨率小于1um的成像图像。如果通过多幅采样和算法恢复来实现其采样频域扩展,提高分辨率,还是会造成的系统通量的减少。
70.由此可见,有透镜的显微系统可以实现高分辨,但是其视场受限,而无透镜成像技术可以实现大视场,但是却难以实现高分辨,因此要得到高分辨率和大视场的图像,可以通过将无透镜技术结合在有透镜显微系统中实现。为了解决有透镜显微系统和无透镜成像技术的兼容问题,需要解耦有透镜的显微光学系统和无透镜的光学系统,避免其信号光相互串扰。本技术实施例提供一种无透镜成像系统和有透镜显微系统的兼容的成像系统,其包含有透镜成像探测单元和无透镜成像探测单元。其中,有透镜成像探测单元收集到的第一信号光可以是照射样品后透射的光线,也可以是照射样品后反射的光线,对应有透镜成像探测单元的两种成像类型,分别是透射式有透镜显微成像和反射式有透镜显微成像;无透镜成像探测单元收集到的第二信号光可以是照射样品后透射的光线。在本技术实施例提供的各系统中,无透镜成像探测单元,根据其兼容的有透镜成像探测单元的成像类型,可以分为兼容透射式有透镜显微成像的无透镜成像探测单元(简单记作透射式显微兼容型无透镜成像探测单元)和兼容反射式有透镜显微成像的无透镜成像探测单元(简单记作反射式显微兼容型无透镜成像探测单元)。图1是本技术实施例提供的一种成像系统的结构示意图,如图1所示,该系统10包括:至少一个照明单元101、有透镜成像探测单元102(有透镜成像探测单元102包括物镜)、无透镜成像探测单元103和计算控制单元104。
71.至少一个照明单元101,用于产生照明光照射样品(图1中标记为20),照明光照射样品20后产生第一信号光和第二信号光。
72.举例来说,至少一个照明单元101包括一个照明单元,该照明光单元设置在能够照射到样品的位置上,照明光照射样品20后分别产生第一信号光和第二信号光,第一信号光经过物镜收集进入有透镜成像探测单元102,第二信号光进入无透镜成像探测单元103。或者,至少一个照明单元101包括两个照明单元,两个照明单元照射样品20后分别产生第一信号光和第二信号光。或者,至少一个照明单元101包括三个照明单元,其中,两个照明单元设置在能够照射样品产生第一信号光的位置,一个照明单元设置在能够照射样品透射产生第二信号光的位置。至少一个照明单元101可以根据不同的使用需求进行不同的设置,不限定照明单元个数和照明单元的位置,能够实现第一信号光经过物镜收集进入有透镜成像探测单元102,第二信号光进入无透镜成像探测单元103即可,不以本技术实施例的示例做限定。
73.进一步地,样品20需要具备一定的透明度,可以是放置在样品台上的静态或者准静态的微观样品,如生物样片、组织切片等,也可以是运动的微观样品,如在微流控芯片中流动的生物细胞或者悬浮液中培养的生物样品等。
74.有透镜成像探测单元102,用于对第一信号光进行调制和收集,并将第一信号光转化为第一电信号传输到计算控制单元104进行处理。
75.有透镜成像探测单元102包括物镜和成像探测单元模组。
76.可选地,有透镜成像探测单元102的物镜可以与无透镜成像探测单元103设置在样品20的同一侧,如均设置在照射光线透射样品的一侧,这种情况下,有透镜成像探测单元102的成像类型是透射式有透镜显微成像,无透镜成像探测单元103是透射式显微兼容型无透镜成像探测单元,或者,有透镜成像探测单元102的物镜可以与无透镜成像探测单元103设置分别设置在样品20两侧,如物镜设置在照射光照射样品后反射光的一侧,无透镜成像探测单元103设置在照射光照射样品后透射光的一侧,这种情况下,有透镜成像探测单元102的成像类型是反射式有透镜显微成像,无透镜成像探测单元103是反射式显微兼容型无透镜成像探测单元。
77.进一步地,当物镜与无透镜成像探测单元103设置在样品20的同一侧时,至少一个照明单元101的照明光照射样品20形成的第一信号光射入物镜中,经过物镜收集的第一信号光,在经过有透镜成像探测单元102的成像探测单元模组(包括至少一个探测单元,如探测器)后,被其探测器转化为第一电信号,第一电信号传输至计算控制单元104中进行处理;或者,当物镜与无透镜成像探测单元103分别设置在样品20两侧时,至少一个照明单元101的照明光,照射样品20后产生的第一信号光反射进入物镜中被收集,第一信号光在经过有透镜成像探测单元102的成像探测单元模组后,被其探测器转化为第一电信号,第一电信号传输至计算控制单元104中进行处理。
78.进一步地,成像探测单元模组包括对光进行调制的成像光路系统和至少一个探测单元,其中,成像光路系统可以通过至少一个分光棱镜,将物镜收集到的第一信号光分成多光路的信号光,并分别获取其振幅、相位、光谱、偏振、荧光等多模态成像信息中的一种或几种信息,每个探测单元对应每一种多模态成像信息生成一个第一电信号,并将生成的所有第一电信号传输至计算控制单元104进行处理。
79.无透镜成像探测单元103,用于调制和收集进入的第二信号光,并转化为第二电信号传输到计算控制单元104。
80.其中,无透镜成像探测单元103包括光学元件和图像传感器。无透镜成像探测单元103是透射式显微兼容型无透镜成像探测单元时,光学元件是滤光增透片,既能够提高射入无透镜成像探测单元103中的第二信号光的收集效率,抑制反射和多次反射的杂散光,提高无透镜成像探测单元103中光路的信噪比,又能够实现特定波段信号光的选择收集,即,滤除因反射等其他干扰入射的第一信号光,进而保障有透镜成像探测单元102和无透镜成像探测单元103的光路解耦;无透镜成像探测单元103是透射式显微兼容型无透镜成像探测单元时,光学元件是具有特定反射透射比的分光片,通过调整使用的分光片的参数,使得有透镜成像探测单元102和无透镜成像探测单元103收集到的信号光相对强度得以调节,从而使得对应第一信号光和第二信号光的电信号能够高效、高质收集。
81.计算控制单元104,用于对收到的第一电信号和第二电信号进行处理得到图像。
82.如,计算控制单元104可以根据收到的第一电信号,获得的第一电信号对应的图像,该图像的是小视场、高分辨的多幅多模态图像,计算控制单元104可以根据收到的第二电信号,结合特定算法进行重建后,获得对应第二电信号的图像,该图像是大视场、低分辨的图像。在不同的应用场景中,可以根据小视场、高分辨图像的多幅多模态和大视场、低分辨的图像对样品20进行检测、追踪、筛查等操作。例如,无透镜成像探测单元103根据大视场的图像在大视场范围内进行初步筛查,找出感兴趣区域,有透镜成像探测单元102对感兴趣区域的多幅多模态高分辨图像进行观察和信息获取。有透镜成像探测单元102和无透镜成像探测单元103在光路上相对解耦,互不干扰,但又能通过计算控制单元104的控制链路进行联调控制,实现高效配合,进而得到大视场、高分辨的成像图像并根据图像完成所需的检测、追踪、筛查等操作。
83.本技术实施例提供的系统中,通过对有透镜成像探测单元102和无透镜成像探测单元103的设计,使得照明光照射样品20后,产生分别被有透镜成像探测单元102调制收集到的第一信号光,和被无透镜成像探测单元103调制收集到的第二信号光,实现无透镜成像系统和有透镜显微系统的成像信号和照明光路的解耦,最后通过计算控制单元104计算出小视场、高分辨图像的多幅多模态图像和低分辨的图像,进而实现大视场、高分辨的成像。通过本技术实施例提供的成像系统,利用无透镜成像探测单元大视场和有透镜成像探测单元高分辨的互补优势,能够实现大视场监测和局部小视场观察,在满足系统大视场和对感兴趣区域高分辨的目的下,保证系统测量通量的效果。
84.举例来说,图2是本技术实施例提供的一种透射式成像系统的结构示意图,如图2所示,该透射式成像系统30包括位移台301、透射式显微兼容型无透镜成像探测单元(包括滤光增透片303和图像传感器304)、有透镜成像探测单元(图2中仅示出有透镜成像探测单元的物镜302部分,未示出成像探测单元模组)和计算控制单元(图2中未示出)、支撑结构305和照明单元(包括第一照明单元和第二照明单元,图2中未示出),其中,透射式显微兼容型无透镜成像探测单元对应图1及其实施例提供的无透镜成像探测单元103,有透镜成像探测单元对应图1及其实施例提供的有透镜成像探测单元102,计算控制单元对应图1及其实施例提供的计算控制单元104。结合透射式显微兼容型无透镜成像的需求,本技术实施例提供一种透射式显微兼容型无透镜成像探测单元,图3是本技术实施例提供的一种透射式显微兼容型无透镜成像探测单元的结构示意图,透射式显微兼容型无透镜成像探测单元的结构参照图3,包括滤光增透片303和图像传感器304。本技术实施例提供的透射式成像系统(如图2的透射式成像系统30)包括有透射式显微兼容型无透镜成像探测单元(如图3)和透射式有透镜成像探测单元(包括图2中示出有透镜成像探测单元的物镜302和图2未示出的成像探测单元模组)。
85.在透射式成像系统30中,位移台301用于设置样品20,使得第一照明单元照射到样品产生第二信号光,第二照明单元照射到样品产生第一信号光。该位移台301可以是框式结构,能够拖住样品20的边缘,以实现样品20的固定和移动,且位移台301的结构设计,能够保证正在测量部分的样品20下方透光,从而避免因位移台301的原因,对信号光造成遮挡和干扰的可能。
86.有透镜成像探测单元包括物镜302和成像探测单元模组(未在图2中示出),成像探测单元模组组装在如图2所示的物镜302后,包含对光进行调制的成像光路系统和至少一个
探测单元,用于对经过物镜302收集的第一信号光进行调制、收集和转化,最终得到至少一个第一电信号发送至计算控制单元。
87.透射式显微兼容型无透镜成像探测单元包括滤光增透片303和图像传感器304,其中,滤光增透片303设置于位移台301下方,用于调制第二信号光得到第三信号光;图像传感器304,设置于滤光增透片303下方,用于收集第三信号光并转化为第二电信号,且滤光增透片303和图像传感器304上均设置有中空的槽。
88.支撑结构305,设置于图像传感器304下方,用于支撑图像传感器304和作为物镜302的定位固定卡口,其中,物镜302对应设置于滤光增透片303和图像传感器304上的中空的槽的位置。
89.进一步地,滤光增透片303能进行特定波段的选择,一方面滤光增透片303可以抑制对有效信号的反射率,提高无透镜光路对有效信号(即第二信号光通过该滤光增透片303后得到第三信号光)的收集效率,有效的抑制第二信号光的反射,滤除多次反射的杂散光,提高无透镜成像系统收集信号的信噪比;另一方面,滤光增透片303能够实现特定波段信号光的选择收集,从而滤除作为干扰信号的环境光和不需要的第一信号光,其中,特定波段是根据照明单元和探测单元的成像方式,以及第二信号光和干扰信号光(环境光和第一信号光)的波段确定的。如果是明场成像,能够透过的特定波段可以选择照明单元的光源波段,如果是荧光成像,能够透过的特定波段可以选择样品的荧光发光波段等。图像传感器304包括感光像素阵列,该感光像素阵列可以是背照式图像传感器,其像素结构可以是基于传统光电二极管,如电荷耦合元件(charge coupled device,ccd)和互补式金属氧化物半导体(complementary metal oxide semiconductor,cmos),或是基于新器件新材料的图像传感器,如光电晶体管、半浮栅晶体管、浮栅晶体管、量子点等新型材料和器件等。可选地,图像传感器304还可以包括掩模层和表面功能层,掩模层的作用是对信号光的强度、相位、波长、偏振等实现调制编码,调制编码包括但不限于超构表面,随机图案掩模,相位编码掩模、衍射元件等。掩模层的材料可以选择介质材料、液晶材料、铁电材料、金属材料或有机聚合物材料等。表面功能层是一个复合功能层,其主要可以实现的功能包括:实现像素表面的钝化保护功能、实现滤光功能和实现折射率匹配,减少信号光的传播损耗。在不同的应用场景中,表面功能层的复合功能可以包括这些功能中的至少一种。表面功能层的材料可以选择介质材料、金属材料或有机聚合物材料等。
90.设置于最底部的支撑结构305上设置物镜302和图像传感器304可以参照图2,将物镜302嵌入式设置在支撑结构305中,图像传感器304可以设置在支撑结构305之上。可选地,滤光增透片303和图像传感器304上可以设置有等大、镂空的槽,作为有透镜成像探测单元的观察窗口,参照图2,物镜302设置在该中空的槽(即镂空)处,照明光照射样品20后产生的进入物镜302并被物镜302收集的第一信号光,可以通过物镜302后设置的成像探测单元模组,转化为第一电信号,实现高分辨率的成像;照明光照射过样品20后产生第二信号光,进入滤光增透片303,经过调制成为第三信号光,并被图像传感器304收集和转化为成为第二电信号,第二电信号转化而成的图像为观察样品20的大视场成像图像。这样一来,保证了透射式成像中信噪比和信号光成分不受到无透镜成像光路的影响,实现了光路的解耦。
91.在一些实际使用的场景中,图像传感器304的感光像素阵列(即靶面)的面积可以根据样品的大小确定,如样品通常在厘米样级,则成像靶面的面积可以对应设计在2cm2~
10cm2,由于透射式显微兼容型无透镜成像探测单元的成像分辨率取决于其像素大小,故像素大小根据分辨率需求而确定,范围可以在0.3~10um之间,可选地,图像传感器304的感光像素阵列既可以是由多个第二感光像素阵列(即小靶面的感光像素阵列,如靶面是1cm2左右的感光像素阵列)拼接合成的,也可以是第一感光像素阵列(即一个大靶面的感光像素阵列,如靶面的面积在2cm2~10cm2之间的感光像素阵列)。进一步地,图4是本技术实施例提供的一种图像传感器结构示意图,如果感光像素阵列是由多个小靶面的感光像素阵列拼接合成的,通过多个小靶面的感光像素阵列,拼接得到一个包括在中空的槽3043位置镂空的感光像素阵列,这种图像传感器304的设计可以参照图4的左图,在图像传感器304的封装基板3041上,放置多个1cm2左右的小靶面的感光像素阵列3042,中空的槽3043的位置上,不放置感光像素阵列3042,同时在封装基板3041上留出尺寸匹配的镂空区域,其中,镂空区域略大于物镜302所需的区域,能够放置物镜302,这种图像传感器304的中空的槽3043通常为矩形。如果感光像素阵列是一个整体的大靶面的感光像素阵列3044,则在感光像素阵列上开一个中空的槽3045,这种图像传感器304的设计参照图4的右图,中空的槽3045通过半导体工艺,在制造图像传感器304的过程中通过加工工艺实现(如刻蚀开孔等),同样在封装基板3041上留出略大于物镜302所需的区域的镂空区域,图4的右图以圆形开孔示意,该中空的槽3045直径大于物镜302的最大视场,略小于封装基板3041的镂空区域,直径可以在0.5~3cm之间,在实际应用中,中空的槽可以是矩形、椭圆形等或者其他形状,不以本技术示例为限定。滤光增透片303的中空的槽参照图像传感器304的中空的槽设置,不再展开叙述。本技术实施例将1cm2左右的感光像素阵列定义为小靶面,将面积在2cm2~10cm2之间的感光像素阵列定义为大靶面。
92.在一些实际使用的场景中,物镜302可以是透射式显微成像系统的显微物镜,包括放大倍数在10x(倍率)~100x(倍率)区间的显微物镜,基于中空的槽的设计,物镜302距离样品20位置的可调制范围较大,相应地,物镜302焦距和大数值孔径(numerical aperture,na)的选择范围较大,可以实现大na高放大倍数的物镜选择,从而得到高分辨率的成像结果。
93.进一步地,样品20成像时,第二照明单元的照明光照射于样品表面,透射后产生信号光,将入射到物镜302中的信号光确定为第一信号光,第一照明光单元的照明光照射样品后透射将到达滤光增透光片303上的信号光确定为第二信号光,第一信号光进入物镜302后,对应图2所示的场景,被物镜302收集后透射出去,根据其成像探测单元模组(即透射式显微系统的成像探测单元模组)的搭建,得到相位显微成像、明场成像、偏振成像、荧光成像等不同模态成像信息中一种或几种,并对应得到第一电信号,如得到明场成像的第一电信号,荧光成像的第一电信号等,进而根据这些第一电信号分别得到高分辨率的图像。第二信号光到达滤光增透光片303,透射出的信号光是调制为特定波长的第三信号光,被图像传感器304收集并转化为第二电信号,由于根据图像传感器304得到的图像是离焦图像,可以通过全息重建,图像重聚焦等算法进行重构得到样品的大视场的图像。计算得到图像的步骤可以在图1所示的计算控制单元上完成,图2中未示出计算控制单元及其与各单元的控制链路。
94.参照图2,样品20是在微流控芯片中流动的样品,本技术实施例以样品20是运动样品,比如微流控中流动的样品为例进行说明,该样品20也可以是静止的样品,非流动的生物
样片组织切片等,不以示例为限制。
95.如图3所示的透射式显微兼容型无透镜成像探测单元,可以组装到有透镜成像探测系统中去,组装后得到透射式成像系统,透射式成像系统可以参照图2,但不以图2做限定,透射式成像系统结合了无透镜大视场和有透镜高分辨的优势,实现实时多模态成像信息的快速获取,在提高系统空间带宽积的同时实现高通量。适用于高速运动的生物样本成像或高成像通量要求的生物样本成像。
96.图5是本技术实施例提供的一种将透射式显微兼容型无透镜成像探测单元结合到有透镜成像探测系统中构成光学整机系统的结构示意图。如图5所示,该系统包括如图2所示的成像系统30,其中,有透镜成像探测单元(包括物镜302和有透射式显微系统的成像探测单元模组307),图5中的虚线表示光路。
97.参照图5,物镜302后的光路上,设置有透射式显微系统的成像探测单元模组307,透射式显微系统的成像探测单元模组307包括不同功能的成像光路系统3071和至少一个探测单元3072,成像光路系统3071能够获取相位成像、明场成像、偏振成像、荧光成像等不同模态成像信息中一种或几种,各探测单元3072对应每种模态成像信息形成一个第一电信号,用以分别成像,该光学整机系统可以适用于微流控芯片40分选样品20的应用场景中,是一种结合无透镜成像和透射式多模态有透镜显微成像功能的光学系统。
98.可选地,假设需要成像的样本20,是在微流控芯片40上流动的细胞、大分子等微米级的具备一定透明度的物体,成像目标是基于图像信号的微流控芯片40在样品20流动过程中,对流动中的样品20的图像信息进行获取分析,筛查出需要的样品进行分选。由于需要筛查的样品总量通常较大,要保证通量,样品需要以较快的速度通过微流控芯片40中微流道的分析区域,并在分选区域高效率完成分选操作,因此信号分析和分选难度较大,即需要在样品20流过分析区域的有限时间里,采集到高分辨率的图像信息、完成目标样品的识别,和对被识别出的样品进行准确的追踪和成功分选。这就需要同时满足得到高分辨率的图像的成像(保证识别的高准确性)和满足对样品进行大视场的追踪观察(保证分选的高准确性)。本技术实施例提供的如图5所示的光学整机系统应用在微流控芯片40中,能够有效解决因采用间接追踪的方式,而导致的误筛、漏筛等问题,还能解决样品在微流控芯片的微流道中流过时,遇到异常情况不能及时识别的问题,能够增强系统运作的稳定性和可靠性。
99.参照图5,该光学整机系统在如图2所示的透射式成像系统30的基础上,还包括照明单元306、微流控芯片40、光纤50和透射式显微系统的成像探测单元模组307,其中,位移台301上控制的是微流控芯片40,样品20在微流控芯片40的微流道中流动。
100.进一步地,照明单元306包括第一照明单元3061和第二照明单元3062,第一照明单元3061是无透镜成像探测单元的照明单元,第二照明单元3062是有透镜成像探测单元的照明单元,为了实现第一照明单元3061和第二照明单元3062照明光的解耦,提高其设计自由度,同时避免其照明单元之间的光路串扰,第二照明单元3062通过光纤50耦合实现在中空的槽的局部照明来实现为有透镜成像探测单元照明。进一步地,第一照明单元是置于自由空间发散的光源,包括led点光源、激光光源等,第二照明单元包括通过多模光纤耦合的复色光、单模光纤耦合的单色光等,光纤可以是单模光纤或者多模光纤。
101.透射式显微系统的成像探测单元模组307,包括成像光路系统3071(图5中未示出)和至少一个探测单元3072(图5中未示出),成像光路系统3071用于根据第一信号光得到多
模态成像信息中的一种或几种信息,每个探测单元3072对应每一种模态成像信息生成一个第一电信号,参照图5,透射式显微系统的成像探测单元模组307包括成像光路系统(包括光学组件30711~30717)和四个探测单元,四个探测单元分别记作第一探测单元30721,第二探测单元30722、第三探测单元30723和第四探测单元30724。
102.举例来说,物镜302在微流控芯片40的分析区域,对流过流道的样品20进行显微图像采集,结合上述示例,第二照明单元3062的照明光通过光纤50,射入样品20,透射后的第一信号光经过物镜302的收集进入成像光路系统3071中,再通过分光棱镜分为多个光路(此处以分为四个光路为例),分别对样品20光场的振幅、相位、荧光、光谱或偏振等不同模态的信息进行获取。如图5所示,第一信号光可以经过一个分光棱镜30711,分为两个光路,分别记作第五信号光和第六信号光,其中,第五信号光可以经过一个透镜30715和一个滤光片30716,被第二探测单元30722采集到,第二探测单元30722可以根据采集到的第五信号光获得的图像b,图像b是观察分析区域的高分辨荧光图像,滤光片30716能够实现对干扰光(照明光和环境干扰光)的滤除获得纯的荧光信号。第六信号光可以经过一个透镜30714,再经过一个分光棱镜30712,分为两个光路,分别记作第七信号光和第八信号光,其中,第七信号光被第四探测单元73724采集到,第四探测单元30724是光谱相机,可以根据采集到的第七信号光获得的图像c,图像c是样品20的高分辨光谱图像,或第四探测单元30724是偏振相机,可以根据采集到的第七信号光获得的图像c,图像c是样品20的高分辨偏振图像。第八信号光再经过一个分光棱镜30713分为两个光路,分别记作第九信号光和第十信号光,其中,第九信号光被第三探测单元30723采集到,第三探测单元30723根据采集到的第九信号光获得的图像d,图像d是样品20的高分辨明场图像。第十信号光经过衍射光栅30717,被第一探测单元30721采集到,第一探测单元30721根据采集到的采集到的信号光获得的图像e,图像e是样品20的高分辨剪切干涉图像,能够获得样品20的相位信息。
103.进一步地,探测单元3072包括4f系统和成像相机,或,仅包括成像相机,其中,第一探测单元30721、第二探测单元30722和第三探测单元30723的成像相机为对光强成像的灰度相机,第四探测单元30724的成像相机为偏振相机、多光谱相机或者偏振光谱相机。
104.图5提供的透射式显微系统的成像探测单元模组307仅为一种示例,探测单元3072的个数以及成像光路系统3071中的光学组件的选择,都可以根据实际应用场景中获得样品图像的需求选择和组合,如,可以在图5的基础上,通过分光棱镜分光,以扩展更多探测单元;或者,也可以选择四个探测单元中的一个或几个进行组合(比如透射式显微系统的成像探测单元模组307中只包含第一探测单元30721和第二探测单元30722),获得样品对应的多模态成像信息。且,各探测单元3072对应的模态成像信息也可以根据实际需求进行调整。
105.另外,第一照明单元3061参照图5,其照射光能够到达微流控芯片40上分选区域上的所有的样品表面,进而在全片上区域产生第二信号光,进而实现对微流控芯片40分选区域的全片上监控,获得低分辨大视场图像a。
106.本技术实施例中,第二照明单元3062的第一信号光通过样品20后,由于物镜302的视场和景深有限,第一信号光的光强远大于干扰光(如因透射或反射进入物镜302的第二信号光)的光强,因此,进入物镜302并透射后进入透射式显微系统的成像探测单元模组307的第三信号光,可以忽略混入的第二信号光,解耦第一信号光和第二信号光。或者,可以在物镜302的出射光口处,设置一个滤光片,滤除第二信号光。或者,参照图6,在物镜302的入射
光口处,如中空的槽的对应位置上,设置一个开口挡板308,光纤50从挡板308的开口处中伸入物镜302的入射光口处,能够有效遮挡第一照明单元3061产生的信号光,实现第一信号光和第二信号光的解耦。
107.图5提供的照明单元306包括第一照明单元3061和第二照明单元3062仅为一种示例,光学整机系统中的照明单元可以如图5所示包括两个照明单元,也可以只在整机系统中设置其中一个照明单元,由其他设备提供另一个照明;或者,光学整机系统中的照明单元还可以包括更多的照明单元提供照射光,不以图5的示例为限定。
108.基于图1的系统,在一些需要扫描样品不同区域获得多幅高分辨图像的场景中,还可以提供一种基于反射式显微兼容型无透镜成像探测单元的反射式成像系统,图7是本技术实施例提供的一种反射式成像系统的结构示意图,如图7所示,该反射式成像系统60包括:样品放置台601、反射式显微兼容型无透镜成像探测单元(包括分光片602和图像传感器603)、有透镜成像探测单元(图7中仅示出有透镜成像探测单元的物镜605部分,未示出成像探测单元模组)、计算控制单元(图7中未示出)和照明单元(包括第一照明单元和第二照明单元,图7未示出),其中,反射式显微兼容型无透镜成像探测单元对应图1及其实施例提供的无透镜成像探测单元103,有透镜成像探测单元对应图1及其实施例提供的有透镜成像探测单元102,计算控制单元对应图1及其实施例提供的计算控制单元104。结合反射式显微兼容型无透镜成像的需求,本技术实施例提供一种反射式显微兼容型无透镜成像探测单元,图8是本技术实施例提供的一种反射式显微兼容型无透镜成像探测单元的结构示意图,反射式显微兼容型无透镜成像探测单元的结构参照图8,包括分光片602和图像传感器603。本技术实施例提供的反射式成像系统(如图7的反射式成像系统60)包括有反射式显微兼容型无透镜成像探测单元(如图8)和反射式有透镜成像探测单元(包括图7中示出有透镜成像探测单元的物镜605和图7未示出的成像探测单元模组)。
109.在反射式成像系统60中,样品20可以放置在样品放置台601上,样品放置台601可以是培养皿,微孔阵列载玻片等,物镜605设置于收集第二照明单元照射样品反射产生的第一信号光的位置,参照图7,物镜605可以设置在包括样品20的样品放置台601的上方,分光片602和图像传感器603参照图7,可以设置于包括样品20的样品放置台601的下方。进一步地,样品20可以是在微流控芯片中流动的样品,也可以是生物样片组织切片等,图7以样品20是细胞样品培养盘阵列为例,但不以此为限定。
110.分光片602,设置于样品放置台601下方,用于调制第一照明单元照射样品透射产生的第二信号光得到第四信号光。
111.图像传感器603,设置于分光片602下方,用于收集第四信号光并将转化为第二电信号。
112.位移台604,设置于图像传感器603下方(即设置于系统最底部),用于支撑,并对图像传感器603、分光片602和样品放置台601及放置的样品20进行整体移动,使得物镜605与样品20产生位移,从而选取样品放置台601上选定区域的样品20进行有透镜观察,其中,物镜605用于收集第二照明单元照射在样品20上反射的第一信号光。举例来说,位移台604可以上下移动,来调节物镜605的聚焦,使得有透镜成像探测单元获得聚焦图像,位移台604也可以水平方向上左右移动,让有透镜成像探测单元对选定区域的样品进行成像。
113.有透镜成像探测单元包括物镜605和成像探测单元模组(未在图7中示出),成像探
测单元模组组装在如图7所示的物镜605后,包含对光进行调制的成像光路系统和至少一个探测单元,用于对经过物镜605收集的第一信号光进行调制、收集和转化,最终得到至少一个第一电信号发送至计算控制单元。
114.反射式显微兼容型无透镜成像探测单元包括分光片602和图像传感器603,分光片602设置于位移台301下方,用于调制第二信号光得到第四信号光,图像传感器603设置于分光片602下方,用于收集第四信号光并转化为第二电信号。
115.分光片602可以是特定透射反射比的分光片,该分光片的透射率范围为20%~80%,反射率范围为20%~80%。分光片602一方面可以实现第一信号光和第二信号光的解耦,减少透射光路中分光片602后方图像传感器603对物镜605收集的直接从样品反射的信号光的串扰;另一方面,能够实现对进入图像传感器603的透射信号光和进入物镜605的反射信号光的相对强度的调节,即可以通过设计分光片602特定透射反射比,调节照射样品后的第一信号光和第二信号光的相对强度,从而使得两个成像信号的曝光时间和成像速度的匹配,提高整体成像效率。举例来说,如图7所示,照明光照射过样品20进入分光片602后,会有一部分透射光进入图像传感器603和一部分反射光进入物镜605中,如果设置在组装在物镜605后的成像探测单元模组包含4个探测单元,在不考虑光学系统对信号光衰减时,其反射信号光会被分为4份,因此为了保证有透镜成像探测单元获得一定的信噪比,以及降低对探测单元中相机增益和曝光时间的要求,分光片602要设置大于80:20的反射透射比,以提高有透镜系统的信号强度(此80:20的反射透射比是在不考虑实际光路系统中信号衰减和探测单元相机性能差异下给出的示例,实际使用的场景中,其数值确定还要根据实际情况进行确定,不以此处举例做限制)。
116.图像传感器603中可以包括感光像素阵列,该感光像素阵列可以是背照式图像传感器,其像素结构可以是基于传统光电二极管,如ccd和cmos,或是基于新器件新材料的图像传感器,如光电晶体管、半浮栅晶体管、浮栅晶体管、量子点等新型材料和器件等。在一些实际使用的场景中,图像传感器603的感光像素阵列(即靶面)的面积可以根据样品的大小确定,如样品通常在厘米样级,则成像靶面的面积可以对应设计在2cm2~10cm2,由于无透镜成像探测单元的成像分辨率取决于其像素大小,故像素大小根据分辨率需求而确定,范围可以在0.3~10um之间,可选地,图像传感器603的感光像素阵列既可以是由多个第二感光像素阵列(即小靶面的感光像素阵列,如靶面是1cm2左右的感光像素阵列)拼接合成的,也可以是第一感光像素阵列(即一个大靶面的感光像素阵列,如靶面的面积在2cm2~10cm2之间的感光像素阵列)。图9是本技术实施例提供的另一种图像传感器结构示意图,图像传感器603的设计可以参照图9的左图,感光像素阵列是由多个小靶面的感光像素阵列拼接合成的,如在图像传感器603的封装基板6031上,放置多个1cm2左右的小靶面的感光像素阵列6032,得到感光像素阵列。或者,图像传感器603的设计参照图9的右图,在封装基板6031上设置整体的大靶面的感光像素阵列,如通过半导体工艺,在制造图像传感器603的过程中通过加工工艺得到整体成形的大靶面。
117.在一些实际使用的场景中,物镜605可以是反射式显微成像系统的显微物镜,包括放大倍数在10x(倍率)~100x(倍率)区间的显微物镜。由于该系统60的无透镜成像光路和有透镜成像光路分别位于样品20的两侧,信号光的分光通过分光片602来实现,物镜605和样品20间没有设置元件,因此,物镜605和样品20之间的距离,可以任意调节,因此物镜605
的焦距选择范围较大,可以实现na高放大倍数的物镜选择,从而实现较高的分辨率。物镜605相对于样品20的位置也可以任意选取,因此可以实现在样品20的任意区域以任意可选的放大倍率进行成像。
118.进一步地,样品20成像时,第二照明单元的照明光照射于样品20表面,经过分光片602反射后,进入物镜605中,该信号光是第一信号光,第一照明单元的照明光到达分光片602后,透射到图像传感器603上的信号光是第二信号光,第一信号光进入物镜605后,对应图7所示的场景,被物镜605收集后透射出去,根据物镜605之后光路上搭建的成像探测单元模组(即反射式显微系统的成像探测单元模组),实现相位成像、明场成像、偏振成像、荧光成像等。第二信号光到达分光片602后,透射出的信号光记作第四信号光,被图像传感器603收集并转化为第二电信号,由于根据图像传感器603得到的图像是离焦图像,可以通过全息重建,图像重聚焦等算法进行重构得到样品的图像。计算得到图像的步骤可以在图1所示的计算控制单元上完成,图7中未示出计算控制单元及其与各单元的控制链路。
119.如图8所示的反射式显微兼容型无透镜成像探测单元,可以组装到有透镜成像探测系统中去,组装后得到反射式成像系统,反射式成像系统可以参照图7,但不以图7做限定,反射式成像系统结合了无透镜大视场和有透镜高分辨的优势,既能够得到高分辨率的图像,又能够实现对样品信息实时高效率的获取。
120.图10是本技术实施例提供的一种将反射式显微兼容型无透镜成像探测单元结合到有透镜成像探测系统中构成光学整机系统的结构示意图。如图10所示,该系统包括如图2所示的成像系统30,其中,有透镜成像探测单元(包括物镜605和有透射式显微系统的成像探测单元模组607)。
121.参照图10,物镜605后的光路上,设置有反射式显微系统的成像探测单元模组607,反射式显微系统的成像探测单元模组607包括不同功能的成像光路系统3071和至少一个探测单元3072,成像光路系统6071能够获取相位成像、明场成像、偏振成像、荧光成像等不同模态成像信息中一种或几种,各探测单元6072对应每种模态成像信息形成一个第一电信号,用以分别成像。
122.如图10所示,该光学整机系统基于图7的反射式成像系统60,还包括照明单元606和反射式显微系统的成像探测单元模组307,可以适用于用于生物样片应用场景,如生物样片的阅片和生物样片中感兴趣区域的追踪等。
123.其中,生物样片主要包括制备于载玻片上的染色组织、固定细胞或者放置于微盘阵列中的培养的细胞或者菌落等,这类生物样片具有数量庞大,样品密集,成像对象相对静止的特点。在生物样片的场景中,其成像主要包括样片的阅片,细胞培养过程监测等。因此,如果对样片进行高分辨率小视场的扫描成像,会造成耗时较长、系统通量较低,不能对所有生物样本实时监测等问题。举例来说,成像系统要成像的样品20是放置在培养皿阵列中的生物细胞,成像目标是对细胞进行图像观察和筛选时,参照光学整机系统结合图10的示例,可以通过结合反射式显微兼容型无透镜成像探测单元和有透镜成像探测单元的成像,对生物样片进行快速阅片和生长过程的监测,基于本技术实施例提供的光学整机系统的高分辨率、大视场和高通量的特征,解决生物样品阅片的系统通量低,不能对所有样本实时监测等问题。
124.举例来说,照明单元606包括第一照明单元6061和第二照明单元6062,第一照明单
元6061是无透镜成像探测单元的照明单元,第二照明单元6062是有透镜成像探测单元的照明单元,为了实现第一照明单元6061和第二照明单元6062的解耦,提高其设计自由度,同时避免其照明单元之间的光路串扰,第二照明单元6062的照明光,通过光学系统(包括60713分光片和60712透镜以及60711反射镜,其对应光路用实线示意,以区别反射回来的信号光路(以虚线示意))会聚进入物镜605,并在通过物镜605后紧贴样品20的局部区域进行聚焦照明。进一步地,第一照明单元6061是置于自由空间发散的光源,包括led光源、激光光源等,第二照明单元6062是准直扩束后的白光光源或者单色光源。第一照明单元6061的照明光可以是相干光或者部分相干光,第二照明单元6062的照明光可以是相干光源或非相干光。进一步地,图10提供的照明单元606包括第一照明单元6061和第二照明单元6062仅为一种示例,光学整机系统中的照明单元可以如图10所示包括两个照明单元,也可以只在整机系统中设置其中一个照明单元,由其他设备提供另一个照明;或者,光学整机系统中的照明单元还可以包括更多的照明单元提供照射光,不以图10的示例为限定。
125.反射式显微系统的成像探测单元模组607,包括成像光路系统6071(图10中未示出)和至少一个探测单元6072(图10中未示出),成像光路系统6071用于根据第一信号光得到多模态成像信息中的一种或几种信息,每个探测单元6072对应每一种模态成像信息生成一个第一电信号,参照图10,该反射式显微系统的成像探测单元模组607包括成像光路系统(包括光学组件60711~60718)和四个探测单元,四个探测单元分别记作第五探测单元60721,第六探测单元60722、第七探测单元60723和第八探测单元60724。
126.举例来说,第一照明单元6061的第二信号光经过分光片602和图像传感器603后,重建图像得到样品20的图像,由于第一照明单元6061的光照可覆盖整个培养皿阵列,且整个培养皿阵列中的样品20均可被图像传感器603采集到信息并成像,因此可实现对生物样片(本例中指整个培养皿阵列)的全片上监控,获得低分辨大视场图像f,从而实现样品20的初筛。计算控制单元通过低分辨大视场的图像f进行初筛后,可以确定出选定区域,如异常区域或者感兴趣的区域,并控制位移台604移动,带动包括样品20的整个培养皿阵列与物镜605产生相对位移,使得物镜605在培养皿阵列上,针对反馈的异常区域或者感兴趣的区域对样品20进行显微图像采集,以使得计算控制单元根据成像的图像进行细筛观察。
127.一种可能的方式是,结合图10,第二照明单元6062的信号光照射样品20后,反射的第一信号光经过物镜605的收集,进入成像光路系统6071中,再通过分光棱镜分为多个光路(此处以分为四个光路为例),分别对样品20光场的振幅、相位、荧光、光谱或偏振等不同模态的信息进行获取。如图10所示,第一信号光可以先被反射镜60711反射,经过一个透镜60712,再经过一个分光棱镜60713和一个分光棱镜60714,得到第十一信号光和第十二信号光,其中,第十一信号光经过衍射光栅60715,被第五探测单元60721采集到,第五探测单元60721根据采集到的信号光获得的图像g,图像g是样品20的高分辨剪切干涉图像,能够获得样品20的相位信息,第十二信号光再经过一个分光棱镜60716得到第十三信号光和第十四信号光,其中,第十三信号光经过一个滤光片60717,被第六探测单元60722采集到,第六探测单元60722可以根据采集到的信号光获得的图像h,图像h是异常区域或者感兴趣的区域的高分辨荧光图像,其中,滤光片60717能够实现对干扰光的滤除,第十四信号光再经过一个分光棱镜60718得到第十五信号光和第十六信号光,其中,第十五信号光被第七探测单元60723采集到,第七探测单元60723根据采集到的第十五信号光获得的图像i,图像i是样品
20的高分辨明场图像。第十六信号光被第八探测单元60724采集到,第八探测单元60724包括光谱相机,可以根据采集到的第十六信号光获得的图像j,图像j是样品20的高分辨光谱图像,或第八探测单元60724包括偏振相机,此时根据采集到的第十六信号光获得的图像j是样品20的高分辨偏振图像。
128.进一步地,探测单元6072包括4f光学系统和成像相机,或,仅包括成像相机,其中,第五探测单元60721、第六探测单元60722和第八探测单元60724的成像相机为对光强成像的灰度相机,第七探测单元60723的成像相机为偏振相机、多光谱相机或者偏振光谱相机。
129.图10提供反射式显微系统的成像探测单元模组607仅为一种示例,探测单元6072的个数以及成像光路系统6071中光学元件的选择,都可以根据实际应用场景中获得样品图像的需求选择和组合,如,可以在图10的基础上,通过分光棱镜分光,以扩展更多探测单元6072;或者,也可以选择四个探测单元6072中的一个或几个进行组合,获得样品对应的多模态成像信息。且,各探测单元6072对应的模态成像信息也可以根据实际需求进行调整。
130.在生物样片阅片的场景中,参照图10提供的系统,可以实现对样品的实时大视场初筛和局部小视场细筛,能够在满足系统大视场和对感兴趣区域高分辨的目的下,保证系统对生物样片的阅片通量。
131.本技术实施例通过提供如图1至图10所示的无透镜成像系统和有透镜显微系统的兼容的成像系统,实现了高分辨、大视场、高通量的成像,本技术实施例中提供的模组、单元及系统,既可以应用在一些独立光学模组或者组装件中,也可以基于此无透镜成像系统和有透镜显微系统的兼容的成像的技术设计出成像光学系统整机进行应用,如参考图5、图6或图10的光学整机系统进行应用;或者,基于本技术实施例提供的成像探测单元模组307或成像探测单元模组607,进行功能扩展,比如加入了其他功能元件,或选择其中的部分功能进行实现等,并相应增减探测单元,得到图像。在一些实例中,该成像系统可以作为显微系统的功能扩展组件或专用的光学系统整机在适用的各种场景中使用,不以本技术实施例的举例为限定。
132.本技术实施例提供一种成像方法,基于图1所示的系统,图11是本技术实施例提供的成像方法的流程示意图,该方法包括:
133.s101、成像系统将照明光照射样品后产生第一信号光和第二信号光。
134.信号光照射过样品后至少包括第一信号光和第二信号光,其中,第一信号光为射入有透镜成像探测单元的信号光,第二信号光为射入无透镜成像探测单元的信号光。有透镜成像探测单元包括物镜和成像探测单元模组,成像探测单元模组包括不同功能的成像光路系统及至少一个探测单元,无透镜成像探测单元包括光学元件和图像传感器,其中,光学元件可是如图2至图6所示的滤光增透片,或,光学元件可以是如图7、图8和图10所示的分光片。
135.s102、成像系统的有透镜成像探测单元调制和收集经过的第一信号光,并转化为第一电信号。
136.如,包括物镜的有透镜成像探测单元可以通过物镜收集透射或反射的第一信号光,并传入成像探测单元模组,经过不同功能的成像光路系统,由对应的探测单元生成第一电信号。
137.s103、成像系统的无透镜成像探测单元调制和收集进入的第二信号光,并转化为
第二电信号。
138.如,无透镜成像探测单元通过滤光增透片调制第二信号光透射后得到第三信号光,通过图像传感器将第三信号光转化为第二电信号,或者,通过分光片调制第二信号光透射后得到第四信号光,通过图像传感器将第四信号光转化为第二电信号。
139.其中,s102和s103不限定顺序关系。
140.s104、成像系统对第一电信号和第二电信号进行处理得到图像。
141.其中,成像系统可以根据第二电信号可以基于图像重建算法,包括但不限于基于压缩感知的算法、基于深度学习的方法、基于超分辨像素的算法和基于全息干涉的算法等得到低分辨率大视场的图像。且,成像系统可以基于成像探测单元模组得到的第一电信号得到多组图像,得到不同模态的高分辨率的图像。在实际应用的场景下,一种成像的可能是,成像系统分别获得几组图像,对应不同的需求,如分别获得低分辨率大视场的图像进行监测、追踪,获得高分辨率的图像进行阅片等,另一种成像的可能是,将高分辨率的图像和大视场的图像合成为一帧高质量大视场的图像,用于相应的操作。本技术实施例以前一种可能分别举例说明,但不以此做限定。
142.需要说明的是,本技术实施例提供的方法可以应用在图1至图10提供的单元或系统及其变形中,实施方法参照上述举例,不再展开赘述。
143.在一种可能实现的方式中,本技术实施例所提供的方法可以应用在图2至图6所示的单元或系统中,既可以通过有透镜的显微系统在分析区域提取样品的多模态成像信息,通过其信息获取和分析识别定位需要分选的样品,又能通过反馈使得无透镜光学系统对识别的样品进行追踪。如,其方法如图12所示,在图11提供的方法的基础上,适用于如图5所示的光学整机系统中,具体包括:
144.s201、计算控制单元根据有透镜成像探测单元传输的至少一个第一电信号,控制位移台移动并通过无透镜成像探测单元对第一区域获取成像;其中,第一区域根据至少一个第一电信号确定。
145.举例来说,有透镜成像探测单元可以参照图5对应实施例中提供的透射式显微系统的成像探测单元模组,得到相位成像、明场成像、偏振成像和荧光成像的模态成像信息,有透镜成像探测单元在微流控芯片的分析区域上,实时快速获取流道中样品的多模态成像信息,计算控制单元根据有透镜成像探测单元传输的,对应这些多模态成像信息的第一电信号生成图像,对图像进行分析选出目标对象。再根据目标对象生成分选指令,使得无透镜成像探测单元对目标对象所在的第一区域成像,以完成监测、跟踪和计数等检测,进而进行分选。
146.进一步地,分选指令可以是对根据有透镜成像探测单元传输的第一电信号识别出的白细胞进行监测、跟踪定位和计数,计算控制单元根据分选指令确定白细胞所在的第一区域,如通过图5中得到的图像a、图像b、图像c、图像d和图像e定位出白细胞的位置得到第一秋雨,再通过控制位移台使得无透镜成像单元对第一区域成像,以实时更新的第二电信号生成的图像,对这些白细胞进行监测和计数等,还可以将监测和计数的结果,即检测得到信息反馈至微流控芯片的分选系统中,以提高分选的准确性。
147.s202、计算控制单元在第二电信号反馈样品异常的情况下,输出反馈信号,反馈信号用于指示样品异常。
148.无透镜成像探测单元可以对微流控芯片的流道进行全局成像,即无透镜成像探测单元对样品进行微流控芯片的全片上视场(大视场)的成像,实时反馈成像的图像,以使得计算控制单元能够根据其反馈的图像及时发现样品异常,如流动堵塞、振动,流速波动等异常情况,为及时解决异常情况,提高系统的运行稳定提供保障。
149.s202与s201之间没有顺序关系。
150.该方法能够解决基于成像的微流控芯片中,分选系统无法实现识别对象而不能实时追踪的问题,并有效提高微流控芯片的分选准确性。此外,由于无透镜成像探测单元和无透镜成像探测单元的配合,可以在保证成像质量的同时,降低对分选系统和微流控芯片的设计要求,实现高通量分选和高质量成像。
151.在一种可能实现的方式中,本技术实施例所提供的方法可以应用在如图7至图10所示的系统中,计算控制单元能够根据无透镜成像探测单元的成像(即根据第二电信号得到图像),对生物样片进行初筛识别目标对象(如图10所示的某个或某种样品20),得到包括目标对象的选定区域,如异常区域或者感兴趣区域的位置信息,并控制位移台移动到指定位置,再由有透镜成像探测单元对指定位置上对应的选定区域中的样品成像,(即有透镜成像探测单元向计算控制单元传输对应选定区域的至少一个多模态成像信息的第一电信号),计算控制单元根据第一电信号得到的图像进行细筛。如,其方法如图13所示,在图11提供的方法的基础上,适用于如图10所示的光学整机系统中,具体包括:
152.s301、计算控制单元根据无透镜成像探测单元传输的第二电信号,控制位移台移动并通过有透镜成像探测单元对第二区域获取成像,其中,第二区域根据第二电信号确定。
153.通过第二电信号确定第二区域的情况下,要识别的在第二区域中的目标对象需具有一些便于观察的特征,如样品中,白细胞比红细胞大,无透镜成像探测单元得到的图像可以识别出目标对象白细胞,目标对象可以是白细胞。
154.进一步地,计算控制单元可以根据第二电信号得到大视角图像,进而根据大视角图像中的白细胞的位置信息确定第二区域,控制位移台将白细胞进行移动,以使得通过有透镜成像探测单元对包括白细胞的第二区域获取成像。进一步地,对第二区域获取成像包括相位成像、明场成像、偏振成像、荧光成像等,如在一种场景中需要对目标对象得到明场成像图像、相位成像图像和荧光成像图像,则参照图10所示的反射式显微系统的成像探测单元模组,得到明场成像图像、相位成像图像和荧光成像图像。
155.该方法能够提高对生物样片的阅片效率,通过无透镜成像探测单元进行初筛和全局监测,有透镜成像探测单元进行细筛和信息提取,构建出高通量、高效率的阅片光学成像系统,解决了阅片显微系统低通量的问题,也降低了对位移扫描系统的硬件要求。
156.本技术实施例以微流控芯片和进行细胞阅片的显微系统为例进行说明,在实际应用中,设置有本技术实施例提供的成像系统,参照本技术实施例得到高通量、高分辨率和大视场图像的方法、装置和系统均在本技术保护范围之内,因装置多样性,不在本技术实施例中逐一列举。
157.本技术实施例还提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在处理器上运行时,实现前述实施例中任一实施例的方法中任一方法中的部分或全部操作。
158.本技术实施例还提供了一种计算机程序产品,包括计算机程序,当其在处理器上
运行时,实现前述实施例中任一实施例的方法中任一方法中的部分或全部操作。
159.本技术实施例还提供一种成像系统,包括上述实施例中提供的流动型微流控系统和非流动型微流控系统,用于实现前述实施例中任一实施例的方法中任一方法中的部分或全部操作。
160.本技术实施例还提供了另一种成像系统,包括至少一个存储器和至少一个处理器,该至少一个存储器存储有指令,该至少一个处理器执行指令,使得成像系统实现前述实施例中任一实施例的方法中任一方法中的部分或全部操作。
161.本技术实施例还提供了一种芯片,包括:接口电路和处理器。接口电路和处理器相连接,处理器用于使得芯片执行前述实施例中任一实施例的方法中任一方法中的部分或全部操作。
162.本技术实施例还提供一种芯片系统,包括:处理器,处理器与存储器耦合,存储器用于存储程序或指令,当程序或指令被处理器执行时,使得该芯片系统实现前述实施例中任一实施例的方法中任意一个方法中的部分或全部操作。
163.可选地,该芯片系统中的处理器可以为一个或多个。该处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时,该处理器可以是逻辑电路、集成电路等。当通过软件实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现。
164.可选地,该芯片系统中的存储器也可以为一个或多个。该存储器可以与处理器集成在一起,也可以和处理器分离设置,本技术实施例并不限定。示例性的,存储器可以是非瞬时性处理器,例如只读存储器rom,其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本技术实施例对存储器的类型,以及存储器与处理器的设置方式不作具体限定。
165.示例性的,该芯片系统可以是现场可编程逻辑门阵列(field programmable gate array,fpga),可以是专门应用的集成电路(application specific integrated circuit,asic),还可以是系统芯片(system on chip,soc),还可以是中央处理器(central processing unit,cpu)等,还可以是数字信号处理电路(digital signal processor,dsp),还可以是微控制器(micro controller unit,mcu),还可以是可编程控制器(programmable logic device,pld)或其他集成芯片。
166.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
167.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
168.在本技术所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑业务划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以
结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
169.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
170.另外,在本技术各个实施例中的各业务单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件业务单元的形式实现。
171.集成的单元如果以软件业务单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
172.本领域技术人员应该可以意识到,在上述一个或多个示例中,本技术所描述的业务可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些业务存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
173.以上的具体实施方式,对本技术的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本技术的具体实施方式而已。
174.以上,以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
技术特征:
1.一种成像系统,其特征在于,包括:至少一个照明单元,用于产生照明光照射样品,所述照明光照射所述样品后产生第一信号光和第二信号光,其中,所述第一信号光经过物镜收集进入有透镜成像探测单元,所述第二信号光进入无透镜成像探测单元,所述有透镜成像探测单元包括所述物镜;所述有透镜成像探测单元,用于调制和收集经过的所述第一信号光,并转化为第一电信号传输到计算控制单元;所述无透镜成像探测单元,用于调制和收集进入的所述第二信号光,并转化为第二电信号传输到所述计算控制单元;所述计算控制单元,用于对收到的所述第一电信号和所述第二电信号进行处理得到图像。2.根据权利要求1所述的成像系统,其特征在于,所述至少一个照明单元还包括第一照明单元和第二照明单元,所述成像系统还包括:位移台,用于设置并移动所述样品,使得所述第一照明单元照射到所述样品产生所述第二信号光,所述第二照明单元照射到所述样品产生所述第一信号光;所述无透镜成像探测单元包括滤光增透片和图像传感器,其中,所述滤光增透片设置于所述位移台下方,用于调制所述第二信号光得到第三信号光;所述图像传感器,设置于所述滤光增透片下方,用于收集所述第三信号光并转化为所述第二电信号,其中,所述滤光增透片和所述图像传感器上设置有中空的槽;支撑结构,设置于所述图像传感器下方,用于支撑所述图像传感器和所述物镜,其中,所述物镜对应设置于所述滤光增透片和所述图像传感器上的所述中空的槽的位置。3.根据权利要求1所述的成像系统,其特征在于,所述至少一个照明单元还包括第一照明单元和第二照明单元,所述成像系统还包括:所述无透镜成像探测单元包括分光片和图像传感器,所述物镜设置于收集所述第二照明单元照射所述样品反射产生的所述第一信号光的位置;所述分光片,设置于所述样品下方,用于调制所述第一照明单元照射所述样品透射产生的所述第二信号光得到第四信号光;所述图像传感器,设置于所述分光片下方,用于收集所述第四信号光并将转化为所述第二电信号;位移台,设置于所述图像传感器下方,用于支撑并移动所述图像传感器、所述分光片和所述样品。4.根据权利要求1至3任一项所述的成像系统,其特征在于,所述有透镜成像探测单元还包括成像探测单元模组,所述成像探测单元模组用于根据所述第一信号光得到多模态成像信息中的一种或几种信息,并对应每一种所述多模态成像信息生成一个所述第一电信号。5.根据权利要求1至4任一项所述的成像系统,其特征在于,所述图像传感器包括感光像素阵列,所述感光像素阵列是第一感光像素阵列,或所述感光像素阵列由多个第二感光像素阵列拼接合成。6.根据权利要求2所述的成像系统,其特征在于,
所述计算控制单元,还用于根据所述有透镜成像探测单元传输的至少一个所述第一电信号,控制所述位移台移动并通过所述无透镜成像探测单元对第一区域获取成像;其中,所述第一区域根据所述至少一个所述第一电信号确定。7.根据权利要求3所述的成像系统,其特征在于,所述计算控制单元,还用于根据所述无透镜成像探测单元传输的所述第二电信号,控制所述位移台移动并通过所述有透镜成像探测单元对第二区域获取成像;其中,所述第二区域根据所述第二电信号确定。8.根据权利要求6或7所述的成像系统,其特征在于,所述计算控制单元,还用于在所述第二电信号反馈所述样品异常的情况下,输出反馈信号,所述反馈信号用于指示所述样品异常。9.一种成像方法,其特征在于,所述方法适用于权利要求1的成像系统中,包括:照明光照射样品后产生第一信号光和第二信号光,其中,所述照明光由至少一个照明单元产生,用于照射所述样品;包括物镜的有透镜成像探测单元调制和收集经过的所述第一信号光,并转化为第一电信号;无透镜成像探测单元调制和收集进入的所述第二信号光,并转化为第二电信号;对所述第一电信号和所述第二电信号进行处理得到图像。10.根据权利要求9所述的方法,其特征在于,所述包括物镜的有透镜成像探测单元调制和收集经过的所述第一信号光,并转化为第一电信号包括:包括所述物镜的所述有透镜成像探测单元根据所述第一信号光得到多模态成像信息中的一种或几种信息,并对应每一种所述多模态成像信息生成一个所述第一电信号。11.根据权利要求9或10所述的方法,其特征在于,还包括:根据所述有透镜成像探测单元传输的至少一个所述第一电信号,控制位移台移动并通过所述无透镜成像探测单元对第一区域获取成像;其中,所述第一区域根据所述至少一个所述第一电信号确定。12.根据权利要求9或10所述的方法,其特征在于,还包括:根据所述无透镜成像探测单元传输的所述第二电信号,控制所述位移台移动并通过所述有透镜成像探测单元对第二区域获取成像;其中,所述第二区域根据所述第二电信号确定。13.根据权利要求11或12所述的方法,其特征在于,在所述第二电信号反馈所述样品异常的情况下,输出反馈信号,所述反馈信号用于指示所述样品异常。
技术总结
本申请提供了一种成像系统及方法,系统包括至少一个照明单元,用于产生照明光照射样品,所述照明光照射所述样品后产生第一信号光和第二信号光,其中,所述第一信号光经过物镜收集进入有透镜成像探测单元,所述第二信号光进入无透镜成像探测单元,所述有透镜成像探测单元包括所述物镜;所述有透镜成像探测单元,用于调制和收集经过的所述第一信号光,并转化为第一电信号传输到计算控制单元;所述无透镜成像探测单元,用于调制和收集进入的所述第二信号光,并转化为第二电信号传输到所述计算控制单元;所述计算控制单元,用于对收到的所述第一电信号和所述第二电信号进行处理得到图像。能够实现大视场、高分辨、高通量的成像。高通量的成像。高通量的成像。
技术研发人员:李泠霏 葛宝梁 孔云川 许俊豪
受保护的技术使用者:华为技术有限公司
技术研发日:2023.03.07
技术公布日:2023/8/28
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/