用于从线扫描共聚焦显微镜产生各向同性面内超分辨率图像的系统和方法

1.本公开文本总体上涉及从衍射受限图像产生超分辨率图像；并且具体地，涉及多种系统和方法，所述系统和方法用于使用经训练的神经网络从衍射受限线共聚焦图像产生超分辨图像，以产生一维超分辨图像输出以及通过组合不同取向的一维超分辨图像而获得的各向同性的面内超分辨图像。


背景技术：

2.线共聚焦显微镜用聚焦在一个空间维度上的锐利、衍射受限的照明来照明荧光标记的样品。如果样品发出的最终荧光通过狭缝过滤，并在照明线扫描样品时被记录，则获得具有减少的失焦荧光污染的光学切片图像。虽然不被普遍理解，但样品的照明必然是衍射受限的这一事实意味着(如果获取额外的图像，或者使用光学重新分配技术)空间分辨率可以在线聚焦的方向上(即，沿着一个空间维度)得到改善。然而，与传统的衍射受限共聚焦显微镜相比，所有这些用于在线共聚焦显微镜中提高一维分辨率的技术都会造成更多的剂量或需要更多的图像。
3.除其他外，正是考虑到这些观察，构思和发展了本公开文本的各个方面。
附图说明
4.图1是示出线扫描共聚焦显微镜系统的实施方案的示意图，所述线扫描共聚焦显微镜系统用于生成样品的锐利线照明，以获得衍射受限线共聚焦图像和匹配的相移的phi1、phi2和phi3图像。
5.图2a是当使用图1的显微镜系统从线共聚焦图像的左至右水平扫描衍射受限照明线时的线扫描共聚焦图像的图示；图2b是示出稀疏周期性照明模式的图示，所述稀疏周期性照明模式是当衍射受限照明线扫描以特定间隔被消隐并且然后相对于彼此相移约120度以产生匹配的相移的phi1、phi2和phi3图像时产生的；图2c是示出了横向超分辨图像的图示，所述横向超分辨图像组合了图2b中示出的每个相移的phi1、phi2和phi3图像的稀疏周期性照明模式。
6.图3是示出匹配数据训练对的训练集的简化图示，其中每个训练对具有细胞的衍射受限线共聚焦图像(左)和对应的相同细胞的一维超分辨图像(右)，用于训练神经网络以仅基于评估衍射受限线共聚焦图像输入并预测然后生成所评估的衍射受限线共聚焦图像的一维超分辨图像来产生一维超分辨图像。
7.图4是示出图3的训练集用于训练神经网络以产生用于基于衍射受限线共聚焦图像输入生成一维超分辨图像的高精度预测的方式的简化图示。
8.图5a是使用模拟测试数据用二维衍射受限的点扩展函数(psf)模糊的输入图像；图5b是使用模拟测试数据训练后的神经网络的深度学习输出；图5c是输入图像的一维超分辨地面真值图像，用于与经训练的神经网络的所生成的一维超分辨图像输出进行比较。
9.图6a是示出在不同取向(0度、45度、90度和135度)上旋转的细胞的衍射受限图像的简化图示，其中每个衍射受限图像输入到经训练的神经网络，其中每个得到的图像在水平方向上具有增强的分辨率；图6b是示出来自图6a的经训练的神经网络的输出图像的简化图示，所述输出图像旋转回初始图像的帧并使用联合反卷积进行组合。
10.图7a是用点、线、环和实心圆的混合模拟的原始图像，用衍射受限psf模糊，并将泊松和高斯噪声添加到原始图像；图7b是在执行图6a和6b所示的步骤之后，具有分别沿0度、45度、90度和135度取向的一维超分辨率的四幅图像；图7c是在联合反卷积图7b中的四个图像之后的二维中具有各向同性分辨率的超分辨图像。
11.图8是图示，其中顶行示出了在phi1、phi2和phi3下的照明模式，中间行示出了具有微管标记的真实细胞的图像和匹配的phi1、phi2和phi3图像，并且最后一行示出了在测试期间获得的衍射受限线共聚焦图像(左)和超分辨图像(右)。
12.图9a是在衍射受限模式下拍摄的微管荧光图像；图9b是由经训练的神经网络产生的微管荧光图像；并且图9c是当沿扫描方向施加局部收缩时的地面真值的微管荧光图像，产生分辨率沿一个(竖直)维度增强的超分辨率图像。
13.图10a是示出从衍射受限数据导出的微管荧光图像的输入；图10b是示出沿不同旋转轴线的微管荧光图像的旋转和深度学习输出；图10c是使用联合反卷积处理的微管荧光图像，其使分辨率增益各向同性。
14.对应的附图标记表示附图视图中的对应元件。附图中使用的标题不限制权利要求的范围。
具体实施方式
15.本文公开了使用经训练的神经网络来提高线扫描共聚焦显微镜中的空间分辨率的系统和相关方法的各种实施方案。在一个方面，一种用于提高空间分辨率的方法包括通过用由线共聚焦显微镜系统产生的多个稀疏的、相移的衍射受限线照明模式照明样品或图像类型来生成样品或图像类型的一系列衍射受限线共聚焦图像。一旦生成这些衍射受限线共聚焦图像，就组装包括多个匹配数据训练对的训练集，其中每个匹配数据训练对包括与同一衍射受限线共聚焦图像的对应一维超分辨图像匹配的样品或图像类型的衍射受限线共聚焦图像。分辨率增强的程度取决于由线照明产生的荧光发射的精细程度：对于传统线扫描共聚焦显微镜中的衍射受限照明，可以实现比衍射极限好约2倍的理论分辨率增强。然而，如果可以使荧光发射非线性地依赖于照明强度，例如使用具有光可切换或可饱和开或关状态的荧光染料，则原则上对荧光发射的精细程度没有限制。在这种情况下，分辨率增强两倍以上(理论上，“衍射不受限的”)是可能的。在迄今为止进行的模拟和实验测试中，分辨率比衍射受限分辨率提高了2倍。
16.在如此组装训练集之后，匹配数据训练对用于训练神经网络以“预测”并仅基于神经网络先前没有评估的衍射受限线共聚焦图像输入的评估来生成一维超分辨图像输出。本系统已经成功地测试了残差通道注意力网络(rcan)和u-net，在衍射受限输入上获得了超过2倍的分辨率增强。以rcan为例：将匹配的低分辨率和高分辨率图像对输入到网络架构中，并通过最小化网络预测和地面真值超分辨图像之间的l1损失来训练网络。rcan架构由多个残差组组成，这些残差组本身包含残差结构。这种“残差中的残差”结构形成了一个由
具有长跳过连接的多个残差组组成的非常深的网络。每个残差组还包含具有短跳过连接的残差信道注意块(rcab)。长跳过连接和短跳过连接，以及残差块内的快捷方式，允许绕过低分辨率信息，便于预测高分辨率信息。此外，rcab内的信道注意力机制用于通过考虑信道之间的相互依赖性来自适应地重新缩放信道特征，从而进一步提高网络实现更高分辨率的能力。本系统将残差组(rg)的数量设置为五个；(2)在每个rg中，rcab数被设置为三或五；(3)浅层特征提取中的卷积层数为32层；(4)信道降尺度中的卷积层具有4个滤波器，其中缩减比设置为8；(5)用三维卷积层代替所有二维卷积层；(6)在本系统中，由于网络输入和输出具有相同的大小，所以省略了原rcan末尾的升尺度模块。
17.一旦用特定样品或图像类型的匹配数据训练对训练神经网络，神经网络通过仅基于使用相似样品或图像类型的多个匹配数据训练对来生成对应的一维超分辨图像的神经网络的训练来生成衍射受限线共聚焦图像输入的一维超分辨图像输出，从而获得提高相似样品或图像类型的任何衍射受限线共聚焦图像输入的空间分辨率的能力。在另一方面，神经网络可以通过组合沿不同取向具有一维空间分辨率改进的多个图像来生成各向同性面内超分辨图像。参考附图，在图1-10中示出了用于通过经训练的神经网络生成一维超分辨图像和各向同性的面内超分辨图像的系统和相关方法，并且整体表示为100、200、300和400。
18.在一个方面，神经网络302被训练成仅基于作为输入提供给经训练的神经网络302a的衍射受限线共聚焦图像307的评估来预测和生成一维超分辨图像308。一旦完成对衍射受限线共聚焦图像307的评估，经训练的神经网络302a基于对衍射受限线共聚焦图像307看起来与一维超分辨图像308的相似程度的预测，生成一维超分辨图像308作为输出，而不通过经训练的神经网络302a直接提高衍射受限线共聚焦图像307本身的空间分辨率。具体地，经训练的神经网络302a可操作以通过评估作为输入提供给经训练的神经网络302a的衍射受限线共聚焦图像307中的特定样品或图像类型的某些方面和/或度量来生成一维超分辨图像308，所述经训练的神经网络将衍射受限线共聚焦图像307的空间分辨率提高到作为输出的一维超分辨图像306的水平，而不直接提高被评估的衍射受限线共聚焦图像307的空间分辨率。经训练的神经网络302a可操作以通过评估衍射受限线共聚焦图像304和对应的一维超分辨图像306的匹配数据训练对301来增强基于经训练的神经网络302a的先前训练被评估的衍射受限线共聚焦图像307的空间分辨率。
19.在神经网络302的训练期间，匹配数据训练对301用于训练神经网络302，以在稍后评估作为神经网络302的输入304的相似样品或图像类型的衍射受限线共聚焦图像307时识别相似方面，所述匹配的数据训练对中的每一对由特定种类的样品或图像类型的衍射受限线共聚焦图像304和基于所述衍射受限线共聚焦图像304的对应一维超分辨图像306组成。经训练的神经网络302a现在可操作以基于经评估的输入到经训练的神经网络302a中的衍射受限线共聚焦图像输入307来构造一维超分辨图像308输出。此外，本文公开了一种方法，所述方法通过由经训练的神经网络302a组合沿着相对于样品或图像类型的平面的不同轴线取向的一系列一维超分辨图像308a-d，产生各向同性面内超分辨图像310，这将在下面更详细地讨论。
20.参考图1和图2a-2c，可以使用线扫描共聚焦缩微复制系统100(图1)和处理器111来生成多个衍射受限共聚焦图像304，以产生从被照明的样品108发射的稀疏周期性照明，
所述处理器以三个或更多个不同的相移角接收每个稀疏周期性照明图像并对其进行相移，以产生衍射受限线共聚焦图像304。一旦线扫描共聚焦显微镜系统100生成特定样品108或图像类型的多个衍射受限共聚焦图像304，处理器111组合这些或更多衍射受限共聚焦图像304，以产生存储在与处理器111可操作通信的数据库116中的所述衍射受限线共聚焦图像304的相应一维超分辨图像306。
21.在一个方面，处理器111在数据库116中存储多个匹配数据训练对301，每个匹配数据训练对301由样品或图像类型的衍射受限线共聚焦图像304和通过将样品或图像类型的衍射受限共聚焦图像304组合在一起而产生的相同样品或图像类型的对应一维超分辨图像306组成。例如，数据库116可以存储特定种类样品的多个匹配数据训练对300，每个训练对300由所述样品或图像类型的衍射受限线共聚焦图像304和相同衍射受限线共聚焦图像304的样品或图像类型的对应一维超分辨图像306组成。
22.如图1和图2a-2c所示，示出了用于产生衍射受限线共聚焦图像304并与一维超分辨图像306匹配的线扫描共聚焦显微镜系统100的实施方案。如图1所示，线共聚焦显微镜系统100产生样品108的线扫描共聚焦图像115，所述线扫描共聚焦图像由处理器111相移和快门控制以产生第一相移下的phi1图像116a、第二相移下的phi2图像116b和第三相移下的phi3图像116c，所述处理器组合并处理这些相移图像116a-116c以产生一维超分辨图像306。在一种布置中，线扫描共聚焦显微镜系统100包括照明源101，其传输激光束112通过例如高速快门102，然后通过产生快门控制的锐利照明线扫描113的锐利照明发生器和扫描仪103。然后，快门控制的锐利照明线扫描113通过包括第一和第二中继透镜104和105的中继透镜系统，然后被分色镜106重定向通过物镜107，用于将快门控制的照明线扫描113聚焦通过样品108，以照明和扫描样品108。在一些实施方案中，与照明源101通信的高速快门102(例如声光可调谐滤波器-aotf)可操作用于通过产生快门控制的照明线扫描113的线照明器(例如锐利照明发生器和扫描机构103)消隐由照明源101产生的激光束112。可选地，空间光调制器(未示出)可用于消隐激光束112，以产生快门控制的照明线扫描113。在一些实施方案中，分色镜106将快门控制的照明线扫描113重定向并成像到物镜107的后焦平面，其以稀疏结构化照明模式照明样品108。一旦样品108被如此照明，由样品108在相对于样品108的平面的特定取向上发射的荧光发射114通过物镜107以epi模式收集，并且在通过与物镜107连通的4f配置的管透镜109之后，在被检测器110(例如相机)收集之前，经由分色镜106与快门控制的照明线扫描113分离。如果使用空间光调制器，则在不使用分色镜106的情况下，通过第一中继透镜104和第二中继透镜105将空间光调制器成像到样品108。在一些实施方案中，滤波器(未示出)可放置在检测器110之前，起到拒绝激光的作用。
23.如图所示，处理器111与检测器110进行操作通信，用于接收与样品108在被快门控制的照明线扫描113照明后发出的荧光114相关的数据。在一些实施方案中，样品108可以被照明，并且在不同的阶段获得合成荧光，其中样品108的每个衍射受限线共聚焦图像在相应的不同相位成像。
24.在一个方面，衍射受限线共聚焦图像中的每一个可以被输入到经训练的神经网络302a中用于评估，以生成相应的一维超分辨图像，然后使用联合反卷积技术组合样品108在不同角度的多个一维超分辨图像308，以产生各向同性的超分辨图像310。
25.参考图2a，示出了衍射受限共聚焦图像115，其示出了从左到右水平扫描的快门控
制的照明线扫描113，其导致由显微镜系统100生成的光学切片衍射受限线共聚焦图像。如上所述，高速快门102消隐激光束112，使得快门控制的照明线扫描113相对于样品108从左向右扫描，从而产生稀疏的周期性照明模式。例如，如图2b所示，由快门控制的照明线扫描113生成的稀疏周期性照明模式116a、116b和116c(由phi1、phi2和phi3表示)中的每一个相对于彼此相移约120度，虽然在其他实施方案中，任何多个相移都可以应用于由显微镜系统100生成的稀疏周期性照明模式。一旦相移，稀疏周期性照明模式116a、116b和116c中的每一个组合在一起，以产生一维超分辨图像306，其在线扫描方向(例如，一个空间维度)上的空间分辨率比衍射受限线共聚焦图像304增加约两倍，如图2c所示。
26.如上所述并在图3中示出，训练数据集300包括多个匹配数据训练对301a-301n，其中每个匹配数据训练对301包括使用上述相移方法的样品或图像类型的衍射受限线共聚焦图像304和样品或图像类型的衍射受限共聚焦图像304的对应一维超分辨图像306。基础样品或图像类型显示没有优选取向的事实意味着可以容易地采样足够范围的随机取向的样品或图像类型，使得可以获得足够数量的匹配数据训练对301。
27.例如，如图3所示，训练数据对301a由第一取向的样品或图像类型的衍射受限共聚焦图像304a及其对应的一维超分辨图像306a组成，而匹配数据训练对301b由第二取向的不同样品或图像类型的衍射受限线共聚焦图像304b及其对应的一维超分辨图像306b组成。所述过程重复n次，直到样品或图像类型在不同取向上被扫描，以获得所需数量的匹配数据训练对301n。如图所示，对具有荧光标记结构(灰色)的n个样品(例如，细胞的图像)成像以获得衍射受限线共聚焦图像304a、304b，如图2a-2c所示，对其进行处理以产生这些图像304a、304b等的对应的一维超分辨图像306a、306b等，其生成相应的训练数据对301a、301b等。如上所述，衍射受限共聚焦图像304是利用线共聚焦显微镜系统100通过水平方向上的线扫描获得的。或者，如图3所示，对具有稀疏线照明结构的一系列图像进行后处理，得到沿图3的右列的图像，具有沿水平方向的分辨率增强。
28.参照图4，一旦为特定种类的样品或图像类型产生了足够数量的匹配数据训练对301，则使用匹配数据训练对301的训练数据集300来训练神经网络302，例如u-net或rcan，采用方法200来“预测”仅基于衍射受限线共聚焦图像输入307的评估而构建的一维超分辨图像308，所述衍射受限线共聚焦图像输入先前从未被神经网络302评估过，但是其种类类似于神经网络302被训练的样品或图像类型。如图5b所示，经训练的神经网络302a可仅基于评估输入到经训练的神经网络302a的衍射受限线共聚焦图像输入307来产生一维超分辨图像308的高精度渲染。
29.参照图5a-5c，使用模拟数据进行经训练的神经网络302a的测试。包括衍射受限线共聚焦图像输入307(图5a)的点、线、环和实心圆的混合结构的模拟数据的模糊图像被输入到经训练的神经网络302a中，所述神经网络生成具有等同于一维超分辨图像的地面真值(图5c)的空间分辨率的一维超分辨图像308输出(图5b)。将经训练的神经网络302a的深度学习输出与使用模拟数据的地面真值输出进行比较表明，由经训练的神经网络302a生成的深度学习输出308是高度精确的渲染，非常类似于地面真值的实际一维超分辨图像306。
30.参考图6a和6b，在作为方法400示出的本发明概念的另一方面中，从显微镜系统100获得的样品或图像类型的衍射受限线共聚焦图像304可以沿着不同的取向(例如，0度、45度、90度和135度)旋转，以产生由经训练的神经网络302a取向在那些特定取向上的一系
列生成的一维超分辨图像308a-308d。如图6b所示，由经训练的神经网络302a生成的这些位于不同取向的一维超分辨图像308a-308d可以旋转回到以0度取向的原始一维超分辨图像308的帧中，使用联合反卷积操作(例如，使用richardson-lucy算法)进行组合，所述联合反卷积操作产生沿每个取向具有最佳空间分辨率的各向同性超分辨图像310。在一个方面中，将至少两个不同取向的衍射受限线共聚焦图像304输入到经训练的神经网络302a中产生各向同性超分辨图像310，当随后使用联合反卷积操作组合时，所述各向同性超分辨图像具有沿这些取向增强的空间分辨率。
31.图7a-7c示出了通过组合具有沿着不同取向或轴线的一维空间分辨率增强的一系列深度学习输出(例如，基于不同取向的对应衍射受限线共聚焦图像304生成的一维超分辨图像308)来实现这种各向同性分辨率恢复的示例。图7a是用点、线、环和实心圆的混合模拟的原始输入图像，用衍射受限点扩展函数(psf)模糊，并通过向图像添加泊松和高斯噪声而降级。图7b示出了在执行图6a所示的方法步骤之后，分别以0度、45度、90度和135度取向的四个生成的一维超分辨图像308a-308d。如图6b所示，这些一维超分辨图像308a-308d的反卷积操作产生如图7c所示的各向同性二维超分辨图像310。已经发现，在训练神经网络302a之后，一维超分辨图像308可以由经训练的神经网络302a生成，相对于基本衍射受限线共聚焦图像304没有任何速度损失或剂量增加。
32.参照图8，进行了使用真实数据的测试，以证明用于训练神经网络302基于输入到经训练的神经网络302a中的衍射受限共聚焦图像输入307的重新评估来预测和生成一维超分辨图像308的本方法的功效。具体地，图8的顶行示出了在相移phi1、phi2和phi3下的共聚焦线扫描的照明模式，而中间行示出了具有微管标记的细胞的真实荧光图像，以及phi1、phi2和phi3图像在这些真实荧光图像中的样子。最后，底行示出了衍射受限线共聚焦图像(图8的左下行)和对应的一维超分辨图像306，其中应用了局部收缩操作(图8的右下行)，其导致沿着一个维度(在这种情况下，所述纬度是扫描线扫描所沿的“y”方向)的分辨率提高。
33.图9a-9c是使用类似于图7a-7c所示测试的真实数据的测试的图像。如图所示，图9a-9c的顶行各自示出了在衍射受限模式下拍摄的微管荧光图像304(图9a)，经训练的神经网络302a基于在衍射受限模式下拍摄的微管荧光图像304的评估的微管荧光衍射受限线共聚焦图像304的一维超分辨图像308的深度学习输出(图9b)(图9a)，以及示出了使用局部收缩操作增强的一维超分辨图像的地面真值(图9c)。图9a的底行是在被经训练的神经网络302a评估之前对经训练的神经网络302a的衍射受限共聚焦输入的傅立叶变换。类似地，图9b和图9c的底行示出了在对应顶行中生成的图像的对应傅立叶变换，其分别指示一维(例如，竖直)分辨率的改善。
34.图10a-10c是使用与图7a-7c所示的测试(其中使用了模拟数据而不是真实数据)相似的真实数据的测试的图像。图10a的顶行是衍射受限图像输入，而图10b是在输入图像10a已经分别沿着四个不同的取向(0度、45度、90度和135度)旋转之后经训练的神经网络302a的生成的一维超分辨图像308输出，而图10c的顶行是使用联合反卷积操作产生的各向同性二维超分辨图像310。图10a和图10c的底行示出了傅立叶变换，其中图10b的傅立叶变换指示在图10c的顶行所示的图像的分辨率比在图10a的顶行所示的衍射受限图像的分辨率更好。
35.在一个方面，图像类型可以是当被线共聚焦显微镜100照明时发射荧光发射的相
同类型的样品(例如细胞)。
36.从前面应该理解，尽管已经示出和描述了特定的实施方案，但是在不脱离本发明的精神和范围的情况下，可以对其进行各种修改，这对于本领域技术人员来说是明显的。这种变化和修改在如所附权利要求中所定义的本发明的范围和教导内。

技术特征：
1.一种用于提高空间分辨率的方法，其包括：产生图像类型的多个衍射受限线共聚焦图像，并产生对应于所述图像类型的所述多个衍射受限线共聚焦图像的所述图像类型的多个一维超分辨图像；生成包括多个匹配训练对的训练集，所述多个训练对中的每个训练对包括所述图像类型的所述多个衍射受限线共聚焦图像中的一个衍射受限线共聚焦图像和对应于所述多个衍射受限线共聚焦图像中的所述一个衍射受限线共聚焦图像的一维超分辨图像；以及通过输入所述图像类型的所述多个匹配训练对作为输入来训练神经网络；以及基于对被输入到所述神经网络中的衍射受限线共聚焦图像输入的评估，通过所述神经网络生成所述图像类型的一维超分辨图像。2.根据权利要求1所述的方法，其中，所述神经网络通过识别被输入到所述神经网络中的所述图像类型的所述衍射受限线共聚焦图像输入与所述训练集中的所述图像类型的所述多个衍射受限线共聚焦图像之间的相似性来评估所述图像类型的所述衍射受限线共聚焦图像。3.根据权利要求2所述的方法，其中，通过所述经训练的神经网络生成所述图像类型的所述一维超分辨图像是基于对在由所述经训练的神经网络评估的所述图像类型的所述衍射受限线共聚焦图像输入与所述训练集的所述多个衍射受限线共聚焦图像之间建立的任何相似性的识别。4.根据权利要求3所述的方法，其中，通过所述经训练的神经网络生成所述图像类型的所述一维超分辨图像进一步包括利用在所述衍射受限线共聚焦图像输入与来自每个训练对的所述图像类型的所述多个衍射受限线共聚焦图像之间识别的相似性来识别所述图像类型的所述对应的一维超分辨图像的一个或多个特征。5.根据权利要求1所述的方法，其中，所述多个衍射受限线共聚焦图像中的每个衍射受限线共聚焦图像被相移，然后所述被相移的衍射受限线共聚焦图像被组合以产生每个匹配训练对的所述图像类型的所述多个一维超分辨图像的一个相应一维超分辨图像。6.一种用于产生各向同性超分辨图像的方法，其包括：提供在第一取向上的图像类型的第一衍射受限线共聚焦图像和在第二取向上的所述图像类型的第二衍射受限线共聚焦图像作为神经网络的输入；生成作为来自所述神经网络的输出的在所述第一取向上的所述图像类型的所述第一衍射受限线共聚焦图像的第一一维超分辨图像和在所述第二取向上的所述图像类型的第二一维超分辨图像；以及由处理器组合在所述第一取向上的所述图像类型的所述第一一维超分辨图像和在所述第二取向上的所述图像类型的所述第二一维超分辨图像，以产生由所述处理器输出的各向同性超分辨图像。7.根据权利要求6所述的方法，其中，所述处理器使用联合反卷积操作来组合在所述第一取向上的所述图像类型的所述第一一维超分辨图像和在所述第二取向上的所述图像类型的所述第二一维超分辨图像，以产生所述各向同性超分辨图像。8.根据权利要求7所述的方法，其中，所述处理器使用richardson-lucy算法来执行所述联合反卷积操作。9.根据权利要求6所述的方法，其中，所述第一取向是不同于所述第二取向的取向。
10.根据权利要求6所述的方法，其进一步包括：提供在第三取向上的图像类型的第三衍射受限线共聚焦图像作为所述神经网络的输入；生成在所述第三取向上的所述图像类型的所述第一衍射受限线共聚焦图像的第三一维超分辨图像作为来自所述神经网络的输出；以及由处理器将在所述第三取向上的所述图像类型的第三一维超分辨图像与在所述第二取向上的所述图像类型的第二一维超分辨图像和在所述第一取向上的所述第一一维超分辨图像进行组合，以产生由所述处理器输出的所述各向同性超分辨图像。11.根据权利要求10所述的方法，其进一步包括：提供在第四取向上的图像类型的第四衍射受限线共聚焦图像作为所述神经网络的输入；生成在所述第四取向上的所述图像类型的所述第一衍射受限线共聚焦图像的第四一维超分辨图像作为来自所述神经网络的输出；以及由处理器将在所述第四取向上的所述图像类型的所述第四一维超分辨图像与在所述第三取向上的所述图像类型的所述第三一维超分辨图像、在所述第二取向上的所述图像类型的所述第二一维超分辨图像和在所述第一取向上的所述第一一维超分辨图像进行组合，以产生由所述处理器输出的所述各向同性超分辨图像。

技术总结
公开了用于使用经训练的神经网络从衍射受限线共聚焦图像产生一维超分辨图像以生成一维超分辨输出以及各向同性面内超分辨图像的系统和方法的各种实施方案，其中使用包括多个匹配训练对的训练集来训练所述神经网络，所述多个训练对中的每个训练对包括所述图像类型的所述多个衍射受限线共聚焦图像中的一个衍射受限线共聚焦图像和对应于所述多个衍射受限线共聚焦图像中的所述一个衍射受限线共聚焦图像的一维超分辨图像。聚焦图像的一维超分辨图像。聚焦图像的一维超分辨图像。


技术研发人员：H
受保护的技术使用者：芝加哥大学
技术研发日：2022.01.06
技术公布日：2023/9/26