详情

原文传递一种动态超分辨荧光成像技术

专利名称：	一种动态超分辨荧光成像技术
摘要：	一种动态超分辨荧光成像技术。本发明涉及一种能拍摄动态图像的超分辨荧光成像技术，包括：(1)一种荧光显微成像装置，能进行超分辨成像和低分辨成像，两种成像方式观察的视场区域、物平面相同；对于相同的观察对象，超分辨图像和转换函数卷积后得到的图像等同于低分辨图像，转换函数由测量得到；(2)相应于装置的一种动态图像拍摄与图像处理方法，包括：通过时序控制交替使用超分辨和低分辨两个模块进行连续拍摄，记录图像并保存为视频；然后进行图像处理，以原视频中占少数比例的超分辨图像为先验知识，结合测得的转换函数，用推测计算的方法将原视频中的低分辨图像转换为超分辨图像。本发明用于获取高时间分辨率、长时间的动态超分辨图像。
专利类型：	发明专利
国家地区组织代码：	上海;31
申请人：	黄晓淳
发明人：	黄晓淳
专利状态：	有效
申请日期：	2017-10-27T00:00:00+0800
发布日期：	2019-05-07T00:00:00+0800
申请号：	CN201711037935.7
公开号：	CN109724951A
分类号：	G01N21/64(2006.01);G;G01;G01N;G01N21
申请人地址：	201101 上海市闵行区古龙路1065弄17号801室
主权项：	1.一种荧光显微成像装置，其特征在于，所述荧光显微成像装置从功能上划分为如下几部分： (1)样品台，用于承载被观测样品； (2)超分辨成像模块，该模块包括一系列光学元件、成像器件及光源，使用超分辨成像模块进行成像时，图像具有高空间分辨率，能突破阿贝衍射极限； (3)低分辨成像模块，该模块包括一系列光学元件、成像器件及光源，使用低分辨成像模块进行成像时，图像具有低空间分辨率，不能突破阿贝衍射极限； (4)控制模块，用于控制超分辨成像模块和低分辨成像模块进行拍摄，包括控制两个模块内的光源和光学元件； (5)图像记录和图像处理模块，用于记录图像并进行图像处理；所述超分辨成像模块和低分辨成像模块共用同一个显微物镜，并且光路经过调节后，两个模块成像的视场相同、样品内物平面位置相同；整个荧光显微成像装置内的其它部件，包括：光学元件、成像器件、光源等也可以被两个模块所共用；所述超分辨成像模块和低分辨成像模块，各自能独立对样品进行成像；两个模块进行成像时都需要用光源激发样品内的荧光分子，低分辨成像时样品上的曝光剂量远弱于超分辨成像时样品上的曝光剂量，使低分辨成像对样品所造成的荧光漂白和光毒性更小。 2.一种使用荧光显微成像装置的动态图像拍摄与图像处理方法，其特征在于，所述动态图像拍摄与图像处理方法如下：对样品进行成像时，以设置的时序交替使用超分辨成像和低分辨成像两个模块进行连续拍摄，图像记录后保存为视频，整个拍摄过程中，大部分的原始图像使用低分辨成像模块以较低的曝光剂量进行照明和成像，少部分的原始图像使用超分辨成像模块进行照明和成像；拍摄完成后，由低分辨成像模块拍摄的图像经过图像记录和图像处理模块进行图像处理后，最终会转换为超分辨图像；在本发明的描述中，由超分辨成像模块采集的超分辨图像称为真实超分辨图像，由低分辨图像转换而来的超分辨图像称为计算超分辨图像；在进行低分辨图像至超分辨图像的转换时，会以真实超分辨图像作为先验知识，采用推测计算的方式进行转换；所述原始图像是指成像器件接收来自样品的荧光信号后，直接采集记录的图像，未经过图像处理；所述大部分的原始图像，其中“大部分”的意义是指，拍摄的视频中的大部分数量的图像帧采用低分辨成像模块成像；同理，所述小部分的原始图像，其中“小部分”的意义是指，拍摄的视频中的小部分数量的图像帧采用超分辨成像模块成像。 3.一种使用荧光显微成像装置的动态图像拍摄与图像处理方法，其特征在于，实现所述动态图像拍摄与图像处理方法需要以下几个环节： (1)拍摄前对成像装置的调节、矫正和准备工作 1.1)调节校准超分辨成像模块和低分辨成像模块内的光路，使两者观察的视场区域相同、所观察的物平面在样品内的位置也相同； 1.2)在荧光显微成像装置的图像记录和图像处理模块中设置图像预处理每个步骤会用到的方法； 1.3)测量转换函数，保存在图像记录和图像处理模块中；以上步骤1.1)、1.2)、1.3)按顺序执行； (2)拍摄过程中的时序控制以固定的时间间隔t1，使用超分辨成像模块对样品进行成像，即超分辨原始图像的采样帧率为1/t1；以固定的时间间隔t2＝t1/K，使用低分辨成像模块对样品进行成像，其中K为正整数，即低分辨原始图像的采样帧率为K/t1；首帧图像使用超分辨成像模块采集，待时间间隔t2后，使用低分辨成像模块采集第二帧图像，接下来便以上述的两个采样帧率交替使用两个成像模块进行拍摄；相邻的每两帧超分辨图像之间夹杂着K-1帧低分辨图像；连续拍摄的图像以视频文件的形式保存在图像记录和图像处理模块中，所保存的视频文件的首帧和末帧图像都由超分辨成像模块所采集；由荧光显微成像装置中的控制模块对超分辨成像模块和低分辨成像模块进行控制，来达到成像过程中时序控制的目的； (3)拍摄完成后的图像处理使用荧光显微成像装置中的图像记录和图像处理模块对所记录视频的每帧图像进行处理，包括如下内容： 3.1)图像预处理使用图像记录和图像处理模块中预先设置的方法进行图像预处理，拍摄完成后所记录的视频，每帧图像必须先进行图像预处理； 3.2)荧光漂白矫正每帧图像经过图像预处理后再做荧光漂白矫正，矫正方法为：将每一帧超分辨图像的亮度做标准化处理，使非0像素区域内单位面积上的像素值和视频中首次采集的超分辨图像中非0像素区域内单位面积上的像素值相同；将每一帧低分辨图像的亮度做标准化处理，使非0像素区域内单位面积上的像素值和视频中首次采集的低分辨图像中非0像素区域内单位面积上的像素值相同； 3.3)低分辨图像转换为超分辨图像对于所记录的原视频中的低分辨图像，将其转换为超分辨图像；对于所记录的原视频中的超分辨图像，不需要进行转换； 3.4)物体分割对于所记录的原视频中的低分辨图像，需要先将其转换为超分辨图像，再进行物体分割；对于所记录的原视频中的超分辨图像，直接进行物体分割；所述物体分割的目的是为了将超分辨图像分割为一系列亮斑，并建立亮斑库，所建立的亮斑库在进行3.3)所述的低分辨图像转换为超分辨图像的过程中使用。 4.如权利要求3所述的动态图像拍摄与图像处理方法，其特征在于，所述步骤1.2)和步骤3.1)中的图像预处理，包括如下步骤： (1)低分辨图像像素插值当低分辨原始图像的尺寸(横向像素数、纵向像素数)小于超分辨原始图像的尺寸时，需要对其插入像素以达到和超分辨图像尺寸相同(横向像素数、纵向像素数都相同)，并在新填入的像素位置进行插值，使插值后的图像平滑； (2)超分辨图像和低分辨图像配准所述配准，是指在超分辨图像和低分辨图像尺寸相同的情况下，样品物平面上任意一点，成像时映射至图像上的像素位置在超分辨图像和低分辨图像中的坐标相同，并且映射后的相对位置与在样品上原本的相对位置相同；使用棋盘格图案，或包含大量已知参考点坐标的样品作为标准样品，对超分辨图像和低分辨图像分别进行标定，矫正各自的图像畸变，并最终使两个成像模块“物-像”的映射关系一致，完成图像配准；对标准样品完成配准后得到映射矫正函数，正式拍摄所采集的图像便使用该映射矫正函数进行图像配准； (3)像素值矫正所述像素值矫正，其目的是通过调整图像上各个位置的像素值，使物面上荧光亮度和图像上像素值的对应关系在各个像素位置均匀一致；使用已知荧光亮度的标准样品来进行像素值矫正，对超分辨图像和低分辨图像各自分别进行像素值矫正；对标准样品完成矫正后得到像素值矫正函数，正式拍摄所采集的图像便使用该像素值矫正函数进行矫正； (4)滤除噪声所述滤除噪声，目的是滤除包括：照明光源的噪声、荧光弱光发射时固有的散粒噪声、荧光分子的闪烁、CCD/CMOS/APD/PMT等成像元件的电子噪声等引起的图像噪声；使用均值滤波、高斯滤波、中值滤波、双边滤波等方法对超分辨图像和低分辨图像滤除噪声。 5.如权利要求3所述的动态图像拍摄与图像处理方法，其特征在于，所述步骤1.3)测量转换函数，所述转换函数具有如下性质： (1)对相同的对象成像时，超分辨成像模块采集的图像和低分辨成像模块采集的图像各自经过图像预处理后，超分辨图像与转换函数进行卷积所得的结果，与低分辨图像相同； (2)测量超分辨成像模块的点扩散函数，再测量低分辨成像模块的点扩散函数，所测得的点扩散函数以图像的形式保存，两个模块的点扩散函数图像经过图像预处理步骤后，超分辨成像模块的点扩散函数与转换函数卷积所得的结果，与低分辨成像模块的点扩散函数相同。 6.如权利要求3所述的动态图像拍摄与图像处理方法，其特征在于，所述3.4)物体分割是针对超分辨图像进行的，包括真实超分辨图像和计算超分辨图像；所述物体是指成像视场内被荧光标记的物体，对应于图像上的非0像素，所拍摄的图像发生变化反映了物体的运动及荧光分子亮度的变化；所述物体分割，目的是将图像分割为一系列亮斑，每个亮斑都具有较好的旋转对称性；所述亮斑的旋转对称性，由其轮廓边框的长宽比来度量，当长宽比小于某个设定值时，认为亮斑的旋转对称性较好；每帧超分辨图像经物体分割后所建立的亮斑库，将在下一帧低分辨图像转换为超分辨图像时使用；所述物体分割的步骤如下： (1)粗略分割粗略分割的目的是将每个物体与邻近的物体区分开，并从整幅图像中提取出来；将物体与邻近物体区分开的方法为：将被分割的图像视为地形面，像素值代表地形高度，以地形面上的山谷线作为物体分割线，每条封闭的山谷线所包围的非0像素值的区域即分割出的一个物体； (2)细致分割细致分割的目的是将由步骤(1)所分割出的物体作进一步分割，物体经过细致分割后，被分割为一系列亮斑，每个亮斑都具有较好的旋转对称性； (3)建立亮斑库保存所有分割出的亮斑，并记录每个亮斑在原图像中的位置。 7.如权利要求3所述的动态图像拍摄与图像处理方法，其特征在于，所述3.3)低分辨图像转换为超分辨图像的过程如下： (1)正向转换以原视频的首帧真实超分辨图像为先验知识，采用双层迭代退卷积方法，将原视频第二帧的低分辨图像转换为超分辨图像，即得到第二帧图像的计算超分辨图像；继续以第二帧的计算超分辨图像为先验知识，采用双层迭代退卷积方法，将原视频第三帧的低分辨图像转换为超分辨图像，即得到第三帧图像的计算超分辨图像；以此类推，以第k帧的超分辨图像(真实超分辨图像或计算超分辨图像)为先验知识，采用双层迭代退卷积方法，将原视频第k+1帧的低分辨图像转换为超分辨图像；转换完成后所有的超分辨图像另存为新视频； (2)反向转换以原视频的末帧真实超分辨图像为先验知识，采用双层迭代退卷积方法，将原视频倒数第二帧的低分辨图像转换为超分辨图像，即得到倒数第二帧图像的计算超分辨图像；继续以倒数第二帧的计算超分辨图像为先验知识，采用双层迭代退卷积方法，将原视频倒数第三帧的低分辨图像转换为超分辨图像，即得到倒数第三帧图像的计算超分辨图像；以此类推，以第k帧的超分辨图像(真实超分辨图像或计算超分辨图像)为先验知识，采用双层迭代退卷积方法，将原视频第k-1帧的低分辨图像转换为超分辨图像；转换完成后所有的超分辨图像另存为新视频，该视频不同于步骤(1)所述的新视频； (3)双向转换图像加权求和将由步骤(1)和(2)得到的两个新视频中，帧号对应的超分辨图像进行加权求和，得到最终的超分辨图像，所有图像都完成加权求和后保存为视频，即拍摄完成后图像处理的最终结果；所述加权求和的权重设置方法如下：视频的第I帧和第I+K帧表示相邻两帧使用超分辨成像模块采集的真实超分辨图像，第I+F帧图像位于第I和第I+K帧之间，令Pf表示正向转换得到的视频中第I+F帧图像，令Pb表示反向转换得到的视频中第I+F帧图像，Wf表示图像Pf的权重，Wb表示图像Pb的权重，Wf≥0，Wb≥0，且Wf+Wb＝1；设置权重Wf，使Wf随着F的增加而单调递减，并且Wf满足以下条件：当F＝0时，Wf＝1；当F＝K时，Wf＝0；当F＝K/2时，Wf＝0.5；Wf的取值以K/2为中点呈中心对称。 8.如权利要求7所述的动态图像拍摄与图像处理方法，其特征在于，所述双层迭代退卷积方法，以低分辨图像作为被退卷积的图像，以转换函数作为卷积核，以已知的超分辨图像作为迭代初值，并且对作为迭代初值的超分辨图像建立了亮斑库，以上四者为双层迭代退卷积方法的输入变量，其中，被退卷积的低分辨图像命名为<原图>，作为迭代初值的超分辨图像命名为<先验图>；双层迭代退卷积方法的输出变量为图像<原图>退卷积后得到的图像，命名为<退卷积图>；所述低分辨图像<原图>和超分辨图像<先验图>的时间间隔是紧密的，所述时间间隔的紧密，必须符合以下要求： (1)图像<原图>所对应的时刻为ts，图像<先验图>所对应的时刻为tp，当ts＜tp时，ts时刻出现在视场内的物体在tp时刻仍有大部分留在视场内，并且在tp时刻没有大量新物体出现在视场内；当tp＜ts时，tp时刻出现在视场内的物体在ts时刻仍有大部分留在视场内，并且在ts时刻没有大量新物体出现在视场内； (2)物体运动使物体分割后的亮斑发生了位移，亮斑在ts和tp两个时刻之间的位移量不能过大，所述位移量不能过大，即要求可以用光流来表示亮斑的位移。 9.如权利要求7所述的动态图像拍摄与图像处理方法，其特征在于，所述双层迭代退卷积方法包括如下步骤： (1)以转换函数为卷积核，以超分辨图像<先验图>为迭代初值，使用理查森-露西(Richardson-Lucy)方法对低分辨图像<原图>进行退卷积，得到退卷积后的图像命名为<中间图1>； (2)图像<先验图>和图像<中间图1>进行比较，计算出光流； (3)根据步骤(2)得到的光流，确定每个亮斑移动后新的覆盖范围，并计算每个亮斑新的覆盖范围在图像<中间图1>内所对应区域的亮度平均值，再将亮度平均值与亮斑原有亮度比较，然后在图像<先验图>内调节亮斑亮度，使其亮度与在图像<中间图1>内新的覆盖范围所对应区域的亮度平均值一致； (4)调节每个亮斑亮度后，重新比较图像<先验图>和图像<中间图1>，计算出光流； (5)根据步骤(4)得到的光流，在图像<先验图>上移动亮斑至新位置，更新图像<先验图>； (6)亮斑移动后，再以图像<先验图>为Richardson-Lucy方法的迭代初值，以转换函数为卷积核，使用Richardson-Lucy方法对低分辨图像<原图>进行退卷积，得到退卷积后的图像命名为<中间图2>；其中Richardson-Lucy方法退卷积的过程即双层迭代退卷积方法中的内层迭代； (7)设置权重系数，将图像<中间图1>和图像<中间图2>做加权求和，所得结果覆盖图像<中间图1>；所述加权求和，即图像<中间图1>和图像<中间图2>每个位置对应的像素做加权求和，权重系数对每个像素都是相同的； (8)重复步骤(2)～(7)，共N次，N为设置的外层迭代次数； (9)完成N次外层迭代后，将最后一次迭代完成时的图像<中间图1>和此时的图像<先验图>做加权求和，所得图像<退卷积图>即双层迭代退卷积方法得到的最终结果。 10.如权利要求3所述的动态图像拍摄与图像处理方法，其特征在于，其中3.3)低分辨图像转换为超分辨图像和3.4)物体分割的使用方式如下：对原视频进行正向转换；当第k帧为真实超分辨图像时，不需要做转换，直接进行物体分割，建立亮斑库；当第k帧为低分辨图像时，使用双层迭代退卷积方法，先将其转换为超分辨图像，在转换的过程中会用到第k-1帧的超分辨图像及第k-1帧超分辨图像所建立的亮斑库，待第k帧转换完成后得到其计算超分辨图像，再对其进行物体分割，所建立的亮斑库将在第k+1帧低分辨图像转换为超分辨图像时使用；上述过程从原视频首帧开始依次进行，完成正向转换；再对原视频进行反向转换，转换从原视频末帧开始依次进行，转换过程与正向转换相同；原视频完成正向转换和反向转换后，再使用权利要求7中所述的步骤(3)双向转换图像加权求和，得到拍摄完成后图像处理的最终结果。
所属类别：	发明专利