详情

原文传递具有自适应采样帧率的动态超分辨荧光成像技术

专利名称：	具有自适应采样帧率的动态超分辨荧光成像技术
摘要：	具有自适应采样帧率的动态超分辨荧光成像技术。本发明涉及一种动态超分辨荧光显微图像的拍摄技术，包括：(1)一种荧光显微成像装置，能进行超分辨成像和低分辨成像，两种成像方式观察的视场区域、物平面相同；该装置能实时处理低分辨图像并反馈控制超分辨图像的采样帧率；(2)相应于装置的一种动态超分辨荧光显微图像拍摄方法，包括：以固定的高速采样帧率采集低分辨图像进行实时处理，采用计算光流的方式分析图像动态变化速率，将图像动态变化速率转换为超分辨图像的采集时间间隔，通过反馈回路实时控制超分辨图像的采样帧率，使之适应样品动态变化速率。本发明用于实现对样品快速动态变化过程的超分辨拍摄，并尽量延长对样品的拍摄时间。
专利类型：	发明专利
国家地区组织代码：	上海;31
申请人：	黄晓淳
发明人：	黄晓淳
专利状态：	有效
申请日期：	2017-10-27T00:00:00+0800
发布日期：	2019-05-07T00:00:00+0800
申请号：	CN201711037932.3
公开号：	CN109724950A
分类号：	G01N21/64(2006.01);G;G01;G01N;G01N21
申请人地址：	201101 上海市闵行区古龙路1065弄17号801室
主权项：	1.一种荧光显微成像装置，其特征在于，所述荧光显微成像装置从功能上划分为如下几部分： (1)样品台，用于承载被观测样品； (2)超分辨成像模块，该模块包括一系列光学元件、成像器件及光源，使用超分辨成像模块进行成像时，图像具有高空间分辨率，能突破阿贝衍射极限； (3)低分辨成像模块，该模块包括一系列光学元件、成像器件及光源，使用低分辨成像模块进行成像时，图像具有低空间分辨率，不能突破阿贝衍射极限； (4)控制模块，用于控制超分辨成像模块和低分辨成像模块进行拍摄，包括控制两个模块内的光源和光学元件； (5)图像记录和图像处理模块，用于记录图像并进行图像处理，分析图像动态变化速率； (6)反馈回路模块，连接控制模块与图像记录和图像处理模块，根据图像动态变化的速率输出自动调节采样帧率的信号；所述超分辨成像模块和低分辨成像模块共用同一个显微物镜，并且光路经过调节后，两个模块成像的视场相同、样品内物平面位置相同；整个荧光显微成像装置内的其它部件，包括：光学元件、成像器件、光源等也可以被两个模块所共用；所述超分辨成像模块和低分辨成像模块，各自能独立对样品进行成像；两个模块进行成像时都需要用光源激发样品内的荧光分子，低分辨成像时样品上的曝光剂量远弱于超分辨成像时样品上的曝光剂量，使低分辨成像对样品所造成的荧光漂白和光毒性更小。 2.一种使用荧光显微成像装置的动态超分辨荧光显微图像拍摄方法，其特征在于，所述动态超分辨荧光显微图像拍摄方法如下：低分辨成像模块以较低的曝光剂量照射样品，成像时对样品的荧光漂白和光毒性较小，并且低分辨成像模块具有较高的固定的采样帧率，用于实时监测样品动态变化的速率；采集的低分辨原始图像送入图像记录和图像处理模块进行图像处理，分析出连续拍摄的多帧(两帧及以上)低分辨图像的动态变化的速率，反馈回路模块根据低分辨图像动态变化的速率输出相应的信号至控制模块，所述输出信号用于调节超分辨图像的采样帧率，当样品动态变化的速率越快，超分辨图像的采样帧率越高，反之，样品动态变化的速率越慢，超分辨图像的采样帧率越低；控制模块根据接收到的信号实时地在超分辨成像和低分辨成像之间做切换；超分辨成像模块以动态调整的采样帧率对样品进行拍摄，每当超分辨成像模块对样品进行成像时，低分辨成像模块会暂停工作，待一帧超分辨图像采集完成后，低分辨成像模块会恢复工作，继续进行监测；以上拍摄过程持续进行直至样品被漂白或采集了足够的帧数；所采集的超分辨图像和低分辨图像都记录在图像记录和图像处理模块中；所述原始图像是指成像器件接收来自样品的荧光信号后，直接采集记录的图像，未经过图像处理。 3.一种使用荧光显微成像装置的动态超分辨荧光显微图像拍摄方法，其特征在于，实现所述动态超分辨荧光显微图像拍摄方法需要以下几个环节： (1)拍摄前对荧光显微成像装置的调节、矫正和准备工作 1.1)调节校准超分辨成像模块和低分辨成像模块内的光路，使两者观察的视场区域相同、所观察的物平面在样品内的位置也相同； 1.2)在荧光显微成像装置的图像记录和图像处理模块中设置图像预处理每个步骤会用到的方法；以上步骤1.1)、1.2)按顺序执行； (2)拍摄过程中实时的图像处理实时图像处理是针对低分辨图像进行的，由图像记录和图像处理模块来完成，目的是在拍摄的过程中实时地分析出图像动态变化的速率，具体步骤如下： 2.1)图像预处理使用图像记录和图像处理模块中预先设置的图像预处理方法，在拍摄过程中对低分辨成像模块采集的每一帧图像实时地进行图像预处理；完成图像预处理后，才能继续下一个步骤； 2.2)荧光漂白矫正每帧低分辨图像经过图像预处理后再做荧光漂白矫正，矫正方法为：将每一帧低分辨图像的亮度做标准化处理，使非0像素区域内单位面积上的像素值和首次采集的低分辨图像中非0像素区域内单位面积上的像素值相同；完成荧光漂白矫正后，才能继续下一个步骤； 2.3)分析图像动态变化速率设置一个宽度固定的探测窗口，探测窗口内能容纳N帧连续拍摄的低分辨图像，其中N为设置的帧数，N也代表了探测窗口的宽度；比较探测窗口内每两帧相邻的图像，计算出图像上的光流，以光流来度量在探测窗口内图像动态变化的速率，所述光流为矢量，表示了图像上的角点(特征点)在前后两帧图像上的运动；图像动态变化速率分析完毕后，生成反映图像动态变化速率的数据包，然后发送至反馈回路模块； (3)拍摄过程中的时序控制所述时序控制，是指控制超分辨成像模块和低分辨成像模块在何时采集图像；反馈回路模块接收到分析图像动态变化速率的数据包后，将其转换为超分辨图像采样帧率的调节信号，再将调节信号输入控制模块，产生超分辨图像和低分辨图像采集的时序控制信号； (4)图像记录拍摄过程中采集的所有的超分辨图像和低分辨图像全部保存在图像记录和图像处理模块中，并且会记录下采集每帧超分辨图像和低分辨图像的时刻，其中拍摄初始时刻为0。 4.如权利要求3所述的动态超分辨荧光显微图像拍摄方法，其特征在于，所述步骤1.2)和步骤2.1)中的图像预处理，包括如下步骤： (1)低分辨图像像素插值当低分辨原始图像的尺寸(横向像素数、纵向像素数)小于超分辨原始图像的尺寸时，需要对其插入像素以达到和超分辨图像尺寸相同(横向像素数、纵向像素数都相同)，并在新填入的像素位置进行插值，使插值后的图像平滑； (2)图像配准这里所述配准，是为了矫正成像时样品物平面映射至像平面时产生的图像畸变；使用棋盘格图案，或包含大量已知参考点坐标的样品作为标准样品，对采集的图像进行标定，矫正图像畸变，使映射后图像上各点的相对位置与在样品上原本的相对位置相同；对标准样品完成配准后得到映射矫正函数，正式拍摄所采集的图像便使用该映射矫正函数进行图像配准； (3)像素值矫正像素值矫正的目的就是通过调整图像上各个位置的像素值，使物面上荧光亮度和图像上像素值的对应关系在各个像素位置均匀一致；使用已知荧光亮度的标准样品来进行像素值矫正；对标准样品完成矫正后得到像素值矫正函数，正式拍摄所采集的图像便使用该像素值矫正函数进行矫正； (4)滤除噪声所述滤除噪声，目的是滤除包括：照明光源的噪声、荧光弱光发射时固有的散粒噪声、荧光分子的闪烁、CCD/CMOS/APD/PMT等成像元件的电子噪声等引起的图像噪声；使用均值滤波、高斯滤波、中值滤波、双边滤波等方法对图像滤除噪声。 5.如权利要求3所述的动态超分辨荧光显微图像拍摄方法，其特征在于，所述步骤2.3)分析图像动态变化速率的具体步骤如下： (1)设置探测窗口内能容纳N帧连续拍摄的低分辨图像，当探测窗口内包含的图像帧数不足N时，按采集的时间顺序依次读入图像，直至探测窗口内的图像帧数达到N； (2)比较探测窗口内第一帧图像和第二帧图像，计算出光流；以此类推，比较第k帧图像和第k+1帧图像，计算出光流，直至比较完第N-1帧图像和第N帧图像；一共计算N-1次光流； (3)统计N-1次光流计算后，光流矢量的总数，模为0的光流矢量也统计在内；再记录每个光流矢量的信息，每个光流矢量的信息包括：起点坐标、终点坐标、该光流矢量涉及的两帧图像的帧号；光流矢量的总数及光流矢量的信息一起生成数据包<动态变化信息>； (4)将所述数据包<动态变化信息>发送至反馈回路模块；然后以先进先出的方法，将探测窗口内采集时刻最早的一帧图像移出探测窗口，再读入一帧新的图像进入探测窗口，所补充的新图像的采集时刻紧随探测窗口内原本的第N帧图像； (5)每当采集超分辨图像时，清空探测窗口内的所有图像，待一帧超分辨图像采集完毕后，探测窗口重新读入低分辨图像，此时最先读入的图像即超分辨图像采集完毕后，低分辨成像模块所采集的第一帧图像； (6)在整个拍摄过程中重复步骤(1)～(5)，持续且实时地分析图像动态变化速率，每生成一个<动态变化信息>数据包，便立即发送至反馈回路模块。 6.如权利要求3所述的动态超分辨荧光显微图像拍摄方法，其特征在于，所述环节(3)拍摄过程中的时序控制，其具体过程如下： (1)预先设置低分辨成像模块的采样帧率为f1，即相邻两帧低分辨图像采集的时间间隔为t1＝1/f1；以固定的采样帧率f1持续采集低分辨图像，仅当采集超分辨图像时，低分辨成像模块会暂停采集，待一帧超分辨图像采集完毕后，低分辨成像模块会立即重新恢复采集； (2)在反馈回路模块中设置一个函数T()，称为时间间隔函数，该函数的输入变量为分析图像动态变化速率后所生成的数据包<动态变化信息>，输出变量为相邻两帧超分辨图像的采集时间间隔ts，由于采样帧率fs与采集时间间隔互为倒数关系：fs＝1/ts，所以通过T()函数调节采集时间间隔等同于调节采样帧率；时间间隔函数T()具有如下性质： ①数据包<动态变化信息>内所有的光流矢量的大小都为0、数据包内没有光流矢量、或者没有数据包输入时，T()的输出ts＝t0，t0表示超分辨图像采集时间间隔的默认值；t0也是T()函数输出值的上限； ②限定T()函数输出值的下限ts_min，使ts_min≥N*t1，其中N为探测窗口能容纳的低分辨图像的帧数，t1为低分辨图像的采集时间间隔； ③数据包<动态变化信息>内光流矢量增大，ts值下降；数据包内光流矢量减小，ts值上升；ts的变化范围在区间[ts_min，t0]上； (3)令t表示整个拍摄过程中的时间，拍摄初始时刻t＝0；令ta表示采集某一帧超分辨图像的时刻，令tb表示预计采集下一帧超分辨图像的时刻；ta时刻的超分辨图像采集完毕后生成的第一个<动态变化信息>数据包输入时间间隔函数T()，得到函数的输出值ts＝t1，即预计下次采集超分辨图像的时刻tb＝ta+t1； (4)在ta至tb的时间段内，会逐个收到后续的<动态变化信息>数据包，每个数据包都会输入T()函数，得到的函数输出值ts＝ti(其中i表示收到的<动态变化信息>数据包的编号)，当ti＜t1时，预计下次采集超分辨图像的时刻tb由ta+t1变更为ta+ti；当ti≥t1时，预计下次采集超分辨图像的时刻tb保持ta+t1不变；此过程持续进行，对于任意j＞i，当tj＜ti时，预计下次采集超分辨图像的时刻tb由ta+ti变更为ta+tj，当tj≥ti时，预计下次采集超分辨图像的时刻tb保持ta+ti不变； (5)当t≥tb时，停止读入新的<动态变化信息>数据包，并立即启动超分辨成像模块，采集新一帧的超分辨图像；采集超分辨图像时，暂停低分辨成像模块的采集，待超分辨图像采集完毕后，低分辨成像模块会立即重新恢复采集，所采集的低分辨图像被读入探测窗口用于分析图像动态变化速率； (6)重复步骤(3)～(5)，直至完成整个拍摄过程。
所属类别：	发明专利