智能成像助力探索新型光学显微成像模式

  光与自然世界的关系是光学的永恒话题。一方面,不断发展的成像设备、更加先进的处理方法帮助人类留住自然世界稍纵即逝的光影信息;另一方面,多学科交叉融合拓展了光学研究的维度,为人类重现和理解微观世界提供了更加丰富多彩的方法。

   近年来光学显微成像技术逐渐由传统成像模式进入计算及智能显微成像时代,逐步摆脱以光学成像系统直接捕捉目标图像的成像方式,取而代之的是通过采集数据计算重构的间接成像方式。该方式利用波动光学、几何光学等理论建立成像目标经光学照明直至探测器采集这一完整成像过程的精确正向数学模型,通过求解该正向模型所对应的“逆问题”,继而以计算重构的模式来获得传统显微技术无法或难以直接获得的样品多维高空时分辨信息。其中以数据驱动为代表的深度学习技术和以物理模型驱动为代表的压缩感知技术,改善了实际成像物理过程的不可预见性与高维病态逆问题求解的复杂性,从而也为显微成像技术发展开启了新的大门。

  中国科学院西安光学精密机械研究所瞬态光学与光子学国家重点实验室姚保利研究员领导的先进光学显微成像研究团队,在结构光照明显微、数字全息显微、光片荧光显微、双光子荧光显微、光学微操纵、以及智能光学显微计算成像技术与成果转化等方面,经过多年的发展取得了丰硕的成果,建立了具有超分辨率和光学切片能力的SIM仪器、商业化光镊产品。其中,显微成像的智能化可以实现更好的分辨率、更好的系统稳定性和更多成像功能。

   近年来,团队结合光片荧光显微成像、结构光照明显微成像、定量相位成像等显微成像领域的新技术与新方法,开展了基于深度学习和压缩感知的光学显微成像技术,不但解决了其中难以解决的成像速度问题,还在成像功能、信息获取维度、性能指标(如成像时间和空间分辨率、信噪比等)上都获得了显著提升,形成了具有高分辨、大视场、三维、快速等特性的新型光学显微成像技术。

   

  深度学习用以减少光学显微成像数据采集量

   

  深度学习是机器学习的重要分支,也是人工智能研究的重要方向。2006年,多伦多大学Hinton等人提出了深度学习的相关概念,自此深度学习受到了全球众多公司、科研机构和高校的关注,各种各样的深度学习算法和应用层出不穷,为科研与经济的发展做出了重要贡献。深度学习已成为数学、计算机技术、电子信息技术、自动控制技术、神经科学等多个研究学科交叉结合并发展的新兴学科,在图像处理、语音识别、计算机视觉等领域有着十分重要的应用。互联网技术的蓬勃发展指引着大数据时代的来临,以数据驱动的深度学习技术无疑是大数据时代的算法利器。  

  相较于传统的机器学习,深度学习可利用不断增多的数据不断提升其性能;深度学习技术是一项全自动的技术,而非手动特征提取,因此可以从海量数据中直接抽取特征;并且对于不同的任务不再需要设计独特的特征提取器,所有工作都可由深度学习自动完成。深度学习技术已成为大数据时代的一项热点技术,这也是智能化思想逐渐代替人工操作的一个显著体现,因此,深度学习作为一种强有力的工具,在光学显微成像研究中同样也引起了极大的兴趣。

   

  

  深度学习的核心:自动从大规模数据中学习特征,并把结果向同类型未知数据泛化

   

  为了提高显微成像的速度或减少3D成像所需的数据量,团队研究了基于深度学习的快速计算显微成像方法,先后提出了:    

  •  

    快速光片荧光显微增强成像方法。压缩盲解卷与降噪的互补光束相减光片荧光显微成像,可以减少离焦背景,消除成像过程中产生的噪声和模糊。然而,这种成像需要两次扫描,且计算量较大。团队发展了基于深度学习的光片荧光显微成像,通过一次扫描直接从传统的贝塞尔光束光片成像中重建出高质量的图像,从而显著提高成像系统的吞吐量,并有效降低了存储需求和大规模计算的复杂度。    

  •  

    转盘共聚焦超分辨三维显微成像方法SRRF-Deep 。转盘共焦显微成像结合超分辨率径向起伏算法可以实现较快速的高分辨三维显微成像,然而是以高数据量采集及高光损伤风险为代价。团队开发一种基于深度学习的转盘共焦显微镜三维成像方法,其高质量的成像切片可以直接从单扫描的转盘共焦显微图像堆栈重建。该方法在不损失成像质量的前提下,数据量减少100倍从而使三维成像时间缩短30倍。  

  •  

    全彩宽场光切片显微成像方法FC-WFM-Deep 。大视场高分辨全彩色三维显微成像能够同时实现高分辨、大尺度、快速、三维、彩色和定量分析等六大成像要素,但面临着大数据量采集、处理和存储的挑战。鉴于此,团队将深度学习应用于全彩结构光照明显微成像中,在保证成像质量的前提下,图像采集量减少了约21倍,对实现更大尺寸三维物体的全彩色成像具有重要意义。

      

 

   

    (左)雏菊花粉和(右)曲霉分生孢子的转盘共聚焦超分辨三维显微成像结果,新方法保证了与SRRF同样的超分辨成像结果,但其数据采集量可降为原始的百分之一

   

  

  不同光学成像模式下的昆虫复眼光切片成像结果,包括全彩宽场显微(FC-WFM)、基于结构光照明的全彩光切片(OS with FC-WFM)和全彩宽场显微光切片(FC-WFM-Deep),新方法在保证光切片质量前提下,显著增加成像景深,继而可降低3D成像所需的数据量

   

  压缩感知用以提高光学显微成像分辨率和信噪比

   对于典型的光学显微成像系统而言,它主要由照明、样品、成像、探测四部分构成。照明光与样品发生作用后,成为其本质信息(如吸收、相位、光谱、三维形貌、折射率等)的载体,通过对照明与成像系统进行光学调控使物体的本质信息转化为光强信号并由探测器离散采集,最后对整个成像过程进行数学建模并通过相应的重构算法对样品本质信息进行反演,获得样品的图像或其他所感兴趣的高维物理信息。实际上,该类反演通常是一种病态的逆问题求解,往往需要引入被测物体的先验作为正则化手段限定解空间以使其良态化。 

  对于稀疏信号,压缩感知理论为解决上述问题开启了新的思路。压缩感知的理论突破了奈奎斯特采样定理瓶颈,认为对信号的采样量不取决于信号的带宽,而取决于信号的内部结构。如果信号是稀疏的或者在某个变换域内是稀疏的,那么就可以用一个与变换基不相关并且满足约束等距性的测量矩阵将高维信号投影至低维空间,然后通过求解最优化问题从少量的投影测量中以高概率重构出原始信号。目前该理论已广泛应用于模式识别、信号处理、雷达遥感、图像超分辨率重构、实时医学成像以及模拟信息采样等领域。