将递归神经网络与SPAD TCSPC系统耦合,用于实时荧光实时成像
近年来,荧光寿命成像(FLI)作为生物和医学研究中一种强大的诊断技术受到越来越多的关注。 然而,现有的FLI系统经常受到处理速度,准确性和鲁棒性之间的权衡。 在本文中,我们提出了一种稳健的方法,可实现快速的FLI,而不会降低准确性。 该方法基于SPAD TCSPC系统与循环神经网络(RNN)耦合,该系统直接从原始时间戳中准确估计荧光寿命,而无需构建直方图,从而大大减少传输数据量和硬件资源利用率,从而能够以视频速率获得FLI。 我们在合成数据集上训练RNN的两个变体,并将结果与使用质量中心方法(CMM)和最小平方拟合(LS拟合)的结果进行比较。 结果表明,两个RNN变体,门控循环单元(GRU)和长短期记忆(LSTM)在精度方面与CMM和LS拟合相当,同时在背景噪声方面比它们大幅度优于它们。 为了探索该方法的最终极限,我们导出了测量的Cramer-Rao下限,表明RNN以近乎最优的精度产生寿命估计。 此外,我们的FLI模型纯粹是在合成数据集上训练的,它适用于从未见过的真实世界数据。 为了演示实时操作,我们基于Piccolo构建了FLI显微镜,Piccolo是我们实验室开发的32x32 SPAD传感器。 四个量化的GRU核心,每秒处理多达400万个光子,部署在Xilinx Kintex-7 FPGA上。 由GRU提供支持,FLI设置可以以每秒10帧的速度检索实时荧光寿命图像。 拟议的FLI系统很有前途,非常适合生物医学应用。
图像与视频处理计算机视觉与模式识别神经元与认知
