红外机器视觉系统对物体的感知和识别在物联网时代变得越来越重要。然而，与具有智能和紧凑神经结构的人类视网膜相比，目前的系统存在体积大和效率低下的问题。在这里，我们提出了一种基于二维(2D)异质结构的视网膜启发中红外(MIR)光电器件，用于同时进行数据感知和编码。在随机近红外(NIR)采样终端全光激发机制的辅助下，单个设备可以感知MIR刺激信号的照明强度，同时基于速率编码算法将强度编码成脉冲序列，用于随后的神经形态计算。该器件动态工作范围宽，编码精度高，对MIR强度的适应能力灵活。此外，利用训练好的尖峰神经网络(SNN)对该装置编码的MIR MNIST数据集的推理精度达到96%以上。
创新点
1. 提出并实现了一个仿生视网膜的中红外光电子器件,可以同时感知和编码中红外光刺激信号。该器件使用双层黑磷砷/MoTe2 范德华材料,能够在零偏压下感知4.6微米的中红外信号,同时使用随机近红外光脉冲进行编码。
2. 该器件实现了类似人眼视网膜的适应性调节功能。通过调节近红外光的参数,可以灵活地调节编码的动态范围和精度,从而适应不同中红外光强度的目标。
3. 将该器件编码的中红外MNIST数据集输入到训练好的脉冲神经网络,实现了超过96%的数字识别准确率。表明该器件可以支持基于脉冲的神经网络进行中红外图像的智能信息处理。
整体来说,这种双功能的中红外光电子视网膜器件,具有感知、编码和支持神经网络处理的能力,可以朝着高度紧凑、高效的中红外机器视觉系统发展,在夜视、军事、医疗等领域具有应用前景。
图文介绍




图1. 人类视觉系统示意图和所提出的二维MIR光电视网膜
图2. 二维MIR光电视网膜的感知和编码特性
图3. 二维MIR光电子视网膜对不同光功率的MIR目标的视觉自适应
图4. 利用二维MIR光电视网膜和SNN进行数字编码和分类
总结
这篇文章提出了一个仿生的中红外光电子视网膜器件,使用了黑磷砷/MoTe2 两维材料异质结。该器件可以在零偏压下同时实现对中红外光的感知和脉冲编码。器件使用随机的近红外光脉冲进行采样,根据阈值电流实现中红外光强度的脉冲率编码。通过调节近红外光参数,可以实现对不同中红外光强度目标的动态编码范围和编码精度的适应性调节,模拟眼睛的视觉适应能力。将器件编码的中红外MNIST数据集输入训练好的脉冲神经网络,实现了96%以上的数字识别准确率。这种双功能的中红外视网膜器件,支持了基于脉冲的中红外图像智能处理,为高效紧凑的中红外机器视觉系统提供了一种实现途径。* 文献参考来源：https://doi.org/10.1038/s41467-023-37623-5