基于光致變色鈣鈦礦材料的非接觸式圖像識別

摘要：視覺是人類獲取信息的主要來源。用于視覺系統(tǒng)模擬的人工圖像識別是發(fā)展人工智能技術的關鍵一環(huán)。當前，光電突觸憑借存算一體式處理光信號的特點被廣泛應用于視覺模擬領域，但是突觸的光電轉(zhuǎn)換需要對輸入光信號進行接觸式處理，從而導致大量的能量消耗。針對這個問題，研究了基于光致變色鈣鈦礦薄膜的全光人工突觸，它在紫外和可見光觸發(fā)下，從光透過率的變化上表現(xiàn)出顯著的突觸特性，包括配對脈沖易化和學習能力。利用循環(huán)神經(jīng)網(wǎng)絡處理隨時間變化的透射率數(shù)據(jù)，實現(xiàn)了對數(shù)字圖像的二元識別，識別精度從第1個循環(huán)就穩(wěn)定在100%。該器件具有零功耗非接觸式信息讀取的特點，為視覺系統(tǒng)模擬開辟了一條新的途徑。

關鍵詞：光致變色材料；鈣鈦礦；人工突觸；圖像識別

中圖分類號：TN 29 " "文獻標志碼：A

Noncontact artificial image recognition based on photochromic

perovskite materials

ZHOU Xing1，2，CHEN Xi1（1. Institute of Photonic Chips， University of Shanghai for Science and Technology， Shanghai 200093， China;

2. Centre for Artificial-Intelligence Nanophotonics， School of Optical-Electrical and Computer Engineering，

University of Shanghai for Science and Technology， Shanghai 200093， China）

Abstract：

Visual perception is the primary source for humans to acquire information. Themimicking of visual systems is crucial to develop artificial intelligence technologies. Currently，optoelectronic synapses are widely used in artificial visual systems due to the in-memoryprocessing of optical signals. However， the photoelectric conversion of the synapses requirescontact processing of input optical signals， which leads to significant energy consumption. In thispaper， all-optical artificial synapses were presented based on photochromic perovskite thin films.Under UV and visible light pulse stimulation， the perovskite films exhibit synaptic behaviors inoptical transmittance changes， including paired-pulse facilitation and learning ability. Through arecurrent neural network processing the time-dependent transmittance change data， a 100%accuracy in the classification of two digital images can be instantly achieved， even in the firstepoch. The all-optical synapses provide an innovative pathway toward energy-friendly artificialvisual systems.

Keywords： photochromic materials；perovskite；artificial synapse；image recognition

引 言

視覺是用來認知周圍環(huán)境的主要手段。相比于聽覺和觸覺，人類感知外界信息有80%以上通過視覺獲取，它是人類最重要的感知手段^[1]。為了實現(xiàn)無人駕駛汽車、機器人技術、物聯(lián)網(wǎng)等的廣泛應用，發(fā)展人工視覺感知系統(tǒng)、模擬真實的人類視覺功能尤為關鍵^[2]。傳統(tǒng)的視覺系統(tǒng)依賴于馮·諾伊曼架構(gòu)，但該架構(gòu)存在數(shù)據(jù)存儲和處理單元物理分離的結(jié)構(gòu)缺陷，使其在執(zhí)行高度復雜或抽象的計算任務時能耗較高^[3]。面對這一挑戰(zhàn)，研究者開始探索基于人工突觸的神經(jīng)形態(tài)計算設備與人工神經(jīng)網(wǎng)絡的結(jié)合^[4-5]。人工智能技術能夠利用神經(jīng)元和突觸存算一體的方式來完成計算任務，具有更高的計算效率和更好的容錯性能，有望在人工智能領域中發(fā)揮更加重要的作用^[6-7]。

傳統(tǒng)的基于電阻電導變化原理實現(xiàn)的憶阻器存在處理速度慢，能耗高，有串擾等問題。當前，對于人工突觸器件的研究工作主要聚焦于光電突觸，通過對輸入光信號的記憶性光電轉(zhuǎn)換為重要的人類視覺的模擬奠定基礎^[8-9]。它擁有高速、高精度和低能耗的優(yōu)點^[10-12]。然而，突觸中的光電轉(zhuǎn)換需要在突觸上施加電場，導致巨大的能量消耗^[13]。相較于光電突觸而言，如果突觸僅使用光信號來傳輸和處理信息，則可以擁有更快的速度和更低的能耗，并且由于其具有非接觸式信息處理的特性，有望應用于光學無線通信^[14-15]。

本文利用銫鉛碘溴（CsPbIBr₂）光致變色鈣鈦礦薄膜，制備了具有光驅(qū)動的光透射率記憶的全光人工突觸。這種突觸的關鍵在于鈣鈦礦薄膜在光照下晶體結(jié)構(gòu)有序度發(fā)生變化，從而使光學透射率發(fā)生變化^[16]，其寬帶響應允許通過紫外或可見光脈沖對全光突觸進行刺激，當光脈沖被移除后，光透過率變化隨時間而逐漸衰減。基于這種記憶效應，該全光突觸可以實現(xiàn)如短時記憶/長時記憶（short-term memory/long-term memory， STM/LTM）、配對脈沖易化（paired-pulse facilitation， PPF）和學習能力等典型的突觸行為。循環(huán)神經(jīng)網(wǎng)絡（recurrent neuron network， RNN）是一種擅長處理和預測時間序列數(shù)據(jù)的神經(jīng)網(wǎng)絡，當將與時間序列的透射率變化數(shù)據(jù)輸入到RNN中，可以對0～9數(shù)字圖像進行高準確度的分類識別。

1 " "實驗設計

1.1 " "CsPbIBr2 的合成、薄膜制備

采用一步法合成銫鉛碘溴（CsPbIBr₂）鈣鈦礦溶液^[17]。取等摩爾量的碘化銫（CsI，99.999%）、 溴化銫（CsBr，99.999%）、 碘化鉛（PbI，99.999%） 和溴化鉛（PbBr，99.999%）粉末在二甲亞砜（dimethyl sulfoxide，DMSO，99.5%）或N，N–二甲基甲酰胺（N，N-Dimethylformamide，DMF， 99.5%）溶液中混合，常溫下攪拌2 h，制備濃度為 0.5 mol/L 的混合鈣鈦礦前驅(qū)體溶液。使用聚四氟乙烯（poly tetra fluoroethylene，PTFE）過濾器對制備好的鈣鈦礦溶液進行過濾，等待使用。其中CsI、CsBr、PbI和PbBr均購于西格瑪奧德里奇（上海）貿(mào)易有限公司；DMSO和DMF均購于國藥集團化學試劑有限公司。所有材料均未進行提純操作。將制備的鈣鈦礦溶液以 1500 r/min 的速度旋涂90 s到親水處理完的玻璃基板上，并將制備好的薄膜在100 ℃的熱板上退火10 min，整個實驗過程在手套箱中完成。

1.2"CsPbIBr2 薄膜的實時光透過率測量

采用高速CMOS光譜儀（AvaSpec-ULS2048CL-EVO， AVANTES）測量鈣鈦礦薄膜在接收光脈沖和去除光脈沖時的實時光透過率變化。測量系統(tǒng)中使用的LED為紫外 LED（M365L3）和單色冷可見光LED（M470L5），均從Thorlabs采購。這些LED的光斑大小和輸出功率可以自由調(diào)節(jié)。LED補償光源（LS-UV-HAL 1， LiSen Optics）的波長范圍為380～1100 nm，光斑尺寸為28.27 mm²，輸出功率可以自由調(diào)節(jié)。

1.3"基于 RNN 的圖像識別

圖1展示了利用全光人工突觸和RNN模擬人類視覺的圖像識別的過程。對0～9這10個數(shù)字進行編碼，并組合成1個3×5的圖像像素陣列。利用LED按照圖像像素陣列將對應的光脈沖刺激施加到鈣鈦礦薄膜上，用垂直于LED光束的鹵鎢燈寬帶光源記錄鈣鈦礦薄膜透過率的變化，并用高速CMOS光譜儀測量記錄。因此，在365 nm LED光束脈沖的照射下，可以在非接觸模式下獲得持久的光驅(qū)動透過率憶阻器。RNN輸入采用50組透過率變化曲線（訓練組80%，測試組20%）。這些時變的透射率響應數(shù)據(jù)被用作RNN模型的訓練輸入，分3層。輸入層有150個神經(jīng)元（每個時間步長輸入5個特征，共30個時間步長），隱藏層包括1個含5個RNN神經(jīng)元的記憶層和1個含2個RNN神經(jīng)元的記憶層，最后連接到1個全連接層輸出。RNN模型使用softmax作為激活函數(shù)。通過使用Adam優(yōu)化器（學習率為0.03）進行小批量（批量大小為20）梯度下降，使分類交叉熵損失最小。

2 " "結(jié)果與討論

2.1 " "鈣鈦礦光致變色薄膜的形貌表征和光譜測試

使用掃描電子顯微鏡（SEM， ZEISS Gemini 300）對鈣鈦礦薄膜的形貌進行表征。SEM俯視圖像顯示鈣鈦礦薄膜結(jié)晶度良好，表面致密無孔洞（圖2（a））。通過截面圖分析，鈣鈦礦薄膜厚度均勻，平均厚度約為180 nm（圖2（b））。通過能量散射X射線（EDX， OXFORD Xplore）對鈣鈦礦薄膜微區(qū)元素種類與含量進行分析，該鈣鈦礦薄膜中存在銫、鉛、碘和溴元素，其化學式為CsPbIBr₂（圖2（c））。使用原子力顯微鏡（AFM， Bruker Dimension Icon）對鈣鈦礦薄膜的形貌進行輔助表征，同樣可以得到鈣鈦礦薄膜表面均勻性和膜厚的信息（圖2（d）和2（e））。由于溴化物含量高，薄膜在空氣中保持穩(wěn)定。在環(huán)境溫度和相對濕度為25%的條件下，一年內(nèi)透光率沒有明顯的變化。光致變色鈣鈦礦薄膜具有良好的穩(wěn)定性和可控性，這使得其成為一種理想的光學材料用于構(gòu)建全光人工突觸。

烏爾巴赫能量（Urbach Energy）是半導體和絕緣體吸收光譜后觀察到的現(xiàn)象。它指在光子能量低于材料帶隙能量時材料光吸收呈指數(shù)級增加。烏爾巴赫能量與材料的無序性相關，如缺陷和雜質(zhì)，它們在帶隙中形成局部電子態(tài)。這些局部狀態(tài)可以俘獲載流子，并在帶隙內(nèi)產(chǎn)生狀態(tài)分布。這些狀態(tài)會導致光吸收隨著光子能量的增加而逐漸下降，形成烏爾巴赫帶尾^[18]。在能量略小于禁帶寬度區(qū)域，非晶態(tài)半導體的吸收系數(shù)與光子能量關系滿足指數(shù)關系，被稱之為烏爾巴赫規(guī)則，其經(jīng)驗公式為

式中：a（E）是能量為E時的吸收系數(shù)；ao為常數(shù)；Eo為能隙；E，為烏爾巴赫能量，可以通過 擬合得到。對鈣鈦礦薄膜分別施加持續(xù)0，1， 2，5，10，15，20，25和30min的365nm紫外 光照，測得可見光波段內(nèi)鈣鈦礦薄膜的吸收系 數(shù)。將橫坐標波長轉(zhuǎn)換為光子能量，對縱坐標吸 收系數(shù)取自然對數(shù)（ln）處理。在禁帶寬度附近可 得到一線性吸收邊，其斜率的倒數(shù)可以反映材料 結(jié)構(gòu)的無序程度的烏爾巴赫能量。在紫外光照 下，經(jīng)計算烏爾巴赫能量分別為88.9，119.6，135.2，199.5，229.8，267.5，272.0，314.2和316.2meV（圖2（d））。使用470nm綠光對鈣鈦 礦薄膜進行同樣時長的光照實驗，計算出的烏爾 巴赫能量分別為74.0，81.0，91.9，107.6，134.5，134.8，173.9，163.4和191.9meV（圖2（e））。 結(jié)果表明，在持續(xù)的光脈沖刺激下，鈣鈦礦薄膜 的晶體結(jié)構(gòu)的有序度持續(xù)降低，同時透過率也隨 之上升。

2.2 " "鈣鈦礦光致變色薄膜的突觸特性驗證

對于生物個體而言，神經(jīng)系統(tǒng)的功能概括起來就是依據(jù)自身的需要和外部環(huán)境的變化來控制或調(diào)節(jié)自身的行為以及內(nèi)環(huán)境的穩(wěn)態(tài)。這個過程可抽象地描述為獲取信息、處理信息以及輸出信息。在生物神經(jīng)系統(tǒng)中，突觸是不同神經(jīng)元之間傳遞信息的重要通道。突觸特性對神經(jīng)系統(tǒng)的信息處理起著至關重要的作用。突觸可塑性是生物神經(jīng)突觸的一項重要特征，也是人腦學習和記憶的生物學基礎，豐富多樣的突觸可塑性使得神經(jīng)突觸在進行信息處理時表現(xiàn)出各種不同的功能。突觸可塑性可以按照持續(xù)時間的不同，分為短程可塑性（short-term plasticity， STP）和長程可塑性（long-term plasticity， LTP）。

在人類的視覺系統(tǒng)中，學習能力強烈地基于突觸的可塑性。通過調(diào)整光刺激波長和功率，視覺記憶可以在STM和LTM之間進行轉(zhuǎn)換。如圖3（a）所示，在波長為365 nm、強度為222 mW的情況下，連續(xù)照射30 s后CsPbIBr₂薄膜的透光率變化為1.26%。保持其他條件相同，更換470 nm波長的LED，CsPbIBr₂薄膜的透光率變化為0.87%。由此可見，在高能量的光束照射下，可以獲得更大的透光率變化和更長的記憶。

人腦學習–遺忘–再學習過程是人類學習過程的一個重要組成部分。學習階段，人腦在接受信息的過程中，通過神經(jīng)元之間的連接，形成新的突觸連接或加強現(xiàn)有的突觸連接。這種突觸權(quán)重增加的過程有助于新的信息被加工和存儲在大腦中。遺忘階段，突觸權(quán)重逐漸減弱，人腦中的記憶也隨著時間流逝逐漸消失。再學習階段，原來的神經(jīng)連接會重新被激活，大腦可以借助之前形成的突觸連接，以更快的速度重新學習和掌握知識，并形成更長的記憶。如圖3（b）所示，使用兩個間隔為10 s的365 nm紫外光脈沖來誘導CsPbIBr₂薄膜透光率變化。在第一個光脈沖刺激下（第一個學習過程），在持續(xù)30 s內(nèi)，CsPbIBr₂薄膜的透過率上升了0.57%。當移除光脈沖刺激后（第一個遺忘過程），CsPbIBr₂薄膜的透過率隨時間下降。當再次對CsPbIBr₂薄膜施加光脈沖刺激（再學習過程），只需要14 s的時間，CsPbIBr₂薄膜的透過率就會恢復衰減的變化，明顯低于第一次學習所用的時長。并且在施加同樣的30 s光脈沖刺激下，CsPbIBr₂薄膜的透過率的上升值增加到了0.62%。由于出色的學習能力，有用的視覺信息可以被全光突觸提取用于高精度識別。

PPF是另一種在學習視覺信息中發(fā)揮至關重要作用的典型行為，來自兩個連續(xù)刺激的突觸后反應，很大程度上取決于兩個脈沖之間的間隔。用A₁表示由第一個光脈沖刺激引起的透過率變化，用A₂表示由第二個光脈沖刺激引起的透過率變化。PPF指數(shù)是指A₂與A₁的比率。圖3（c）顯示了在365 nm紫外光束照射下，全光鈣鈦礦突觸的PPF行為，研究發(fā)現(xiàn)，PPF指數(shù)與間隔（Δt）之間的關系遵循雙指數(shù)函數(shù)。

2.3"鈣鈦礦光致變色薄膜的圖像識別性能

RNN 適用于序列數(shù)據(jù)的神經(jīng)網(wǎng)絡計算，近年來也被應用于圖像識別中^[19]。在RNN 中，圖像像素被視為一個序列，并通過水平掃描方式輸入 RNN 進行處理。在處理時，RNN 利用之前的像素信息來預測當前像素的類別，從而實現(xiàn)對整張圖像的分類。為了實現(xiàn)數(shù)字圖像的視覺感知，將0～9這10個數(shù)字進行編碼。每1個數(shù)字都由1個圖像表示，每行包含3個像素，每列包含5個像素。接下來，圖像沿著水平方向被劃分成5個序列，每個序列都被轉(zhuǎn)換成光脈沖序列。如圖4所示，以數(shù)字6和9為例，數(shù)字6編碼為“111”、“100”、“111”、“101”和“111”，數(shù)字9編碼為“111”、“101”、“111”、“001”和“111”。其中，1表示有光脈沖，0表示沒有光脈沖。脈沖序列的持續(xù)時間和間隔時間都被設置為5 s。

如圖5所示，將數(shù)字6和數(shù)字9同時輸入RNN進行識別，在50個循環(huán)內(nèi)的訓練精度平均值為93.6%，驗證準確性從第一個循環(huán)開始就穩(wěn)定在100%。接著，將數(shù)字2和數(shù)字5同時輸入RNN進行識別，在50個循環(huán)內(nèi)的訓練精度平均值為97.4%，驗證準確性同樣在一開始就立即穩(wěn)定在100%。該全光突觸的圖像識別途徑實現(xiàn)了零原位能量消耗的非接觸式數(shù)據(jù)讀取，這為實現(xiàn)光學無線通信的人工智能概念的突破鋪平了道路^[20-"21]。

3 " "結(jié) 論

本文使用一步法合成CsPbIBr₂鈣鈦礦溶液，通過旋涂法制備CsPbIBr₂薄膜，使用波長為365 nm和470 nm 的LED光照射CsPbIBr₂薄膜使之發(fā)生透過率變化的光致變色現(xiàn)象，通過非接觸式的方式采集CsPbIBr₂薄膜光照前后在600 nm處透過率實時變化的數(shù)據(jù)，驗證了該材料具有模擬生物突觸的記憶效應的特征，如可塑性、學習功能和配對脈沖易化。通過循環(huán)神經(jīng)網(wǎng)絡驗證了該材料的視覺感知功能，在對兩個數(shù)字進行分類識別時可以快速達到100%的精度。該全光視覺感知系統(tǒng)具有結(jié)構(gòu)簡單、無原位能量消耗、信息處理速度快的優(yōu)勢，在神經(jīng)形態(tài)計算和光學無線通信中有巨大應用潛力 。

參考文獻：

[1]HAN X， XU Z S， WU W Q， et al. Recent progress in optoelectronic synapses for artificial visual-perception system[J]. Small Structures， 2020， 1（3）： 2000029.

[2]MEROLLA P A， ARTHUR J V， ALVAREZ-ICAZA R， et al. A million spiking-neuron integrated circuit with a scalable communication network and interface[J]. Science， 2014， 345（6197）： 668 – 673.

[3]CHOI C， LEEM J， KIM M， et al. Curved neuromorphic image sensor array using a MoS₂-organic heterostructure inspired by the human visual recognition system[J]. Nature Communications， 2020， 11（1）： 5934.

[4]SEO S， LEE J J， LEE H J， et al. Recent progress in artificial synapses based on two-dimensional van der waals materials for brain-Inspired computing[J]. ACS Applied Electronic Materials， 2020， 2（2）： 371 – 388.

[5]WANG Y， YIN L， HUANG W， et al. Optoelectronic synaptic devices for neuromorphic computing[J]. Advanced Intelligent Systems， 2021， 3（1）： 2000099.

[6]GOI E， ZHANG Q M， CHEN X， et al. Perspective on photonic memristive neuromorphic computing[J]. PhotoniX， 2020， 1（1）： 3.

[7]CHO S W， KWON S M， KIM Y H， et al. Recent progress in transistor‐based optoelectronic synapses： from neuromorphic computing to artificial sensory system[J]. Advanced Intelligent Systems， 2021， 3（6）： 2000162.

[8]李雅瑤， 王越， 楊德仁， 等. 光電神經(jīng)突觸器件研究進展[J]. 中國科學：信息科學， 2020， 50（6）： 892 – 912.

[9]WANG Y， LV Z Y， CHEN J R， et al. Photonic synapses based on inorganic perovskite quantum dots for neuromorphic computing[J]. Advanced Materials， 2018， 30（38）： 1802883.

[10]LI R Z， DONG Y B， QIAN F S， et al. CsPbBr₃/graphene nanowall artificial optoelectronic synapses for controllable perceptual learning[J]. PhotoniX， 2023， 4（1）： 4.

[11]WAN Z F， ZHANG Q W， HU F Z， et al. Topological insulator optoelectronic synapses for high‐accuracy binary image recognition using recurrent neural networks[J]. Advanced Optical Materials， 2023， 11（2）： 2201852.

[12]ZHU Q B， LI B， YANG D D， et al. A flexible ultrasensitive optoelectronic sensor array for neuromorphic vision systems[J]. Nature Communications， 2021， 12（1）： 1798.

[13]LIANG K， WANG R， HUO B B， et al. Fully printed optoelectronic synaptic transistors based on quantum dot–metal oxide semiconductor heterojunctions[J]. ACS Nano， 2022， 16（6）： 8651 – 8661.

[14]ZHANG J Y， DAI S L， ZHAO Y W， et al. Recent progress in photonic synapses for neuromorphic systems[J]. Advanced Intelligent Systems， 2020， 2（3）： 1900136.

[15]CHENG Z G， RíOS C， PERNICE W H P， et al. On-chip photonic synapse[J]. Science Advances， 2017， 3（9）： e1700160.

[16]KIRSCHNER M S， DIROLL B T， GUO P J， et al. Photoinduced， reversible phase transitions in all-inorganic perovskite nanocrystals[J]. Nature Communications， 2019， 10（1）： 504.

[17]LIN J， LAI M L， DOU L T， et al. Thermochromic halide perovskite solar cells[J]. Nature Materials， 2018， 17（3）： 261 – 267.

[18]URBACH F. The long-wavelength edge of photographic sensitivity and of the electronic absorption of solids[J]. Physical Review， 1953， 92（5）： 1324.

[19]SUN L F， WANG Z R， JIANG J B， et al. In-sensor reservoir computing for language learning via two-dimensional memristors[J]. Science Advances， 2021， 7（20）： eabg1455.

[20]AHMED T， KURIAKOSE S， MAYES E L H， et al. Optically stimulated artificial synapse based on layered black phosphorus[J]. Small， 2019， 15（22）： 1900966.

[21]ZHOU F C， ZHOU Z， CHEN J W， et al. Optoelectronic resistive random access memory for neuromorphic vision sensors[J]. Nature Nanotechnology， 2019， 14（8）： 776 – 782.