半導體智能視覺系統芯片

吳南健/WU Nanjian

（1. 中國科學院，北京100083；2. 中國科學院大學，北京100049）

(1. Chinese Academy of Sciences, Beijing 100083, China;2. University of Chinese Academy of Sciences, Beijing 100049, China)

視覺是人類感知外部世界的最重要手段，視覺信息占到了人類獲取外部環境信息總量的80%，視覺感知和視覺信息的智能化處理是人類智能活動的重要組成部分。如圖1所示的人類視覺信息系統主要包括人眼視網膜和大腦視覺皮層[1]，它們分別起到了視覺傳感器和視覺圖像信息多層次并行處理器的功能。視覺系統能夠感知外部世界的可見光視覺信號，并且通過學習記憶來識別和認知外部的視覺信息。隨著信息社會的發展和人工智能產業的再度崛起，人工視覺信息的獲取和快速高精度處理在人工智能產業化中的作用日趨凸顯，如何借鑒人的視覺系統結構和視覺信息處理模式來實現人工的智能視覺系統是當今人工智能領域面臨的重要挑戰。在硅片上實現能夠進行視覺信息獲取和智能化處理的半導體智能視覺系統芯片成為了當今半導體信息領域中重要的熱點研究課題之一。

半導體智能視覺系統芯片是一種集成了視覺圖像傳感器和智能視覺圖像處理器的新型超大規模光電混合集成電路芯片，它是一種典型的邊緣計算型視覺系統性片。半導體智能視覺系統芯片克服了傳統視覺圖像系統中數據串行傳輸和串行信息處理的速度限制瓶頸效應，具有實現或超越人類視覺系統的功能及其性能的潛力，在高速運動目標的實時追蹤、圖像識別、智能交通、虛擬現實、生產線自動產品質量檢測及各類智能化玩具等領域具有廣泛的應用前景。智能視覺系統芯片是一種新型光電子、微電子融合的混合集成電路，它的工作原理和設計方法不同于傳統的圖像傳感器芯片。智能視覺系統芯片的設計和應用研究富有挑戰性。

C. MEAD[2]和K. AIZAWA[3]首先提出了一種基于半導體集成電路技術的神經形態視覺芯片，它以單芯片的形式實現圖像傳感和圖像處理的功能，是一種非常有應用潛力的人工視覺系統芯片。在近30年的發展進程中，美國、歐洲和日本等國家或地區紛紛投入了大量資金和研究人員支持大規模視覺芯片的科學技術研究。隨著互補金屬氧化物半導體（CMOS）圖像傳感器技術、智能化圖像信息處理方法和光電融合集成芯片技術的進步和研究人員不懈的努力，半導體智能視覺系統芯片的體系架構、信息處理模式和光電融合設計技術不斷演化進步，取得了一系列重要的進展[4-12]。文章中，我們重點介紹和評述半導體智能視覺系統芯片體系架構的演變和最新研究成果。

1 智能視覺系統芯片的概念

▲圖1 人的視覺系統示意圖

▲圖2 智能視覺系統芯片的示意圖

圖2給出了智能視覺系統芯片的示意[1]，它由相當于視網膜的視覺圖像傳感器、相當于視皮層的多級并行處理網絡和片上存儲器組成。視覺圖像傳感器將捕獲到的外界光學圖像信號轉換成電子圖像信號，并進行圖像信號的彩色處理、灰度調整、噪聲消除和靈敏度控制等增強處理操作，然后電子圖像信號傳輸給圖像處理器進行多級圖像信息并行處理。多級并行處理器接收來自視網膜的圖像信號并進行圖像信息處理，通過進行多層次視覺圖像特征的提取和圖像目標的檢測，完成視覺信息的學習、記憶和識別功能。這種芯片的智能含義主要體現在兩個方面：首先，芯片能夠分析視覺圖像傳感器獲得的圖像質量，并判斷圖像是否能夠滿足后續信息處理的要求，然后優化傳感器的拍攝條件進行圖像獲取；其次，芯片能夠自動地對獲取的圖像進行智能化處理，實現圖像信息的學習、記憶、識別分析和判斷處理的功能。

目前的智能視覺系統芯片可分為兩類：幀驅動型視覺系統芯片[4-9]和事件驅動型視覺芯片[10-12]。幀驅動型視覺系統芯片通過視覺圖像傳感器以幀的形式捕獲圖像，然后將圖像數據傳輸到多級并行處理器中，多級并行處理器逐幀進行圖像信息處理，最后輸出處理結果。另一方面，事件驅動型視覺芯片感知場景中的時間或空間光信號變化進行動態視覺成像，輸出脈沖視覺圖像數據到多級并行處理網絡中，然后脈沖型多級并行處理網絡進行圖像信息處理，最后輸出處理結果。

這兩類智能視覺系統芯片在設計方法、信號編碼、操作模式和圖像信息處理算法等方面有很大的不同。事件驅動型視覺芯片具有感知速度快、數據稀疏、類腦處理、能量利用率高等優點。其信號編碼方式與人類視覺系統中的視覺信號編碼方式相似，視覺圖像信息的表示、傳輸和處理都以脈沖形式來進行；因此，它具有時間分辨率高和視覺信息處理能效高的特點。但是，事件驅動型視覺信號時分處理困難，需要相對大規模的物理處理單元電路進行信息處理。

另一方面，幀驅動型視覺系統芯片在圖像分辨率、靜態目標檢測、時間復用視覺圖像信息處理、芯片面積等方面具有優勢。在幀驅動型視覺系統芯片中像素電路緊湊，使得視覺圖像傳感器更加容易提高分辨率和填充因子。視覺圖像傳感器可以很好地感知靜止和運動的目標，較好地支持視覺圖像信息的時間復用處理模式和處理網絡-存儲器間的中間數據傳輸，方便地采用計算視覺和深度學習的方法進行視覺圖像想信息處理。由于篇幅的限制，本文中我們以幀驅動型視覺系統芯片為例，介紹智能視覺系統芯片體系架構的演變和最新的研究成果。有關事件驅動型視覺芯片的研究內容細節可閱讀文獻[1]、[10-12]。

2 智能視覺系統芯片體系架構

智能視覺系統芯片的概念提出來后，各國研究人員開展了長期的視覺系統芯片研究。隨著半導體視覺圖像傳感技術和圖像信息處理技術的不斷進步，智能視覺系統芯片的體系架構不斷演進形成了如圖3所示的4種不同架構，支撐著智能視覺系統芯片設計和應用技術的發展。智能視覺系統芯片主要包括視覺圖像傳感、圖像增強處理、特征提取處理和圖像檢測識別處理的4個功能，能夠完成智能化的圖像感知和圖像信息處理。早期的視覺系統芯片通常采用架構Ⅰ[5]，它由二維處理單元陣列組成，處理單元以單指令多數據方式進行圖像獲取和信息處理操作。處理單元包括了光電二極管像素和圖像信息處理電路，獲取光電信號后處理電路就直接可以進行圖像信息處理，可實現像素級的實時并行處理，具有工作速度高的特點。這種視覺系統芯片能完成圖像信號增強處理、邊緣檢測、輪廓提取、塊匹配、圖像質心、光流計算、運動檢測、測距和圖像壓縮等圖像處理操作，可應用于目標跟蹤、產品檢測和人機交互等領域；然而，由于這種架構的芯片存在圖像分辨率低、填充因子小和圖像信息處理功能有限等缺點，實際應用推廣困難。

▲圖3 智能視覺系統芯片架構的演進

為了克服這些困難，新的視覺系統芯片體系架構Ⅱ被提出來[6]。該芯片由圖像傳感器、二維處理單元陣列、行并行處理器陣列和微處理器單元構成，它們可以分別執行視覺圖像傳感、圖像增強、特征信息提取和圖像識別的操作。架構Ⅱ克服了架構Ⅰ圖像分辨率低的問題，將像素陣列和二維處理單元陣列分離，可以獨立地設計像素陣列和二維處理單元陣列的規模和性能，并且圖像傳感器陣列和二維處理單元之間可以實現靈活的映射。但是，由于微處理器的能力無法與二維處理單元陣列和行并行處理器陣列的處理能力相匹配，限制了圖像識別處理的速度。圖像識別處理所需時間遠大于前期圖像處理所需時間；因此，根據Amdahl定律，圖像識別處理將制約系統的性能。

為了提高圖像識別的處理速度，我們進一步提出了新的視覺系統芯片體系架構Ⅲ[7]。它由圖像傳感器、二維處理單元陣列、行并行處理器陣列、自組織映射神經網絡和微處理器單元構成，分別執行視覺圖像傳感、圖像增強、特征信息提取、圖像識別的操作和芯片控制。架構Ⅲ的特點是混合集成了馮·諾依曼型處理器和非馮·諾依曼型自組織映射神經網絡處理器。自組織映射神經網絡有效地提高了圖像識別的處理速度，使圖像識別處理的速度很好地匹配前期圖像處理的速度，顯著提高了視覺系統芯片的性能。其次，自組織映射神經網絡電路和二維處理單元陣列電路可以在幾個時鐘周期內通過動態重構方式實現，從而大幅度節省了芯片的面積。

隨著基于深度學習的圖像信息處理技術的發展，架構Ⅳ的視覺系統芯片體系架構被提出來[9]。由于計算視覺的圖像信息特征提取和圖像識別的精度已被深度學習超越，該架構在特征提取處理階段用卷積神經網路代替了馮·諾依曼型行并行處理器陣列。該架構充分考慮了計算機視覺和卷積神經網絡的計算特點，可以支持卷積神經網絡計算和計算機視覺算法計算，二維處理單元陣列、卷積神經網絡電路和檢測分類神經網絡電路可以通過動態重構技術實現時分復用處理。架構Ⅳ的視覺系統芯片的編程能力、圖像信息處理能力和處理能率等各個方面都明顯優于前面的視覺芯片，具備實用化應用的能力，在高速運動目標的實時追蹤、圖像識別、智能交通、虛擬現實、生產線自動產品質量檢測及各類智能化玩具等領域具有廣泛的應用前景。

3 智能視覺系統芯片的設計案例

圖4給出了基于芯片架構Ⅲ的智能視覺系統芯片的照片和手勢識別實驗結果[7]。芯片集成了高速CMOS圖像傳感器、多級馮·諾依曼型并行處理器和非馮·諾依曼型自組織映射神經網絡混合處理器，具備像素級、行級、矢量級和線程級多級并行的完整片上處理功能，可完成高速圖像獲取、圖像增強、圖像特征提取和圖像識別的各階段圖像處理任務。芯片的特點是：支持片上自組織映射網絡在線訓練；以約2%芯片總面積開銷和3個時鐘周期的代價實現了二維并行處理單元陣列和自組織映射神經網絡的相互重構；是首款體系功能完整的馮·諾依曼/非馮·諾依曼混合處理視覺芯片。芯片采用 0.18 μm圖像傳感器專用工藝流片實現，它包括一個256×256的像素陣列、128×2路像素信號處理和10 bit 模數轉換器陣列、動態可重構的64×64 處理單元陣列處理器/16×16自組織映射神經網絡處理器、64×1的行處理器陣列、32 bit精簡指令集計算機（RISC）核的雙核微處理器（MPU）和控制邏輯電路，芯片面積9.8 mm×8.4 mm，系統時鐘頻率為50 MHz，功耗為630 MW。該視覺芯片達到了包括從圖像采集到特征識別全過程在內的1 000 fps系統級性能，其中特征識別所耗時間小于0.1 ms。

▲圖4 基于架構Ⅲ的智能視覺系統芯片及其測試結果

圖5 基于架Ⅳ的智能視覺系統芯片及測試結果

圖5給出了基于芯片架構Ⅳ的智能視覺系統芯片的照片和遙感圖像船只檢測實驗結果[9]。芯片采用65 nm CMOS工藝集成了多層次的并行處理單元整列、局域存儲器和片上互聯網絡電路。并行處理單元陣列包括16計算簇，每一個計算簇主要包含1個16位標量處理單元、32個互相連接的16位向量處理單元及本地存儲器。標量處理單元可以靈活地獲取和處理32×32圖像塊中任意數據，每個向量處理單元可以進行像素級的圖像處理，并行處理單元陣列以單指令、多數據模式進行并行運算。RISC32微處理器和系統總線以及其他相關模塊是整個芯片的控制系統，指揮數據通路和計算陣列協同工作。智能視覺系統芯片可以支持卷積神經網絡計算和計算機視覺算法計算，二維處理單元陣列、卷積神經網絡電路和檢測分類神經網絡電路可以通過動態重構技術實現時分復用處理，從而可以實現邊緣計算型人臉檢測和如圖5（b）所示的遙感圖像船只檢測的實際應用。這種視覺芯片具有功能完整、處理速度快、功耗低和可靈活可編程的特點，適合應用于對功耗、尺寸、實時性有較高要求的邊緣計算等場合。

4 結束語

本文中，以我們研究小組長期的研究成果為例子，介紹了半導體智能視覺系統芯片的研究背景、系統芯片的概念、芯片體系架構的演變、視覺系統芯片的設計案例。盡管視覺系統芯片技術已取得了長足進步，但視覺系統芯片要真正進入到實用階段仍然面臨著諸多亟待解決的問題。首先，要提高圖像傳感器的高分辨下成像速度、暗光條件下成像能力、成像動態范圍和高精度三維成像能力，來滿足不斷增長的應用需求；其次，目前視覺系統芯片的智能化處理能力相對于要求來說比較簡單，還不具備片上學習和圖像傳感器自適應控制的能力，并且圖像信息分析和處理的能力有限，無法滿足各種實際應用場景下完全自主工作的應用需求；最后，在視覺系統芯片集成的技術方面，由于視覺圖像傳感器、智能圖像處理器和存儲器通常采用不同節點的CMOS工藝來實現，并且智能圖像處理器和存儲器所用的工藝節點通常要比視覺圖像傳感器的更為先進，要在單一的硅芯片上實現智能視覺系統芯片很難平衡視覺圖像傳感器的能力和圖像處理器的性能之間的關系[12]。因此，采用三維堆疊集成技術實現智能視覺系統芯片是今后發展的重要趨勢。目前中國科學技術部的重點研究計劃已經部署了相關的研究項目開展研究，中國有望在視覺系統芯片領域取得重要的突破。

致謝

本文中所介紹的芯片架構和芯片設計的案例是中國科學院半導體研究所超晶格國家重點實驗室高速圖像傳感與圖像信息處理課題組成員共同取得的成果，在此對做出貢獻的全體成員表示感謝！