用于IToF 傳感器的極低功耗RISC-V 專用處理器設計

黃正偉，劉宏偉，，徐 淵

（1.深圳大學 電子與信息工程學院，廣東 深圳 518060；2.深圳技術大學 大數據與互聯網學院，廣東 深圳 518118）

0 概述

隨著5G 通信技術和人工智能的快速發展，萬物互聯的時代已經來臨。3D 感知作為一種數字成像技術，能夠獲得物體之間的深度（距離）信息和三維立體信息，因此，3D 感知在計算機視覺、自動駕駛、人機交互、醫療康復和工業安全領域得到廣泛應用［1］。ToF（Time of Flight）是目前業內實現3D 感知技術最主要的方案之一，它通過精準地測量光飛行到被測物體再反射回傳感器所消耗的時間，計算被測物體與傳感器之間的深度，從而得到物體的三維信 息［2］。ToF 的測距方法有2 種，一種是DToF（Direct Time of Flight）直接測距法，另一種是IToF（Indirect Time of Flight）間接測距法［3］。DToF 利用高精度計時器直接計算從光發射到接收的時間差，從而計算得到深度。與DToF 測距方法不同，IToF 測距法讓多組不同相位的采樣計算窗口對反射光進行測量，并將測量的數據送入處理器，計算發射光與反射光之間的相位差，從而間接地得到光的飛行時間并計算出最終的深度［4］。DToF 測距法和IToF 測距法各有特點，前者的功耗低，精度不會隨深度的增加而下降［5］，但其分辨率低，難以集成；后者的分辨率高，易集成，但功耗高，精度隨深度的增加而降低［6］。

物聯網和人工智能的發展使得人們對3D 傳感器的需求量日益增加，但是同時帶來了功耗等成本問題。從功耗角度出發，設計一款用于IToF 傳感器的極低功耗專用處理器具有重要的現實意義。RISC-V 是加州大學伯克利分校提出的第五代開源精簡指令集架構［7］，與X86 和ARM 指令集架構相比，RISC-V 結構簡單，靈活且通用［8］，它要求的基本指令集少，但具備的指令集多。RISC-V 不僅不對處理器的實現作過多要求，而且預留了大量的自定義指令編碼空間，鼓勵設計者對處理器的結構和功能進行創新［9］。目前，開源的RISC-V 處理器（如蜂鳥E203 和PULPissimo）均支持較多的指令集，但是它們針對某一領域在功耗和資源使用上的優化已至極限。例如，開源的處理器在計算深度時需要處理器的多個模塊配合多條指令才能完成計算，多個模塊的執行會帶來資源使用和運行功耗的提高。因此，開源的RISC-V 處理器解決不了IToF 傳感器所帶來的功耗問題。

本文從專用領域架構出發，設計一款名為IToFminiRV 的擁有IToF 硬件加速器的極低功耗RISC-V專用處理器。IToF-miniRV 的內核資源極少，能夠實現RV32IM 通用指令集以及自定義的IToF 型指令。RV32IM 通用指令集包括RV32I 和RV32M 指令集，RV32I 指令集中包括加法、減法、跳轉、比較、移位等基本指令，是RISC-V 中必須實現的基本指令集。RV32M 指令集包括乘法、高位乘法、除法、無符號除法、求余等指令，是一種根據需求而靈活設計的非必須指令集。IToF 型指令是自定義的擴展指令，主要負責控制IToF 硬件加速器的執行，而IToF 硬件加速器主要負責對深度和光幅度進行計算。

1 IToF 傳感器的測距原理

IToF 測距法又稱間接式飛行時間測距法，IToF傳感器首先使信號發射器連續發射經過調制的光，然后通過像素陣列收集并解調反射回來的光。發射光和反射光之間的相位差通過轉換和運算，就能得到光飛行的時間以及被測物體與傳感器之間的深度［10-11］。如圖1 所示，信號發射器一般采用光源為850 nm 波長的發光二極管或固態激光管，對人眼來說是不可見光（可見光的波長范圍是400 nm～750 nm）。IToF 傳感器用于收集與發射光擁有同樣頻譜的光，同時將光子能量轉換為電子電流。需要注意的是，IToF 傳感器接收的光中包括反射光和環境光，深度信息存在于反射光中，因此，高的環境光分量會降低測量精度。

圖1 IToF 法的測距原理Fig.1 Ranging principle of IToF method

IToF 傳感器一般由像素陣列、相關雙采樣（CDS）讀出電路、數模轉換電路（ADC）、激光器驅動電路和數字控制電路組成［12］，如圖2 所示。激光器驅動電路是發射光光源，用來發射調制光。像素陣列負責采集光并對光進行解調，同時通過光電導效應將光信號轉換成電信號。相關雙采樣讀出電路用來處理像素陣列輸出的電信號。因為像素陣列輸出的電信號中存在噪聲信號（如復位噪聲信號），會影響傳感器測量的信噪比，所以像素陣列的讀出電路需要采用相關雙采樣的方法消除噪聲以增強信噪比。像素陣列輸出的信號中包含噪聲信號和光敏信號，而復位脈沖電平噪聲信號是噪聲信號的主要成分。CDS方法是指在像素陣列的光電信號積分開始時刻和結束時刻分別進行輸出信號采樣，前者采樣到的是復位電平，后者采樣到的是信號電平，其中，2 個采樣時刻的時間間隔要遠小于常數C·RRon的值（C指采樣保持電容，RRon指復位管的導通電阻），這樣采樣到的2 個電平的噪聲電壓幾乎一致，又因為采樣時間是相關的，所示只需要通過將2 個采樣電平進行相減處理，就能夠基本消除復位噪聲的干擾，從而提升輸出信號的信噪比。ADC 對模擬電信號進行量化和編碼。數字控制電路用于協調其他電路，并將量化編碼的值交付給處理器進行相關公式運算，從而得出傳感器與被測物體之間的深度。

圖2 IToF 傳感器的系統架構Fig.2 System architecture of IToF sensor

處理器通常采用4-Quad 法計算得到傳感器與被測物體之間的深度［13］。如圖3 所示，4-Quad 法要求像素陣列采用4 個不同相位的采樣計算窗口對接收光進行測量。

圖3 4 組采樣窗口的采樣反射光示意圖Fig.3 Schematic diagram of sampling reflected light of four groups of sampling windows

4 個采樣窗口C1、C2、C3、C4的相位分別比發射光的相位延遲0°、180°、90°、270°。Q1、Q2、Q3和Q4分別是4個采樣窗口采集到的光轉換成電信號的能量。4 組電信號能量經過ADC 的量化編碼后，處理器將編碼的值通過4-Quad 法中如式（1）～式（4）所示的運算，從而得到傳感器與被測物體之間的深度等重要信息。

其中：Q為反射光中的正弦分量；I為反射光中的余弦分量；c為光速；f為發射光的調制頻率（單位為MHz）；d是被測物體與傳感器之間的深度；A被稱為反射光的亮度或幅度，是評估深度測量精度的重要指標。

2 基于RISC-V 的專用處理器設計

2.1 IToF 硬件加速器設計

4-Quad 法中深度和反射光幅度運算的速度主要受限于硬件中的除法運算、反正切運算和開平方運算。因此，IToF 硬件加速器首先對除法運算、反正切運算和開平方運算進行加速，然后再對計算公式進行優化，最終達到加速的效果。

IToF 硬件加速器設計一個可自定義位寬的帶符號除法運算電路模塊，并通過路徑分割的方式對其進行加速。該除法運算模塊包括初始化模塊、路徑分割模塊和遞歸模塊。以N為位寬，初始化模塊將被除數初始化成位寬為2N的表示其絕對值的變量，把除數初始化成位寬為N+1 的表示其絕對值相反數的變量，同時聲明一個判斷商正負的標志信號。路徑分割模塊采用寄存器堆對遞歸模塊之間的數據進行緩存，從而提升電路運行速度。遞歸模塊是除法運算模塊的核心，對運算過程中的中間變量進行算術和邏輯運算，通過N次遞歸后就能得到最終的商和余數，其中，商值用來提供IToF 硬件加速器中反正切模塊和深度距離計算公式中不可或缺的參數值，余數是附帶的輸出信息。

圖4所示為除法運算模塊在硬件中實現的算法流程。

圖4 除法運算模塊算法流程Fig.4 Algorithm procedure of division operation module

IToF 硬件加速器基于文獻［14］提出的算法和反正切公式，推導出新的四象限反正切變換公式，并提出一種基于查找表和二叉樹的方法，從而求取反正切值。如圖5 所示，該方法把直角坐標系分為a、b、c、d、e 這5 個區域，并在a 區域內采點，將點的x值固定為4 095，這樣有利于后續公式的優化并節省硬件的計算和存儲資源（x可根據不同系統的精度需求和優化策略設置成任意值），y值作為查找表的地址，從0 開始，以1 為步進增加到4 095，y每增加一次，就計算一次點的反正切值并存入查找表。因此，查找表中存儲的反正切值的弧度范圍為0～π/4。當點處于a 區域時，直接通過查找表就能獲取反正切值，當點處于其他區域時，四象限反正切變換公式先計算偏移量，再將點轉移到a 區域，最后通過查找表與偏移量的累加得到反正切值。四象限反正切變換公式如式（5）～式（8）所示：

圖5 直角坐標系中的采點示意圖Fig.5 Schematic diagram of sampling points in rectangular coordinate system

此時，查找表中存儲的弧度值屬于浮點數，浮點數需要浮點模塊進行處理，這會大幅提高處理器的功耗以及對FPGA 資源的使用。因此，本文將0～2π 的弧度值離散化為0～30 000 的整數，經過式（9）的轉換，查找表中的值會從0～π/4 的浮點數映射為0～3 750 內的整數。

將四象限反正切變換公式和查找表在硬件電路中進行實現，就能得到一個輸出分辨率為的反正切電路模塊。圖6 所示為反正切運算模塊在硬件中實現的算法流程。

圖6 反正切運算模塊算法流程Fig.6 Algorithm procedure of arctangent operation module

IToF 硬件加速器根據二進制平方運算的計算過程，逆推導出一種逐次逼近的、可自定義位寬的開平方模塊，其包括數據預處理模塊、函數M（W，I）模塊、路徑分割模塊和遞歸模塊：

1）數據預處理模塊根據輸入數據的位寬對模塊內的參數進行修改，并根據參數的值初始化用于保存遞歸運算結果的存儲器。

2）路徑分割模塊用于緩存遞歸模塊的輸出數據。

3）遞歸模塊負責對中間變量進行邏輯運算從而逼近最后結果。

4）式（10）是函數M（W，I）的表達式，函數M（W，I）模塊的本質是以邏輯運算和算術運算的動態方式，給每一階段的遞歸模塊提供參數及其參數運算得出的對比值，相比于查找表這種動態方式，M（W，I）模塊能節省大量的硬件存儲資源。

圖7 是開平方模塊的算法流程，其中，對虛線框內的運算步驟進行N-1 次遞歸操作。

圖7 開平方運算模塊算法流程Fig.7 Algorithm procedure of square root operation module

基于以上的算法實現，深度計算公式可簡化為式（11）：

其中：d是小數點在第11 位的定點數；n是發射光的調制頻率（單位為Hz）。

例化除法運算模塊、反正切運算模塊和開平方運算模塊，構建一個完整的IToF 硬件加速器，其系統架構如圖8 所示。

圖8 IToF 硬件加速器系統架構Fig.8 System architecture of IToF hardware accelerator

2.2 基于RISC-V 的極低功耗處理器設計

RISC-V 是一個具有典型三操作數、加載-存儲形式的精簡指令集架構，其包括3 個基本整數指令集（RV32I、RV64I、RV128I）和6 個擴展指令集（M、F、A、D、Q、C）［15］，并且提供了自定義指令的編碼空間。RISC-V 只對I 指令集提出了實現要求，對于其他指令集，設計者可根據需求自行實現和定義。目前，芯來科技公司推出了一款基于RISC-V 的超低功耗處理器——蜂鳥E203［16］，該處理器以2 級流水線為主體，支持RV32IEAMC 指令集，其功耗面積和性能不遜色于ARM 最小面積的處理器Cortex-M0+。瑞士蘇黎世聯邦理工大學和意大利博洛尼亞大學聯合設計研發了一款名為PULPissimo 的超低功耗RISC-V處理器，PULPissimo 具有良好的靈活性，其內核既可以被配置為以4 級流水線為主體且支持RV32IMC 指令集的RI5CY，也可以被配置為以2 級流水線為主體且支持RV32IC 指令集的zero-riscy。目前，PULPissmo 主要被用于多核PULP 芯片的系統控制器［17］。

本文從極低功耗出發，設計一款支持RV32IM指令集的處理器，該處理器擁有32 位的地址空間和整數指令，以3 級流水線為主體［18］，采用靜態分支預測技術。處理器還擁有自定義的主從一對一的oto總線，為擴充處理器的資源和功能創造了條件。

本文處理器的系統框架如圖9 所示，處理器的內核主要包括指令獲取模塊、靜態分支預測模塊、預譯碼模塊、數據傳輸模塊、指令譯碼模塊、指令執行模塊、控制模塊、中斷模塊、通用寄存器堆和csr 寄存器堆等。處理器的外設包含具有哈佛結構的指令和數據存儲器模塊、指令仲裁器模塊、計時器模塊、通用I/O 模塊和串口通信模塊。處理器的內核主要完成對指令的獲取、譯碼和運算。處理器的外設主要為處理器內核提供指令和數據的存儲空間，以及為處理器添加常用的資源和功能。在通常情況下，處理器處理一條指令需要3 個時鐘周期：在第一個時鐘周期內，指令獲取模塊通過指令仲裁器從指令存儲器模塊中讀取指令，并把指令分別派送給預譯碼模塊和分支預測模塊進行解析；在第二個時鐘周期內，指令譯碼模塊對指令進行譯碼，并根據譯碼的信息從通用寄存器堆或csr 寄存器堆中讀取源操作數，并將源操作數交付給數據傳輸模塊；在最后一個時鐘周期內，指令執行模塊根據譯碼的信息對操作數進行邏輯或算術運算，并把運算的結果寫入寄存器堆或通過總線寫入數據存儲器。

圖9 極低功耗RISC-V 處理器系統架構Fig.9 System architecture of ultra-low-power RISC-V processor

在某些特殊情況下，處理器在處理多條指令時會出現數據沖突、結構沖突等異常：數據沖突一般指上一條指令沒有及時更新下一條指令所需的源操作數，導致處理器運算錯誤的情況；結構沖突一般指同一個時鐘周期內一個模塊需要同時應答多條指令的請求，從而出現運算錯誤的情況。處理器中的控制模塊會根據異常的原因對數據傳輸模塊和指令獲取模塊進行數據沖刷和指令丟棄等處理。數據沖刷即丟棄某個數據傳輸模塊中緩存的數據，不讓其傳入下一個階段進行計算或存儲，從而避免錯誤的運算結果被保存在寄存器堆或數據存儲器中。指令丟棄即控制模塊結合當前處理器的運行狀態判斷出當前指令會引起處理器異常所進行的操作，其目的是不讓當前指令進入譯碼階段，從而避免后續的異常。待處理器結束當前狀態，被丟棄的指令會被重新獲取并執行。

2.3 專用處理器系統構建

領域擴展自定義指令是構建專用處理器系統的關鍵步驟。例如，文獻［19］基于RISC-V 擴展了針對GNSS 信道編碼的專用指令，文獻［20］基于RISC-V擴展了用于低開銷SM4 算法實現的專用指令，文獻［21］基于RISC-V 擴展了用于衛星信號通信的專用指令。

本文IToF-miniRV 以極低功耗RISC-V 處理器為基礎，將IToF 硬件加速器掛載到RISC-V 處理器上，并為其在處理器中的識別與操控定義一種IToF 型指令，該類指令的格式如圖10 所示。

圖10 IToF 型指令格式Fig.10 IToF type instruction format

在IToF 型指令格式中：opcode 位段為操作碼，用于處理器對該指令進行識別［22］；funct3 位段為指令的功能碼，用于處理器對IToF 硬件加速器進行多種操 控［23］，目前處理器對IToF 硬件加速器有start、pause 和remake 這3 種操作，其funct3 位段分別對應于00001、00010、00000；number 位段為指令的一個參數，用于指示處理器計算的數據量；frequency 位段為IToF 硬件加速器需要的發射光調制頻率參數。

圖11 所示為IToF-miniRV 的系統框架，其中，IToF_DSA 是IToF 硬件加速器，Pixel_memory 用 于存放4 組采樣窗口的數據。處理器在指令執行階段啟動IToF_DSA，IToF_DSA 開始從Pixel_memory 中讀取數據，經過53 個時鐘周期后，每隔一個時鐘周期就計算出一組深度值和光幅度值，并將其組合成32 位的數據，存儲在數據存儲器中，直到計算完指令中指定的數據量。在此期間，處理器可以在任意時刻暫停IToF_DSA 的計算，從而釋放總線讓處理器執行其他指令，也可以根據即時的調試需求重新開始IToF_DSA 的取值、計算和存儲，從而更新并覆蓋數據存儲器中已有的深度和光幅度數據。

圖11 IToF-miniRV 的系統架構Fig.11 System architecture of IToF-miniRV

3 實驗結果與分析

本文實驗數據來源于IToF 傳感器在發射光調制頻率為54 MHz 時采集到的像素數據，每一組像素數據為48 bit，包含4 個采樣計算窗口測量的數據。表1 列出了IToF-miniRV 在50 MHz 時鐘頻率下計算64 組、256 組、1 024 組、4 096 組像素數據時的性能指標，數據對比如圖12、圖13 所示。

表1 IToF-miniRV計算不同數據量像素數據時的性能指標Table 1 Performance index of IToF-miniRV when calculating pixel data with different data volumes

圖12 計算不同數據量像素數據所需的時鐘周期數Fig.12 The number of clock cycles required to calculate pixel data with different data volumes

圖13 計算不同數據量像素數據所花費的總時間和平均時間Fig.13 The total and average time taken to calculate pixel data with different data volumes

從表1 可以看出，計算數據量越大，平均每組數據消耗的時間越少，當計算的數據量不少于256 組時，平均每組數據消耗的時間小于25 ns。從圖12 可以看出，隨著像素數據量的增大，其所需的時鐘周期數提高并逐漸趨于線性關系，這是因為隨著數據量的增大，IToF 硬件加速器初始化所需的時鐘周期數占總周期數的比例越來越小。IToF 硬件加速器經過初始化過程后，每過一個時鐘周期就能計算完一組數據，使其所需時鐘周期數與數據量呈線性增長關系。由于計算總時間為時鐘周期數與時鐘周期的乘積，因此圖13 中的計算總時間也會隨著數據量的增大而逐漸以線性趨勢增加。同理，因為經過初始化過程后，每一個時鐘周期就能計算完一組數據，隨著數據量的增長，平均每組數據花費的時間無限趨近于時鐘周期20 ns。

圖14、圖15 分別是實物測量場景圖和實物測量結果。表2列出了實物測量的深度和光幅度的相關數據。

圖14 實物測量場景圖Fig.14 Physical measurement scene graph

圖15 實物測量結果Fig.15 Physical measurement result

表2 深度和光幅度的實物測量數據Table 2 Physical measurement data of depth and light amplitude

將超低功耗處理器蜂鳥E203 和PULPissimo 下載到Xilinx Zynq-7000 芯片上，得到它們在FPGA 上各項資源的使用和功耗情況。表3列出了IToF-miniRV、E203 和PULPissimo 處理器在Zynq-7000 芯片上的資源使用情況對比結果。

表3 IToF-miniRV、E203、PULPissimo的資源使用情況對比Table 3 Comparison of resource usage of IToF-miniRV，E203 and PULPissimo

從表3 可以看出，IToF-miniRV 總資源利用率為7.5%，相對蜂鳥E203 的總資源利用率12.7%減少了5.2 個百分點，相對PULPissimo 的總資源利用率18.4%減少了10.9 個百分點。

表4列出了IToF-miniRV、蜂鳥E203和PULPissimo在Zynq-7000 芯片上的功耗對比。其中，蜂鳥E203的工作時鐘頻率為16 MHz，PULPissimo 的工作時鐘頻率為65 MHz。

表4 IToF-miniRV、E203、PULPissimo 的運行功耗對比Table 4 Comparion of operating power consumption of IToF-miniRV，E203 and PULPissimo W

從表4可以看出，IToF-miniRV的總功耗為0.166 W，比蜂鳥E203 的0.266 W 降低了37.6%，比PULPissimo的1.614 W 降低了89.7%。

4 結束語

本文提出用于加速IToF 深度和光幅度計算的硬件加速器，同時設計一種支持RV32IM 指令集并具備自定義IToF 型指令功能的極低功耗RISC-V 處理器，將兩者相結合構成一款用于IToF 傳感器的極低功耗RISC-V 專用處理器IToF-miniRV。實驗結果表明，IToF-miniRV 能夠減少資源使用并具有較低的運行功耗，其FPGA 資源使用率相比蜂鳥E203 和PULPissimo 分別減少5.2 和10.9 個百分點，運行功耗分別降低37.6%和89.7%。下一步將對IToF-miniRV的內核進行時序優化，使整個處理器能夠在更高的時鐘頻率上工作，同時對IToF-miniRV 進行版圖的生成、優化以及流片。