基于FPGA的可穿戴式激光鍵盤

許圣鈞 徐天翔 李軍平

設計目的

隨著社會的發展，科技水平的不斷提高，傳統的鍵盤已不能夠滿足左右人的要求。傳統鍵盤具有體積大、便攜性差、使用噪聲大、壽命短的缺點，而筆記本電腦的鍵盤也存在泛用性差、無法通用等缺點，因此有了激光鍵盤的問世。然而普通的激光鍵盤在投影平面的選擇上存在一定的不足，在特殊情況下的適應性較差，無法選擇想要的任意平面做為投影面，由此，我們提出可穿戴式激光鍵盤這一概念，希望能夠解決這一問題。

設計概述

本設計基于FPGA實現，使用Pynq-Z2開發平臺搭載Zynq7020芯片。使用虛擬鍵盤激光組件投影鍵盤外形，同時使用一字線性感應激光器，投射紅外光于投影區域。當手指敲擊鍵盤時，會在紅外投射區域觸發光斑。由攝像頭采集投影平面圖像，通過藍牙模塊傳輸給FPGA進行處理。在Zynq7020上調用opencv處理采集到的圖像，確定光斑位置，轉換為對應二進制信息，再通過轉碼生成對應的ASCII碼，傳輸給電腦。該系統分為兩個部分，將小型攝像頭、一字線性感應激光頭和虛擬鍵盤激光組件封裝在一起，背面可安裝彈簧夾，可以根據使用者需要安置在眼鏡，衣領或者任意合適的位置，經行佩戴課根據自己的需要進行調節。通過藍牙模塊和剩余部分FPGA進行連接，從而連接至電腦。

系統組成和各部分模塊介紹

1.系統組成

本設計共由Pynq-Z2開發平臺、攝像頭AN5640、一字線性感應激光頭、虛擬鍵盤激光組件、藍牙模塊HC-05等部分組成。

2.各部分模塊介紹

（1）Pynq-Z2

PYNQ-Z2 開發板是Xilinx 大學計劃支持PYNQ開源框架的第二代最新開發平臺，根據第一代的反饋做功能升級。PYNQ開源框架可以使嵌入式編程用戶在無需設計可編程邏輯電路的情況下充分發揮Xilinx ZYNQ SoC的功能。PYNQ-Z2除支持傳統ZYNQ開發方式外，還可支持Python進行SoC編程，并且代碼可直接在PYNQ-Z2上進行開發和調試。

（2）攝像頭AN5640

OV5640 攝像頭模組采用美國 OmniVision（豪威）CMOS 芯片圖像傳感器OV5640，支持手動調焦的功能。OV5640 芯片支持 DVP 和 MIPI 接口， OV5640攝像頭模組通過 DVP 接口和 FPGA 連接實現圖像的傳輸。用以采集手指點擊過程中觸發的紅外光斑，反饋給FPGA進行處理。

（3）藍牙HC-05

該藍牙由兩模塊組成，一端與攝像頭連接，接收采集到的圖像信息，通過RXD端發送到另一模塊的TX端，與FPGA連接，進行圖像信息的無線傳輸，在FPGA的SOC系統上調用opencv庫，對于采集進行處理確定光斑位置。

（4）中值濾波模塊

由于成像系統、傳輸介質和記錄設備等的不完善，數字圖像在其形成、傳輸記錄過程中往往會受到多種噪聲的污染。另外，在圖像處理的某些環節當輸入的像對象并不如預想時也會在結果圖像中引入噪聲。中值濾波對脈沖噪聲有良好的濾除作用，特別是在濾除噪聲的同時，能夠保護信號的邊緣，使之不被模糊。這些優良特性是線性濾波方法所不具有的。此外，中值濾波的算法比較簡單，也易于用硬件實現。在這里使用中值濾波對于攝像頭采集到的圖像進行處理，提高識別精度。

（5）一字線性激光頭

在投影平面上投射一字線性紅外激光，在手指敲擊過程中，會在投影平面觸發光斑，以供攝像頭采集。

（6）紅色激光發射器

鍵盤的外形以及用戶所能看到的鍵盤按鍵都是由紅色激光發射器投影而成的，并且根據投影平面的大小和形狀，可以對于鍵盤的外形和鍵位位置進行更改，內置多種模式供用戶切換。

工作原理

首先，由一字線性激光頭發出的激光選擇紅外線，并且波長選擇在攝像頭可以識別但是人眼不可識別的范圍內，以仿擾亂視線。人眼可見的范圍大約在780nm以下，780nm以上屬于紅外線范圍，而在800nm到850nm左右的紅外屬于攝像頭可捕捉的紅外光，所以我們選擇了可以發出這一范圍激光的一字線性激光頭。

當手指敲擊某個按鍵時，攝像頭會捕捉到圖像，并將其通過藍牙傳回FPGA進行圖像處理。在捕捉之前，在攝像頭之前加上濾光片，盡量只保留紅外光斑，避免其他雜光的干擾。

這里我們在FPGA的片上系統上調用opencv計算機視覺庫跟蹤光斑位置。在這里我們調用現成的Cvblob第三方庫，在視覺追蹤上擁有不錯的效果。首先從捕捉的圖像中扣出紅色激光區域，在根據鍵盤的邊緣確定光斑于區域邊緣的位置。但是由于投射的角度不同，鍵盤有很大程度上出現變形的可能性，距離判斷會出現不準確的情況。所以對于任意平面投影的誤差處理是有必要的，需要根據攝像頭采集到的鍵盤鄰邊的夾角角度來確定鍵盤的變形情況以調整光斑的位置所對應的信息。同時在人使用的過程中，如果鍵盤佩戴部位出現晃動，使用同樣的原理進行修正。

將采集到的位置信息轉換為FPGA可以識別的二進制信息，通過預先編好的轉碼模塊，不同的二進制信息進入查找表獲取對應的ASCIl碼信息。

為了適應不同的平面，不同的投影情況和用戶需求。我們根據對于所需要鍵盤的尺寸鍵位排布設計多套類似的系統，甚至在平面位置不夠的情況下，可以舍棄一些不重要的按鍵。我們將多套系統例化到同一頂層模塊中，使用外置按鈕控制選擇投影模式。

應用領域

本設計是在原本的激光投影鍵盤的基礎上進行改良和增加功能而出現的，所以可以滿足原本的激光投影鍵盤的全部功能。同時，在戶外、演示宣講等不方便常規使用鍵盤的場合，可以將鍵盤投影于墻面、手掌等平面簡單使用。同時可以在此基礎上可以設計激光投影觸控板，進行完全的無實物操作。在照明不良的情況下，也能夠正常使用，調節紅外激光發射器調節亮度，在白天光照較強的情況下也可以使用。可以以平躺、站立等各種不同的使用姿勢使用，解決長期保持坐姿使用疲勞的問題。

設計優勢

本作基于FPGA實現，具有較快的處理速度，有效解決普通紅外激光鍵盤響應延遲的問題。采用的Pynq開發平臺可以同時使用FPGA和ARM，有效解決圖像處理時資源不夠的問題。同時Pynq可以使用Python語言驅動，擁有較好的泛用性和擴展性，在增加擴展功能時具有一定優勢。相比傳統的激光鍵盤，可穿戴式激光鍵盤的適應性好，可用于不同的使用情況。將原本的一體分為兩個部分，通過藍牙傳輸，輕便小巧，便于佩戴。由于調用了cvblob第三方庫，可以同時追蹤多個光斑，在加上FPGA具有并行處理的能力可以輕易實現組合按鍵，例如：alt+ctrl+del。

存在問題

雖然使用無線傳輸來達到可穿戴的目的，但是無線傳輸的速度還是存在一些問題，并且存在時而不穩定的情況。同時使用購買現成的模塊，在體積和重量上還不完全滿足可穿戴的舒適性要求，需要進一步精簡，減輕重量，縮小體積。

同時，由于佩戴部位和投影面無法保持長期的相對靜止，所以會出現晃動的問題，影響操作體驗，需要在后期繼續改進，嘗試加入自穩的技術手段，減輕因為人體輕微移動所帶來的負面影響。

濾光片在濾除不需要的雜光時，不能做到完全濾除，在環境光較強時，會出現位置跟蹤不準確的情況，使使用受到了一定的局限性，線性激光頭和濾光片的選擇還需要進一步考量。

總 結

可穿戴式激光鍵盤的概念在2013年已成為Google對谷歌眼鏡的一種設想，但是我們在這基礎上使用FPGA實現，提高了速度和并行處理的可靠性，并且希望能夠讓用戶根據實際情況自行調節鍵盤的大小尺寸和鍵位布局。這一設想在實際操作中還有很多很多現實的問題沒有解決，我們的會進一步進行嘗試，希望能最終研發出成熟的產品。