基于Python與OpenCV的實時圖像處理相機

張幼作 郭惠婷 夏清

編者按：該項目通過運用Python開發語言在Pycharm平臺上，結合開源的OpenCv圖像處理函數庫、PySimpleGUI庫，對攝像頭所實時拍攝的圖像畫面進行采集處理。該項目可通過攝像頭實時動態查看各類圖像處理的特點并保存圖像，其中利用高斯函數、濾波處理、閾值二值化和Canny邊緣提取算法等設置控件按鈕功能，為后續自制美顏相機提供了基礎，也實現了使用時的方便快捷、簡單易操作。

引言

在這個網絡交友盛行的時期，越來越多的人會互相交換自拍照片來相互認識，運用各種美圖的手機軟件。為了解決修圖軟件來回切換的不方便性和降低像素的可能，我們打造了一個利用電腦自帶攝像頭，以Python為基礎的開發語言，結合OpenCv技術的實時動態可查看各類圖像處理效果，并實現拍照功能且可保存圖片的程序相機。

項目背景

如今修圖軟件在日常的使用頻率日益增多，數量也是只增不減。使用時很多功能需要切換不同軟件，很多功能也用不到，不僅浪費時間并且從一定程度上降低了照片的質量。該項目就在是要讓使用者用最短時間拍出可直出的圖片，不需要來回切換軟件，只需設置自己平時常用的功能，大大提高了效率與照片像素。

主要技術

OpenCv

OpenCV（Open Source Computer Vision Library）是一個開源的計算機視覺和機器學習軟件庫，實現圖像處理和計算機視覺方面的很多通用算法。應用領域廣泛，有人機互動、物體識別、運動跟蹤、圖像分割、人臉識別、機器人等等。其使用方法也簡單易懂，主要是運用Opencv庫文件，達到捕捉圖像、圖像分割和人機交互的目的。

設計GUI

圖形用戶界面，一般稱之為GUI，是實現人機交互的窗口。是程序設計的重要組成部分。用戶使用圖形界面時可以非常方便、直觀地進行操作處理。GUI的特點是：具有人機交互性、美觀性以及實用性。

該項目使用的是Python圖形界庫（PySimpleGUI）。相較于Tkinter、wxPython和PyQt來說PySimpleGUI創建GUI更加的容易，用幾行代碼就可以構建自定義GUI布局，對于初學者來說足夠容易，對于高級用戶來說也足夠強大。

GUI部分主要由攝像頭界面區域和控制按鈕區域兩部分組成，效果如圖1所示。該項目無外接硬件，攝像頭為內置攝像頭。

高斯濾波函數

高斯濾波是一種線性平滑濾波，主要適用于消除高斯噪聲。實質上也是一種信號的濾波器。簡單來說濾波器就是一個加了權限系數的窗口，當使用濾波器去處理圖像時，就把這個窗口放在圖像之上，透過這個窗口來看所得到的圖像，達到平滑的效果。

具體操作是：用一個用戶指定的模板去掃描圖像中的每一個像素點，用模板去確定鄰域內像素的加權平均灰度值用來替代模板中心像素點的值，如圖2所示。

該項目設置高斯濾波矩陣長、寬都為21，標準差取values[‘blur_slider’]，代碼如圖所示：

if values['blur']：

frame = cv2.GaussianBlur（frame， （21， 21），

values['blur_slider']）

閾值二值化函數

閾值是指一種效應能夠產生的最低值或最高值。閾值分很多種類，在該項目中運用的是PS閾值。它是基于照片亮度的一個黑白分界值，默認是50%中性灰，即128。亮度高于128會變白，低于128則變黑。

二值化就是進行圖像分割的最簡單的技術，可以把灰度圖像轉換為二值圖像。通過設定的一個閾值，把大于閾值的像素全設置為0或者255，小于閾值的像素全設置為了一個灰度，這樣就完成了對圖像的二值化處理。

該項目使用的是固定閾值法，表示根據閾值類型設置好一個閾值，然后進行二值化。代碼部分如圖所示：

if values['thresh']：

frame = cv2.cvtColor（frame， cv2.COLOR_BGR2LAB）[：， ：， 0]

frame = cv2.threshold（frame， values['thresh_slider']， 255， cv2.THRESH_BINARY）[1]

調節對比度

對比度指的是一幅圖像中明暗區域最亮的白和最暗的黑之間不同亮度層級的測量，差異范圍越大代表對比越大，相反也一樣，差異范圍越小代表對比越小。使用高對比度對圖像整體像素都有很大的幫助。

本項目設定的范圍為0-255，控件默認對比度為128中間值。其中OpenCv通過‘create CLAHE（）’和‘apply（）’函數來實現。代碼如下：

if values['enhance']：

enh_val = values['enhance_slider'] / 40

clahe = cv2.createCLAHE（clipLimit=enh_val， tileGridSize=（8， 8））

lab = cv2.cvtColor（frame， cv2.COLOR_BGR2LAB）

lab[：， ：， 0] = clahe.apply（lab[：， ：， 0]）

frame = cv2.cvtColor（lab， cv2.COLOR_LAB2BGR）

Canny邊緣檢測技術

邊緣檢測[3]是從圖像中提取有用結構信息的一種技術，提取圖片的邊緣信息是底層數字圖像處理的基本任務之一。

本項目使用的是Canny邊緣檢測算法，這是一種多級邊緣檢測算法。檢測邊緣目的就在于當我們需要計算機自動提取底層或高層信息時，邊緣可以說是最直觀的一種信息了。有多種算法都可進行邊緣檢測，Canny算法雖然年代久遠，但很多邊緣檢測算法都是在此基礎上進行改進的。

Canny邊緣檢測算法的五個實現步驟：

1.在圖像中用高斯來平滑濾波，選用高斯濾波也是因為在眾多噪聲濾波器中，高斯去除噪聲的表現最好。

2.計算梯度強度和方向。（opencv中有封裝好的函數，可以求圖像中每個像素點的n階導數）

3.應用非最大抑制技術來消除邊誤檢。這一步需要抑制那些梯度不夠大的像素點，只保留最大的梯度，從而達到瘦邊的目的，從而得到一個更加精細的邊緣。

4.應用雙閾值篩選，即設置高閾值與低閾值。（這一步還是去除一部分梯度較小的點，使得邊緣更加精細化）

5.用滯后技術跟蹤邊界。技術原理為當邊界像素點位置的幅度值超過高閾值，就保留該像素點;當某一像素點位置的幅度值低于低閾值的話，則剔除該位置的像素點，如圖3所示。

輪廓檢測算法技術

輪廓檢測也是圖像處理中經常用到的。該項目中，OpenCV-Python接口中使用cv2.findContours（）函數來查找檢測物體的輪廓。

總的來說，輪廓檢測是物體檢測和形狀分析識別的有用工具，連接所有連續點（沿著邊界）的曲線，具有相同的顏色或強度。呈現效果為紅線，原底。代碼如下：

if values['contour']：

hue = cv2.cvtColor（frame， cv2.COLOR_BGR2HSV）

hue = cv2.GaussianBlur（hue， （21， 21）， 1）

hue = cv2.inRange（hue， np.array（[values['contour_slider']， values['base_slider']， 40]），

np.array（[values['contour_slider'] + 30， 255， 220]））

cnts= cv2.findContours（hue， cv2.RETR_EXTERNAL， cv2.CHAIN_APPROX_SIMPLE）[0]

cv2.drawContours（frame， cnts， -1， （0， 0， 255）， 2）

總結與展望

本文討論了在Pyhon語言基礎上，結合OpenCv庫，制作一個無外借硬件的實時拍照相機。用戶只要有一定的Opencv知識基礎便可自行選擇自己喜歡的功能去修改自己的代碼相機，方便快捷簡約。

雖然該項目在實時應用中滿足了實時性處理的需求，但其中還有很多需要改進的地方：

1.沒有App界面和快捷方式。如果用戶想要打開軟件，必須打開編輯器啟動相機，不夠美觀。

2.Canny算法年代久遠經典，但運算代價相較于其他邊界算法要高，運行在實時圖像處理部分有一定困難，更適合有高精度要求的應用。

參考文獻：

[1]李杰.基于圖像處理的實時虛擬化妝及推薦方法研究[D].大連海事大學，2018.

[2]張壯.基于HLS的智能相機圖像處理底層IP核設計與實現[D].南京郵電大學，2019.

[3]李曉磊.基于人類視覺感知的輪廓檢測方法[D].陜西師范大學，2014.

[4]王志強.基于霍夫變換的圖像輪廓檢測方法與優化[J].哈爾濱師范大學自然科學學報，2021，37（03）：79-82.

本文受到深圳技師學院校級創客基金項目“現實虛擬-基于數字可視化+物聯網的虛擬空間”支持。

作者簡介：張幼作（2003—），廣東汕尾人，本科在讀，主要研究方向為通信網絡應用;郭惠婷（1991—），廣東梅州人，教師，碩士研究生在讀，主要研究方向為物聯網技術;夏清（1978—），教師，研究生，高級工程師，主要研究方向為物聯網、人工智能，為本文的通訊作者。