基于Python與OpenCV的實時圖像處理相機

張幼作 郭惠婷 夏清

編者按：該項目通過運用Python開發(fā)語言在Pycharm平臺上，結合開源的OpenCv圖像處理函數(shù)庫、PySimpleGUI庫，對攝像頭所實時拍攝的圖像畫面進行采集處理。該項目可通過攝像頭實時動態(tài)查看各類圖像處理的特點并保存圖像，其中利用高斯函數(shù)、濾波處理、閾值二值化和Canny邊緣提取算法等設置控件按鈕功能，為后續(xù)自制美顏相機提供了基礎，也實現(xiàn)了使用時的方便快捷、簡單易操作。

引言

在這個網(wǎng)絡交友盛行的時期，越來越多的人會互相交換自拍照片來相互認識，運用各種美圖的手機軟件。為了解決修圖軟件來回切換的不方便性和降低像素的可能，我們打造了一個利用電腦自帶攝像頭，以Python為基礎的開發(fā)語言，結合OpenCv技術的實時動態(tài)可查看各類圖像處理效果，并實現(xiàn)拍照功能且可保存圖片的程序相機。

項目背景

如今修圖軟件在日常的使用頻率日益增多，數(shù)量也是只增不減。使用時很多功能需要切換不同軟件，很多功能也用不到，不僅浪費時間并且從一定程度上降低了照片的質(zhì)量。該項目就在是要讓使用者用最短時間拍出可直出的圖片，不需要來回切換軟件，只需設置自己平時常用的功能，大大提高了效率與照片像素。

主要技術

OpenCv

OpenCV（Open Source Computer Vision Library）是一個開源的計算機視覺和機器學習軟件庫，實現(xiàn)圖像處理和計算機視覺方面的很多通用算法。應用領域廣泛，有人機互動、物體識別、運動跟蹤、圖像分割、人臉識別、機器人等等。其使用方法也簡單易懂，主要是運用Opencv庫文件，達到捕捉圖像、圖像分割和人機交互的目的。

設計GUI

圖形用戶界面，一般稱之為GUI，是實現(xiàn)人機交互的窗口。是程序設計的重要組成部分。用戶使用圖形界面時可以非常方便、直觀地進行操作處理。GUI的特點是：具有人機交互性、美觀性以及實用性。

該項目使用的是Python圖形界庫（PySimpleGUI）。相較于Tkinter、wxPython和PyQt來說PySimpleGUI創(chuàng)建GUI更加的容易，用幾行代碼就可以構建自定義GUI布局，對于初學者來說足夠容易，對于高級用戶來說也足夠強大。

GUI部分主要由攝像頭界面區(qū)域和控制按鈕區(qū)域兩部分組成，效果如圖1所示。該項目無外接硬件，攝像頭為內(nèi)置攝像頭。

高斯濾波函數(shù)

高斯濾波是一種線性平滑濾波，主要適用于消除高斯噪聲。實質(zhì)上也是一種信號的濾波器。簡單來說濾波器就是一個加了權限系數(shù)的窗口，當使用濾波器去處理圖像時，就把這個窗口放在圖像之上，透過這個窗口來看所得到的圖像，達到平滑的效果。

具體操作是：用一個用戶指定的模板去掃描圖像中的每一個像素點，用模板去確定鄰域內(nèi)像素的加權平均灰度值用來替代模板中心像素點的值，如圖2所示。

該項目設置高斯濾波矩陣長、寬都為21，標準差取values[‘blur_slider’]，代碼如圖所示：

if values['blur']：

frame = cv2.GaussianBlur（frame， （21， 21），

values['blur_slider']）

閾值二值化函數(shù)

閾值是指一種效應能夠產(chǎn)生的最低值或最高值。閾值分很多種類，在該項目中運用的是PS閾值。它是基于照片亮度的一個黑白分界值，默認是50%中性灰，即128。亮度高于128會變白，低于128則變黑。

二值化就是進行圖像分割的最簡單的技術，可以把灰度圖像轉換為二值圖像。通過設定的一個閾值，把大于閾值的像素全設置為0或者255，小于閾值的像素全設置為了一個灰度，這樣就完成了對圖像的二值化處理。

該項目使用的是固定閾值法，表示根據(jù)閾值類型設置好一個閾值，然后進行二值化。代碼部分如圖所示：

if values['thresh']：

frame = cv2.cvtColor（frame， cv2.COLOR_BGR2LAB）[：， ：， 0]

frame = cv2.threshold（frame， values['thresh_slider']， 255， cv2.THRESH_BINARY）[1]

調(diào)節(jié)對比度

對比度指的是一幅圖像中明暗區(qū)域最亮的白和最暗的黑之間不同亮度層級的測量，差異范圍越大代表對比越大，相反也一樣，差異范圍越小代表對比越小。使用高對比度對圖像整體像素都有很大的幫助。

本項目設定的范圍為0-255，控件默認對比度為128中間值。其中OpenCv通過‘create CLAHE（）’和‘a(chǎn)pply（）’函數(shù)來實現(xiàn)。代碼如下：

if values['enhance']：

enh_val = values['enhance_slider'] / 40

clahe = cv2.createCLAHE（clipLimit=enh_val， tileGridSize=（8， 8））

lab = cv2.cvtColor（frame， cv2.COLOR_BGR2LAB）

lab[：， ：， 0] = clahe.apply（lab[：， ：， 0]）

frame = cv2.cvtColor（lab， cv2.COLOR_LAB2BGR）

Canny邊緣檢測技術

邊緣檢測[3]是從圖像中提取有用結構信息的一種技術，提取圖片的邊緣信息是底層數(shù)字圖像處理的基本任務之一。

本項目使用的是Canny邊緣檢測算法，這是一種多級邊緣檢測算法。檢測邊緣目的就在于當我們需要計算機自動提取底層或高層信息時，邊緣可以說是最直觀的一種信息了。有多種算法都可進行邊緣檢測，Canny算法雖然年代久遠，但很多邊緣檢測算法都是在此基礎上進行改進的。

Canny邊緣檢測算法的五個實現(xiàn)步驟：

1.在圖像中用高斯來平滑濾波，選用高斯濾波也是因為在眾多噪聲濾波器中，高斯去除噪聲的表現(xiàn)最好。

2.計算梯度強度和方向。（opencv中有封裝好的函數(shù)，可以求圖像中每個像素點的n階導數(shù)）

3.應用非最大抑制技術來消除邊誤檢。這一步需要抑制那些梯度不夠大的像素點，只保留最大的梯度，從而達到瘦邊的目的，從而得到一個更加精細的邊緣。

4.應用雙閾值篩選，即設置高閾值與低閾值。（這一步還是去除一部分梯度較小的點，使得邊緣更加精細化）

5.用滯后技術跟蹤邊界。技術原理為當邊界像素點位置的幅度值超過高閾值，就保留該像素點;當某一像素點位置的幅度值低于低閾值的話，則剔除該位置的像素點，如圖3所示。

輪廓檢測算法技術

輪廓檢測也是圖像處理中經(jīng)常用到的。該項目中，OpenCV-Python接口中使用cv2.findContours（）函數(shù)來查找檢測物體的輪廓。

總的來說，輪廓檢測是物體檢測和形狀分析識別的有用工具，連接所有連續(xù)點（沿著邊界）的曲線，具有相同的顏色或強度。呈現(xiàn)效果為紅線，原底。代碼如下：

if values['contour']：

hue = cv2.cvtColor（frame， cv2.COLOR_BGR2HSV）

hue = cv2.GaussianBlur（hue， （21， 21）， 1）

hue = cv2.inRange（hue， np.array（[values['contour_slider']， values['base_slider']， 40]），

np.array（[values['contour_slider'] + 30， 255， 220]））

cnts= cv2.findContours（hue， cv2.RETR_EXTERNAL， cv2.CHAIN_APPROX_SIMPLE）[0]

cv2.drawContours（frame， cnts， -1， （0， 0， 255）， 2）

總結與展望

本文討論了在Pyhon語言基礎上，結合OpenCv庫，制作一個無外借硬件的實時拍照相機。用戶只要有一定的Opencv知識基礎便可自行選擇自己喜歡的功能去修改自己的代碼相機，方便快捷簡約。

雖然該項目在實時應用中滿足了實時性處理的需求，但其中還有很多需要改進的地方：

1.沒有App界面和快捷方式。如果用戶想要打開軟件，必須打開編輯器啟動相機，不夠美觀。

2.Canny算法年代久遠經(jīng)典，但運算代價相較于其他邊界算法要高，運行在實時圖像處理部分有一定困難，更適合有高精度要求的應用。

參考文獻：

[1]李杰.基于圖像處理的實時虛擬化妝及推薦方法研究[D].大連海事大學，2018.

[2]張壯.基于HLS的智能相機圖像處理底層IP核設計與實現(xiàn)[D].南京郵電大學，2019.

[3]李曉磊.基于人類視覺感知的輪廓檢測方法[D].陜西師范大學，2014.

[4]王志強.基于霍夫變換的圖像輪廓檢測方法與優(yōu)化[J].哈爾濱師范大學自然科學學報，2021，37（03）：79-82.

本文受到深圳技師學院校級創(chuàng)客基金項目“現(xiàn)實虛擬-基于數(shù)字可視化+物聯(lián)網(wǎng)的虛擬空間”支持。

作者簡介：張幼作（2003—），廣東汕尾人，本科在讀，主要研究方向為通信網(wǎng)絡應用;郭惠婷（1991—），廣東梅州人，教師，碩士研究生在讀，主要研究方向為物聯(lián)網(wǎng)技術;夏清（1978—），教師，研究生，高級工程師，主要研究方向為物聯(lián)網(wǎng)、人工智能，為本文的通訊作者。