使用DLIB函式庫達成即時人臉辨識功能

-

 1. 研究動機

在大二上學期時，想要做出一個人臉門禁系統，在網路搜尋時，搜尋到Dlib這個函式庫，他提供了眾多的預訓練模型，本作品使用Dlib函式庫搭配tkinter套件製作GUI，並且用到了本課程教的陣列運算，達成即時人臉辨識的功能。

2.研究步驟

2.1系統流程圖

圖一 系統流程圖

2.2獲得人臉位置

在一張圖像中，我們要先辨識圖片中的人臉及其位置，在Dlib函式庫中，是以CNN的方法來獲得人臉的位置，Dlib提供了已經訓練好的模型，在程式中只要使用dlib.cnn_face_detection_model_v1函式即可使用此模型，在該步驟中，此函式可以回傳檢測到人臉的數量以及座標。

圖二 獲得人臉位置功能圖例

2.3獲得人臉關鍵點

在獲得人臉的數量以及座標之後，由於人臉有許多的器官，例如鼻子、眉毛等等，Dlib規範了68個人臉的關鍵點，使用dlib.shape_predictor函式可以得到人臉68點關鍵點的座標，以更好的辨識人臉。

圖三 獲得人臉關鍵點功能圖例

2.4獲得人臉特徵向量

在人臉辨識中，最後需要將所辨識到的人臉轉成特徵向量，才可以快速地比較，如果是將人臉以圖像的方式比對，將會耗費很多的資源，在Dlib中作者提供了使用29層ResNet訓練而成的模型，在輸入了圖片以及關鍵點後dlib.face_recognition_model_v1這個函示會輸出128維的特徵向量，用來跟資料庫的特徵向量做比對。


圖四 獲得人臉特徵向量功能圖例

2.5比對相似人臉

獲得人臉特徵相量後，必須與資料庫的特徵向量比對，比對方法為先將人臉特徵向量減去資料庫的向量再取歐式距離，擁有最小歐式距離並且歐式距離小於自訂閾值的人臉標籤即是系統辨識出之人臉。

3.實驗結果

在GTX1050顯示卡運算下，在640x480的尺寸中，將1幀畫面辨識出其中人臉，耗時僅0.1秒，是可以達到串流功能的，以下是靜態的執行畫面。

圖五程式執行畫面、程式動態影片(google雲端)

4.結論

Dlib中，使用CNN作為人臉偵測的方法，CNN的方法雖然精度很高，但是需要的運算效能非常多，在像是樹梅派嵌入式系統，是不能達成即時的辨識的，在整個人臉辨識完成的步驟裡，dlib.CNN_face_detection_model_v1這個函式佔了90%以上的時間，因此這個步驟是需要解決的，推測可以使用haar、HOG等不需要CNN的人臉檢測方法來大幅降低所需時間。





留言

張貼留言

這個網誌中的熱門文章

以dlib實現人臉辨識打卡系統

-
圖片
一、    功能 在上班族上班的一天，打卡是非常重要的，打卡系統的存在是讓雇主知道員工的上下班時間，但是打卡鐘也是需要員工手動的把卡片放入打卡鐘裡面，有了人臉辨識打卡系統，打卡鐘跟每天打卡的這個動作就是多餘的了。 這個打卡系統基於 python 跟 dlib 組成，只需要人臉被辨識，就會記錄下時間以及在資料庫尋找人名，完全不需要按鍵的觸發或是編號，因為人臉就是編號。
閱讀完整內容

以python讀取yolo的輸出-darknet.py

-
在安裝完yolo後，也實際操作yolo後，就會想要把yolo辨識完的座標，再加以應用，照理說要取找到yolo資料夾的c語言(yolo是用c寫的)檔案，做完更改後，還要在yolo的根目錄(~darknet)裡，把yolo編譯一次，才算完成修改。 不過在yolo資料夾裡，藏著一個python的資料夾，裡面有個darknet.py，這個檔案可以把yolo辨識完的結果，使用python 輸出。 一開始打開這個文件，不是直接執行就可以啟動的，還要做些修改。 https://blog.csdn.net/weixin_39198406/article/details/83931727 詳情請看這個文件 主要就是yolo辨識完會傳一個r陣列，裡面有辨識的名稱，座標( 注意不是邊界座標，是中心點以及方格的高跟寬 ) 之後就能應用darknet.py來實現你的作品了 那如何用這個darknet.py實現影片的目標檢測呢，有辦法只是需要更改程式碼，之後再說 程式碼如下： 應該在darknet.py複製貼上就可以了 from ctypes import * import math import random import os import cv2 import numpy as np import random def sample(probs): s = sum(probs) probs = [a/s for a in probs] r = random.uniform(0, 1) for i in range(len(probs)): r = r - probs[i] if r <= 0: return i return len(probs)-1 def c_array(ctype, values): arr = (ctype*len(values))() arr[:] = values return arr class BOX(Structure): _fields_ = [("x", c_float), ("y", c_float),
閱讀完整內容

使用Python達成影像形態學處理(不使用Opencv函式庫)

-
圖片
  1.    研究動機 在進入專題實驗室時，觀看 DeltaMOOCx 的線上課程，看到形態學的操作，覺得使用函式可以快速的達成功能，但是我不禁思考如果不使用函式，自己是否可以完成，本研究使用 opencv 的 cv2.getStructuringElement() 、 cv2.erode() 、 cv2.dilate() 、 cv2.morphologyEx() 函式當作對照組與不使用函式之結果進行比較。 2.    研究步驟 2.1 結構元素 (Structures Element) 結構元素為型態學的必備元素，結構元素的大小可以使用者自訂， opencv 函式中可以自訂為交叉 、 長方形 、 橢圓形 ，本研究對照組的 opencv 函式中使用的結構元素為 3x3 的交叉區塊，因此不使用 opencv 函式的實驗組的結構元素也為 3x3 的交叉區塊。 2.2 膨脹 (Dilation) 膨脹操作是將結構元素逐個像素的由上而下 、由左至右的掃描，假如結構元素的原點與被掃描圖像該點像素值相同，則將整個結構元素覆蓋至該圖像。 圖一 形態學膨脹操作 2.3 侵蝕 (Erosion) 侵蝕操作是將結構元素逐個像素的由上而下 、由左至右的掃描，假如整個結構元素與被掃描圖像像素值相同，則將結構元素的原點覆蓋至該圖像。 圖二 形態學侵蝕操作 2.4 斷開 (Open) 先侵蝕，接著再膨脹。 圖三 形態學斷開操作 2.5 閉合 (Close) 先膨脹，接著再侵蝕。 圖四 形態學閉合操作 3.    實驗結果 以下是實驗組與對照組的結果表格 : 4.    結論 經過了形態學的練習，不管事程式亦或是觀念都有一定的提升，我覺得可以把結構元素跟      圖像做捲積，再做加減運算，或許可以達成更快的速度。線上課程中，還有教到濾波，邊緣偵測等影像處理的方法，也是日後挑戰的題目。
閱讀完整內容