Giám sát an ninh
Mô hình giám sát an ninh với đối tượng là con người, hệ thống giám sát bao gồm hệ thống camera quan sát và thiết bị điện tử hoặc chương trình máy tính theo dõi, giám sát an ninh như máy tính, cổng ra vào, access-gate,…và người điều hành giám sát an ninh.
Tại các vị trí cổng ra/vào được lắp đặt các camera hoặc thiết bị thu hình (webcam) được đặt phía trước lối vào.
Khi có người di chuyển đến trước camera ở lối vào, hình ảnh được truyền đến máy tính xử lý nhận dạng vùng khuôn mặt của từng người đi vào vùng quan sát của camera. Hình ảnh khuôn mặt người là hình ảnh thu được khuôn mặt người ở tư thế nhìn thẳng, có độ nghiêng không quá 30° và che khuất không quá 30% vùng khuôn mặt trong điều kiện ánh sánh bình thường. Nhận dạng khuôn mặt thu được từ camera, xác định danh tính con người thông qua so sánh với đặc trưng của các khuôn mặt được lưu trữ trong cơ sở dữ liệu.
Quá trình phát hiện và nhận dạng được thực hiện như sau: 1) Thu thập dữ liệu (Data Gathering)
- Thu hình đối tượng từ camera.
- Phát hiện và tách vùng khuôn mặt thành các hình ảnh vùng khuôn mặt người có kích thước cố định. Sử dụng mẫu dữ liệu có kích thước 24 x24.
Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn
Hình 3.2: Thu thập dữ liệu mẫu
2) Huấn luyện nhận dạng (Train the Recognizer)
- Hình ảnh từ dataset được đưa vào huấn luyện nhận dạng, sử dụng phương pháp LBP trích chọn đặc trưng và gắn nhãn kèm theo các đặc trưng.
- Lưu trữ dữ liệu đặc trưng sau khi huấn luyện vào cơ sở dữ liệu (tập trainer.yml)
- Phương pháp LBP có thể được sử dụng kết hợp cùng với PCA hoặc LDA để phân loại và trích chọn đặc trưng mẫu.
Hình 3.3: Huấn luyện nhận dạng khuôn mặt
3) Nhận dạng (Recognition) - Thu thập hình ảnh từ camera
- Phát hiện và tách vùng có hình ảnh khuôn mặt nhờ đặc trưng Haar-like, sử dụng mẫu có kích thước cố định 24 x 24.
- Trích chọn đặc trưng của hình ảnh khuôn mặt sử dụng phương pháp LBP, so khớp với cơ sở dữ liệu huấn luyện (trainer.yml) - So khớp dữ liệu và định danh hình ảnh khuôn mặt.
Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn
Hình 3.4: Nhận dạng khuôn mặt
Sơ đồ hoạt động của chương trình thử nghiệm nhận dạng:
Hình 3.5: Quy trình hoạt động nhận dạng khuôn mặt
Giao diện của chương trình
Giao diện chương trình huấn luyện.
Hình 3.6: Giao diện chương trình huấn luyện
Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn
Hình 3.7: Giao diện chương trình nhận dạng khuôn mặt.
Các bước huấn luyện nhận dạng cho các đối tượng:
- Cho chương trình lấy mẫu lần lượt từng đối tượng, mỗi đối tượng xuất hiện trước camera (webcam) ở hình ảnh khuôn mặt ở trong phạm vi camera chiếu vào. Đối tượng thể hiện khuôn mặt các góc độ và biểu cảm khuôn mặt khác nhau. Hệ thống lấy mẫu sẽ tự động phát hiện vùng khuôn mặt, tách vùng khuôn mặt và lưu lại hình ảnh khuôn mặt.
- Hệ thống thực hiện các thuật toán (chuẩn hóa hình ảnh nếu có) trích chọn đặc trưng của khuôn mặt và gắn nhãn kèm theo dữ liệu đó đưa vào cơ sở dữ liệu.
Các bước nhận dạng khuôn mặt:
- Khi người dùng di chuyển vào vùng soi chiếu của camera (hay webcam), hệ thống sẽ tự động phát hiện vùng có xuất hiện khuôn mặt trên hình ảnh từ camera. Hình ảnh vùng khuôn mặt được tách ra khỏi vùng hình ảnh chung.
- Hệ thống thực hiện các thuật toán (chuẩn hóa hình ảnh nếu có) trích xuất đặc trưng của vùng ảnh khuôn mặt đối tượng cần so khớp. Dữ liệu đó được so khớp với dữ liệu mẫu được lưu sẵn sau quá trình huấn luyện trước đây.
- Dữ liệu sau khi so khớp lần lượt với các dữ liệu mẫu. Hệ thống đưa ra kết quả so khớp, nếu khớp với đối tượng được lưu trong cơ sở dữ liệu thì đưa ra thông báo gắn nhãn định danh cho người được khớp và ngược lại đưa ra thông báo khuôn mặt không có trong cơ sở dữ liệu.
- Mỗi frame hình ảnh của camera thu được thì sẽ có một quá trình nhận diện khuôn mặt được thực hiện nếu hệ thống phát hiện vùng khuôn mặt xuất hiện trên frame ảnh. Nếu dữ liệu mẫu càng nhiều thì tỉ lệ nhận dạng chính xác càng cao, tương ứng với nó là việc xử lý tăng lên.
Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn
Hình 3.8: Huấn luyện mẫu khuôn mặt của đối tượng thứ 1 (Tên: Hiền, định danh: Hien, giới tính: Nữ)
Hình 3.9: Huấn luyện mẫu khuôn mặt của đối tượng thứ 2 (Tên: Hòa, định danh: Hoa, giới tính: Nam)
Hình 3.10: Huấn luyện mẫu khuôn mặt của đối tượng thứ 3 (Tên: Nga, định danh: Nga, giới tính: Nữ)
Hình 3.11: Huấn luyện mẫu khuôn mặt của đối tượng thứ 4 (Tên: Nghĩa, giới tính: Nữ)
Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn
Dữ liệu trích chọn vùng khuôn mặt của các đối tượng bao gồm 400 vùng ảnh tương ứng với 4 đối tượng (mỗi đối tượng có 100 hình ảnh các góc nhìn của khuôn mặt).
Hình 3.12: Tập ảnh huấn luyện (40/400 ảnh)
Kết quả thực nghiệm
Tiến hành thử nghiệm chương trình nhận dạng khuôn mặt sử dụng webcam của máy tính, trong phòng sử dụng ánh sáng tự nhiên. Khoảng cách giữa webcam và các đối tượng tham gia thực nghiệm trong phạm vi gần từ 1m- 1,2m.
Khuôn mặt mỗi người lần lượt đưa vào vùng trung tâm của khung hình, các góc quan sát khác nhau và biểu hiện trạng thái khuôn mặt khác nhau được đề xuất.
Thử nghiệm đầu tiên thực hiện như sau:
- Thử nghiệm phát hiện khuôn mặt và lấy mẫu huấn luyện. Bốn người lần lượt ngồi trước webcam, chương trình phát hiện khuôn mặt, vùng ảnh phát hiện khuôn mặt được chương trình
tạo khung hình chữ nhật bao quanh hình ảnh khuôn mặt (Hình 3.3 đến Hình 3.6).
- Tập ảnh huấn luyện thu thập được bao gồm 400 ảnh khuôn mặt của 4 người ở các góc nhìn và biểu hiện khác nhau.
- Kết quả đạt được: phát hiện 100% khuôn mặt có hướng nhìn trực diện, không bị che khuất.
Thử nghiệm lần 2:
Cho chương trình nhận dạng khuôn mặt lần lượt từng người
Hình 3.13: Nhận dạng từng đối tượng riêng lẻ
Thử nghiệm lần 3:
Chương trình thử nghiệm nhận dạng cùng lúc nhiều đối tượng. Ở khoảng cách gần với camera, chương trình nhận dạng khá tốt. Tuy nhiên nếu khuôn mặt bị che khuất 1 phần hoặc vị trí khuôn mặt ở xa
Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn
so với điểm trung tâm của camera thì chương trình nhận dạng khuôn mặt sẽ ở mức chính xác tương đối, không cao như ở các vị trí huấn luyện.
Hình 3.14: Nhận dạng nhiều khuôn mặt (Có 02 đối tượng được huấn luyện trước – Hiền & Nga)
Hình 3.15: Nhận dạng khuôn mặt bị hạn chế do khoảng cách xa từ camera tới vị trí khuôn mặt nên đối tượng ở xa không nhận dạng chính xác
KẾT LUẬN CHƯƠNG 3
Nhận dạng khuôn mặt luôn là bài toán khó, trong chương 3 đã sử dụng các phương pháp kinh điển và phổ biến để nghiên cứu và thử nghiệm. LBP là một phương pháp hiệu quả, nhưng có nhiều khó khăn thử thách trong quá trình nhận dạng khuôn mặt: Hướng (pose), sự có mặt của các chi tiết không phải là đặc trưng riêng của khuôn mặt người như râu, tóc, kính mắt,…các nét mặt biểu cảm ở mức độ khác nhau, mặt bị che khuất, góc nghiêng, điều kiện ngoại cảnh như độ sáng và đặc biệt là chất lượng hình ảnh.
Kết quả hoạt động của chương trình thử nghiệm và nội dung nghiên cứu đã cho thấy khả năng vận dụng, ứng dụng thực tiễn theo mục đích đề ra của đề tài. Hiệu quả nhận dạng với độ chính xác khoảng 70-80%. Qua đó thấy được lĩnh vực nhận dạng khuôn mặt tuy gặp nhiều khó khăn nhưng đầy tiềm năng ứng dụng.
Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn
KẾT LUẬN CHUNG
Thị giác máy tính đã và đang được phát triển mạnh mẽ trên thế giới và hiện nay. Nhận dạng mặt người là lĩnh vực nhận được nhiều sự quan tâm trong những năm gần đây. Nhận dạng khuôn mặt không phải là bài toán mới nhưng nó vẫn còn là một thách thức lớn bởi phạm vi mở rộng của bài toán là lớn bao gồm nhiều bài toán nhỏ như phát hiện đặc trưng, trích chọn đặc trưng, phân loại đặc trưng,… Và nhiều lĩnh vực phức tạp khác hơn như theo dõi biểu cảm và giao tiếp của khuôn mặt, khả năng tái tạo mô phỏng khuôn mặt trong thực tế, thực tại ảo…
Luận văn đã tập trung tìm hiểu các phương pháp nhận dạng, thuật toán LBP và ứng dụng để thực nghiệm, so khớp giữa bộ ảnh tập huấn và hình ảnh khuôn mặt bất kì trong camera. Từ đó nhận dạng, ứng dụng vào mô hình theo dõi, giám sát an ninh qua camera.
Qua kết quả thực nghiệm cho thấy khả năng vận dụng các kỹ thuật nhận dạng vào thực tiễn. Đánh giá hiệu quả của phương pháp nhận dạng và những khó khăn, trở ngại trong lĩnh vực nhận dạng khuôn mặt theo thời gian thực đề ra. Từ đó thấy cần phải kết hợp nhiều phương pháp khác để tăng hiệu suất và độ chính xác cao trong phát hiện và nhận dạng khuôn mặt ứng dụng trong giám sát an ninh từ camera.
Quá trình nghiên cứu tìm hiểu và xây dựng đề tài còn nhiều hạn chế về thời gian và hướng tiếp cận nên còn một số vấn đề mà đề tài chưa thực hiện giải quyết triệt để được. Hi vọng những thiếu sót trong quá trình tôi tìm hiểu và xây dựng luận văn sẽ được thầy cô và bạn bè góp ý để luận văn được đầy đủ và hoàn thiện hơn.
Hướng phát triển của luận văn:
Luận văn đã đạt được một số kết quả nhất định, tuy nhiên vẫn còn một số vấn đề chưa được giải quyết. Hướng mở rộng của luận văn là ứng dụng thực tiễn của đề tài trong lĩnh vực giám sát an ninh, cảnh báo xâm nhập vùng cấm, vùng hạn chế người lạ như tại các địa điểm nhà riêng hoặc nơi công công. Kết hợp với các thiết bị an ninh, thiết bị di động thì khả năng ứng dụng của đề tài trong thời đại công nghệ 4.0 và môi trường Internet vạn vật là điều có thể đem lại hiệu quả và ý nghĩa rất lớn./.
Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn
TÀI LIỆU THAM KHẢO TIẾNG VIỆT
[1]. Đỗ Năng Toàn, Phạm Việt Bình (2007), Giáo trình xử lý ảnh, NXB Khoa học & kỹ thuật.
TIẾNG ANH
[2]. Abdur Rahim, Najmul Hossain, Tanzillah Wahid & Shafiul Azam (2013), "Face Recognition using Local Binary Patterns (LBP)", “Global Journal of Computer Science and Technology Graphics & Vision”, Vol. 13 Issue 4.
[3]. Paul Viola, Michael Jones (2001), “Rapid Object Detection using a Boosted Cascade of Simple Features”, “Computer Vision and pattern Recognition”.
[4]. Sarabjit Singh, Amritpal Kaur, Taqdir (2015), “A Face Recognition Technique using Local Binary Pattern Method”, “International Journal of Advanced Research in Computer and Communication Engineering”, Vol.4, Issue 3, pp. 165-168.
[5]. Shilpa lakhina1, Sini Joseph, Bhupendra verma (2010), “Feature Reduction using Principal Component Analysis for Effective Anomaly– Based Intrusion Detection on NSL-KDD”,“International Journal of Engineering Science and Technology”, Vol. 2(6), pp. 1790-1799.
[6]. T. Ahonen, A. Hadid, and M. Pietikainen (2004), “Face recognition with
local binary patterns”, “Proceedings
of the European Conference on Computer Vision”, pp. 469–481.
[7]. T.S Vishu Priya, G.Vinitha Sanchez, N.R.Raajan (2018), “Facial Recognition System Using Local Binary Patterns(LBP)”, “International
Journal of Pure and Applied Mathematics”, Vol. 119, No. 15, pp. 1895- 1899.
[8]. Face Detection using Haar Cascades, OpenCV Document Guide Tutorial,
https://docs.opencv.org/3.2.0/d7/d8b/tutorial_py_face_detection.html.
[9]. Face Recognition with OpenCV, OpenCV Document Guide Tutorial,
https://docs.opencv.org/3.2.0/da/d60/tutorial_face_main.html. WEBSITE [10]. https://www.ieev.org/2010/03/adaboost-haar-features-face- detection_22.html [11]. https://www.cse.unr.edu/~bebis/MathMethods/PCA/lecture.pdf [12]. https://en.wikipedia.org/wiki/Principal_component_analysis [13]. https://en.wikipedia.org/wiki/Linear_discriminant_analysis [14]. http://www.ee.oulu.fi/research/imag/mvg/files/pdf/pdf_494.pdf [15]. https://docs.opencv.org/