Nhận dạng khuôn mặt người từ camera sử dụng đặc trưng haar like, ứng dụng trong giám sát an ninh

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG VŨ THẠCH AN NHẬN DẠNG KHUÔN MẶT NGƯỜI TỪ CAMERA SỬ DỤNG ĐẶC TRƯNG HAAR-LIKE, ỨNG DỤNG TRONG GIÁM SÁT AN NINH LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Ngun - 2019 Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG VŨ THẠCH AN NHẬN DẠNG KHUÔN MẶT NGƯỜI TỪ CAMERA SỬ DỤNG ĐẶC TRƯNG HAAR-LIKE, ỨNG DỤNG TRONG GIÁM SÁT AN NINH Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC TS Nguyễn Văn Tảo Thái Nguyên – 2019 Số hóa Trung tâm Học liệu Cơng nghệ thơng tin – ĐHTN http://lrc.tnu.edu.vn i LỜI CAM ĐOAN Tôi xin cam đoan kết đạt luận văn cơng trình nghiên cứu riêng tơi Trong tồn nội dung luận văn, điều trình bày cá nhân tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin cam đoan giúp đỡ cho việc thực luận văn cảm ơn thơng tin trích dẫn Luận văn rõ nguồn gốc Thái Nguyên, ngày 26 tháng năm 2019 Tác giả luận văn Vũ Thạch An Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn ii LỜI CẢM ƠN Nghiên cứu khoa học hoàn thành Trường Đại học Công nghệ Thông tin & Truyền thông, Đại học Thái Nguyên Em xin bày tỏ kính trọng lịng biết ơn sâu sắc đến thầy giáo TS Nguyễn Văn Tảo người tận tình hướng dẫn, bảo giúp đỡ em suốt q trình nghiên cứu hồn thiện luận văn Và em xin gửi lời cảm ơn đến Ban Giám hiệu, thầy giáo, giáo phịng Đào tạo Trường Công nghệ Thông tin & Truyền thông thầy giáo, cô giáo giảng dạy cung cấp cho em kiến thức bổ ích thời gian học tập, giúp em có tảng tri thức để phục vụ nghiên cứu khoa học sau Em vơ biết ơn đến gia đình bạn bè, đồng nghiệp người quan tâm, động viên khuyến khích em, giúp đỡ tạo điều kiện thuận lợi cho em suốt thời gian học tập hoàn thiện luận văn Mặc dù có nhiều cố gắng, song thời gian hạn hẹp khả nghiên cứu thân hạn chế nên kết nghiên cứu cịn nhiều thiếu sót Em mong nhận góp ý, bảo thầy giáo, cô giáo bạn đồng nghiệp Em xin chân thành cảm ơn! Thái Nguyên, ngày 26 tháng năm 2019 Tác giả luận văn Vũ Thạch An Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn iii MỤC LỤC TRANG PHỤ BÌA LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC HÌNH ẢNH vi DANH MỤC SƠ ĐỒ viii MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN VÀ NHẬN DẠNG MẶT NGƯỜI Khái quát phát nhận dạng mặt người Giới thiệu chung Phát khuôn mặt Nhận dạng khuôn mặt Phân tích khuôn mặt 1.2 Bài toán nhận dạng mặt người giám sát an ninh Đặt vấn đề Thành phần chức hệ thống phát nhận dạng khuôn mặt qua camera 10 KẾT LUẬN CHƯƠNG 11 1.1 CHƯƠNG 2: MỘT SỐ KỸ THUẬT LỰA CHỌN, TRÍCH RÚT ĐẶC TRƯNG PHÁT HIỆN VÀ NHẬN DẠNG MẶT NGƯỜI 12 Đặc trưng Haar-like 12 Tổng quan Haar-like 12 Áp dụng đặc trưng Haar-like phát khuôn mặt người 16 2.2 Local Binary Pattern (Mẫu nhị phân cục bộ) 20 Local Binary Pattern (LBP) 20 Principal Component Analysis (PCA) Linear Discriminant Analysis (LDA) 25 Áp dụng phương pháp LBP nhận dạng khuôn mặt người 31 2.1 Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn iv 2.3 Phân tích đánh giá nhận dạng mặt người sử dụng đặc trưng Haarlike LBP 33 Sử dụng kỹ thuật trích rút đặc trưng Haar-like nhận dạng sử dụng phương pháp LBP 33 Đánh giá nhận dạng mặt người sử dụng đặc trưng Haar-like LBP 35 KẾT LUẬN CHƯƠNG 36 CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM 37 Phân tích yêu cầu toán 37 Phân tích lựa chọn cơng cụ 38 Cấu hình phần cứng 39 Phần mềm, công cụ sử dụng 39 Thư viện sử dụng 40 Chuẩn bị thử nghiệm chương trình 42 3.3 Một số kết chương trình 42 Giám sát an ninh 42 Giao diện chương trình 47 Kết thực nghiệm 52 KẾT LUẬN CHƯƠNG 55 3.1 3.2 KẾT LUẬN CHUNG 56 TÀI LIỆU THAM KHẢO 58 Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn v DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt AI CCTV Tiếng Anh Tiếng Việt Artificial Intelligence Trí tuệ nhân tạo Closed-circuit television Truyền hình mạch kín (Camera giám sát) CV Computer Vision Thị giác máy IoT Internet of things Internet vạn vật PCA Principal Component Analysis Phân tích thành phần LDA Linear Discriminant Analysis Phân tích phân lớp tuyến tính LBP Local Binary Pattern Mẫu nhị phân cục VR Virtual reality Thực ảo Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn vi DANH MỤC HÌNH ẢNH Hình 1.1: Hệ thống nhận dạng khuôn mặt theo thời gian thực Hình 2.1: Đặc trưng Haar-like 13 Hình 2.2: Đặc trưng Haar-like biểu diễn dạng số 13 Hình 2.3: Các đặc trưng Haar-like mở rộng 14 Hình 2.4: Tính giá trị ảnh tích phân điểm P có tọa độ (x, y) 15 Hình 2.5: Tính nhanh tổng giá trị điểm ảnh vùng D ảnh 15 Hình 2.6: Kết hợp phân loại yếu thành phân loại mạnh 17 Hình 2.7: Chuyển ảnh màu ảnh đa cấp xám 19 Hình 2.8: Các dạng đặc trưng Haar-like 20 Hình 2.9: Ví dụ phương pháp mã LBP 21 Hình 2.10: Ví dụ tốn tử LBP mở rộng với vùng trịn có bánh kính số điểm ảnh lân cận tương ứng (8,1), (16,2) (24,3) 22 Hình 2.11: Ví dụ tốn tử LBP mở rộng với vùng trịn có bánh kính số điểm ảnh lân cận tương ứng (8,1), (12,2.5) (16,4) 22 Hình 2.12: Vector chiếu tối đa hóa phân chia vơ hướng 29 Hình 2.13: So sánh PCA LDA 31 Hình 3.1: Một số thiết bị phục vụ cho giám sát an ninh 38 Hình 3.2: Thu thập liệu mẫu 44 Hình 3.3: Huấn luyện nhận dạng khuôn mặt 45 Hình 3.4: Nhận dạng khn mặt 46 Hình 3.5: Quy trình hoạt động nhận dạng khuôn mặt 46 Hình 3.6: Giao diện chương trình huấn luyện 47 Hình 3.7: Giao diện chương trình nhận dạng khn mặt 48 Hình 3.8: Huấn luyện mẫu khn mặt đối tượng thứ (Tên: Hiền, định danh: Hien, giới tính: Nữ) 50 Số hóa Trung tâm Học liệu Cơng nghệ thơng tin – ĐHTN http://lrc.tnu.edu.vn vii Hình 3.9: Huấn luyện mẫu khuôn mặt đối tượng thứ (Tên: Hịa, định danh: Hoa, giới tính: Nam) 50 Hình 3.10: Huấn luyện mẫu khn mặt đối tượng thứ (Tên: Nga, định danh: Nga, giới tính: Nữ) 51 Hình 3.11: Huấn luyện mẫu khn mặt đối tượng thứ (Tên: Nghĩa, giới tính: Nữ) 51 Hình 3.12: Tập ảnh huấn luyện (40/400 ảnh) 52 Hình 3.13: Nhận dạng đối tượng riêng lẻ 53 Hình 3.14: Nhận dạng nhiều khn mặt (Có 02 đối tượng huấn luyện trước – Hiền & Nga) 54 Hình 3.15: Nhận dạng khn mặt bị hạn chế khoảng cách xa từ camera tới vị trí khn mặt nên đối tượng xa khơng nhận dạng xác 54 Số hóa Trung tâm Học liệu Cơng nghệ thơng tin – ĐHTN http://lrc.tnu.edu.vn viii DANH MỤC SƠ ĐỒ Sơ đồ 1.1: Hệ thống nhận dạng khuôn mặt Sơ đồ 1.2 : Sơ đồ khối hệ thống phát nhận dạng khuôn mặt 11 Sơ đồ 2.1: Sơ đồ khối phân tầng Haar Cascade 18 Sơ đồ 2.2: Sơ đồ luồng mơ hình Local Binary Pattern 33 Sơ đồ 2.3: Sơ đồ hoạt động hệ thống nhận dạng khuôn mặt sử dụng LBP 33 Sơ đồ 2.4: Các kỹ thuật phát khuôn mặt 34 Số hóa Trung tâm Học liệu Cơng nghệ thơng tin – ĐHTN http://lrc.tnu.edu.vn 45 Hình 3.3: Huấn luyện nhận dạng khuôn mặt 3) Nhận dạng (Recognition) - Thu thập hình ảnh từ camera - Phát tách vùng có hình ảnh khn mặt nhờ đặc trưng Haar-like, sử dụng mẫu có kích thước cố định 24 x 24 - Trích chọn đặc trưng hình ảnh khn mặt sử dụng phương pháp LBP, so khớp với sở liệu huấn luyện (trainer.yml) - So khớp liệu định danh hình ảnh khn mặt Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 46 Hình 3.4: Nhận dạng khn mặt Sơ đồ hoạt động chương trình thử nghiệm nhận dạng: Hình 3.5: Quy trình hoạt động nhận dạng khn mặt Số hóa Trung tâm Học liệu Cơng nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 47 Giao diện chương trình  Giao diện chương trình huấn luyện Hình 3.6: Giao diện chương trình huấn luyện  Giao diện chương trình nhận dạng Số hóa Trung tâm Học liệu Cơng nghệ thơng tin – ĐHTN http://lrc.tnu.edu.vn 48 Hình 3.7: Giao diện chương trình nhận dạng khn mặt  Các bước huấn luyện nhận dạng cho đối tượng: - Cho chương trình lấy mẫu đối tượng, đối tượng xuất trước camera (webcam) hình ảnh khn mặt phạm vi camera chiếu vào Đối tượng thể khn mặt góc độ biểu cảm khuôn mặt khác Hệ thống lấy mẫu tự động phát vùng khuôn mặt, tách vùng khn mặt lưu lại hình ảnh khn mặt - Hệ thống thực thuật tốn (chuẩn hóa hình ảnh có) trích chọn đặc trưng khn mặt gắn nhãn kèm theo liệu đưa vào sở liệu  Các bước nhận dạng khn mặt: Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 49 - Khi người dùng di chuyển vào vùng soi chiếu camera (hay webcam), hệ thống tự động phát vùng có xuất khn mặt hình ảnh từ camera Hình ảnh vùng khn mặt tách khỏi vùng hình ảnh chung - Hệ thống thực thuật tốn (chuẩn hóa hình ảnh có) trích xuất đặc trưng vùng ảnh khuôn mặt đối tượng cần so khớp Dữ liệu so khớp với liệu mẫu lưu sẵn sau trình huấn luyện trước - Dữ liệu sau so khớp với liệu mẫu Hệ thống đưa kết so khớp, khớp với đối tượng lưu sở liệu đưa thơng báo gắn nhãn định danh cho người khớp ngược lại đưa thơng báo khn mặt khơng có sở liệu - Mỗi frame hình ảnh camera thu có q trình nhận diện khuôn mặt thực hệ thống phát vùng khuôn mặt xuất frame ảnh Nếu liệu mẫu nhiều tỉ lệ nhận dạng xác cao, tương ứng với việc xử lý tăng lên Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 50 Hình 3.8: Huấn luyện mẫu khn mặt đối tượng thứ (Tên: Hiền, định danh: Hien, giới tính: Nữ) Hình 3.9: Huấn luyện mẫu khn mặt đối tượng thứ (Tên: Hịa, định danh: Hoa, giới tính: Nam) Số hóa Trung tâm Học liệu Cơng nghệ thơng tin – ĐHTN http://lrc.tnu.edu.vn 51 Hình 3.10: Huấn luyện mẫu khuôn mặt đối tượng thứ (Tên: Nga, định danh: Nga, giới tính: Nữ) Hình 3.11: Huấn luyện mẫu khuôn mặt đối tượng thứ (Tên: Nghĩa, giới tính: Nữ) Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 52 Dữ liệu trích chọn vùng khn mặt đối tượng bao gồm 400 vùng ảnh tương ứng với đối tượng (mỗi đối tượng có 100 hình ảnh góc nhìn khn mặt) Hình 3.12: Tập ảnh huấn luyện (40/400 ảnh) Kết thực nghiệm Tiến hành thử nghiệm chương trình nhận dạng khn mặt sử dụng webcam máy tính, phịng sử dụng ánh sáng tự nhiên Khoảng cách webcam đối tượng tham gia thực nghiệm phạm vi gần từ 1m1,2m Khuôn mặt người đưa vào vùng trung tâm khung hình, góc quan sát khác biểu trạng thái khuôn mặt khác đề xuất  Thử nghiệm thực sau: - Thử nghiệm phát khuôn mặt lấy mẫu huấn luyện Bốn người ngồi trước webcam, chương trình phát khuôn mặt, vùng ảnh phát khuôn mặt chương trình Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 53 tạo khung hình chữ nhật bao quanh hình ảnh khn mặt (Hình 3.3 đến Hình 3.6) - Tập ảnh huấn luyện thu thập bao gồm 400 ảnh khuôn mặt người góc nhìn biểu khác - Kết đạt được: phát 100% khuôn mặt có hướng nhìn trực diện, khơng bị che khuất  Thử nghiệm lần 2: Cho chương trình nhận dạng khn mặt người Hình 3.13: Nhận dạng đối tượng riêng lẻ  Thử nghiệm lần 3: Chương trình thử nghiệm nhận dạng lúc nhiều đối tượng Ở khoảng cách gần với camera, chương trình nhận dạng tốt Tuy nhiên khuôn mặt bị che khuất phần vị trí khn mặt xa Số hóa Trung tâm Học liệu Cơng nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 54 so với điểm trung tâm camera chương trình nhận dạng khn mặt mức xác tương đối, khơng cao vị trí huấn luyện Hình 3.14: Nhận dạng nhiều khn mặt (Có 02 đối tượng huấn luyện trước – Hiền & Nga) Hình 3.15: Nhận dạng khn mặt bị hạn chế khoảng cách xa từ camera tới vị trí khn mặt nên đối tượng xa khơng nhận dạng xác Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 55 KẾT LUẬN CHƯƠNG Nhận dạng khuôn mặt tốn khó, chương sử dụng phương pháp kinh điển phổ biến để nghiên cứu thử nghiệm LBP phương pháp hiệu quả, có nhiều khó khăn thử thách trình nhận dạng khn mặt: Hướng (pose), có mặt chi tiết đặc trưng riêng khn mặt người râu, tóc, kính mắt,…các nét mặt biểu cảm mức độ khác nhau, mặt bị che khuất, góc nghiêng, điều kiện ngoại cảnh độ sáng đặc biệt chất lượng hình ảnh Kết hoạt động chương trình thử nghiệm nội dung nghiên cứu cho thấy khả vận dụng, ứng dụng thực tiễn theo mục đích đề đề tài Hiệu nhận dạng với độ xác khoảng 70-80% Qua thấy lĩnh vực nhận dạng khn mặt gặp nhiều khó khăn đầy tiềm ứng dụng Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 56 KẾT LUẬN CHUNG Thị giác máy tính phát triển mạnh mẽ giới Nhận dạng mặt người lĩnh vực nhận nhiều quan tâm năm gần Nhận dạng khn mặt khơng phải tốn thách thức lớn phạm vi mở rộng toán lớn bao gồm nhiều tốn nhỏ phát đặc trưng, trích chọn đặc trưng, phân loại đặc trưng,… Và nhiều lĩnh vực phức tạp khác theo dõi biểu cảm giao tiếp khuôn mặt, khả tái tạo mô khuôn mặt thực tế, thực ảo… Luận văn tập trung tìm hiểu phương pháp nhận dạng, thuật toán LBP ứng dụng để thực nghiệm, so khớp ảnh tập huấn hình ảnh khn mặt camera Từ nhận dạng, ứng dụng vào mơ hình theo dõi, giám sát an ninh qua camera Qua kết thực nghiệm cho thấy khả vận dụng kỹ thuật nhận dạng vào thực tiễn Đánh giá hiệu phương pháp nhận dạng khó khăn, trở ngại lĩnh vực nhận dạng khuôn mặt theo thời gian thực đề Từ thấy cần phải kết hợp nhiều phương pháp khác để tăng hiệu suất độ xác cao phát nhận dạng khuôn mặt ứng dụng giám sát an ninh từ camera Quá trình nghiên cứu tìm hiểu xây dựng đề tài cịn nhiều hạn chế thời gian hướng tiếp cận nên số vấn đề mà đề tài chưa thực giải triệt để Hi vọng thiếu sót q trình tơi tìm hiểu xây dựng luận văn thầy bạn bè góp ý để luận văn đầy đủ hoàn thiện Hướng phát triển luận văn: Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 57 Luận văn đạt số kết định, nhiên số vấn đề chưa giải Hướng mở rộng luận văn ứng dụng thực tiễn đề tài lĩnh vực giám sát an ninh, cảnh báo xâm nhập vùng cấm, vùng hạn chế người lạ địa điểm nhà riêng nơi công công Kết hợp với thiết bị an ninh, thiết bị di động khả ứng dụng đề tài thời đại công nghệ 4.0 môi trường Internet vạn vật điều đem lại hiệu ý nghĩa lớn./ Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 58 TÀI LIỆU THAM KHẢO TIẾNG VIỆT [1] Đỗ Năng Toàn, Phạm Việt Bình (2007), Giáo trình xử lý ảnh, NXB Khoa học & kỹ thuật TIẾNG ANH [2] Abdur Rahim, Najmul Hossain, Tanzillah Wahid & Shafiul Azam (2013), "Face Recognition using Local Binary Patterns (LBP)", “Global Journal of Computer Science and Technology Graphics & Vision”, Vol 13 Issue [3] Paul Viola, Michael Jones (2001), “Rapid Object Detection using a Boosted Cascade of Simple Features”, “Computer Vision and pattern Recognition” [4] Sarabjit Singh, Amritpal Kaur, Taqdir (2015), “A Face Recognition Technique using Local Binary Pattern Method”, “International Journal of Advanced Research in Computer and Communication Engineering”, Vol.4, Issue 3, pp 165-168 [5] Shilpa lakhina1, Sini Joseph, Bhupendra verma (2010), “Feature Reduction using Principal Component Analysis for Effective Anomaly– Based Intrusion Detection on NSL-KDD”,“International Journal of Engineering Science and Technology”, Vol 2(6), pp 1790-1799 [6] T Ahonen, A Hadid, and M Pietikainen (2004), “Face recognition with local binary patterns”, “Proceedings of the European Conference on Computer Vision”, pp 469–481 [7] T.S Vishu Priya, G.Vinitha Sanchez, N.R.Raajan (2018), “Facial Recognition System Using Local Binary Patterns(LBP)”, “International Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 59 Journal of Pure and Applied Mathematics”, Vol 119, No 15, pp 18951899 [8] Face Detection using Haar Cascades, OpenCV Document Guide Tutorial, https://docs.opencv.org/3.2.0/d7/d8b/tutorial_py_face_detection.html [9] Face Recognition with OpenCV, OpenCV Document Guide Tutorial, https://docs.opencv.org/3.2.0/da/d60/tutorial_face_main.html WEBSITE [10] https://www.ieev.org/2010/03/adaboost-haar-features-facedetection_22.html [11] https://www.cse.unr.edu/~bebis/MathMethods/PCA/lecture.pdf [12] https://en.wikipedia.org/wiki/Principal_component_analysis [13] https://en.wikipedia.org/wiki/Linear_discriminant_analysis [14] http://www.ee.oulu.fi/research/imag/mvg/files/pdf/pdf_494.pdf [15] https://docs.opencv.org/ Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn ... toán nhận dạng khuôn mặt người từ camera, sử dụng đặc trưng Haarlike, ứng dụng giám sát an ninh yêu cầu sử dụng kỹ thuật phát khuôn mặt dựa đặc trưng Haar- like sử dụng phương pháp LBP để nhận dạng. .. tài Nhận dạng khuôn mặt người từ camera sử dụng đặc trưng haar- like, ứng dụng giám sát an ninh Mục tiêu luận văn nghiên cứu phương pháp phát nhận dạng khuôn mặt từ camera giám sát an ninh Dựa... THẠCH AN NHẬN DẠNG KHUÔN MẶT NGƯỜI TỪ CAMERA SỬ DỤNG ĐẶC TRƯNG HAAR- LIKE, ỨNG DỤNG TRONG GIÁM SÁT AN NINH Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI