Giải pháp nhận dạng mặt người trong hoạt động nghiệp vụ ngành công an

NGUYỄN MẠNH HÙNG BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Nguyễn Mạnh Hùng MẠNG MÁY TÍNH VÀ TRUYỀN THƠNG DỮ LIỆU GIẢI PHÁP NHẬN DẠNG MẶT NGƯỜI TRONG HOẠT ĐỘNG NGHIỆP VỤ NGÀNH CÔNG AN LUẬN VĂN THẠC SĨ KỸ THUẬT MẠNG MÁY TÍNH VÀ TRUYỀN THƠNG DỮ LIỆU KHỐ 2016B Hà Nội - Năm 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Nguyễn Mạnh Hùng GIẢI PHÁP NHẬN DẠNG MẶT NGƯỜI TRONG HOẠT ĐỘNG NGHIỆP VỤ NGÀNH CÔNG AN Chun ngành : Mạng Máy tính truyền thơng liệu LUẬN VĂN THẠC SĨ KỸ THUẬT Mạng Máy tính truyền thơng liệu NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS Nguyễn Linh Giang Hà Nội - Năm 2019 MỤC LỤC Trang TRANG PHỤ BÌA LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ, BẢNG MỞ ĐẦU Lý chọn đề tài Mục tiêu đề tài Đối tượng, phạm vi nghiên cứu 10 Phương pháp nghiên cứu: 10 Kết dự kiến 10 Ý nghĩa khoa học thực tiễn 10 Bố cục luận văn 10 Chương - TỔNG QUAN VỀ NHẬN DẠNG MẶT NGƯỜI 12 1.1 Tìm hiểu chung nhận dạng 12 1.1.1 Khái niệm nhận dạng 12 1.1.2 Sơ đồ chung hệ thống nhận dạng 12 1.1.3 Phạm vi ứng dụng nhận dạng 13 1.2 Tìm hiểu nhận dạng mặt người qua ảnh 13 1.3 Một số kỹ thuật nhận dạng mặt người 15 1.3.1 Phát mặt người 15 1.3.2 Trích chọn đặc trưng 17 1.3.3 Phân loại, nhận dạng (Classification) 26 1.4 Những khó khăn nhận dạng mặt người 27 Chương - GIẢI PHÁP NHẬN DẠNG MẶT NGƯỜI TRONG HOẠT ĐỘNG NGHIỆP VỤ CỦA NGÀNH CÔNG AN 29 2.1 Khảo sát trạng hoạt động nhận dạng người qua ảnh (giám định ảnh) ngành Công an 29 2.1.1 Một số khái niệm sử dụng nhận dạng người qua ảnh 29 2.1.2 Mô tả giai đoạn thực giám định 34 2.1.3 Nhận xét, kết luận 36 2.2 Đề xuất giải pháp nhận dạng mặt người 37 2.3 Sơ đồ khối chức giải pháp nhận dạng mặt người 39 2.3.1 Phát mặt người (face detection) 40 2.3.2 Tiền xử lý ảnh (preprocessing) 44 2.3.3 Trích rút đặc trưng ( feature extraction) 45 2.3.4 Đối sánh (Matching) 47 Chương - ỨNG DỤNG NHẬN DẠNG MẶT NGƯỜI TRONG HOẠT ĐỘNG NGHIỆP VỤ CỦA NGÀNH CÔNG AN 49 3.1 Phân tích chương trình ứng dụng nhận dạng mặt người 49 3.2 Triển khai cài đặt thử nghiệm 50 3.3 Đánh giá kết 51 TÀI LIỆU THAM KHẢO 534 LỜI CAM ĐOAN Tôi xin cam đoan nội dung viết đề tài tơi hồn tồn tự tìm hiểu, nghiên cứu hướng dẫn, định hướng PGS.TS Nguyễn Linh Giang Những kết nghiên cứu khơng vi phạm Luật sở hữu trí tuệ pháp luật Việt Nam Nếu sai tơi hồn tồn chịu trách nhiệm Tác giả luận văn Nguyễn Mạnh Hùng LỜI CẢM ƠN Trong suốt trình thực đề tài trình học tập, nghiên cứu, em nhận nhiều giúp đỡ thầy, cô, cán trường Lời đầu tiên, em xin chân thành cảm ơn trường đại học Bách Khoa Hà Nội, Viện Công nghệ Thông tin Truyền thông, chuyên ngành Truyền thơng mạng máy tính tồn thể thầy cô ân cần dạy dỗ, bảo, định hướng nghiên cứu cho em suốt năm học vừa qua Em xin chân thành cảm ơn PGS.TS Nguyễn Linh Giang giành nhiều tâm huyết, kinh nghiệm để dẫn ln ln góp ý để em hồn thành đề tài luận văn Tơi xin cảm ơn Cơ quan chủ quản nơi công tác bạn đồng nghiệp hỗ trợ, giúp đỡ nhiều thời gian vừa qua Cuối lời tri ân với gia đình, người động viên tạo điều kiện tốt cho em học tập nghiên cứu Em xin chân thành cảm ơn ! DANH MỤC CÁC TỪ VIẾT TẮT PCA (Principal Components Analysis): Phân tích thành phần SVM (support vector machine): Máy hỗ trợ vector LBP (Local Binary Pattern): Mẫu nhị phân cục HMM (Hidden Markov Model): Mơ hình Markov ẩn LDA (Linear Discriminant Analysis): Phân tích phân lớp tuyến tính CCTV (Closed-circuit television): Camera giám sát CGĐ (Cần giám định): Mẫu cần giám định ảnh mặt người MSS (Mẫu so sánh): Mẫu ảnh mặt người đối tượng biết CSDL (database): Cơ sở liệu DANH MỤC CÁC HÌNH VẼ, BẢNG Hình 2.1: Một số hình dạng khn mặt người 30 Hình 2.2: Phân chia khuôn mặt thành phần tương đối 30 Hình 2.3: Một số hình dạng lơng mày 31 Hình 2.4: Một số hình ảnh mắt 32 Hình 2.5: Các phận mũi 32 Hình 2.6: Một số dạng mũi điển hình 33 Hình 2.7: Một số hình ảnh khe miệng mơi 33 Hình 2.8: Một số hình ảnh cằm 33 Hình 2.9: Một số hình ảnh dái tai 34 Hình 2.10: Sơ đồ khối chức 39 Hình 2.11: Ví dụ cách tính nhanh tổng điểm ảnh vùng D ảnh 42 Hình 2.12: Mơ hình phân tầng kết hợp phân loại yếu để xác định mặt người 43 Hình 2.13: Thuật tốn trích chọn đặc trưng sử dụng PCA 45 MỞ ĐẦU Lý chọn đề tài Ngày nay, nhận dạng sinh trắc học nói chung nhận dạng mặt người nói riêng ứng dụng rộng rãi đời sống ngày hệ thống giám sát, quản lý vào ra, điều tra an ninh… Việc thu thập chứng phục vụ công tác điều tra vụ án hình coi trọng biện pháp Nhận dạng mặt người ngành Công an sử dụng từ lâu, chúng đóng vai trò quan trọng hoạt động điều tra, truy tố, xét xử Tuy nhiên, chúng thực thủ công cách kết hợp việc đánh giá đặc điểm riêng, đặc trưng hình ảnh mặt người với thông tin từ hoạt động nghiệp vụ Ngành Từ hoạt động thực tiễn ngành Công an cho thấy, bối cảnh diễn biến phức tạp tội phạm vấn đề nhận dạng mặt người dựa liệu video (thu từ hệ thống CCTV thiết bị cầm tay phổ biến khác) trở nên cần thiết Với mong muốn tìm hiểu, nghiên cứu, khám phá cơng nghệ mong muốn đưa giải pháp nhận dạng mặt người hiệu để áp dụng vào công việc, nơi mà học viên cơng tác Chính thế, học viên lựa chọn nghiên cứu đề tài “Giải pháp nhận dạng mặt người hoạt động nghiệp vụ ngành Cơng an” làm luận văn tốt nghiệp Mục tiêu đề tài Đề tài tập trung nghiên cứu đưa giải pháp ứng dụng nhận dạng mặt người để phục vụ công tác nghiệp vụ ngành Công an Để đạt điều này, đề tài tập trung vào nhiệm vụ cụ thể sau: + Nghiên cứu tổng quan nhận dạng mặt người + Nghiên cứu, xây dựng giải pháp ứng dụng nhận dạng mặt người hoạt động nghiệp vụ ngành Cơng an + Thiết kế chương trình ứng dụng Đối tượng, phạm vi nghiên cứu + Đối tượng: Các ảnh mặt người file video + Phạm vi: Trong luận văn này, xin nghiên cứu vấn đề sau: (i) Tổng quan nhận dạng mặt người (ii) Xây dựng giải pháp ứng dụng nhận dạng mặt người hoạt động nghiệp vụ ngành Cơng an (iii) Thiết kế chương trình ứng dụng Phương pháp nghiên cứu: a Phương pháp nghiên cứu lý thuyết: Nghiên cứu tổng quan nhận dạng mặt người b Phương pháp nghiên cứu thực nghiệm: Khảo sát, đánh giá hoạt động thực tế; Phân tích, xây dựng giải pháp thực hiện; Phân tích, thiết kế hệ thống ứng dụng Kết dự kiến Xây dựng giải pháp ứng dụng nhận dạng mặt người hoạt động nghiệp vụ ngành Cơng an Thiết kế chương trình ứng dụng thử nghiệm nhận dạng mặt người Ý nghĩa khoa học thực tiễn Bước đầu tiếp cận vấn đề công nghệ nhận dạng mặt người, đồng thời xây dựng giải pháp ứng dụng nhận dạng mặt người hoạt động nghiệp vụ ngành Công an Bố cục luận văn Bố cục luận văn chia thành chương sau: 10 Với A + B + C + D giá trị điểm P4 Intergral Image, A + B giá trị điểm P2, A + C giá trị điểm P3, A giá trị điểm P1 Vậy ta tính lại biểu thức D sau: D = (x4,y4) – (x2,y2) – (x3,y3) – (x1,y1) Hình 2.11 Ví dụ cách tính nhanh tổng điểm ảnh vùng D ảnh Để chọn đăc trưng Haarlike dùng cho việc thiết lập ngưỡng, Viola Jones sử dụng phương pháp máy học gọi Adaboost Adaboost kết hợp phân loại yếu để tạo thành phân loại mạnh Thuật toán Adaboost Adaboost cách hướng tiếp cận dựa diện mạo, Viola Jones dùng AdaBoost kết hợp cascade để xác định mặt người người [12] với đặc trưng dạng Haar wavelet-like Tốc độ xử lý nhanh tỷ lệ xác 80% ảnh xám AdaBoost (Freund & Schapire, 1995) phân loại mạnh phi tuyến phức, hoạt động nguyên tắc kết hợp tuyến tính phân loại yếu để tạo nên phân loại mạnh AdaBoost sử dụng trọng số để đánh dấu mẫu khó nhận dạng Trong trình huấn luyện phân loại yếu xây dựng thuật tốn tiến hành cập nhật lại trọng số để chuẩn bị cho việc xây dựng phân loại Cập nhật cách tăng trọng số mẫu nhận dạng sai giảm trọng số mẫu nhận dạng phân loại yếu vừa xây dựng Bằng cách phân loại sau tập trung vào mẫu mà phân loại trước làm chưa tốt Cuối phân loại yếu kết hợp lại tùy theo mức độ tốt chúng để tạo nên phân loại mạnh 42 Viola Jones dùng Adaboost kết hợp phân loại yếu sử dụng đặc trưng haar-like theo mô hình phân tầng (cascade) Hình 2.12 Vùng ảnh cần xét A1 Không phải khuôn mặt Đúng khuôn mặt A2 Không phải khuôn mặt Đúng khuôn mặt Không phải khuôn mặt A2 Đúng khn mặt Khơng phải khn mặt Khn mặt Hình 2.12 Mơ hình phân tầng kết hợp phân loại yếu để xác định mặt người Bộ phân loại yếu hk biểu diễn sau: ℎ𝑥 (𝑥) = { 𝑛ế𝑢 𝑝𝑘 𝑓𝑘 (𝑥) < 𝑝𝑘 𝜃𝑘 𝑛ế𝑢 𝑛𝑔ượ𝑐 𝑙ạ𝑖 Với x cửa sổ cần xét, θk ngưỡng, fk giá trị đặc trưng HaarLike pk hệ số định chiều phương trình Mơ hình phân tầng Cascade Cascade of Boosted Classifiers mơ hình phân tầng với tầng mơ hình AdaBoost sử dụng phân lớp yếu định với đặc trưng HaarLike Trong trình huấn luyện, phân lớp phải duyệt qua tất đặc trưng 43 mẫu tập huấn luyện Việc tốn nhiều thời gian Tuy nhiên, mẫu đưa vào, mẫu thuộc loại khó nhận dạng, có mẫu background dễ nhận (gọi mẫu background đơn giản) Đối với mẫu này, cần xét hay vài đặc trưng đơn giản nhận dạng không cần xét tất đặc trưng Nhưng phân loại thông thường cho dù mẫu cần nhận dạng dễ hay khó phải xét tất đặc trưng mà rút q trình học Do đó, chúng tốn thời gian xử lý cách khơng cần thiết Mơ hình Cascade of Classifiers xây dựng nhằm rút ngắn thời gian xử lý, giảm thiểu nhận dạng lầm (false alarm) cho phân loại Cascade trees gồm nhiều tầng (stage hay gọi layer), tầng mơ hình AdaBoost với phân lớp yếu định.Một mẫu để phân loại đối tượng cần phải qua hết tất tầng Các tầng sau huấn luyện mẫu âm negative (không phải mặt người) mà tầng trước nhận dạng sai, tức tập trung học từ mẫu background khó hơn, kết hợp tầng AdaBoost lại giúp phân loại giảm thiểu nhận dạng lầm Với cấu trúc này, mẫu background dễ nhận dạng bị loại từ tầng đầu tiên, giúp đáp ứng tốt thời gian xử lý trì hiệu phát mặt người 2.3.2 Tiền xử lý ảnh (preprocessing) Chức để chuẩn hóa ảnh cần tìm giúp cho việc tìm kiếm hiệu Các công việc bước tiền xử lý là: Chuẩn hóa kích cỡ ảnh CSDL ảnh cầm tìm, hiệu chỉnh độ sáng, tối ảnh; lọc nhiễu, chuẩn hóa vị trí, tư ảnh mặt Trong luận văn này, bước tiền xử lý chưa thực việc hiệu chỉnh độ sáng, tối mà chuẩn hố kích cỡ ảnh Đầu vào khối: Ảnh đầu vào ảnh trích trực tiếp từcác hệ thống camera giám sát Đầu khối: Ảnh chuẩn hố kích thước 44 2.3.3 Trích rút đặc trưng ( feature extraction) Tìm thông tin đại diện cho mặt người, đặc trưng chính, từ đặc trưng hình thành vector đặc trưng, vector sử dụng để đối sánh giống ảnh mặt cần tìm ảnh mặt CSDL Thuật tốn trích chọn đặc trưng sử dụng Phân tích thành phần (PCA) Thuật toán dựa việc tiếp cận lý thuyết thơng tin Nó trích xuất thơng tin có liên quan hình ảnh mặt người mã hố cách hiệu Đầu vào khối: Ảnh sau qua tiền xử lý Đầu khối: Vec-tơ đặc tính tính phương pháp PCA Để có vector đặc trưng phải qua giai đoạn: Giai đoạn 1: phải tạo Eigenfaces Giai đoạn 2: sau tìm Eigenfaces, ảnh tập sở liệu chiếu lên không gian để tạo vector đặc trưng Vector có kích thước nhỏ nhiều so với kích thước ảnh mang nhiều thơng tin chứa ảnh Trong luận văn này, học viên sử dụng phương pháp PCA với bước sau: Tập ảnh mẫu Chuẩn hóa ma trận ảnh Trung bình ảnh Ma trận ảnh so với ảnh trung bình Tính Eigenfaces Ảnh đầu vào Chiếu lên không gian đặc trưng Vecto đặc trưng Hình 2.13 Thuật tốn trích chọn đặc trưng sử dụng PCA 45 * Tạo tập S gồm M ảnh (ảnh học) Mỗi ảnh có kích thước RxC Mỗi ảnhđược chuyển thành vector N = RxC chiều S={1, 2,…, M} *Tính vector ảnh trung bình tập ảnh học: Bước cho ta xác định gốc tọa độ không gian vector biểu diễn ảnh, ảnh trung bình thể điểm giống tất mặt người Ảnh trung bình tính trung bình cộng tất ảnh: 𝑀 Ψ = ∑ Γ𝑖 𝑀 (2.3) 𝑖=1 Với M số ảnh tập luyện, Γi vector chiều (N2×1) đại diện cho mỗiảnh Ψ vector trung bình (kích thước N2×1) tập tất Γi trên; Ψ gọi vector trung bình mặt tập luyện Như ta tính giá trị trung bình ảnh Sự khác biệt mặt người với ảnh trung bình vector với (i=1,2,…,M)  = i -  (2.4) Trong đó: Φi vector sai số ứng với ảnh, Γi vectot chiều ảnh, Ψ vector mặt trung bình * Tính Eigenfaces: Trước hết ta tính ma trận hiệp phương sai tính theo công thức: 𝑀 Ψ = ∑ Φ𝑛 Φ𝑛𝑇 𝑀 (2.5) 𝑖=1 Trong C ma trận hiệp phương sai có kích thước N2xN2 Và A=[Ф1 Ф2…ФM] , A có kích thước N2xM, Фn sai số ảnh so với giá trị trung bình tính cơng thức (2.4) 46 Muốn tính giá trị riêng vector riêng ma trận hiệp phương sai, ta phải tính với ma trận C, mà tính cho ma trận C ta tính cho ma trận A AT Tuy nhiên ma trận C lại có kích thước q lớn (kích thước N2xN2) Vì tính theo cách khơng khả thi với khối lượng tính tốn vơ nhiều Mặt khác ma trận ATA lại có số chiều hẳn (ma trận M×M) nên ta tìm vector riêng ma trận Nếu vi vector riêng ATA μi trị riêng tương ứng, ta có: ATAvi = μi vi (2.6) Nhân vế với A , ta có: AAT Avi = μi Avi (2.7) Từ ta thấy Avi vector riêng C = AAT, ứng với giá trị riêng ui 2.3.4 Đối sánh (Matching) Bước đối sánh (matching) nhằm thực việc so sánh vector đặc trưng để chọn độ tương tự ảnh cần tìm ảnh CSDL nhằm xác định xem hai ảnh mặt người có thuộc người hay không Tức ảnh cần kiểm tra so sánh với mẫu cá nhân người (đối sánh 1:1, one-to-one matching) Khối thực theo nhiều phương pháp khác khoảng cách Euclides, mạng nor-ron, SVM… Khoảng cách Euclides phương pháp đơn giản nhất, có kết tốt đối tượng tạo thành nhóm cách xa Trong luận văn này, ta sử dụng phương pháp để nhận dạng Vec-tơ đặc tính đối tượng cần nhận dạng so sánh với vectơ đặc tính ảnh mẫu học trước Các khoảng cách ngắn lưu lại Nếu khoảng cách ngắn nhỏ ngưỡng cho phép, ta xác nhận đối tượng ”đã biết đến” Việc nhận dạng thực qua công thức sau: 47 𝜀 = 𝑚𝑖𝑛{‖𝜔 − 𝜔𝑘 ‖}, ̅̅̅̅̅̅ 𝑘 = 1, 𝑀 Nếu 𝜀 ≤ threshold, ta xác nhận ảnh  “đã biết” Nếu 𝜀 >threshold, ta xác nhận ảnh  “chưa biết” Trong threshold giá trị ngưỡng nhận biết, giá trị điều chỉnh cho sở liệu 48 Chương - ỨNG DỤNG NHẬN DẠNG MẶT NGƯỜI TRONG HOẠT ĐỘNG NGHIỆP VỤ CỦA NGÀNH CƠNG AN 3.1 Phân tích chương trình ứng dụng nhận dạng mặt người Như trình bày Chương mục 2.3 (Sơ đồ khối chức giải pháp nhận dạng mặt người), Giải pháp nhận dạng mặt người ứng dụng hoạt động nghiệp vụ ngành Công an thực hai bước: Bước thực tự động ứng dụng; Bước sử dụng cảm thụ thị giác người, kết hợp với kết Bước thông tin từ hoạt động nghiệp vụ để đưa kết luận cuối BƯỚC 1: NHẬN DẠNG TỰ ĐỘNG Mẫu A File ảnh/ video Mẫu M File ảnh/ video Phát khuôn mặt Tiền xử lý Phát khuôn mặt Tiền xử lý Trích chọn đặc trưng ĐỐI SÁNH Trích chọn đặc trưng Không giống với Mẫu M Mẫu A Giống với Mẫu M BƯỚC 2: NHẬN DẠNG THỦ CÔNG Kết luận - Phân tích, so sánh, đánh giá, cảm nhận - Sử dụng thông tin từ hoạt động nghiệp vụ - Lựa chọn đặc điểm có giá trị phân biệt - Tìm kiếm đặc điểm riêng - Lựa chọn đặc điểm có giá trị phân biệt - Tìm kiếm đặc điểm riêng Các ảnh mẫu A giống với mẫu M Các ảnh mẫu M Hình 3.1 Sơ đồ khối chức 49 - Dùng cảm thụ thị giác để xác định có hình ảnh mẫu A giống với mẫu M khơng? Quy trình xử lý bao gồm: Bước 1: Việc nhận dạng tự động ứng dụng đóng vai trị quan trọng trình xây dựng Giải pháp nhận dạng mặt người ứng dụng hoạt động nghiệp vụ ngành Công an + Khối phát mặt người: Trong ứng dụng nhận dạng mặt người, học viên lựa chọn phương pháp phát mặt người d a trưng Haar-like + Khối tiền xử lý: Trong bước tiền xử lý, học viên thực việc chuẩn hố kích cỡ ảnh + Khối trích chọn đặc trưng: Học viên sử dụng phương pháp PCA để trích chọn đặc trưng mặt người + Khối đối sánh: học viên sử dụng phương pháp khoảng cách Euclides Kết Bước có hai tình huống: + Nếu tìm thấy ảnh mặt người Mẫu M giống với Mẫu A Khi đó, ảnh trích từ Mẫu M sử dụng làm liệu cho Bước + Nếu không tìm thấy ảnh mặt người Mẫu M giống với Mẫu A Trong trường hợp này, để đảm bảo tránh sai sót q trình nhận dạng tự động, tránh làm lọt “tội phạm”, Mẫu A tìm lại theo cách thủ cơng Bước 2: Q trình tìm kiếm, phân tích, so sánh, đánh giá dựa thơng tin đặc trưng khuôn mặt Mẫu A Mẫu B có kết hợp với thơng tin nghiệp vụ thực theo cách truyền thống (như trình bày Chương 2) để đưa kết cuối 3.2 Triển khai cài đặt thử nghiệm - Giao diện ứng dụng thử nghiệm: 50 3.3 Đánh giá kết Sau xây dựng đưa Giải pháp nhận dạng mặt người hoạt động nghiệp vụ ngành Công an, tác giả trực tiếp thực thử nghiệm vụ án thực hiện, liệu file video thu thập từ nhiều nguồn khác (CCTV, điện thoại di động, …) Sau trình thử nghiệm, học viên thống kê số kết đạt Tuy nhiên, kết bước đầu minh họa cho Giải pháp đưa ra, hy vọng tảng để ứng dụng phát triển tốt kết đạt khả quan Trước hết, học viên thống kê kết đúng, sai thực nhận dạng hai tình huống: Kết Bước (bước nhận dạng tự động) kết chung áp dụng Giải pháp: 51 Kết Bước Số khuôn Kết áp dụng Giải pháp mặt có Đưa kết Đưa kết Đưa kết Đưa kết video (ảnh) (%) sai (%) đúng(%) sai (%) 72 28 100 73 27 100 >5 71 29 100 Bảng 3.5 Đánh giá kết thực nghiệm Bảng kết so sánh thời gian thực 55 vụ án với tổng số 100 file video có thời lượng file khác (nếu coi vụ án có file video): Thời lượng file Số vụ (± phút) Thời gian hồn thành (trung bình) Thời gian Theo cách truyền Sau áp dụng rút thống (phút) Giải pháp (phút) ngắn 20