LỜI CAM ĐOAN9LỜI CẢM ƠN10LỜI NÓI ĐẦU11TÓM TẮT ĐỒ ÁN12MỤC LỤC13DANH SÁCH HÌNH ẢNH15DANH MỤC BẢNG BIỂU16DANH MỤC CÁC TỪ VIẾT TẮT17PHẦN MỞ ĐẦU18CHƯƠNG 1: MỘT SỐ KHÁI NIỆM CƠ BẢN VỀ ẢNH, GIỚI THIỆU VỀ THUẬT TOÁN PCA.191.1.MỘT SỐ KHÁI NIỆM CƠ BẢN VỀ ẢNH191.1.1. Biểu diễn ảnh số201.1.2.Ảnh màu201.2.GIỚI THIỆU VỀ THUẬT TOÁN PCA.241.2.1. Giới thiệu241.2.2. Đặc trưng PCA241.2.3. Một số kỹ thuật cơ bản trong nhận dạng301.2.4. Các bước thực hiện PCA.311.2.5. Lưu ý về tính PCA trong các bài toán thực tế.331.3.KHÁI QUÁT VỀ NHẬN DẠNG MẶT NGƯỜI361.3.1. Phân tích các đặc tính sinh trắc học của người 7.361.3.2. Hệ thống nhận dạng tổng quát.371.3.3. Nhận dạng khuôn mặt người và ứng dụng 8.391.4.KẾT LUẬN.41CHƯƠNG 2: BÀI TOÁN NHẬN DẠNG VÀ GIỚI THIỆU CÁC LỆNH ĐƯỢC SỬ DỤNG TRONG CHƯƠNG TRÌNH.432.1. BÀI TOÁN NHẬN DẠNG432.2. GIỚI THIỆU CÁC LỆNH ĐƯỢC SỬ DỤNG TRONG CHƯƠNG TRÌNH.462.3. KẾT LUẬN47CHƯƠNG 3: GIỚI THIỆU GIAO DIỆN CHƯƠNG TRÌNH VÀ CODE NGUỒN.483.1. BÀI TOÁN.483.2. PHÂN TÍCH CHƯƠNG TRÌNH483.2.1. Xây dựng cơ sở dữ liệu.483.2.2. Huấn luyện.493.2.3. Nhận dạng khuôn mặt.503.3. THIẾT KẾ CHƯƠNG TRÌNH503.3.1. Giao diện chương trình503.3.2. Hoạt động của chương trình563.4. KẾT QUẢ ĐẠT ĐƯỢC.623.5. ĐÁNH GIÁ KHOẢNG CÁCH ĐẾN ẢNH KHI SỐ LƯỢNG VECTOR ĐẶC TRƯNG THAY ĐỔI.633.6. ĐÁNH GIÁ ĐỘ CHÍNH XÁC CỦA CHƯƠNG TRÌNH653.7. KẾT LUẬN.66KẾT LUẬN CHUNG68TÀI LIỆU THAM KHẢO69
Trường Đại học Bách Khoa Hà Nội Viện Điện tử - Viễn thông ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC ĐỀ TÀI: NHẬN DẠNG KHUÔN MẶT BẰNG PHƯƠNG PHÁP PCA Hà Nội, 6-2018 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐIỆN TỬ - VIỄN THÔNG ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC ĐỀ TÀI: NHẬN DẠNG KHUÔN MẶT BẰNG PHƯƠNG PHÁP PCA Sinh viên thực hiện: Giảng viên hướng dẫn: Cán phản biện: Hà Nội, 6-2018 Đánh giá đồ án tốt nghiệp (Dùng cho giảng viên hướng dẫn) Giảng viên đánh giá: Họ tên Sinh viên: MSSV:………………… Tên đồ án: ……………………………………………………………………………………………… Chọn mức điểm phù hợp cho sinh viên trình bày theo tiêu chí đây: Rất (1); Kém (2); Đạt (3); Giỏi (4); Xuất sắc (5) Có kết hợp lý thuyết thực hành (20) Nêu rõ tính cấp thiết quan trọng đề tài, vấn đề giả thuyết (bao gồm mục đích tính phù hợp) phạm vi ứng dụng đồ án Cập nhật kết nghiên cứu gần (trong nước/quốc tế) Nêu rõ chi tiết phương pháp nghiên cứu/giải 3 vấn đề Có kết mơ phỏng/thưc nghiệm trình bày rõ ràng kết đạt Có khả phân tích đánh giá kết (15) Kế hoạch làm việc rõ ràng bao gồm mục tiêu phương pháp thực dựa kết nghiên cứu lý thuyết cách có hệ thống Kết trình bày cách logic dễ hiểu, tất kết phân tích đánh giá thỏa đáng Trong phần kết luận, tác giả rõ khác biệt (nếu có) kết đạt mục tiêu ban đầu đề đồng 5 thời cung cấp lập luận để đề xuất hướng giải thực tương lai Kỹ viết (10) Đồ án trình bày mẫu quy định với cấu trúc chương logic đẹp mắt (bảng biểu, hình ảnh rõ ràng, có tiêu đề, đánh số thứ tự giải thích hay đề cập đến đồ án, có lề, dấu cách sau dấu chấm, dấu phẩy v.v), có mở đầu chương kết luận chương, có liệt kê tài liệu tham khảo có trích dẫn quy định Kỹ viết xuất sắc (cấu trúc câu chuẩn, văn phong khoa học, lập luận logic có sở, từ vựng sử dụng phù hợp v.v.) Thành tựu nghiên cứu khoa học (5) (chọn trường hợp) Có báo khoa học đăng chấp nhận đăng/đạt giải SVNC khoa học giải cấp Viện trở 10a lên/các giải thưởng khoa học (quốc tế/trong nước) từ giải trở lên/ Có đăng ký phát minh sáng chế Được báo cáo hội đồng cấp Viện hội nghị sinh viên nghiên cứu khoa học không đạt giải từ giải 10b trở lên/Đạt giải khuyến khích kỳ thi quốc gia quốc tế khác chuyên ngành TI contest 10c Khơng có thành tích nghiên cứu khoa học Điểm tổng Điểm tổng quy đổi thang 10 /50 Nhận xét thêm Thầy/Cô (giảng viên hướng dẫn nhận xét thái độ tinh thần làm việc sinh viên) Ngày: / /201 Người nhận xét (Ký ghi rõ họ tên) Đánh giá đồ án tốt nghiệp (Dùng cho cán phản biện) Giảng viên đánh giá: Họ tên Sinh viên: MSSV:………………… Tên đồ án: ………………………………………………………………………………… Chọn mức điểm phù hợp cho sinh viên trình bày theo tiêu chí đây: Rất (1); Kém (2); Đạt (3); Giỏi (4); Xuất sắc (5) Có kết hợp lý thuyết thực hành (20) Nêu rõ tính cấp thiết quan trọng đề tài, vấn đề giả thuyết (bao gồm mục đích tính phù hợp) phạm vi ứng dụng đồ án Cập nhật kết nghiên cứu gần (trong nước/quốc tế) Nêu rõ chi tiết phương pháp nghiên cứu/giải vấn đề Có kết mơ phỏng/thưc nghiệm trình bày rõ ràng kết đạt 5 Có khả phân tích đánh giá kết (15) Kế hoạch làm việc rõ ràng bao gồm mục tiêu phương pháp thực dựa kết nghiên cứu lý thuyết cách có hệ thống Kết trình bày cách logic dễ hiểu, tất kết phân tích đánh giá thỏa đáng Trong phần kết luận, tác giả rõ khác biệt (nếu có) kết đạt mục tiêu ban đầu đề đồng thời cung cấp lập luận để đề xuất hướng giải thực tương lai Kỹ viết (10) Đồ án trình bày mẫu quy định với cấu trúc chương logic đẹp mắt (bảng biểu, hình ảnh rõ ràng, có tiêu đề, đánh số thứ tự giải thích hay đề cập đến đồ án, có lề, dấu cách sau dấu chấm, dấu phẩy v.v), có mở đầu chương kết luận chương, có liệt kê tài liệu tham khảo có trích dẫn quy định Kỹ viết xuất sắc (cấu trúc câu chuẩn, văn phong khoa học, lập luận logic có sở, từ vựng sử dụng phù hợp v.v.) Thành tựu nghiên cứu khoa học (5) (chọn trường hợp) Có báo khoa học đăng chấp nhận 10a đăng/đạt giải SVNC khoa học giải cấp Viện trở lên/các giải thưởng khoa học (quốc tế/trong nước) từ giải trở lên/ Có đăng ký phát minh sáng chế Được báo cáo hội đồng cấp Viện hội nghị sinh 10b viên nghiên cứu khoa học không đạt giải từ giải trở lên/Đạt giải khuyến khích kỳ thi quốc gia quốc tế khác chuyên ngành TI contest 10c Khơng có thành tích nghiên cứu khoa học Điểm tổng Điểm tổng quy đổi thang 10 /50 Nhận xét thêm Thầy/Cô Ngày: / /201 Người nhận xét (Ký ghi rõ họ tên) Nhận dạng khuôn mặt phương pháp PCA LỜI CAM ĐOAN Hà Nội, ngày tháng năm 2018 Sinh viên Nhận dạng khuôn mặt phương pháp PCA LỜI CẢM ƠN Sau thời gian nghiên cứu làm việc, động viên, giúp đỡ hướng dẫn tận tình Thầy giáo hướng dẫn , đồ án với đề tài “NHẬN DẠNG KHUÔN MẶT BẰNG PHƯƠNG PHÁP PCA” hồn thành Em xin bày tỏ lòng biết ơn sâu sắc đến: Thầy giáo hướng dẫn tận tình dẫn, giúp đỡ em hồn thành đồ án Em xin chân thành cảm ơn bạn bè, đồng nghiệp gia đình động viên, khích lệ, tạo điều kiện giúp đỡ tơi suốt q trình học tập, thực hoàn thành luận văn Sinh viên 10 Nhận dạng khuôn mặt phương pháp PCA SEARCH: “button” thực chức nhận diện đối tượng hiển thị AXES, sau trích suất thơng tin lên hai trường “edit text” NAME AGE BACK: “button” thực chức kết nối hai giao diện, ấn nút, giao diện chuyển giao diện thứ đồng thời đóng lại giao diện thứ tư 3.3.2 Hoạt động chương trình Tạo sở liệu cho chương trình Để tạo liệu cần thực thao tác sau trước sử dụng Button ADD để khởi chạy việc lưu CSDL: B1: Nhập địa IP ADDRESS camera nhấn ADD IP B2: Nhập tên đối tượng vào trường edit text “Họ Tên” B3: Nhập ngày tháng năm sinh vào trường “Ngày sinh” B4: Ấn “ADD” để hệ thống lưu tự động thông tin đối tượng Kết sau bước sau: 56 Nhận dạng khuôn mặt phương pháp PCA Hình 3.9: Hồn tất q trình nhập liệu Chương trình đưa số thứ tự ảnh mặt lưu lại Nhận dạng Đưa liệu hình ảnh, video vào nhận dạng: Nhập địa IP camera Nhấn buttuon “ADD IP” 57 Nhận dạng khn mặt phương pháp PCA Hình 3.10: Kết nối địa IP camera cho chương trình Video, hình ảnh hiển thị vùng AXES giao diện Nhận dạng khuôn mặt chọn nút “START” để nhận dạng Chương trình đối sánh ảnh đưa vào với ảnh sở liệu Nếu nhận dạng đưa ảnh thơng tin người đó: Hình 3.12: Kết nhận dạng 58 Nhận dạng khuôn mặt phương pháp PCA Mô Bắt đầu trình mơ phỏng, chọn ấn “DEMO” giao diện xuất sau: Hình 313: Giao diện DEMO Nhập ảnh từ tập huấn luyện Ấn nút “BROWSE” ta có giao diện cửa sổ “Select the test image” xuất chọn ảnh cần nhận dạng từ tập thử nghiệm (file có định dạng “*.jpg”) Chọn OK: 59 Nhận dạng khuôn mặt phương pháp PCA Hình 3.14: Giao diện cửa sổ “Select the test image” Sau chọn ảnh, giao diện sau Hình 3.15: Giao diện sau chọn ảnh Thực trình chạy thử, ta ấn nút “SEARCH” chương trình chạy sau: 60 Nhận dạng khn mặt phương pháp PCA Hình 3.16: Quá trình chạy thử Kết thu được: Hình 3.17: Kết thu sau q trình chạy thử 61 Nhận dạng khn mặt phương pháp PCA 3.4 Kết đạt Đồ án tốt nghiệp trình bày chi tiết, cụ thể nhận dạng khuôn mặt người dựa kỹ thuật PCA Và xây dựng chương trình thử nghiệm để đánh giá kết việc sử dụng kỹ thuật PCA để nhận dạng, từ thực nghiệm ta thu số kết đánh giá thuật toán sử dụng Các kết đạt cho thấy độ xác chương trình tương đối cao khoảng 97% nhận dạng Tuy nhiên, thời gian có hạn cộng thêm khối lượng công việc lớn nên số vấn đề ý tưởng mà luận văn chưa thực Nhằm cải thiện khả hoạt động chương trình, chương trình có thêm chức nhận dạng mặt người qua đoạn video webcam Ý tưởng đưa nhập vào đoạn video hay hình ảnh trực tiếp từ webcam Đoạn video hay hình ảnh webcam mơ tả người với khung biến đổi người đám đơng Sau chương trình phát khoanh vùng vị trí khn mặt khung hình truy xuất sở liệu đưa thơng tin người Đó ý tưởng phát triển tương lai Đồ án Hiện tại, chương trình thực hai chức đưa vào đoạn video chạy Chương trình thử nghiệm xây dựng thẻ tab webcam chương trìnhTuy nhiên q trình thực hóa ý tưởng chương trình gặp khó khăn như: Giao tiếp webcam: làm để bật nút webcam chương trình tự động đưa hình ảnh từ webcam vào khung hình Đây vấn đề thuộc giao tiếp phần cứng Phát khoanh vùng khn mặt khung hình video có nhiều đối tượng xung quanh hay đám đông nhiều người Để giải vấn đề cần kết hợp thuật toán nhận dạng mạng noron (Neural Network) nhằm phát khoanh vùng khn mặt 62 Nhận dạng khuôn mặt phương pháp PCA 3.5 Đánh giá khoảng cách đến ảnh số lượng vector đặc trưng thay đổi Tính tốn khoảng cách đến ảnh đến không gian ảnh, số lượng đặc trưng mặt K (eigenface) thay đổi Điều dẫn tới thay đổi mặt thời gian độ xác chương trình Để đánh giá điều này, chia ảnh thử nghiệm làm ba loại: Ảnh mặt người mà mặt người có tập ảnh luyện Ảnh mặt người mà người khơng xuất tập ảnh luyện Ảnh (khơng phải mặt) Với loại ảnh thử nghiệm, tính tốn hai khoảng cách Khoảng cách đến ảnh mặt gần tập luyện Khoảng cách đến không gian mặt Các khoảng cách khoảng cách trung bình tập thử nghiệm tương ứng với loại với loại Kết thực nghiệm Bảng 3.1: Bảng 3.1: Khoảng cách thay đổi theo số lượng eigenfaces Số lượng Eigenfaces Khoảng từ ảnh xác định vào sở liệu Khoảng cách tối thiểu hình ảnh Ảnh khn mặt nằm tập huấn luyện 21730 42738722 20530 45682074 19510 35920406 17605 37594628 63 Nhận dạng khuôn mặt phương pháp PCA Ảnh mới, khơng có tập huấn luyện 33377 41883948 29852 44768432 26582 35201998 24648 36842734 Ảnh 91266 98299060 86226 99568770 81942 82616934 73941 86467644 Quan sát kết thu được, ta có số nhận xét sau: Khoảng cách tới ảnh luyện gần tăng theo số lượng eigenface; điều hoàn tồn xác số lượng eigenface tăng, nghĩa ta đưa ảnh (chiếu ảnh) vào không gian mặt nhiều chiều hơn, tính chi tiết, tính phân biệt ảnh cao dẫn đến khoảng cách tới ảnh gần tăng lên Khoảng cách tới không gian ảnh giảm theo số lượng eigenface Điều trái ngược với chiều tăng khoảng cách tới ảnh luyện gần nhất, có nguyên nhân Đó khơng gian ảnh mở rộng, lỗi dư thừa loại bỏ So sánh ảnh có khn mặt thuộc tập luyện ảnh khn mặt Khoảng cách tới khơng gian mặt khơng có khác nhiều Tuy nhiên khoảng cách tới ảnh gần có chênh lệch 64 Nhận dạng khuôn mặt phương pháp PCA định hai loại ảnh: khn mặt ln có khoảng cách lớn khuôn mặt nằm tập luyện So sánh ảnh mặt ảnh Chúng ta thấy khác biệt khoảng cách đến khơng gian mặt hai loại ảnh rõ ràng Không gian đặc trưng cho ảnh mặt không biểu diễn cho ảnh khoảng cách lớn nhiều 3.6 Đánh giá độ xác chương trình Ảnh thử nghiệm chia làm bốn loại: ảnh tập luyện, ảnh mặt chưa luyện có tập luyện, gương mặt cuối ảnh mặt Kết trả số lượng ảnh nhận dạng, không nhận dạng mặt mặt Kết thực nghiệm cụ thể Bảng 3.2: Bảng 3.2: Độ xác theo số lượng eigenface Số lượng Nhận Eigenfaces Không nhận Không phải mặt Tổng số Ảnh chỉnh tập ảnh huấn luyện 35 0 35 35 0 35 35 0 35 35 0 35 Ảnh không nằm tập luyện ảnh 18 25 20 25 65 Nhận dạng khuôn mặt phương pháp PCA 21 25 23 25 Khuôn mặt 20 25 18 25 17 25 18 25 Ảnh 0 10 10 0 10 10 0 10 10 0 10 10 3.7 Kết luận Từ bảng thực nghiệm cho thấy : Việc phân biệt ảnh có mặt với ảnh khơng có mặt (ảnh bất kỳ) đạt độ xác cao thay đổi số lượng eigenface Đạt điều chênh lệch lớn khoảng cách đến không gian ảnh hai loại ảnh Độ xác phương pháp thay đổi theo số lượng eigenface Khi số lượng eigenface lớn khả nhận dạng chương trình cao 66 Nhận dạng khuôn mặt phương pháp PCA Qua ta rút kết luận để tăng độ xác phương pháp nhận dạng, ta cần phải tiến hành tiền xử lý ảnh: chuẩn hóa ảnh mặt theo góc nghiêng, hướng nhìn, điều kiện ánh sáng ảnh 67 Nhận dạng khuôn mặt phương pháp PCA KẾT LUẬN CHUNG Phạm vi giới hạn đề tài Do thời gian tiến hành nghiên cứu tài liệu tham khảo có hạn Đề tài “Nhận dạng khuôn mặt phương pháp PCA” sử dụng thuật toán thuật toán PCA Nên làm cho chương trình nhận dạng phụ thuộc nhiều vào tập huấn luyện, vị trí khn mặt hình Trong trình chạy chương trình ảnh xử lý tạo như: ảnh trung bình, ảnh-ảnh trung bình, eigenface không lưu lai Nên chạy lại chương trình ảnh khỏi tạo lai từ đầu Hướng mở rộng đề tài Đề tài phát triển thành phần mềm nhận dạng mặt người tốt hơn, cách kết hợp với số thuật toán nhận dạng xử lý ảnh đại Cho kết xác Có thể phát triển thành nhiều đề tài khác có liên quan tới xử lí ảnh số 68 Nhận dạng khuôn mặt phương pháp PCA TÀI LIỆU THAM KHẢO [1] Các khái niệm ảnh , 1/5/2018 [2] Mơ hình màu RGB , 1/5/2018 [3] MƠ HÌNH MÀU RGB – HỆ MÀU CƠ BẢN TRONG THIẾT KẾ , 8/5/2018 [4] Phương pháp Phân tích thành phần (Principal Component Analysis – PCA) , 9/5/2018 [5] Principal Component Analysis 1/5/2018 [6] Kỹ Thuật Grayscale Và Nhị Phân Hoá Ảnh (Adaptive Threshold) truy cập lần cuối 2/5/2018 [7] Sinh Trắc Học, 28/4/2018 [8] Nhận diện khuôn mặt ứng dụng thực tế, 23/5/2018 [9] FACE RECOGNITION USING NEURAL NETWORK AND PRINCIPLE COMPONENT ANALYSIS , 8/5/2018 [10] Principal component analysis - Wikipedia , 25/4/2018 [11] CCIR , 9/5/2018 [12] A tutorial on Principal Components Analysis , 1/5/2018 [13] PCA, SVD , 1/5/2018 [14] Eigenface , 1/5/2018 [15] The Fast Convergence of Incremental PCA , 2/5/2018 [16] Diagnosing Network-Wide Traffic Anomalies , 2/5/2018 [17] PHẠM VĂN DŨNG Mạng nơron tốn nhận dạng khn mặt ứng dụng.,2/5/2018 69 Nhận dạng khuôn mặt phương pháp PCA [18] Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phú Doãn (2007), Tổng quan phương pháp xác định khuôn mặt người [20] Trần Thị Thanh Hải, Eric Marchand (2009), ‘‘Một số phương pháp đối sánh ảnh thời gian thực’’, Trường đại học Bách Khoa Hà Nội [21] Pagerank, 9/5/2018 70 ... Face Identification WPCA Whitened PCA LDA Linear Discriminant Analysis KPCA Kernel PCA LBP Local Binary Pattern SVM Support Vector Machine 17 Nhận dạng khuôn mặt phương pháp PCA PHẦN MỞ ĐẦU Nhận... the matlab software to process the snapshot with the existing database, extracting the information from the source image The results should be clearly displayed The software can add information... Giới thiệu .24 1.2.2 Đặc trưng PCA 24 1.2.3 Một số kỹ thuật nhận dạng 30 1.2.4 Các bước thực PCA 31 1.2.5 Lưu ý tính PCA tốn thực tế 33 1.3 KHÁI QUÁT VỀ