Đồ án tốt nghiệp nghiên cứu về nhận dạng mặt người bằng thiết bị di dộng

Nhận dạng khuôn mặt (Face Recognition) từ lâu là một lĩnh vực nghiên cứu quan trọng của Thị giác máy tính (Computer Vision), với nhiều ứng dụng đã được áp dụng trong thực tế. Đồng thời trong những năm gần đây, điện thoại di động dần trở thành một phần không thể thiếu trong cuộc sống con người hiện đại, đồng thời xu hướng phát triển các ứng dụng trên các nền tảng di động đang ngày càng phổ biến. Hiện nay, các thế hệ điện thoại thông minh mới có tốc độ xử lý và khả năng lưu trữ ngày càng lớn, Nhận dạng khuôn mặt trên thiết bị di động vì thế có tiềm năng để phát triển để trợ giúp con người trong nhiều tác vụ khác nhau. Khóa luận này tập trung nghiên cứu các lý thuyết về phương pháp Eigenfaces và Mẫu nhị phận địa phương sử dụng cho bài toán Nhận dạng mặt người trên ảnh tĩnh và đưa ra mô hình cho hệ thống Nhận dạng mặt người trên thiết bị di động. Từ đó chúng tôi đã xây dựng một ứng dụng thực tế Nhận dạng mặt người đơn giản trên thiết bị di động. Khóa luận cũng trình bày kết quả thực nghiệm trên cơ sở dữ liệu ORL và Face95, với độ chính xác tương ứng đạt khoảng 93.75% và 89.33% với phương pháp Eigenfaces và 97.25% và 93.56% cho phương pháp sử dụng Mẫu nhị phân địa phương.

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Đậu Mạnh Quang NGHIÊN CỨU VỀ NHẬN DẠNG MẶT NGƯỜI BẰNG THIẾT BỊ DI DỘNG KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI – 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Đậu Mạnh Quang NGHIÊN CỨU VỀ NHẬN DẠNG MẶT NGƯỜI BẰNG THIẾT BỊ DI DỘNG KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán hướng dẫn: PGS.TS Nguyễn Việt Hà HÀ NỘI – 2016 VIETNAM NATIONAL UNIVERSITY UNIVERSITY OF ENGINEERING AND TECHNOLOGY Dau Manh Quang A STUDY ON FACE RECOGNITION ON MOBILE DEVICES A THESIS PRESENTED FOR THE DEGREE BACHELOR Department: Information Technology Supervisors: Assoc Prof Nguyen Viet Ha HA NOI – 2016 Lời cảm ơn Lời đầu tiên, xin gửi lời cảm ơn chân thành sâu sắc đến PGS.TS.Nguyễn Việt Hà ThS.Vũ Quang Dũng tận tình hướng dẫn, định hướng động viên trình thực đề tài khóa luận tốt nghiệp Tôi xin gửi lời cảm ơn tới anh chị, bạn em phòng thí nghiệm Toshiba nhiệt tình giúp đỡ, đóng góp ý kiến giúp hoàn thành đề tài cách tốt Tôi xin cảm ơn thầy cô khoa Công nghệ thông tin – Trường Đại học Công nghệ tận tình giảng dạy, truyền đạt cho kiến thức quý báu bốn năm học vừa qua, giúp cho có tảng kiến thức để thực tốt khóa luận Lời cuối cùng, xin gửi lời cảm ơn tới gia đình, người thân bạn bè - người luôn quan tâm, chăm sóc, bên lúc khó khăn nhất, chỗ dựa tinh thần vững cho học tập sống Tôi xin chân thành cảm ơn ! Sinh viên Đậu Mạnh Quang i Lời cam đoan Tôi xin cam đoan kết trình bày khóa luận thực hướng dẫn PGS.TS Nguyễn Việt Hà Tất tham khảo trích dẫn từ nghiên cứu liên quan trình bày rõ ràng, chi tiết danh mục tài liệu tham khảo khóa luận Khóa luận không chép tài liệu, công trình nghiên cứu người khác mà không rõ mặt tài liệu tham khảo Các kết đánh giá, thống kê trình bày khóa luận lấy từ kết thực nghiệm thực Sinh viên Đậu Mạnh Quang ii Tóm tắt Nhận dạng khuôn mặt (Face Recognition) từ lâu lĩnh vực nghiên cứu quan trọng Thị giác máy tính (Computer Vision), với nhiều ứng dụng áp dụng thực tế Đồng thời năm gần đây, điện thoại di động dần trở thành phần thiếu sống người đại, đồng thời xu hướng phát triển ứng dụng tảng di động ngày phổ biến Hiện nay, hệ điện thoại thông minh có tốc độ xử lý khả lưu trữ ngày lớn, Nhận dạng khuôn mặt thiết bị di động có tiềm để phát triển để trợ giúp người nhiều tác vụ khác Khóa luận tập trung nghiên cứu lý thuyết phương pháp Eigenfaces Mẫu nhị phận địa phương sử dụng cho toán Nhận dạng mặt người ảnh tĩnh đưa mô hình cho hệ thống Nhận dạng mặt người thiết bị di động Từ xây dựng ứng dụng thực tế Nhận dạng mặt người đơn giản thiết bị di động Khóa luận trình bày kết thực nghiệm sở liệu ORL Face95, với độ xác tương ứng đạt khoảng 93.75% 89.33% với phương pháp Eigenfaces 97.25% 93.56% cho phương pháp sử dụng Mẫu nhị phân địa phương Ứng dụng Nhận dạng xây dựng tảng Android đáp ứng yêu cầu toán đặt điều kiện (hướng nhìn, ánh sáng) có kiểm soát Tuy nhiên, để ứng dụng hoạt động thực tế cần thêm nhiều cải tiến thuật toán nhận dạng, tiền xử lý ảnh cài đặt Từ khóa: Nhận dạng khuôn mặt, Thiết bị di động, Eigenfaces, Mẫu nhị phân địa phương iii Abstract Face Recognition has long been an active research field of Computer Vision, with many applications in practice Over the past few years, mobile devices, especially smartphones have been growing rapidly in popularity Smartphones are becoming an indispensable part of our daily lives, and there has been an increasing trend in the development of mobile applications At the present time, new generations of smartphones are more powerful with a larger storage capacity and thus facial recognition on mobile devices has the potential to develop to assist people in numerous daily tasks This thesis focuses on Eigenfaces-based and LBP-based Face Recognition algorithm and presents a model for Face Recognition System on mobile platforms After that, a simple face recognition application on smartphones has been built The thesis also presents experimental results on the ORL and Face95 databases The recognition rates were approximately 93.75% and 89.33% for Eigenfaces-based method and 97.25% 93.56% for LBP-based method, respectively Basically, the Android application meets the predefined requirements in controlled conditions Nevertheless, in order to make it become a real-life application, more improvements in algorithms, image-preprocessing, as well as implementation need to be made Keywords: Face Recognition, Smartphones, Eigenfaces, Local Binary Pattern iv Mục lục Lời cảm ơn i Lời cam đoan ii Tóm tắt iii Abstract iv Danh sách thuật ngữ từ viết tắt vii Danh sách hình vẽ ix Danh sách bảng biểu xi Chương 1: Mở đầu Chương 2: Cơ sở lý thuyết 2.1 Tổng quan nhận dạng mặt người .3 2.1.1 Lĩnh vực nghiên cứu nhận dạng mặt người 2.1.2 Định nghĩa toán nhận dạng mặt người 2.2 Các hướng tiếp cận .4 2.2.1 Hướng tiếp cận dựa đặc trưng khuôn mặt 2.2.2 Hướng tiếp cận tổng thể 2.3 Các ứng dụng nhận dạng mặt người 2.4 Những thách thức toán nhận dạng mặt người 2.5 Đặc điểm nhận dạng khuôn mặt thiết bị di động 2.6 Một số kiến thức liên quan 2.6.1 Phân tích thành phần 10 2.6.2 Mẫu nhị phân địa phương 12 2.6.3 Histogram 15 2.6.4 Độ đo khoảng cách Euclid Mahalanoblis .17 2.6.5 Độ đo khoảng cách Chi-squared 17 Chương 3: Nhận dạng mặt người thiết bị di động 18 3.1 Bài toán .18 3.2 Hệ thống nhận dạng mặt người thiết bị di động 18 v 3.3 Phương pháp thực .20 3.3.1 Phát khuôn mặt 20 3.3.2 Tiền xử lý ảnh .21 3.3.3 Trích chọn đặc trưng 27 3.3.4 Đối sánh .31 Chương 4: Thực nghiệm .33 4.1 Môi trường thực nghiệm .33 4.1.1 Cấu hình máy 33 4.1.2 Công cụ thư viện 33 4.2 Cài đặt ứng dụng .34 4.2.1 Phân tích yêu cầu .34 4.2.2 Thiết kế 36 4.2.3 Giao diện ứng dụng .41 4.3 Cơ sở liệu .43 4.3.1 Cơ sở liệu ORL 44 4.3.2 Cơ sở liệu Face95 44 4.3.3 Cơ sở liệu tự xây dựng 45 4.4 Cách thức tiến hành thực nghiệm .46 `4.5 Kết thực nghiệm 47 4.6 Đánh giá kết thực nghiệm 54 Chương 5: Kết luận .57 Tài liệu tham khảo 59 vi Danh sách thuật ngữ từ viết tắt STT Thuật ngữ tiếng Anh – Từ viết tắt Tiếng Việt Face Recognition Nhận dạng mặt người Face Detection Phát khuôn mặt Image Processing Xử lý ảnh Computer Vision – CV Thị giác máy tính Biometrics Sinh trắc học Iris recognition Nhận dạng mống mắt Fingerprint recognition Nhận dạng vân tay Principal Component Analysis – Phân tích thành phần PCA Principal component – PC Thành phần 10 Verification Xác thực, xác minh 11 Identification Nhận dạng 12 Feature-based Approach Tiếp cận hướng đặc trưng 13 Holistic Approach Tiếp cận tổng thể 14 Fiducial Point Điểm sở, điểm tiêu chuẩn 15 Independent component analysis – ICA Phân tích thành phần độc lập 16 Auto Tagging Gán nhãn tự động 17 Histogram Biểu đồ cường độ vii Hình 4.11 Một số ví dụ lấy từ sở liệu tự xây dựng 4.4 Cách thức tiến hành thực nghiệm Thực nghiệm tiến hành sở liệu (ORL, Face 95 sở liệu tự xây dựng) cách sử dụng phương pháp đánh giá chéo k-folds (k-folds cross validation) [18] Cụ thể chia liệu ảnh huấn luyện thành k nhóm Ví dụ với sở liệu ORL liệu chia thành 10 nhóm N1, N2,…, N10, nhóm bao gồm 40 ảnh  Lần dùng nhóm N1 làm liệu test, nhóm lại liệu huấn luyện  Lần dùng nhóm N2 làm liệu test, nhóm lại liệu huấn luyện …  Lần thứ 10 dùng nhóm N10 làm liệu test, nhóm lại liệu huấn luyện Kết cuối trung bình cộng 10 lần test 46 `4.5 Kết thực nghiệm Trong phần này, độ xác bước k-folds tính theo công thức: Số mẫu nhận dạng Accuracy(%) = Hi = (13) Tổng số mẫu test Độ xác thực nghiệm k-folds tính trung bình k bước: ∑ ( Thời gian nhận dạng với liệu chuẩn thời gian từ lúc bắt đầu nhận dạng đến thực xong trả kết Thời gian nhận dạng với liệu tự xây dựng thời gian từ lúc bắt đầu chụp ảnh đối tượng camera đến lúc kết thúc trình nhận dạng trả kết Thực nghiệm 1: Đánh giá kết nhận dạng phương pháp Eigenfaces, thay đổi tham số Thực nghiệm 1a: Đánh giá độ xác thay đổi số lượng Eigenfaces so sánh độ xác áp dụng công thức tính khoảng cách Euclid Mahalanobis: Dữ liệu thực nghiệm: ORL database Số lượng ảnh huấn luyện: 360 Số lượng ảnh test: 40 Đánh giá chéo 10-folds Bảng 4.6 Kết thay đổi số lượng Eigenfaces so sánh độ xác áp dụng công thức tính khoảng cách Euclid Mahalanobis STT Số lượng Eigenfaces Độ xác Thời gian ( Độ đo Euclid) Độ đo Euclid Độ đo Mahalanobis Thời gian huấn luyện Thời gian thực 68.00% 64.00% 90.323s 1.102s 10 87.25% 81.50% 90.515s 1.145s 15 93.00% 89.25% 91.054s 1.251s 47 20 93.50% 90.25% 91.200s 1.195s 25 93.75% 90.00% 91.145s 1.215s 30 92.75% 87.25% 91.354s 1.261s 50 90.25% 84.00% 91.521s 1.287s 100 88.75% 82.25% 91.869s 1.402s 100% 90% 80% Độ xac 70% 60% Euclid 50% Mahalanobis 40% 30% 20% 10% 0% 10 15 20 25 30 50 100 Số lượng Eigenfaces Hình 4.12: Kết trực quan thay đổi số Eigenfaces thay đổi công thức tính khoảng cách Thực nghiệm 1b: So sánh độ xác lấy kết gần tính trung bình có trọng số kết Dữ liệu thực nghiệm: ORL database Số lượng ảnh huấn luyện: 360 Số lượng ảnh test: 40 Đánh giá chéo 10-folds Độ đo khoảng cách: Euclid Kết tính trường hợp:  Lấy ảnh có khoảng cách gần tới ảnh test 48  Lấy trung bình có trọng số ảnh có khoảng cách gần đến ảnh test người i1, i2, i3 có khoảng cách tương ứng d1, d2, d3 Kết cuối là: d = * d1 + 1.5 * d2 + d3  Top ảnh có khoảng cách gần với ảnh test Bảng 4.7 Kết thực nghiệm 1b Số eigenfaces STT Ảnh Độ xác Top Trung bình ảnh Độ xác Top 20 93.50% 97.00% 93.00% 98.25% 25 93.75% 96.75% 93.00% 97.75% 30 92.75% 97.25% 92.00% 97.50% 100% 90% 80% Độ xac 70% 60% Top 50% Top - Avarage 40% Top 30% Top - Avarage 20% 10% 0% 20 25 30 Số lượng Eigenfaces Hình 4.13: Kết trực quan thực nghiệm 1b 49 Thực nghiệm 2: Đánh giá kết nhận dạng phương pháp Mẫu nhị phân địa phương, thay đổi tham số: số lượng điểm lân cận, bán kính R số lượng Local Histogram Dữ liệu thực nghiệm: ORL database Số lượng ảnh huấn luyện: 360 Số lượng ảnh test: 40 Đánh giá chéo 10-folds Độ đo khoảng cách: Chi-squared Bảng 4.8 Kết thay đổi kích thước tập liệu huấn luyện Số lượng Local Histogram STT 8x8 8x4 4x8 4x4 P = 8, R = 97.25% 96.50% 95.75% 94.75% P = 8, R = 96.25% 95.50% 95.50% 93.75% P = 8, R = 95.50% 95.00% 94.00% 93.25% P = 16, R = 97.50% 97.00% 96.50% 95.25% P = 16, R = 97.50% 96.75% 96.50% 94.50% P = 16, R = 97.00% 95.50% 96.00% 94.25% 50 100% 99% 98% Độ xac 97% 96% P = 8, R = 95% P = 8, R = 94% P = 8, R = 93% P = 16, R = 92% P = 16, R = 91% P = 16, R = 90% 8x8 8x4 4x8 4x4 Số lượng Local Histogram Hình 4.14: Kết trực quan thực nghiệm Thực nghiệm 3: So sánh kết thời gian thực thuật toán Eigenfaces Mẫu nhị phân địa phương Dữ liệu thực nghiệm: ORL database Tiến hành đánh giá chéo k-fold (lần lượt k = 10, 8, 6, 4, 2) cho tập liệu huấn luyện Phương pháp Eigenfaces  Độ đo khoảng cách: Euclid  Số lượng Eigenfaces: 20 Phương pháp LBP  Độ đo khoảng cách: Chi-squared  Số lượng điểm lân cận:  Bán kính R:  Số lượng Local Histogram: x 51 Bảng 4.9 Kết so sánh phương pháp Eigenfaces Mẫu nhị phân địa phương STT Kích thước tập liệu huấn luyện Thời gian huấn luyện trung bình Eigenfaces 360 (40 người x ảnh) 280 (40 người x ảnh) 200 (40 người x ảnh) 140 (40 người x ảnh) 80 (40 người x ảnh) 40 (40 người x ảnh) 270 (30 người x ảnh) 180 (20 người x ảnh) 90 (10 người x ảnh) LBP Thời gian nhận dạng ảnh trung bình Eigenfaces LBP Độ xác Eigenfaces LBP 91.054s 135.025s 1.195s 1.795s 93.50% 97.25% 60.344s 101.242s 0.996s 1.632s 92.50% 96.88% 39.212s 72.225s 0.925s 1.415s 89.58% 93.75% 22.489s 50.094s 0.884s 1.314s 82.50% 88.50% 17.180s 27.913s 0.816s 1.220s 69.10% 85.10% 11.385s 13.609s 0.741s 1.043s 45.00% 78.75% 61.258s 93.325s 0.951s 1.582s 93.33% 97.33% 38.681s 62.212s 0.933s 1.333s 95.50% 97.50% 17.923s 30.768s 0.818s 1.243s 94.00% 97.00% Thực nghiệm 4: So sánh độ xác nhận dạng trực tiếp Nhận dạng có tiền xử lý ảnh Dữ liệu thực nghiệm: Face95 database Số lượng ảnh huấn luyện: 1080 Số lượng ảnh test: 120 Đánh giá chéo 10-folds Phương pháp Eigenfaces 52  Độ đo khoảng cách: Euclid  Số lượng Eigenfaces: 20 Phương pháp LBP  Độ đo khoảng cách: Chi-squared  Số lượng điểm lân cận:  Bán kính R:  Số lượng Local Histogram: x Bảng 4.10 Kết thực nghiệm STT Nhận dạng trực tiếp Phương pháp Có tiền xử lý 20 71.50% 89.50% 25 71.00% 90.25% 30 70.75% 88.25% Trung bình 71.08% 89.33% 8x8 87.75% 94.25% 8x4 86.25% 93.50% 4x8 86.50% 93.75% 4x4 84.00% 92.75% Trung bình 86.13% 93.56% Eigensfaces (thay đổi số Eigensfaces) LBP (thay đổi số Local Histogram) Thực nghiệm 5: Đánh giá độ xác sở liệu tự xây dựng Dữ liệu thực nghiệm: Cơ sở liệu tự xây dựng Số lượng ảnh huấn luyện: 300 Số lượng ảnh test: 90 Phương pháp Eigenfaces  Độ đo khoảng cách: Euclid Phương pháp LBP 53  Độ đo khoảng cách: Chi-squared  Số lượng điểm lân cận:  Bán kính R: Thực nghiệm tiến hành trực tiếp sở liệu tự xây dựng, ảnh huấn luyện lấy từ Facebook số ảnh chụp trực tiếp Ảnh test chụp trực tiếp sử dụng ứng dụng xây dựng Bảng 4.11 Kết thực nghiệm a) Kết trình huấn luyện ảnh Với trường hợp không phát mắt bỏ qua bước chuẩn hóa hình học.b) Kết trình test STT Phát khuôn mặt Phát mắt Thời gian huấn luyện Eigenfaces Thời gian huấn luyện LBP 100% 80.67% 85.052s 125.361s (a) STT Phát khuôn mặt 98.89% Phát mắt 86.67% Thời gian thực trung bình Tỉ lệ nhận dạng xác Tỉ lệ nhận dạng top Eigenfaces LBP Eigenfaces LBP Eigenfaces LBP 0.920s 1.751s 71.11% 82.22% 92.22% 96.67% (b) 4.6 Đánh giá kết thực nghiệm Dựa kết từ trình thực nghiệm, đưa số quan sát đánh sau:  Nhìn chung tỉ lệ Nhận dạng tăng số lượng ảnh huấn luyện / người tăng Đồng thời với phương pháp Eigensfaces thời gian huấn luyện tăng đáng kể thời gian thực tăng không đáng kể Với phương pháp LBP thời gian huấn luyện tăng tuyến tính (do ảnh huấn luyện độc lập)  Khi số lượng người sở liệu tăng độ xác giảm  Tiền xử lý ảnh cải thiện đáng kể tỉ lệ Nhận dạng phương pháp Eigenfaces (từ 71.075% lên 89.33%) LBP (86.13% lên 93.56%) 54  Thực nghiệm với liệu thực tế cho thấy tỉ lệ Nhận dạng thực tế phương pháp thấp (71.11% 82.22%), phần tỉ lệ phát hai mắt thấp gây ảnh hưởng đến trình tiền xử lý Hơn ảnh thu nhận trực tiếp camera thiết bị động thường bị nhiễu làm ảnh hưởng đến kết Nhận dạng Cần cải thiện độ xác thuật toán phát hai mắt để cải thiện độ xác Nhận dạng mặt người  Với phương pháp Eigensfaces: Khi số lượng Eigenfaces tăng tỉ lệ Nhận dạng tăng dần đạt giá trị cao khoảng từ 20-30 eigenfaces Từ ngưỡng 30 độ xác giảm dần Thay đổi số lượng eigenfaces ảnh hưởng không đáng kể đến thời gian thực Điều thực chất trình huấn luyện số eigenfaces thay đổi ta phải tìm đủ M eigenvector (eigenfaces) ma trận hiệp phương sai (M số ảnh huấn luyện) Độ đo khoảng cách Mahalanobis nhìn chung cho kết thấp độ đo khoảng cách Euclid Sự chênh lệch không lớn kết trái ngược với kết số nghiên cứu đưa [19] Cần thực nghiệm thêm để đánh giá đầy đủ xác ảnh hưởng độ đo khoảng cách đến tỉ lệ nhận dạng  Với phương pháp LBP: Nhìn chung tăng số điểm lân cận P độ xác tăng, nhiên chi phí tính toán lưu trữ tăng đáng kể, ngược lại tăng bán kính R giữ nguyên P độ xác giảm Khi tăng số lượng Histogram độ xác nhìn chung tăng đồng thời chi phí tính toán lưu trữ tăng đáng kể  So sánh phương pháp: Nhìn chung phương pháp LBP cho độ xác trung bình cao ổn định Khi số lượng ảnh huấn luyện người giảm phương pháp Eigensface cho độ xác giảm nhanh phương pháp LBP độ xác giảm từ từ Điều xảy ảnh hưởng vấn đề mẫu nhỏ (Small Sample Size Problem) phương pháp Eigensface xây dựng không gian từ tập ảnh huấn luyện dựa dự đoán Hiệp phương sai (Covariance estimates) nên với số mẫu / đối tượng nhỏ dự đoán thường không hiệu 55 Phương pháp LBP cho kết ổn định trong trường hợp ánh sáng thay đổi đơn điệu (monotonic) (đã trình bày mục 3.3.3) Eigensfaces cho kết nhạy cảm với thay đổi Một ưu điểm khác biểu diễn LBP biểu diễn độc lập ảnh huấn luyện, thêm ảnh vào tập huấn luyện, không cần phải thực huấn luyện lại ảnh có từ trước Trong phương pháp Eigenfaces hình thành không gian từ tất ảnh tập huấn luyện nên thêm ảnh huấn luyện ta phải tính toán lại từ đầu Thời gian huấn luyện, thời gian thực nhận dạng phương pháp LBP lâu so với phương pháp Eigensfaces, đồng thời chi phí lưu trữ vector đặc trưng (cache) nhìn chung lớn Tuy nhiên, sở liệu ORL Faces95 sở liệu tương đối đơn giản, số lượng tập ảnh mẫu ít, đồng thời điều kiện ảnh hưởng (ánh sáng, hướng nhìn, biểu cảm…) kiểm soát cần thêm thực nghiệm với sở liệu khác để đánh giá đầy đủ kết phương pháp Chương bốn trình bày thực nghiệm kết đạt dựa việc triển khai mô hình Hệ thống nhận dạng mặt người xây dựng chương trước Thực nghiệm tiến hành sở liệu ORL, Face95 sở liệu tự xây dựng cho kết tương đối khả quan Đồng thời đưa số nhận xét đánh giá chi tiết 56 Chương 5: Kết luận Cùng phát triển bùng nổ công nghệ di động điện thoại thông minh, Hệ thống Nhận dạng mặt người thiết bị di động có tiềm lớn để phát triển trợ giúp người nhiều tác vụ Với thực tế vậy, vào nghiên cứu phương pháp Eigenfaces phương pháp Mẫu nhị phân địa phương nhận dạng mặt người đồng thời đưa mô hình hệ thống nhận dạng mặt người thiết bị di động, với bước thực bao gồm: Phát khuôn mặt, Tiền xử lý, Trích chọn đặc trưng Đối sánh Chúng xây dựng chương trình ứng dụng hệ điều hành Android tiến hành thực nghiệm sở liệu chuẩn (ORL Faces95) liệu thực tế, từ đưa số nhận xét đánh giá, so sánh hai phương pháp cho Eigenfaces phương pháp Mẫu nhị phân địa phương Kết từ thực nghiệm chấp nhận độ xác thời gian thực (93.75% 89.33% với phương pháp Eigenfaces 97.25% 93.56% cho phương pháp sử dụng Mẫu nhị phân địa phương, với thời gian nhận dạng trung bình tương ứng 1.195s 1.795s) Từ thấy hệ thống có tiềm để phát triển ứng dụng thực tế Tuy nhiên, hạn chế thời gian kiến thức nên tiền hành thực nghiệm sở liệu quy mô nhỏ, với liệu ảnh mặt người chủ yếu ảnh diện nghiêng góc nhỏ (< 100) đồng thời điều kiện ảnh hưởng kiểm soát Trong điều kiện thực tế với ánh sáng, biểu cảm gương mặt hướng nhìn thay đổi, kết nhận dạng thu hạn chế Kết khóa luận tiền đề tạo động lực cho phát triển sau ứng dụng Nhận dạng khuôn mặt Để ứng dụng hoạt động thực tế cần có thêm nhiều cải tiến thuật toán nhận dạng, tiền xử lý ảnh cài đặt Trong thời gian tới, hệ thống cần cải tiến để tăng độ xác tốc độ thực Các thuật toán tiền xử lý ảnh cần nghiên cứu áp dụng để tăng tính ổn định hệ thống điều kiện có thay đổi ánh sáng hướng nguồn sáng Ngoài cần xem xét số thuật toán mạnh áp dụng cho việc bước trích chọn đặc trưng Dựa kết thực nghiệm trình bày khóa luận, hướng phát triển khả thi áp dụng thuật toán Nhận dạng mặt người theo hướng tiếp cận dựa đặc trưng khuôn mặt cho top kết phương pháp Nhận dạng Eigenfaces LBP; thực nghiệm cho thấy tỉ lệ nhận dạng top cao đáng kể đồng thời việc áp dụng tiếp cận dựa đặc trưng khuôn mặt 57 tập liệu nhỏ làm giảm chi phí tính toán đáng kể Ngoài ra, việc tìm hiểu tối ưu cài đặt, sử dụng thư viện OpenCV cho hệ thống Nhận dạng tảng di động cần thực 58 Tài liệu tham khảo Tiếng Việt [1] Vũ Mạnh Hùng, “Nhận dạng mặt người sử dụng đặc trưng PCA”, Luận văn Thạc sĩ, Học viện Bưu viễn thông Tiếng Anh [2] Rabia Jafri and Hamid R Arabnia, “A Survey of Face Recognition Techniques”, Journal of Information Processing Systems, Vol.5, No.2, June 2009 [3] L.Wiskott, J.- M Fellous, N Krüger, and C von der Malsburg, "Face Recognition by Elastic Bunch Graph Matching," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.19, pp.775-779, 1997 [4] M Turk and A Pentland, "Eigenfaces for Recognition", Journal of Cognitive Neuroscience, vol 3, no 1, pp 71-86, 1991 [5] Y H Guo, J Liu, "A Novel Approach of Eye Detection Based on Haar-Like Feature and SVM", Applied Mechanics and Materials, Vols 121-126, pp 1863-1867, 2012 [6] D L Swets and J J Weng, "Using discriminant eigenfeatures for image retrieval," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.18, pp.831-836, 1996 [7] M S Bartlett, J R Movellan, and T J Sejnowski, "Face recognition by independent component analysis," IEEE Transactions on Neural Networks, Vol.13, pp.14501464, 2002 [8] T Ahonen, A Hadid, and M.Pietikainen, "Face recognition with local binary patterns," in Proceedings of the European Conference on Computer Vision, Vol.3021, Lecture Notes in Computer Science Prague, Czech Republic: Springer, 2004, pp.469-481 [9] R Brunelli and T Poggio, "Face recognition: features versus templates," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.15, pp.1042- 1052, 1993 [10] P Viola and M J Jones, “Robust Real-Time Face Detection”, International Journal of Computer Vision 57(2), 137-154, Kluwer Academic Publishers, Netherlands, 2004 [11] Nwe Ni San, Nyein Aye, “Eye Detection System using Orientation Histogram”, International Journal of Advanced Research in Computer Engineering & Technology (IJARCET) Volume 2, Issue 4, April 2013 [12] Erjin Zhou, Zhimin Cao, Qi Yin, “Naive-Deep Face Recognition: Touching the Limit of LFW Benchmark or Not? “, CoRR abs/1501.04690 (2015) 59 [13] Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf; “DeepFace: Closing the Gap to Human-Level Performance in Face Verification”, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014, pp 1701-1708 [14] http://vis-www.cs.umass.edu/lfw/results.html [15] https://www.scribd.com/doc/131581686/Eigenfaces-Le-Hoang-Thanh [16] http://www.tutorialspoint.com/dip/Histogram_Equalization.htm [17] Daniel Lélis Baggio, Shervin Emami, David Millán Escrivá, Khvedchenia Ievgen, Naureen Mahmood, Jason Saragih, Roy Shilkrot, “Mastering OpenCV with Practical Computer Vision Projects” [18] https://www.salford-systems.com/videos/tutorials/how-to/an-introduction-to-crossvalidation [19] Wendy S Yambor Bruce A Draper J Ross Beveridge, “Analyzing PCA-based Face Recognition Algorithms: Eigenvector Selection and Distance Measures” [20] https://epic.org/privacy/surveillance/spotlight/1005/irid_guide.pdf [21] https://www.youtube.com/watch?v=cLory3qLoY8 [22]http://www.statista.com/statistics/330695/number-of-smartphone-users-worldwide/ [23]https://www.ericsson.com/res/docs/2015/mobility-report/emr-nov-2015-regionalreport-south-east-asia-and-oceania.pdf [24] http://www.sciencemag.org/news/2015/02/facebook-will-soon-be-able-id-you-anyphoto [25]http://fortune.com/2015/03/17/google-facenet-artificial-intelligence/ [26]http://www.zdnet.com/article/facebooks-deepface-what-would-you-do-with-it/ [27] https://phvu.net/2011/10/05/pca-principal-component-analysis/ [28] http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html [29] http://cswww.essex.ac.uk/mv/allfaces/ [30] http://bytefish.de/blog/local_binary_patterns/ [31]http://docs.opencv.org/2.4/modules/contrib/doc/facerec/facerec_tutorial.html#ahp04 60 ... Tổng quan nhận dạng mặt người 2.1.1 Lĩnh vực nghiên cứu nhận dạng mặt người Trong nhiều năm qua có nhiều công trình nghiên cứu toán nhận dạng mặt người Từ năm 1960, hệ thống nhận dạng mặt người tự... vào toán nhận dạng khuôn mặt ảnh tĩnh 2D, toán thường gặp nhận dạng mặt người 2.1.2 Định nghĩa toán nhận dạng mặt người Bài toán nhận dạng mặt người phát biểu sau: cho ảnh đầu vào chứa mặt người. .. phương sử dụng cho toán Nhận dạng mặt người ảnh tĩnh đưa mô hình cho hệ thống Nhận dạng mặt người thiết bị di động Từ xây dựng ứng dụng thực tế Nhận dạng mặt người đơn giản thiết bị di động Khóa luận