(Luận văn) hệ thống nhận diện khuôn mặt qua camera

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - lu an n va to p ie gh tn NGUYỄN QUANG HUY d oa nl w HỆ THỐNG NHẬN DIỆN KHUÔN MẶT QUA CAMERA an lu nf va LUẬN VĂN THẠC SĨ KỸ THUẬT z at nh oi lm ul (Theo định hướng ứng dụng) z m co l gm @ an Lu HÀ NỘI - 2020 n va ac th si HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - lu NGUYỄN QUANG HUY an n va to p ie gh tn HỆ THỐNG NHẬN DIỆN KHUÔN MẶT QUA CAMERA MÃ SỐ: 8.48.01.01 d oa nl w CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH an lu nf va LUẬN VĂN THẠC SĨ KỸ THUẬT z at nh oi lm ul (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN ĐÌNH HĨA z m co l gm @ an Lu HÀ NỘI - 2020 n va ac th si i LỜI CAM ĐOAN Tôi xin cam đoan luận văn cơng trình nghiên cứu cá nhân tôi, thực sở nghiên cứu lý thuyết, thực tế hướng dẫn TS Nguyễn Đình Hóa Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Hà Nội, ngày 16 tháng 11 năm 2020 Học Viên Thực Hiện lu an n va p ie gh tn to Nguyễn Quang Huy d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si ii LỜI CẢM ƠN Em xin chân thành cảm ơn TS Nguyễn Đình Hóa tận tình dạy hướng dẫn cho em việc lựa chọn đề tài, thực đề tài viết báo cáo luận văn, giúp em hoàn thành tốt luận văn Em xin cám ơn thầy cô giáo trường Học viện Cơng nghệ Bưu Viễn thơng tận tình dạy dỗ bảo em suốt năm học Cuối em xin cám ơn gia đình, bạn bè, đồng nghiệp, người bên cạnh động viên em lúc khó khăn giúp đỡ em suốt thời gian học lu an tập làm luận văn, tạo điều kiện tốt cho em để hồn thành tốt luận n va văn tn to Mặc dù cố gắng hồn thành nghiên cứu phạm vi khả cho gh phép chắn không tránh khỏi thiếu sót Em kính mong nhận p ie góp ý, thơng cảm thầy bạn Em xin chân thành cảm ơn! w Hà Nội, ngày 12 tháng 11 năm 2020 d oa nl Sinh viên nf va an lu NGUYỄN QUANG HUY z at nh oi lm ul z m co l gm @ an Lu n va ac th si iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC TỪ VIẾT TẮT vi DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH viii lu an MỞ ĐẦU .1 n va CHƯƠNG TỔNG QUAN VỀ NHẬN DIỆN KHUÔN MẶT thuật nhận dạng khuôn mặt ie gh tn to 1.1 Tổng quan nhận diện khuôn mặt với ứng dụng thực tế kỹ p 1.1.1 Tổng quan w 1.1.2 Kiến trúc tổng quát hệ thống nhận diện d oa nl 1.1.3 Ứng dụng .3 an lu 1.2 Một số phương pháp nhận diện khuôn mặt thường áp dụng thực tế nghiên cứu .4 nf va 1.2.1 Phân tích thành phần (PCA) .4 lm ul 1.2.2 Phân tích khác biệt tuyến tính(LDA) z at nh oi 1.2.3 Cây định (Decision Tree) 1.2.4 Mạng nơ-ron nhân tạo 15 1.2.5 Mạng nơ-ron tích chập .21 z gm @ 1.3 Phương pháp xác định vị trí khn mặt với mạng tích chập MTCNN 27 l 1.3.1 Giới thiệu 27 m co 1.3.2 Cấu trúc mạng P-Net 27 1.3.3 Cấu trúc mạng R-Net .28 an Lu 1.3.4 Cấu trúc mạng O-Net .30 n va ac th si iv 1.3.5 Đánh giá 31 1.4 Kết luận 31 CHƯƠNG HỆ THỐNG NHẬN DIỆN KHUÔN MẶT DỰA TRÊN MẠNG NƠ RON TÍCH CHẬP 32 2.1 Sơ đồ thiết kế hệ thống nhận diện khuôn mặt 32 2.2 Mạng Inception-ResNet sử dụng cho việc trích chọn đặc trưng khn mặt 33 2.2.1 Giới thiệu 33 2.2.2 Mạng GoogleNet 34 lu an 2.2.3 Mạng ResNet 36 n va 2.2.4 Mạng Inception-ResNet 40 2.3.1 Giới thiệu 47 gh tn to 2.3 Rừng ngẫu nhiên 47 p ie 2.3.2 Kiến trúc 47 w 2.3.3 Quá trình bootstrapping 48 oa nl 2.3.4 Quá trình attribute sampling 48 d 2.3.5 Kết dự đoán .49 lu an 2.3.6 Tham số Random Forest 49 nf va 2.3.7 Sử dụng random forest để phân loại, định danh cho khuôn mặt 49 lm ul 2.4 Kết luận 50 z at nh oi CHƯƠNG THỬ NGHIỆM VÀ ĐÁNH GIÁ .51 3.1 Bộ liệu đầu vào 51 z 3.2 Quá trình huấn luyện .51 @ l gm 3.3 Thử nghiệm chạy hệ thống nhận diện khuôn mặt nhận diện khách hàng VIP khách sạn 53 co m 3.4 Đánh giá 55 an Lu 3.5 Kết luận 58 n va ac th si v KẾT LUẬN .59 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 60 lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si vi DANH MỤC TỪ VIẾT TẮT Tên viết tắt Tiếng Anh Tiếng Việt DT Decision Tree Cây định ID3 Iterative Dichotomiser Thuật toán ID3 RF Random Forest Rừng ngẫu nhiên MLP Multi layer perceptron Mạng nơ-ron truyền thẳng nhiều lu lớp an Convolutional Neural Network PCA Principal Components Analysis Phân tích thành phần n va Mạng nơ-ron tích chập CNN gh tn to p ie LDA Phân tích khác biệt tuyến tính Multilayer perceptron Mạng nơron truyền thẳng nhiều nl w MLP Linear Discriminant Analysis d oa lớp lu Mạng nơron nhân tạo Artificial Neural network nf va an ANN z at nh oi lm ul z m co l gm @ an Lu n va ac th si vii DANH MỤC CÁC BẢNG Bảng 1.1 Các hàm kích hoạt 16 Bảng 2.1 Bảng đánh giá độ xác mơ hình 56 lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si viii DANH MỤC CÁC HÌNH Hình 1.1 Kiến trúc tổng quát hệ thống nhận diện Hình 1.2 Thành phần định Hình 1.3 Đồ thị hàm entropy 10 Hình 1.4 Cấu tạo Perceptrons 15 Hình 1.5 Cấu trúc nơ-ron nhân tạo 16 Hình 1.6 Cấu tạo mạng truyền thẳng 19 Hình 1.7 Cấu tạo mạng MLP .19 Hình 1.8 Kiến trúc mạng CNN 22 lu an Hình 1.9 Ví dụ lớp gộp cực đại 23 n va Hình 1.10 Đồ thị hàm f(θ) thuật toán Gradient Descent 24 tn to Hình 1.11 Mối liên hệ tốc độ huấn luyện hàm 𝐽(𝜃) thuật toán gh Momentum 24 p ie Hình 1.12 Kiến trúc mạng P-Net 28 w Hình 1.13 Kiến trúc mạng R-Net .29 oa nl Hình 1.14 Kiến trúc mạng O-Net .30 Hình 2.1 Sơ đồ hoạt động hệ thống nhận diện khuôn mặt 32 d an lu Hình 2.2 Hình 2.1 Khối Inception 34 nf va Hình 2.3 Kiến trúc mạng GoogletNet 35 lm ul Hình 2.4 Kiến trúc mạng nơ-ron 37 Hình 2.5 Kiến trúc khối phần dư 38 z at nh oi Hình 2.6 Kiến trúc mạng Resnet 39 Hình 2.7 Kiến trúc mạng Inception-ResNet 41 z Hình 2.8 Khối STEM .42 @ gm Hình 2.9 Khối Inception-A 43 l Hình 2.10 Khối Inception-B .44 m co Hình 2.11 Khối Inception-C .45 an Lu Hình 2.12 Khối Reduction A 46 Hình 2.13 Khối Reduction B 46 n va ac th si 47 Khối reduction B gồm nhánh xử lý song song bao gồm nhánh thứ sở hữu tầng gộp cực đại Nhánh thứ hai gồm hai tầng tích chập 1x1 3x3 Nhánh thứ ba gồm ba tương tự nhánh thứ hai khác số lượng lọc vào tầng 3x3.Nhánh thứ tư bao gồm tầng tích chập xếp chồng 1x1, 3x3, 3x3 Tại tầng cuối nhánh sử dụng stride để giảm depth 2.3 Rừng ngẫu nhiên 2.3.1 Giới thiệu Rừng ngẫu nhiên (Random Forest) hay gọi rừng định ngẫu nhiên kỹ thuật học tập sử dụng để giải nhiệm vụ học tập có lu an giám sát phân loại hồi quy Một tính ưu việt rừng ngẫu nhiên n va khắc phục khớp (overfitting) tập liệu đào tạo tn to 2.3.2 Kiến trúc gh Kiến trúc mơ hình rừng ngẫu nhiên tập hợp nhiều p ie định Mỗi định trả kết dự báo Ngồi mơ hình d oa nl w chạy nhiều sub-sample nf va an lu z at nh oi lm ul z m co l gm @ an Lu Hình 2.14 Kiến trúc rừng ngẫu nhiên n va ac th si 48 Ý tưởng Random Forest đơn giản Thuật toán sinh số định (thường vài trăm) sử dụng chúng [12] câu hỏi định câu hỏi thuộc tính Ví dụ: “Cánh hoa có dài 1.7cm hay không?” Câu giá trị nút lớp (class) Sử dụng hàng trăm định bất khả thi với người, máy tính làm việc tương đối dễ dàng Những thực đào tạo phần khác tập huấn luyện Về mặt kỹ thuật, riêng lẻ trồng sâu có xu hướng học hỏi từ mẫu khó đốn Loại tạo vấn đề mức huấn luyện Hơn nữa, độ lệch thấp làm cho trình phân loại có hiệu suất thấp chất lu lượng liệu bạn tốt mặt tính an Rừng ngẫu nhiên sử dụng hàng trăm hàng ngàn định n va 2.3.3 Quá trình bootstrapping gh tn to tất dựng theo cách, chúng cho câu trả lời giống p ie Như chẳng khác sử dụng định Từ đó, Rừng ngẫu nhiên sử dụng bootstrapping để giải vấn đề Quá trình nl w bootstrapping rừng ngẫu nhiên sử dụng thuật toán chọn ngẫu nhiên d oa quan sát (observations) để đảm bảo tất định cho an lu câu trả lời Cụ thể rừng ngẫu nhiên thực xoá số quan sát lặp lại riêng nf va số khác cách ngẫu nhiên khiến định có thay đổi lm ul 2.3.4 Q trình attribute sampling z at nh oi Để chắn định tạo hoàn toàn khác nhau, rừng ngẫu nhiên sử dụng thêm kỹ thuật lấy mẫu thuộc tính (attribute sampling) Rừng ngẫu z nhiên thực trình attribute sampling cách loại bỏ ngẫu nhiên số câu gm @ hỏi xây dựng định Điều giúp tạo nên tính ngẫu nhiên cho thuật định hồn tồn xây dựng m co l toán Trường hợp câu hỏi tốt bị loại bỏ câu hỏi khác thay từ an Lu n va ac th si 49 2.3.5 Kết dự đốn Random Forest thuật tốn thuộc lớp mơ hình kết hợp (ensemble model) Kết thuật tốn dựa bầu cư đa số từ nhiều định Do mơ hình có độ tin cậy cao độ xác tốt so với mơ hình phân loại tuyến tính đơn giản logistic linear regression 2.3.6 Tham số Random Forest Các tham số thường sử dụng huấn luyện random forest n_estimators, max_depth, min_samples_split, max_features, max_features, class_weight, min_impurity_split lu an Trong n_estimators số lượng trees định Tham số n va max_depth độ sâu lớn định Tham số min_samples_split tn to số lượng mẫu tối thiểu cần thiết để phân chia internal node Nếu kích thước mẫu internal node nhỏ ngưỡng ta không rẽ nhánh internal node Tham số gh p ie max_features số lượng đặc trưng xem xét tìm kiếm phương án phân chia tốt Mặc định toàn đặc trưng đầu vào Tham số class_weight trọng nl w số tương ứng với lớp Mặc định None, lớp có mức độ quan trọng d oa Tham số min_impurity_split ngưỡng để dừng sớm (early stopping) an lu trình phát triển định Nó tiếp tục phân chia độ vẩn đục (impurity) nf va lớn ngưỡng, trái lại node leaf lm ul 2.3.7 Sử dụng random forest để phân loại, định danh cho khuôn mặt Đối với tốn nhận diện khn mặt nhiều nghiên cứu cho thấy Random z at nh oi forest đem lại kết tốt hai việc trích chọn đặc trưng phân loại khn mặt [13] Trong khuôn khổ luận này, random forest áp dụng cho việc z phân loại khuôn mặt Dữ liệu ảnh sau qua mơ hình tích chập Inception-ResNet @ gm trả cho kết vectơ đặc trưng Ta sử dụng random forest để l huấn luyện vectơ đặc trưng với nhãn tương ứng Sau kết thúc huấn luyện m co ta thu mơ hình phân loại Mơ hình phân loại sử dụng thực với liệu đầu vào vectơ đặc trưng trả lại nhãn với xác suất tương an Lu n va ac th si 50 ứng với vectơ đặc trưng đầu vào Từ ta xác định khn mặt đầu vào giống với 2.4 Kết luận Chương trình bày sơ đồ thiết kế hệ thống nhận diện khn mặt, mạng trích chọn đặc trưng kỹ thuật phân loại rừng ngẫu nhiên Trong đó, nội dung chương có sâu mạng học sâu googlenet, resnet từ đưa ưu nhược điểm kết hợp hai mạng thành mạng inception resnet Chương trình bày kết thu sử dụng mạng inception resnet kết hợp với rừng ngẫu nhiên cho toán lu an nhận diện khuôn mặt n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si 51 CHƯƠNG THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Bộ liệu đầu vào Bộ liệu sử dụng luận văn hai liệu faces94 [10] CASIA-WebFace [20] Trong liệu faces94 thu thập từ trung tâm nghiên cứu Center for Machine Perception thuộc đại học kỹ thuật Séc liệu CASIA-WebFace sưu tầm từ viện tự động hóa học viện khoa học Trung Quốc(CASIA) Luận văn sử dụng hai liệu vào mục đích khác Bộ liệu faces94 chứa khoảng 1300 ảnh 153 người Đây liệu nhỏ lu dùng để thử nghiệm đánh giá hiệu kiến trúc mạng trước sử dụng an liệu để huấn luyện Bộ liệu CASIA-WebFace chứa khoảng 500.000 ảnh va n thu thập từ 10.000 người Trước đưa vào huấn luyện cho mơ hình trích chọn tn to đặc trưng ảnh duyệt qua mơ hình mtcnn để xác định vị trí ie gh tọa độ khuôn mặt người tập liệu p 3.2 Quá trình huấn luyện w Sau có liệu đầu vào khn mặt Ta tiến hành huấn luyện mạng oa nl Inception-ResNet với hàm tối ưu sử dụng adagrad Vì adagrad hàm tối d ưu tự điều chỉnh tốc độ học Với người kinh nghiệm tốn việc lu an lựa chọn mơ hình kèm với phương pháp tối ưu cần truyền vào tốc độ học nf va khó khăn tốn thời gian, cơng sức để đánh giá nên em định sử dụng lm ul adagrad Adagrad coi tốc độ học tham số điều chỉnh tốc độ học z at nh oi cho learning nhỏ mà liệu khác biệt tốc độ học liệu nhiều khác biệt Việc tự điều chỉnh tốc độ học hàm tối ưu giúp mơ hình ta dễ dàng sử dụng Hàm mục tiêu sử dụng nghiên cứu cross-entropy-loss z Để cho mơ hình học tốt ta tiến hành sử dụng phương pháp tăng @ m co l gm cường liệu qua tham số random_rotate, random_flip, random_crop an Lu n va ac th si 52 lu an va Hình 3.1 Một số phương pháp tăng cường liệu n tn to Trong random_crop cắt ngẫu nhiên phần ảnh giúp mơ hình gh tránh việc học khớp Tham số random_flip lật ảnh Bức ảnh lật p ie ngẫu nhiên sang trái phải Tham số random_rotate tăng cường liệu ảnh w xoay từ ảnh gốc với thiết lập góc 10 độ sang trái phải Một mơ hình trích oa nl chọn đặc trưng tốt liệu đủ lớn đa dạng để việc học hạn chế rơi vào tình trạng d khớp Các phương pháp tăng cường liệu áp dụng hai lu an liệu faces94 CASIA-WebFace trình huấn luyện nf va Quá trình huấn luyện áp dụng số kiến trúc mạng với tập lm ul liệu faces94 để đánh giá hiệu trước huấn luyện thật liệu CASIA-WebFace Các liệu đưa qua mơ hình mtcnn để xác z at nh oi định vị trí khn mặt trước đưa vào huấn luyện Kiến trúc áp dụng để huấn luyện với faces94 Inception-Resnet nguyên Inception-Resnet sau z cắt bỏ hai tầng Inception-C Dữ liệu faces94 tách làm hai phần huấn luyện @ gm kiểm thử với tỉ lệ 7:3 Thời gian huấn luyện cho lần duyệt(epoch) khoảng 15 l phút với liệu faces94 tăng sau khoảng 35 epoch hai mạng hội m co tụ độ xác khơng cịn tăng lỗi khơng giảm tiếp tục huấn luyện Kết an Lu đánh giá tập test cho thấy với mạng Inception-Resnet nguyên độ xác 99.87% mạng Inception-Resnet sau cắt bỏ hai tầng Inception-C n va ac th si 53 97.68% Thử nghiệm cho thấy kết mạng Inception-Resnet nguyên hiệu Ta thấy mạng không đủ độ sâu mạng Inception-Resnet sau điều chỉnh khả học bị rõ rệt độ xác có 97,68% tập liệu nhỏ, đơn giản khó để huấn luyện mơ hình tốt với liệu lớn Từ đánh giá trên, kiến trúc mạng Inception-Resnet nguyên sử dụng để huấn luyện mơ hình trích chọn đặc trưng Dữ liệu sử dụng cho việc huấn luyện CASIA-WebFace Đây tập liệu khuôn mặt lớn thu thập từ học viện khoa học Trung Quốc Để có mơ hình trích chọn đặc trưng thật tốt số lượng liệu khuôn mặt phải đủ lớn, đủ độ đa dạng vè lu hình dáng, kích thước màu sắc Thời gian diễn khoảng 350 với 90 an n va lần duyệt Sau có mơ hình trích chọn đặc trưng tùy vào tốn ta thuật tốn random forest học đặc tính gh tn to tiến hành trích chọn đặc trưng nhãn đầu vào để mơ hình phân loại p ie 3.3 Thử nghiệm chạy hệ thống nhận diện khuôn mặt nhận diện khách hàng VIP khách sạn nl w Máy chủ sử dụng cho việc thực nghiệm sử dụng vi xử lý Intel Core i5- d oa 8400 với xung nhịp 2.8GHz Dung lượng nhớ 16 GB xử an lu lý đồ họa sử dụng GTX 1070 Ti 8G GDDR5 Hệ thống nhận diện khách hàng nf va VIP phát triển tảng Ubuntu ngơn ngữ lập trình sử dụng python version 3.6 với thư viện opencv, keras, tensorflow để phục z at nh oi lm ul vụ cho toán xử lý ảnh Mơ hình thử nghiệm huấn luyện với tập liệu khoảng 200 khách hàng, vị khách có khoảng 10-30 ảnh khuôn mặt sở liệu Trong trình z phân loại em chọn ngưỡng 40% để xác định khuôn mặt Ngưỡng gm @ sử dụng sử dụng để tránh việc xác suất khuôn mặt trả thấp gây việc l nhận nhầm thông tin Sau thiết lập địa luồng phát video trực tiếp ta m co khởi động hệ thống Sau số hình ảnh hệ thống hoạt động : an Lu n va ac th si 54 lu an n va p ie gh tn to d oa nl w nf va an lu Hình 3.2 Hệ thống nhận diện khn bình thường z at nh oi lm ul z m co l gm @ an Lu n va ac th si 55 lu an n va p ie gh tn to d oa nl w nf va an lu lm ul Hình 3.3 Hệ thống nhận diện khn mặt có đeo kính z at nh oi Với khách hàng có danh sách sau xuất lưu lại 10 giây để dễ dàng quan sát Hệ thống nhận diện khn mặt cách bình thường người đeo kính Từ thấy mơ hình trích rút đặc trưng mơ z gm @ hình phân loại hoạt động tốt thực tế Hệ thống nhận diện khách hàng giây xử lý khung hình với độ phân giải fullhd co l 3.4 Đánh giá m Để đánh phân loại ta thực lấy vectơ đặc trưng từ mơ hình trích chọn an Lu đặc trưng đưa vào randomforest để huấn luyện Thiết lập random forest n va ac th si 56 em 100 Các tập liệu sử dụng để đánh giá luận văn Faces94 [14], Faces95[15], Faces96[16], Grimace[17] Tập liệu dùng 75% cho việc huấn luyện 25% lại cho việc kiểm thử mơ hình phân loại Sau ta so sánh kết mơ hình vừa huấn luyện với kết số phương pháp sử dụng tron nghiên cứu [18] [19] LDA, PCA, LBP, SVM based on LDA MLP kết hợp với PCA DCT Bảng 2.1 Bảng đánh giá độ xác mơ hình lu an Inception Resnet V1+ Random Faces94 Faces95 Faces96 Grimace dataset dataset dataset dataset 99.1% 99.5% 98.2% 99.95 100% - - 100% 97.4% - 95.1% 100 % 85.93% 80.47% 84.145 86.45% 72.1% 69.87% 70.95% 74.79% 79.39% 76.61% 78.34% 81.93% n va forest tn to gh Multilayer perceptron + PCA + p ie DCT d nf va an lu LDA oa PCA nl LBP w SVM based on LDA (RBF kernel) lm ul Sự kết hợp hai mơ hình Inception Resnet V1 Random forest cho lại kết cao với tập liệu Sự khác biệt lớn phương pháp z at nh oi việc trích chọn đặc trưng Mạng Inception Resnet V1 học đặc trưng khuôn mặt tốt hẳn so với phương pháp học máy truyền thống Kiến trúc z mạng tích chập có khả học đặc trưng tốt trích rút @ l đầy đủ hay người đeo kính gm đặc trưng khuôn mặt trường hợp thiếu sáng, khuôn mặt khơng m co Dựa kết ta thấy phương pháp học máy SVM đem lại an Lu kết ấn tượng kết cao lại Inception Resnet V1 + Random forest MLP + PCA + DCT Chúng ta đánh giá chi tiết ưu nhược điểm n va ac th si 57 hai phương pháp Dựa vào kết ta thấy việc kết hợp nhiều phương pháp MLP, PCA DCT đem đến hiệu tốt với mức độ xác Inception Resnet V1 Random forest từ 0.1-1% lu an n va p ie gh tn to Hình 3.4 Luồng xử lý hệ thống sử dụng phương pháp PCA DCT w Đánh giá qua mơ hình ta thấy hai phương pháp kết oa nl hợp học máy học sâu Trong hai thiết kế, thiết kế sử dụng học máy để d trích chọn đặc trưng dùng phương pháp học sâu để phân loại, thiết kế sử dụng lu an học sâu để trích chọn đặc trưng dùng phương pháp học máy để phân loại Cả hai nf va thiết kế dù đem lại kết nhận diện tốt thiết kế sử dụng MLP, PCA, lm ul DCT ta thấy thiết kế phức tạp mơ hình phân loại sử dụng mạng lan truyền ngược lớn Thời gian tối thiểu để nhận diện khuôn mặt z at nh oi rơi vào khoảng 20 giây Đó khoảng thời gian lớn phương pháp sử dụng nhiều kỹ thuật z m co l gm @ an Lu n va ac th si 58 lu an va n Hình 3.5 Luồng xử lý hệ thống Inception Resnet Random forest to tn Còn lại với Inception Resnet V1 kết hợp với Random forest cho ta độ ie gh xác thấp khoảng 1% so với phương pháp thời gian để nhận diện khuôn p mặt rơi vào khoảng 0.2 giây Từ ta thấy phương pháp sử dụng mạng Inception nl w Resnet V1 kết hợp với Random forest dễ dàng triển khai thực tế dù độ xác d oa từ phương pháp đem lại thấp PCA kết hợp với DCT chút nf va an lu 3.5 Kết luận Chương trình bày trình huấn luyện, kiểm thử, đánh giá chất lượng lm ul mô hình trích chọn đặc trưng inception resnet thử nghiệm chạy hệ thống nhận z at nh oi diện khách hàng VIP khách sạn Kết hệ thống tốt với thời gian xử lý khoảng 0.2 giây khung hình với khả nhận diện khn mặt từ nhiều góc độ, sắc thái, điều kiện khác nhau, điều mà mơ hình học máy truyền z m co l gm @ thống chưa xử lý tốt an Lu n va ac th si 59 KẾT LUẬN Bài tốn nhận diện khn mặt khơng cịn vấn đề nhận diện khuôn mặt dựa mạng học sâu quan tâm Trên sở tìm hiểu nghiên cứu phương pháp nhận diện khuôn mặt áp dụng vào hệ thống nhận diện khuôn mặt qua camera, luận văn đạt kết sau Đó tìm hiểu, thực nghiệm mơ hình mạng học sâu, học máy nơron tích chập rừng ngẫu nhiên để xử lý tốn nhận diện Phân tích kết thu tìm mơ hình mạng học sâu thích hợp cho tốn nhận diện khn mặt Xây dựng thành công hệ thống nhận diện khuôn mặt qua camera có chức phát lu an khn mặt trực tiếp qua video n va Hệ thống sau phát triển cho thấy việc mơ hình mạng trích chọn tn to đặc trưng đem tới kết tốt nhiên xuất số mặt hạn gh chế Đó mơ hình phân loại không phù hợp với tập liệu lớn Điều p ie kết phân loại mà thời gian huấn luyện lại mơ hình phân loại lâu oa nl w Qua kết hạn chế ứng dụng cho thấy việc xây dựng hệ thống nhận diện khn mặt cịn địi hỏi phải thực hiện, nghiên cứu áp dụng thêm d an lu nhiều phương pháp Về hướng pháp triển tương lại, luận văn đề xuất nf va nghiên cứu thêm số hướng Hướng thứ tiến hành nghiên cứu, áp lm ul dụng đánh giá mô hình phân loại áp dụng vào tốn thay rừng ngẫu nhiên Sparse Representation-based classification, Support Vector Machine, z at nh oi Linear Classifier Hướng nghiên cứu số phương pháp sử dụng khoảng cách huấn luyện với triplet loss Phương pháp cần dung lượng nhớ lớn z khơng cần huấn luyện sử dụng mơ hình phân loại @ gm Do thời gian thực luận văn không nhiều nên chắn luận văn không m co góp l thể tránh khỏi hạn chế thiếu sót Em mong nhận ý kiến đóng an Lu n va ac th si 60 DANH MỤC CÁC TÀI LIỆU THAM KHẢO [1] Abdulrahman Alkandari, Soha Jaber Aljaber (2015), “Principle Component Analysis algorithm (PCA) for image recognition”, ICCTIM, pp 76-80 [2] Liton Chandra Paul, Abdulla Al Sumam (2012), “Face Recognition Using Principal Component Analysis Method” International Journal of Advanced Research in Computer Engineering & Technology (IJARCET) 1, pp 135-139 [3] LDA Juwei Lu, Kostantinos N Plataniotis, and Anastasios N Venetsanopoulos (2003), "Face Recognition Using LDA-Based Algorithms", IEEE lu TRANSACTIONS ON NEURAL NETWORKS, pp 195-200 an va [4] Alaa Eleyan, Hasan Demirel (2006), “PCA and LDA Based Face n Recognition Using Network Classifier” Conference: Feedforward Neural tn to Multimedia Content Representation, pp 200-206 ie gh [5] Philip H Swain, Hans Hauska (1977), “The decision tree classifier: Design p and potential” IEEE Transactions on Geoscience Electronics 15, pp 142-147 nl w [6] Georgios Karalis (2020), “Decision Trees and Applications” Advances in oa Experimental Medicine and Biology 1194, pp 239-242 d [7] Manish Mishra, Monika Srivastava (2014), “A view of Artificial Neural an lu Network”, IEEE ICAETR - 2014, pp 1-3 nf va [8] Saad Albawi, Tareq Abed Mohammed (2017), “Understanding of a lm ul Convolutional Neural Network”, International Conference on Engineering and z at nh oi Technology (ICET) [9] Yushi Chen, Hanlu Jiang, Chunyang Li, Xiuping Jia, Pedram Ghamisi (2016), “Deep Feature Extraction and Classification of Hyperspectral Images Based z l gm Sensing 54, pp 6232 – 6251 @ on Convolutional Neural Networks” IEEE Transactions on Geoscience and Remote [10] Musab Cokun, Ayegỹl Uỗar, ệzal Yildirim, Yakup Demir (2017), co m “Face recognition based on convolutional neural network” 2017 International an Lu Conference on Modern Electrical and Energy Systems (MEES), pp 376-379 n va ac th si 61 [11] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun (2016), “Deep Residual Learning for Image Recognition” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 770-778 [12] Jehad Ali, Rehanullah Khan, Nasir Ahmad (2012), “Random Forests and Decision Trees” JCSI International Journal of Computer Science Issues 9, pp 272276 [13] Haiyan Guan, Jonathan Li (2012), “RANDOM FORESTS-BASED FEATURE SELECTION FOR LAND-USE CLASSIFICATION USING LIDAR DATA AND ORTHOIMAGERY” ISPRS - International Archives of the Photogrammetry lu an Remote Sensing and Spatial Information Sciences, pp 203-208 n va [14] Faces94, http://cmp.felk.cvut.cz/~spacelib/faces/faces94.html Truy cập [15] Faces95, http://cmp.felk.cvut.cz/~spacelib/faces/faces95.html Truy cập gh tn to ngày 01/11/2020 [16] Faces96, http://cmp.felk.cvut.cz/~spacelib/faces/faces96.html Truy cập p ie ngày 01/11/2020 nl w ngày 01/11/2020 d oa [17] Grimace, http://cmp.felk.cvut.cz/~spacelib/faces/grimace.html Truy cập an lu ngày 01/11/2020 nf va [18] A Vinay, Abhijay Gupta, Aprameya Bharadwaj, Arvind Srinivasan, K N Balasubramanya Murthy, S Natarajan (2018),"Deep Learning on Binary Patterns for lm ul Face Recognition", International Conference on Computational Intelligence and Data z at nh oi Science, pp 77-83 [19] Nawaf Hazim (2016), "Face Recognition using PCA-BPNN with DCT Implemented on Face94 and Grimace Databases", International Journal of Computer z gm @ Applications, pp 8-13 [20] CASIA-WebFace, https://pgram.com/dataset/casia-webface/ Truy cập m co l ngày 01/11/2020 an Lu n va ac th si