Nghiên cứu nhận dạng khuôn mặt và ứng dụng trong giám sát tự động

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN KHAMVILAI ORATHAI NGHIÊN CỨU NHẬN DẠNG MẶT VÀ ỨNG DỤNG TRONG GIÁM SÁT TỰ ĐỘNG Chuyên ngành : Khoa học máy tính Mã số : 8.48.01.01 Ngƣời hƣớng dẫn: TS NGUYỄN THANH BÌNH LỜI CAM ĐOAN Tơi xin cam đoan toàn nội dung luận văn với đề tài: “Nghiên cứu nhận dạng mặt ứng dụng giám sát tự động” thực dƣới hƣớng dẫn trực tiếp TS Nguyễn Thanh Bình - Trƣờng Đại học Quy Nhơn Phần thực nghiệm chƣơng trình tơi tự xây dựng có hƣớng dẫn giảng viên, có sử dụng số thƣ viện chuẩn thuật toán đƣợc tác giả xuất công khai Kết thực nghiệm đƣợc minh họa luận văn trung thực Nội dung luận văn chƣa đƣợc công bố hay xuất dƣới hình thức Các tài liệu tham khảo đƣợc sử dụng luận văn có nguồn gốc rõ ràng trích dẫn xác, đầy đủ Nếu sai tơi xin hồn tồn chịu trách nhiệm Bình Định, ngày tháng năm 2021 Ngƣời cam đoan Khamvilai Orathai LỜI CẢM ƠN Trong trình nghiên cứu luận văn, cịn gặp nhiều khó khăn, nhƣng nhận đƣợc quan tâm, giúp đỡ quý thầy cô, bạn bè ngƣời thân Đây nguồn động lực lớn giúp tơi hồn thành đề tài luận văn Tôi xin gửi lời cảm ơn chân thành lòng biết ơn sâu sắc đến quý Thầy (Cô), ngƣời nuôi dƣỡng chắp cánh ƣớc mơ cho thân đến với đƣờng nghiên cứu khoa học đầy đam mê, đặc biệt TS Nguyễn Thanh Bình - Trƣờng Đại học Quy Nhơn Với tâm huyết mình, thầy bảo tận tình chu thân hồn thành tốt cơng việc Và xin cảm ơn cán bộ, nhân viên phòng Đào tạo Sau đại học, trƣờng Đại học Quy Nhơn tạo điều kiện tốt cho tơi suốt q trình học tập trƣờng Cuối cùng, cho đƣợc gửi lời biết ơn đến gia đình, bạn bè tất ngƣời thân, bên cạnh động viên thân suốt thời gian học tập nghiên cứu Kính chúc q Thầy (Cơ) anh chị em lớp cao học ngành Khoa học Máy tính khóa 22 sức khỏe, hạnh phúc thành đạt Xin chân thành cảm ơn! Khamvilai Orathai MỤC LỤC Trang LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH ẢNH MỞ ĐẦU 1 Lý chọn đề tài Mục đích nghiên cứu Đối tƣợng phạm vi nghiên cứu Phƣơng pháp nghiên cứu Ý nghĩa khoa học thực tiễn đề tài Chƣơng KHÁI QUÁT VỀ NHẬN DẠNG KHUÔN MẶT VÀ BÀI TOÁN GIÁ SÁT TỰ ĐỘNG 1.1 Khái quát nhận dạng khuôn mặt 1.1.1 Hệ thống sinh trắc học 1.1.2 Hệ thống nhận dạng khuôn mặt 1.1.3 Hệ thống xác minh hay xác thực khuôn mặt 1.1.4 Những thách thức tốn nhận dạng khn mặt 1.1.5 Một số nghiên cứu nhận dạng khuôn mặt 1.1.6 Một số ứng dụng liên quan đến nhận dạng khuôn mặt 1.2 Cơ sở lý thuyết ảnh xử lý ảnh số 1.2.1 Khái niệm ảnh số 1.2.2 Các kiểu ảnh số 1.2.3 Điểm ảnh ma trận điểm ảnh 1.2.4 Mức xám ảnh 11 1.2.5 Biến đổi ảnh xám 12 1.2.6 Xử lý ảnh số 13 1.3 Một số phƣơng pháp phát khuôn mặt ngƣời 17 1.3.1 Hƣớng tiếp cận dựa tri thức 17 1.3.2 Hƣớng tiếp cận dựa đặc trƣng không thay đổi 20 1.3.3 Hƣớng tiếp cận dựa so khớp mẫu 24 1.3.4 Hƣớng tiếp cận dựa diện mạo 26 1.4 Các khó khăn gặp phải nhận dạng khuôn mặt 31 1.5 Kết luận chƣơng 32 CHƢƠNG NHẬN DẠNG KHUÔN MẶT DỰA TRÊN HISTOGRAM HƢỚNG GRADIENT VÀ MẠNG NORON TÍCH CHẬP 33 2.1 Kỹ thuật trích chọn đặc trƣng histogram hƣớng gradient 33 2.1.2 Thuật toán HOG 34 2.2 Nhận dạng khuôn mặt dựa mạng CNN 40 2.3 Bài toán giám sát khuôn mặt tự động 46 2.3.1 Hệ thống mạng CNN nhận dạng mặt ngƣời 46 2.3.2 Phƣơng pháp nhận dạng khuôn mặt dựa HOG CNN 48 2.4 Kết luận chƣơng 51 CHƢƠNG THỬ NGHIỆM 52 3.1 Giới thiệu toán 52 3.2 Phân tích yêu cầu thu thập liệu 52 3.3 Môi trƣờng cài đặt kết cài đặt thử nghiệm 54 KẾT LUẬN 59 DANH MỤC CÁC CHỮ VIẾT TẮT Chữ tắt Dạng đầy đủ PCA Principal Component Analysis LDA Linear Discriminant Analysis HMM Hidden Markov Model CT Computer Tomography MRI Magnetic Resonance Imaging DoG Difference of Gauss PDM Point Distribution Model SVM Support VectorMachine ANN Artificial Neural Network HOG Histogram of Oriented Gradient CNN Convolutional neural networks KLT Kanade-Lucas-Tomasi DANH MỤC CÁC HÌNH ẢNH Hình 1 Ma trận điểm ảnh 10 Hình Mơ hình RGB chiều 11 Hình Hệ thống xử lý ảnh số 14 Hình (a) Ảnh ban đầu cóđộ phân giải n = 1; (b), (c), (d)Ảnh có độ phân giải n = 4, 8, 16 18 Hình Một loại tri thức ngƣời nghiên cứu phân tích khn mặt 19 Hình Phƣơng pháp chiếu: (a) Ảnh có khn mặt hình đơn giản; (b) Ảnh có khn mặt hình phức tạp; (c) Ảnh có nhiều khn mặt 19 Hình Chiếu phần ứng viên để xác định khn mặt 20 Hình Mẫu khn mặt, có 16 vùng 23 quan hệ (mũi tên) 26 Hình Mơ hình mạng ANN theo Rowley 30 Hình Mơ gradient 35 Hình 2 Hình ảnh đầu vào đƣợc chia thành lƣới vng 36 Hình Mapping độ lớn gradients với bins 37 Hình Ví dụ phân chia gradient 38 Hình Biểu đồ Histogram of Gradient gồm bins tƣơng ứng với ô vuông lƣớt ô vuông 39 Hình Kiến trúc mạng CNN 42 Hình Bộ lọc tích chập đƣợc sử dụng ma trận điểm ảnh 43 Hình Phƣơng thức Avarage Pooling Max Pooling 44 Hình Tổng quan phƣơng pháp nhận dạng mặt ngƣời mạng nơ ron tích chập 47 Hình 10 Thiết kế mạng nơ ron để xử lý ảnh 47 Hình 11 Các giai đoạn dị tìm hiệu chỉnh 48 Hình 12 Kiến trúc DCNN đƣợc sử dụng 49 Hình 13 Ví dụ điểm mốc khn mặt ngƣời 50 Hình 14 Kết mẫu liên kết khuôn mặt JANUS CS2 51 Hình Sơ đồ mơ hình tổng quan Error! Bookmark not defined Hình Giao diện chƣơng trình 55 Hình 3 Phát khn mặt định danh 56 MỞ ĐẦU Lý chọn đề tài Xử lý ảnh Thị giác máy phát triển mạnh mẽ đƣợc thu hút quan tâm nhiều nhà khoa học Trong năm qua, nhận dạng khuôn mặt video nhận đƣợc ý đáng kể Đã xuất công nghệ khả thi sau nhiều thập niên nghiên cứu đóng góp vào xu này, chúng không ứng dụng vào ứng dụng thƣơng mại, ứng dụng bảo mật mà nhiều lĩnh vực khác sống Mặc dù hệ thống nhận dạng khuôn mặt đạt đến mức độ phát triển định, nhƣng chúng nhiều hạn chế áp dụng vào điều kiện thực tế Ví dụ, hình ảnh nhận dạng video đƣợc lấy môi trƣờng thực tế với thay đổi độ sáng, khuôn mặt nghiêng độ phân giải thấp hình ảnh thu đƣợc vấn đề khó giải Nói cách khác, thuật tốn chƣa đƣợc hồn thiện tốt Nhận dạng khn mặt có nhiều ứng dụng, đặc biệt ứng dụng giám sát tự động Trong thời đại chuyển đổi số ứng dụng công nghệ thông tin mạnh nhƣ nay, nhu cầu phát hiện, nhận dạng giám sát tự động trở nên cấp thiết Với lƣợng camera lắp đặt nhiều nơi, tính thực tiễn giám sát tự động qua camera cao, ứng dụng vào nhiều mục đích lĩnh vực, phục vụ nhiều nhu cầu đời sống Với phân tích trên, tơi xin chọn nghiên cứu đề tài “NGHIÊN CỨU NHẬN DẠNG KHUÔN MẶT VÀ ỨNG DỤNG TRONG GIÁM SÁT TỰ ĐỘNG ” Mục đích nghiên cứu - Nghiên cứu đặc trƣng khn mặt thuật tốn trích chọn đặc trƣng - Nghiên cứu phân loại khn mặt xây dựng tập CSDL - Xây dựng mô hình hệ thống giám sát tự động - Cài đặt thử nghiệm đánh giá kết Đối tƣợng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu: Đối tƣợng nghiên cứu đề tài ảnh có khn mặt ngƣời thuật tốn trích chọn đặc trƣng khuôn mặt 3.2 Phạm vi nghiên cứu: Phạm vi nghiên cứu đề tài nghiên cứu phƣơng pháp trích chọn đặc trƣng khn mặt ảnh khuôn mặt ngƣời Việt Nam Lào, ứng dụng vào xây dựng hệ thống giám sát tự động cho đơn vị công tác Phƣơng pháp nghiên cứu Phƣơng pháp nghiên cứu đề tài đƣợc lựa chọn lý thuyết kết hợp với thực nghiệm Phƣơng pháp phân tích kỹ thuật tổng hợp ứng dụng thuật toán để giải toán thực nghiệm Ý nghĩa khoa học thực tiễn đề tài Những giá trị khoa học thực tiễn đề tài: - Các đặc trƣng để phát nhận biết khuôn mặt ngƣời ảnh video, kỹ thuật trích chọn đặc trƣng - Xây dựng mơ hình phát nhận dạng mặt ngƣời thời gian thực - So sánh hiệu suất khuôn mặt ngƣời Lào Việt Nam NỘI DUNG CHÍNH Nội dung đề tài đƣợc chia thành chƣơng Chƣơng 1: Giới thiệu tổng quan nhận dạng khuôn mặt Trong chƣơng này, đề tài giới thiệu tổng quan khái niệm xử lý ảnh nhận dạng mặt ngƣời, số phƣơng pháp kỹ thuật phát nhƣ nhận dạng khuôn mặt Một số ứng dụng nhận dạng khuôn mặt giám sát tự động 48 Hình 11 Các giai đoạn dị tìm hiệu chỉnh 2.3.2 Phương pháp nhận dạng khn mặt dựa HOG CNN Hƣớng tiếp cận giải toán tự động phát nhận dạng mặt ngƣời bao gồm hai mô-đun Mô-đun phát mặt ngƣời với đặc trƣng HOG: để phát mặt ngƣời với đặc trƣng HOG ta tiến hành bƣớc nhƣ sau: Bƣớc 1: Chuẩn bị P mẫu ảnh mặt ngƣời trích xuất vector đặc trƣng HOG từ ảnh Bƣớc 2:Chuẩn bị N mẫu ảnh mặt ngƣời (N lớn so với P)và trích xuất vector HOG từ ảnh Bƣớc 3: Sử dụng phân loại SVM tuyến tính để học với vector mẫu tích cực (là ảnh mặt ngƣời) tiêu cực (các ảnh mặt ngƣời) chuẩn bị Bƣớc 4: Đối với ảnh ảnh tiêu cực, sử dụng cửa sổ trƣợt di chuyển qua tất vị trí ảnh input Tại vị trí cửa sổ trƣợt, tính vector HOG cửa sổ đƣa vào phân lớp Nếu phân lớp phân lớp sai cửa sổ ảnh mặt ghi lại vector tƣơng ứng với xác suất phân lớp Bƣớc 5: Lấy mẫu nhận dạng sai bƣớc xếp chúng theo mức xác suất nhận dạng sai cho phân lớp học lại sử dụng mẫu sai Bƣớc 6: Áp dụng phân lớp đƣợc học lại với ảnh cần phát khuôn mặt 49 Khi khuôn mặt đƣợc phát hiện, thuật toán thực phát điểm quan trọng để chỉnh khuôn mặt Thuật tốn tìm cách khơi phục mặt hình dáng mặc định ban đầu: gọi khn mặt , hình dạng ban đầu , thuật tốn tính tốn mức tăng hình dạng từ mơ tả sâu (deep descriptors) cập nhật công thức sau: ( ) (2.3) Các tính CNN (đƣợc biểu thị Φ công thức trên) đƣợc thiết kế với bƣớc nhảy cách gộp hợp lý, đƣợc sử dụng làm tính để thực tính tốn Ở đây, kiến trúc CNN đƣợc sử dụng tƣơng tự nhƣ Alexnet mạng DCNN với trọng số đƣợc xử lý trƣớc cho liệu ImageNet nhƣ hình 2.12 sau: Hình 12 Kiến trúc DCNN đƣợc sử dụng Vì mục tiêu mạng DCNN xác định khuôn mặt Do đó, mạng đƣợc chỉnh để xử lý liệu khuôn mặt tốt Các liệu đầu tầng liệu đầu vào tầng Trong hình trên, thấy có tầng Sau hồn thành phát mốc, khuôn mặt đƣợc chỉnh theo tọa độ cách sử dụng phép biến đổi điểm mốc Điều giúp mạng tìm hiểu đặc trƣng cụ thể khuôn mặt Hơn nữa, mạng áp dụng hồi quy theo tầng, đầu đƣợc tạo giai đoạn đƣợc sử dụng làm đầu vào cho giai đoạn tiếp theo, tổng năm giai đoạn tích chập đƣợc áp dụng hệ thống Các lọc đƣợc chọn 50 để trích xuất tính đƣợc tinh chỉnh giai đoạn sau để cải thiện việc chuẩn hóa mốc khn mặt Sau hồn thành phát mốc khuôn mặt, khuôn mặt đƣợc chỉnh theo tọa độ tắc cách sử dụng biến đổi tƣơng tự điểm mốc Hình 13 Ví dụ điểm mốc khuôn mặt ngƣời Mô đun liên kết khn mặt Vì có nhiều đối tƣợng xuất khung hình video, nên việc thực liên kết khuôn mặt để gán khuôn mặt cho đối tƣợng tƣơng ứng bƣớc quan trọng để chọn đối tƣợng xác minh khn mặt Do đó, khn mặt khung hình video đƣợc phát hiện, hệ thống theo dõi khn mặt cách tích hợp kết từ trình phát khn mặt, trình theo dõi khn mặt bƣớc liên kết khuôn mặt Hệ thống áp dụng thuật tốn nhận dạng khn mặt khung hình phƣơng pháp nhận dạng khn mặt đƣợc trình bày phần trƣớc Vùng phát khuôn mặt đƣợc coi nhƣ khn mặt khơng có tỷ lệ trùng lặp với vùng phát khung hình trƣớc Tỷ lệ trùng lặp vùng phát đƣợc phát vùng phát khung hình trƣớc đƣợc xác định là: ( ) ( ) ( ) (2.4) 51 Qua thực nghiệm, ngƣỡng 0,2 đủ để coi nhƣ xuất khuôn mặt mới, khung hình video cách phần nhỏ giây Để theo dõi khuôn mặt, nhà khoa học sử dụng thuật toán Kanade-Lucas-Tomasi (KLT) để theo dõi khuôn mặt hai khung hình liên tiếp Hệ thống cập nhật vùng phát trình theo dõi dựa vào khung hình Vùng phát thay cho vùng phát ( ) nhỏ ngƣỡng (0,2) Quá trình theo dõi khn mặt bị chấm dứt khơng có phát khn mặt tƣơng ứng chồng chéo với cho nhiều khung hình Hệ thống thƣờng đặt giới hạn khung hình, dựa sởthực nghiệm Hình (2.14) thể kết mẫu phƣơng pháp liên kết khuôn mặt cho video JANUS CS2 (bộ liệu mở rộng IJB-A): Hình 14 Kết mẫu liên kết khuôn mặt JANUS CS2 2.4 Kết luận chƣơng Trong chƣơng này, luận văn tập trung trình bày hƣớng tiếp cận tốn kỹ thuật mơ tả trích rút đặc trƣng HOG với mơ hình mạng CNN, cụ thể ứng dụng mạng DCNN giải tốn nhận dạng khn mặt ngƣời Ngồi ra, luận văn phân tích đánh giá thuật tốn cách đầy đủ 52 CHƢƠNG THỬ NGHIỆM 3.1 Giới thiệu toán Bài toán phát nhận dạng khn mặt ngƣời tồn quan trọng có ý nghĩa hầu hết lĩnh vực đời sống xã hội Có nhiều ứng dụng thực tế nhƣ ứng dụng nhận dạng khuôn mặt hệ thống an ninh nhƣ điểm danh tự động, nơi cho phép máy ảnh lấy hình ảnh khn mặt xác định nhƣ định danh ngƣời hình ảnh video Ngồi toán đƣợc ứng dụng thƣơng mại tiếp thị, toán trực tuyến, tốn giao thơng v.v tốn nhận dạng khuôn mặt đƣợc quan tâm lớn từ cộng đồng nhà khoa học giới nhƣ việt Nam Luận văn tập trung phân tích thử nghiệm nhận dạng khn mặt cho mục đích điểm danh tự động hệ thống giám sát tự động 3.2 Phân tích yêu cầu thu thập liệu Nhận dạng khuôn mặt lĩnh vực nghiên cứu ngành thị giác máy tính (Computer Vision), đƣợc xem lĩnh vực nghiên cứu ngành sinh trắc học (Biometrics) tƣơng tự nhƣ nhận dạng vân tay, mống mắt Bài toán nhận dạng khn mặt cịn nhiều thách thức nên hàng năm ngồi nƣớc có nhiều nghiên cứu phƣơng pháp nhận dạng khn mặt Bài tốn nhận dạng khuôn mặt công nghệ tiên phong đƣợc hỗ trợ thông qua ứng dụng trí tuện nhân tạo (AI) Nó có khả xác định xác minh nhận dạng ngƣời cách sử dụng hình ảnh kỹ thuật số khung hình video Các hệ thống nhận dạng khn mặt hoạt động cách so sánh đặc điểm khuôn mặt đƣợc chọn từ hình ảnh video với khn mặt có sẵn sở liệu 53 Để thực nghiệm phƣơng pháp cần có tập liệu mẫu nhƣ sau: Tâp liệu training tập dùng để huấn luyện tập ảnh khuôn mặt 100 ngƣời Lào Việt Nam Tập liệu để nhận dạng liệu đầu vào liệu hình ảnh khn mặt video có khn mặt ngƣời Đầu vào: Tập ảnh ngƣời nhận biết, ảnh/ video đầu vào cần xác định nhận dạng khuôn mặt Đầu ra: Kết nhận dạng danh tính ngƣời ảnh/video Mơ hình tổng quan tốn gồm hai phần đào tạo (training liệu kết đầu mơ hình học) phần thứ hai nhận dạng khn mặt dựa vào mơ hình Mơ hình tổng quan tốn đƣợc thể nhƣ hình 3.1: Hình Sơ đồ mơ hình tổng quan Các bƣớc đƣợc thực hiện: 54  Bƣớc 1: Phát khuôn mặt Lần lƣợt duyệt qua tất khn mặt xuất hình ảnh video đầu vào Quá trình xác định vị trí khu vực khn mặt hình ảnh lấy tất khn mặt hình ảnh video đầu vào tập kiểm thử  Bƣớc 2: Tiền xử lý ảnh Sử dụng lọc nhƣ phân ngƣỡng để lọc nhiễu, nâng cao chất lƣợng ảnh, chỉnh ảnh, chuẩn hóa ánh sang khung hình có chứa khn mặt bƣớc  Bƣớc 3: Lƣu lại đặc trƣng khuôn mặt dựa vào mơ hình  Bƣớc 4: Bƣớc nhận dạng (recognition) hay phân lớp (classification), tức xác định danh tính hay nhãn (label) ảnh dựa vào đặc trƣng Từ cho kết ảnh 3.3 Môi trƣờng cài đặt kết cài đặt thử nghiệm Môi trƣờng cài đặt: Luận văn cài đặt thuật tốn nhận diện khn mặt với mơi trƣờng cài đặt nhƣ sau: CPU: i7 2.2GHz RAM: 8GB Ổ cứng: HDD 500GB Hệ điều hành: Windows 10 Ngôn ngƣ lập trình: C/C++ Mơi trƣờng phát triển: Microsoft visual studio Thƣ viện hỗ trợ: OpenCV 3.0, Tensorflow Một số kết chƣơng trình thực nghiệm: Hình 3.2 mơ tả giao diện bắt đầu chƣơng trình, hình 3.3 minh họa phát nhận dạng khn mặt, hình 3.4 thể trích xuất nhận 55 dạng khn mặt, điều kiện thu nhận có thay đối nhỏ, khn mặt diện Hình Giao diện chƣơng trình 56 Hình 3 Phát khn mặt định danh Trong hình 3.3 chƣơng trình thử nghiệm phát nhận dạng đăc trƣng HOG mô hình mạng DCNN, thuật tốn nhận dạng tốt cho liệu khn mặt diện, thay đổi ít, bị che khuất dùng đặc trƣng cục HOG trƣớc đƣa vào huấn luyện mạng DCNN Hình 3.4 minh họa nhận dạng khn mặt ảnh gồm khuôn mặt, khuôn mặt sau không đƣợc nhận dạng khơng có định danh sở liệu đƣợc xác định ban đầu Do chƣơng trình thực nghiệm nhằm mục đích điểm danh tự động giám sát tự động, nên liệu mục tiêu cho điểm danh tự động 57 Hình 3.4 Định danh khn mặt trong hai khn mặt Qua q trình thử nghiệm liệu khuôn mặt ngƣời Lào, kết nhận dạng xác hơn, đặc trƣng ngƣời Lào khn mặt góc cạnh ngƣời Việt Nam, đặc trƣng hƣớng gradient thể rõ nét Thời gian thực thuật toán nhanh (thời gian thực) 3.4 Đánh giá thực nghiệm Kết xác định nhận dạng khn mặt ứng dụng mơ hình CNN đạt đƣợc kết xác cao Chƣơng trình thực nghiệm phát nhanh chóng xác hầu hết tất khuôn mặt ngƣời Lào sở liệu thu thập Độ xác xấp xỉ 97% với khn mặt diện, thay đổi Một số trƣờng hợp không nhận dạng đƣợc khuôn mặt cuối đầu bị 58 che khuất 2/3 Tuy nhiên ứng dụng với đối tƣợng live video từ webcam, xảy độ trễ đối tƣợng xoay di chuyển nhƣ khơng để khn mặt khung hình làm ảnh hƣởng độ xác kết nhận dạng Hoặc trƣờng hợp khuôn mặt bị che khuất đối tƣợng khác khoảng 2/3 phần khn mặt chƣơng trình thực nghiệm khơng thể phát khuôn mặt định danh Kết luận chƣơng 3.5 Trong chƣơng này, luận văn tiến hành cài đặt thử nghiệm sử dụng HOG mơ hình học sâu dựa CNN đƣợc trình bày chƣơng hai nhằm giải toán phát nhận dạng mặt ngƣời ảnh đầu vào Kết đánh giá đạt đƣợc thành công từ ý tƣởng áp dụng mơ hình, kỹ thuật đề Độ xác nằm mức tƣơng đối cao tập liệu không lớn Cần phải nghiên cứu phát triển độ xác thời gian thực gặp trƣờng hợp ngoại cảnh không mong muốn 59 KẾT LUẬN Nội dung nghiên cứu kết đạt đƣợc luận văn Bài toán phát nhận dạng khuôn mặt ngƣời đƣợc đặt từ lâu hàng loạt nghiên cứu đề tài đƣợc xác lập, ứng dụng đƣợc triển khai Bài tốn ln đặt nhiều thách thức khó khăn Các khó khăn chứng tỏ phƣơng pháp giải toán tránh khỏi số khiếm khuyết định Mỗi hƣớng tiếp cận đƣợc đƣa đạt đƣợc thành định, hƣớng có thành cơng, hạn chế Vì tốn tốn khơng có lời giải tối ƣu cho trƣờng hợp Tuy nhiên, tính cấp thiết từ yêu cầu thực tế mà đề tài hấp dẫn nhà khoa học, chuyên gia nghiên cứu ứng dụng Trong nội dung nghiên cứu đề tài “Nghiên cứu nhận dạng mặt ứng dụng giám sát tự động” thân tìm hiểu thuật tốn, mơ hình xử lý dự báo chuỗi thời gian, nhƣ áp dụng mơ hình để giải tốn đặt Qua nghiên cứu, kết mà luận văn đạt đƣợc nhƣ sau: - Khái quát ảnh số kỹ thuật xử lý ảnh số nhƣ video - Trình bày số kỹ thuật mơ hình đƣợc sử dụng để giải tốn mơ tả đặc trƣng mạng nơ ron tích chập sâu CNN - Cài đặt thử nghiệm thuật tốn trích chọn đặc trƣng khn mặt HOG mơ hình DCNN để phát nhận dạng mặt ngƣời với liệu đầu vào tập ảnh huấn luyện 100 ngƣời đầu vào cần xác định khuôn mặt ảnh/ video/ live video từ webcam Kết thực nghiệm cho thấy kỹ thuật phát nhận dạng khuôn mặt hiệu trƣờng hợp khn mặt diện, thay đổi, che khuất ít, đặc biệt xác gần 97% cho khuôn mặt ngƣời Lào 60 Kiến nghị hƣớng nghiên cứu Phát nhận dạng mặt ngƣời, đặc biệt xử lý thời gian thực tiếp tục toán đƣợc nhiều nhà nghiên cứu cộng đồng quan tâm với nhiều ứng dụng to lớn, có tầm quan trọng khơng khoa học mà thực tiễn Tiếp tục phát triển để tăng tốc độ phát định danh khuôn mặt, nhƣ theo dõi phát đƣợc khuôn mặt khuôn mặt di chuyển bị che khuất đối tƣợng khác Với hạn chế khó khăn cịn gặp q trình phát triển, giải tốn, hƣớng nghiên cứu luận văn tiếp tục đào sâu vào mơ hình học máy, học sâu, song song với phiên tiền xử lý liệu để nâng cao hiệu suất đầu toán 61 DANH MỤC TÀI LIỆU THAM KHẢO [1] N.Q Anh, N.H Dũng / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 33, Số (2017) [2] Linda G Shapiro and George C Stockman (2001), Computer Vision Prentice Hall [3] Tim Morris (2004), Computer Vision and Image Processing Palgrave Macmillan [4] Bernd Jähne and Horst Haußecker (2000) Computer Vision and Applications, A Guide for Students and Practitioners Academic Press [5] Milan Sonka, Vaclav Hlavac and Roger Boyle (2008) Image Processing, Analysis, and Machine Vision Thomson [6] David A Forsyth and Jean Ponce (2003) Computer Vision, A Modern Approach Prentice Hall [7] Dana H Ballard and Christopher M Brown (1982) Computer Vision Prentice Hall [8] Barghout, Lauren, and Jacob Sheynin (2013) Real-world scene perception and perceptual organization: Lessons from Computer Vision Journal of Vision 13.9 [9]http://www.psych.utoronto.ca/users/reingold/courses/ai/cache/neural4.html, (2019) [10] Md Zahangir Alom, Tarek M Taha, Christopher Yakopcic, Stefan Westberg, Paheding Sidike, Mst Shamima Nasrin, Brian C Van Esesn, Abdul A S Awwal, Vijayan K Asari The History Began from AlexNet (2018), A Comprehensive Survey on Deep Learning Approaches [11] Qianli Liao (2015) A summary of deep models for face recognition 62 [12] D H Hubel and T N Wiesel Receptive fields of single neurones in the cat's striate cortex URL: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1363130/ (1959) [13] Y Lecun, L Bottou, Y Bengio, P Haffner (1998) Gradient-based learning applied to document recognition [14] Reinhard Klette (2014) Concise Computer Vision Springer [15] URL: http://disp.ee.ntu.edu.tw/tutorial/NeuralNetwork.docx, (2019) [16] URL: https://trantheanh.github.io/2016/10/18/ML-07/, (2019) [17] URL: https://towardsdatascience.com/activation-functions-neural- networks1cbd9f8d91d6, (2019) [18] Chen, Jun-Cheng & Ranjan, Rajeev & Sankar, Swami & Kumar, Amit & Chen, Ching-Hui & Patel, Vishal & D Castillo, Carlos & Chellappa, Rama (2016) An End-toEnd System for Unconstrained Face Verifcation with Deep Convolutional Neural Networks [19] AbdAlmageed, W., Wu, Y., Rawls, S., Harel, S., Hassne, T., Masi, I., Choi, J., Lekust, J., Kim, J., Natarajana, P., Nevatia, R., Medioni, G (2016), Face recognition using deep multi-pose representations In: IEEE Winter Conference on Applications of Computer Vision (WACV) [20] URL: https://ereka.vn/post/chia-se-ve-mang-noron-tich-chap- convolutionalneural-networks-or-convnets-52790224348847566, (2019) [21] Krizhevsky, A., Sutskever, I., & Hinton, G E (2012) Imagenet classification with deep convolutional neural networks In Advances in neural information processing systems [22] URL: http://mlwiki.org/index.php/Overfitting, (2019) ... xử lý ảnh nhận dạng mặt ngƣời, số phƣơng pháp kỹ thuật phát nhƣ nhận dạng khuôn mặt Một số ứng dụng nhận dạng khuôn mặt giám sát tự động 3 Chƣơng 2: Một số kỹ thuật nhận dạng khuôn mặt Lý thuyết... cao, ứng dụng vào nhiều mục đích lĩnh vực, phục vụ nhiều nhu cầu đời sống Với phân tích trên, tơi xin chọn nghiên cứu đề tài “NGHIÊN CỨU NHẬN DẠNG KHUÔN MẶT VÀ ỨNG DỤNG TRONG GIÁM SÁT TỰ ĐỘNG... 34 2.2 Nhận dạng khuôn mặt dựa mạng CNN 40 2.3 Bài tốn giám sát khn mặt tự động 46 2.3.1 Hệ thống mạng CNN nhận dạng mặt ngƣời 46 2.3.2 Phƣơng pháp nhận dạng khuôn mặt dựa HOG