(Luận văn) nghiên cứu nhận dạng khuôn mặt và ứng dụng trong giám sát tự động

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN KHAMVILAI ORATHAI lu an va n NGHIÊN CỨU NHẬN DẠNG MẶT VÀ ỨNG DỤNG tn to p ie gh TRONG GIÁM SÁT TỰ ĐỘNG nl w : Khoa học máy tính Chuyên ngành Mã số d oa : 8.48.01.01 u nf va an lu ll Ngƣời hƣớng dẫn: TS NGUYỄN THANH BÌNH oi m z at nh z m co l gm @ an Lu n va ac th si LỜI CAM ĐOAN Tôi xin cam đoan toàn nội dung luận văn với đề tài: “Nghiên cứu nhận dạng mặt ứng dụng giám sát tự động” thực dƣới hƣớng dẫn trực tiếp TS Nguyễn Thanh Bình - Trƣờng Đại học Quy Nhơn Phần thực nghiệm chƣơng trình tơi tự xây dựng có hƣớng dẫn giảng viên, có sử dụng số thƣ viện chuẩn thuật toán đƣợc tác giả xuất công khai Kết thực nghiệm đƣợc minh họa luận văn trung thực lu an Nội dung luận văn chƣa đƣợc công bố hay xuất dƣới n va hình thức Các tài liệu tham khảo đƣợc sử dụng luận văn có nguồn tn to gốc rõ ràng trích dẫn xác, đầy đủ Nếu sai tơi xin hồn tồn chịu ie gh trách nhiệm p Bình Định, ngày tháng năm 2021 d oa nl w Ngƣời cam đoan ll u nf va an lu Khamvilai Orathai oi m z at nh z m co l gm @ an Lu n va ac th si LỜI CẢM ƠN Trong trình nghiên cứu luận văn, cịn gặp nhiều khó khăn, nhƣng nhận đƣợc quan tâm, giúp đỡ quý thầy cô, bạn bè ngƣời thân Đây nguồn động lực lớn giúp tơi hồn thành đề tài luận văn Tôi xin gửi lời cảm ơn chân thành lòng biết ơn sâu sắc đến quý Thầy (Cô), ngƣời nuôi dƣỡng chắp cánh ƣớc mơ cho thân đến với đƣờng nghiên cứu khoa học đầy đam mê, đặc biệt TS Nguyễn lu an Thanh Bình - Trƣờng Đại học Quy Nhơn Với tâm huyết mình, thầy n va bảo tận tình chu thân hồn thành tốt cơng việc tn to Và xin cảm ơn cán bộ, nhân viên phòng Đào tạo Sau đại học, ie gh trƣờng Đại học Quy Nhơn tạo điều kiện tốt cho tơi suốt q p trình học tập trƣờng nl w Cuối cùng, cho đƣợc gửi lời biết ơn đến gia đình, bạn bè tất d oa ngƣời thân, bên cạnh động viên thân suốt thời gian an lu học tập nghiên cứu va Kính chúc q Thầy (Cơ) anh chị em lớp cao học ngành u nf Khoa học Máy tính khóa 22 sức khỏe, hạnh phúc thành đạt ll Xin chân thành cảm ơn! oi m z at nh Khamvilai Orathai z m co l gm @ an Lu n va ac th si MỤC LỤC Trang LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH ẢNH MỞ ĐẦU 1 Lý chọn đề tài lu an Mục đích nghiên cứu va n Đối tƣợng phạm vi nghiên cứu Ý nghĩa khoa học thực tiễn đề tài ie gh tn to Phƣơng pháp nghiên cứu p Chƣơng KHÁI QUÁT VỀ NHẬN DẠNG KHUÔN MẶT VÀ BÀI nl w TOÁN GIÁ SÁT TỰ ĐỘNG d oa 1.1 Khái quát nhận dạng khuôn mặt an lu 1.1.1 Hệ thống sinh trắc học va 1.1.2 Hệ thống nhận dạng khuôn mặt ll u nf 1.1.3 Hệ thống xác minh hay xác thực khuôn mặt oi m 1.1.4 Những thách thức tốn nhận dạng khn mặt z at nh 1.1.5 Một số nghiên cứu nhận dạng khuôn mặt 1.1.6 Một số ứng dụng liên quan đến nhận dạng khuôn mặt z 1.2 Cơ sở lý thuyết ảnh xử lý ảnh số @ gm 1.2.1 Khái niệm ảnh số m co l 1.2.2 Các kiểu ảnh số 1.2.3 Điểm ảnh ma trận điểm ảnh an Lu 1.2.4 Mức xám ảnh 11 n va ac th si 1.2.5 Biến đổi ảnh xám 12 1.2.6 Xử lý ảnh số 13 1.3 Một số phƣơng pháp phát khuôn mặt ngƣời 17 1.3.1 Hƣớng tiếp cận dựa tri thức 17 1.3.2 Hƣớng tiếp cận dựa đặc trƣng không thay đổi 20 1.3.3 Hƣớng tiếp cận dựa so khớp mẫu 24 1.3.4 Hƣớng tiếp cận dựa diện mạo 26 1.4 Các khó khăn gặp phải nhận dạng khuôn mặt 31 lu 1.5 Kết luận chƣơng 32 an CHƢƠNG NHẬN DẠNG KHUÔN MẶT DỰA TRÊN va n HISTOGRAM HƢỚNG GRADIENT VÀ MẠNG NORON TÍCH 2.1 Kỹ thuật trích chọn đặc trƣng histogram hƣớng gradient 33 p ie gh tn to CHẬP 33 2.1.2 Thuật toán HOG 34 nl w 2.2 Nhận dạng khuôn mặt dựa mạng CNN 40 d oa 2.3 Bài toán giám sát khuôn mặt tự động 46 an lu 2.3.1 Hệ thống mạng CNN nhận dạng mặt ngƣời 46 u nf va 2.3.2 Phƣơng pháp nhận dạng khuôn mặt dựa HOG CNN 48 2.4 Kết luận chƣơng 51 ll oi m CHƢƠNG THỬ NGHIỆM 52 z at nh 3.1 Giới thiệu toán 52 3.2 Phân tích yêu cầu thu thập liệu 52 z 3.3 Môi trƣờng cài đặt kết cài đặt thử nghiệm 54 @ m co l gm KẾT LUẬN 59 an Lu n va ac th si DANH MỤC CÁC CHỮ VIẾT TẮT lu an Dạng đầy đủ PCA Principal Component Analysis LDA Linear Discriminant Analysis HMM Hidden Markov Model CT Computer Tomography MRI Magnetic Resonance Imaging DoG Difference of Gauss PDM Point Distribution Model n va Chữ tắt gh tn to SVM Support VectorMachine p ie Artificial Neural Network oa Convolutional neural networks d CNN Histogram of Oriented Gradient nl HOG w ANN an lu KLT Kanade-Lucas-Tomasi ll u nf va oi m z at nh z m co l gm @ an Lu n va ac th si DANH MỤC CÁC HÌNH ẢNH Hình 1 Ma trận điểm ảnh 10 Hình Mơ hình RGB chiều 11 Hình Hệ thống xử lý ảnh số 14 Hình (a) Ảnh ban đầu cóđộ phân giải n = 1; (b), (c), (d)Ảnh có độ phân giải n = 4, 8, 16 18 Hình Một loại tri thức ngƣời nghiên cứu phân tích khn lu mặt 19 an đơn giản; (b) Ảnh có khn mặt hình phức tạp; n va Hình Phƣơng pháp chiếu: (a) Ảnh có khn mặt hình to gh tn (c) Ảnh có nhiều khn mặt 19 p ie Hình Chiếu phần ứng viên để xác định khuôn mặt 20 Hình Mẫu khn mặt, có 16 vùng 23 quan hệ (mũi tên) 26 oa nl w Hình Mơ hình mạng ANN theo Rowley 30 d Hình Mơ gradient 35 an lu Hình 2 Hình ảnh đầu vào đƣợc chia thành lƣới ô vuông 36 u nf va Hình Mapping độ lớn gradients với bins 37 ll Hình Ví dụ phân chia gradient 38 oi m Hình Biểu đồ Histogram of Gradient gồm bins tƣơng ứng với z at nh ô vuông lƣớt ô vuông 39 Hình Kiến trúc mạng CNN 42 z gm @ Hình Bộ lọc tích chập đƣợc sử dụng ma trận điểm ảnh 43 Hình Phƣơng thức Avarage Pooling Max Pooling 44 l m co Hình Tổng quan phƣơng pháp nhận dạng mặt ngƣời mạng nơ ron tích chập 47 an Lu Hình 10 Thiết kế mạng nơ ron để xử lý ảnh 47 n va ac th si Hình 11 Các giai đoạn dị tìm hiệu chỉnh 48 Hình 12 Kiến trúc DCNN đƣợc sử dụng 49 Hình 13 Ví dụ điểm mốc khn mặt ngƣời 50 Hình 14 Kết mẫu liên kết khuôn mặt JANUS CS2 51 Hình Sơ đồ mơ hình tổng quan Error! Bookmark not defined Hình Giao diện chƣơng trình 55 Hình 3 Phát khuôn mặt định danh 56 lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si MỞ ĐẦU Lý chọn đề tài Xử lý ảnh Thị giác máy phát triển mạnh mẽ đƣợc thu hút quan tâm nhiều nhà khoa học Trong năm qua, nhận dạng khuôn mặt video nhận đƣợc ý đáng kể Đã xuất công nghệ khả thi sau nhiều thập niên nghiên cứu đóng góp vào xu này, chúng không ứng dụng vào ứng dụng thƣơng mại, ứng dụng bảo mật mà nhiều lĩnh vực khác sống Mặc dù hệ thống nhận dạng lu khuôn mặt đạt đến mức độ phát triển định, nhƣng chúng an n va nhiều hạn chế áp dụng vào điều kiện thực tế Ví dụ, hình sáng, khn mặt nghiêng độ phân giải thấp hình ảnh thu đƣợc gh tn to ảnh nhận dạng video đƣợc lấy môi trƣờng thực tế với thay đổi độ p ie vấn đề khó giải Nói cách khác, thuật tốn chƣa đƣợc hồn thiện tốt oa nl w Nhận dạng khn mặt có nhiều ứng dụng, đặc biệt ứng dụng d giám sát tự động Trong thời đại chuyển đổi số ứng dụng công nghệ thông an lu tin mạnh nhƣ nay, nhu cầu phát hiện, nhận dạng giám sát tự động u nf va trở nên cấp thiết Với lƣợng camera lắp đặt nhiều nơi, tính ll thực tiễn giám sát tự động qua camera cao, ứng dụng vào nhiều mục oi m đích lĩnh vực, phục vụ nhiều nhu cầu đời sống z at nh Với phân tích trên, tơi xin chọn nghiên cứu đề tài “NGHIÊN CỨU NHẬN DẠNG KHUÔN MẶT VÀ ỨNG DỤNG TRONG GIÁM l gm Mục đích nghiên cứu @ z SÁT TỰ ĐỘNG ” đặc trƣng m co - Nghiên cứu đặc trƣng khuôn mặt thuật tốn trích chọn an Lu - Nghiên cứu phân loại khuôn mặt xây dựng tập CSDL n va ac th si - Xây dựng mơ hình hệ thống giám sát tự động - Cài đặt thử nghiệm đánh giá kết Đối tƣợng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu: Đối tƣợng nghiên cứu đề tài ảnh có khn mặt ngƣời thuật tốn trích chọn đặc trƣng khuôn mặt 3.2 Phạm vi nghiên cứu: Phạm vi nghiên cứu đề tài nghiên cứu phƣơng pháp trích lu chọn đặc trƣng khn mặt ảnh khuôn mặt ngƣời Việt Nam Lào, an ứng dụng vào xây dựng hệ thống giám sát tự động cho đơn vị công tác va Phƣơng pháp nghiên cứu n to gh tn Phƣơng pháp nghiên cứu đề tài đƣợc lựa chọn lý thuyết kết hợp ie với thực nghiệm Phƣơng pháp phân tích kỹ thuật tổng hợp ứng dụng p thuật toán để giải toán thực nghiệm Ý nghĩa khoa học thực tiễn đề tài nl w d oa Những giá trị khoa học thực tiễn đề tài: an lu - Các đặc trƣng để phát nhận biết khuôn mặt ngƣời ảnh u nf va video, kỹ thuật trích chọn đặc trƣng - Xây dựng mơ hình phát nhận dạng mặt ngƣời thời gian thực ll z at nh NỘI DUNG CHÍNH oi m - So sánh hiệu suất khuôn mặt ngƣời Lào Việt Nam Nội dung đề tài đƣợc chia thành chƣơng z Chƣơng 1: Giới thiệu tổng quan nhận dạng khuôn mặt @ l gm Trong chƣơng này, đề tài giới thiệu tổng quan khái niệm m co xử lý ảnh nhận dạng mặt ngƣời, số phƣơng pháp kỹ thuật phát nhƣ nhận dạng khuôn mặt Một số ứng dụng nhận dạng an Lu khuôn mặt giám sát tự động n va ac th si 48 Hình 11 Các giai đoạn dị tìm hiệu chỉnh 2.3.2 Phương pháp nhận dạng khuôn mặt dựa HOG CNN Hƣớng tiếp cận giải toán tự động phát nhận dạng mặt ngƣời bao gồm hai mô-đun Mô-đun phát mặt lu ngƣời với đặc trƣng HOG: để phát mặt ngƣời với đặc trƣng an HOG ta tiến hành bƣớc nhƣ sau: va n Bƣớc 1: Chuẩn bị P mẫu ảnh mặt ngƣời trích xuất vector đặc tn to trƣng HOG từ ảnh ie gh Bƣớc 2:Chuẩn bị N mẫu ảnh mặt ngƣời (N lớn so với p P)và trích xuất vector HOG từ ảnh nl w Bƣớc 3: Sử dụng phân loại SVM tuyến tính để học với d oa vector mẫu tích cực (là ảnh mặt ngƣời) tiêu cực (các ảnh không an lu phải mặt ngƣời) chuẩn bị va Bƣớc 4: Đối với ảnh ảnh tiêu cực, sử dụng cửa sổ ll u nf trƣợt di chuyển qua tất vị trí ảnh input Tại vị trí oi m cửa sổ trƣợt, tính vector HOG cửa sổ đƣa vào phân lớp Nếu với xác suất phân lớp z at nh phân lớp phân lớp sai cửa sổ ảnh mặt ghi lại vector tƣơng ứng z Bƣớc 5: Lấy mẫu nhận dạng sai bƣớc xếp chúng theo @ l gm mức xác suất nhận dạng sai cho phân lớp học lại sử dụng mẫu sai m co Bƣớc 6: Áp dụng phân lớp đƣợc học lại với ảnh cần phát an Lu khuôn mặt n va ac th si 49 Khi khuôn mặt đƣợc phát hiện, thuật toán thực phát điểm quan trọng để chỉnh khn mặt Thuật tốn tìm cách khơi phục mặt hình dáng mặc định ban đầu: gọi khn mặt , hình dạng ban đầu , thuật tốn tính tốn mức tăng hình dạng từ mô tả sâu (deep descriptors) cập nhật cơng thức sau: ( ) (2.3) Các tính CNN (đƣợc biểu thị Φ công thức trên) đƣợc thiết kế với bƣớc nhảy cách gộp hợp lý, đƣợc sử dụng làm tính để thực lu tính tốn Ở đây, kiến trúc CNN đƣợc sử dụng tƣơng tự nhƣ Alexnet an va mạng DCNN với trọng số đƣợc xử lý trƣớc cho liệu ImageNet nhƣ n hình 2.12 sau: p ie gh tn to d oa nl w va an lu u nf Hình 12 Kiến trúc DCNN đƣợc sử dụng ll Vì mục tiêu mạng DCNN xác định khn mặt Do đó, mạng m oi đƣợc chỉnh để xử lý liệu khuôn mặt tốt Các liệu đầu z at nh tầng liệu đầu vào tầng Trong hình trên, thấy có tầng Sau hồn thành phát mốc, khuôn mặt đƣợc z gm @ chỉnh theo tọa độ cách sử dụng phép biến đổi điểm mốc l Điều giúp mạng tìm hiểu đặc trƣng cụ thể khuôn mặt m co Hơn nữa, mạng áp dụng hồi quy theo tầng, đầu đƣợc tạo giai an Lu đoạn đƣợc sử dụng làm đầu vào cho giai đoạn tiếp theo, tổng năm giai đoạn tích chập đƣợc áp dụng hệ thống Các lọc đƣợc chọn n va ac th si 50 để trích xuất tính đƣợc tinh chỉnh giai đoạn sau để cải thiện việc chuẩn hóa mốc khn mặt Sau hồn thành phát mốc khuôn mặt, khuôn mặt đƣợc chỉnh theo tọa độ tắc cách sử dụng biến đổi tƣơng tự điểm mốc lu an n va tn to ie gh Hình 13 Ví dụ điểm mốc khn mặt ngƣời p Mô đun liên kết khuôn mặt Vì có nhiều đối tƣợng xuất nl w khung hình video, nên việc thực liên kết khuôn mặt để gán d oa khuôn mặt cho đối tƣợng tƣơng ứng bƣớc quan trọng để chọn an lu đối tƣợng xác minh khn mặt Do đó, khn mặt va khung hình video đƣợc phát hiện, hệ thống theo dõi khn mặt cách ll u nf tích hợp kết từ trình phát khn mặt, trình theo dõi khn mặt oi m bƣớc liên kết khn mặt Hệ thống áp dụng thuật tốn nhận dạng khn mặt z at nh khung hình phƣơng pháp nhận dạng khn mặt đƣợc trình bày phần trƣớc Vùng phát khuôn mặt đƣợc coi nhƣ khn z mặt khơng có tỷ lệ trùng lặp với vùng phát @ khung hình trƣớc đƣợc xác định là: ( ) ( ) ) (2.4) an Lu ( m co l vùng phát gm khung hình trƣớc Tỷ lệ trùng lặp vùng phát đƣợc phát n va ac th si 51 Qua thực nghiệm, ngƣỡng 0,2 đủ để coi nhƣ xuất khn mặt mới, khung hình video cách phần nhỏ giây Để theo dõi khuôn mặt, nhà khoa học sử dụng thuật tốn Kanade-Lucas-Tomasi (KLT) để theo dõi khn mặt hai khung hình liên tiếp Hệ thống cập nhật vùng phát trình theo dõi dựa vào khung hình Vùng phát ( thay cho vùng phát ) nhỏ ngƣỡng (0,2) Q trình theo dõi khn mặt bị chấm dứt khơng có phát khn mặt tƣơng ứng chồng chéo với cho nhiều lu khung hình Hệ thống thƣờng đặt giới hạn khung hình, dựa an va sởthực nghiệm Hình (2.14) thể kết mẫu phƣơng pháp liên kết n khuôn mặt cho video JANUS CS2 (bộ liệu mở rộng IJB-A): p ie gh tn to d oa nl w Kết luận chƣơng u nf va 2.4 an lu Hình 14 Kết mẫu liên kết khuôn mặt JANUS CS2 Trong chƣơng này, luận văn tập trung trình bày hƣớng tiếp cận ll oi m toán kỹ thuật mơ tả trích rút đặc trƣng HOG với mơ hình mạng z at nh CNN, cụ thể ứng dụng mạng DCNN giải tốn nhận dạng khn mặt ngƣời Ngồi ra, luận văn phân tích đánh giá thuật tốn z m co l gm @ cách đầy đủ an Lu n va ac th si 52 CHƢƠNG THỬ NGHIỆM Giới thiệu toán 3.1 Bài toán phát nhận dạng khn mặt ngƣời tồn quan trọng có ý nghĩa hầu hết lĩnh vực đời sống xã hội Có nhiều ứng dụng thực tế nhƣ ứng dụng nhận dạng khuôn mặt hệ thống an ninh nhƣ điểm danh tự động, nơi cho phép máy ảnh lấy hình ảnh khn mặt xác định nhƣ định danh ngƣời hình ảnh video Ngồi tốn đƣợc ứng dụng thƣơng mại tiếp thị, lu toán trực tuyến, tốn giao thơng v.v tốn an n va nhận dạng khn mặt đƣợc quan tâm lớn từ cộng đồng phân tích thử nghiệm nhận dạng khn mặt cho mục đích điểm danh tự gh tn to nhà khoa học giới nhƣ việt Nam Luận văn tập trung Phân tích yêu cầu thu thập liệu 3.2 p ie động hệ thống giám sát tự động oa nl w Nhận dạng khuôn mặt lĩnh vực nghiên cứu ngành thị giác d máy tính (Computer Vision), đƣợc xem lĩnh vực nghiên cứu an lu ngành sinh trắc học (Biometrics) tƣơng tự nhƣ nhận dạng vân tay, mống u nf va mắt Bài toán nhận dạng khn mặt cịn nhiều thách thức nên hàng năm ll ngồi nƣớc có nhiều nghiên cứu phƣơng pháp nhận dạng khuôn oi m mặt z at nh Bài tốn nhận dạng khn mặt công nghệ tiên phong đƣợc hỗ trợ thơng qua ứng dụng trí tuện nhân tạo (AI) z gm @ Nó có khả xác định xác minh nhận dạng ngƣời cách sử dụng hình ảnh kỹ thuật số khung hình video Các hệ thống nhận dạng l m co khuôn mặt hoạt động cách so sánh đặc điểm khn mặt đƣợc chọn từ hình ảnh video với khn mặt có sẵn sở an Lu liệu n va ac th si 53 Để thực nghiệm phƣơng pháp cần có tập liệu mẫu nhƣ sau: Tâp liệu training tập dùng để huấn luyện tập ảnh khuôn mặt 100 ngƣời Lào Việt Nam Tập liệu để nhận dạng liệu đầu vào liệu hình ảnh khn mặt video có khn mặt ngƣời Đầu vào: Tập ảnh ngƣời nhận biết, ảnh/ video đầu vào cần xác định nhận dạng khuôn mặt lu Đầu ra: Kết nhận dạng danh tính ngƣời ảnh/video an Mơ hình tổng quan tốn gồm hai phần đào tạo va n (training liệu kết đầu mơ hình học) phần thứ hai nhận gh tn to dạng khn mặt dựa vào mơ hình Mơ hình tổng quan tốn đƣợc thể p ie nhƣ hình 3.1: d oa nl w ll u nf va an lu oi m z at nh z l gm @ m co Hình Sơ đồ mơ hình tổng quan an Lu Các bƣớc đƣợc thực hiện: n va ac th si 54  Bƣớc 1: Phát khuôn mặt Lần lƣợt duyệt qua tất khn mặt xuất hình ảnh video đầu vào Q trình xác định vị trí khu vực khn mặt hình ảnh lấy tất khn mặt hình ảnh video đầu vào tập kiểm thử  Bƣớc 2: Tiền xử lý ảnh Sử dụng lọc nhƣ phân ngƣỡng để lọc nhiễu, nâng cao chất lƣợng ảnh, chỉnh ảnh, chuẩn hóa ánh sang khung hình có chứa lu khn mặt bƣớc an va  Bƣớc 3: Lƣu lại đặc trƣng khuôn mặt dựa vào mơ hình n  Bƣớc 4: Bƣớc nhận dạng (recognition) hay phân lớp (classification), gh tn to tức xác định danh tính hay nhãn (label) ảnh dựa vào đặc trƣng Môi trƣờng cài đặt kết cài đặt thử nghiệm w 3.3 p ie Từ cho kết ảnh oa nl Môi trƣờng cài đặt: d Luận văn cài đặt thuật tốn nhận diện khn mặt với môi trƣờng cài đặt nhƣ lu an sau: Ngôn ngƣ lập trình: C/C++ z at nh Hệ điều hành: Windows 10 oi m Ổ cứng: HDD 500GB ll RAM: 8GB u nf va CPU: i7 2.2GHz z gm @ Môi trƣờng phát triển: Microsoft visual studio Thƣ viện hỗ trợ: OpenCV 3.0, Tensorflow m co l Một số kết chƣơng trình thực nghiệm: Hình 3.2 mơ tả giao diện bắt đầu chƣơng trình, hình 3.3 minh an Lu họa phát nhận dạng khuôn mặt, hình 3.4 thể trích xuất nhận n va ac th si 55 dạng khuôn mặt, điều kiện thu nhận có thay đối nhỏ, khn mặt diện lu an n va p ie gh tn to d oa nl w an lu Hình Giao diện chƣơng trình ll u nf va oi m z at nh z m co l gm @ an Lu n va ac th si 56 lu an n va p ie gh tn to d oa nl w lu an Hình 3 Phát khn mặt định danh u nf va Trong hình 3.3 chƣơng trình thử nghiệm phát nhận dạng đăc ll trƣng HOG mơ hình mạng DCNN, thuật tốn nhận dạng tốt cho liệu oi m khn mặt diện, thay đổi ít, bị che khuất dùng đặc z at nh trƣng cục HOG trƣớc đƣa vào huấn luyện mạng DCNN Hình 3.4 minh họa nhận dạng khn mặt ảnh gồm khuôn mặt, z gm @ khuôn mặt sau khơng đƣợc nhận dạng khơng có định danh sở liệu đƣợc xác định ban đầu Do chƣơng trình thực nghiệm nhằm mục đích l danh tự động m co điểm danh tự động giám sát tự động, nên liệu mục tiêu cho điểm an Lu n va ac th si 57 lu an n va p ie gh tn to nl w d oa Hình 3.4 Định danh khn mặt trong hai khn mặt lu va an Qua q trình thử nghiệm liệu khuôn mặt ngƣời Lào, kết nhận u nf dạng xác hơn, đặc trƣng ngƣời Lào khn mặt góc cạnh ll ngƣời Việt Nam, đặc trƣng hƣớng gradient thể rõ nét Thời gian m oi thực thuật toán nhanh (thời gian thực) Đánh giá thực nghiệm z at nh 3.4 z Kết xác định nhận dạng khn mặt ứng dụng mơ hình CNN đạt @ gm đƣợc kết xác cao Chƣơng trình thực nghiệm phát nhanh m co l chóng xác hầu hết tất khn mặt ngƣời Lào sở liệu thu thập Độ xác xấp xỉ 97% với khn mặt diện, thay an Lu đổi Một số trƣờng hợp khơng nhận dạng đƣợc khuôn mặt cuối đầu bị n va ac th si 58 che khuất 2/3 Tuy nhiên ứng dụng với đối tƣợng live video từ webcam, xảy độ trễ đối tƣợng xoay di chuyển nhƣ không để khuôn mặt khung hình làm ảnh hƣởng độ xác kết nhận dạng Hoặc trƣờng hợp khuôn mặt bị che khuất đối tƣợng khác khoảng 2/3 phần khn mặt chƣơng trình thực nghiệm phát khuôn mặt định danh Kết luận chƣơng 3.5 lu Trong chƣơng này, luận văn tiến hành cài đặt thử nghiệm sử dụng an HOG mơ hình học sâu dựa CNN đƣợc trình bày chƣơng hai va n nhằm giải toán phát nhận dạng mặt ngƣời ảnh đầu gh tn to vào Kết đánh giá đạt đƣợc thành công từ ý tƣởng áp dụng ie mơ hình, kỹ thuật đề Độ xác nằm mức tƣơng đối cao p tập liệu không lớn Cần phải nghiên cứu phát triển độ d oa muốn nl w xác thời gian thực gặp trƣờng hợp ngoại cảnh không mong ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 59 KẾT LUẬN Nội dung nghiên cứu kết đạt đƣợc luận văn Bài toán phát nhận dạng khuôn mặt ngƣời đƣợc đặt từ lâu hàng loạt nghiên cứu đề tài đƣợc xác lập, ứng dụng đƣợc triển khai Bài tốn ln đặt nhiều thách thức khó khăn Các khó khăn chứng tỏ phƣơng pháp giải tốn khơng thể tránh khỏi số khiếm khuyết định Mỗi hƣớng tiếp cận đƣợc đƣa đạt đƣợc thành định, hƣớng lu có thành cơng, hạn chế Vì tốn tốn khơng an n va có lời giải tối ƣu cho trƣờng hợp Tuy nhiên, tính cấp thiết từ yêu cầu gia nghiên cứu ứng dụng Trong nội dung nghiên cứu đề tài “Nghiên cứu nhận dạng mặt ứng p ie gh tn to thực tế mà đề tài hấp dẫn nhà khoa học, chuyên dụng giám sát tự động” thân tìm hiểu thuật tốn, mơ hình xử oa nl w lý dự báo chuỗi thời gian, nhƣ áp dụng mơ hình để giải d toán đặt Qua nghiên cứu, kết mà luận văn đạt đƣợc an lu nhƣ sau: u nf va - Khái quát ảnh số kỹ thuật xử lý ảnh số nhƣ video ll - Trình bày số kỹ thuật mơ hình đƣợc sử dụng để giải oi m tốn mơ tả đặc trƣng mạng nơ ron tích chập sâu CNN z at nh - Cài đặt thử nghiệm thuật tốn trích chọn đặc trƣng khn mặt HOG mơ hình DCNN để phát nhận dạng mặt ngƣời với liệu đầu vào z gm @ tập ảnh huấn luyện 100 ngƣời đầu vào cần xác định khuôn mặt ảnh/ video/ live video từ webcam Kết thực nghiệm cho thấy kỹ thuật phát l m co nhận dạng khuôn mặt hiệu trƣờng hợp khuôn mặt diện, thay đổi, che khuất ít, đặc biệt xác gần 97% cho khn an Lu mặt ngƣời Lào n va ac th si 60 Kiến nghị hƣớng nghiên cứu Phát nhận dạng mặt ngƣời, đặc biệt xử lý thời gian thực tiếp tục toán đƣợc nhiều nhà nghiên cứu cộng đồng quan tâm với nhiều ứng dụng to lớn, có tầm quan trọng khơng khoa học mà cịn thực tiễn Tiếp tục phát triển để tăng tốc độ phát định danh khuôn mặt, nhƣ theo dõi phát đƣợc khuôn mặt khuôn mặt di chuyển bị che khuất đối tƣợng khác lu Với hạn chế khó khăn cịn gặp trình phát triển, giải an toán, hƣớng nghiên cứu luận văn tiếp tục đào sâu va n vào mơ hình học máy, học sâu, song song với phiên tiền xử lý liệu p ie gh tn to để nâng cao hiệu suất đầu toán d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 61 DANH MỤC TÀI LIỆU THAM KHẢO [1] N.Q Anh, N.H Dũng / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 33, Số (2017) [2] Linda G Shapiro and George C Stockman (2001), Computer Vision Prentice Hall [3] Tim Morris (2004), Computer Vision and Image Processing Palgrave Macmillan lu [4] Bernd Jähne and Horst Haußecker (2000) Computer Vision and Applications, an A Guide for Students and Practitioners Academic Press va n [5] Milan Sonka, Vaclav Hlavac and Roger Boyle (2008) Image Processing, to gh tn Analysis, and Machine Vision Thomson p ie [6] David A Forsyth and Jean Ponce (2003) Computer Vision, A Modern Approach Prentice Hall Hall d oa nl w [7] Dana H Ballard and Christopher M Brown (1982) Computer Vision Prentice an lu [8] Barghout, Lauren, and Jacob Sheynin (2013) Real-world scene perception Vision 13.9 ll u nf va and perceptual organization: Lessons from Computer Vision Journal of oi m [9]http://www.psych.utoronto.ca/users/reingold/courses/ai/cache/neural4.html, z at nh (2019) [10] Md Zahangir Alom, Tarek M Taha, Christopher Yakopcic, Stefan Westberg, z gm @ Paheding Sidike, Mst Shamima Nasrin, Brian C Van Esesn, Abdul A S Awwal, Vijayan K Asari The History Began from AlexNet (2018), A l m co Comprehensive Survey on Deep Learning Approaches [11] Qianli Liao (2015) A summary of deep models for face recognition an Lu n va ac th si 62 [12] D H Hubel and T N Wiesel Receptive fields of single neurones in the cat's striate cortex URL: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1363130/ (1959) [13] Y Lecun, L Bottou, Y Bengio, P Haffner (1998) Gradient-based learning applied to document recognition [14] Reinhard Klette (2014) Concise Computer Vision Springer [15] URL: http://disp.ee.ntu.edu.tw/tutorial/NeuralNetwork.docx, (2019) [16] URL: https://trantheanh.github.io/2016/10/18/ML-07/, (2019) lu [17] URL: https://towardsdatascience.com/activation-functions-neural- an networks1cbd9f8d91d6, (2019) va n [18] Chen, Jun-Cheng & Ranjan, Rajeev & Sankar, Swami & Kumar, Amit & to gh tn Chen, Ching-Hui & Patel, Vishal & D Castillo, Carlos & Chellappa, p ie Rama (2016) An End-toEnd System for Unconstrained Face Verifcation with Deep Convolutional Neural Networks oa nl w [19] AbdAlmageed, W., Wu, Y., Rawls, S., Harel, S., Hassne, T., Masi, I., Choi, J., Lekust, J., Kim, J., Natarajana, P., Nevatia, R., Medioni, G (2016), d an lu Face recognition using deep multi-pose representations In: IEEE Winter [20] URL: u nf va Conference on Applications of Computer Vision (WACV) https://ereka.vn/post/chia-se-ve-mang-noron-tich-chap- ll oi m convolutionalneural-networks-or-convnets-52790224348847566, (2019) z at nh [21] Krizhevsky, A., Sutskever, I., & Hinton, G E (2012) Imagenet classification with deep convolutional neural networks In Advances in neural z gm @ information processing systems [22] URL: http://mlwiki.org/index.php/Overfitting, (2019) m co l an Lu n va ac th si