Thiết kế mô hình mạng CNN ứng dụng trong nhận dạng độ tuổi và giới tính

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆPNGÀNH CNKT ĐIẸN TỬ - VIỄN THÔNG THIẾT KẾ MƠ HÌNH MẠNG CNN ỨNG DỤNG TRONG NHẬN DẠNG ĐỘ TUỔI VÀ GIƠI TÍNH GVHD: TRƯƠNG NGỌC SƠN SVTH: NGUYỄN THỊ HỒNG GẤM LÊ THỊ QUỲNH NHI SKL009349 Tp Hồ Chí Minh, tháng 07/2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP THIẾT KẾ MƠ HÌNH MẠNG CNN ỨNG DỤNG TRONG NHẬN DẠNG ĐỘ TUỔI VÀ GIỚI TÍNH NGÀNH CƠNG NGHỆ KỸ THUẬT ĐIỆN TỬ - VIỄN THÔNG Sinh viên thực hiện: NGUYỄN THỊ HỒNG GẤM LÊ THỊ QUỲNH NHI Giảng viên hướng dẫn: PGS.TS TRƯƠNG NGỌC SƠN Thành phố Hồ Chí Minh, tháng 07 năm 2022 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** TP Hồ Chí Minh, ngày 30 tháng năm 2022 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Lê Thị Quỳnh Nhi Họ tên sinh viên 2: Nguyễn Thị Hồng Gấm Ngành: CNKT Điện tử - Viễn thông MSSV: 18142050 MSSV: 18161067 Lớp: 18161CLVT2B Giảng viên hướng dẫn: PGS TS Trương Ngọc Sơn Ngày nhận đề tài: 07/04/2022 Ngày nộp đề tài: 30/07/2022 Tên đề tài: Thiết kế mơ hình mạng CNN ứng dụng nhận dạng độ tuổi giới tính Các số liệu, tài liệu ban đầu: Mơ hình phân loại độ tuổi giới tính bao gồm số liệu sau: Các tài liệu: báo nước nước liên quan đến nhận dạng khn mặt, nhận dạng độ tuổi, giới tính vấn đề liên quan đến nhận dạng thuộc tính khn mặt Các trang web có chứa thơng tin liên quan đến đề tài tập liệu, kiến trúc mạng CNN, phương pháp cải thiện độ xác Các số liệu: sở liệu dùng để huấn luyện kiểm tra thu thập gồm 18000 hình ảnh nhiều độ tuổi khác Sử dụng kiến trúc mạng VGG16, trọng số từ mơ hình YuNet để phát khn mặt Nội dung thực đề tài: Tìm hiểu sở lý thuyết liên quan đến mạng CNN, kiến trúc VGG16 Tạo tập liệu (gồm 18000 ảnh) Sắp xếp, phân chia tập liệu để số lượng ảnh độ tuổi cân Điều chỉnh thông số số lớp kiến trúc mạng Áp dụng phương pháp tối ưu hóa để nâng cao độ xác cho phân loại độ tuổi, giới tính Thực thi mơ hình, dựa kết độ xác nhận dạng để điều chỉnh thông số, đưa nhận xét đánh giá Sản phẩm: Mô hình nhận dạng độ tuổi, giới tính thời gian thực dựa khuôn mặt thông qua webcam hiển thị kết dự đoán ứng dụng web TRƯỞNG NGÀNH GIẢNG VIÊN HƯỚNG DẪN i CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** TP Hồ Chí Minh, ngày 30 tháng năm 2022 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN MSSV: 18142050 Họ tên sinh viên 1: Lê Thị Quỳnh Nhi MSSV: 18161067 Họ tên sinh viên 2: Nguyễn Thị Hồng Gấm Ngành: CNKT Điện tử - Viễn thông Tên đề tài: Thiết kế mơ hình mạng CNN ứng dụng nhận dạng độ tuổi giới tính Họ tên Giảng viên hướng dẫn: PGS.TS Trương Ngọc Sơn NHẬN XÉT: Về nội dung khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:………… (Bằng chữ:………………………………………………… ) GIẢNG VIÊN HƯỚNG DẪN ii CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** TP Hồ Chí Minh, ngày 30 tháng năm 2022 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên sinh viên 1: Lê Thị Quỳnh Nhi Họ tên sinh viên 2: Nguyễn Thị Hồng Gấm Ngành: CNKT Điện tử - Viễn thông MSSV: 18142050 MSSV: 18161067 Tên đề tài: Thiết kế mơ hình mạng CNN ứng dụng nhận dạng độ tuổi giới tính Họ tên Giảng viên phản biện: ………………………………………………… NHẬN XÉT: Về nội dung khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:………… (Bằng chữ: …………………………………………………….) GIẢNG VIÊN PHẢN BIỆN iii LỜI CẢM ƠN Lời đầu tiên, nhóm thực đề tài đồ án tốt nghiệp xin gửi lời cảm ơn chân thành đến Giảng viên hướng dẫn Thầy Trương Ngọc Sơn Trong suốt trình nhóm thực đề tài, Thầy đưa dẫn giải đáp thắc mắc góp ý cho nhóm Nhóm xin chân thành gửi lời cảm ơn đến Thầy, Cô khoa Đào tạo Chất lượng cao hướng dẫn, truyền đạt lại kiến thức kinh nghiệm quý giá, tạo điều kiện thuận lợi giúp cho nhóm hồn thành đề tài Ngồi ra, nhóm thực đề tài xin cảm ơn anh, chị bạn khóa nhiệt tình chia sẻ kiến thức, góp ý giúp nhóm hồn thành đồ án tốt Cuối cùng, nhóm cố gắng hồn thành cơng việc, nhiệm vụ mà đề tài đặt ra, nhiên chưa có nhiều kinh nghiệm kiến thức nhóm cịn nhiều hạn chế nên khơng thể tránh khỏi thiếu sót q trình thực hiện, trình bày đề tài Nhóm mong Thầy, Cơ thơng cảm mong nhận ý kiến đóng góp từ Thầy, Cơ Nhóm xin chân thành cảm ơn! iv LỜI CAM ĐOAN Nhóm thực đồ án tốt nghiệp cam đoan không chép nội dung kết cơng trình khác Tỷ lệ trùng lắp với tài liệu khác 28%, nội dung tham khảo đề tài nhóm trích dẫn đầy đủ Đại diện nhóm thực đồ án tốt nghiệp (ký ghi rõ họ tên) v MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP i PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN ii PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN .iii LỜI CẢM ƠN iv LỜI CAM ĐOAN v MỤC LỤC vi DANH MỤC BẢNG BIỂU ix DANH MỤC HÌNH ẢNH x DANH MỤC TỪ VIẾT TẮT xii TÓM TẮT xiii CHƯƠNG 1: TỔNG QUAN 1.1 GIỚI THIỆU 1.2 MỤC TIÊU ĐỀ TÀI 1.3 GIỚI HẠN ĐỀ TÀI 1.4 PHƯƠNG PHÁP NGHIÊN CỨU 1.5 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 1.6 BỐ CỤC QUYỂN BÁO CÁO CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 GIỚI THIỆU MẠNG NƠ-RON TÍCH CHẬP 2.1.1 Tổng quan mạng nơ-ron tích chập 2.1.2 Điểm đặc trưng mạng nơ-ron tích chập 2.2 CẤU TRÚC MẠNG NƠ-RON TÍCH CHẬP .5 2.2.1 Lớp tích chập (Convolution layer) 2.2.2 Lớp gộp (Pooling layer) 2.2.3 Lớp kết nối đầy đủ (Fully Connected Layer) 10 2.3 KIẾN TRÚC MẠNG VGG 11 vi Bảng 4.4 Ma trận nhầm lẫn mơ hình phân loại độ tuổi Nhãn dự đốn 1-9 10-19 20-29 30-39 40-49 50-59 60-69 70+ Tử bảng ma trận nhầm lẫn bên trên, mơ hình tính tốn phần trăm dự đốn Hình 4.4 bên giúp dễ dàng quan sát mức độ dự đoán nhóm tuổi Hình 4.4 Ma trận nhầm lẫn mơ hình phân loại độ tuổi 38 Ở Bảng 4.5, nhóm thực tính tốn thơng số Recall, F1score giúp đưa nhìn xác tổng quan hoạt động mô hình Bảng 4.5 Giá trị Precision, Recall, F1 độ tuổi Nhóm tuổi 1-9 10-19 20-29 30-39 40-49 50-59 60-69 70+ Với 3600 mẫu, nhóm thực đề tài tính độ xác (accuracy) trung bình tồn mơ hình phân loại độ tuổi đạt 58%, nhóm độ tuổi (1 – 9) có phần trăm precision (phần trăm dự đúng) cao khoảng 81% Nhóm độ tuổi 70 trở lên (70+) đạt mức với precision 78% Các nhóm (10 – 19), (20 – 29), (60 – 69) đạt kết nhận diện tương đối ổn với kết nhận dạng mức trung bình Cịn nhóm cịn lại nhóm (30 – 39), (40 – 49), (50 – 59) kết precision cịn thấp, nhóm thuộc nhóm độ tuổi giữa, thêm vào nhóm tuổi khơng có nhiều thay đổi khuôn mặt, nên nhận dạng bị nhầm lẫn với nhóm xung quanh nhiều nên dẫn đến kết “học” mơ hình thấp 4.3 KẾT QUẢ THỰC NGHIỆM Nhóm thực nhận dạng trực tiếp khn mặt nhiều điều kiện khác (ánh sáng bình thường, ánh sáng chói…) với khoảng cách từ khn mặt đến webcam khác để có kết khách quan 4.3.1 Kết nhận dạng khuôn mặt điều kiện bình thường Dưới kết nhận dạng khn mặt điều kiện bình thường (ánh sáng khoảng từ 30 – 50 cm tốt, khơng bị chói), khn mặt cách webcam 39 Hình 4.5 Kết nhận dạng nữ nhóm tuổi (1 – 9) Ở Hình 4.5 khuôn mặt bé gái tuổi cách webcam khoảng 50cm Mơ hình dự đốn xác nhóm tuổi giới tính bé gái với phần trăm dự đốn đáng tin cậy Hình 4.6 Kết nhận dạng nam nhóm tuổi (10 – 19) Hình 4.6 thể kết xác nhóm tuổi giới tính bạn nam 19 tuổi với phần trăm dự đốn cao 40 Hình 4.7 Kết nhận dạng nữ nhóm tuổi (20 – 29) Người Hình 4.7 bên nữ 21 tuổi, mơ hình nhận dạng đưa kết thuộc nhóm tuổi (20 – 29), giới tính nữ với phần trăm dự đốn cao xác Hình 4.8 Kết nhận dạng nam nhóm tuổi (20 – 29) Khuôn mặt nhận dạng cách webcam khoảng 30cm, người Hình 4.8 22 tuổi, mơ hình nhận dạng đưa kết thuộc giới tính nam nhóm tuổi (20 – 29) 41 Hình 4.9 Kết nhận dạng nữ nhóm tuổi (50 – 59) Đối với kết Hình 4.9 trên, khuôn mặt cách webcam khoảng 50cm mô hình dự đốn người hình thuộc 59 tuổi Hình 4.10 Kết nhận dạng nam nhóm tuổi (40 – 49) Ở Hình 4.10 kết nhận dạng người nam 47 tuổi Phần trăm dự đốn độ tuổi nhận dạng khơng cao mơ hình cho kết khoảng tuổi (40 – 49), giới tính nam 42 4.3.2 Kết nhận dạng khuôn mặt điều kiện không tốt Bên cạnh kết đúng, mơ hình cịn nhận dạng sai điều kiện ánh sáng khơng tốt (chói không đủ ánh sáng), hay khoảng cách xa (trên 50 cm) biểu diễn hình bên (a) Hình 4.11 Kết nhận dạng nam nhóm tuổi (20 – 29) Người hình nam 22 tuổi, kết giới tính sai Hình 4.11 (a) khn mặt điều kiện ánh sáng chói từ đèn phía sau Hình 4.8 (b) cho kết độ tuổi sai khuôn mặt cách xa webcam không rõ đường nét mặt (a) (b) Hình 4.12 Kết nhận dạng nữ nhóm tuổi (50 – 59) 43 Hình 4.12 (a) cho kết dự đoán (50 – 59) tuổi người hình nữ 53 tuổi khuôn mặt nhận dạng điều kiện ánh sáng tốt Đối với Hình 4.12 (b), người nhận dạng đứng khoảng cách xa ánh sáng không tốt nên mơ hình đưa dự đốn sai độ tuổi giới tính Hình 4.13 Kết nhận dạng nữ nhóm tuổi (60 – 69) Người Hình 4.13 nữ 61 tuổi, nhiên kết độ tuổi giới tính sai Do khn mặt có nét đặc trưng với nhóm tuổi (50 – 59) nên mơ hình khơng phân biệt xác 4.3.3 Kết tổng quan Để đánh giá tổng quan mơ hình, kết nhận dạng thực nghiệm nhóm tuổi xem xét điều kiện khác với số mẫu kiểm tra 10 mẫu (trừ nhóm tuổi 70+ mẫu) thể Bảng 4.6 bên Bảng 4.6 Kết nhận dạng độ tuổi, giới tính số điều kiện khác Nhóm tuổi Nam (1-9) Nữ (1-9) Nam (10-19) Nữ (10-19) Nam (20-29) Nữ (20-29) Nam (30-39) Nữ (30-39) Nam (40-49) Nữ (40-49) Nam (50-59) Nữ (50-59) Nam (60-69) Nữ (60-69) Nam (70+) Nữ (70+) Thông qua kết thu được, mơ hình nhận dạng điều kiện ánh sáng đầy đủ, phạm vi khoảng cách cho phép (20cm - 50cm) Tuy nhiên số trường hợp nhận dạng với phần trăm dự đoán độ tuổi đạt độ xác cao sai giới tính ngược lại Bên cạnh cho thấy tác động từ điều kiện môi trường bên ảnh hưởng nhiều đến kết nhận dạng mơ hình Trong trường hợp khoảng cách 50cm ánh sáng bị chói, bị thiếu trực tiếp làm cho mơ hình dự đốn sai độ tuổi giới tính đối tượng nhận diện 45 CHƯƠNG 5: KẾT LUẬN VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN 5.1 KẾT LUẬN 5.1.1 Đối với kết phân loại độ tuổi Mơ hình học tốt tập liệu huấn luyện (training set) chưa tốt tập liệu kiểm thử (validation set) Training accuracy đạt xấp xỉ khoảng 92% validation accuracy đạt cao khoảng 57% Do độ tuổi chia thành nhiều lớp (8 lớp) nên độ xác thấp so với giới tính Thơng qua hình ảnh chương ta thấy độ xác huấn luyện (training accuracy) độ xác kiểm thử (validation accuracy) tăng, giá trị training loss huấn luyện giảm validation loss tăng dần theo số lượng epoch 5.1.2 Đối với kết phân loại giới tính Ở mơ hình phân loại giới tính, accuracy train đạt xấp xỉ 98% accuracy validation đạt khoảng 94% Giá trị loss tập train đạt xấp xỉ 5% loss tập validation nhỏ 15% Cũng giống mơ hình phân loại độ tuổi, giá trị validation loss cao nhiều so với training loss tăng số epoch lớn, validation accuracy lại thấp nhiều so với training accuracy Mơ hình phân loại độ tuổi giới tính có tượng overfitting (học mức) dẫn đến độ xác tập kiểm thử thấp 5.1.3 Kết nhận dạng trực tiếp độ tuổi giới tính thơng qua webcam Khi dựa vào kết thông qua nhận diện webcam máy tính, nhận dạng độ tuổi giới tính đa số trường hợp, xuất trường hợp sai giới tính, sai độ tuổi Có thể thấy yếu tố bên ánh sáng, khoảng cách có tác động đáng kể đến q trình nhận diện Cụ thể điều kiện bình thường khoảng cách vừa phải (dưới 0.5 mét) mơ hình nhận diện tương đối xác Tuy nhiên nhận diện khoảng cách xa hay điều kiện ánh sáng bị thiếu, hay bị chói độ xác nhận diện lại giảm đáng kể Bởi mơ cần xác định vị trí khn mặt sau tiến hành lấy đặc trưng để phân loại nhận diện, trường hợp điều kiện không tốt, đặc trưng khuôn mặt không rõ hay không đủ để phân tích dẫn đến q trình nhận diện bị sai 5.2 PHƯƠNG HƯỚNG PHÁT TRIỂN 46 Thông qua kết thu từ trình huấn luyện mơ hình thu thập kết quả, nhóm nhận thấy đề tài cần cải thiện nhiều số điểm sau: Xây dựng lại lớp để phù hợp với mục đích phân loại độ tuổi, giới tính nhằm đạt độ xác cao Tăng số lượng ảnh tập sở liệu để giảm tượng overfitting mơ hình Khi mơ hình có độ xác cao ứng dụng vào phần cứng xây dựng website ứng dụng khả nhận dạng giới tính độ tuổi để tạo nên tính ứng dụng cho mơ hình 47 TÀI LIỆU THAM KHẢO [1] Garrison W Cottrell and Janet Metcalfe, “EMPATH: Face, Emotion and Gender Recognition Using Holons”, Part of Advances in Neural Information Processing Systems (NIPS), 1990 [2] Young Ho Kwont and Niels da Vitoria Lobo, “Age Classification from Facial Images”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, June 1994 [3] Gil Levi and Tal Hassncer, “Age and gender classification using convolutional neural networks”, IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), June 2015 [4] Md Nahidul Islam Opu, Tanha Kabir Koly, Annesha Das and Ashim Dey, “A Lightweight Deep Convolutional Neural Network Model for Real-Time Age and Gender Prediction”, Third International Conference on Advances in Electronics, Computers and Communications (ICAECC), December 2020 [5] Raya Rahadian and Suyanto Suyanto, “Deep Residual Neural Network for Age Classification with Face Image”, International Seminar on Research of Information Technology and Intelligent Systems (ISRITI), December 2019 [6] Saad Albawi, Tareq Abed Mohammed and Saad Al-Zawi, “Understanding of a convolutional neural network”, International Conference on Engineering and Technology (ICET), August 2017 [7] Y Lecun, L Bottou, Y Bengio and P Haffner, “Gradient-based learning applied to document recognition”, Proceedings of the IEEE, November 1998 [8] Đoàn Hồng Quang, Lê Hồng Minh Thái Dỗn Ngun, “Nhận dạng khn mặt video mạng nơ-ron tích chập”, Trung tâm Cơng nghệ Vi điện tử Tin học, Viện Ứng dụng Công nghệ, 28/8/2019 [9] Nguyễn Đình Hóa, “Nghiên cứu phân loại độ tuổi người hình ảnh sử dụng mạng nơ-ron tích chập”, Học viện Cơng nghệ Bưu Viễn thông, 2020 [10] Anton Hristov, Maria Nisheva and Dimo Dimov, “Filters in Convolutional Neural Networks as Independent Detectors of Visual Concepts”, Proceedings of the 20th International Conference on Computer Systems and Technologies, June 2019 [11] Nguyễn Hồng Quang, Trinh Văn Loan Phạm Ngọc Hưng, “Nhận dạng phương ngữ tiếng Việt sử dụng mạng nơron tích chập CNN”, Kỷ yếu Hội nghị Quốc 48 gia lần thứ X Nghiên cứu ứng dụng Công nghệ thông tin (FAIR), Đà Nẵng, ngày 17-18/08/2017 [12] Rasmus Rothe, Radu Timofte, Luc Van Gool, “DEX: Deep EXpectation of apparent age from a single image”, People Workshop International Conference on Computer Vision (ICCV), 2015 [13] Nguyễn Thanh Tuấn, “Deep Learning bản”, The Legrand Orange Book Template by Mathias Legrand, 8/2020 [14] Diederik P Kingma and Jimmy Lei Ba, “ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION”, Published as a conference paper at the 3rd International Conference for Learning Representations, San Diego, 2015 [15] Sofia Visa, Brian Ramsay, Anca Ralescu, Esther van der Knaap, “Confusion Matrix-based Feature Selection”, Proceedings of The 22nd Midwest Artificial Intelligence and Cognitive Science Conference 2011, Cincinnati, Ohio, USA, April 16-17, 2011 [16] Krishna Singh, Mohamed Elhoseny, Akansha Singh, Ahmed Elngar, “Machine Learning and the Internet of Medical Things in Healthcare”, Elsevier Inc, April 14, 2021 49