(Đồ án hcmute) thiết kế mô hình mạng cnn ứng dụng trong nhận dạng độ tuổi và giới tính

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP CNKT ĐIỆN TỬ - VIỄN THÔNG THIẾT KẾ MƠ HÌNH MẠNG CNN ỨNG DỤNG TRONG NHẬN DẠNG ĐỘ TUỔI VÀ GIỚI TÍNH GVHD: PGS.TS TRƯƠNG NGỌC SƠN SVTH: NGUYỄN THỊ HỒNG GẤM LÊ THỊ QUỲNH NHI SKL009349 Tp Hồ Chí Minh, tháng 7/2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP THIẾT KẾ MƠ HÌNH MẠNG CNN ỨNG DỤNG TRONG NHẬN DẠNG ĐỘ TUỔI VÀ GIỚI TÍNH NGÀNH CƠNG NGHỆ KỸ THUẬT ĐIỆN TỬ - VIỄN THÔNG Sinh viên thực hiện: NGUYỄN THỊ HỒNG GẤM LÊ THỊ QUỲNH NHI Giảng viên hướng dẫn: PGS.TS TRƯƠNG NGỌC SƠN Thành phố Hồ Chí Minh, tháng 07 năm 2022 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** TP Hồ Chí Minh, ngày 30 tháng năm 2022 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Lê Thị Quỳnh Nhi MSSV: 18142050 Họ tên sinh viên 2: Nguyễn Thị Hồng Gấm MSSV: 18161067 Ngành: CNKT Điện tử - Viễn thông Lớp: 18161CLVT2B Giảng viên hướng dẫn: PGS TS Trương Ngọc Sơn Ngày nhận đề tài: 07/04/2022 Ngày nộp đề tài: 30/07/2022 Tên đề tài: Thiết kế mơ hình mạng CNN ứng dụng nhận dạng độ tuổi giới tính Các số liệu, tài liệu ban đầu: Mơ hình phân loại độ tuổi giới tính bao gồm số liệu sau: Các tài liệu: báo nước nước liên quan đến nhận dạng khn mặt, nhận dạng độ tuổi, giới tính vấn đề liên quan đến nhận dạng thuộc tính khn mặt Các trang web có chứa thơng tin liên quan đến đề tài tập liệu, kiến trúc mạng CNN, phương pháp cải thiện độ xác Các số liệu: sở liệu dùng để huấn luyện kiểm tra thu thập gồm 18000 hình ảnh nhiều độ tuổi khác Sử dụng kiến trúc mạng VGG16, trọng số từ mơ hình YuNet để phát khn mặt Nội dung thực đề tài: Tìm hiểu sở lý thuyết liên quan đến mạng CNN, kiến trúc VGG16 Tạo tập liệu (gồm 18000 ảnh) Sắp xếp, phân chia tập liệu để số lượng ảnh độ tuổi cân Điều chỉnh thông số số lớp kiến trúc mạng Áp dụng phương pháp tối ưu hóa để nâng cao độ xác cho phân loại độ tuổi, giới tính Thực thi mơ hình, dựa kết độ xác nhận dạng để điều chỉnh thơng số, đưa nhận xét đánh giá Sản phẩm: Mơ hình nhận dạng độ tuổi, giới tính thời gian thực dựa khuôn mặt thông qua webcam hiển thị kết dự đoán ứng dụng web TRƯỞNG NGÀNH GIẢNG VIÊN HƯỚNG DẪN i CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** TP Hồ Chí Minh, ngày 30 tháng năm 2022 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên sinh viên 1: Lê Thị Quỳnh Nhi Họ tên sinh viên 2: Nguyễn Thị Hồng Gấm Ngành: CNKT Điện tử - Viễn thông MSSV: 18142050 MSSV: 18161067 Tên đề tài: Thiết kế mơ hình mạng CNN ứng dụng nhận dạng độ tuổi giới tính Họ tên Giảng viên hướng dẫn: PGS.TS Trương Ngọc Sơn NHẬN XÉT: Về nội dung khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:………… (Bằng chữ:………………………………………………… ) GIẢNG VIÊN HƯỚNG DẪN ii CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** TP Hồ Chí Minh, ngày 30 tháng năm 2022 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên sinh viên 1: Lê Thị Quỳnh Nhi Họ tên sinh viên 2: Nguyễn Thị Hồng Gấm Ngành: CNKT Điện tử - Viễn thông MSSV: 18142050 MSSV: 18161067 Tên đề tài: Thiết kế mơ hình mạng CNN ứng dụng nhận dạng độ tuổi giới tính Họ tên Giảng viên phản biện: ………………………………………………… NHẬN XÉT: Về nội dung khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:………… (Bằng chữ:…………………………………………………….) GIẢNG VIÊN PHẢN BIỆN iii LỜI CẢM ƠN Lời đầu tiên, nhóm thực đề tài đồ án tốt nghiệp xin gửi lời cảm ơn chân thành đến Giảng viên hướng dẫn Thầy Trương Ngọc Sơn Trong suốt q trình nhóm thực đề tài, Thầy đưa dẫn giải đáp thắc mắc góp ý cho nhóm Nhóm xin chân thành gửi lời cảm ơn đến Thầy, Cô khoa Đào tạo Chất lượng cao hướng dẫn, truyền đạt lại kiến thức kinh nghiệm quý giá, tạo điều kiện thuận lợi giúp cho nhóm hồn thành đề tài Ngồi ra, nhóm thực đề tài xin cảm ơn anh, chị bạn khóa nhiệt tình chia sẻ kiến thức, góp ý giúp nhóm hồn thành đồ án tốt Cuối cùng, nhóm cố gắng hồn thành công việc, nhiệm vụ mà đề tài đặt ra, nhiên chưa có nhiều kinh nghiệm kiến thức nhóm cịn nhiều hạn chế nên khơng thể tránh khỏi thiếu sót q trình thực hiện, trình bày đề tài Nhóm mong Thầy, Cơ thông cảm mong nhận ý kiến đóng góp từ Thầy, Cơ Nhóm xin chân thành cảm ơn! iv LỜI CAM ĐOAN Nhóm thực đồ án tốt nghiệp cam đoan không chép nội dung kết cơng trình khác Tỷ lệ trùng lắp với tài liệu khác 28%, nội dung tham khảo đề tài nhóm trích dẫn đầy đủ Đại diện nhóm thực đồ án tốt nghiệp (ký ghi rõ họ tên) v MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP .i PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN ii PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN iii LỜI CẢM ƠN iv LỜI CAM ĐOAN v MỤC LỤC vi DANH MỤC BẢNG BIỂU ix DANH MỤC HÌNH ẢNH .x DANH MỤC TỪ VIẾT TẮT xii TÓM TẮT xiii CHƯƠNG 1: TỔNG QUAN 1.1 GIỚI THIỆU 1.2 MỤC TIÊU ĐỀ TÀI 1.3 GIỚI HẠN ĐỀ TÀI 1.4 PHƯƠNG PHÁP NGHIÊN CỨU 1.5 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 1.6 BỐ CỤC QUYỂN BÁO CÁO CHƯƠNG 2: CƠ SỞ LÝ THUYẾT .4 2.1 GIỚI THIỆU MẠNG NƠ-RON TÍCH CHẬP 2.1.1 Tổng quan mạng nơ-ron tích chập 2.1.2 Điểm đặc trưng mạng nơ-ron tích chập 2.2 CẤU TRÚC MẠNG NƠ-RON TÍCH CHẬP 2.2.1 Lớp tích chập (Convolution layer) 2.2.2 Lớp gộp (Pooling layer) 2.2.3 Lớp kết nối đầy đủ (Fully Connected Layer) 10 2.3 KIẾN TRÚC MẠNG VGG 11 vi 2.3.1 Tổng quan mạng VGG 11 2.3.2 Kiến trúc mạng VGG16 12 2.4 BỘ CƠ SỞ DỮ LIỆU (DATASET) 14 CHƯƠNG 3: THIẾT KẾ MƠ HÌNH PHÂN LOẠI ĐỘ TUỔI VÀ GIỚI TÍNH 18 3.1 XỬ LÝ BỘ CƠ SỞ DỮ LIỆU (DATASET) 18 3.1.1 Sắp xếp phân chia tập liệu 18 3.2.1 Phân tích tập liệu 19 3.2 TỔNG QUAN QUY TRÌNH THỰC HIỆN 21 3.2.1 Sơ lược quy trình thực 21 3.2.2 Phương pháp thực 22 3.3 PHÂN TÍCH KIẾN TRÚC MƠ HÌNH XỬ LÝ 24 3.3.1 Mô hình phát khn mặt (Face detection) 24 3.3.2 Kiến trúc mơ hình xử lý dùng mạng VGG16 25 3.3.3 Phương pháp cho nhiệm vụ phân loại 27 3.3.3.1 Phân loại giới tính 27 3.3.3.2 Phân loại độ tuổi 28 3.3.4 Thuật toán sử dụng mơ hình 30 CHƯƠNG 4: KẾT QUẢ VÀ ĐÁNH GIÁ 31 4.1 KẾT QUẢ XÂY DỰNG MƠ HÌNH 31 4.2 KẾT QUẢ HUẤN LUYỆN MƠ HÌNH 33 4.2.1 Giới tính 33 4.2.1.1 Kết huấn luyện 33 4.2.1.2 Ma trận nhầm lẫn (confusion matrix) 34 4.2.2 Độ tuổi 37 4.2.2.1 Kết huấn luyện 37 4.2.2.2 Ma trận nhầm lẫn 37 4.3 KẾT QUẢ THỰC NGHIỆM 39 vii 4.3.1 Kết nhận dạng khn mặt điều kiện bình thường 39 4.3.2 Kết nhận dạng khuôn mặt điều kiện không tốt 43 4.3.3 Kết tổng quan 44 CHƯƠNG 5: KẾT LUẬN VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN 46 5.1 KẾT LUẬN 46 5.1.1 Đối với kết phân loại độ tuổi 46 5.1.2 Đối với kết phân loại giới tính 46 5.1.3 Kết nhận dạng trực tiếp độ tuổi giới tính thơng qua webcam 46 5.2 PHƯƠNG HƯỚNG PHÁT TRIỂN 46 TÀI LIỆU THAM KHẢO 48 viii