ĐẠI HỌC BÁCH KHOA HÀ NỘITRƯỜNG ĐIỆN-ĐIỆN TỬ
ĐỒ ÁN TỐT NGHIỆP
Đề tài:
PHÂN TÍCH DA MẶT SỬ DỤNG HỌCSÂU VÀ TRIỂN KHAI TRÊN ỨNG
Trang 2ĐẠI HỌC BÁCH KHOA HÀ NỘITRƯỜNG ĐIỆN-ĐIỆN TỬ
ĐỒ ÁN TỐT NGHIỆP
Đề tài:
PHÂN TÍCH DA MẶT SỬ DỤNG HỌCSÂU VÀ TRIỂN KHAI TRÊN ỨNG
Trang 3TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
TRƯỜNG ĐIỆN – ĐIỆN TỬĐÁNH GIÁ ĐỒ ÁN TỐT NGHIỆP
Tiêu chí
(Điểm tốiđa)
Hướng dẫn đánh giá tiêu chí
Thái độlàm việc (2,5 điểm)
Nghiêm túc, tích cực và chủ động trong quá trình làmĐATN
Hoàn thành đầy đủ và đúng tiến độ các nội dung đượcGVHD giao
Kỹ năngviết quyển
ĐATN(2 điểm)
Trình bày đúng mẫu quy định, bố cục các chương logic vàhợp lý: Bảng biểu, hình ảnh rõ ràng, có tiêu đề, được đánhsố thứ tự và được giải thích hay đề cập đến trong đồ án, cócăn lề, dấu cách sau dấu chấm, dấu phẩy, có mở đầu chươngvà kết luận chương, có liệt kê tài liệu tham khảo và có tríchdẫn, v.v.
Kỹ năng diễn đạt, phân tích, giải thích, lập luận: Cấu trúccâu rõ ràng, văn phong khoa học, lập luận logic và có cơ sở,thuật ngữ chuyên ngành phù hợp, v.v.
Nội dungvà kết quả
đạt được (5 điểm)
Nêu rõ tính cấp thiết, ý nghĩa khoa học và thực tiễn của đềtài, các vấn đề và các giả thuyết, phạm vi ứng dụng của đềtài Thực hiện đầy đủ quy trình nghiên cứu: Đặt vấn đề, mụctiêu đề ra, phương pháp nghiên cứu/ giải quyết vấn đề, kếtquả đạt được, đánh giá và kết luận.
Nội dung và kết quả được trình bày một cách logic và hợplý, được phân tích và đánh giá thỏa đáng Biện luận phântích kết quả mô phỏng/ phần mềm/ thực nghiệm, so sánh kếtquả đạt được với kết quả trước đó có liên quan.
Chỉ rõ phù hợp giữa kết quả đạt được và mục tiêu ban đầuđề ra đồng thời cung cấp lập luận để đề xuất hướng giảiquyết có thể thực hiện trong tương lai Hàm lượng khoahọc/ độ phức tạp cao, có tính mới/tính sáng tạo trong nộidung và kết quả đồ án.
Điểmthành tích
(1 điểm)
Có bài báo KH được đăng hoặc chấp nhận đăng/ đạt giải SVNCKH giải 3 cấp Trường trở lên/ Các giải thưởng khoa họctrong nước, quốc tế từ giải 3 trở lên/ Có đăng ký bằng phát
minh sáng chế (1 điểm)
Được báo cáo tại hội đồng cấp Trường trong hội nghị SVNCKH nhưng không đạt giải từ giải 3 trở lên/ Đạt giảikhuyến khích trong cuộc thi khoa học trong nước, quốc tế/Kết quả đồ án là sản phẩm ứng dụng có tính hoàn thiện cao,
yêu cầu khối lượng thực hiện lớn (0,5 điểm)
Trang 4Điểm tổng các tiêu chí: Điểm hướng dẫn:
Trang 5ĐẠI HỌC BÁCH KHOA HÀ NỘITRƯỜNG ĐIỆN – ĐIỆN TỬĐÁNH GIÁ ĐỒ ÁN TỐT NGHIỆP
Hướng dẫn đánh giá tiêu chí
Trình bàyquyểnĐATN(4 điểm)
Đồ án trình bày đúng mẫu quy định, bố cục các chương logicvà hợp lý: Bảng biểu, hình ảnh rõ ràng, có tiêu đề, được đánhsố thứ tự và được giải thích hay đề cập đến trong đồ án, cócăn lề, dấu cách sau dấu chấm, dấu phẩy, có mở đầu chươngvà kết luận chương, có liệt kê tài liệu tham khảo và có tríchdẫn, v.v.
Kỹ năng diễn đạt, phân tích, giải thích, lập luận: cấu trúc câurõ ràng, văn phong khoa học, lập luận logic và có cơ sở, thuậtngữ chuyên ngành phù hợp, v.v.
Nội dungvà kết quả
đạt được (5,5 điểm)
Nêu rõ tính cấp thiết, ý nghĩa khoa học và thực tiễn của đềtài, các vấn đề và các giả thuyết, phạm vi ứng dụng của đềtài Thực hiện đầy đủ quy trình nghiên cứu: Đặt vấn đề, mụctiêu đề ra, phương pháp nghiên cứu/ giải quyết vấn đề, kếtquả đạt được, đánh giá và kết luận.
Nội dung và kết quả được trình bày một cách logic và hợp lý,được phân tích và đánh giá thỏa đáng Biện luận phân tích kếtquả mô phỏng/ phần mềm/ thực nghiệm, so sánh kết quả đạtđược với kết quả trước đó có liên quan.
Chỉ rõ phù hợp giữa kết quả đạt được và mục tiêu ban đầu đềra đồng thời cung cấp lập luận để đề xuất hướng giải quyết cóthể thực hiện trong tương lai Hàm lượng khoa học/ độ phứctạp cao, có tính mới/ tính sáng tạo trong nội dung và kết quảđồ án.
Điểmthành tích
(1 điểm)
Có bài báo KH được đăng hoặc chấp nhận đăng/ đạt giải SVNCKH giải 3 cấp Trường trở lên/ các giải thưởng KH quốctế/ trong nước từ giải 3 trở lên/ Có đăng ký bằng phát minh
sáng chế (1 điểm)
Được báo cáo tại hội đồng cấp Trường trong hội nghị SVNCKH nhưng không đạt giải từ giải 3 trở lên/ Đạt giảikhuyến khích trong các kỳ thi quốc gia và quốc tế khác về
chuyên ngành (0,5 điểm)
Điểm tổng các tiêu chí:Điểm phản biện:
Trang 7TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
TRƯỜNG ĐIỆN – ĐIỆN TỬĐÁNH GIÁ ĐỒ ÁN TỐT NGHIỆP
Tiêu chí
(Điểm tốiđa)
Hướng dẫn đánh giá tiêu chí
Thái độlàm việc (2,5 điểm)
Nghiêm túc, tích cực và chủ động trong quá trình làmĐATN
Hoàn thành đầy đủ và đúng tiến độ các nội dung đượcGVHD giao
Kỹ năngviết quyển
ĐATN(2 điểm)
Trình bày đúng mẫu quy định, bố cục các chương logic vàhợp lý: Bảng biểu, hình ảnh rõ ràng, có tiêu đề, được đánhsố thứ tự và được giải thích hay đề cập đến trong đồ án, cócăn lề, dấu cách sau dấu chấm, dấu phẩy, có mở đầu chươngvà kết luận chương, có liệt kê tài liệu tham khảo và có tríchdẫn, v.v.
Kỹ năng diễn đạt, phân tích, giải thích, lập luận: Cấu trúccâu rõ ràng, văn phong khoa học, lập luận logic và có cơ sở,thuật ngữ chuyên ngành phù hợp, v.v.
Nội dungvà kết quả
đạt được (5 điểm)
Nêu rõ tính cấp thiết, ý nghĩa khoa học và thực tiễn của đềtài, các vấn đề và các giả thuyết, phạm vi ứng dụng của đềtài Thực hiện đầy đủ quy trình nghiên cứu: Đặt vấn đề, mụctiêu đề ra, phương pháp nghiên cứu/ giải quyết vấn đề, kếtquả đạt được, đánh giá và kết luận.
Nội dung và kết quả được trình bày một cách logic và hợplý, được phân tích và đánh giá thỏa đáng Biện luận phântích kết quả mô phỏng/ phần mềm/ thực nghiệm, so sánh kếtquả đạt được với kết quả trước đó có liên quan.
Chỉ rõ phù hợp giữa kết quả đạt được và mục tiêu ban đầuđề ra đồng thời cung cấp lập luận để đề xuất hướng giảiquyết có thể thực hiện trong tương lai Hàm lượng khoahọc/ độ phức tạp cao, có tính mới/tính sáng tạo trong nộidung và kết quả đồ án.
thành tích (1 điểm)
Có bài báo KH được đăng hoặc chấp nhận đăng/ đạt giải SVNCKH giải 3 cấp Trường trở lên/ Các giải thưởng khoa họctrong nước, quốc tế từ giải 3 trở lên/ Có đăng ký bằng phát
minh sáng chế (1 điểm)
Được báo cáo tại hội đồng cấp Trường trong hội nghị SVNCKH nhưng không đạt giải từ giải 3 trở lên/ Đạt giảikhuyến khích trong cuộc thi khoa học trong nước, quốc tế/Kết quả đồ án là sản phẩm ứng dụng có tính hoàn thiện cao,
Trang 8yêu cầu khối lượng thực hiện lớn (0,5 điểm)
Điểm tổng các tiêu chí: Điểm hướng dẫn:
Trang 9ĐẠI HỌC BÁCH KHOA HÀ NỘITRƯỜNG ĐIỆN – ĐIỆN TỬĐÁNH GIÁ ĐỒ ÁN TỐT NGHIỆP
Hướng dẫn đánh giá tiêu chí
Trình bàyquyểnĐATN(4 điểm)
Đồ án trình bày đúng mẫu quy định, bố cục các chương logicvà hợp lý: Bảng biểu, hình ảnh rõ ràng, có tiêu đề, được đánhsố thứ tự và được giải thích hay đề cập đến trong đồ án, cócăn lề, dấu cách sau dấu chấm, dấu phẩy, có mở đầu chươngvà kết luận chương, có liệt kê tài liệu tham khảo và có tríchdẫn, v.v.
Kỹ năng diễn đạt, phân tích, giải thích, lập luận: cấu trúc câurõ ràng, văn phong khoa học, lập luận logic và có cơ sở, thuậtngữ chuyên ngành phù hợp, v.v.
Nội dungvà kết quả
đạt được (5,5 điểm)
Nêu rõ tính cấp thiết, ý nghĩa khoa học và thực tiễn của đềtài, các vấn đề và các giả thuyết, phạm vi ứng dụng của đềtài Thực hiện đầy đủ quy trình nghiên cứu: Đặt vấn đề, mụctiêu đề ra, phương pháp nghiên cứu/ giải quyết vấn đề, kếtquả đạt được, đánh giá và kết luận.
Nội dung và kết quả được trình bày một cách logic và hợp lý,được phân tích và đánh giá thỏa đáng Biện luận phân tích kếtquả mô phỏng/ phần mềm/ thực nghiệm, so sánh kết quả đạtđược với kết quả trước đó có liên quan.
Chỉ rõ phù hợp giữa kết quả đạt được và mục tiêu ban đầu đềra đồng thời cung cấp lập luận để đề xuất hướng giải quyết cóthể thực hiện trong tương lai Hàm lượng khoa học/ độ phứctạp cao, có tính mới/ tính sáng tạo trong nội dung và kết quảđồ án.
Điểmthành tích
(1 điểm)
Có bài báo KH được đăng hoặc chấp nhận đăng/ đạt giải SVNCKH giải 3 cấp Trường trở lên/ các giải thưởng KH quốctế/ trong nước từ giải 3 trở lên/ Có đăng ký bằng phát minh
sáng chế (1 điểm)
Được báo cáo tại hội đồng cấp Trường trong hội nghị SVNCKH nhưng không đạt giải từ giải 3 trở lên/ Đạt giảikhuyến khích trong các kỳ thi quốc gia và quốc tế khác về
chuyên ngành (0,5 điểm)
Điểm tổng các tiêu chí:Điểm phản biện:
Trang 11LỜI NÓI ĐẦU
Ngày nay, lĩnh vực chăm sóc da và làm đẹp đã trở thành một phần khôngthể thiếu trong cuộc sống hiện đại Vấn đề chăm sóc da mặt không chỉ là mộtphần của việc quan tâm đến vẻ ngoài mà còn là một phần quan trọng của việcduy trì sức khỏe và tự tin Với sự ảnh hưởng của các tác nhân ô nhiễm môitrường, lối sống áp lực hằng ngày đã góp phần làm gia tăng các vấn đề liên quanđến sức khỏe làn da như nám, lão hoá, mụn ảnh hưởng nghiêm trọng đến tâm lýcủa mọi người Cùng với sự phát triển mạnh của công nghệ mỹ phẩm, có nhiềucác sản phẩm làm đẹp da trên thị trường giúp cải thiện làn da của người dùng.Tuy nhiên, nếu thiếu hiểu biết về tình trạng da có thể dẫn đến việc lựa chọn sảnphẩm không phù hợp, khiến cho các vấn đề da trở nên nghiêm trọng hơn gây ảnhhưởng đến sức khỏe tinh thần của con người Trong bối cảnh các vấn đề da phổbiến như sắc tố, lỗ chân lông hay lão hóa da đang gia tăng, việc tìm đến mộtchuyên gia giúp phân tích da không thuận tiện với những người bận rộn Điều đótạo ra một sự cần thiết có các công cụ phân tích da tự động, người dùng chủ độngtrong việc tự đánh giá và quản lý tình trạng da chính xác hơn, từ đó giảm thiểunguy cơ tự điều trị không hiệu quả Đồ án hướng đến việc xây dựng một ứngdụng Android sử dụng AI giải quyết bài toán phân loại mức các mức độ nghiêmtrọng đồng thời khoanh vùng vùng da có vấn đề cho từng vấn đề về da bao gồm:Pores (Lỗ chân lông), Pigmentation (Sắc tố da), Wrinkle (Nếp nhăn) với hình ảnhđầu vào chứa khuôn mặt chính diện được chụp trong các điều kiện môi trườngkhác nhau Tiếp theo, với mỗi vấn đề da khác nhau có thể đưa ra mức độ nghiêmtrọng tương ứng (Good: Tốt, Average: Trung bình, Fair: Nghiêm trọng) Nắm bắtđược tiềm năng cũng như tính ứng dụng cao của đề tài, chúng em đã quyết địnhthực hiện đồ án tốt nghiệp với đề tài “Phân tích da sử dụng học sâu và triển khaitrên ứng dụng Android”.
Chúng em xin gửi lời cảm ơn chân thành đến TS Võ Lê Cường đã luônđồng hành, hướng dẫn nhiệt tình trong quá trình chúng em nghiên cứu và thựchiện đồ án Em xin cảm ơn trung tâm spa Moana Beauty Nam Trung Yên đãđồng hành, hỗ trợ kiến thức chuyên môn và gán nhãn dữ liệu cho các vấn đề da.Chúng em cũng xin cảm ơn các thành viên trong Artificial IntelligenceConvolutional System Laboratory (AICS Lab) đã giúp đỡ chúng em trong quátrình thực hiện đề tài và hoàn thiện đồ án.
Chúng em xin được cảm ơn thầy cô Trường Điện - Điện tử đã nhiệt tình chỉdạy, cung cấp nhiều kiến thức bổ ích trong thời gian chúng em học tập tại trường.Cuối cùng, Chúng em xin gửi lời cảm ơn đến gia đình và bạn bè đã luôn hỗ trợđộng viên trong suốt quá trình học tập.
Trang 12LỜI CAM ĐOAN
Chúng em là Trần Văn Bằng, mã số sinh viên 20203323, sinh viên lớp Điệntử 02 - K65, Trần Minh Hiệp, mã số sinh viên 20203414, sinh viên lớp Điện tử10 - K65 Người hướng dẫn là TS Võ Lê Cường Chúng em xin cam đoan toànbộ nội dung trình bày trong đồ án “Phân tích da sử dụng học sâu và triển khaitrên ứng dụng Android” là kết quả tìm hiểu và nghiên cứu của chúng em Kết quảđồ án là tài sản trí tuệ của thầy hướng dẫn, TS Võ Lê Cường và AICS Lab Cácsố liệu nêu trong đồ án là hoàn toàn trung thực, phản ánh đúng kết quả đo đạcthực tế Tất cả các thông tin được trích dẫn đều tuân thủ theo các quy định về sởhữu trí tuệ Các tài liệu tham khảo được liệt kê rõ ràng Chúng em xin hoàn toànchịu trách nhiệm về nội dung viết trong đồ án này.
Hà Nội, ngày tháng mm năm 2024
Nhóm sinh viên thực hiện
Trần Văn Bằng Trần Minh Hiệp
Trang 13CHƯƠNG 1 CƠ SỞ LÝ THUYẾT 4
1.1 Giới thiệu về học sâu 4
1.1.1 Định nghĩa 4
1.1.2 Mô hình học sâu 4
1.2 CNN trong bài toán phát hiện đối tượng 8
1.2.1 Một số kiến trúc CNN trong bài toán phát hiện đối tượng 9
1.2.2 Ứng dụng CNN trong bài toán phát hiện đối tượng 10
1.3 CNN trong bài toán phân loại 10
1.3.1 Một số kiến trúc CNN trong bài toán phân loại 10
1.3.2 Ứng dụng CNN trong bài toán phân loại 11
1.4 CNN trong bài toán phân vùng 11
1.4.1 Một số kiến trúc CNN trong bài toán phân vùng 12
1.4.2 Ứng dụng CNN trong bài toán phân vùng 12
1.5 Tăng cường dữ liệu 13
1.5.1 Kỹ thuật tăng cường dữ liệu truyền thống 13
1.6 Kết luận 13
CHƯƠNG 2 KHẢO SÁT VÀ PHÂN TÍCH CÁC MÔ HÌNH PHÁT HIỆNKHUÔN MẶT, PHÂN LOẠI, PHÂN VÙNG, TĂNG CƯỜNG DỮ LIỆU VÀCÔNG CỤ XÂY DỰNG MÔ HÌNH AI TRÊN DI ĐỘNG 14
2.1 Tổng quan phát hiện khuôn mặt 14
2.2 Khảo sát phương pháp phát hiện khuôn mặt 14
2.2.1 Phương pháp truyền thống 14
2.2.2 Phương pháp dựa trên Deep Learing 15
2.3 Tổng quan phân loại và phân vùng các vấn đề da trên khuôn mặt 17
2.4 Khảo sát phương pháp phân loại và phân vùng các vấn đề da 17
2.4.1 Khảo sát phương pháp phân loại bệnh da 17
Trang 142.4.2 Khảo sát phương pháp phân vùng sắc tố da, nếp nhăn và lỗ chân
2.4.3 Khảo sát phương pháp phân loại sắc tố da, nếp nhăn và lỗ chânlông 20
2.4.4 Khảo sát mạng CNN phù hợp với mục tiêu bài toán 22
2.5 Khảo sát phương pháp tăng cường dữ liệu cho bài toán phân loại vấn đề da 23
2.5.1 Khảo sát phương pháp tăng cường dữ liệu truyền thống 23
2.6 Khảo sát các framework ứng dụng mô hình AI trên điện thoại di động 23
3.1 Tổng quan phương pháp đề xuất 26
3.2 Đề xuất phương pháp cho đề tài 26
3.2.1 Đề xuất phương pháp phát hiện khuôn mặt 26
3.2.2 Đề xuất phương án phân vùng khuôn mặt 28
3.2.3 Đề xuất phương pháp phân loại mức độ nghiêm trọng vấn đề da 29
3.2.4 Đề xuất phương pháp khoanh vùng vùng da có vấn đề 33
4.3 Triển khai chi tiết 39
4.3.1 Gán nhãn dữ liệu cho bài toán phân loại 39
4.3.2 Gán nhãn dữ liệu cho bài toán phân vùng (khoanh vùng vùng da)434.3.3 Huấn luyện mô hình 45
4.3.4 Tối ưu siêu tham số sử dụng gird search (GS) 45
Trang 154.4 Kết quả và đánh giá 46
4.4.1 Đánh giá mô hình phát hiện khuôn mặt 46
4.4.2 Huấn luyện và đánh giá mô hình phân loại mức độ nghiêm trọngvấn đề da 48
4.4.3 Huấn luyện và đánh giá mô hình khoanh vùng những vùng da cóvấn đề 49
5.2.1 Sơ đồ Use case 51
5.2.2 Biểu đồ Activity Diagram 52
5.2.3 Sequence Diagram 53
5.3 Thiết kế giao diện 56
5.3.1 Giao diện trang chủ 56
5.3.2 Giao diện thư viện ảnh 57
5.3.3 Giao diện chụp ảnh sử dụng camera 57
5.3.4 Giao diện kết quả 58
5.4 Triển khai và đánh giá ứng dụng 58
5.4.1 Chuyển đổi mô hình 58
5.4.2 Đánh giá kết quả mô hình phát hiện gương mặt 58
5.4.3 Đánh giá kết quả mô hình phân loại các vấn đề da mặt 59
Trang 16DANH MỤC TỪ VIẾT TẮT
Faster R-CNN Faster Region-based ConvolutionalNeural Networks
NCNN Neural Network Computation Library
Trang 17DANH MỤC HÌNH VẼ
Hình 1.1 Tế bào thần kinh sinh học (trái) và mô hình toán học nơ-ron (phải) [2] 4
Hình 1.2 Lớp được thiết kế đầy đủ mô phỏng hoạt động của não [3] 5
Hình 1.3 So sánh mạng nơ-ron thông thường (trái) và mạng nơ-ron tích chập(phải) [4] 6
Hình 1.4 Kiến trúc mạng CNN [5] 6
Hình 1.5 Toán tử CNN với ảnh RGB [2] 7
Hình 1.6 Nguyên lý làm việc của lớp tổng hợp [2] 8
Hình 1.7 Lớp kết nối đầy đủ [2] 8
Hình 1.8 Sơ đồ pipeline xử lý trong mô hình mạng R-CNN [6] 9
Hình 1.9 Kiến trúc One-stage detector [9] 10
Hình 1.10 Kiến trúc của LeNet [11] 11
Hình 1.11 Ứng dụng của MobileNet trên các thiết bị thông minh 11
Hình 1.12 Hình dạng kiến trúc UNET để phát hiện nếp nhăn được Semin Kim vàcộng sự đề xuất [47] 12
Hình 2.1 Tổng quan về phương pháp RetinaFace được đề xuất [21] 15
Hình 2.2 Kiến trúc mạng YOLO5-Face được đề xuất [25] 16
Hình 2.3 Kết quả trên các phiên bản khác nhau của EfficientNet [28] 18
Hình 2.4 Độ chính xác của các phiên bản ResNet [30] 21
Hình 2.5 So sánh kết quả sử dụng data vùng và data toàn mặt [30] 21
Hình 2.6 xây dựng mô hình Pytorch trên di động 24
Hình 2.7 Các bước triển khai mô hình TFLite 24
Hình 2.8 So sánh hiệu suất khi triển khai các mô hình Deep learning với cácframework khác nhau trên các thiết bị di động sử dụng CPU 25
Hình 3.1 Pipeline cho bài toán phân loại mức độ nghiêm trọng của sắc tố da, nếpnhăn và lỗ chân lông 26
Hình 3.2 Kiến trúc mạng YOLO5-Face được đề xuất [24] 28
Hình 3.3 (a) Bản đồ khuôn mặt sử dụng 81 điểm landmark, (b) Hình ảnh vùngtrán được cắt ra từ (a), (c) Hình ảnh vùng mắt và (d) Hình ảnh vùng miệng [30] 29
Hình 3.4 Khuôn mặt ban đầu (a), khuôn mặt sau khi được cắt vùng mắt, mũi,miệng và nền (b) 29
Hình 3.5 Thể tích đầu vào và đầu ra mong muốn (a) thu được bằng cách áp dụnghai bộ lọc khác nhau (b) và (c) [39] 30
Hình 3.6 Ví dụ cụ thể về tích chập sâu phân tách [39] 31
Hình 3.7 Trực quan hoá bản đồ đặc trưng trong khối dư đảo ngược 32
Hình 3.8 Tác động của phi tuyến và một số loại kết nối dư 32
Hình 3.9 So sánh giữa khối dư thông thường và khối dư đảo ngược 32
Trang 18Hình 3.10 Kiến trúc mô hình Unet [46] 34
Hình 4.1 Minh hoạ 3 mức độ nghiêm trọng của nếp nhăn trán 40
Hình 4.2 Minh hoạ 3 mức độ nghiêm trọng của nếp nhăn mắt 40
Hình 4.3 Minh hoạ 3 mức độ nghiêm trọng của nếp nhăn rãnh miệng 40
Hình 4.4 Minh hoạ 3 mức độ nghiêm trọng của lỗ chân lông 41
Hình 4.5 Minh hoạ 3 mức độ nghiêm trọng của sắc tố da 41
Hình 4.6 Minh hoạ các loại của nếp nhăn 43
Hình 4.7 Minh hoạ vùng của lỗ chân lông to 44
Hình 4.8 Minh hoạ vùng da có vấn đề sắc tố da 44
Hình 4.9 Kết quả phát hiện khuôn mặt sử dụng YOLOv5n 47
Hình 4.10 Kết quả phát hiện khuôn mặt sử dụng YOLOv5n-0.5 47
Hình 5.1 Sơ đồ use case 52
Hình 5.2 Sơ đồ Activity Diagram 52
Hình 5.3 Sơ đồ Sequence Diagram khi tải ảnh từ thư viện ảnh 54
Hình 5.4 Sơ đồ Sequence Diagram khi sử dụng camera 55
Hình 5.5 Sơ đồ Sequence Diagram khi xử lí dữ liệu và hiển thị kết quả 56
Hình 5.6 Giao diện màn hình chính của ứng dụng 56
Hình 5.7 Giao diện thư viện ảnh 57
Hình 5.8 Giao diện camera 57
Hình 5.9 Giao diện kết quả 58
Trang 19DANH MỤC BẢNG BIỂU
Bảng 2.1 Khảo sát mô hình phát hiện khuôn mặt nhẹ [24] 17
Bảng 2.2 So sánh chỉ số JSI cho từng phương pháp [47] 19
Bảng 2.3 So sánh IOU values [52] 19
Bảng 2.4 So sánh độ chính xác phân vùng sắc tố võng mạc [53] 20
Bảng 2.5 Khảo sát mạng CNN nhanh và nhẹ 22
Bảng 2.6 Các thiết bị di động sử dụng để so sánh 25
Bảng 3.1 MobileNetV2 network’s layer 33
Bảng 4.1 Tiêu chí gán nhãn cho nếp nhăn trán, nếp nhăn mắt và nếp nhăn rãnhmiệng 39
Bảng 4.2 Tiêu chí gán nhãn cho lỗ chân lông 40
Bảng 4.3 Tiêu chí gán nhãn cho sắc tố da 41
Bảng 4.4 Thống kê số lượng mẫu có trong tập train 42
Bảng 4.5 Thống kê số lượng mẫu có trong tập validation 42
Bảng 4.6 Thống kê số lượng mẫu có trong tập test 42
Bảng 4.7 Thống kê số lượng mẫu có trong tập train 44
Bảng 4.8 Thống kê số lượng mẫu có trong tập validation 45
Bảng 4.9 Thống kê số lượng mẫu có trong tập test 45
Bảng 4.10 Không gian tìm kiếm cho mô hình MobileNetV2 46
Bảng 4.11 So sánh kết quả tái hiện code và kết quả đưa ra bởi paper 47
Bảng 4.12 Kết quả đánh giá model MobileNetV2 48
Bảng 4.13 Kết quả đánh giá các mô hình phân vùng vấn đề da 49
Bảng 5.1 Yêu cầu dữ liệu 50
Bảng 5.2 Yêu cầu phi chức năng 50
Bảng 5.3 Các phần tử của Use case 51
Bảng 5.4 Mô tả quá trình 53
Bảng 5.5 Kết quả độ chính xác tập val của mô hình phát hiện gương trước và saukhi chuyển đổi 59Bảng 5.6 Kết quả độ chính xác trên tập test của từng mô hình trên từng thiết bị 59
Trang 20TÓM TẮT ĐỒ ÁN
Đồ án hướng đến việc giải quyết bài toán phân loại các mức độ nghiêmtrọng và khoanh vùng các vùng da có vấn đề trên khuôn mặt dựa trên phân tíchhình ảnh sử dụng học sâu và triển khai trên ứng dụng Android Cụ thể đồ ánhướng đến phân tích mức độ nghiêm trọng và khoanh vùng cho các vấn đề về danhư: nếp nhăn trán (Wrinkle Forehead), nếp nhăn mắt (Wrinkle Eye), nếp nhănrãnh miệng (Wrinkle Smileline), Sắc tố da (Pigmentation) và Lỗ chân lông(Pores) Hình ảnh đầu vào chứa khuôn mặt sẽ đưa qua mô hình phát hiện khuônmặt YOLOv5-Face để lấy ra bounding box bao sát khuôn mặt Sau đó, từ thôngtin về toạ độ bounding box và khuôn mặt chúng em sẽ tiến hành cắt ảnh để thuđược ảnh chỉ chứa khuôn mặt và các yếu tố nền như loại bỏ khung cảnh xungquanh Từ các hình ảnh sau khi loại bỏ khung cảnh xung quanh sẽ đưa vào môhình phân loại cho từng vấn đề về da để trả về mức độ nghiêm trọng là Good(tốt), Average (trung bình) và Fair (nghiêm trọng) đồng thời sẽ được đưa vào môhình phân vùng hình ảnh để khoanh vùng những vùng da đó Chúng em đề xuấtmô hình phân loại mức độ nghiêm trọng cho từng vấn đề về da gồm mô hình cókích thước gọn nhẹ có khả năng chạy trực tiếp trên mobile đó với độ chính xáccao và mô hình phân vùng hình ảnh dựa trên UNET Trong quá trình nghiên cứu,
chúng em sử dụng bộ dữ liệu AICS Dataset được thu thập dữ liệu thủ công từ cácbộ dữ liệu khuôn mặt nổi tiếng, các trang web có công khai hình ảnh khuôn mặtngười, tiến hành lọc các hình ảnh khuôn mặt thoả mãn các điều kiện như chínhdiện, nhìn rõ các vấn đề về da, không trang điểm, không được đeo các phụ kiệnnhư kính, khẩu trang Các hình ảnh này được gán nhãn theo cảm quan bởi cácthành viên không chuyên và được kiểm tra lại bởi các chuyên gia có kinh nghiệmtrong lĩnh vực phân tích da Cuối cùng sẽ xây dựng một ứng dụng android phântích da mặt sử dụng các mô hình huấn luyện cho các thiết bị di động.
Trang 21GIỚI THIỆUTính cấp thiết của đề tài
Trong thế giới hiện đại, lĩnh vực chăm sóc da và làm đẹp đã trở thành mộtphần không thể thiếu trong cuộc sống hàng ngày Áp lực từ môi trường ô nhiễm,căng thẳng hàng ngày, và những thói quen sống không lành mạnh đã tạo ra nhiềuvấn đề về sức khỏe da như nám, nhiều nếp nhăn, lỗ chân lông to, lão hóa và mụn.Lĩnh vực sản phẩm chăm sóc da là một ngành có những phát triển mạnh mẽ, vớinhiều sản phẩm hứa hẹn cải thiện làn da của người dùng Tuy nhiên, sự thiếuhiểu biết về tình trạng da cá nhân có thể dẫn đến việc chăm sóc da không hiệuquả Hậu quả của điều này không chỉ là vấn đề thẩm mỹ và tự tin cá nhân, màcòn ảnh hưởng đến sức khỏe và tâm lý.
Theo Tổ chức Y tế Thế giới, chăm sóc da không đúng cách có thể dẫn đếnviêm nhiễm và các vấn đề da nghiêm trọng khác [1] Hơn nữa, tình trạng chămsóc da không hiệu quả cũng ảnh hưởng đến tâm lý và tinh thần của mỗi người.Do đó, duy trì làn da khỏe mạnh và trẻ trung là mối quan tâm hàng đầu.
Trong bối cảnh này, sử dụng công nghệ AI để phân tích da và đề xuất sảnphẩm chăm sóc da phù hợp đã trở thành một xu hướng quan trọng Mặc dù việctìm kiếm sự chăm sóc chuyên nghiệp từ bác sĩ da liễu là lựa chọn tốt nhất, nhưngkhông phải lúc nào cũng thuận tiện và kịp thời cho mọi người Đặc biệt là với cácvấn đề da phổ biến, việc có các công cụ phân tích da tự động có thể giúp ngườidùng tự đánh giá và quản lý da của họ một cách chính xác hơn, giảm thiểu nguycơ tự điều trị không hiệu quả và tạo ra sự tự tin trong quá trình chăm sóc da hàngngày.
Sự áp dụng của AI trong phân tích da không chỉ cung cấp đánh giá chínhxác về tình trạng da mà còn tạo ra một môi trường chăm sóc da thông minh vàtiện lợi Việc này không chỉ mang lại lợi ích kinh tế mà còn góp phần quan trọngtrong việc nâng cao chất lượng cuộc sống và sự tự tin của con người Nghiên cứunày hứa hẹn sẽ tạo ra tiến bộ đáng kể trong quá trình chăm sóc da và đóng gópmột phần vào phạm vi ứng dụng trí tuệ nhân tạo trong lĩnh vực y tế và làm đẹp.Qua đó có thể thấy được tầm quan trọng của AI phân tích các mức độ nghiêmtrọng vấn đề da phổ biến như sắc tố, nếp nhăn và lỗ chân lông trên khuôn mặt,giúp phục vụ cho việc làm đẹp và chữa bệnh
Mục tiêu của đồ án
Ứng dụng AI vào giải quyết bài toán phân tích các vấn đề da gồm 3 vấn đềchính là: sắc tố da, lỗ chân lông, nếp nhăn với hình ảnh đầu vào là khuôn mặtchính diện được chụp trong các điều kiện môi trường khác nhau Tiếp theo đó làđưa ra được mức độ nghiêm trọng và khoanh vùng những vùng da có vấn đề trênvề da Thực hiện tiền xử lý dữ liệu ảnh thay đổi kích thước (resize), loại bỏ cácđặc trưng dư thừa tập trung vào vùng khuôn mặt từ đó đưa ra dự đoán chính xác1
Trang 22hơn mà không bị ảnh hưởng bởi các yếu tố khác Cuối cùng, xây dựng nên mộtứng dụng trên Android sử dụng các mô hình AI phân tích các vấn đề da đã đượcđào tạo chạy ổn định với tốc độ nhanh và độ chính xác cao đáp ứng nhu cầungười dùng.
Cụ thể, đồ án này tập trung giải quyết:
Với tác vụ phát hiện khuôn mặt: Phát hiện ra các khuôn mặt trong bức ảnhđược chụp và trả về tọa độ bounding box chứa khuôn mặt Từ đó sẽ thựchiện cắt ảnh loại bỏ các nhiễu làm đầu vào cho bài toán phân loại, phânvùng.
Với tác vụ phân loại mức độ nghiêm trọng vấn đề da: Đưa ra mức độnghiêm trọng cho 3 vấn đề da bao gồm lỗ chân lông, sắc tố da và nếp nhăn(chia làm 3 vùng nếp nhăn trán, nếp nhăn mắt và nếp nhăn rãnh miệng)với 3 mức tốt, trung bình và nghiêm trọng.
Với tác vụ phân vùng những vùng da có vấn đề: khoanh vùng những vùngda mặt gồm 3 vấn đề da bao gồm lỗ chân lông, sắc tố da và nếp nhăn. Mô hình sau khi tinh chỉnh cần đạt độ chính xác: mô hình phát hiện khuôn
mặt có độ chính xác mAP0.5 trên 90%, mô hình phân loại mức độ nghiêmtrọng có độ chính xác lớn hơn 80% đối với việc phân loại các mức độnghiêm trọng sắc tố da, nếp nhăn và hơn 70% đối với phân loại mức độnghiêm trọng lỗ chân lông và độ chính xác lớn hơn 50% đối với việc phânvùng ảnh để khoanh vùng những vùng da có vấn đề như Sắc tố da, Lỗchân lông và Nếp nhăn Đồ án đề xuất mô hình phân loại sử dụng mạngphân loại có kích thước nhỏ, tốc độ nhanh có thể chạy trực tiếp trênmobile (MobileNetV2) đồng thời sử dụng mô hình UNET cho tác vụ phânvùng những vùng da
Xây dựng một ứng dụng Android sử dụng các mô hình AI phân tích da:Ứng dụng cần đưa ra được mức độ nghiêm trọng cho các vấn đề da baogồm lỗ chân lông, sắc tố da và nếp nhăn (chia làm 3 vùng nếp nhăn trán,nếp nhăn mắt và nếp nhăn rãnh miệng) với 3 mức tốt, trung bình vànghiêm trọng với độ chính xác mỗi vấn đề lớn hơn 80% với các mức độnghiêm trọng vấn đề sắc tố da, nếp nhăn và hơn 70% với lỗ chân lôngđồng thời khoanh vùng những vùng da có vấn đề, mỗi mô hình phân loạicó tốc độ từ 5 đến 6 FPS.
Trang 23và các phương pháp sử dụng học sâu Ngoài ra, tổng quan về bài toán phân loạimức độ nghiêm trọng và phân vùng vùng da có vấn đề trên da đồng thời cácphương pháp học sâu giải quyết các bài toán trên cũng được giới thiệu.
Chương 3: Phương pháp đề xuất Đề xuất phương pháp phân loại mức độnghiêm trọng đồng thời phân vùng vùng da có vấn đề trên khuôn mặt Chươngnày mô tả tổng quan hướng giải quyết bài toán, chi tiết các mô hình sử dụngtrong đồ án như YOLOv5-Face cho bài toán phát hiện khuôn mặt, mô hình phânloại mức độ nghiêm trọng của từng vấn đề da như MobileNetV2 đồng thời môhình phân vùng các vấn đề trên da được sử dụng là UNET.
Chương 4: Kết quả và Đánh giá Chương này sẽ mô tả về quy trình thu thậpvà gán nhãn dữ liệu Tiếp theo, chương 4 trình bày về kết quả đánh giá mô hìnhphát hiện khuôn mặt trên bộ WIDER FACE và bộ dữ liệu AICS Skin.
Chương 5: Xây dựng ứng dụng Android phân tích da mặt sử dụng các môhình đã huấn luyện Chương này sẽ mô tả về quá trình thu thập yêu cầu, phântích, thiết kế một ứng dụng phân tích da mặt sử dụng các mô hình đã huấn luyệncho thiết bị di động Sau đó sẽ kiểm tra và đánh giá ứng dụng thực tế trên cácthiết bị di động.
Trong quá trình thực hiện đề tài sẽ không tránh khỏi những sai sót, chúngem rất mong nhận được sự góp ý từ thầy cô để đồ án tốt nghiệp của em đượchoàn thiện hơn.
Trang 24CHƯƠNG 1 CƠ SỞ LÝ THUYẾT
Chương 1 cung cấp cái nhìn tổng quan về học sâu và các cấu trúc mạng ron áp dụng trong đồ án Tiếp theo, các mô hình CNN được giới thiệu trong ngữcảnh của các bài toán phát hiện, phân loại và phân vùng Bên cạnh đó, chươngnày cũng trình bày về các phương pháp tăng cường dữ liệu.
nơ-1.1 Giới thiệu về học sâu1.1.1 Định nghĩa
Học sâu là một nhánh của học máy và đóng vai trò quan trọng trong trí tuệnhân tạo, bằng cách mô phỏng cách hoạt động của não bộ con người để xử lý dữliệu và tạo ra các mẫu quyết định Với ứng dụng đa dạng trong kinh tế, y học,giáo dục và quân sự, học sâu dựa trên mạng nơ-ron nhân tạo đa lớp để tự độngtrích xuất và học các đặc trưng từ dữ liệu Mạng nơ-ron sâu đóng vai trò quantrọng trong việc thúc đẩy sự phát triển của học sâu, mở ra khả năng xử lý các tínhtoán phức tạp Được xem là một công nghệ đột phá, học sâu đang phát triểnmạnh mẽ và đóng góp vào sự tiến bộ trong lĩnh vực công nghệ hiện đại
1.1.2 Mô hình học sâu
1.1.2.1 Mạng nơ-ron nhân tạo (Artificial Neural Network – ANN)
Mạng nơ-ron nhân tạo (Artificial Neural Network – ANN) là một mô hìnhtính toán được lấy cảm hứng từ cấu trúc và hoạt động của hệ thống nơ-ron trongnão bộ của con người ANN được xây dựng với mục tiêu mô phỏng khả năng họcvà tự điều chỉnh của não bộ con người Mỗi nơ-ron trong mạng nơ-ron nhân tạokết nối với các nơ-ron khác thông qua các trọng số, tương tự như cách mà cácnơ-ron trong não kết nối với nhau qua các đường truyền thần kinh Hình 1 1 Tếbào thần kinh sinh học (trái) và mô hình toán học nơ-ron (phải) mô tả mô hìnhsinh học của một tế bào thần kinh và mô hình toán học tương ứng của nó Bêntrong não, tồn tại các khu vực khác nhau để xử lý các nhiệm vụ cụ thể, có thểđược hình thành thông qua các kết nối vật lý trong não hoặc thông qua quá trìnhhọc hỏi.
Hình 1.1 Tế bào thần kinh sinh học (trái) và mô hình toán học nơ-ron (phải) [2]
Các nhà khoa học đã cố gắng mô hình hóa một mạng lưới thần kinh dựatrên hoạt động của não bộ con người Một mạng lưới thần kinh thường bao gồm
Trang 25nhiều lớp tế bào thần kinh riêng biệt Trong mạng nơ-ron nhân tạo, lớp phổ biếnnhất là lớp kết nối đầy đủ (fully connected layer) Hình 1.2 thể hiện cấu trúc củamột tế bào thần kinh được kết nối đầy đủ.
Hình 1.2 Lớp được thiết kế đầy đủ mô phỏng hoạt động của não [3]
Nếu một mạng thần kinh có N lớp sẽ có 1 lớp đầu ra và N-1 lớp ẩn trong đókhông bao gồm lớp đầu vào Mỗi kết nối có trọng số và ngưỡng kích hoạt khácnhau Mỗi nút có một hàm đầu vào (thường là một hàm tuyến tính với trọng số làbiến của nó), một hàm kích hoạt đầu ra và một hàm đầu ra, được thể hiện theophương trình (1.1) dưới đây:
Sau đó, đầu ra (Z) được chuyển vào một hàm kích hoạt trả về giá trị cuốicùng cho nút mạng Các hàm kích hoạt thường phi tuyến và một trong nhữnghàm thường được sử dụng là hàm Sigmoid, công thức được mô tả như trongphương trình (1.2).
Trang 26Hình 1.3 So sánh mạng nơ-ron thông thường (trái) và mạng nơ-ron tích chập(phải) [4]
b) Kiến trúc mạng
CNN được hình thành từ một chuỗi các lớp, mỗi lớp trong CNN sẽ chuyểnđổi dữ liệu từ một khối kích hoạt sang lớp khác thông qua một chức năng đặcbiệt [5] Cấu trúc của mạng nơ-ron tích chập bao gồm 3 lớp chính: lớp tích chập(convolutional layer), lớp tổng hợp (pooling layer) và lớp kết nối đầy đủ (fullyconnected layer) Những lớp này được tổ chức xếp chồng lên nhau để tạo thànhmột cấu trúc của một mạng lưới thần kinh tích chập Thứ tự sắp xếp và số lượngcác lớp là khác nhau để phù hợp với từng mô hình và mục đích giải quyết cácvấn đề khác nhau Hình 1.4 biểu diễn một mô hình CNN đơn giản.
Hình 1.4 Kiến trúc mạng CNN [5]
Lớp tích chập
Lớp tích chập là thành phần quan trọng nhất của CNN, chuyên dùng đểtrích xuất các đặc trưng đầu vào, thường là hình ảnh Quá trình này thực hiện tínhtoán đầu ra dựa trên mối liên kết giữa các nơ-ron và đầu vào thông qua một matrận nhân Qua nhiều lớp tích chập, kích thước ảnh giảm đi nhưng số lượng kênh(chiều sâu) tăng lên, giúp CNN nhận dạng hình ảnh hiệu quả hơn
Hình ảnh 1.5 mô tả rõ hơn hoạt động của một toán tử tích chập với ảnh đầuvào RGB.
Trang 27Hình 1.5 Toán tử CNN với ảnh RGB [2]
Mỗi bộ lọc học các đặc điểm khác nhau của hình ảnh, và một lớp tích chậpthường có nhiều bộ lọc với kích thước F để trích xuất nhiều đặc trưng Kết quảđầu ra của mỗi lớp tích chập với K bộ lọc được biểu diễn bằng một tensor 3chiều, kích thước được biểu diễn như công thức (1.3):
(H−F +2 PS +1)∗(W −F+2 PS )∗K(1.3)
Trên bản đồ đặc trưng sẽ có các hàm kích hoạt tại mọi điểm và kích thướccủa bản đồ đặc trưng không thay đổi khi đi qua hàm kích hoạt Trong mạng nơ-ron tích chập, hàm kích hoạt được sử dụng nhiều nhất là hàm ReLU được địnhnghĩa bởi phương trình (1.4).
Trang 28Hình 1.6 Nguyên lý làm việc của lớp tổng hợp [2]
Theo giả thuyết, bộ lọc tổng hợp có kích thước K*K Kích thước của đầuvào lớp tổng hợp là H*W*D Với mỗi ma trận, trên vùng K*K chúng ta tìm đượcgiá trị lớn nhất (gộp tối đa) hoặc trung bình (gộp trung bình) và đặt các giá trị đóvào ma trận kết quả.
Mạng CNN với nhiều bản đồ đặc trưng nên sẽ có các lớp tổng hợp riêngbiệt Phương pháp này giúp xác định đặc trưng có giá trị lớn nhất trong từng khuvực, đóng góp vào quá trình học và xác định đặc trưng của mô hình.
Lớp kết nối đầy đủ
Chúng ta có thể thấy được lớp kết nối đầy đủ hoạt động giống như mộtmạng thần kinh thông thường: các tế bào thần kinh này được kết nối với tất cảcác tế bào thần kinh trong lớp tiếp theo (Hình 1.7).
Hình 1.7 Lớp kết nối đầy đủ [2]
Các lớp kết nối đầy đủ lấy bản đồ đặc trưng được thu thập từ tính năng tríchxuất đặc trưng trong quy trình tích chập trước đó Trong bài toán phân loại, hàmkích hoạt softmax được sử dụng tại lớp kết nối đầy đủ cuối cùng để đưa ra kếtquả xác suất cho mỗi lớp được phân loại
1.2 CNN trong bài toán phát hiện đối tượng
CNN đóng vai trò quan trọng trong việc giải quyết bài toán phát hiện đốitượng, nơi mục tiêu là xác định và định vị trí của các đối tượng trong ảnh.
Trang 291.2.1 Một số kiến trúc CNN trong bài toán phát hiện đối tượng
1.2.1.1 R-CNN
R-CNN (Region-based CNN): là một phương pháp tiếp cận hai giai đoạntrong phát hiện đối tượng được giới thiệu vào năm 2014 [6] R-CNN gồm 3 giaiđoạn chính:
Vùng đề xuất hình ảnh (Region proposal): đây là vùng có khả năng chứađối tượng hay những đặc điểm quan trọng của hình ảnh được trích xuấtbằng thuật toán tìm kiếm lựa chọn (selective search).
Trích xuất đặc trưng (Feature Extractor): dùng để trích xuất các đặc trưng,nhận diện hình ảnh từ vùng đề xuất thông qua các mạng tích chập sâu. Phân loại (Classifier): giúp phân loại hình ảnh chứa trong vùng đề xuất về
đúng nhãn dán của nó.
Mặc dù R-CNN mang lại độ chính xác cao, nhưng tốc độ xử lý chậm dophải xử lý từng đề xuất độc lập.
Hình 1.8 Sơ đồ pipeline xử lý trong mô hình mạng R-CNN [6]
Hình 1.8 biểu diễn sơ đồ xử lý trong mô hình mạng R-CNN Có thể thấy tạibước trích xuất đặc trưng có thể có nhiều vùng đề xuất Tiếp theo, sử dụng mộtmạng tích chập sâu để tính toán các đặc trưng và trả về kết quả dự báo các nhãn.
1.2.1.2 YOLO
YOLO (You Only Look Once) đề xuất sử dụng mạng nơ-ron end-to-end,thực hiện dự đoán các bounding box và xác suất các lớp (class probabilities)cùng 1 lúc (One-State detection) Điều này khác biệt hoàn toàn với cách tiếp cậncủa các thuật toán phát hiện đối tượng vốn sử dụng lại các bộ phân loại trước đó.
Trang 30Hình 1.9 Kiến trúc One-stage detector [9]
Khác với R-CNN sử dụng mạng đề xuất khu vực để phát hiện các vùngquan tâm trước khi nhận dạng, YOLO thực hiện tất cả các dự đoán chỉ với mộtlần lặp duy nhất, dựa vào một lớp kết nối đầy đủ Điều này giúp YOLO tiết kiệmthời gian và tăng hiệu suất.
1.2.2 Ứng dụng CNN trong bài toán phát hiện đối tượng
Bài toán phát hiện đối tượng có trong hình ảnh và video ngày càng trở nênphổ biến và có vai trò quan trọng trong nhiều lĩnh vực từ y tế, an ninh đến giáodục Gần đây, CNN đã trở thành một công cụ mạnh mẽ cho việc giải quyếtnhững bài toán này, mang lại nhiều ưu điểm và cải thiện đáng kể hiệu suất củacác hệ thống phát hiện Dưới đây là một số ứng dụng quan trọng của CNN trongbài toán phát hiện.
Phát hiện khuôn mặt: là một trong những bài toán kinh điển nhất củaphát hiện đối tượng Việc phát hiện khuôn mặt có thể có nhiều ứngdụng khác nhau, nổi bật có thể kể đến như các hệ thống xác thựckhuôn mặt.
Trong lĩnh vực an toàn, an ninh: Năm 2022, K Gayathri và các cộngsự [10] đã phát triển hệ thống phát hiện đám cháy rừng sử dụng mạngCNN
1.3 CNN trong bài toán phân loại
Mạng nơ-ron tích chập (CNN) đã trở thành công cụ quan trọng trong việcphân loại dữ liệu không gian, đặc biệt là trong lĩnh vực xử lý ảnh và video CNNkhông chỉ hiệu quả trong xử lý dữ liệu hình ảnh đơn giản mà còn linh hoạt trongxử lý dữ liệu đa dạng, phức tạp như video và ảnh y khoa.
1.3.1 Một số kiến trúc CNN trong bài toán phân loại
1.3.1.1 LeNet
LeNet là kiến trúc CNN đầu tiên được thiết kế nhận dạng chữ viết tay Nóđược đề xuất bởi Yann LeCun, Leon Bottou, Yoshua Bengio và Patrick Haffnercuối những năm 1980 [11] LeNet bao gồm các lớp tích chập, lớp gộp, một lớpkết nối đầy đủ và bộ phân loại softmax
Trang 31Hình 1.10 Kiến trúc của LeNet [11]
1.3.1.2 MobileNet
MobileNet là một mô hình mạng nơ-ron tích chập nhẹ, được thiết kế đặcbiệt để tối ưu hóa tốc độ và hiệu suất trên các thiết bị di động và nhúng Mô hìnhnày sử dụng các phép tích chập theo chiều sâu và kết hợp các tích chập theo điểm(1x1 convolution) để giảm số lượng tính toán và tham số cần thiết, đồng thời vẫngiữ được các đặc điểm quan trọng của đầu vào MobileNet nhẹ hơn nhiều so vớicác mạng CNN truyền thống, phù hợp với các môi trường hạn chế tài nguyênnhư điện thoại thông minh và thiết bị IoT.
Hình 1.11 Ứng dụng của MobileNet trên các thiết bị thông minh1.3.2 Ứng dụng CNN trong bài toán phân loại
CNN đã được ứng dụng trong nhiều bài toán phân loại thực tế từ phân loạihình ảnh y học đến việc phân loại vệ tinh và nhận diện khuôn mặt.
Trong làm đẹp, thẩm mỹ
CNN được sử dụng để phân loại 4 loại da dầu, da, khô, da bình thường vàda hỗn hợp giúp đề xuất sản phẩm làm đẹp phù hợp [14].
Trang 321.4 CNN trong bài toán phân vùng
Ngoài hiệu quả trong bài toán phân loại, CNN còn đóng vai trò quan trọngtrong việc tự động trích xuất đặc trưng và phân vùng các vùng trong hình ảnh.
1.4.1 Một số kiến trúc CNN trong bài toán phân vùng
1.4.1.1 YOLOv8 Instance Segmentation
Trong vài năm qua, nhiều nhà nghiên cứu đã ưa chuộng dòng YOLO vì khảnăng phát hiện đối tượng theo thời gian thực Là thuật toán tiên tiến của dòngYOLO, YOLOv8 Instance Segmentation [49] vượt trội so với YOLO tiền nhiệmvề tốc độ và độ chính xác với kiến trúc phân vùng hình ảnh, kết hợp các đặctrưng từ các tầng của mạng backbone để nhận diện và phân vùng đối tượng Nóduy trì khả năng xử lý thời gian thực với độ chính xác cao, phù hợp cho các ứngdụng yêu cầu tốc độ và hiệu quả như giám sát an ninh và xe tự lái.
1.4.1.2 UNET
UNet là một kiến trúc mạng nơ-ron tích chập (CNN) phổ biến được thiết kếđặc biệt cho bài toán phân vùng hình ảnh, đặc biệt là trong lĩnh vực y học UNetđã được giới thiệu lần đầu bởi Olaf Ronneberger và cộng sự trong bài báo năm2015 [46].
Hình 1.12 Hình dạng kiến trúc UNET để phát hiện nếp nhăn được Semin Kim vàcộng sự đề xuất [47]
UNet có cấu trúc hình chữ U, chia thành hai phần chính: phần giảm mẫu vàphần tăng mẫu Trong phần giảm mẫu, hình ảnh được xử lý qua các lớp tích chậpvà giảm mẫu (pooling) để trích xuất các đặc trưng Phần tăng mẫu bao gồm cáclớp giải tích (upconvolution) và tích chập để khôi phục độ phân giải và tạo mặtnạ phân vùng Các kết nối chuyển tiếp (skip connections) giữa các tầng giúp bảotoàn thông tin và cải thiện chất lượng phân vùng.
Trang 331.4.2 Ứng dụng CNN trong bài toán phân vùng
Phân vùng y tế: Trong lĩnh vực y học, CNN được sử dụng để phân vùngcác cơ quan hoặc mô từ hình ảnh y tế như MRI, CT, hoặc X-quang Năm2016, Liskowski, Paweł, và Krzysztof Krawiec [48] đã sử dụng CNN đểphân chia mạch máu ở vòng mạc.
Phân vùng đối tượng: Trong thị giác máy tính, CNN được sử dụng đểphân vùng và nhận dạng các đối tượng trong hình ảnh Năm 2022, nhómUltralystic đã phát triển và giới thiệu Yolov8 segmentation [49] đượchuấn luyện trên tập dữ liệu Coco Dataset có thể phân vùng 80 đối tượngtrong hình ảnh hoặc video.
1.5 Tăng cường dữ liệu
Tăng cường dữ liệu là một kỹ thuật quan trọng trong học máy và học sâuvới mục đích là tăng lượng dữ liệu huấn luyện bằng cách tạo ra các biến đổi củadữ liệu gốc Điều này giúp mô hình học tốt hơn và ngăn chặn việc học quá mứctrên tập dữ liệu hạn chế.
1.5.1 Kỹ thuật tăng cường dữ liệu truyền thống
Một số kỹ thuật tăng cường dữ liệu phổ biến trong thị giác máy tính baogồm:
• Tăng cường vị trí (Position Augmentation)
o Xoay (Rotation): Quay ảnh theo một góc nào đó giúp cho mô hìnhnhận biết các đặc trưng từ nhiều hướng khác nhau.
o Lật (Flipping): Lật ảnh theo chiều ngang hoặc theo chiều dọc.Phương pháp này giúp cho mô hình học được các biểu diễn đốixứng.
o Phóng to và cắt ảnh (Zoom and Crop): Phóng to hoặc thu nhỏ mộtphần của ảnh, sau đó cắt ảnh để có kích thước mong muốn Điều nàygiúp cho mô hình học được các biến đổi trong tỷ lệ.
• Tăng cường màu sắc (Color Augumentation)
Đổi màu (Color Jittering): Thay đổi màu sắc của ảnh bằng cách thêm hoặcgiảm độ sáng, độ tương phản hoặc thay đổi các thành phần màu RGB.
1.6 Kết luận
Chương 1 trình bày khái niệm về học sâu, các kiến trúc học sâu phổ biếnbao gồm ANN, CNN và các ứng dụng của CNN trong bài toán như: phát hiện đốitượng bài toán phân loại, bài toán phân vùng Ngoài ra, tổng quan về các kỹ thuậttăng cường dữ liệu cũng được trình bày
Trang 34CHƯƠNG 2 KHẢO SÁT VÀ PHÂN TÍCH CÁC MÔ HÌNH PHÁT HIỆNKHUÔN MẶT, PHÂN LOẠI, PHÂN VÙNG, TĂNG CƯỜNG DỮ LIỆU VÀ
CÔNG CỤ XÂY DỰNG MÔ HÌNH AI TRÊN DI ĐỘNG
Chương 2 khảo sát các phương pháp phát hiện khuôn mặt truyền thống vàcác phương pháp sử dụng học sâu với độ chính xác cao Ngoài ra, các phươngpháp phân loại/ phân vùng cho các bài toán về bệnh trên da và phân loại mức độnghiêm trọng cho 3 vấn đề da bao gồm sắc tố da, nếp nhăn và lỗ chân lông cũngđược giới thiệu Chương 2 còn trình bày các phương pháp tăng cường dữ liệugồm phương pháp xoay, lật Cuối cùng chương 2 sẽ khảo sát các framework hỗtrợ xây dựng các mô hình AI trên nền tảng di động.
2.1 Tổng quan phát hiện khuôn mặt
Phát hiện đối tượng nhằm định vị và phân loại các đối tượng trong ảnh,video là một phần quan trọng trong lĩnh vực trí tuệ nhân tạo Các phương pháptruyền thống như SIFT [17] và HOG thường được sử dụng Tuy nhiên, cácphương pháp như Deformable Part Models (DPM) đã thành công khi kết hợptính năng thủ công và SVM
Sự xuất hiện của AlexNet vào năm 2012 mở ra một kỷ nguyên mới cho họcsâu, làm cho các phương pháp truyền thống như R-CNN và Fast R-CNN trở nênlạc hậu Trong khi đó, các phương pháp một giai đoạn như YOLO và SSD đượcgiới thiệu để giảm độ trễ Việc phát triển các bộ dữ liệu như WIDER FACE vớinhiều hình ảnh và nhãn dán đã thúc đẩy sự tiến bộ trong phát hiện khuôn mặt, cóứng dụng quan trọng trong bảo mật an ninh, y tế, …
Trong nghiên cứu phân loại vấn đề da mặt, phát hiện và nhận dạng khuônmặt chính xác giúp tăng hiệu quả trong việc phân tích các đặc trưng da mặt Môhình phát hiện khuôn mặt với bounding box chuẩn, loại bỏ các phần đặc trưng dưthừa như tóc hay phông nền, tập trung vào các vùng da quan trọng như da mặt,vùng da quanh mắt, trán và cằm Điều này giúp tăng độ chính xác và đáng tin cậytrong việc phân loại và phân vùng các vấn đề da mặt như sắc tố, nếp nhăn và lỗchân lông.
Phần tiếp theo sẽ đi sâu vào khảo sát các nghiên cứu đã được công bố đốivới bài toán phát hiện khuôn mặt.
2.2 Khảo sát phương pháp phát hiện khuôn mặt2.2.1 Phương pháp truyền thống
*) Viola Jones Face detection Algorithm
Paul Viola và Michael J.Jones [18] đã đề xuất một phương pháp phát hiệnkhuôn mặt có tên Viola-Jones Phương pháp sử dụng “Haar-like features” và họcmáy AdaBoost để phát hiện khuôn mặt nhanh chóng
Trang 35Ưu điểm: Xác định khuôn mặt nhanh chóng và hiệu quả trên dữ liệu thời gianthực.
Nhược điểm: Mô hình có thể không chính xác trên tập dữ liệu hình ảnh cóbiến đổi đa dạng và không có khả năng phát hiện các khuôn mặt giả.
2.2.2 Phương pháp dựa trên Deep Learing
2.2.2.1 Mô hình một giai đoạn
Raphael Feraud và cộng sự [19] đề xuất một phương pháp mới để nhận diệnkhuôn mặt sử dụng mô hình mạng lưới thần kinh gọi là "Constrained generativemodel" (CGM) CGM là một loại perceptron đa lớp được đào tạo để giảm kíchthước phi tuyến, tạo ra một mô hình tổng quát cho khuôn mặt Để đạt được tínhnăng phát hiện khuôn mặt ở nhiều góc độ, nhiều CGM được kết hợp thông quahỗn hợp có điều kiện và mạng cổng MLP.
RetinaFace
Trong bài báo "RetinaFace: Single-stage Dense Face Location in the Wild",Jiabkang Deng và đồng nghiệp giới thiệu một thiết kế mới gọi là RetinaFace, sửdụng chiến lược học tập đa tác vụ để dự đoán các thông tin như điểm số khuônmặt, bounding box, landmark 5 điểm trên khuôn mặt, và vị trí 3D của từng pixeltrên khuôn mặt Trên tập con hard của bộ dữ liệu WIDER FACE, RetinaFace đạtđộ chính xác vượt trội hơn phương pháp hai giai đoạn ISRN khoảng 1.1% (AP là91.4%) Mô hình RetinaFace cung cấp hai phiên bản sử dụng hai mạng khácnhau: RestNet152 và MobileNetV1-0.25, với mục đích là đạt độ chính xác cao vàhoạt động nhanh trên thiết bị di động.
Hình 2.13 Tổng quan về phương pháp RetinaFace được đề xuất [21]
Ưu điểm: Mô hình có khả năng nhận diện đặc trưng khuôn mặt một cáchchính xác bao gồm các điều kiện có ánh sáng khó khăn như quá sáng hoặc quátối Mô hình dùng RestinaFace sử MobileNetV1-0.25 làm backbone có kíchthước nhỏ gọn, tiết kiệm tài nguyên lưu trữ và có thể chạy trên các thiết bị có tàinguyên hạn chế
Nhược điểm: Mô hình gặp khó khăn trong một số trường hợp khuôn mặt bịche phủ Đối với mô hình xây dựng trên RestNet152 mặc dù có độ chính xác caonhưng yêu cầu tài nguyên tính toán cao do đó có thể gây ra tình trạng quá tải nếu
Trang 36chạy trên các thiết bị có tài nguyên hạn chế, tốc độ xử lý chậm hơn mô hình nhỏgọn MobilenetV1-0.25.
YOLO-Face
Delong Qi và đồng nghiệp đã giới thiệu một mô hình nhận dạng khuôn mặt[51] Mô hình này được phát triển dựa trên trình phát hiện đối tượng YOLOv5 vàđược mở rộng bằng việc thêm 5 điểm landmark để phát hiện khuôn mặt Tác giảđã thiết kế các mô hình phát hiện với kích thước khác nhau từ mô hình lớn đếnmô hình siêu nhỏ để đáp ứng nhu cầu của nhiều ứng dụng khác nhau, từ hiệu suấttốt nhất đến phát hiện khuôn mặt theo thời gian thực trên các thiết bị nhúng hoặcđiện thoại di động Trên bộ dữ liệu WIDER FACE, các mô hình đã đạt được độchính xác cao từ 71.39% đến 96.06% trên các tập Easy, Medium và Hard, với môhình siêu nhỏ đạt từ 24.18% đến 93.78% trên các tập tương ứng Kết quả thửnghiệm cho thấy mô hình đề xuất có hiệu suất tiên tiến và cân bằng giữa độ chínhxác và tốc độ trên ba tập con Easy, Medium và Hard của WIDER FACE Hình2.2 mô tả kiến trúc mạng YOLO5-Face được đề xuất.
Hình 2.14 Kiến trúc mạng YOLO5-Face được đề xuất [25]
Ưu điểm: Phương pháp này đạt độ chính xác cao trên bộ dữ liệu khuôn mặtkhó khăn WIDER FACE Tạo ra 8 mô hình từ lớn đến nhỏ để phát hiện khuônmặt theo thời gian thực trên các thiết bị có tài nguyên hạn chế Sử dụng landmarkregression giúp cải thiện chất lượng phát hiện khuôn mặt, và hàm mất mát địnhvị các điểm landmark một cách hiệu quả và chính xác.
Nhược điểm: Khả năng tổng quát hoá hạn chế trên các bộ dữ liệu khác, yêucầu tài nguyên tính toán cao đối với các mô hình lớn, độ phức tạp trong huấnluyện và triển khai mô hình, cũng như độ chính xác còn hạn chế trên tập Hardcủa WIDER FACE Thời gian huấn luyện cũng có thể dài và việc lựa chọn phiênbản phù hợp đòi hỏi kỹ năng chuyên môn.
Trang 372.2.2.2 So sánh một số mô hình phát hiện khuôn mặt nhanh và nhẹ
Bảng 2 1 Khảo sát mô hình phát hiện khuôn mặt nhẹ mô tả độ chính xáccủa các mô hình phát hiện khuôn mặt trên tập test của bộ dữ liệu WIDER FACE.
Bảng 2.1 Khảo sát mô hình phát hiện khuôn mặt nhẹ [24]
Depth-wise Conv
Basic Res93.7892.1677.870.672.53Yolov5nShuffleNetv293.7491.5480.321.7262.111YOLOv5n-
2.3 Tổng quan phân loại và phân vùng các vấn đề da trên khuôn mặt
Công nghệ đã thay đổi lĩnh vực chăm sóc da, khi các spa sử dụng máy móchiện đại như máy phân tích da 3D, máy phân tích da UV, và máy phân tích damultispectral để cung cấp khách hàng cái nhìn sâu hơn về tình trạng da của họ.Đồng thời, trí tuệ nhân tạo và học sâu đã mở ra kỷ nguyên mới trong việc phântích da, khi các mô hình có thể phân loại các loại bệnh da khác nhau từ hình ảnhda, giúp phát hiện sớm các trường hợp ung thư da và các vấn đề khác.
Trong đồ án này, các mô hình được phát triển để phân loại mức độ nghiêmtrọng của vấn đề da mặt dựa trên hình ảnh khuôn mặt con người đồng thời phânvùng những vùng da có vấn đề đó Đặc biệt, đồ án đề xuất mô hình có khả nănghoạt động trên cả thiết bị di động, mang lại tính tiện lợi và linh hoạt cho ngườidùng.
2.4 Khảo sát phương pháp phân loại và phân vùng các vấn đề da2.4.1 Khảo sát phương pháp phân loại bệnh da
Phân loại bệnh trên da sử dụng MobileNet
Trong năm 2019, Jessica Velasco và cộng sự [27] đã phát triển một mô hìnhđể phân loại 7 loại bệnh trên da bao gồm: Psoriasis, Acne, Vitiligo, Pityriasisrosea, Chickenpox, Eczema và Tinea Corporis sử dụng mô hình MobileNet.
Nhóm tác giả đã sử dụng mô hình MobileNet đã được đào tạo trước trên bộdữ liệu ImageNet Các tác giả huấn luyện và tinh chỉnh lớp cuối cùng của môhình với tập dữ liệu của họ Các siêu tham số được sử dụng là: learning rate là0.0001, hàm kích hoạt softmax, sử dụng hàm mất mát là crossentropy, hàm tối ưulà Adam và được đào tạo với 30 epochs Sau khi áp dụng oversampling technique
Trang 38và tăng cường dữ liệu để xử lý tập dữ liệu mất cân bằng, độ chính xác của môhình đạt 94.4%.
Ưu điểm:Mô hình MobileNet nhẹ và hiệu quả, phù hợp cho các thiết bị cótài nguyên tính toán hạn chế Kết quả đạt độ chính xác cao (94.4%) nhờ kỹ thuậttăng cường dữ liệu và oversampling, giúp cải thiện khả năng phân loại Quá trìnhhuấn luyện mô hình cũng được tối ưu hóa với các siêu tham số hợp lý, sử dụnghàm mất mát crossentropy và hàm tối ưu Adam.
Nhược điểm: Dự án phụ thuộc vào kỹ thuật tiền xử lý như lấy mẫu quá mứcvà tăng cường dữ liệu trên tập dữ liệu không cân bằng, dẫn đến mô hình khônghiệu quả trong các lớp thiểu số và ảnh hưởng đến độ chính xác và tin cậy của kếtquả phân loại.
Phân loại bệnh trên da sử dụng EfficientNet
Năm 2021, Rashidul Hasan Hridoy và cộng sự [28] đã sử dụng EfficientNetđể phân loại 21 bệnh về da.
Tập dataset gồm 6300 ảnh về các loại bệnh trên da, sau đó được tăng cườngdữ liệu với phương pháp như xoay, lật, dịch và phóng to để thu được 52500 ảnh.Mỗi lớp được chia thành 2000 ảnh train, 200 ảnh val và 100 ảnh test trước khiđược đưa vào mô hình EfficientNet để phân loại Nghiên cứu thử nghiệm trêncác phiên bản từ B0 đến B7 của EfficientNet để so sánh hiệu suất và độ chínhxác của từng mô hình Mô hình đề xuất sử dụng softmax làm hàm kích hoạt ở lớpcuối, cross-entropy loss, và phương pháp "early stop" với patience là 5 và lossthay đổi thấp nhất là 0.001 Adam được sử dụng làm hàm tối ưu với tỷ lệ học là0.001 và batch size là 16.
Hình 2.3 mô tả độ chính xác trong quá trình huấn luyện và kiểm tra cho tấtcả các phiên bản khác nhau của mô hình EfficientNet Trong đó, EfficientNet-B7đạt được độ chính xác cao nhất trên cả tập dữ liệu huấn luyện và kiểm tra Môhình EfficientNet-B0 đã đạt độ chính xác 94.18% trên tập train và 93.35% trêntập test trong khi số lượng tham số và thời gian đào tạo thấp nhất.
Trang 39Hình 2.15 Kết quả trên các phiên bản khác nhau của EfficientNet [28]2.4.2 Khảo sát phương pháp phân vùng sắc tố da, nếp nhăn và lỗ chân lông
Phân vùng nếp nhăn vùng trán và vùng mắt trên khuôn mặt sử dụng mô hìnhUNET
Năm 2023, Semin Kim và cộng sự [47] đã phát triển mô hình UNET dùngcho phân vùng nếp nhăn vùng trán và vùng mắt trên khuôn mặt Đầu tiên, họ đãloại bỏ những vùng trên khuôn mặt không cần thiết như nền, mắt, lông mi, mũiđể giúp mô hình có thể học tốt hơn Cái đặc biệt trong phương pháp đề xuất củahọ là họ sử dụng giám sát sâu có trọng số (những trọng số này đã được họ tìm ravà chứng minh được rằng mô hình họ đề xuất cho kết quả tốt hơn những phươngpháp như sử dụng bộ lọc Hessian,…).
Bảng 2.2 So sánh chỉ số JSI cho từng phương pháp [47]
Hạn chế: trong phương pháp mà họ đề xuất chỉ thực hiện phát hiện những đường nếp nhăn ở vùng trán và vùng mắt.
Phân vùng đồng thời nếp nhăn vùng trán và vùng mắt và từng lỗ chânlông trên vùng má và mũi sử dụng UNET
Sau khi đã đạt được những kết quả nhất định từ nghiên cứu trước đó đượcđề cập ở trên, Semin Kim và cộng sự [52] đã tiếp tục phát triển mô hình UNETđể có thể phân vùng đồng thời những đường nếp nhăn trên khuôn mặt (vùng tránvà vùng mắt) và từng lỗ chân lông to ở vùng má và mũi Do vị trí của nếp nhăn
Trang 40và lỗ chân lông đã được xác định từ trước, vì vậy mà để mô hình có thể học tốthơn họ đã đề xuất sử dụng cơ chế chú ý cho từng vấn đề da này theo những vùngchỉ định cho trước Trong bài báo, họ cũng đã đề xuất công thức để xử lý ảnh chotừng vấn đề da là nếp nhăn và lỗ chân lông to sử dụng bộ lọc như Hessian, Gaus.Nhờ đó, mà phương pháp mà họ đề xuất đã đạt được kết quả tốt hơn so với sửdụng mô hình UNET thông thường.
Bảng 2.4 So sánh độ chính xác phân vùng sắc tố võng mạc [53]
Phương pháp mà họ đề xuất khi so sánh với các mô hình khác như UNETcho thấy được các chỉ số đánh giá cao hơn, kết quả trả về tốt hơn.
2.4.3 Khảo sát phương pháp phân loại sắc tố da, nếp nhăn và lỗ chân lông
Phân loại mức độ nghiêm trọng của nếp nhăn và đốm trên da sử dụng mô hình ResNet
Năm 2022, Tsai-Rong Chang và cộng sự [30] đã phát triển công cụ chẩnđoán mức độ nghiêm trọng của nếp nhăn và đốm trên da mặt Cụ thể đối với nếpnhăn, họ đã chia ra làm 3 vùng nhăn trán, nhăn mắt và nhăn má, mức độ nghiêmtrọng của nếp nhăn sẽ được chia làm 5 cấp độ và đốm chia làm 4 cấp độ.
Để giảm các đặc trưng dư thừa trong quá trình huấn luyện, nhóm tác giả đãsử dụng thư viện dlib kết hợp với 81 điểm landmark để chia khuôn mặt thành 3