43 Trang 15 DANH MỤC CÁC TỪ VIẾT TẮT STT Từ viết tắt Tên dầy đủ 1 CNN Convolutional Neural Network 2 NV Melanocytic Nevi 3 MEL Melanoma 4 BKL Benign Keratosis 5 BCC Basal Cell Carcinoma
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHĨA LUẬN TỐT NGHIỆP NGÀNH CNKT Y SINH THIẾT KẾ ỨNG DỤNG HỖ TRỢ NHẬN BIẾT TỔN THƯƠNG DA SỬ DỤNG DEEP LEARNING GVHD: TS NGUYỄN MẠNH HÙNG SVTH : KHUẤT THU UYÊN LÊ ĐẶNG ĐĂNG KHOA SKL011415 Tp Hồ Chí Minh, tháng 7/2023 BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH - ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ THUẬT Y SINH ĐỀ TÀI: THIẾT KẾ ỨNG DỤNG HỖ TRỢ NHẬN BIẾT TỔN THƯƠNG DA SỬ DỤNG DEEP LEARNING GVHD: TS Nguyễn Mạnh Hùng SVTH: Khuất Thu Uyên MSSV: 1929065 SVTH: Lê Đặng Đăng Khoa MSSV: 19129006 Tp Hồ Chí Minh - 07/2023 TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN-ĐIỆN TỬ ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH o0o -TP HCM, ngày 03 tháng 07 năm 2023 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Khuất Thu Uyên MSSV: 19129065 Họ tên sinh viên 2: Lê Đặng Đăng Khoa MSSV: 19129006 Chuyên ngành: Kỹ thuật Y sinh Mã ngành: 7520212 Hệ đào tạo: Đại học quy Mã hệ: Khóa: 2019 Lớp: 191290 TÊN ĐỀ TÀI: THIẾT KẾ ỨNG DỤNG NHẬN BIẾT TỔN THƯƠNG DA I SỬ DỤNG DEEP LEARNING II NHIỆM VỤ: Các số liệu ban đầu: - Ngôn ngữ sử dụng: Python - Bộ liệu tổn thương da lấy từ ISIC 2018 - Mơ hình mạng MFSNet để phân đoạn vùng da bị tổn thương - Mơ hình pre-train Efficient_v2, swin_v2 để phân loại loại tổn thương da - Thiết kế giao diện người dùng với thư viện Tkinter Nội dung thực hiện: - Nội dung 1: Khảo sát liệu - Nội dung 2: Thiết kế thi công thiết bị mô - Nội dung 3: Xử lý ảnh nhằm loại bỏ nhiễu lơng, tóc - Nội dung 4: Xây dựng mơ hình phân đoạn vùng tổn thương da - Nội dung 5: Tính tốn diện tích tổn thương sau phân đoạn - Nội dung 6: Xậy dựng mơ hình phân loại tổn thương da - Nội dung 7: Lập trình ứng dụng hỗ trợ nhận biết tổn thương da, đóng gói ứng dụng thành tệp thực thi chạy máy tính hệ điều hành Windows i - Nội dung 8: Viết báo cáo III NGÀY GIAO NHIỆM VỤ: 20/02/2023 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 03/07/2023 V HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: TS Nguyễn Mạnh Hùng CÁN BỘ HƯỚNG DẪN BM ĐIỆN TỬ CÔNG NGHIỆP – Y SINH ii TRƯỜNG ĐH SPKT TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN-ĐIỆN TỬ ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH o0o -TP HCM, ngày 03 tháng 07 năm 2023 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Khuất Thu Uyên Lớp: 191290C MSSV: 19129065 MSSV: 19129006 Họ tên sinh viên 2: Lê Đặng Đăng Khoa Lớp: 191290B Tên đề tài: THIẾT KẾ ỨNG DỤNG HỖ TRỢ NHẬN BIẾT TỔN THƯƠNG DA SỬ DỤNG DEEP LEARNING Tuần/ngày Nội dung cần thực Xác nhận GVHD Tuần (20/02-27/02) Tuần - Gặp GVHD để nghe phổ biến yêu cầu thực đồ án, tiến hành chọn đề tài - GVHD tiến hành xét duyệt đề tài - Tiến hành viết đề cương cho đề tài chọn (27/02-06/03) - Nộp đề cương ĐATN Tuần (06/03-13/03) - Viết tóm tắt yêu cầu đề tài chọn: mục tiêu, nội dung thực hiện, thông số giới hạn đề tài - Khảo sát liệu ISIC 2018 iii Tuần/ngày Nội dung cần thực Xác nhận GVHD Tuần (13/03-20/03) Tuần - Tìm hiểu mơ hình MFSNet, Efficientnet Swin_v2 - Đo đạc, tính tốn kích thước cho thiết bị mơ - Thí nghiệm tính tốn hệ số diện tích pixel - Chạy thử nghiệm MFSNet với liệu ISIC 2018 (20/03-27/03) - Thiết kế hộp đựng thiết bị mô với Solidworks Tuần - Đánh giá mơ hình phân đoạn (27/03-03/04) - Tìm hiểu cách sử dụng thư viện Tkinter - Khảo sát yêu cầu thiết kế cho ứng dụng SkinAI Tuần (03/4-10/04) Tuần (10/04-17/04) Tuần (17/04-24/04) - Thiết kế giao diện người dùng với thư viện Tkinter - Thí nghiệm lựa chọn góc chiếu hệ thống LED - Thử nghiệm mơ hình pre-train khác nhau: Efficientnet_v2 _(s,m) swin_v2_(t,s,b) - Xây dựng phương pháp xử lý lơng tóc, tính diện tích - Đánh giá kết phương pháp xử lý lơng tóc tính diện tích vùng tổn thương Tuần 10 (24/04-01/05) - Báo cáo tiến độ với GVHD iv Tuần/ngày Nội dung cần thực Xác nhận GVHD Tuần 11-12 (01/05-14/05) - Hồn chỉnh thiết bị mơ - Tích hợp mơ hình Deep Learning xây dựng vào giao diện người dùng - Thiết kế mẫu kết khám bệnh thêm chức xuất kết khám bệnh cho ứng dụng Tuần 13-14 (14/05-28/05) - Hoàn thiện giao diện người dùng - Đóng gói ứng dụng, tạo tệp thực thi exe - Thử nghiệm với máy tính window khác Tuần 15 (28/05-04/06) Tuần 16-18 - Bắt đầu viết báo cáo - Hoàn thành báo cáo (04/06-02/07) - Nộp báo cáo cho GVHD xét duyệt chỉnh sửa GV HƯỚNG DẪN (Ký ghi rõ họ tên) v LỜI CAM ĐOAN Đề tài “Thiết kế ứng dụng hỗ trợ nhận biết số tổn thương da sử dụng Deep Learning” thực theo hướng dẫn TS Nguyễn Mạnh Hùng kết hợp với việc tham khảo tài liệu, không chép tài liệu hay cơng trình có trước Người thực đề tài Khuất Thu Uyên - Lê Đặng Đăng Khoa vi LỜI CẢM ƠN Lời đầu tiên, chúng em xin gửi lời cảm ơn chân thành đến quý thầy cô khoa Điện - Điện Tử đặc biệt môn Điện Tử Công Nghiệp - Y Sinh tạo điều kiện, truyền đạt kiến thức, kinh nghiệm quý báu cho chúng em suốt trình học tập Chúng em muốn gửi lời cảm ơn sâu sắc đến Thầy Nguyễn Mạnh Hùng, thầy người hướng dẫn trực tiếp xuyên suốt trình thực hiện, nhờ lời khuyên thầy mà việc thực đồ án diễn thuận lợi, tiến độ giao Chúng em xin gửi lời cảm ơn đặc biệt tới gia đình, bố mẹ hỗ trợ nhiều mặt tài tinh thần Do kinh nghiệm hạn chế, đề tài chắn gặp phải khơng thiếu sót mong nhận lời nhận xét quý thầy để đề tài trở nên hồn thiện Xin chân thành cảm ơn! Người thực đề tài Khuất Thu Uyên - Lê Đặng Đăng Khoa vii MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP I LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP III DANH MỤC CÁC TỪ VIẾT TẮT XIII TÓM TẮT XIV CHƯƠNG TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ 1.2 MỤC TIÊU 1.3 NỘI DUNG NGHIÊN CÚU 1.4 GIỚI HẠN 1.5 BỐ CỤC CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 TỔNG QUAN VỀ CÁC TỔN THƯƠNG DA 2.2 BÀI TOÁN PHÂN ĐOẠN 2.2.1 Phương pháp phân đoạn dựa kiến trúc MFSNet 2.2.2 Chỉ số đánh giá mơ hình phân đoạn 11 2.3 BÀI TOÁN PHÂN LOẠI 12 2.3.1 Một số mơ hình phân loại 12 2.3.2 Chỉ số đánh giá mơ hình phân loại 17 2.4 GIỚI THIỆU PHẦN MỀM .19 2.4.1 Thư viện Pytorch 19 2.4.2 Thư viện Tkinter 19 CHƯƠNG XÂY DỰNG MƠ HÌNH 22 3.1 BỘ DỮ LIỆU ISIC 2018 22 3.1.1 Bộ liệu ISIC 2018 cho nhiệm vụ phân đoạn .23 3.1.2 Bộ liệu ISIC 2018 cho nhiệm vụ phân loại 23 3.2 XỬ LÝ LOẠI BỎ LƠNG TĨC VÀ TÍNH DIỆN TÍCH VÙNG TỔN THƯƠNG 24 3.2.1 Phương pháp xử lý loại bỏ lơng tóc 24 3.2.2 Phương pháp tính diện tích vùng tổn thương 25 3.3 XÂY DỰNG MÔ HÌNH PHÂN ĐOẠN 26 3.3.1 Res2Net .27 3.3.2 Mô-đun RFB (Receptive Field Block) .28 3.3.3 Mô-đun Partial Decoder .29 3.3.4 Các nhánh RA (Reverse Attention) 30 3.3.5 Mô-đun Edge Convolution 31 viii