Nghiên cứu ứng dụng kỹ thuật học sâu phân tích tổn thương da hướng tới chuẩn đoán phân loại bệnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƢỜNG ĐẠI HỌC HỒNG ĐỨC LÊ ĐỨC THỌ NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT HỌC SÂU PHÂN TÍCH TỔN THƢƠNG DA HƢỚNG TỚI CHUẨN ĐOÁN PHÂN LOẠI BỆNH LUẬN VĂN THẠC SỸ CƠNG NGHỆ THƠNG TIN THANH HĨA – 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƢỜNG ĐẠI HỌC HỒNG ĐỨC LÊ ĐỨC THỌ NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT HỌC SÂU PHÂN TÍCH TỔN THƢƠNG DA HƢỚNG TỚI CHUẨN ĐOÁN PHÂN LOẠI BỆNH LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 8480101 Ngƣời hƣớng dẫn khoa học: TS Hồng Văn Dũng THANH HĨA – 2019 Danh sách Hội đồng chấm luận văn Thạc sĩ khoa học theo Quyết định số 1662/QĐ-ĐHHĐ ngày 17 tháng 10 năm 2019 Hiệu trƣởng Trƣờng Đại học Hồng Đức: i LỜI CAM ĐOAN Những nội dung luận văn thực hướng dẫn trực tiếp thầy giáo hướng dẫn TS Hoàng Văn Dũng Các tài liệu tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm công bố Tôi xin cam đoan luận văn khơng trùng lặp với khóa luận, luận văn, luận án cơng trình nghiên cứu công bố Ngƣời cam đoan Lê Đức Thọ ii LỜI CẢM ƠN Em xin chân thành cảm ơn quý thầy, cô khoa Công nghệ thông tin & Truyền thông trang bị cho em kiến thức tảng giúp em hồn thành tốt luận văn Cảm ơn bạn lớp chia sẻ kinh nghiệm hỗ trợ lúc làm luận văn Đặc biệt em xin chân thành cảm ơn thầy hƣớng dẫn, TS Hoàng Văn Dũng hỗ trợ em lúc thực luận văn Mặc dù cố gắng hết khả nhƣng tránh khỏi thiếu sót Rất mong nhận đƣợc góp ý q báu q thầy để hoàn chỉnh Ngƣời cảm ơn Lê Đức Thọ iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC .iii DANH SÁCH CÁC HÌNH vi DANH SÁCH CÁC BẢNG BIỂU viii DANH SÁCH CÁC CHỮ VIẾT TẮT ix MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nghiên cứu Nhiệm vụ giới hạn đề tài 3.1 Nhiệm vụ đề tài 3.2 Giới hạn đề tài Phƣơng pháp nghiên cứu Cấu trúc luận văn Chƣơng 1: TỔNG QUAN VỀ NHẬN DẠNG XỬ LÝ ẢNH VÀ HỌC MÁY 1.1 Một số kỹ thuật xử lý ảnh 1.1.1 Tổng quan xử lý ảnh 1.1.2 Một số loại ảnh 1.1.2.1 Ảnh số 1.1.2.2 Điểm ảnh 1.1.2.3 Mức xám ảnh 1.1.2.4 Độ phân giải ảnh 1.1.2.5 Một số dạng ảnh 1.1.3 Các thành phần hệ thống xử lý ảnh 1.1.4 Quá trình thu nhận xử lý ảnh 1.1.4.1 Thiết bị thu nhận ảnh 1.1.4.2 Hệ tọa độ màu 1.1.4.3 Lấy mẫu lƣợng tử hóa 1.1.5 Phƣơng pháp phát biên ảnh 1.1.5.1 Một số khái niệm 1.1.5.2 Kỹ thuật phát biên Gradient 1.1.5.3 Kỹ thuật phát biên Canny 10 iv 1.1.6 Phân vùng ảnh 11 1.2 Một số vấn đề học máy 11 1.2.1 Khái niệm học máy 11 1.2.2 Phân loại phƣơng pháp học máy 12 1.2.3 Ứng dụng học máy 13 1.3 Một số kỹ thuật nhận dạng mẫu 13 1.3.1 Tổng quan nhận dạng 13 1.3.2 Kỹ thuật trƣợt window nhận dạng 13 1.3.3 Huấn luyện mơ hình nhận dạng 16 1.4 Một số kỹ thuật học máy sử dụng nhận dạng 17 1.4.1 Máy vector hỗ trợ SVM 17 1.4.1.1 Giới thiệu 17 1.4.1.2 Phân loại tuyến tính 17 1.4.1.3 Phân loại tuyến tính lề mềm (Soft Margin Classifiers) 20 1.3.1.4 Hàm nhân 21 1.4.1.5 Phân loại phi tuyến (nonlinear classification) 22 1.4.2 Mạng nơron nhân tạo 23 1.5 Kỹ thuật học sâu nhận dạng 26 1.5.1 Tổng quan học sâu 26 1.5.2 Mạng Neural học sâu 27 1.5.3 Mạng Neural tích chập học sâu 29 1.5.3.1 Lớp Convolutional (lớp tích chập) 30 1.5.3.2 Lớp pooling (lớp giảm kích thƣớc) 32 1.5.3.3 Lớp ReLU ( lớp hiệu chỉnh hay lớp sửa liệu) 33 1.5.3.4 Lớp normalization (lớp chuẩn hóa) 33 1.5.3.5 Lớp fully connection 34 1.6 Một số kiến trúc mạng tích chập học sâu 34 Chƣơng 2: SỬ DỤNG KỸ THUẬT HỌC SÂU TRONG NHẬN DẠNG TỔN THƢƠNG DA 35 2.1 Mơ tả tốn nhận dạng tổn thƣơng da 35 2.2 Giải pháp nhận dạng bệnh 36 2.2.1 Kiến trúc tổng quát 36 2.2.2 Kiến trúc học sâu dựa vào mạng Deepmind inception 38 v 2.2.3 Một số vấn đề nhận dạng loại bệnh 40 2.2.4 Tăng cƣơng liệu cho mạng học sâu 41 2.3 Một số mơ hình pretrain mạng học sâu dùng nhận dạng 43 2.3.1 Mạng LeNet 43 2.3.2 Mạng AlexNet ………………………………………………………44 2.3.3 Mạng ZFNet 47 2.3.4 Mạng GoogLeNet 48 2.3.5 Mạng VGGNet 51 Chƣơng 3: THỰC NGHIỆM, ĐÁNH GIÁ KẾT QUẢ 52 3.1 Xây dựng mạng học sâu 52 3.2 Dữ liệu dùng thực nghiệm 54 3.2.1 Giới thiệu trung tâm liệu quốc tế ISIC 54 3.2.2 Bộ liệu ISIC 2017 56 3.2.3 Bộ liệu ISIC 2018 57 3.3 Cấu hình huấn luyện 61 3.3.1 Cấu hình 61 3.3.2 Huấn luyện 62 3.4 Kết thực nghiệm 63 3.4.1 Nguồn liệu mô tả: 63 3.4.2 Tăng cƣờng liệu 65 3.5 Tiêu chí đánh giá 67 3.6 Kết đánh giá 68 3.6.1 Kết đánh giá Melanoma liệu ISBI 2017 68 3.6.2 Kết đánh giá loại bệnh sắc tố da liệu ISIC 2018 70 3.6.3 Đánh giá hệ thống: 74 3.7 Chƣơng trình minh họa 75 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 78 Kết luận 78 Hƣớng phát triển 78 TÀI LIỆU THAM KHẢO 79 vi DANH SÁCH CÁC HÌNH Hình 1.1 Ảnh ma trận số vùng chọn Hình 1.2 Ma trận số biểu thị mức xám điểm ảnh Hình 1.3 Cấu trúc điểm ảnh với lớp màu RGB Hình 1.4 Ảnh đa mức xám Hình 1.5 Ảnh nhị phân Hình 1.6 Sơ đồ tổng quát hệ thống xử lý ảnh [1] Hình 1.7 Phần ngƣỡng 11 Hình 1.8 Trƣợt window 14 Hình 1.9 Nhận dạng phƣơng pháp trƣợt window nhiều mức tỷ lệ [1] 15 Hình 1.10 Gom cụm nhận dạng đối tƣợng 16 Hình 1.11 Siêu phẳng phân tách mẫu liệu thành lớp 18 Hình 1.12 Các siêu phẳng biên H+ H- SVM 20 Hình 1.13 Tuyến tính hóa phân loại phi tuyến cách biến đổi tập liệu sang khơng gian có khả phân loại tuyến tính 22 Hình 1.14 Kiến trúc mạng neural 23 Hình 1.15 Q trình xử lý thơng tin ANN 24 Hình 1.16 Một số kiến trúc ANN 26 Hình 1.17 (a) Mơ hình mạng neural cạn[39] (b) Mơ hình mạng neural sâu[40]28 Hình 1.18 Biểu diễn đặc trƣng đối tƣợng mạng học sâu 29 Hình 1.19 Kiến trúc mạng tích chập đơn giản[42] 30 Hình 1.20 Q trình thực tích chập[28] 31 Hình 1.21 Minh họa lớp tích chập nhận dạng: 31 Hình 1.22 Minh họa hoạt động Max pooling Average pooling[42] 32 Hình 1.23 Minh họa giảm kích thƣớc nhờ lớp pooling[43] 32 Hình 1.24 Minh họa hoạt động lớp ReLU[42] 33 Hình 1.25 Mơ hình lớp fully connection[1] 34 Hình 2.1 Sơ đồ tổng quát giải pháp phân loại bệnh qua hình ảnh 36 Hình 2.2 Kiến trúc tổng thể Inception V4 41 vii Hình 2.3 Kiến trúc mạng LeNet-5 43 Hình 2.4 Kiến trúc lớp mơ hình AlexNet [5] 45 Hình 2.5 Kiến trúc lớp mơ hình FZNet [28] 48 Hình 2.6 Một dạng cụ thể kiến trúc mạng GoogLeNet[28] 49 Hình 2.7 Module Inception[28] 50 Hình 3.1 Mơ hình đồ thị có hƣớng kiến trúc mạng CNN dựa Inception 54 Hình 3.2 Một số mẫu tổn thƣơng da thông sở liệu ISIC 2018 60 Hình 3.3 Trọng số lọc lớp tích chập Lớp bao gồm 32 lọc kích thƣớc x 7, lọc đƣợc kết nối với ba kênh đầu vào ảnh màu RGB 63 Hình 3.4 Một số kết lớp tích chập chỉnh sửa tuyến tính …… ……65 Hình 3.5 Ví dụ tăng cƣờng liệu 67 Hình 3.6 Minh họa số mẫu bệnh chuẩn đoán 73 Hình 3.7 Minh họa số mẫu bệnh chuẩn đốn nhầm 744 Hình 3.8 Kết nhận dạng loại bệnh tổn thƣơng qua da 77 68 thử nghiệm dƣơng tính với bệnh ngƣời mắc bệnh Về mặt toán học, tiêu chí đƣợc tính theo cơng thức sau: 𝑢𝑒 𝑒 𝑖𝑖 𝑖𝑦 𝑖 𝑖 𝑒 𝑖𝑖 𝑒 + Tiêu chí SPC (Specificity): Tiêu chí SPC liên quan đến khả kiểm tra tính xác mẫu không bị bệnh thực mà không cần thêm điều kiện Ví dụ thử nghiệm y tế để chẩn đốn bệnh Tính đặc hiệu đánh giá tỷ lệ mẫu ngƣời không bị bệnh đƣợc xác định không mắc bệnh, ngƣời đánh giá negative với bệnh xét Về mặt tốn học, tiêu chí đƣợc tính theo công thức sau: (3.2) 𝑢𝑒 𝑒𝑔𝑎 𝑖 𝑒 𝑒𝑐𝑖𝑓𝑖𝑐𝑖 𝑦 𝑒𝑔𝑎 𝑖 𝑒 + Tiêu chí PPV (Positive predictive value) đƣợc dùng để xác suất trƣờng hợp mẫu đánh giá mẫu positive xác định ngƣời thực positive PPV phụ thuộc vào số: Tỷ lệ hành bệnh (prevalence), độ nhạy độ đặc hiệu Công thức PPV nhƣ sau: PPV  True positive True positive  False positive (3.1) 3.6 Kết đánh giá 3.6.1 Kết đánh giá Melanoma liệu ISBI 2017 Trong nghiên cứu này, sử dụng biện pháp để đánh giá hệ thống phân loại nhƣ vùng dƣới đƣờng cong (AUC), Độ xác trung bình (AP), Độ nhạy (SEN), Đặc thù (SPC) Giá trị dự đốn tích cực (PPV) Về mặt tốn học, SEN, SPC PPV đƣợc thể dựa thật tích cực (TP), âm tính thật (TN), dƣơng tính giả (FP), âm tính giả (FN) Tiến hành thực tăng cƣờng liệu cách sử dụng thƣ viện TensorFlow, sau thực việc trích chọn đặc trƣng liệu training liệu testing nhƣ mô tả mục sở liệu ISIC 2017 Kết trích chọn đặc trƣng đƣợc lƣu lại để thực việc training classifier model Sau training xong, thực việc đánh giá hiệu giải thuật testing features Trong nghiên cứu này, việc phân loại đƣợc tiến hành theo phƣơng pháp NN, SVM, RF để so sánh hiệu giải thuật với với kết 69 TOP thi ISBI Challenge 2017 với tiêu chí đánh giá AUC, AP, SEN, SPC, ACC Nghiên cứu đánh giá thêm tiêu chí PPV cho phƣơng pháp tự thực Bảng 3.5 Kết thực nhận dạng với liệu huấn luyện với 2000 mẫu ảnh Classifier AUC TOP AP SEN SPC ACC PPV 0.868 0.710 0.735 0.851 0.828 - TOP 0.856 0.654 0.103 0.998 0.823 - TOP 0.874 0.715 0.547 0.950 0.872 - NN-DAUG 0.876 0.737 0.564 0.965 0.872 0.795 SVM-DAUG 0.768 0.722 0.573 0.963 0.887 0.788 RF-DAUG 0.741 0.722 0.504 0.977 0.887 0.843 Theo nhƣ kết đƣợc tổng hợp Bảng 3.5, hai phƣơng pháp TOP NN-DAUG có hiệu gần tƣơng tự hiệu hầu hết tiêu chí đánh giá, trừ tiêu chí SPC TOP tốt mức 99.8% Mặc dù TOP có tiêu chí đánh giá khác mức thấp nhất, đặc biệt giá trị SEN thấp 10.3% tiêu chí quan trọng để đánh giá độ tin tƣởng kết bệnh nhân đƣợc chuẩn đoán ung thƣ, nhƣ model bị ảnh hƣởng liệu cân toán phân lớp ảnh bệnh y tế Với tiêu chí cịn lại AUC, AP, SEN, ACC TOP có hiệu với SEN mức 73.5% 17.1% so với vị trí thứ hai NN-DAUG 18.8% so với vị trí thứ ba TOP Ba tiêu chí cịn lại NN-DAUG model có hiệu với giá trị AUC(87.6%), AP(73.7%), ACC(87.2%), đứng thứ hai TOP với giá trị gần nhƣ ACC(87.4%), AP(71.5%) ACC(87.2%), cuối ba giải thuật TOP AUC(86.8%), AP(71.0%) ACC(82.8%) Trong phân loại khối u ác tính đƣợc thể TOP # [28], TOP # [22] TOP # [31], trình diễn đại phân loại khối u ác tính dự thi thời điểm nộp (AUC cao 87,4%) Trong nghiên cứu sử 70 dụng 4.162 hình ảnh bên ngồi, so sánh với 1.444 hình ảnh TOP # 7.640 hình ảnh TOP # 3, TOP # khơng sử dụng hình ảnh huấn luyện bên Về mặt kỹ thuật sử dụng Deep CNN, TOP # TOP # sử dụng ResNet 50 lớp [36] với lớp đƣợc kết nối đầy đủ, TOP # sử dụng Deep CNN làm trình trích xuất tính SVM làm phân loại Nghiên cứu sử dụng Deep CNN làm cơng cụ trích xuất tính năng; khám phá hình thức ba phân loại (NN, SVM, RF) với tăng liệu KHÔNG DAUG, Các kết cuối đƣợc thể Bảng 3.5 Đối với thử nghiệm đầu tiên, giải pháp tăng cƣờng liệu NN kết hợp lƣu trữ hiệu suất đại nhiệm vụ phân loại khối u ác tính với AUC (87,6% so với 87,4%), AP (73,7% so với 71,5%) ACC (88,7% so với 87,2%) Điểm số phân loại đƣợc chuẩn hóa khoảng từ 0,0 đến điểm 0,5 đƣợc coi dƣơng Các thí nghiệm cho thấy ảnh hƣởng hình ảnh tăng lên ba phân loại Chúng kiểm tra khác biệt biện pháp hiệu ba phân loại đƣợc đề xuất có khơng có tăng cƣờng Chúng ta thấy tổng thể hiệu suất phân loại đƣợc cải thiện áp dụng tăng liệu cho tất phân loại Với phân loại NN, nhiều mẫu đƣợc tăng cƣờng, hiệu tất biện pháp cao; NN phân loại tốt so sánh với SVM RF 3.6.2 Kết đánh giá loại bệnh sắc tố da liệu ISIC 2018 Trong thực nghiệm này, thực tăng cƣờng liệu lên lần sử dụng 50% mẫu loại cho huấn luyện 50% cho đánh giá kiểm tra Số lƣợng mẫu ảnh đƣợc sử dụng huấn luyện mơ hình nhận dạng phân loại loại bệnh liên quan đến sắc tố Kết đánh giá đƣợc thể bảng sau Trong đó, số lƣợng mẫu đƣờng chéo ma trận Bảng 3.6 số mẫu nhận dạng Trong số mẫu phần tử cột i hàng mẫu bệnh thứ i bị chẩn đoán nhầm qua bệnh thứ j Ví dụ: 69 mẫu cột MEL hàng NV hình ảnh bệnh MEL bị chẩn đốn nhầm qua bệnh NV Tƣơng tự nhƣ Bảng 3.7 thể độ xác chẩn đốn theo tỷ lệ phần trăm loại bệnh Độ xác trung bình chẩn đốn tồn liệu 85.44% 71 Bảng 3.6 Ma trận chéo kết chẩn đoán bệnh MEL NV DF VASC 1029 754 23 24 104 0 NV 69 5704 29 118 BCC 54 435 10 AKIEC 26 18 283 0 BKL 13 162 857 DF 0 107 VASC 0 142 MEL BCC AKIEC BKL Bảng 3.7 Ma trận chéo tỷ lệ phần trăm kết chẩn đoán bệnh MEL MEL NV BCC AKIEC BKL DF VASC 92.45 11.25 4.47 7.34 9.46 0 NV 6.20 85.07 5.64 2.45 10.74 4.35 BCC 0.18 0.81 84.63 1.22 0.91 1.74 AKIEC 0.39 3.50 86.54 0.82 0 1.17 2.42 1.75 2.45 77.98 0.87 DF 0.01 0 93.04 VASC 0.06 0 0.09 100 BKL Trong toán đoán nhận nhãn đa lớp (7 loại bệnh), để đánh giá tiêu chí SEN, SPC, PPV cần xác định số nhƣ Positive, Negative, True Positive, True Negative nhƣ sau: Positive số mẫu ảnh loại bệnh tƣơng ứng xét; Negative tổng số mẫu không thuộc loại bệnh xét, nghĩa tổng số mẫu sở liệu trừ số Positive; True Positive số lƣợng mẫu nhận dạng bệnh tƣơng ứng với bệnh xét; True Negative số lƣợng mẫu không thuộc bệnh xét có kết chẩn đốn khơng thuộc bệnh xét Theo cách tính này, số SEN, SPC PPV chẩn đoán đạt đƣợc theo loại bệnh nhƣ sau 72 Bảng 3.8 Kết đánh giá theo tiêu chí chẩn đốn loại bệnh da Positve Negative True False True SEN SPC PPV Positive Positive Negative 1029 905 7997 92.45 89.83 53.21 MEL 1113 8902 NV 6705 3310 5704 229 3081 85.07 93.08 96.14 BCC 514 9501 435 72 9429 84.63 99.24 85.80 AKIEC 327 9688 283 53 9635 86.54 99.45 84.23 BKL 1099 8916 857 193 8723 77.98 97.84 81.62 DF 115 9900 107 9899 93.04 99.99 99.07 VASC 142 9873 142 9868 100 99.95 96.60 Căn vào bảng giá trị đánh giá theo tiêu chí mơ hình đề xuất tập liệu ISIC 2018 cho thấy rằng: - Các mẫu hình ảnh loại bệnh VASC (tổn thƣơng mạch máu) dễ xác định có độ xác cao tƣơng ứng với độ nhạy SEN =100% - Các mẫu hình ảnh bệnh DF (U da lành tính) bị xác định nhầm, tức loại bệnh khác bị chẩn đốn qua loại U da lành tính, với giá trị chuẩn đốn bệnh PPV=99.07% Nhìn chung hình ảnh bệnh da DF có độ nhạy chẩn đốn, độ xác cao mức độ chẩn đoán nhầm loại bệnh khác thành loại bệnh thấp - Trong loại bệnh MEL (U ác tính) có độ nhạy cao SEN=92.45%, nhiên mẫu ảnh loại bệnh khác dễ bị chẩn đoán nhầm qua loại U ác tính với giá trị đốn nhận bệnh PPV=53.21% 73 Hình Minh họa số mẫu bệnh chuẩn đốn 74 Hình 3.7 Minh họa số mẫu bệnh chuẩn đoán nhầm 3.6.3 Đánh giá hệ thống: Trong luận văn này, đề xuất sử dụng tăng cƣờng liệu CNN sâu để cải thiện hiệu suất phân loại khối u ác tính khám phá ảnh 75 hƣởng việc tăng cƣờng hình ảnh Melanoma liệu ISIC 2017 phân loại bệnh sắc tố da liệu ISIC 2018 Trên liệu thử nghiệm ISIC 2017 Challenge [23] kết thử nghiệm hai phƣơng pháp là: Một hiệu suất tiên tiến đƣợc lƣu trữ với AUC (87,6%), AP (73,7%) PPV (84,3%) phân loại u ác tính; Hai chúng tơi kiểm tra ảnh hƣởng biến dạng hình ảnh tổn thƣơng da đến hiệu suất ba lớp (NN, SVM, RF) Cả ba lớp bị ảnh hƣởng cải thiện khác gia tăng liệu Trong lớp NN lƣu trữ hiệu suất tốt nhất, hiệu suất lớp SVM RF có hiệu bất lợi thay đổi tăng liệu từ DAUG 50 thành DAUG 100 Nhƣng kết vƣợt trội so sánh với thuật toán trƣớc Gutman et al [22] (AUC: 87,6% so với 80,4%, SEN: 57,3% so với 50,7%, SPC: 97,7% so với 94,1%, AP: 73,7% so với 63,7%) Codella et al [13] (AUC: 87,6% so với 84,3%, SPC: 97,7% so với 83,6%, AP: 73,7% so với 64,9%) Trên liệu phân loại bệnh sắc tố da liệu ISIC 2018 kết thử nghiệm đƣợc đánh giá loại bệnh kết tốt, trung bình phân loại bệnh SEN (88,53%), SPC (97,05%), PPV (85,23%) Độ xác trung bình chẩn đốn tồn liệu 85.44% Đối với MEL (U ác tính) có độ nhạy cao SEN=92.45%, SPC=89,83%, nhiên mẫu ảnh loại bệnh khác dễ bị chẩn đoán nhầm qua loại U ác tính với giá trị đốn nhận bệnh PPV=53.21%; Chúng quan sát thấy nghiên cứu này, kết phân loại bệnh đạt đƣợc hiệu suất tốt so với nghiên cứu; bên cạnh đó, kết hợp kiến trúc khác lớp Deep CNN thấp tăng cƣờng liệu thách thức nhà nghiên cứu 3.7 Chƣơng trình minh họa Chƣơng trình thực nghiệm nhận dạng phân tích tổn thƣơng da chuẩn đốn bệnh 07 loại bệnh: 76 77 Hình 3.8 Kết nhận dạng loại bệnh tổn thương qua da 78 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Trên sở nghiên cứu vấn đề toán nhận dạng tổn thƣơng da sử dụng kỹ thuật xử lý ảnh trí tuệ nhân tạo đặc biệt mạng tích chập học sâu CNN Luận văn tập trung vào nghiên cứu đề xuất giải pháp nâng cao độ xác nhận dạng loại bệnh sở giả sử mẫu ảnh tổn thƣơng đƣợc trích xuất cơng cụ có Luận văn nghiên cứu kỹ thuật học sâu, kỹ thuật phân loại SVM để đề xuất xây dựng kiến trúc mạng học sâu, tổ chức huấn luyện mơ hình mạng sử dụng nhận dạng hình ảnh tổn thƣơng da Giải pháp đƣợc thực nghiệm sở liệu chuẩn ISIC 2018, làm sở so sánh đánh giá với số giải pháp đƣợc đề xuất với nhóm nghiên cứu khác Mạng học sâu cần lƣợng liệu lớn để huấn luyện đƣợc mơ hình nhận dạng hiệu Tuy nhiên toán nhận dạng tổn thƣơng da, liệu huấn luyện cho loại tổn thƣơng thƣờng cân Do vậy, đề xuất giải pháp tăng cƣờng hình ảnh liệu huấn luyện gốc để tạo mơ hình nhận dạng đủ mạnh, có độ xác cao Kết thực nghiệm sở liệu chuẩn ISIC 2018 so sánh với số giải pháp khác cho thấy, giải pháp chúng tơi đề xuất có độ xác cao điều kiện hình ảnh có độ phân giải thấp, thiếu ánh sáng, hình ảnh bị mờ, nhịe Đây bƣớc đầu để phát triển, ứng dụng toán nhận hình ảnh tổn thƣơng da Bên cạnh đó, q trình xây dựng chƣơng trình, tơi tìm hiểu thƣ viện CNN sử dụng liệu đặc trƣng để huấn luyện phân loại kiểm tra mẫu độc lập dƣới góc độ nghiên cứu toán nhận dạng, phát tổn thƣơng da Hƣớng phát triển Hoàn thành tốt yêu cầu mà ban đầu đề tài đề ra, tiền đề để phát triển toán nhận dạng tổn thƣơng da ứng dụng hồn chỉnh sau Có thể phát triển đề tài theo hƣớng tăng tốc độ tính tốn nhằm đáp ứng yêu cầu ứng dụng thời gian thực tế với phát triển ngày tăng loại bệnh nguy hiểm biến đổi sắc tố Trong tƣơng lai phát triển thiết bị công nghệ ngày phát triển nhƣ mobile phone có trang bị camera có đèn hỗ trợ chụp soi da, để phục vụ cơng tác chuẩn đốn tiện lợi trình khám chữa bệnh 79 TÀI LIỆU THAM KHẢO Tiếng việt Hoàng Văn Dũng (2018), Giáo trình nhận dạng xử lý ảnh, NXB Khoa học kỹ thuật Tiếng anh [1] [2] Afonso Menegola, Michel Fornaciali, Ramon Pires, Sandra Avila, and Eduardo Valle, "Towards Automated Melanoma Screening: Exploring Transfer Learning Schemes", ArXiv e-prints doi: arXiv:1609.01228 [cs.CV] [3] Afonso Menegola, Michel Fornaciali, Ramon Pires, Flávia Vasques Bittencourt, Sandra Avila, and Eduardo Valle, "Knowledge Transfer for Melanoma Screening with Deep Learning", ArXiv e-prints doi: arXiv:1703.07479 [cs.CV] [4] Afonso Menegola, Julia Tavares, Michel Fornaciali, Lin Tzy Li, Sandra Avila, and Eduardo Valle, "RECOD Titans at ISIC Challenge 2017", ArXiv e-prints doi: arXiv:1703.04819 [cs.CV] [5] Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton (2012), "Imagenet classification with deep convolutional neural networks", in Advances in neural information processing systems, pp 1097-1105 [6] Barata, C., Celebi, M.E., Marques, J.S 1152 (2014): Improving dermoscopy image classification using color constancy IEEE J Biomed Health Inform 19, 1146– [7] Catarina Barata, M Emre Celebi, and Jorge S Marques (2011), "Improving Dermoscopy Image Classification Using Color Constancy", IEEE Journal of Biomedical and Health Informatics, vol 19, no 3, pp 1146 - 1152, 2014 [8] Chih-Chung Chang, Chih-Jen %J ACM transactions on intelligent systems Lin, and technology (2011), "LIBSVM: a library for support vector machines", (in A), vol 2, no 3, p 27 [9] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, "Going deeper with convolutions," in, pp [10] Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, and Alexander A Alemi (2015), "Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning", in Artificial Intelligence, 2017, vol 17, pp 42784284: AAAI Conference [11] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, and Zbigniew Wojna (2016), "Rethinking the Inception Architecture for Computer Vision", presented at the Computer Vision and Pattern Recognition (CVPR) 80 [12] Christian Szegedy et al.(2015), "Going deeper with convolutions" in Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1-9 [13] Codella, N.C.F., Nguyen, Q.B., Pankanti, S., Gutman, D., Helba, B., Halpern, A., Smith, J R (2017): Deep learning ensembles for melanoma recognition in dermoscopy images IBM J Res Dev 61(4), [14] N C F Codella, Q B Nguyen, S Pankanti, D Gutman, B Helba, A Halpern, and J R Smith (2017, "Deep learning ensembles for melanoma recognition in dermoscopy images" IBM Journal of Research and Development, vol 61, p 4/5 [15] Corinna Cortes and Vladimir %J Machine learning Vapnik (1995), "Supportvector networks", (in A), vol 20, no 3, pp 273-297 [16] Ercal, F., Chawla, A., Stoecker, W.V., Lee, H.C., Moss, R.H (1994): Neural network diagnosis of malignant melanoma from color images IEEE Trans Biomed Eng 41, 837–84 [17] Ercal F1, Chawla A, Stoecker WV, Lee HC, and Moss RH, (1994), "Neural Network Diagnosis of Malignant Melanoma From Color Images" IEEE Transactions on Biomedical Engineering, vol 41, no 9, pp 837 – 845 [18] Esteva, A., Kuprel, B., Novoa, R.A., Ko, J., Swetter, S.M., Blau, H.M., Thrun, S (2017): Dermatologist-level classification of skin cancer with deep neural networks Nature 542, 115–118 [19] A Esteva, B Kuprel, R A Novoa, J Ko, S M Swetter, H M Blau, and S Thrun, "Dermatologist-level classification of skin cancer with deep neural networks," Nature, vol 542, no 7639, pp 115-118, Feb 02 2017 [20] González-Díaz, I (2017): Incorporating the knowledge of dermatologists to convolutional neural networks for the diagnosis of skin lesions ArXiv eprints: arXiv:1703.01976 [cs.CV] [21] Gutman, D., Codella, N.C.F., Celebi, E., Helba, B., Marchetti, M., Mishra, N., Halpern, A (2016): Skin lesion analysis toward melanoma detection In: A Challenge at the International Symposium on Biomedical Imaging (ISBI) 2016, Hosted by the International Skin Imaging Collaboration (ISIC) ArXiv e-prints: arXiv:1605.01397 [cs.CV] [22] Hee Seok Lee, Kang Kim (2018), “Simultaneous Traffic Sign Detection and Boundary Estimation Using Convolutional Neural Network”, IEEE Transactions on Intelligent Transportation Systems [23] Iván González-Díaz, "Incorporating the Knowledge of Dermatologists to Convolutional Neural Networks for the Diagnosis of Skin Lesions", ArXiv eprints doi: arXiv:1703.01976 [cs.CV] [24] Jason Weston and Chris Watkins (1998), "Multi-class support vector machines" Citeseer 81 [25] Kazuhisa Matsunaga, Akira Hamada, Akane Minagawa, and Hiroshi Koga, "Image Classification of Melanoma, Nevus and Seborrheic Keratosis by Deep Neural Network Ensemble," ArXiv e-prints doi: arXiv:1703.03108 [cs.CV] [26] Matsunaga, K., Hamada, A., Minagawa, A., Koga, H (2017): Image classification of melanoma, nevus and seborrheic keratosis by deep neural network ensemble ArXiv e-prints arXiv: 1703.03108 [cs.CV] [27] Matthew D Zeiler, Rob Fergus (2014), "Visualizing and understanding convolutional networks," in European conference on computer vision, pp 818-833 [28] Menegola, A., Fornaciali, M., Pires, R., Bittencourt, F.V., Avila, S., Valle., E (2017): Knowledge transfer for melanoma screening with deep learning ArXiv e-prints arXiv:1703.07479 [cs CV] [29] Menegola, A., Tavares, J., Fornaciali, M., Li, L.T., Avila, S., Valle, E.: RECOD titans at [30] Navneet Dalal, Bill Triggs, "Histograms of oriented gradients for human detection (2005)," In Computer Vision and Pattern Recognition, 2005 CVPR 2005 IEEE Computer Society Conference on, pp 886-893 [31] Noel Codella, Junjie Cai, Mani Abedini, Rahil Garnavi, Alan Halpern, and John R Smith (2015), "Deep Learning, Sparse Coding, and SVM for Melanoma Recognition in Dermoscopy Images," Machine Learning in Medical Imaging, vol 9352, pp 118-126 [32] Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein (2015), “Imagenet large scale visual recognition challenge”, International Journal of Computer Vision, vol 115(3), pp 211-252 [33] Rina Dechter, Learning while searching in constraint-satisfaction problems University of California, Computer Science Department, Cognitive Systems Laboratory, 1986 [34] Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik (2014), "Rich feature hierarchies for accurate object detection and semantic segmentation," in Proceedings of the IEEE conference on computer vision and pattern recognition, pp 580-587 [35] Sebastian Houben, Johannes Stallkamp, Jan Salmen, Marc Schlipsing, Christian Igel (2013), "Detection of traffic signs in real-world images: The German Traffic Sign Detection Benchmark", in Neural Networks (IJCNN), The 2013 International Joint Conference on, pp 1-8 [36] Yann LeCun et al (1989), "Backpropagation applied to handwritten zip code recognition" (in A), vol 1, no 4, pp 541-551, [37] Yann LeCun, Yoshua Bengio, and Geoffrey %J nature Hinton, "Deep learning," (in A), vol 521, no 7553, p 436, 2015 82 [38] Mạng nơ-ron Xem tại: https://vi.wikipedia.org/wiki/M%E1%BA%A1ng_n%C6%A1-ron [Ngày truy cập: 24/6/2018] [39] Michael Nielsen (2015) Neural Networks and Deep Learning Xem tại: http://neuralnetworksanddeeplearning.com/ [Ngày truy cập: 14/5/2018] [40] So sánh phần mềm học sâu Xem tại: https://vi.wikipedia.org/wiki/So_s%C3%A1nh_c%C3%A1c_ph%E1%BA%A n_m%E1%BB%81m_h%E1%BB%8Dc_s%C3%A2u.[Ngày truy cập: 10/6/2019] [41] Petar Veličković (2017) Deep learning for complete beginners: convolutional neural networks with keras Xem tại: https://cambridgespark.com/content/tutorials/convolutional-neuralnetworkswith-keras/index.html [Ngày truy cập: 14/7/2018] [42] Convolutional Neural Networks (CNNs / ConvNets) Xem tại: http://cs231n.github.io/convolutional-networks/ [Ngày truy cập: 24/6/2018] [43] Siddharth Das (2017) CNN Architectures: LeNet, AlexNet, VGG, GoogLeNet, ResNet and more … Xem tại: https://medium.com/@sidereal/cnnsarchitectures-lenet-alexnet-vgggooglenet-resnet-and-more-666091488df5 [Ngày truy cập: 14/7/2018] [44] So sánh phần mềm học sâu Xem tại: https://vi.wikipedia.org/wiki/So_s%C3%A1nh_c%C3%A1c_ph%E1%BA% A7 n_m%E1%BB%81m_h%E1%BB%8Dc_s%C3%A2u [Ngày truy cập: 14/8/2018]