ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA - HUỲNH CHỈNH ỨNG DỤNG MẠNG NƠ-RON XÁC ĐỊNH KHẢ NĂNG UNG THƯ DA DỰA VÀO HÌNH ẢNH Chuyên ngành: Kỹ thuật Điện tử Mã số: 60.52.02.03 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC TS HUỲNH VIỆT THẮNG Đà Nẵng – Năm 2019 i CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc LỜI CAM ĐOAN Kính gửi: Hội đồng bảo vệ luận văn tốt nghiệp Khoa Điện Tử - Viễn Thông, Trường Đại Học Bách Khoa – Đại Học Đà Nẵng Tôi tên là: Huỳnh Chỉnh Hiện học viên lớp Cao học Kỹ thuật điện tử - Khoá 35 - Khoa Điện Tử - Viễn Thông, Trường Đại Học Bách Khoa – Đại Học Đà Nẵng Tôi xin cam đoan nội dung luận văn chép luận văn cơng trình có từ trước Nếu vi phạm tơi xin chịu hoàn toàn trách nhiệm Học viên Huỳnh Chỉnh ii MỤC LỤC LỜI CAM ĐOAN i MỤC LỤC ii TÓM TẮT LUẬN VĂN v DANH MỤC CÁC TỪ VIẾT TẮT vi DANH MỤC CÁC HÌNH vii DANH MỤC CÁC BẢNG ………………………………… ……………… ix MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ BỆNH UNG THƯ DA 1.1 Giới thiệu chương 1.2 Lý thuyết cấu tạo giải phẫu, sinh lý da 1.3 Đặc điểm bệnh ung thư da 1.3.1 Ung thư da khơng phải khối u ác tính 1.3.2 Ung thư hắc tố ác tính 1.4 Dấu hiệu nhận biết ung thư da 1.4.1 Tính bất đối xứng 10 1.4.2 Đường viền 10 1.4.3 Màu sắc 10 1.4.4 Đường kính 11 1.4.5 Quy mô phát triển 11 1.5 Phương pháp chẩn đoán ung thư da 12 1.5.1 Phương pháp soi da 12 1.5.2 Phương pháp xử lý hình ảnh da bị tổn thương 12 1.6 Kết luận chương 12 CHƯƠNG TỔNG QUAN VỀ MẠNG NƠ-RON TÍCH CHẬP 13 2.1 Giới thiệu chương 13 2.2 Mạng Nơ-ron nhân tạo 13 2.2.1 Cấu trúc Nơ-ron sinh học 13 iii 2.2.2 Cấu trúc Perceptron 14 2.3 Multi-layers Perceptron (MLP) 15 2.4 Mạng Nơ-ron tích chập (Convolutional Neural Network – CNN) 16 2.4.1 Vùng tiếp nhận cục 17 2.4.2 Trọng số dùng chung 19 2.4.3 Pooling 22 2.4.4 Lớp ReLU 23 2.4.5 Lớp Dropout 24 2.4.6 Hàm tổn hao 25 2.5 Một số mạng nơ-ron tích chập phổ biến 26 2.5.1 Mạng LeNet-5 26 2.5.2 Mạng AlexNet 27 2.5.3 Mạng GoogleNet/Inception 27 2.5.4 Mơ hình mạng VGG 28 2.6 Kết luận chương 30 CHƯƠNG XÂY DỰNG HỆ THỐNG CHẨN ĐOÁN KHẢ NĂNG UNG THƯ DA DỰA VÀO HÌNH ẢNH 31 3.1 Giới thiệu chương 31 3.2 Tổng quan hệ thống chẩn đoán khả ung thư da dựa vào hình ảnh 31 3.3 Chuẩn hóa liệu 32 3.4 Khối phân vùng 32 3.4.1 Giới thiệu 32 3.4.2 Mơ hình mạng Unet 33 3.5 Khối phân loại 35 3.5.1 Giới thiệu 35 3.5.2 Xây dựng hệ thống phân loại 35 3.5.3 Mơ hình mạng VGG16 36 3.6 Kết luận chương 37 CHƯƠNG KẾT QUẢ VÀ ĐÁNH GIÁ 38 iv 4.1 Giới thiệu chương 38 4.2 Cơ sở liệu ISIC-2018 38 4.3 Tiêu chí đánh giá 39 4.3.1 Độ xác (accuracy) 39 4.3.2 Confusion matrix 39 4.3.3 Precision Recall 40 4.4 Kịch huấn luyện kiểm tra hệ thống 41 4.4.1 Huấn luyện kiểm tra mơ hình phân vùng 41 4.4.2 Huấn luyện kiểm tra mô hình phân loại 42 4.5 Kết huấn luyện kiểm tra mơ hình phân vùng 43 4.6 Kết huấn luyện kiểm tra mơ hình phân loại 44 4.7 Các yếu tố tác động đến hiệu suất nhận dạng mơ hình 46 4.7.1 Ảnh hưởng tiền xử lý liệu 46 4.7.2 Learning Rate 47 4.7.3 Vai trò Dropout 48 4.8 Nhận xét đánh giá hiệu suất hệ thống phân loại 50 4.9 Kết luận chương 50 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 51 v TÓM TẮT LUẬN VĂN ỨNG DỤNG MẠNG NƠ-RON XÁC ĐỊNH KHẢ NĂNG UNG THƯ DA DỰA VÀO HÌNH ẢNH Học viên: Huỳnh Chỉnh Mã số: 60.52.02.03 Khóa: 35 Chuyên ngành: Kỹ thuật điện tử Trường Đại học Bách khoa - ĐHĐN Tóm tắt – Gần đây, kỹ thuật học sâu (Deep Learning) tạo bước tiến đáng kể việc giải tốn phân tích hình ảnh, đặc biệt phân tích hình ảnh y tế cho phép phát triển hệ thống chẩn đốn bệnh dựa hình ảnh hỗ trợ bác sĩ đưa định tốt sức khỏe bệnh nhân Chẩn đoán bệnh dựa hình ảnh da người lĩnh vực mà phương pháp áp dụng với tỉ lệ thành công cao Luận văn tập trung vào vấn đề dựa vào hình ảnh trích xuất vùng da bị tổn thương thực phân loại để xác định khả bị bệnh ung thư da Luận văn sử dụng kiến trúc mạng nơron Unet để thực việc phân vùng trích xuất vùng da bị tổn thương loại bỏ thành phần không cần thiết hình ảnh trích xuất Tiếp theo, luận văn sử dụng mơ hình mạng nơron VGG để thực phân loại ảnh trích xuất để phát bệnh lành tính hay ác tính Cuối cùng, luận văn thực đánh giá tồn hệ thống kết hợp hai mơ hình phân vùng – phân loại so với hệ thống sử dụng mơ hình phân loại Kết thử nghiệm liệu ISIC-2018 cho thấy hệ thống đạt độ xác cao, mở hướng nghiên cứu ứng dụng đầy hứa hẹn kỹ thuật học sâu xử lý hình ảnh y tế để hỗ trợ chẩn đốn bệnh dựa vào hình ảnh Từ khóa – deep learning, skin-cancer, convolutional neural networks APPLICATION OF NEURAL NETWORKS TO DETERMINE SKIN CANCER ABILITIES FROM DERMOSCOPIC IMAGES Abstract – Recently, deep learning techniques have made significant progress in image analysis problems, especially in medical image analysis Image-based disease analysis can assist doctors to make better decisions about a patient's health and treatment Human skinbased disease diagnosis is one research area where these new methods can be applied with high success rates This thesis focuses on determination of skin cancer possibility based on dermoscopic images extracted from damaged skin The thesis uses Unet neural network architecture to perform segmentation for extracting the damaged skin region from the dermoscopic image Next, the thesis uses VGG neural network model to make classification to detect benign or malignant diseases Finally, we evaluate the entire system when combining segmentation-andclassification, compared with systems using only one classification model The test results on the ISIC-2018 data set show that the system achieves a high level of accuracy, which can open a promising research direction in research and application of deep learning techniques in medical image processing Key words - deep learning, skin-cancer, convolutional neural networks vi DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Tiếng Anh Tiếng Việt AI Artificial Intelligence Trí tuệ nhân tạo ML Machine Learning Học máy ANN Artificial Neural Network Mạng lưới thần kinh nhân tạo CNN Convolutional Neural Network Mạng lưới thần kinh tích chập MM Malignant Melanoma Khối u ác tính NMSC Non-Melanoma Skin Cancer Ung thư da khối u ác tính MLP Multi-layers Perceptron Nhiều lớp perceptron FC Full-Connection Kết nối đầy đủ ReLU Rectified Linear Units Đơn vị tuyến tính chỉnh lưu GPU Graphics Processing Unit Đơn vị xử lý đồ họa BCC Basal cell carcinoma Ung thư biểu mô tế bào đáy SCC Squamous cell carcinoma Ung thư biểu mô tế bào vảy CSDL database Cơ sở liệu vii DANH MỤC CÁC HÌNH Hình 1.1 Cấu tạo da người[1] Hình 1.2 Ung thư biểu mơ tế bào đáy Hình 1.3 Ung thư biểu mơ tế bào vảy Hình 1.4 Ung thư hắc tố lan bề mặt (Superficial spreading melanoma) Hình 1.5 Ung thư hắc tố lentigo (Lentigo maligna) Hình 1.6 Ung thư hắc tố Acral lentiginous melanoma Hình 1.7 Ung thư hắc tố dạng nốt (Nodular melanoma) Hình 1.8 Tính đối xứng bất đối xứng nốt ruồi lành tính ác tính 10 Hình 1.9 Đường viền nốt ruồi lành tính ác tính 10 Hình 1.10 Màu sắc nốt ruồi lành tính ác tính 11 Hình 1.11 Đường kính nốt ruồi lành tính ác tính 11 Hình 1.12 Sự phát triển nốt ruồi ác tính 11 Hình 2.1 Tế bào nơ-ron thần kinh người [17] 13 Hình 2.2 Cấu trúc Perceptron đơn giản 14 Hình 2.3 Một mơ hình mạng MLP gồm lớp Full Connection 15 Hình 2.4 Cấu trúc mạng đa lớp MLP 16 Hình 2.5 Ảnh ngõ vào với kích thước x 17 Hình 2.6 Vùng cục - vùng màu xanh có gạch chéo 18 Hình 2.7 Quá trình dịch cửa sổ lọc 18 Hình 2.8 Sự dịch chuyển theo chiều ngang dọc lọc 19 Hình 2.9 Minh họa việc áp dụng filter lấy tích chập lên ảnh ngõ vào 20 Hình 2.10 Các đồ đặc tính tạo thành tương ứng với lọc 20 Hình 2.11 Kích thước bị thu nhỏ sau q trình lấy tích chập 21 Hình 2.12 Chèn padding thực trước lấy tích chập 22 Hình 2.13 Lấy mẫu xuống giúp giảm kích thước liệu 23 Hình 2.14 Hàm kích hoạt ReLU, chuyển giá trị âm 23 viii Hình 2.15 Mạng Nơ-ron trước sau trình Dropout, node gạch chéo node bị loại bỏ[15] 24 Hình 2.16 Kiến trúc mơ hình mạng LeNet-5[27] 26 Hình 2.17 Kiến trúc mơ hình mạng AlexNet[27] 27 Hình 2.18 Kiến trúc mơ hình mạng GoogleNet/Inception[27] 28 Hình 2.19 Cấu trúc loại mạng VGG [23] 29 Hình 2.20 Kiến trúc mơ hình mạng VGG16 [23] 30 Hình 3.1 Sơ đồ tổng quát hệ thống 31 Hình 3.2 Ảnh trước sau chuẩn hóa cho khối phân vùng 32 Hình 3.3 Ảnh trước sau chuẩn hóa cho khối phân loại 32 Hình 3.4 Sơ đồ tổng quát khối phân vùng 33 Hình 3.5 Mơ hình mạng Unet cho tốn phân vùng [22] 34 Hình 3.6 Kết mẫu trước sau qua khối phân vùng 34 Hình 3.7 Liệu bi thêm vào thuộc vào lớp bi xanh hay bi đỏ? 35 Hình 3.8 Sơ đồ tổng quát hệ thống phân loại 36 Hình 3.9 Mơ hình mạng VGG16 cho tốn phân loại 37 Hình 4.1 Một số hình ảnh liệu ISIC-2018 [24] 38 Hình 4.2 Minh họa unnormalized confusion matrix normalized confusion matrix 40 Hình 4.3 Minh họa cách tính Precision Recall 40 Hình 4.4 Hình (a) mẫu ảnh gốc, hình (b) mẫu ảnh phân vùng gốc 43 Hình 4.5 Hình (a) mẫu ảnh gốc, hình(b) mẫu ảnh phân vùng qua mơ hình 43 Hình 4.6 Biểu đồ thể hiệu suất mơ hình phân vùng liệu huấn luyện kiểm tra 43 Hình 4.7 Kết kiểm tra mơ hình tập liệu khơng qua khối phân vùng 44 Hình 4.8 Kết kiểm tra mơ hình tập liệu phân vùng từ CSDL 45 Hình 4.9 Kết kiểm tra mơ hình tập liệu qua khối phân vùng xây dựng mục 4.4.1 46 Hình 4.10 Kết kiểm tra mơ hình tập liệu vào không qua tiền xử lý 47 Hình 4.11 Tác động Learning rate lên mơ hình phân loại 48 ix Hình 4.12 Tỉ lệ nhận dạng lỗi mơ hình phân loại trường hợp có lớp Dropout 49 Hình 4.13 Tỉ lệ nhận dạng lỗi mơ hình phân loại trường hợp khơng có lớp Dropout 49 DANH MỤC CÁC BẢNG Bảng 4.1 Ví dụ đơn giản confusion matrix 39 Bảng 4.2 Kịch huấn luyện kiểm tra cho trường hợp mô hình phân loại 42 Bảng 4.3 Kịch huấn luyện kiểm tra cho trường hợp mơ hình phân loại 42 Bảng 4.4 Kịch huấn luyện kiểm tra cho trường hợp mơ hình phân loại 42 Bảng 4.5 Thống kê kết thu trường hợp cho toán phân loại 50 Bảng 4.6 Thống kê kết thu trường hợp cho toán phân loại tác giả Adri`a Romero L´opez 50 51 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Sau thời gian thực đề tài “Nhận dạng hình ảnh cách kết hợp mạng Neuron tích chập mạng Neuron truyền thống”, tơi hồn thành nội dung sau: - Trình bày tổng quan mạng Neuron truyền thống mạng Neuron tích chập Tìm hiểu phát triển hệ thống nhận phát khả ung thư da dựa vào hình ảnh Đánh giá khả nhận dạng hiệu suất mơ hình dựa sở liệu ảnh tự nhiên ISIC-2018 Ngoài ra, việc khảo sát yếu tố tác động đến mơ hình quan trọng đánh giá vai trò yếu tố đến mơ hình Tùy vào tốn mà cần điều chỉnh cho hiệu suất đạt cao Nhận xét mơ hình Ưu điểm - Bài tốn chẩn đốn bệnh ung thư da dựa vào hình ảnh giải dựa mơ hình mạng Unet VGG - Tuy với liệu bị hạn chế số lượng, chất lượng mơ hình ổn với hiệu suất đạt F-score = 85% nhận dạng - Việc khảo sát yếu tố ảnh hưởng hiệu suất mô hình cho thấy vai trị tác động siêu tham số hyperparameter trình tiền xử lý liệu đến kết phân loại ngõ mạng Từ tảng này, thực tinh chỉnh thành phần mạng để đạt kết tối ưu - Xét mặt giáo dục, mơ hình mạng có tình kế thừa có giá trị nghiên cứu cao - Xét mặt y học, mơ hình mạng có tính áp dụng vào y học thực tế nhằm giúp việc chẩn đoán bệnh nhanh chóng, sớm đưa kết cho bệnh nhân bác sỹ để có biện pháp chữa trị kịp thời Tồn - - Mơ hình mạng dừng lại khuôn khổ đánh giá sở liệu ảnh ISIC-2018 Đối với liệu khác cần phải xây dựng, đánh giá điều chỉnh thơng số hệ thống để có kết nhận dạng tốt Yêu cầu cao tài nguyên phần cứng máy tính trường hợp muốn nâng cao tốc độ huấn luyện Khó khăn trình thực - Cần thời gian để tiếp thu kiến thức lĩnh vực Deep Learning thuật toán, sở liệu, phương pháp đánh giá xử lý số liệu 52 - - Việc lựa chọn thông số cấu trúc hệ thống mạng chưa có hướng tuyệt đối, địi hỏi q trình tìm hiểu, khảo sát, nghiên cứu thực nghiệm lâu dài Thu thập liệu khó khăn, lượng liệu tập ISIC-2018 chưa miễn phí hồn tồn, việc sử dụng liệu q trình huấn luyện cịn khó khăn Thời gian cần cho lần huấn luyện, chạy thử nghiệm nhiều Phần cứng phải đảm bảo cấu hình card đồ họa GPU Hướng phát triển Do thời gian kiến thức hạn chế nên luận văn đề cập đến mơ hình mạng để giải toán chẩn đoán bệnh ung thư da dựa vào hình ảnh với liệu có kích thước vừa phải (~3000 ảnh) Từ sở trên, đưa số hướng phát triển mở rộng đề tài tương lại sau: - - - Áp dụng khảo sát hệ thống với sở liệu lớn tăng số lượng ảnh ngân hàng hình ảnh dành cho việc huấn luyện, từ cho phép mơ hình có thêm tổng qt hóa cao Thực đơn giản hóa mơ hình, tối ưu hóa tham số để tăng tốc độ huấn luyện Chuyển đổi từ việc nghiên cứu lý thuyết, mơ phần mềm máy tính đến việc ứng dụng vào xây dựng app-mobile thực tế trang website chẩn đốn bệnh dựa vào hình ảnh người bệnh đưa lên, hướng khả thi cơng cụ tảng lập trình hỗ trợ mạnh mẽ Dựa tảng mạng tại, áp dụng kĩ thuật vào mơ hình để nâng cao hiệu hệ thống 53 TÀI LIỆU THAM KHẢO [1] Ths.BS.Mai Bá Hồng Anh "Giáo Trình Bệnh Da Liễu" Nhà xuất đại học Huế - 2016 [2] Vương Quang Phước - Cao học kỹ thuật điện tử, ĐH Bách Khoa Đà Nẵng, Luận văn thạc sĩ “Nhận dạng hình ảnh cách kết hợp mạng nơ-ron tích chập mạng nơ-ron truyền thống”, 2017 [3] Telfer N R., Colver G B., Morton C A., British Association of Dermatologists, “Guidelines for the management of basal cell carcinoma,” Br J Dermatol 159(1), 35–48 (2008).10.1111/j.1365-2133.2008.08666.x [PubMed] [CrossRef] [4] Kricker A., Armstrong B., Hansen V., Watson A., Singh-Khaira G., Lecathelinais C., Goumas C., Girgis A., “Basal cell carcinoma and squamous cell carcinoma growth rates and determinants of size in community patients,” J Am Acad Dermatol 70(3), 456–464 (2014).10.1016/j.jaad.2013.11.009 [PubMed] [CrossRef] [5] Gordon Spratt E A., Carucci J A., “Skin cancer in immunosuppressed patients,” Facial Plast Surg 29(5), 402–410 (2013).10.1055/s-0033-1353381 [PubMed] [CrossRef] [6] Ogden S., Telfer N R., “Skin cancer,” Medicine (Baltimore) 37(6), 305–308 (2009).10.1016/j.mpmed.2009.02.016 [CrossRef] [7] Henry W Lim, MD, Scott A B Collins, MD, Jack S Resneck, Jr, MD, Jean L Bolognia, MD, Julie A Hodge, MD, MPH, Thomas A Rohrer, MD, Marta J Van Beek, MD, MPH, David J Margolis, MD, PhD, Arthur J Sober, MD, Martin A Weinstock, MD, PhD, David R Nerenz, PhD, Wendy Smith Begolka, MBS, and Jose V Moyano, PhD “The burden of skin disease in the United States” May 2017 Volume 76, Issue 5, Pages 958–972.e2 [8] Yunzhu Li, Andre Esteva, Brett Kuprel, Rob Novoa, Justin Ko, Sebastian Thrun “Skin Cancer Detection and Tracking Using Data Synthesis and Deep Learning” Cornell University Library arXiv: 1612.01074 2016 [9] American Cancer Society Cancer facts & figures 2016 Atlanta, American Cancer Society 2016 [10] SKINCANCERFOUNDATION.Skin Cancer Information Melanoma Types of Melanoma https://www.skincancer.org/skin-cancerinformation/melanoma/types-of-melanoma [Accessed December 2018] 54 [11] Biomedia Vietnam Group © 2015 "http://biomedia.vn/review/ung-thu-hac-tomelanoma-phan-1.html", "http://biomedia.vn/review/ung-thu-hac-to-melanomaphan-2.html" [Accessed December 2018] [12] Rahman M M., Bhattacharya P., “An integrated and interactive decision support system for automated melanoma recognition of dermoscopic images,” Comput Med Imaging Graph 34(6), 479–486 (2010) 10.1016/j compmedimag 2009 10 003 [PubMed] [CrossRef] [13] M A Nielsen, Neural Networks and Deep Learning, Determination Press, 2015 [14] Min Lin, Qiang Chen, Shuicheng Yan, "Network in Network," arXiv: 1312.4400v3, 2014 [15] Y.LeCun, L.Jackel, L.Bottou, A.Brunot, C.Cortes, J.Denker, H.Drucker, I.Guyon, P.Simard and V.Vappnik, "Comparison of learning algorithms for handwritten digit recognition," Bell Laboratories, Holmdel, NJ 07733, USA [16] Fei-Fei Li, Andrej Karpathy and Justin Johnson, "Backpropagation and Neural Network in Convolutional Neural Networks for Visual Recognition", Stanford CS, 2016 [17] L Jacobson, "Introduction to Artificial Neural Networks," The Project Spot, 2014 [18] Nitish Srivastava, Geo rey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov, "Dropout: A Simple Way to Prevent Neural Networks from Overfitting," Journal of Machine Learning Research, 2014 [19] Andrea Vedaldi, Karel Lenc, "MatConvNet -Convolutional Neural Networks for MATLAB," arXiv: 1412.4564, 2016 [20] Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, 2016: MIT Press [21] Ian Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio, "MaxOut Network," arXiv:1302.4389v4, 2013 [22] Adri`a Romero L´opez A Degree Thesis “SKIN LESION DETECTION FROM DERMOSCOPIC IMAGES USING CONVOLUTIONAL NEURAL NETWORKS” Submitted to the Faculty of the Escola T`ecnica d’Enginyeria de Telecomunicaci´o de Barcelona Universitat Polit`ecnica de Catalunya Barcelona, January 2017 55 [23] Dr Adrian Rosebrock “Deep Learning for Computer Vision with Python[3ImageNetBundle, 1.2.1 ed.]” Copyright © 2017 Adrian Rosebrock, PyImageSearch.com [24] Canfield Scientific Harald Kittler, M.D Medical University of Vienna, Vienna, Austria Noel C F Codella, Ph.D IBM Research, New York, USA https://challenge2018.isic-archive.com [Accessed December 2018] [25] Xulei Yang, Zeng Zen, Si Yong Yeo, Colin Tan, Hong Liang Tey, Yi Su “A Novel Multi-task Deep Learning Model for Skin Lesion Segmentation and Classification” National Skin Center, National Healthcare Group, Singapore 2017 [26] Snehal Salunke “Survey on Skin lesion segmentation and classification” Department of Biomedical Engineering, YTIET, Mumbai, India.2014 [27] Siddharth Das “https://medium.com/@sidereal/cnns-architectures-lenetalexnet-vgg-googlenet-resnet-and-more-666091488df5”, Nov 16, 2017 [Accessed 2018] 56 57 58 59 60 61 62 63 64 65