Ứng dụng mạng nơ-ron xác định khả năng ung thư da dựa vào hình ảnh

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA - HUỲNH CHỈNH ỨNG DỤNG MẠNG NƠ-RON XÁC ĐỊNH KHẢ NĂNG UNG THƯ DA DỰA VÀO HÌNH ẢNH Chuyên ngành: Kỹ thuật Điện tử Mã số: 60.52.02.03 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỆN TỬ Đà Nẵng – 2019 i Cơng trình hồn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: TS HUỲNH VIỆT THẮNG Phản biện 1: TS HOÀNG LÊ UYÊN THỤC Phản biện 2: TS TRẦN THẾ SƠN Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Kỹ thuật điện tử họp Trường Đại học Bách khoa vào ngày 12 tháng 05 năm 2019 Có thể tìm hiểu luận văn tại:  Trung tâm Học liệu, Đại học Đà Nẵng Trường Đại học Bách khoa  Thư viện Khoa Điện tử-Viễn thông, Trường Đại học Bách khoa – ĐHĐN ii MỞ ĐẦU Tính cấp thiết đề tài Bệnh da phổ biến vấn đề y tế cộng đồng nghiêm trọng hầu giới, đặc biệt nước phát triển Nó nguyên nhân gây gánh nặng bệnh tật toàn cầu, ảnh hưởng đến hàng triệu người toàn giới Các yếu tố lão hóa, mơi trường, di truyền chấn thương dẫn đến phát triển loạt bệnh ngồi da [7] Chẩn đốn bệnh da lĩnh vực y tế phát triễn mạnh mẽ cách sử dụng kỹ thuật trí tuệ nhân tạo Các bệnh sàng lọc trực quan nhiều chẩn đoán bệnh thực nghiêm ngặt với khám nghiệm trực quan phòng khám Một nhiệm vụ khó khăn phát tổn thương da ung thư da (u ác tính, ung thư biểu mơ) tổn thương lành tính (nevi, keratosis seborrheic) Với 5,4 triệu trường hợp ung thư da chẩn đoán năm riêng Hoa Kỳ( khảo sát năm 2015) cho thấy nhu cầu sàng lọc lâm sàng nhanh chóng hiệu gia tăng [8] Bệnh nhân với ung thư da có xu hướng bị ảnh hưởng với nhiều nguyên nhân khác nhau, thách thức khám sàng lọc ung thư da xác định chúng vô số tổn thương lành tính Một yếu tố quan trọng khác chẩn đoán dựa việc kiểm tra thời gian thay đổi tổn thương, tổn thương thay đổi nhanh có nhiều khả gây ác tính Như vậy, bệnh nhân bệnh viện cần công cụ để hỗ trợ quy mô Những tiến gần phát theo dõi bệnh da sử dụng mơ hình machine learning mạng neural tích chập CNN có tiềm tăng cường khả chăm sóc sức khỏe phát điểm ác tính, phát tổn thương tương ứng hình ảnh, cho phép chúng theo dõi tạm thời Luận văn tập trung vào việc tìm hiểu bệnh ngồi da, áp dụng thuật toán tối ưu để huấn luyện hệ thống chẩn đốn tổn thương da có khả bị ung thư da Phương pháp soi da phương thức hình ảnh sử dụng chẩn đoán da tổn thương u ác tính tổn thương sắc tố khác Nhưng luận văn này, để giảm thiểu lỗi chẩn đốn kết soi da khó khăn tính chủ quan việc giải thích trực quan, luận văn phát triển giải thuật phân tích hình ảnh dựa database có sẵn thu thập Mục tiêu nghiên cứu Giải toán nhận dạng hình ảnh mơ hình mơ hình mạng nơ-ron Xây dựng hệ thống mạng nơ-ron phát khả ung thư da dựa vào hình ảnh Kế thừa ưu điểm kiến trúc mạng nơ-ron Nghiên cứu, đánh giá hệ thống mạng nơ-ron dựa sở liệu ISIC-2018 Trong trình thực luận văn, học hỏi rèn luyện số kiến thức kỹ sau: - Ứng dụng nội dung học trình đào tạo vào thực tiễn - Tăng cường kiến thức nhận dạng hình ảnh, cụ thể mạng Nơron truyền thống, Nơ-ron network, mạng Nơ-ron sâu tạo tảng cho trình nghiên cứu sau - Nâng cao kỹ thực hành với ngơn ngữ lập trình python, framework tensorflow, thư viện keras - Tạo thói quen rèn luyện kĩ đọc tài liệu khoa học, đặc biệt tài liệu tiếng anh Đối tượng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu - Đặc điểm bệnh ung thư da - Mơ hình mạng nơ-ron tích chập Unet dùng cho tốn phân vùng - Mơ hình mạng nơ-ron VGG dùng cho tốn phân loại bệnh lành tính hay ác tính - Đánh giá hiệu suất hai mơ hình sỡ liệu ISIC-2018 3.2 Phạm vi nghiên cứu - Phân tích, xử lý ảnh - Nhận dạng hình ảnh da bị tổn thương - Mạng Nơ-ron nhân tạo - Cơ sở liệu ISIC-2018 Phương pháp nghiên cứu Luận văn tập trung vào vấn đề tách phần da bị tổn thương đưa chẩn đốn ác tính hay lành tính Áp dụng thuật tốn phân vùng phân loại từ hình ảnh da liễu cách sử dụng mạng nơ-ron nhân tạo Đối với vấn đề xây dựng mạng nơ-ron để xác định trích xuất vùng da bị tổn thương Đối với vấn đề thứ hai xây dựng mạng nơ-ron với vai trò phân loại vùng da bị tổn thương thuộc loại bệnh lành tính hay ác tính Hệ thống tiến hành đánh giá dựa sở liệu ISIC-2018 Phương pháp nghiên cứu xuyên suốt luận văn kết hợp nghiên cứu lý thuyết, đánh giá thơng qua mơ thực nghiệm Q trình thực bao gồm bước: xây dựng mô hình, huấn luyện, đánh giá khả chẩn đốn bị ung thư da Ý nghĩa khoa học thực tiễn đề tài Gần đây, kỹ thuật học sâu (Deep Learning) tạo bước tiến đáng kể việc giải tốn phân tích hình ảnh, đặc biệt phân tích hình ảnh y tế cho phép phát triển hệ thống chẩn đoán bệnh dựa hình ảnh hỗ trợ bác sĩ đưa định tốt sức khỏe bệnh nhân Chẩn đốn bệnh dựa hình ảnh da người lĩnh vực mà phương pháp áp dụng với tỉ lệ thành công cao Cấu trúc luận văn Trong luận văn “ỨNG DỤNG MẠNG NƠ-RON XÁC ĐỊNH KHẢ NĂNG UNG THƯ DA DỰA VÀO HÌNH ẢNH”, tơi tập trung vào việc nghiên cứu, xây dựng khảo sát hiệu hệ thống để giải toán áp dụng mạng nơ-ron tạo chương trình xác định khả ung thư da dựa vào hình ảnh Nội dung luận văn gồm chương: CHƯƠNG 1: TỔNG QUAN VỀ BỆNH UNG THƯ DA CHƯƠNG 2: TỔNG QUAN VỀ MẠNG NƠ-RON TÍCH CHẬP CHƯƠNG 3: XÂY DỰNG HỆ THỐNG CHẨN ĐOÁN KHẢ NĂNG UNG THƯ DA DỰA VÀO HÌNH ẢNH CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ CHƯƠNG 1: TỔNG QUAN VỀ BỆNH UNG THƯ DA 1.1 Giới thiệu Trong bệnh ung thư, ung thư da bệnh phổ biến biểu bệnh qua khối u da Như biết, da phận lớn thể người, thường xuyên tiếp xúc với ánh sáng mặt trời loại virus Hai yếu tố khiến da có nguy mắc ung thư cao Chương giới thiệu tổng quan cấu tạo da loại bệnh ung thư da ảnh hưởng đến sức khỏe người 1.2 Lý thuyết cấu tạo giải phẫu, sinh lý da Hình 1.1 Cấu tạo da người 1.3 Đặc điểm bệnh ung thư da 1.3.1 Ung thư da khối u ác tính 1.3.2 Ung thư hắc tố ác tính 1.4 Dấu hiệu nhận biết ung thư da 1.4.1 Tính bất đối xứng 1.4.2 Đường viền 1.4.3 Màu sắc 1.4.4 Đường kính 1.4.5 Quy mơ phát triển 1.5 Phương pháp chẩn đoán ung thư da 1.5.1 Phương pháp soi da 1.5.2 Phương pháp xử lý hình ảnh da bị tổn thương 1.6 Kết luận chương Chương đưa tầm nhìn tổng quan bệnh ung thư da Đặc điểm loại bệnh ung thư lành tính ác tính Mối nguy hiểm ung thư da đến tính mạng người Khảo sát phương pháp chẩn đoán ung thư da đưa toán chẩn đoán ung thư da dựa vào hình ảnh Chương chương trình bày rõ ràng chi tiết toán CHƯƠNG 2: TỔNG QUAN VỀ MẠNG NƠ-RON TÍCH CHẬP 2.1 Giới thiệu Chương tìm hiểu bệnh ung thư da đưa toán xây dựng hệ thống chẩn đoán ung thư da dựa vào hình ảnh Ở chương tìm hiểu tổng quan mạng nơ-ron, vào chi tiết khái niệm mơ hình mạng để áp dụng vào tốn chẩn đoán phát bệnh ung thư da dựa vào hình ảnh 2.2 Mạng nơ-ron nhân tạo 2.2.1 Cấu trúc nơ-ron sinh học 2.2.2 Cấu trúc perceptron 2.3 Multi-layers Perceptron (MLP) 2.4 Mạng Nơ-ron tích chập (CNN) 2.4.1 Vùng tiếp cận cục 2.4.2 Trọng số dùng chung 2.4.3 Pooling 2.4.4 Lớp ReLU 2.4.5 Lớp Dropout 2.4.6 Hàm tổn hao 2.5 Một số mạng nơ-ron tích chập phổ biến 2.5.1 Mạng LeNet-5 2.5.2 Mạng AlexNet 2.5.3 Mạng GoogleNet/Inception 2.5.4 Mơ hình mạng VGG Hình 2.19 Cấu trúc ản loại mạng VGG VGG Hình 2.20 Kiến trúc mơ hình mạng VGG16 2.6 Kết luận chương Toàn kiến thức mạng Nơ-ron nhân tạo, mạng MLP, mạng CNN kiến trúc mạng CNN phổ biến trình bày chương Sau qua khái niệm cần biết cấu trúc hoạt động mạng, chương sau luận văn trình bày rõ xây dựng hệ thống chẩn đoán khả ung thư da dựa vào hình ảnh mơ hình mạng tìm hiểu CHƯƠNG 3: XÂY DỰNG HỆ THỐNG CHẨN ĐỐN KHẢ NĂNG UNG THƯ DA DỰA VÀO HÌNH ẢNH 3.1 Giới thiệu chương Chương chương đưa đặc điểm bệnh ung thư da cách thức hoạt động mạng Nơ-ron nhân tạo, mạng Nơ-ron tích chập số mạng Nơ-ron tích chập phổ biến Chương xây dựng hệ thống chẩn đốn khả ung thư da mơ hình mạng VGG16 mơ hình mạng Unet 3.3 Chuẩn hóa liệu (Normalization) Hình 3.2 Ảnh trước sau chuẩn hóa cho khối phân vùng Hình 3.3 Ảnh trước sau chuẩn hóa cho khối phân loại 3.4 Khối phân vùng 3.4.1 Giới thiệu Phân vùng hình ảnh giai đoạn quan trọng xử lý hình ảnh Mục tiêu phân vùng hình ảnh đầu vào thành vùng hay vị trí mà trích xuất đặc trưng cho q trình huấn luyện Trong luận văn này, mục tiêu luận văn loại bỏ da khỏe mạnh chọn vùng chứa da bị tổn thương 10 Hình 3.4 Sơ đồ tổng quát khối phân vùng Xây dựng khối phân vùng phần ần chính: chuẩn hóa liệu (normalization), huấn luyện (sử dụng mơ hình mạng ạng Unet), kiểm ki tra đánh giá (hình 3.4) 3.4.2 Mơ hình mạng Unet Trong kiến trúc mạng Unet ta xây dựng ựng phần encoder gần đối xứng với phần decoder (hình 3.5) Trong phần ần decoder ngồi ngo việc upsample ta thực ực kết nối đối xứng với layer phần encoder tận layer cuối Rõ ràng ếu nh upsample từ layer cuối phần encoder thơng tin ảnh ban đầu ầu bị nhiều Do việc ta kết nối đối xứng với phần encoder giúp ta phục hồi lại thông tin ất lớp pooling Hình 3.5 Mơ hình mạng g Unet cho tốn phân vùng vùng 11 (b) (a) Hình 3.6 Kết mẫu trước (a) sau (b) qua khối phân vùng 3.5 Khối phân loại 3.5.1 Giới thiệu 3.5.2 Xây dựng hệ thống phân loại Hệ thống phân loại xây dựng phần chính: chuẩn hóa liệu (normalization), huấn luyện (sử dụng mơ hình mạng VGG16), kiểm tra đánh giá (hình 3.8) Hình 3.8 Sơ đồ tổng quát hệ thống phân loại 3.5.3 Mơ hình mạng VGG16 Trong luận văn tơi dùng mơ hình mạng VGG16 để xây dựng mơ hình phân loại cho tốn 12 Hình 3.9 Mơ hình mạng VGG16 cho tốn phân loại 13 3.6 Kết luận chương Chương trình bày mơ hình mạng sử dụng vào việc xây dựng hệ thống giải toán “chẩn đốn khả ung thư da dựa vào hình ảnh” Kết trình bày đánh giá chương CHƯƠNG 4: KẾT QUẢ VÀ ĐÁNH GIÁ 4.1 Giới thiệu chương Sau trình bày sở lí thuyết mạng Neuron nhân tạo xây dựng mơ hình mạng chương trước, Chương tiến hành thực thi huấn luyện kiểm tra, đánh giá kết dựa mạng Neuron giới thiệu phần trước với liệu hình ảnh ISIC-2018 4.2 Cơ sở liệu ISIC-2018 4.3 Tiêu chí đánh giá 4.3.1 Độ xác (accuracy) 4.3.2 Confusion matrix 4.3.3 Precision Recall 4.4 Kịch huấn luyện kiểm tra hệ thống 4.4.1 Huấn luyện kiểm tra mơ hình phân vùng Thực huấn luyện mơ hình phân vùng với sở liệu data_train: 2290 ảnh kiểm tra mô hình với sở liệu data_test: 500 ảnh với kích thước ảnh đầu vào 128 x 128 4.4.2 Huấn luyện kiểm tra mơ hình phân loại 14 Bảng 4.2 Kịch huấn luyện kiểm tra cho trường hợp mơ hình phân loại Bảng 4.3 Kịch huấn luyện kiểm tra cho trường hợp mơ hình phân loại Bảng 4.4 Kịch huấn luyện kiểm tra cho trường hợp mơ hình phân loại 4.5 Kết huấn luyện kiểm tra mơ hình phân vùng (a) (b) Hình 4.4 Hình (a) mẫu ảnh gốc, hình (b) mẫu ảnh phân vùng gốc 15 (a) (b) Hình 4.5 Hình (a) mẫu ảnh gốc, hình(b) mẫu ảnh phân vùng qua mơ hình Hình 4.6 Biểu đồ thể hiệu suất mơ hình liệu huấn luyện kiểm tra Biểu đồ hình 4.6 cho thấy mơ hình đạt hiệu suất tốt khoảng epochs từ 20 đến 30 (epochs số lần lặp trình training) Khi tăng epochs lớn 30 xảy tượng overfiting tượng không mong muốn xây dựng mơ hình Cụ thể tốn phân vùng luận văn này, ta tăng epochs lên cao 30 việc học mơ hình bám sát nhiều vào lượng liệu data_train 2290 ảnh dẫn đến 16 chạy tập kiểm tra hiệu suất bị giảm cụ thể test_loss tăng test_accuracy giảm hình 4.6 Thực train lại lần lưu mơ hình epochs 24 chọn từ lần train Ta thu mô hình phân vùng có Accuracy_train = 0.9578 hiệu suất: Loss_train 0.1048 Accuracy_test = 0.9487 Loss_test = 0.1471 4.6 Kết huấn luyện kiểm tra mơ hình phân loại Hình 4.7 Kết kiểm tra mơ hình tập liệu khơng qua khối phân vùng Tính tốn số F-score: Precision = Recall = = ∗ = ∗ = = 17 ∗ ∗ = = 0.81 = 2335 = Hình 4.8 Kết test mơ hình tập liệu phân vùng từ CSDL Tính tốn số F-score: Precision = Recall = = ∗ = = ∗ = = = 0.94 ∗ ∗ = Hình 4.9 Kết kiểm tra mơ hình tập liệu qua khối phân vùng xây dựng mục 4.4.1 Tính tốn số F-score: 18 Precision = Recall = = ∗ ∗ = = = = 0.97 = ∗ ∗ = 4.7 Các yếu tố tác động đến hiệu suất nhận dạng mơ hình 4.7.1 Ảnh hưởng tiền xử lý liệu Tác động tiền xử lý liệu ảnh hưởng đến hiệu suất mơ hình Dưới kết test mơ hình tập liệu đầu vào không qua khối tiền xử lý liệu Hình 4.10 Kết kiểm tra mơ hình tập liệu vào khơng qua tiền xử lý Tính tốn số F-score: Precision = = Recall = = ∗ = ∗ = = 19 = 0.92 ∗ ∗ = 4.7.2 Learning Rate Việc lựa chọn giá trị Learning Rate ảnh hưởng đến thay đổi tốc độ học mơ hình (sự thay đổi giá trị trọng số tương thích với q trình học) Giá trị Learning Rate sử dụng cho 100 vòng lặp (epoch) 0.01 giảm xuống 0.005 (giảm lần) cho chu kì kế tiếp, tương tự tiếp tục giảm lần cho chu kì chu kì cuối Hình 4.11 kết nhận sau tiến hành đánh giá vai trò Learning Rate đến tỉ lệ nhận dạng mơ hình phân loại Hình 4.11 Tác động Learning rate lên mơ hình phân loại 4.7.3 Vai trò Dropout Thực so sánh tỉ lệ nhận dạng lỗi mơ hình phân loại trường hợp có khơng có lớp Dropout 20 Hình 4.12 Tỉ lệ nhận dạng lỗi mơ hình phân loại trường hợp có lớp Dropout Hình 4.13 Tỉ lệ nhận dạng lỗi mơ hình phân loại trường hợp khơng có lớp Dropout 21 4.8 Nhận xét đánh giá hiệu suất hệ thống phân loại Bảng 4.5 Thống kê kết thu trường hợp cho toán phân loại Bảng 4.6 Thống kê kết thu trường hợp cho toán phân loại tác giả Adri`a Romero L´opez[22] 4.9 Kết luận chương Chương trình bày kết đạt thơng qua phương pháp đánh giá hiệu suất mơ hình liệu ISIC-2018 Vai trò số tham số trình tiền xử lý liệu khảo sát để đánh giá tác động chúng lên hệ thống xây dựng, từ có định hướng để tinh chỉnh, tối ưu hệ thống KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI Sau thời gian thực đề tài “Nhận dạng hình ảnh cách kết hợp mạng Neuron tích chập mạng Neuron truyền thống”, tơi hồn thành nội dung sau: - Trình bày tổng quan mạng Neuron truyền thống mạng Neuron tích chập - Tìm hiểu phát triển hệ thống nhận phát khả ung thư da dựa vào hình ảnh 22 - Đánh giá khả nhận dạng hiệu suất mô hình dựa sở liệu ảnh tự nhiên ISIC-2018 - Ngoài ra, việc khảo sát yếu tố tác động đến mơ hình quan trọng đánh giá vai trò yếu tố đến mơ hình Tùy vào tốn mà cần điều chỉnh cho hiệu suất đạt cao Nhận xét mơ hình Ưu điểm - Bài tốn chẩn đốn bệnh ung thư da dựa vào hình ảnh giải dựa mơ hình mạng Unet VGG - Tuy với liệu bị hạn chế số lượng, chất lượng mơ hình ổn với hiệu suất đạt F-score = 85% nhận dạng - Việc khảo sát yếu tố ảnh hưởng hiệu suất mơ hình cho thấy vai trò tác động siêu tham số hyperparameter trình tiền xử lý liệu đến kết phân loại ngõ mạng Từ tảng này, thực tinh chỉnh thành phần mạng để đạt kết tối ưu - Xét mặt giáo dục, mô hình mạng có tình kế thừa có giá trị nghiên cứu cao - Xét mặt y học, mơ hình mạng có tính áp dụng vào y học thực tế nhằm giúp việc chẩn đoán bệnh nhanh chóng, sớm đưa kết cho bệnh nhân bác sỹ để có biện pháp chữa trị kịp thời Tồn - Mơ hình mạng dừng lại khuôn khổ đánh giá sở liệu ảnh ISIC-2018 Đối với liệu khác cần phải xây 23 dựng, đánh giá điều chỉnh thơng số hệ thống để có kết nhận dạng tốt - Yêu cầu cao tài nguyên phần cứng máy tính trường hợp muốn nâng cao tốc độ huấn luyện Hướng phát triển Do thời gian kiến thức hạn chế nên luận văn đề cập đến mơ hình mạng để giải toán chẩn đoán bệnh ung thư da dựa vào hình ảnh với liệu có kích thước vừa phải (~3000 ảnh) Từ sở trên, đưa số hướng phát triển mở rộng đề tài tương lại sau: - Áp dụng khảo sát hệ thống với sở liệu lớn tăng số lượng ảnh ngân hàng hình ảnh dành cho việc huấn luyện, từ cho phép mơ hình có thêm tổng quát hóa cao - Thực đơn giản hóa mơ hình, tối ưu hóa tham số để tăng tốc độ huấn luyện - Chuyển đổi từ việc nghiên cứu lý thuyết, mô phần mềm máy tính đến việc ứng dụng vào xây dựng app-mobile thực tế trang website chẩn đoán bệnh dựa vào hình ảnh người bệnh đưa lên, hướng khả thi công cụ tảng lập trình hỗ trợ mạnh mẽ - Dựa tảng mạng tại, áp dụng kĩ thuật vào mơ hình để nâng cao hiệu hệ thống 24 ... ỨNG DỤNG MẠNG NƠ-RON XÁC ĐỊNH KHẢ NĂNG UNG THƯ DA DỰA VÀO HÌNH ẢNH , tơi tập trung vào việc nghiên cứu, xây dựng khảo sát hiệu hệ thống để giải toán áp dụng mạng nơ-ron tạo chương trình xác định. .. khả ung thư da dựa vào hình ảnh mơ hình mạng tìm hiểu CHƯƠNG 3: XÂY DỰNG HỆ THỐNG CHẨN ĐỐN KHẢ NĂNG UNG THƯ DA DỰA VÀO HÌNH ẢNH 3.1 Giới thiệu chương Chương chương đưa đặc điểm bệnh ung thư da. .. ảnh mơ hình mơ hình mạng nơ-ron Xây dựng hệ thống mạng nơ-ron phát khả ung thư da dựa vào hình ảnh Kế thừa ưu điểm kiến trúc mạng nơ-ron Nghiên cứu, đánh giá hệ thống mạng nơ-ron dựa sở liệu ISIC-2018