luận văn thạc sĩ tiếp cận học sâu cho phát hiện bất thường trong phổi dựa vào dữ liệu hình ảnh x quang lồng ngực

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN LÊ TƠN HỒNG LONG TIẾP CẬN HỌC SÂU CHO PHÁT HIỆN BẤT THƢỜNG TRONG PHỔI DỰA VÀO DỮ LIỆU HÌNH ẢNH X-QUANG LỒNG NGỰC Chuyên ngành : Khoa học máy tính Mã số : 8.48.01.01 Ngƣời hƣớng dẫn: TS LÊ THỊ KIM NGA e LỜI CAM ĐOAN Tôi xin cam đoan toàn nội dung luận văn với đề tài: “Tiếp cận học sâu cho phát bất thường phổi dựa vào liệu hình ảnh XQuang lồng ngực” thực dƣới hƣớng dẫn trực tiếp TS Lê Thị Kim Nga - Trƣờng Đại học Quy Nhơn Phần thực nghiệm chƣơng trình tơi tự xây dựng có hƣớng dẫn giảng viên, có sử dụng số thƣ viện chuẩn thuật toán đƣợc tác giả xuất công khai Kết thực nghiệm đƣợc minh họa luận văn trung thực Nội dung luận văn chƣa đƣợc công bố hay xuất dƣới hình thức Các tài liệu tham khảo đƣợc sử dụng luận văn có nguồn gốc rõ ràng trích dẫn xác, đầy đủ Nếu sai tơi xin hồn tồn chịu trách nhiệm Bình Định, ngày tháng năm 2021 Ngƣời cam đoan Lê Tơn Hồng Long e LỜI CẢM ƠN Trong q trình nghiên cứu luận văn, gặp nhiều khó khăn, nhƣng tơi ln nhận đƣợc quan tâm, giúp đỡ quý thầy cô, bạn bè ngƣời thân Đây nguồn động lực lớn giúp tơi hồn thành đề tài luận văn Tơi xin gửi lời cảm ơn chân thành lòng biết ơn sâu sắc đến quý Thầy (Cô), ngƣời nuôi dƣỡng chắp cánh ƣớc mơ cho thân đến với đƣờng nghiên cứu khoa học đầy đam mê, đặc biệt TS Lê Thị Kim Nga - Trƣờng Đại học Quy Nhơn Với tâm huyết mình, thầy bảo tận tình chu thân hồn thành tốt cơng việc Và xin cảm ơn cán bộ, nhân viên phòng Đào tạo Sau đại học, trƣờng Đại học Quy Nhơn tạo điều kiện tốt cho suốt q trình học tập trƣờng Cuối cùng, cho tơi đƣợc gửi lời biết ơn đến gia đình, bạn bè tất ngƣời thân, bên cạnh động viên thân suốt thời gian học tập nghiên cứu Kính chúc q Thầy (Cơ) anh chị em lớp cao học ngành Khoa học Máy tính khóa 22 sức khỏe, hạnh phúc thành đạt Xin chân thành cảm ơn! Lê Tơn Hồng Long e MỤC LỤC Trang LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG, HÌNH ẢNH MỞ ĐẦU 1 Lý chọn đề tài Mục đích nghiên cứu 3 Đối tƣợng phạm vi nghiên cứu Phƣơng pháp nghiên cứu Ý nghĩa khoa học thực tiễn đề tài Chƣơng TỔNG QUAN VỀ PHÁT HIỆN BẤT THƢỜNG TRÊN ẢNH Y KHOA 1.1 Giới thiệu ảnh y khoa 1.1.1 Cấu trúc ảnh y khoa 1.1.2 Dữ liệu ảnh DICOM 15 1.2 Bài toán phát bất thƣờng ảnh y khoa 23 1.2.1 Phát biểu toán 23 1.2.2 Ý nghĩa thực tiễn 23 1.2.3 Một số nghiên cứu liên quan 24 1.3 Một số kỹ thuật xử lý ảnh phát bất thƣờng ảnh y khoa 26 1.3.1 Tiếp cận dựa phân đoạn (Image Segmentation) 27 1.3.2 Tiếp cận dựa phân tích đặc trƣng (Feature Extraction) 31 1.4 Ứng dụng phát bất thƣờng phổi chẩn đoán bệnh 33 1.5 Kết luận chƣơng 34 CHƢƠNG PHÁT HIỆN BẤT THƢỜNG TRÊN ẢNH X-QUANG PHỔI DỰA VÀO TIẾP CẬN HỌC SÂU 35 e 2.1 Giới thiệu 35 2.1.1 Trí tuệ nhân tạo phát bất thƣờng phổi 35 2.1.2 Học sâu phát bất thƣờng phổi 36 2.2 Cơ sở lý thuyết số mơ hình học sâu 38 2.2.1 Cơ sở lý thuyết học sâu 38 2.2.2 Một số mơ hình học sâu phân tích ảnh X-Quang phổi 41 2.3 Phát bất thƣờng phổi ảnh X-quang ứng dụng học sâu 60 2.4 Một số độ đo đánh giá kết phát vùng bất thƣờng 62 2.5 Kết luận chƣơng 65 CHƢƠNG THỬ NGHIỆM 66 3.1 Giới thiệu toán 66 3.2 Dữ liệu 68 3.3 Cài đặt thực nghiệm kết đánh giá 69 KẾT LUẬN 75 DANH MỤC TÀI LIỆU THAM KHẢO 77 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (BẢN SAO) e DANH MỤC CÁC CHỮ VIẾT TẮT Chữ tắt Dạng đầy đủ Mô tả CSDL Cơ sở liệu Cơ sở liệu PACS Picture and Hệ thống lƣu trữ hình archiving ảnh giao tiếp Communication System DICOM Digital Imaging and Tiêu chuẩn ảnh số Communications in Medicine CNN truyền thông y tế Neural Mạng nơ-ron tích chập Convolutional Network YOLO YOU ONLY LOOK ONCE e Mơ hình YOLO luan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.nguc DANH MỤC CÁC BẢNG, HÌNH ẢNH Bảng 2.1: Một số nghiên cứu sử dụng học sâu cho toán bất thƣờng phổi 38 Hình 1.1: Ví dụ ảnh y khoa Hình 1.2: Minh họa kết sử dụng AI ảnh y khoa 12 Hình 1.3: Ví dụ ảnh DICOM phổi liệu bệnh nhân 16 Hình 1.4: Minh họa đối tƣợng thơng tin dịch vụ DICOM 21 Hình 1.5: Sơ đồ toán phát bất thƣờng ảnh y khoa 23 Hình 1.6: Dải màu ảnh xám 27 Hình 1.7: Phân đoạn ảnh chụp phổi 27 Hình 1.8: Phân đoạn ảnh phổi giá trị ngƣỡng khác 29 Hình 1.9: Phân đoạn phổi dựa biên 30 Hình 2.1: Mối quan hệ học sâu với lĩnh vực liên quan 36 Hình 2.2: Mơ hình mơ tả mạng nơ-ron sâu nhiều tầng 39 Hình 2.3: Mảng ma trận RGB ảnh 42 Hình 2.4: Mơ hình mạng CNN 42 Hình 2.5: Ma trận ảnh nhân ma trận lọc 43 Hình 2.6: Ma trận đầu 43 Hình 2.7: Một số lọc phổ biến 44 Hình 2.8: Hoạt động lớp ReLU 45 Hình 2.9: Mơ hình làm việc Max Pooling 45 Hình 2.10: Kiến trúc mạng CNN hồn chỉnh 46 Hình 2.11: Ý tƣởng bƣớc YOLO 47 Hình 2.12: Sơ đồ kiến trúc mạng YOLO 47 Hình 2.13: Kiến trúc output mơ hình YOLO 49 Hình 2.14: Các đồ đặc trƣng mạng YOLO 50 luan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.nguc e luan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.nguc Hình 2.15: Xác định hộp neo cho đối tƣợng vật thể 51 Hình 2.16: Minh họa dự đốn bouding box 54 Hình 2.17: Ví dụ Non-max suppression 55 Hình 2.18: Kiến trúc mạng YOLOv3 57 Hình 2.19: So sánh hiệu suất YOLOv4 với mơ hình học sâu stateof-art thời điểm (trong có YOLOv3) 58 Hình 2.20: Các phiên YOLOV5 59 Hình 2.21: Kết thử nghiệm so sánh phiê YOLOv5 59 Hình 2.22: Mơ hình bƣớc tốn 60 Hình 2.23: Hình ảnh X-quang ngực đƣợc xử lý CNN 61 Hình 2.24: Kiến trúc mạng YOLO phát bất thƣờng phổi ảnh Xquang 61 Hình 2.25: Độ đo IoU 63 Hình 3.1: Sơ đồ mơ hình bƣớc tốn 67 Hình 3.2: Danh sách bệnh phổi dataset 68 Hình 3.3: Quy trình hệ thống xây dựng tập liệu 69 Hình 3.4: Kết tiền xử lý liệu 70 Hình 3.5: Chỉnh sửa cấu hình mạng (số class) 71 Hình 3.6: File mơ tả liệu train 71 Hình 3.7: Kết train mơ hình YOLOv5 72 Hình 3.8: Lƣu file weights mơ hình (lƣu sau epoch) 73 Hình 3.9: Kết xác định dự đoán bệnh ảnh X-quang YOLOv5 73 Hình 3.10: So sánh kết YOLOv5 nhãn thực tế 74 luan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.nguc e luan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.nguc MỞ ĐẦU Lý chọn đề tài Những năm gần đây, khoa học công nghệ ngành y tế đƣợc quan tâm nghiên cứu ứng dụng nhiều phát triển khoa học nhƣ nhu cầu bệnh tật ngày lớn đa dạng Việc chẩn đoán phát bệnh sớm quan trọng, giúp trình khám chữa bệnh hiệu hơn, hạn chế bƣớc điều trị khơng cần thiết, có khả lành bệnh cao hơn, qua tiết kiệm cho bệnh nhân Một kênh thông tin quan trọng hỗ trợ chẩn đốn điều trị bệnh dựa vào hình ảnh y khoa nhƣ X-Quang, CT, MRI, chụp xạ hình… Để tiến đến việc hỗ trợ chẩn đốn điều trị bệnh dựa hình ảnh y khoa phải cần đến nhiều thuật toán khác nhau, chẳng hạn nhƣ phân vùng ảnh, phát hiện, nhận dạng tự động vùng thể phù hợp xác nhằm phát bất thƣờng phận thể Phát nhận dạng xác vùng ảnh vùng bệnh giúp tính tốn đánh giá xác bệnh lý nhƣ khả hoạt động phận trƣờng hợp bị tổn thƣơng Trong năm gần đây, khoa học chẩn đốn hình ảnh y tế chứng tỏ đƣợc cần thiết chẩn đoán điều trị bệnh Chẩn đốn hình ảnh góp phần quan trọng nâng cao tính xác, kịp thời hiệu cao chẩn đoán điều trị bệnh Dựa hình ảnh siêu âm hay chụp XQuang, bác sĩ đo đƣợc tƣơng đối xác kích thƣớc tạng đặc (Phổi, Tim, Gan, Lách, Thận, Tuỵ, ) phát khối u bất thƣờng có Từ hình ảnh X-Quang lồng ngực, bác sĩ xác định cấu trúc, kích thƣớc tồn phổi, chi tiết phổi mạch máu lớn Trong sản khoa, siêu âm giúp xác định theo dõi phát triển thai nhi bụng mẹ; Từ hình ảnh y tế DICOM giúp bác sĩ xác định đƣợc vùng bất luan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.nguc e luan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.nguc thƣờng hay khối u có hình thái, kích thƣớc, khối lƣợng,… số tạng đặc thể nhƣ Gan, Dạ dày, Phổi, Não, … Tuy nhiên việc hỗ trợ bác sĩ tính tốn xác định vùng bất thƣờng cách tự động ảnh CT, MRI cịn nhiều khó khăn độ tƣơng phản thấp giá trị cƣờng độ ảnh vùng tạng khác tƣơng đồng Vì vậy, nghiên cứu phƣơng pháp hay thuật toán phát hay xác định bất thƣờng thể cách tự động thơng qua hình ảnh y tế nhằm giúp bác sĩ chấn đoán bệnh nhanh chóng, kịp thời xác đề hết cần thiết Bất chấp tiến y học, nhƣ tiến phƣơng pháp điều trị, bệnh gây bất thƣờng phổi đƣợc xem có khả gây tử vong cao toàn giới Ảnh hƣởng bệnh phổi sức khỏe ngày tăng rõ rệt nhanh chóng thay đổi mơi trƣờng, khí hậu, lối sống yếu tốt khác Theo thống kê từ WHO, tính đến 09/2019, có 65 triệu ngƣời sống với COPD triệu ngƣời chết COPD năm; ung thƣ phổi ung thƣ có tỷ lệ tử vong cao với 1.76 triệu ngƣời chết năm 91 phần trăm dân số giới sống môi trƣờng khơng khí nhiễm q mức tiêu chuẩn WHO [1] Nguy mắc bệnh phổi lớn, đặc biệt quốc gia phát triển có mức thu nhập trung bình thấp nhƣ Việt Nam, nơi hàng triệu ngƣời đối mặt với khó khăn tài nhiễm khơng khí Từ thấy, phát sớm bất thƣờng phổi từ hỗ trợ chẩn đốn điều trị sớm bệnh phổi vô cấp thiết quan trọng hết Tại phòng khám trung tâm y tế, bất thƣờng phổi thƣờng đƣợc xác định nhiều phƣơng thức hình ảnh nhƣ XQuang, CT, MRI,… Do khả tiếp cận dễ dàng chi phí thấp, chụp XQuang phổi đƣợc sử dụng rộng rãi để chẩn đoán theo dõi sức khỏe Tuy nhiên việc đọc chẩn đốn từ hình ảnh y tế địi hỏi chun viên y tế, bác sĩ luan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.ngucluan.van.thac.si.tiep.can.hoc.sau.cho.phat.hien.bat.thuong.trong.phoi.dua.vao.du.lieu.hinh.anh.x.quang.long.nguc e