Ứng dụng mô hình fasterRCNN phát hiện vùng bất thường trên ảnh CT ngực

ỨNG DỤNG MÔ HÌNH FASTERRCNN PHÁT HIỆN VÙNG BẤT THƯỜNG TRÊN ẢNH CT NGỰC Giáo viên hướng dẫn: TS.Trần Nguyễn Minh Thư Cần Thơ, 062020 NHẬN XÉT CỦA GIẢNG VIÊN Cần Thơ, ngày tháng năm (GVHD ký và ghi rõ họ tên) LỜI CẢM ƠN Để có được bài luận văn này, em xin được bày tỏ lòng biết ơn chân thành và sâu sắc đến Cô TS.Trần Nguyễn Minh Thư – người đã trực tiếp tận tình hướng dẫn, giúp đỡ em. Trong suốt quá trình thực hiện luận văn, nhờ những sự chỉ bảo và hướng dẫn quý giá đó mà bài luận văn này được hoàn thành một cách tốt nhất. Em cũng xin gửi lời cám ơn chân thành đến các Thầy Cô Giảng viên Đại học Cần Thơ, đặc biệt là các Thầy Cô ở Khoa CNTT TT, những người đã truyền đạt những kiến thức quý báu trong thời gian qua. Em cũng xin chân thành cảm ơn bạn bè cùng với gia đình đã luôn động viên, khích lệ và tạo điều kiện giúp đỡ trong suốt quá trình thực hiện để em có thể hoàn thành bài luận văn một cách tốt nhất. Tuy có nhiều cố gắng trong quá trình thực hiện luận văn, nhưng không thể tránh khỏi những sai sót. Em rất mong nhận được sự đóng góp ý kiến quý báu của quý Thầy Cô và các bạn để bài luận văn hoàn thiện hơn. Cần Thơ, ngày 27 tháng 06 năm 2020 Người viết Đề tài: Ứng dụng mô hình FasterRCNN phát hiện vùng bất thường trên ảnh CT ngực MỤC LỤC PHẦN GIỚI THIỆU 7 1. Đặt vấn đề 7 2. Lịch sử giải quyết vấn đề 7 3. Mục tiêu đề tài 8 4. Đối tượng và phạm vi nghiên cứu 8 5. Phương pháp nghiên cứu 8 7. Bố cục luận văn 8 PHẦN NỘI DUNG 9 CHƯƠNG 1 9 MÔ TẢ BÀI TOÁN 9 1.1. Mô tả chi tiết bài toán 9 1.1.1 Chụp CT và ảnh CT ngực 9 1.1.2 Dữ liệu Dicom 9 1.1.3 Nhận diện vùng bất thường trên ảnh CT ngực 11 1.2. Vấn đề và giải pháp liên quan đến bài toán 12 1.2.1 Mạng Nơron nhân tạo 12 1.2.2 Thị giác máy tính 13 1.2.3 Mô hình phát hiện vùng trong ảnh 20 1.3. Các thư viện hỗ trợ cho mô hình FasterRCNN 24 1.3.1 Thư viện Tensorflow. 24 1.3.2 Thư viện Keras 24 1.3.3 Thư viện SimpleITK 26 CHƯƠNG 2 28 THIẾT KẾ HỆ THỐNG 28 2.1.Tổng thể hệ thiết kế hệ thống 28 2.2. Cài đặt hệ thống 28 2.2.1 Thu thập và xử lý dữ liệu 28 2.2.2 Quá trình xử lý rút trích đặc trưng từ ảnh 31 2.2.3 Xử lý đặc trưng qua Region Proposal Network (RPN) 32 1 Đề tài: Ứng dụng mô hình FasterRCNN phát hiện vùng bất thường trên ảnh CT ngực 2.2.4 Quá trình xử lý nhận diện vùng bất thường 35 CHƯƠNG 3 38 KIỂM THỬ VÀ ĐÁNH GIÁ 38 3.1 Dữ liệu và môi trường thực nghiệm 38 3.2 Kết quả đánh giá 40 3.2.1 Đánh giá thời gian thực nghiệm 40 3.2.2 Đánh giá tổng quát 41 3.3.1 Đánh giá dữ liệu 46 3.3.2 Nhược điểm hệ thống 53 PHẦN KẾT LUẬN 54 1. Kết quả đạt được 54 2. Hướng phát triển 54 TÀI LIỆU THAM KHẢO 55

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG  LUẬN VĂN NGÀNH CÔNG NGHỆ THÔNG TIN Đề tài ỨNG DỤNG MƠ HÌNH FASTERRCNN PHÁT HIỆN VÙNG BẤT THƯỜNG TRÊN ẢNH CT NGỰC Giáo viên hướng dẫn: TS.Trần Nguyễn Minh Thư Cần Thơ, 06/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG  LUẬN VĂN NGÀNH CÔNG NGHỆ THÔNG TIN Đề tài ỨNG DỤNG MƠ HÌNH FASTER-RCNN PHÁT HIỆN VÙNG BẤT THƯỜNG TRÊN ẢNH CT NGỰC Giáo viên hướng dẫn: TS.Trần Nguyễn Minh Thư Cần Thơ, 06/2020 NHẬN XÉT CỦA GIẢNG VIÊN -Cần Thơ, ngày tháng năm (GVHD ký ghi rõ họ tên) LỜI CẢM ƠN Để có luận văn này, em xin bày tỏ lòng biết ơn chân thành sâu sắc đến Cô TS.Trần Nguyễn Minh Thư – người trực tiếp tận tình hướng dẫn, giúp đỡ em Trong suốt trình thực luận văn, nhờ bảo hướng dẫn quý luận văn hồn thành cách tốt Em xin gửi lời cám ơn chân thành đến Thầy Cô Giảng viên Đại học Cần Thơ, đặc biệt Thầy Cô Khoa CNTT & TT, người truyền đạt kiến thức quý báu thời gian qua Em xin chân thành cảm ơn bạn bè với gia đình ln động viên, khích lệ tạo điều kiện giúp đỡ suốt trình thực để em hồn thành luận văn cách tốt Tuy có nhiều cố gắng q trình thực luận văn, tránh khỏi sai sót Em mong nhận đóng góp ý kiến quý báu quý Thầy Cô bạn để luận văn hoàn thiện Cần Thơ, ngày 27 tháng 06 năm 2020 Người viết Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực MỤC LỤC PHẦN GIỚI THIỆU Đặt vấn đề Lịch sử giải vấn đề Mục tiêu đề tài Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Bố cục luận văn PHẦN NỘI DUNG CHƯƠNG MƠ TẢ BÀI TỐN 1.1 Mơ tả chi tiết tốn 1.1.1 Chụp CT ảnh CT ngực 1.1.2 Dữ liệu Dicom 1.1.3 Nhận diện vùng bất thường ảnh CT ngực 11 1.2 Vấn đề giải pháp liên quan đến toán 12 1.2.1 Mạng Nơ-ron nhân tạo 12 1.2.2 Thị giác máy tính 13 1.2.3 Mô hình phát vùng ảnh 20 1.3 Các thư viện hỗ trợ cho mơ hình Faster-RCNN 24 1.3.1 Thư viện Tensorflow 24 1.3.2 Thư viện Keras 24 1.3.3 Thư viện SimpleITK 26 CHƯƠNG 28 THIẾT KẾ HỆ THỐNG 28 2.1.Tổng thể hệ thiết kế hệ thống 28 2.2 Cài đặt hệ thống 28 2.2.1 Thu thập xử lý liệu 28 2.2.2 Q trình xử lý rút trích đặc trưng từ ảnh 31 2.2.3 Xử lý đặc trưng qua Region Proposal Network (RPN) 32 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực 2.2.4 Quá trình xử lý nhận diện vùng bất thường 35 CHƯƠNG 38 KIỂM THỬ VÀ ĐÁNH GIÁ 38 3.1 Dữ liệu môi trường thực nghiệm 38 3.2 Kết đánh giá 40 3.2.1 Đánh giá thời gian thực nghiệm 40 3.2.2 Đánh giá tổng quát 41 3.3.1 Đánh giá liệu 46 3.3.2 Nhược điểm hệ thống 53 PHẦN KẾT LUẬN 54 Kết đạt 54 Hướng phát triển 54 TÀI LIỆU THAM KHẢO 55 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực DANH MỤC HÌNH Hình ảnh 1: thông tin liệu Dicom phần header 10 Hình ảnh 2: Khối u có kích thước >= 3mm 11 Hình ảnh 3: Thành phần nơ-ron nhân tạo 12 Hình ảnh 4: Mơ hình Multi Layer Perceptron (MLP) 13 Hình ảnh 5: Mơ hình mạng nơ-ron tính chập 14 Hình ảnh 6: Phép tính chập ảnh CT ngực 15 Hình ảnh 7: Quá trình chập mạng 16 Hình ảnh 8: Thực tride 16 Hình ảnh 9: Thực tride 16 Hình ảnh 10: Thực padding với kích thước 17 Hình ảnh 11: Thực Max Pooling Average Pooling 17 Hình ảnh 12: Fully connected layer 18 Hình ảnh 13: Quá trình hoạt động CNN 18 Hình ảnh 14: Cấu trúc VGG16 19 Hình ảnh 15: Cấu trúc mơ hình RCNN[4] 20 Hình ảnh 16: Hình ảnh thật dự đoán bounding box 21 Hình ảnh 17: Tỷ lệ IoU 22 Hình ảnh 18: Kiến trúc mơ hình fast RCNN[2] 23 Hình ảnh 19: Kiến trúc mơ hình faster RCNN[3] 24 Hình ảnh 20: Biểu diễn ảnh thông qua simpleITK 27 Hình ảnh 21: Kiến trúc Faster RCNN ảnh CT ngực 28 Hình ảnh 22: xử lý liệu 29 Hình ảnh 23: Chuẩn Hounsfield ảnh chụp CT 30 Hình ảnh 24: Xử lý liệu xác định vị trí vùng bệnh 31 Hình ảnh 25: Trích xuất liệu sử dụng VGG16 32 Hình ảnh 26: Kích thước anchor 33 Hình ảnh 27: Một vị trí Anchor tham chiếu đến ảnh gốc 33 Hình ảnh 28: Quá trình từ trích xuất đặc trưng qua tiền xử lý RPN 33 Hình ảnh 29: đặc trưng Anchor 34 Hình ảnh 30: Ví dụ kết RPN 34 Hình ảnh 31 NMS xếp theo tọa độ y theo bên phải 35 24 Hình ảnh 32: NMS cho Faster RCNN 36 Hình ảnh 33: Xử lý đặc trưng thông qua Region of Interest (RoI) 36 Hình ảnh 34: Xử lý nhận nhận diện đối vùng bất thường 37 Hình ảnh 35: Nốt (Khối u) có phổi 38 Hình ảnh 36: Nốt (khối u) có kích thước nhỏ 39 Hình ảnh 37: Đánh giá độ mát phân lớp RPN 41 Hình ảnh 38: Đánh giá độ mát RPN Regression 42 Hình ảnh 39: Đánh giá độ mát phân lớp R-CNN 43 Hình ảnh 40: Đánh giá độ mát Regression R-CNN 44 Hình ảnh 41: Đánh giá độ mát tổng thể 45 Đề tài: Ứng dụng mô hình Faster-RCNN phát vùng bất thường ảnh CT ngực Hình ảnh 42: Kiểm thử ảnh CT ngực tập liệu kiểm thử ảnh số 89 89 47 Hình ảnh 43: Kiểm thử ảnh CT ngực tập liệu kiểm thử ảnh số 40 48 Hình ảnh 44: Ảnh IM000190 bệnh nhân BN05 nhóm bác sĩ đánh giá với độ xác trung bình 70% 49 Hình ảnh 45: Ảnh chụp CT bệnh nhân BN07 qua mơ hình 50 Hình ảnh 46: Ảnh chụp CT bệnh nhân BN06 qua mơ hình 51 Hình ảnh 47: Những phận chức ảnh CT 53 DANH MỤC BẢNG Bảng 1: Thời gian huấn luyện liệu 40 Bảng 2: Đánh giá mát phân lớp RPN 41 Bảng 3: đánh giá độ mát RPN Regression 42 Bảng 4: Đánh giá độ mát mát phân lớp R-CNN 43 Bảng 5: Đánh giá độ mát Regression R-CNN 44 Bảng 6: Đánh giá giá trị mát 45 Bảng 7: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN05 49 Bảng 8: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN07 50 Bảng 9: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN06 51 Bảng 10: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN11 .52 Bảng 11: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN24 .52 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực TÓM TẮT Ung thư phổi bệnh nguy hiểm, bác sĩ thường dựa vào hình ảnh CT ngực để có xác định khối u Hiện nay, việc xác định khối u phổi qua hình ảnh CT ngực hỗ trợ khơng nhỏ trí tuệ nhân tạo thị giác máy tính Trong luận văn này, mơ hình phát vùng bất thường ảnh CT ngực cách sử dụng mơ hình Faster-RCNN nghiên cứu xây dựng Mơ hình VGG16 sử dụng để rút trích đặc trưng hình ảnh mơ hình Faster-RCNN Đặc trưng thu từ mơ hình VGG16 đầu vào mơ hình mạng Region Proposal Netword (RPN) để thu vùng ảnh cần phân loại Sau đó, mơ hình FastRCNN sử dụng phát vị trí vùng bất thường Dựa vào tập liệu ảnh CT LUNA16, 950 ảnh sử dụng huấn luyện 326 ảnh sử dụng để đánh giá Hiệu đánh giá trình phát vùng bất thường thực 34 lần lập với tổng thời gian 12 49 phút Q trình đánh giá 326 ảnh có giá trị mát tổng thể 0.11 phân lớp RPN có giá trị mát 0.023, mát trình RPN Regression 0.032, mát trình phân lớp RCNN 0.038 RCNN Regresion 0.008 Kết đạt đề tài áp dụng mơ hình Faster-RCNN để phát vùng bất thường có kích thước nhỏ 3-5mm ảnh CT ngực Thời gian huấn luyện trình phát vùng bất thường hình ảnh CT khoảng 1,43s Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực ABSTRACT Lung cancer is a serious disease, doctors often rely on chest CT images to identify tumors Currently, the determination of tumors in the lungs through chest CT images is not slightly supported by artificial intelligence and computer vision In this thesis, the model of detecting anomalous region in chest CT images using Faster-RCNN model was studied and built VGG16 model is used to extract image characteristics from Faster-RCNN model The characteristic obtained from the VGG16 model is the input of the Region Proposal Netword network model (RPN) to obtain the image areas to be classified Later, the Fast-RCNN model is used to detect the location of the abnormal region Based on the CT LUNA16 image dataset, 950 images were used for training and 326 images were used for evaluation Effectiveness of abnormal area detection process was performed over 34 times with the total time of 12 hours 49 minutes The process of evaluation over 326 image has an overall loss of 0.101 in which the loss of RPN classification process: 0.023, the loss of the RPN Regression process: 0.032, the loss of the RCNN classification process 0.038 and RCNN Regresion 0.008 The result of this project is to apply Faster-RCNN model to detect abnormal areas with small size of 3-5mm on chest CT image Training time to detect abnormal areas on each CT image is about 1.43s Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực 3.2.2 Đánh giá giá trị mát tổng thể Mất mát tổng thể = mát RPN + mát RCNN Mất mát RPN = mát phân lớp RPN + mát RPN regression Mất mát RCNN = mát RCNN + mát RPN regression A Đánh giá mát phân lớp RPN Mất mát phân lớp RPN = ∑ STT 10 11 12 Giá trị STT 13 1.749 14 0.616 15 0.388 16 0.207 17 0.156 18 0.130 19 0.127 20 0.205 21 0.118 22 0.110 23 0.134 24 0.038 Giá trị 0.096 0.110 0.110 0.107 0.096 0.073 0.077 0.102 0.071 0.069 0.079 0.082 ( , STT 25 26 27 28 29 30 31 32 33 34 ∗ ) (4) Giá trị 0.041 0.046 0.068 0.056 0.042 0.041 0.051 0.073 0.043 0.023 Bảng 2: Đánh giá mát phân lớp RPN LOSS RPN CLASSIFIER 1.8 1.6 1.4 1.2 0.8 0.6 0.4 0.2 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Hình ảnh 37: Đánh giá độ mát phân lớp RPN 41 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Nhìn chung giá trị mát phân lớp RPN xác định giá trị tiệm cận từ lần lập thứ 25 giá trị gần so với lần thứ 34 B Đánh giá mất RPN Regression Mất mát RPN regression = ∑ STT 10 11 12 Giá trị STT Giá trị 13 0.394 0.062 14 0.171 0.057 15 0.127 0.053 16 0.111 0.059 17 0.103 0.050 0.091 18 0.051 0.096 19 0.050 0.081 20 0.043 0.075 21 0.043 0.071 22 0.043 0.074 23 0.036 0.063 24 0.039 ∗ STT 25 26 27 28 29 30 31 32 33 34 ( , ∗ ) (5) Giá trị 0.038 0.035 0.040 0.031 0.032 0.032 0.033 0.032 0.031 0.032 Bảng 3: đánh giá độ mát RPN Regression LOSS RPN REGRESSION 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Hình ảnh 38: Đánh giá độ mát RPN Regression 42 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Về đánh giá độ mát RPN Regression cho thấy giá trị từ lần lập thứ 23 đến lần lập cuối khơng có thay đổi nhiều mặt đánh giá RPN Regression C Đánh giá mát phân lớp R-CNN STT Giá trị STT Giá trị STT Giá trị 0.152 13 0.105 25 0.075 0.288 14 0.126 26 0.061 0.189 15 0.116 27 0.073 0.166 16 0.122 28 0.078 0.160 17 0.140 29 0.053 0.155 18 0.083 30 0.078 0.176 19 0.096 31 0.040 0.175 20 0.166 32 0.044 0.178 21 0.116 33 0.062 10 0.160 22 0.086 34 0.038 11 0.133 23 0.092 12 0.117 24 0.072 ∗ Mất mát phân lớp RCNN = =∑i Lcls(pi, p i) (10) Bảng 4: Đánh giá độ mát mát phân lớp R-CNN LOSS DETECTOR CLASSIFIER 0.35 0.3 0.25 0.2 0.15 0.1 0.05 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Hình ảnh 39: Đánh giá độ mát phân lớp R-CNN 43 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Đánh giá độ mát phân lớp R-CNN cho thấy trình đánh giá sau cho giá trị tốt gần với giá trị tiệm cận giá trị thay đổi nhỏ so với giá trị đánh giá tổng thể D Đánh giá mát Regression R-CNN Mất mát RCNN regression = ∑ STT 10 11 12 Giá trị 0.0139 0.0191 0.0193 0.0204 0.0201 0.0206 0.0297 0.0255 0.0251 0.0264 0.0206 0.0194 STT 13 14 15 16 17 18 19 20 21 22 23 24 ∗ ( , ∗) (11) Giá trị STT 0.0190 25 0.0194 26 0.0210 27 0.0210 28 0.0240 29 0.0163 30 0.0186 31 0.0274 32 0.0204 33 0.0151 34 0.0161 0.0145 Giá trị 0.0160 0.0141 0.0142 0.0126 0.0111 0.0111 0.0085 0.0083 0.0090 0.0084 Bảng 5: Đánh giá độ mát Regression R-CNN LOSS DETECTOR REGRESSION 0.035 0.03 0.025 0.02 0.015 0.01 0.005 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Hình ảnh 40: Đánh giá độ mát Regression R-CNN 44 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực E Đánh giá mát tổng quát STT Giá trị STT Giá trị STT Giá trị 2.309 13 0.281 25 0.170 1.093 14 0.312 26 0.157 0.723 15 0.299 27 0.195 0.503 16 0.310 28 0.178 0.439 17 0.311 29 0.138 0.397 18 0.223 30 0.162 0.429 19 0.242 31 0.132 0.487 20 0.339 32 0.157 0.397 21 0.250 33 0.146 10 0.367 22 0.213 34 0.101 11 0.362 23 0.222 12 0.237 24 0.208 Bảng 6: Đánh giá giá trị mát ĐÁNH GIÁ MẤT MÁT TỔNG THỂ 2.5 1.5 0.5 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Hình ảnh 41: Đánh giá độ mát tổng thể 45 Đề tài: Ứng dụng mô hình Faster-RCNN phát vùng bất thường ảnh CT ngực Nhìn chung giá trị đánh giá mát mát tổng quát gần đạt tới giá trị tiệm cận từ lần lập thứ 25 đến lần lập thứ 34 giá trị điều có thay đổi nhỏ so với mức chênh lệch lần trước đó, cho thấy đánh giá mơ hình FasterRCNN liệu ảnh CT đạt thông số cần thiết q trình đánh giá mơ hình sau 34 lần 3.2.3 Đánh giá liệu 3.2.3.1 Đánh giá tập liệu LUNA16 Trong tập liệu LUNA16 có 236 ảnh CT chứa khối u 169 hình ảnh chứa khối u với kích thước nhỏ từ 3-5 mm Thời gian cho việc đánh giá toàn liệu kiểm thử (236 ảnh) phút 20s (380s), Mơ hình đánh giá dự đốn khu vực bất thường hình ảnh khu vực có khối u Đánh giá liệu khơng phụ thuộc vào độ xác hình ảnh liệu kiểm thử Tuy nhiên, thực tế có số ảnh nhiều vùng bất thường ảnh gán nhãn, nên ảnh có vùng bất thường nhân đôi ảnh gán vùng bất thường Ví dụ ảnh 88 89 phân tích chi tiết bên Với 236 ảnh kiểm tra này, có 12 ảnh thực có vùng bất thường Kết kiểm tra cho thấy: - 12 ảnh có vùng bất thường: dự đốn vùng bất thường - 119 ảnh thực có nhiều vùng bất thường: dự đoán nhiều vùng bất thường - 105 ảnh dự đoán sai: sai vị trí vùng bất thường 46 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Ví dụ (Hình ảnh 42) Đánh giá ảnh thực có nhiều vùng bất thường, dự đoán nhiều vùng bất thường Ở ảnh 42.a 42.b ảnh lại dán nhãn vị trí vùng bất thường khác Ảnh 42.c đánh giá lại vùng bất thường có ảnh (a) (b) Ảnh CT ảnh lại có nhãn dán vị trí khác (c) (a): Hình ảnh số 88 tập liệu kiểm thử (b): Hình ảnh số 89 tập liệu kiểm thử (c): Hình ảnh đánh giá kết hình ảnh Hình ảnh 42: Kiểm thử ảnh CT ngực tập liệu kiểm thử ảnh số 89 89 Nhãn liệu đánh giá có Việc đánh giá liệu Error! Reference source not found đánh giá vị trí nhận diện cụ thể khối u hình hình đánh giá với hai nhãn khác Do hình ảnh có nhãn ảnh có nhiều vị trí xuất khối u ảnh hưởng đến trình đánh giá hình ảnh 47 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Ví dụ (Hình 43): đánh giá vùng bất thường có kích thước nhỏ (>= 3mm) (a) (b) (c) (a): Hình ảnh gốc ảnh số 40 (b): Hình ảnh số 40 dán nhãn (c): Hình ảnh đánh giá kết hình ảnh Hình ảnh 43: Kiểm thử ảnh CT ngực tập liệu kiểm thử ảnh số 40 Nhãn liệu đánh giá có kích thức khu vực nhỏ Việc đánh giá liệu Hình ảnh 43 đánh giá liệu, nhãn liệu đánh giá có kích thước nhỏ (3-5 mm) nên không đánh giá vị trí xuất khối u ảnh Ngồi việc đánh giá ảnh cịn thể vị trí mà nhãn khơng có 48 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực 3.2.3.2 Đánh giá liệu thực tế Dữ liệu thu thập từ trường Đại học Y Dược Cần Thơ (ĐHYD), liệu đánh giá bao gồm ảnh người bệnh nhân chụp CT ngực, chọn ngẫu nhiên từ 10 – 15 ảnh Mỗi ảnh đánh giá qua mơ hình, kết q trình đánh giá nhóm bác sĩ chuyên gia ĐHYD Cần Thơ xem xét đánh giá với độ xác ảnh Hình ảnh 44: Ảnh IM000190 bệnh nhân BN05 nhóm bác sĩ đánh giá với độ xác trung bình 70% 0% -100% Bệnh nhân Ảnh/ Độ xác Trung Bình Độ lệch Bác sĩ Bác sĩ BN05 IM000047 80 70 75 10 BN05 IM000165 50 50 50 BN05 IM000166 60 50 55 10 BN05 IM000174 30 30 30 BN05 IM000179 60 60 60 BN05 IM000187 40 50 45 10 BN05 IM000189 80 80 80 BN05 IM000190 70 70 70 BN05 IM000239 60 60 60 BN05 IM000297 0 0 Trung bình 53 52 52.5 Bảng 7: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN05 Với đánh giá nhóm bác sĩ (Bảng 7), nghiên cứu mơ hình đạt nhiều kết cao việc đánh giá phát vùng bất thường ảnh CT ngực bệnh nhân BN05 đạt độ xác trung bình đạt 52.5% với độ lệnh 3%, bên cạnh việc đánh giá (Hình ảnh 44) cho thấy đánh giá sai có vật lạ ảnh, mơ hình đánh giá vùng bất thường 49 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực (A) IM000031 (B) IM000058 (C) IM000063 Hình ảnh 45: Ảnh chụp CT bệnh nhân BN07 qua mô hình Bệnh nhân BN07 BN07 BN07 BN07 BN07 BN07 BN07 BN07 BN07 BN07 Ảnh/ Độ xác IM000031 IM000037 IM000038 IM000048 IM000050 IM000058 IM000059 IM000063 IM000070 IM000080 Trung bình 0% -100% Trung Bình Độ lệch Bác sĩ Bác sĩ 0 0 0 0 0 0 0 0 0 0 100 100 100 100 100 100 66 66 66 0 0 0 0 26.6 26.6 26.6 Bảng 8: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN07 Qua việc đánh giá bệnh nhân nhóm bác sĩ cho thấy mơ hình đánh giá ảnh CT khơng chứa có chứa vùng bất thường (B) đánh giá xác ảnh có vùng bất thường đạt tỉ lệ 66,66% (C), bên cạnh mơ hình đánh giá khơng xác vị trí có vùng bất thường (A), vùng có đặc trưng gần với đặc trưng vùng bất thường 50 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực (A) IM000159 (B) IM000059 (C) IM000176 Hình ảnh 46: Ảnh chụp CT bệnh nhân BN06 qua mơ hình Bệnh nhân BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 Ảnh/ Độ xác IM000059 IM000080 IM000085 IM000088 IM000121 IM000127 IM000138 IM000147 IM000159 IM000161 IM000169 IM000176 IM000213 IM000220 IM000230 Trung bình 0% -100% Bác sĩ Bác sĩ 20 30 0 40 30 40 30 75 70 40 30 70 70 70 50 80 30 0 20 100 100 100 100 100 100 50.667 42.667 Trung Bình Độ lệch 25 35 35 72.5 35 2.5 70 60 55 10 100 100 100 46.6667 10 10 10 10 20 50 20 0 9.3333 Bảng 9: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN06 Qua việc đánh giá ảnh CT ngực bệnh nhân BN06 nhóm bác sĩ cho thấy mơ hình phát vùng bất thường ( Hình ảnh 46), đánh giá khơng hồn tồn xác vùng bất thường nằm với vùng khác mơ hình đánh giá sai vùng (B), việc đánh giá ảnh (C) xác định vùng bất thường vùng hình ảnh cắt ảnh 3D nên xác định xác vị trí vùng bất thường 51 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Bệnh nhân BN11 BN11 BN11 BN11 BN11 BN11 BN11 BN11 BN11 BN11 Ảnh/ Độ xác IM000102 IM000165 IM000210 IM000211 IM000212 IM000217 IM000228 IM000231 IM000237 IM000240 Trung bình 0% -100% Bác sĩ Bác sĩ 0 100 100 0 0 0 100 100 0 0 0 100 100 30 30 Trung Bình Độ lệch 100 0 100 0 100 30 0 0 0 0 0 Bảng 10: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN11 Bệnh nhân BN024 BN024 BN024 BN024 BN024 BN024 BN024 BN024 BN024 BN024 Ảnh/ Độ xác IM000171 IM000181 IM000187 IM000194 IM000196 IM000202 IM000218 IM000220 IM000227 IM000247 Trung bình 0% -100% Bác sĩ Bác sĩ 0 10 10 10 10 10 10 0 0 0 0 0 0 3 Trung Bình Độ lệch 10 10 10 0 0 0 0 0 0 0 0 Bảng 11: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN24 Từ trình đánh giá nhóm bác sĩ cho thấy độ xác trung bình ảnh liệu đạt độ xác cao vùng ảnh có chưa vùng bất thường đạt 70%, bên cạnh đánh giá sai ảnh có vật lạ, đặc trưng vùng khác gần giống với đặc trưng vùng bất thường vùng bất thường nằm gần với vùng không bất thường tạo thành vùng lớn nên đánh giá không đạt kết cao Kết việc đánh giá thấy mơ hình đánh giá vùng bệnh ảnh CT ngực 52 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực 3.2.4 Nhược điểm hệ thống Cơ sở liệu để huấn luyện cho mơ hình nhỏ có 950 hình ảnh để huấn luyện, nhãn liệu với hình ảnh có nên ảnh hướng lớn đến trình đánh giá nhãn liệu khu vực bất thường khơng thể lên bệnh nhãn Hệ thống đánh giá sai với vùng khối u mà phận chức khác tim, tĩnh mạch, động mạch chủ ngực đoạn dưới, cột sống… (Hình ảnh 47) Hình ảnh 47: Những phận chức ảnh CT 53 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực PHẦN KẾT LUẬN Kết đạt Từ việc xử lý ảnh số hóa ta sử dụng liệu ảnh CT ngực ảnh y khoa phục vụ cho nghiên cứu liên quan đến hình ảnh y khoa Xây dựng mơ hình phát vùng bất thường ảnh CT ngực với mơ hình Faster-RCNN Mơ hình thực nghiệm tập liệu: LUNA liệu thu thập bệnh viện đại học Y dược Cần Thơ Mơ hình Faster-RCNN gốc áp dụng cho nhận dạng vùng lớn xe, người,… Trong nghiên cứu này, mô hình Faster-RCNN áp dụng thành cơng phát vùng bất thường nhỏ (>= 3mm) Về thời gian đánh giá cho thấy mơ hình nghiên cứu đánh giá liệu LUNA16 đạt 1428ms ảnh, thời gian gấp lần so với mô hình gốc đánh giá liệu lớn Tuy nhiên, tập liệu LUNA nghiên cứu chỉ vùng bất thường chưa xác định bệnh cụ thể tương ứng với vùng bất thường Hướng phát triển Xây dựng mơ hình nhận biết phân loại bệnh cụ thể hình ảnh CT ngực riêng ảnh y khoa nói chung Ngồi ra, sử dụng thêm liệu bệnh nhân Việt Nam để giúp tăng độ xác theo việc đánh giá người Việt Thực tế, có nhiều vùng bất thường có kích thước nhỏ phận thể từ xây dựng mơ hình đánh giá vùng bất thường với kích thước nhỏ (nhỏ 3mm) cải thiện thời gian đánh giá mơ hình Mơ hình Faster-RCNN nghiên cứu thực nghiệm ảnh CT ngực, tương lai tiếp tục phát triển để đánh giá nhiều thể loại ảnh y khoa khác MRI vùng đánh giá khác não, bụng, chi… 54 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực TÀI LIỆU THAM KHẢO [1] W Zhu, C Liu, W Fan and X Xie, "Deeplung: Deep 3d dual path nets for automated pulmonary nodule detection and classification," in 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), 2018 [2] R Girshick, "Fast R-CNN," arXiv e-prints, p arXiv:1504.08083, 2015 [3] S Ren, K He, R Girshick and J Sun, "Faster r-cnn: Towards real-time object detection with region proposal networks," in Advances in neural information processing systems, 2015 [4] R Girshick, J Donahue, T Darrell and J Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2014 [5] M F McNitt-Gray, S G Armato III, C R Meyer, A P Reeves, G McLennan, R C Pais, J Freymann, M S Brown, R M Engelmann, P H Bland and others, "The Lung Image Database Consortium (LIDC) data collection process for nodule detection and annotation," Academic radiology, vol 14, p 1464–1474, 2007 [6] A A A Setio, A Traverso, T De Bel, M S N Berens, C van den Bogaard, P Cerello, H Chen, Q Dou, M E Fantacci, B Geurts and others, "Validation, comparison, and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images: the LUNA16 challenge," Medical image analysis, vol 42, p 1–13, 2017 55 ... 0 .2 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Hình ảnh 37: Đánh giá độ mát phân lớp RPN 41 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực. .. 2. 5 1.5 0.5 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Hình ảnh 41: Đánh giá độ mát tổng thể 45 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT. .. 0.310 28 0.178 0.439 17 0.311 29 0.138 0.397 18 0 .22 3 30 0.1 62 0. 429 19 0 .24 2 31 0.1 32 0.487 20 0.339 32 0.157 0.397 21 0 .25 0 33 0.146 10 0.367 22 0 .21 3 34 0.101 11 0.3 62 23 0 .22 2 12 0 .23 7 24 0 .20 8