ỨNG DỤNG MÔ HÌNH FASTER RCNN PHÁT HIỆN VÙNG BẤT THƯỜNG TRÊN ẢNH CT NGỰC

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG  LUẬN VĂN NGÀNH CÔNG NGHỆ THÔNG TIN Đề tài ỨNG DỤNG MƠ HÌNH FASTER-RCNN PHÁT HIỆN VÙNG BẤT THƯỜNG TRÊN ẢNH CT NGỰC Giáo viên hướng dẫn: TS.Trần Nguyễn Minh Thư Cần Thơ, 06/2020 Sinh viên thực hiện: Trần Thanh Trung Mã số: B1606949 Khóa : 42 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG  LUẬN VĂN NGÀNH CƠNG NGHỆ THƠNG TIN Đề tài ỨNG DỤNG MƠ HÌNH FASTER-RCNN PHÁT HIỆN VÙNG BẤT THƯỜNG TRÊN ẢNH CT NGỰC Giáo viên hướng dẫn: TS.Trần Nguyễn Minh Thư Cần Thơ, 06/2020 Sinh viên thực hiện: Trần Thanh Trung Mã số: B1606949 Khóa : 42 NHẬN XÉT CỦA GIẢNG VIÊN -Cần Thơ, ngày tháng năm (GVHD ký ghi rõ họ tên) LỜI CẢM ƠN Để có luận văn này, em xin bày tỏ lòng biết ơn chân thành sâu sắc đến Cô TS.Trần Nguyễn Minh Thư – người trực tiếp tận tình hướng dẫn, giúp đỡ em Trong suốt trình thực luận văn, nhờ bảo hướng dẫn quý luận văn hoàn thành cách tốt Em xin gửi lời cám ơn chân thành đến Thầy Cô Giảng viên Đại học Cần Thơ, đặc biệt Thầy Cô Khoa CNTT & TT, người truyền đạt kiến thức quý báu thời gian qua Em xin chân thành cảm ơn bạn bè với gia đình ln động viên, khích lệ tạo điều kiện giúp đỡ suốt q trình thực để em hồn thành luận văn cách tốt Tuy có nhiều cố gắng trình thực luận văn, khơng thể tránh khỏi sai sót Em mong nhận đóng góp ý kiến quý báu quý Thầy Cô bạn để luận văn hoàn thiện Cần Thơ, ngày 27 tháng 06 năm 2020 Người viết Trần Thanh Trung Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực MỤC LỤC PHẦN GIỚI THIỆU Đặt vấn đề Lịch sử giải vấn đề Mục tiêu đề tài .8 Đối tượng phạm vi nghiên cứu .8 Phương pháp nghiên cứu .8 Bố cục luận văn PHẦN NỘI DUNG .9 CHƯƠNG MÔ TẢ BÀI TOÁN 1.1 Mô tả chi tiết toán .9 1.1.1 Chụp CT ảnh CT ngực 1.1.2 Dữ liệu Dicom 1.1.3 Nhận diện vùng bất thường ảnh CT ngực 11 1.2 Vấn đề giải pháp liên quan đến toán 12 1.2.1 Mạng Nơ-ron nhân tạo 12 1.2.2 Thị giác máy tính 13 1.2.3 Mơ hình phát vùng ảnh 20 1.3 Các thư viện hỗ trợ cho mơ hình Faster-RCNN .24 1.3.1 Thư viện Tensorflow 24 1.3.2 Thư viện Keras 24 1.3.3 Thư viện SimpleITK 26 CHƯƠNG 28 THIẾT KẾ HỆ THỐNG 28 2.1.Tổng thể hệ thiết kế hệ thống 28 2.2 Cài đặt hệ thống 28 2.2.1 Thu thập xử lý liệu 28 2.2.2 Quá trình xử lý rút trích đặc trưng từ ảnh 31 2.2.3 Xử lý đặc trưng qua Region Proposal Network (RPN) 32 TRẦN THANH TRUNG _ B1606949 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực 2.2.4 Quá trình xử lý nhận diện vùng bất thường 35 CHƯƠNG 38 KIỂM THỬ VÀ ĐÁNH GIÁ 38 3.1 Dữ liệu môi trường thực nghiệm 38 3.2 Kết đánh giá 40 3.2.1 Đánh giá thời gian thực nghiệm .40 3.2.2 Đánh giá tổng quát 41 3.3.1 Đánh giá liệu 46 3.3.2 Nhược điểm hệ thống .53 PHẦN KẾT LUẬN 54 Kết đạt 54 Hướng phát triển 54 TÀI LIỆU THAM KHẢO 55 TRẦN THANH TRUNG _ B1606949 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực DANH MỤC HÌNH Hình ảnh 1: thơng tin liệu Dicom phần header .10 Hình ảnh 2: Khối u có kích thước >= 3mm 11 Hình ảnh 3: Thành phần nơ-ron nhân tạo .12 Hình ảnh 4: Mơ hình Multi Layer Perceptron (MLP) .13 Hình ảnh 5: Mơ hình mạng nơ-ron tính chập 14 Hình ảnh 6: Phép tính chập ảnh CT ngực 15 Hình ảnh 7: Quá trình chập mạng .16 Hình ảnh 8: Thực tride 16 Hình ảnh 9: Thực tride 16 Hình ảnh 10: Thực padding với kích thước 17 Hình ảnh 11: Thực Max Pooling Average Pooling 17 Hình ảnh 12: Fully connected layer 18 Hình ảnh 13: Quá trình hoạt động CNN .18 Hình ảnh 14: Cấu trúc VGG16 19 Hình ảnh 15: Cấu trúc mơ hình RCNN[4] 20 Hình ảnh 16: Hình ảnh thật dự đốn bounding box 21 Hình ảnh 17: Tỷ lệ IoU .22 Hình ảnh 18: Kiến trúc mơ hình fast RCNN[2] 23 Hình ảnh 19: Kiến trúc mơ hình faster RCNN[3] .24 Hình ảnh 20: Biểu diễn ảnh thông qua simpleITK 27 Hình ảnh 21: Kiến trúc Faster RCNN ảnh CT ngực 28 Hình ảnh 22: xử lý liệu 29 Hình ảnh 23: Chuẩn Hounsfield ảnh chụp CT 30 Hình ảnh 24: Xử lý liệu xác định vị trí vùng bệnh 31 Hình ảnh 25: Trích xuất liệu sử dụng VGG16 .32 Hình ảnh 26: Kích thước anchor 33 Hình ảnh 27: Một vị trí Anchor tham chiếu đến ảnh gốc 33 Hình ảnh 28: Q trình từ trích xuất đặc trưng qua tiền xử lý RPN 33 Hình ảnh 29: đặc trưng Anchor 34 Hình ảnh 30: Ví dụ kết RPN 34 Hình ảnh 31 NMS xếp theo tọa độ y theo bên phải .35 Hình ảnh 32: NMS cho Faster RCNN24 .36 Hình ảnh 33: Xử lý đặc trưng thông qua Region of Interest (RoI) 36 Hình ảnh 34: Xử lý nhận nhận diện đối vùng bất thường 37 Hình ảnh 35: Nốt (Khối u) có phổi 38 Hình ảnh 36: Nốt (khối u) có kích thước nhỏ 39 Hình ảnh 37: Đánh giá độ mát phân lớp RPN 41 Hình ảnh 38: Đánh giá độ mát RPN Regression 42 Hình ảnh 39: Đánh giá độ mát phân lớp R-CNN 43 Hình ảnh 40: Đánh giá độ mát Regression R-CNN 44 Hình ảnh 41: Đánh giá độ mát tổng thể .45 TRẦN THANH TRUNG _ B1606949 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Hình ảnh 42: Kiểm thử ảnh CT ngực tập liệu kiểm thử ảnh số 89 89 47 Hình ảnh 43: Kiểm thử ảnh CT ngực tập liệu kiểm thử ảnh số 40 48 Hình ảnh 44: Ảnh IM000190 bệnh nhân BN05 nhóm bác sĩ đánh giá với độ xác trung bình 70% 49 Hình ảnh 45: Ảnh chụp CT bệnh nhân BN07 qua mơ hình 50 Hình ảnh 46: Ảnh chụp CT bệnh nhân BN06 qua mơ hình 51 Hình ảnh 47: Những phận chức ảnh CT 53 DANH MỤC BẢNG Bảng 1: Thời gian huấn luyện liệu .40 Bảng 2: Đánh giá mát phân lớp RPN 41 Bảng 3: đánh giá độ mát RPN Regression 42 Bảng 4: Đánh giá độ mát mát phân lớp R-CNN 43 Bảng 5: Đánh giá độ mát Regression R-CNN 44 Bảng 6: Đánh giá giá trị mát 45 Bảng 7: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN05 49 Bảng 8: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN07 50 Bảng 9: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN06 51 Bảng 10: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN11 .52 Bảng 11: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN24 .52 TRẦN THANH TRUNG _ B1606949 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực TÓM TẮT Ung thư phổi bệnh nguy hiểm, bác sĩ thường dựa vào hình ảnh CT ngực để có xác định khối u Hiện nay, việc xác định khối u phổi qua hình ảnh CT ngực hỗ trợ khơng nhỏ trí tuệ nhân tạo thị giác máy tính Trong luận văn này, mơ hình phát vùng bất thường ảnh CT ngực cách sử dụng mơ hình Faster-RCNN nghiên cứu xây dựng Mơ hình VGG16 sử dụng để rút trích đặc trưng hình ảnh mơ hình Faster-RCNN Đặc trưng thu từ mơ hình VGG16 đầu vào mơ hình mạng Region Proposal Netword (RPN) để thu vùng ảnh cần phân loại Sau đó, mơ hình Fast-RCNN sử dụng phát vị trí vùng bất thường Dựa vào tập liệu ảnh CT LUNA16, 950 ảnh sử dụng huấn luyện 326 ảnh sử dụng để đánh giá Hiệu đánh giá trình phát vùng bất thường thực 34 lần lập với tổng thời gian 12 49 phút Quá trình đánh giá 326 ảnh có giá trị mát tổng thể 0.11 phân lớp RPN có giá trị mát 0.023, mát trình RPN Regression 0.032, mát trình phân lớp RCNN 0.038 RCNN Regresion 0.008 Kết đạt đề tài áp dụng mô hình Faster-RCNN để phát vùng bất thường có kích thước nhỏ 3-5mm ảnh CT ngực Thời gian huấn luyện trình phát vùng bất thường hình ảnh CT khoảng 1,43s TRẦN THANH TRUNG _ B1606949 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực ABSTRACT Lung cancer is a serious disease, doctors often rely on chest CT images to identify tumors Currently, the determination of tumors in the lungs through chest CT images is not slightly supported by artificial intelligence and computer vision In this thesis, the model of detecting anomalous region in chest CT images using FasterRCNN model was studied and built VGG16 model is used to extract image characteristics from Faster-RCNN model The characteristic obtained from the VGG16 model is the input of the Region Proposal Netword network model (RPN) to obtain the image areas to be classified Later, the Fast-RCNN model is used to detect the location of the abnormal region Based on the CT LUNA16 image dataset, 950 images were used for training and 326 images were used for evaluation Effectiveness of abnormal area detection process was performed over 34 times with the total time of 12 hours 49 minutes The process of evaluation over 326 image has an overall loss of 0.101 in which the loss of RPN classification process: 0.023, the loss of the RPN Regression process: 0.032, the loss of the RCNN classification process 0.038 and RCNN Regresion 0.008 The result of this project is to apply Faster-RCNN model to detect abnormal areas with small size of 3-5mm on chest CT image Training time to detect abnormal areas on each CT image is about 1.43s TRẦN THANH TRUNG _ B1606949 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực 3.2.2 Đánh giá giá trị mát tổng thể Mất mát tổng thể = mát RPN + mát RCNN Mất mát RPN = mát phân lớp RPN + mát RPN regression Mất mát RCNN = mát RCNN + mát RPN regression A Đánh giá mát phân lớp RPN 𝜆 ∑𝑖 𝐿𝑐𝑙𝑠 (𝑝𝑖 , 𝑝𝑖∗ ) (4) Mất mát phân lớp RPN = 𝑁𝑐𝑙𝑠 Giá trị STT Giá trị STT Giá trị 1.749 13 0.096 25 0.041 0.616 14 0.110 26 0.046 0.388 15 0.110 27 0.068 0.207 16 0.107 28 0.056 0.156 17 0.096 29 0.042 0.130 18 0.073 30 0.041 0.127 19 0.077 31 0.051 0.205 20 0.102 32 0.073 0.118 21 0.071 33 0.043 0.110 22 0.069 34 0.023 0.134 23 0.079 0.038 24 0.082 STT 10 11 12 Bảng 2: Đánh giá mát phân lớp RPN LOSS RPN CLASSIFIER 1.8 1.6 1.4 1.2 0.8 0.6 0.4 0.2 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Hình ảnh 37: Đánh giá độ mát phân lớp RPN TRẦN THANH TRUNG _ B1606949 41 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Nhìn chung giá trị mát phân lớp RPN xác định giá trị tiệm cận từ lần lập thứ 25 giá trị gần so với lần thứ 34 B Đánh giá mất RPN Regression 𝜆 ∑𝑖 𝑝𝑖∗ 𝐿𝑟𝑒𝑔 (𝑡𝑖 , 𝑡𝑖∗ ) (5) Mất mát RPN regression = 𝑁𝑟𝑒𝑔 STT 10 11 12 Giá trị STT Giá trị STT Giá trị 0.394 0.062 0.038 13 25 0.171 0.057 0.035 14 26 0.127 0.053 0.040 15 27 0.111 0.059 0.031 16 28 0.103 0.050 0.032 17 29 0.091 0.051 0.032 18 30 0.096 0.050 0.033 19 31 0.081 0.043 0.032 20 32 0.075 0.043 0.031 21 33 0.071 0.043 0.032 22 34 0.074 0.036 23 0.063 0.039 24 Bảng 3: đánh giá độ mát RPN Regression LOSS RPN REGRESSION 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Hình ảnh 38: Đánh giá độ mát RPN Regression TRẦN THANH TRUNG _ B1606949 42 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Về đánh giá độ mát RPN Regression cho thấy giá trị từ lần lập thứ 23 đến lần lập cuối khơng có thay đổi nhiều mặt đánh giá RPN Regression C Đánh giá mát phân lớp R-CNN Mất mát phân lớp RCNN = =∑i Lcls (pi , p∗i ) (10) STT Giá trị STT Giá trị STT Giá trị 0.152 13 0.105 25 0.075 0.288 14 0.126 26 0.061 0.189 15 0.116 27 0.073 0.166 16 0.122 28 0.078 0.160 17 0.140 29 0.053 0.155 18 0.083 30 0.078 0.176 19 0.096 31 0.040 0.175 20 0.166 32 0.044 0.178 21 0.116 33 0.062 10 0.160 22 0.086 34 0.038 11 0.133 23 0.092 12 0.117 24 0.072 Bảng 4: Đánh giá độ mát mát phân lớp R-CNN LOSS DETECTOR CLASSIFIER 0.35 0.3 0.25 0.2 0.15 0.1 0.05 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Hình ảnh 39: Đánh giá độ mát phân lớp R-CNN TRẦN THANH TRUNG _ B1606949 43 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Đánh giá độ mát phân lớp R-CNN cho thấy trình đánh giá sau cho giá trị tốt gần với giá trị tiệm cận giá trị thay đổi nhỏ so với giá trị đánh giá tổng thể D Đánh giá mát Regression R-CNN Mất mát RCNN regression = 𝜆 ∑𝑖 𝑝𝑖∗ 𝐿𝑟𝑒𝑔 (𝑡𝑖 , 𝑡𝑖∗ ) (11) STT Giá trị STT Giá trị STT Giá trị 0.0139 13 0.0190 25 0.0160 0.0191 0.0194 14 26 0.0141 0.0193 15 0.0210 27 0.0142 0.0204 16 0.0210 28 0.0126 0.0201 17 0.0240 29 0.0111 0.0206 18 0.0163 30 0.0111 0.0297 19 0.0186 31 0.0085 0.0255 20 0.0274 32 0.0083 0.0251 21 0.0204 33 0.0090 0.0264 0.0151 10 22 34 0.0084 11 0.0206 23 0.0161 12 0.0194 24 0.0145 Bảng 5: Đánh giá độ mát Regression R-CNN LOSS DETECTOR REGRESSION 0.035 0.03 0.025 0.02 0.015 0.01 0.005 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Hình ảnh 40: Đánh giá độ mát Regression R-CNN TRẦN THANH TRUNG _ B1606949 44 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực E Đánh giá mát tổng quát STT Giá trị STT Giá trị STT Giá trị 2.309 0.281 0.170 13 25 1.093 0.312 0.157 14 26 0.723 0.299 0.195 15 27 0.503 0.310 0.178 16 28 0.439 0.311 0.138 17 29 0.397 0.223 0.162 18 30 0.429 0.242 0.132 19 31 0.487 0.339 0.157 20 32 0.397 0.250 0.146 21 33 0.367 0.213 0.101 10 22 34 0.362 0.222 11 23 0.237 0.208 12 24 Bảng 6: Đánh giá giá trị mát ĐÁNH GIÁ MẤT MÁT TỔNG THỂ 2.5 1.5 0.5 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Hình ảnh 41: Đánh giá độ mát tổng thể TRẦN THANH TRUNG _ B1606949 45 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Nhìn chung giá trị đánh giá mát mát tổng quát gần đạt tới giá trị tiệm cận từ lần lập thứ 25 đến lần lập thứ 34 giá trị điều có thay đổi nhỏ so với mức chênh lệch lần trước đó, cho thấy đánh giá mơ hình Faster-RCNN liệu ảnh CT đạt thông số cần thiết q trình đánh giá mơ hình sau 34 lần 3.2.3 Đánh giá liệu 3.2.3.1 Đánh giá tập liệu LUNA16 Trong tập liệu LUNA16 có 236 ảnh CT chứa khối u 169 hình ảnh chứa khối u với kích thước nhỏ từ 3-5 mm Thời gian cho việc đánh giá toàn liệu kiểm thử (236 ảnh) phút 20s (380s), Mơ hình đánh giá dự đốn khu vực bất thường hình ảnh khu vực có khối u Đánh giá liệu khơng phụ thuộc vào độ xác hình ảnh liệu kiểm thử Tuy nhiên, thực tế có số ảnh nhiều vùng bất thường ảnh gán nhãn, nên ảnh có vùng bất thường nhân đôi ảnh gán vùng bất thường Ví dụ ảnh 88 89 phân tích chi tiết bên Với 236 ảnh kiểm tra này, có 12 ảnh thực có vùng bất thường Kết kiểm tra cho thấy: - 12 ảnh có vùng bất thường: dự đoán vùng bất thường - 119 ảnh thực có nhiều vùng bất thường: dự đốn nhiều vùng bất thường - 105 ảnh dự đốn sai: sai vị trí vùng bất thường TRẦN THANH TRUNG _ B1606949 46 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Ví dụ (Hình ảnh 42) Đánh giá ảnh thực có nhiều vùng bất thường, dự đốn nhiều vùng bất thường Ở ảnh 42.a 42.b ảnh lại dán nhãn vị trí vùng bất thường khác Ảnh 42.c đánh giá lại vùng bất thường có ảnh (a) (b) Ảnh CT ảnh lại có nhãn dán vị trí khác (c) (a): Hình ảnh số 88 tập liệu kiểm thử (b): Hình ảnh số 89 tập liệu kiểm thử (c): Hình ảnh đánh giá kết hình ảnh Hình ảnh 42: Kiểm thử ảnh CT ngực tập liệu kiểm thử ảnh số 89 89 Nhãn liệu đánh giá có Việc đánh giá liệu Error! Reference source not found đánh giá vị trí nhận diện cụ thể khối u hình hình đánh giá với hai nhãn khác Do hình ảnh có nhãn ảnh có nhiều vị trí xuất khối u ảnh hưởng đến trình đánh giá hình ảnh TRẦN THANH TRUNG _ B1606949 47 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Ví dụ (Hình 43): đánh giá vùng bất thường có kích thước nhỏ (>= 3mm) (a) (b) (c) (a): Hình ảnh gốc ảnh số 40 (b): Hình ảnh số 40 dán nhãn (c): Hình ảnh đánh giá kết hình ảnh Hình ảnh 43: Kiểm thử ảnh CT ngực tập liệu kiểm thử ảnh số 40 Nhãn liệu đánh giá có kích thức khu vực nhỏ Việc đánh giá liệu Hình ảnh 43 đánh giá liệu, nhãn liệu đánh giá có kích thước nhỏ (3-5 mm) nên khơng đánh giá vị trí xuất khối u ảnh Ngồi việc đánh giá ảnh cịn thể vị trí mà nhãn khơng có TRẦN THANH TRUNG _ B1606949 48 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực 3.2.3.2 Đánh giá liệu thực tế Dữ liệu thu thập từ trường Đại học Y Dược Cần Thơ (ĐHYD), liệu đánh giá bao gồm ảnh người bệnh nhân chụp CT ngực, chọn ngẫu nhiên từ 10 – 15 ảnh Mỗi ảnh đánh giá qua mơ hình, kết q trình đánh giá nhóm bác sĩ chuyên gia ĐHYD Cần Thơ xem xét đánh giá với độ xác ảnh Hình ảnh 44: Ảnh IM000190 bệnh nhân BN05 nhóm bác sĩ đánh giá với độ xác trung bình 70% 0% -100% Bệnh nhân Ảnh/ Độ xác Trung Bình Độ lệch Bác sĩ Bác sĩ BN05 IM000047 80 70 75 10 BN05 IM000165 50 50 50 BN05 IM000166 60 50 55 10 BN05 IM000174 30 30 30 BN05 IM000179 60 60 60 BN05 IM000187 40 50 45 10 BN05 IM000189 80 80 80 BN05 IM000190 70 70 70 BN05 IM000239 60 60 60 BN05 IM000297 0 0 Trung bình 53 52 52.5 Bảng 7: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN05 Với đánh giá nhóm bác sĩ (Bảng 7), nghiên cứu mơ hình đạt nhiều kết cao việc đánh giá phát vùng bất thường ảnh CT ngực bệnh nhân BN05 đạt độ xác trung bình đạt 52.5% với độ lệnh 3%, bên cạnh việc đánh giá (Hình ảnh 44) cho thấy đánh giá sai có vật lạ ảnh, mơ hình đánh giá vùng bất thường TRẦN THANH TRUNG _ B1606949 49 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực (A) IM000031 (B) IM000058 (C) IM000063 Hình ảnh 45: Ảnh chụp CT bệnh nhân BN07 qua mơ hình Bệnh nhân BN07 BN07 BN07 BN07 BN07 BN07 BN07 BN07 BN07 BN07 Ảnh/ Độ xác IM000031 IM000037 IM000038 IM000048 IM000050 IM000058 IM000059 IM000063 IM000070 IM000080 Trung bình 0% -100% Trung Bình Độ lệch Bác sĩ Bác sĩ 0 0 0 0 0 0 0 0 0 0 100 100 100 100 100 100 66 66 66 0 0 0 0 26.6 26.6 26.6 Bảng 8: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN07 Qua việc đánh giá bệnh nhân nhóm bác sĩ cho thấy mơ hình đánh giá ảnh CT khơng chứa có chứa vùng bất thường (B) đánh giá xác ảnh có vùng bất thường đạt tỉ lệ 66,66% (C), bên cạnh mơ hình đánh giá khơng xác vị trí có vùng bất thường (A), vùng có đặc trưng gần với đặc trưng vùng bất thường TRẦN THANH TRUNG _ B1606949 50 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực (A) IM000159 (B) IM000059 (C) IM000176 Hình ảnh 46: Ảnh chụp CT bệnh nhân BN06 qua mơ hình Bệnh nhân BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 BN06 Ảnh/ Độ xác IM000059 IM000080 IM000085 IM000088 IM000121 IM000127 IM000138 IM000147 IM000159 IM000161 IM000169 IM000176 IM000213 IM000220 IM000230 Trung bình 0% -100% Bác sĩ Bác sĩ 20 30 0 40 30 40 30 75 70 40 30 70 70 70 50 80 30 0 20 100 100 100 100 100 100 50.667 42.667 Trung Bình Độ lệch 25 35 35 72.5 35 2.5 70 60 55 10 100 100 100 46.6667 10 10 10 10 20 50 20 0 9.3333 Bảng 9: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN06 Qua việc đánh giá ảnh CT ngực bệnh nhân BN06 nhóm bác sĩ cho thấy mơ hình phát vùng bất thường (Hình ảnh 46), đánh giá khơng hồn tồn xác vùng bất thường nằm với vùng khác mơ hình đánh giá sai vùng (B), việc đánh giá ảnh (C) xác định vùng bất thường vùng hình ảnh cắt ảnh 3D nên xác định xác vị trí vùng bất thường TRẦN THANH TRUNG _ B1606949 51 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực Bệnh nhân BN11 BN11 BN11 BN11 BN11 BN11 BN11 BN11 BN11 BN11 Ảnh/ Độ xác IM000102 IM000165 IM000210 IM000211 IM000212 IM000217 IM000228 IM000231 IM000237 IM000240 Trung bình 0% -100% Bác sĩ Bác sĩ 0 100 100 0 0 0 100 100 0 0 0 100 100 30 30 Trung Bình Độ lệch 100 0 100 0 100 30 0 0 0 0 0 Bảng 10: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN11 Bệnh nhân BN024 BN024 BN024 BN024 BN024 BN024 BN024 BN024 BN024 BN024 Ảnh/ Độ xác IM000171 IM000181 IM000187 IM000194 IM000196 IM000202 IM000218 IM000220 IM000227 IM000247 Trung bình 0% -100% Bác sĩ Bác sĩ 0 10 10 10 10 10 10 0 0 0 0 0 0 3 Trung Bình Độ lệch 10 10 10 0 0 0 0 0 0 0 0 Bảng 11: Đánh giá độ xác bác sĩ qua ảnh CT ngực BN24 Từ trình đánh giá nhóm bác sĩ cho thấy độ xác trung bình ảnh liệu đạt độ xác cao vùng ảnh có chưa vùng bất thường đạt 70%, bên cạnh đánh giá sai ảnh có vật lạ, đặc trưng vùng khác gần giống với đặc trưng vùng bất thường vùng bất thường nằm gần với vùng không bất thường tạo thành vùng lớn nên đánh giá không đạt kết cao Kết việc đánh giá thấy mơ hình đánh giá vùng bệnh ảnh CT ngực TRẦN THANH TRUNG _ B1606949 52 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực 3.2.4 Nhược điểm hệ thống Cơ sở liệu để huấn luyện cho mơ hình nhỏ có 950 hình ảnh để huấn luyện, nhãn liệu với hình ảnh có nên ảnh hướng lớn đến trình đánh giá nhãn liệu khu vực bất thường khơng thể lên bệnh nhãn Hệ thống đánh giá sai với vùng khối u mà phận chức khác tim, tĩnh mạch, động mạch chủ ngực đoạn dưới, cột sống… (Hình ảnh 47) Hình ảnh 47: Những phận chức ảnh CT TRẦN THANH TRUNG _ B1606949 53 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực PHẦN KẾT LUẬN Kết đạt Từ việc xử lý ảnh số hóa ta sử dụng liệu ảnh CT ngực ảnh y khoa phục vụ cho nghiên cứu liên quan đến hình ảnh y khoa Xây dựng mơ hình phát vùng bất thường ảnh CT ngực với mơ hình Faster-RCNN Mơ hình thực nghiệm tập liệu: LUNA liệu thu thập bệnh viện đại học Y dược Cần Thơ Mô hình Faster-RCNN gốc áp dụng cho nhận dạng vùng lớn xe, người,… Trong nghiên cứu này, mơ hình Faster-RCNN áp dụng thành cơng phát vùng bất thường nhỏ (>= 3mm) Về thời gian đánh giá cho thấy mơ hình nghiên cứu đánh giá liệu LUNA16 đạt 1428ms ảnh, thời gian gấp lần so với mơ hình gốc đánh giá liệu lớn Tuy nhiên, tập liệu LUNA nghiên cứu chỉ vùng bất thường chưa xác định bệnh cụ thể tương ứng với vùng bất thường Hướng phát triển Xây dựng mơ hình nhận biết phân loại bệnh cụ thể hình ảnh CT ngực riêng ảnh y khoa nói chung Ngồi ra, sử dụng thêm liệu bệnh nhân Việt Nam để giúp tăng độ xác theo việc đánh giá người Việt Thực tế, có nhiều vùng bất thường có kích thước nhỏ phận thể từ xây dựng mơ hình đánh giá vùng bất thường với kích thước nhỏ (nhỏ 3mm) cải thiện thời gian đánh giá mơ hình Mơ hình Faster-RCNN nghiên cứu thực nghiệm ảnh CT ngực, tương lai tiếp tục phát triển để đánh giá nhiều thể loại ảnh y khoa khác MRI vùng đánh giá khác não, bụng, chi… TRẦN THANH TRUNG _ B1606949 54 Đề tài: Ứng dụng mơ hình Faster-RCNN phát vùng bất thường ảnh CT ngực TÀI LIỆU THAM KHẢO [1] W Zhu, C Liu, W Fan and X Xie, "Deeplung: Deep 3d dual path nets for automated pulmonary nodule detection and classification," in 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), 2018 [2] R Girshick, "Fast R-CNN," arXiv e-prints, p arXiv:1504.08083, 2015 [3] S Ren, K He, R Girshick and J Sun, "Faster r-cnn: Towards real-time object detection with region proposal networks," in Advances in neural information processing systems, 2015 [4] R Girshick, J Donahue, T Darrell and J Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2014 [5] M F McNitt-Gray, S G Armato III, C R Meyer, A P Reeves, G McLennan, R C Pais, J Freymann, M S Brown, R M Engelmann, P H Bland and others, "The Lung Image Database Consortium (LIDC) data collection process for nodule detection and annotation," Academic radiology, vol 14, p 1464–1474, 2007 [6] A A A Setio, A Traverso, T De Bel, M S N Berens, C van den Bogaard, P Cerello, H Chen, Q Dou, M E Fantacci, B Geurts and others, "Validation, comparison, and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images: the LUNA16 challenge," Medical image analysis, vol 42, p 1–13, 2017 TRẦN THANH TRUNG _ B1606949 55 ... ảnh CT khoảng 1,43s TRẦN THANH TRUNG _ B1606949 Đề tài: Ứng dụng mô hình Faster- RCNN phát vùng bất thường ảnh CT ngực ABSTRACT Lung cancer is a serious disease, doctors often rely on chest CT. .. loss of the RCNN classification process 0.038 and RCNN Regresion 0.008 The result of this project is to apply Faster- RCNN model to detect abnormal areas with small size of 3-5mm on chest CT image... https://www.pyimagesearch.com/2016/11/07/intersection-over-union-iou-for-object-detection/ TRẦN THANH TRUNG _ B1606949 22 Đề tài: Ứng dụng mơ hình Faster- RCNN phát vùng bất thường ảnh CT ngực Hình ảnh 18: Kiến trúc mơ hình fast RCNN[ 2]