Bài viết đề xuất một giải pháp có thể hỗ trợ bác sỹ hình ảnh phát hiện chính xác bệnh ung thư vú và phân loại ung thư khi chụp X-quang tuyến vú bằng cách sử dụng phương pháp huấn luyện end-to-end kết hợp với mô hình CNN state-of-the-art EfficientNetB3.
Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR), Nha Trang, ngày 8-9/10/2020 DOI: 10.15625/vap.2020.00170 KẾT HỢP ĐẶC TRƯNG SÂU TRONG HỖ TRỢ CHẨN ĐOÁN UNG THƯ VÚ TRÊN NHŨ ẢNH X-QUANG Nguyễn Chí Thanh1, Võ Thị Huyền Trang1, Lê Minh Hưng1, Hoàng Lê Uyên Thục2 Trường ĐH Công nghệ thông tin - Đại học Quốc gia TP HCM Trường Đại học Bách khoa - Đại học Đà Nẵng 16521118@gm.uit.edu.vn, 16521283@gm.uit.edu.vn, hunglm@uit.edu.vn, hluthuc@dut.udn.vn TÓM TẮT: Bệnh Ung thư vú loại ung thư nguy hiểm phụ nữ, phương pháp sàng lọc bệnh phổ biến chẩn đoán dựa nhũ ảnh, kết chẩn đoán bệnh lệ thuộc vào chất lượng ảnh chuyên môn bác sĩ Điều dẫn đến tốn chi phí, thời gian, cơng sức mà hiệu đạt khơng cao Hiện nay, có nhiều hệ thống hỗ trợ bác sĩ hình ảnh nâng cao khả chẩn đoán bệnh qua nhũ ảnh phần mềm phát chẩn đốn máy tính (Computer Aided Diagnosis - CAD) phát triển ứng dụng lâm sàng từ năm 1990, có nhiều phương pháp sử dụng deep learning, mạng neuron tích chập để tự động học trích xuất đặc trưng giúp mang lại độ xác cao phương pháp truyền thống Tuy nhiên, phương pháp tập trung vào phân loại mà không cụ thể vùng bệnh (tổn thương) nên gây nhiều khó khăn cho việc chẩn đốn điều trị bệnh Trong báo này, đề xuất giải pháp hỗ trợ bác sỹ hình ảnh phát xác bệnh ung thư vú phân loại ung thư chụp X-quang tuyến vú cách sử dụng phương pháp huấn luyện end-to-end kết hợp với mơ hình CNN state-of-the-art EfficientNetB3 Thực nghiệm tiến hành ảnh chụp X-quang tuyến vú số hóa từ tập liệu Curated Breast Imaging Subset of Digital Database for Screening Mammography (CBIS-DDSM), mơ hình tốt đạt AUC 0,91 (độ nhạy: 81 % , độ đặc hiệu: 83 %) Từ khóa: Mammograms, Breast cancer, Deep Convolutional Neural Networks (DCNNs), EfficientNet I GIỚI THIỆU Sự phát triển nhanh chóng khoa học máy tính, cụ thể bùng nổ máy học, đặc biệt học sâu tiếp tục thúc đẩy nhà khoa học máy tính chuyên nghiên cứu y khoa quan tâm đến việc áp dụng kỹ thuật để hỗ trợ cho bác sỹ cải thiện độ xác việc chẩn đoán ung thư Ung thư vú nguyên nhân gây tử vong ung thư phụ nữ Mỹ [1] chụp nhũ ảnh để sàng lọc bệnh việc quan trọng chứng minh giúp giảm tỷ lệ tử vong [2] Mặc dù, nhũ ảnh sử dụng rộng rãi chẩn đốn ung thư, việc giải thích hình ảnh cịn nhiều thách thức Xác định dương tính giả (có bệnh) gây lo lắng khơng đáng có cho bệnh nhân kéo theo thủ tục chẩn đốn xâm lấn khơng cần thiết, tốn hay ung thư bị bỏ sót sàng lọc (âm tính giả) khơng xác định bệnh phát triển nặng Computer-aided detection (CAD) phát triển để giúp bác sĩ X-quang thuận tiện việc đọc nhũ ảnh Ban đầu, số nghiên cứu đưa kết luận tương lai đầy hứa hẹn CAD [3], [4], [5], [6] Tuy nhiên, thập kỷ qua, nhiều nghiên cứu kết luận CAD sử dụng không cải thiện hiệu suất bác sĩ X-quang công việc hàng ngày Mỹ [7], [8], [9] Với thành công vượt bậc học sâu nhận dạng phát đối tượng [10], ngày xuất nhiều nghiên cứu phát triển công cụ học sâu để hỗ trợ bác sĩ X-quang nhằm cải thiện độ xác chẩn đốn nhũ ảnh [11], [12], [13], [14], [15] Các nghiên cứu hệ thống CAD dựa học sâu hoạt động tốt tương đương với hiệu suất bác sĩ X-quang độc lập [16], [17] Nhũ ảnh ảnh có kích thước lớn, việc phát vùng ung thư (vùng tổn thương) nhũ ảnh vùng bất thường có kích thước nhỏ so với kích thước ảnh khó khăn thách thức lớn Ví dụ, nhũ ảnh thuộc liệu CBIS-DDSM thường 3000×5000 pixel vùng quan tâm có khả gây ung thư (ROI) nhỏ tới 100×100 pixel Ngồi ra, vùng tổn thương xuất vị trí khó phát ngực vùng dày đặc ảnh nên khó để nhận Vì vậy, nhiều nghiên cứu giới hạn lại, tập trung vào việc phân loại thích tổn thương [18], [19], [20], [21], [22] Mặc khác, hạn chế liệu nhũ ảnh liệu nhũ ảnh cơng khai thích đầy đủ [23] cộng với việc có sẵn thích tổn thương mà thích tình trạng ung thư hay khơng ung thư, thách thức lớn Pre-training phương pháp huấn luyện đầy hứa hẹn để giải vấn đề huấn luyện phân loại sẵn liệu huấn luyện đủ lớn Cụ thể, Hinton cộng sử dụng phương pháp pre-training để khởi tạo tham số trọng số cho mạng Deep Belief Networks (DBN) với ba lớp ẩn sau tinh chỉnh để phân loại kết cải thiện tốc độ huấn luyện độ xác nhận dạng chữ viết tay [24] Một phương pháp huấn luyện phổ biến khác trước tiên huấn luyện mơ hình học sâu sở liệu lớn ImageNet [25] sau tinh chỉnh mơ hình cho tác vụ khác, tác vụ cụ thể khơng liên quan đến tập liệu huấn luyện ban đầu, tham số trọng số mơ hình, thứ khởi tạo từ trước để nhận dạng đặc trưng bản, cạnh, góc kết cấu, dễ dàng sử dụng cho tác vụ sau, điều tiết kiệm thời gian huấn luyện cải thiện hiệu suất mơ hình [26] Trong báo này, chúng tơi dựa phương pháp đề xuất nhóm tác giả Trường Y khoa Icahn Mount Sinai, New York, Mỹ đăng IPS 2017 workshop có tên: “Deep Learning to Improve Breast Cancer Detection on Screening Mammography” [27] để đề xuất giải pháp hỗ trợ bác sĩ hình ảnh phát xác bệnh ung thư vú, xác định vùng tổn thương phân loại ung thư cách sử dụng phương pháp huấn luyện end-toend kết hợp với mơ hình CNN state-of-the-art EfficientNetB3 Phương pháp chia làm hai giai đoạn Giai đoạn 1, huấn luyện phân loại vùng ảnh cục (gọi patch model) cách sử dụng tập liệu thích đầy Nguyễn Chí Thanh, Võ Thị Huyền Trang, Lê Minh Hưng, Hoàng Lê Uyên Thục 207 đủ với thông tin ROI Giai đoạn 2, sử dụng tham số trọng số patch model để khởi tạo tham số trọng số mơ hình phân loại tồn hình ảnh (gọi whole image model) Nghiên cứu đánh giá kiến trúc mạng khác để xây dựng patch model whole image model cho đạt hiệu suất tốt Những đóng góp báo này, bao gồm: - Đề xuất xây dựng hệ thống hỗ trợ chuẩn đoán bệnh ung thư vú sử dụng mơ hình mạng CNN: VGG16, ResNet50 EfficientNetB3 kết hợp với phương pháp huấn luyện end-to-end - Theo cách tiếp cận này, thích vùng bệnh (tổn thương) ảnh yêu cầu giai đoạn huấn luyện ban đầu giai đoạn yêu cầu gán nhãn hình ảnh, loại bỏ phụ thuộc vào thích vùng bệnh (tổn thương) có sẵn loại ảnh y khoa - Tiến hành nhiều thực nghiệm liệu Curated Breast Imaging Subset of Digital Database for Screening Mammography (CBIS-DDSM) đánh giá so sánh kết đạt Bài báo cáo trình bày gồm phần giới thiệu công việc liên quan, phương pháp sử dụng nghiên cứu thể phần Thực nghiệm đánh giá trình bày phần 3, phần phần kết luận hướng phát triển II PHƯƠNG PHÁP Thách thức lớn toán vùng bất thường (có bệnh) có kích thước nhỏ so với kích thước ảnh nhũ, việc phân loại nhũ ảnh cấp độ tồn hình ảnh gặp nhiễu dẫn đến chẩn đoán sai Một cách tiếp cận phổ biến sử dụng mơ hình phân loại vùng ảnh hoạt động cửa sổ trượt (sliding window) để tạo lưới xác suất (gọi heatmap) Theo sau tiến trình khác với mục đích tổng hợp đầu mơ hình phân loại vùng ảnh, cho kết phân loại cuối (cấp độ tồn hình ảnh - whole image) Tuy nhiên, cách tiếp cận yêu cầu hai bước mà bước cần phải tối ưu riêng biệt Đồng thời, giả thuyết heatmap gây mát thơng tin mơ hình phân loại nhũ ảnh Giả thuyết chứng minh [28] Điều việc loại bỏ heatmap có lợi cho mơ hình phân loại nhũ ảnh 2.1 Bộ liệu DDSM [29] liệu ảnh nhũ định dạng lossless-JPEG Trong phạm vi báo này, sử dụng liệu CBIS-DDSM [30] phiên liệu DDSM CBIS-DDSM chứa tập ảnh giải nén chuyển đổi sang định dạng DICOM tiêu chuẩn Bộ liệu có tất 2821 nhũ ảnh từ 1249 phụ nữ, lấy từ trang chủ CBIS-DDSM Bộ liệu gồm hai nhóm ảnh ung thư ảnh khối ảnh vơi hố Bên ảnh DICOM có chứa nhiều thơng tin khác nhau: thông tin bệnh nhân, trạng thái bệnh lý, vùng chứa tổn thương ảnh,… Mỗi ảnh gán hai nhãn benign malignant tương ứng với hai mức độ khác chẩn đoán ung thư vú lành tính ác tính Ngồi ra, ảnh thích vị trí vùng tổn thương ung thư gồm khối u lành tính, khối u ác tính vơi hố lành tính, vơi hóa ác tính xuất ảnh Trong phạm vi báo thực phân loại nhóm ảnh khối (cịn gọi ảnh mass) Đầu tiên, chuyển toàn liệu từ định dạng DICOM sang JPEG với kích thước 1152×896 để phù hợp với cấu hình phần cứng Sau đó, chia ngẫu nhiên liệu thành hai phần training set testing set theo tỉ lệ 85:15 Từ training set, tiếp tục chia ngẫu nhiên theo tỉ lệ 90:10 để tạo validation set độc lập Việc chia đảm bảo tỉ lệ trường hợp ung thư giống ba training set, testing set validation set Bộ liệu có nhãn lành tính (benign) ác tính (malignant) Trong nghiên cứu này, chúng tơi qui ước trường hợp dương tính (positive - POS) tương ứng với ác tính trường hợp âm tính (negative - NEG) tương ứng với lành tính Nhìn chung, liệu có số lượng ảnh so với u cầu tốn phân loại hình ảnh, cần áp dụng kỹ thuật xử lý tốn phân loại gặp liệu có số lượng Tỉ lệ hai lớp NEG POS ba tập liệu train, test, validation không chênh lệch nhiều nên xem lớp cân với Sự khác hai nhãn NEG POS khó phân biệt người khơng có chun mơn, thách thức toán lớn 2.2 Các giai đoạn huấn luyện 2.2.1 Giai đoạn 1: Bộ phân loại vùng ảnh (patch model) Để mơ hình phân biệt vùng bình thường (Background) hai loại vùng bất thường (POS NEG) với nhau, trước tiên tiến hành huấn luyện mơ hình vùng ảnh - gọi patch model a Bộ liệu vùng ảnh (patch set) Bộ patch set có nhãn Background, POS NEG Bộ liệu cung cấp ảnh nhũ ảnh khoanh vùng bệnh (MASK) Mỗi ảnh patch patch set tạo cách lấy phần tương ứng ảnh MASK ảnh nhũ Để tăng số lượng ảnh patch dùng cho việc huấn luyện mơ hình, vùng khả nghi tăng số lượng cách lấy ngẫu nhiên thêm vùng cắt từ ảnh nhũ cho tỉ lệ trùng lấp (overlap) lớn 90 % Đối với ảnh mang nhãn Background, cắt từ ảnh nhũ cho tỉ lệ trùng lấp (overlap) % Số lượng ảnh 208 KẾT HỢP ĐẶC TRƯNG SÂU TRONG HỖ TRỢ CHẨN ĐOÁN UNG THƯ VÚ TRÊN NHŨ ẢNH X-QUANG background cắt từ ảnh nhũ để cân số lượng ảnh lớp Sau đó, tất ảnh patch resize kích thước 224×224 để đưa vào patch model Hình Quy trình tạo patch set (a) Ảnh nhũ gốc, (b) Ground truth ROI (MASK), (c) Ảnh patch cắt chưa tiền xử lý, (d) Ảnh patch sau tăng độ tương phản Một vấn đề xảy trình cắt độ tương phản Sau cắt ảnh patch từ ảnh nhũ, ảnh có độ tương phản thấp Tại đây, tiến hành tăng độ tương phản ảnh patch lên gói ứng dụng tích hợp hệ điều hành linux, có tên Imagemagick b Kiến trúc patch model Vì huấn luyện liệu nhỏ, nên nghiên cứu sử dụng hai phương pháp học chuyển tiếp (transfer learning) tinh chỉnh mạng (fine tuning) Tiến hành thử nghiệm mơ hình mạng huấn luyện liệu ImageNet [31] là: VGG16, ResNet50 EfficientNetB3 Đồng thời, thay lớp FC phân loại 1000 nhãn lớp global average pooling theo sau đầu phân loại nhãn lớp FC khác Đầu tiên, với ảnh nhũ (mamogram) ảnh MASK tương ứng nó, thu 10 ảnh patch ảnh background Mỗi ảnh tiền xử lý Imagemagick để tăng độ tương phản resize 224×224 Từ có patch set với lớp Background, NEG POS Các mơ hình tiền huấn luyện liệu ImageNet, gọi tắt NNet Chúng thay lớp FC cuối lớp global average pooling theo sau lớp FC để phân loại nhãn Áp dụng phương pháp học chuyển tiếp lên NNet, tiến hành huấn luyện lớp vừa thêm, đóng băng lớp cịn lại NNet Tiếp theo, áp dụng phương pháp tinh chỉnh mạng cách mở băng lớp NNet huấn luyện với lớp vừa thêm Kết thúc quy trình có mơ hình phân loại nhãn liệu patch vừa tạo 2.2.2 Giai đoạn 2: Bộ phân loại toàn nhũ ảnh (whole image model) a VGG block Một mơ hình mạng nơ ron tích chập đại thơng thường xây dựng việc xếp chồng lớp Conv lên đầu vào, nhiều lớp FC để tạo đầu phân loại nhãn Lớp Max pooling thường sử dụng lớp Conv để cải thiện tính bất biến giảm kích thước feature map Các lớp liên tiếp với gom lại thành “block” để kích thước feature map giảm (thường theo hệ số 2) đầu cuối block giữ nguyên nơi khác block Một VGG block có cấu trúc stack gồm nhiều lớp 3×3 Conv có độ sâu theo sau lớp 2×2 Max pooling, làm giảm kích thước feature map theo hệ số Mặc dù kích thước lọc khác sử dụng 3×3 Conv 2×2 Max pooling sử dụng rộng rãi Từ kiến trúc trên, block VGG biểu diễn mẫu [N × K] với N đại diện cho độ sâu lớp Conv K đại diện cho số lượng lớp Conv Batch normalization (BN) phương pháp hiệu huấn luyện mơ hình mạng nơ ron Mục tiêu phương pháp chuẩn hóa đầu lớp sau qua hàm activation trạng thái zero-mean với độ lệch chuẩn Để cải tiến kiến trúc VGG block nguyên bản, tác giả VGG sử dụng lớp Batch normalization xen lớp Conv lớp Max pooling Việc can thiệp với mục đích giúp cho mơ hình hội tụ nhanh có hiệu ứng regularization khiến cho mơ hình tránh “overfiting” Trong báo này, sử dụng VGG block có Batch normalization kiến trúc mơ hình mạng phân loại nhũ ảnh Kiến trúc mơ hình trình bày chi tiết phần b Chuyển mơ hình phân loại ảnh patch (patch model) sang phân loại ảnh nhũ (whole image model) Nguyễn Chí Thanh, Võ Thị Huyền Trang, Lê Minh Hưng, Hồng Lê Un Thục 209 Hình Chuyển đổi patch model thành whole image model huấn luyện từ đầu đến cuối (end-to-end) cách sử dụng kiến trúc all convolutional Trọng số từ patch gán trực tiếp vào mơ hình whole image classification tinh chỉnh lại để tổng hợp kết chẩn đoán patch thành kết cuối toàn ảnh Sau huấn luyện patch model, tiến hành xây dựng mơ hình phân loại nhũ ảnh phương pháp báo [27] đề xuất: Bằng cách thay đầu vào X patch model với p chiều rộng, q chiều dài patch M với r chiều rộng, s chiều dài ảnh nhũ Sau đó, thêm vào top layer patch model lớp Conv Điều làm cho patch model hoạt động giống lọc, trượt tồn ảnh nhũ tính xác suất vùng theo nhãn huấn luyện từ trước Kết đầu vùng dùng để tổng hợp kết phân loại cuối cách thêm lớp global average pooling lớp FC vào cuối mơ hình mạng Việc áp dụng patch model lên ảnh nhũ mà không cần thay đổi tham số mô hình nhờ vào tính chất mạng tích chập sâu chia sẻ trọng số (weight sharing) đặc tính cục (locality properties) Bản chất phương pháp dựa nguyên lí cốt lõi toán xác định vật thể (object detection) Muốn xác định có vật thể hay khơng ảnh, sử dụng sổ trượt (sliding window) Lần lượt trượt từ đầu đến cuối hình, kết sau lần trượt có giá trị xác suất vùng ảnh vật thể hay background dựa đặc trưng vật thể mà mơ hình học trước Nếu vật thể theo sau tọa độ ảnh Từ giá trị sau lần trượt trên, mơ hình xác định liệu hình có chứa vật thể vị trí vật thể đâu có Vì lần trượt mơ hình phải tính tốn lại nên dẫn đến thời gian xử lí chậm, nhược điểm phương pháp Khi thay đầu vào patch model từ patch sang whole image, mơ hình cho đầu heatmap thể xác suất vùng ảnh khả nghi hay không Các vùng ảnh tính tốn song song lúc nên cải thiện đáng kể thời gian xử lí, tối ưu phương pháp sliding window Ban đầu sử dụng heatmap làm đầu patch model, tiếp tục huấn luyện mơ hình whole image để tổng hợp kết phân loại Tuy nhiên, sử dụng heatmap để huấn luyện nên kết phân loại không đạt yêu cầu, tác giả loại bỏ heatmap, dùng đặc trưng trước tổng hợp heatmap để huấn luyện mơ hình phân loại nhũ ảnh Mơ hình sau cải thiện độ xác đáng kể Điều chứng minh Bảng [27] Bảng AUC whole image model sử dụng VGG16 làm patch model kiểm tra độc lập #Epochs cho biết epoch đạt AUC cao valisation set Các mơ hình hoạt động tốt hiển thị chữ in đậm Block Block AUC [95 % CI] 512×3 512×3 0,81 [0,77, 0,84] 256×1 128×1 0,85 [0,81, 0,88] 128×1 64×1 0,84 [0,80, 0,87] Thêm heatmap lớp FC vào top layer patch model FC1 FC2 Pool size 64 32 0,71 [0,66, 0,75] 5×5 512 256 0,68 [0,63, 0,73] 2x2 2048 1024 0,70 [0,65, 0,74] 1x1 A-AUC [95 % CI] 0,82 [0,78, 0,85] 0,86 [0,83, 0,89] 0,86 [0,82, 0,89] #Epochs 91 61 142 NA NA NA 26 27 50 Nhận xét: Bằng việc sử dụng tính chất mạng nơ ron tích chập sâu, sử dụng patch model lọc phân loại đồng thời vùng ảnh làm cho trình phân loại nhanh nhiều lần với cách tiếp cận phổ biến Cách tiếp cận khiến cho mơ hình trở thành mơ hình end-to-end, cần tối ưu mơ hình thành bước thay hai bước riêng biệt Không vậy, cách tiếp cận cho phép giảm cách đáng kể yêu cầu sẵn có thích tổn thương liệu, mang lại nhiều ứng dụng xử lý ảnh y khoa toán phát (detection) ung thư vú nhũ ảnh 210 KẾT HỢP ĐẶC TRƯNG SÂU TRONG HỖ TRỢ CHẨN ĐOÁN UNG THƯ VÚ TRÊN NHŨ ẢNH X-QUANG III THỰC NGHIỆM VÀ ĐÁNH GIÁ 3.1 Môi trường ngôn ngữ cài đặt Chúng tiến hành cài đặt mơ hình ngơn ngữ Python3, với thư viện: tensorflow, opencv, scikit-learn, pydicom, pandas Chương trình chạy máy ảo Google Colab cung cấp với cấu hình: 25 GB RAM, GPU Tesla P100-PCIE 3.2 Huấn luyện mơ hình Huấn luyện mơ hình phân loại nhũ ảnh trải qua hai bước Bước đầu tiên, huấn luyện patch model, so sánh mơ hình có trọng số huấn luyện trước sở liệu ImageNet với mơ hình có trọng số khởi tạo ngẫu nhiên [27] Trong mơ hình huấn luyện trước, lớp đại diện cho đặc trưng có xu hướng bảo tồn tác vụ khác nhau, lớp đại diện cho đặc trưng bậc cao liên quan đến tác vụ cụ thể yêu cầu cần huấn luyện tạo thêm Trong trình huấn luyện, sử dụng learning rate cho tất lớp phá hủy đặc trưng học lớp Để ngăn chặn điều này, chiến lược huấn luyện gồm giai đoạn sử dụng Đóng băng tất lớp trừ lớp cuối mở băng lớp từ xuống dưới, đồng thời giảm learning rate SGD (stochastic gradient descent) sử dụng làm hàm tối ưu batch size 32 Cụ thể sau: Huấn luyện last layer epochs với learning rate 1e-3 Huấn luyện last layer top layer với learning rate 1e-4 10 epochs với số top layer 15 VGG16, 162 ResNet50 352 EfficientNetB3 Huấn luyện toàn mạng với learning rate 1e-5 30 epochs Bước thứ hai, huấn luyện mơ hình phân loại tồn ảnh nhũ chuyển đổi từ patch model Chiến lược đào tạo gồm giai đoạn (Hình 2), huấn luyện lớp thêm vào (tức hàm g) sau huấn luyện tất lớp (tức hàm h) với learning rate giảm dần (với hệ số 0,5) sau epochs Sử dụng SGD làm hàm tối ưu, cụ thể sau: Huấn luyện top layer epochs với learning rate 1e-2, weight decay 1e-3 Huấn luyện toàn mạng 50 epochs với learning rate 1e-3, weight decay 1e-3 Để cải thiện tính tổng qt mơ hình cuối cùng, việc tăng liệu thực cách sử dụng phép biến đổi ngẫu nhiên sau: horizontal flip, vertical flip, rotation [−25, 25], zoom [0,8; 1,2] Sau chạy thực nghiệm patch model: VGG16, ResNet50, EfficientNetB3 kết đạt bảng đây: Bảng Kết phân loại patch model VGG16, ResNet50 EfficientNetB3 kiểm tra độc lập Mơ hình VGG16 ResNet50 EfficientNetB3 Pre-trained ImageNet ImageNet ImageNet Accuracy 0,741 0,673 0,718 AUC 0,895 0,833 0,875 Hình Confusion Matrix phân loại ảnh patch lớp cho Resnet50 (a) VGG16 (b) EfficientNetB3 (c) kiểm tra độc lập Nguyễn Chí Thanh, Võ Thị Huyền Trang, Lê Minh Hưng, Hoàng Lê Uyên Thục 211 3.3 Thực nghiệm mơ hình mạng phân loại ảnh nhũ (whole image model) Bảng AUC whole image model sử dụng VGG16, ResNet50 EfficientNetB3 làm patch model thử nghiệm độc lập Mơ hình hoạt động tốt hiển thị in đậm Block AUC AUC AUC Block VGG16 ResNet50 EfficientNetB3 512×1 0,822 0,856 0,870 512×1 256×1 0,817 0,872 0,855 512×1 128×1 0,814 0,814 0,892 256×1 64×1 0,842 0,887 0,899 128×1 32×1 0,833 0,860 0,891 64×1 3.4 Đánh giá mơ hình a Đánh giá thực nghiệm patch model Dựa vào confusion matrix patch model, nhìn chung mơ hình phân loại vùng ảnh có độ xác chưa cao Nhãn background dễ phân loại POS khó b Đánh giá thực nghiệm whole image model Nghiên cứu tiến hành thực nghiệm whole image model sử dụng VGG16, ResNet50 EfficientNetB3 làm patch model VGG block làm top layer Từ kết bảng 3, cho thấy việc thay đổi cấu hình VGG block thêm vào top layer whole image model ảnh hưởng nhiều đến độ tin cậy mơ hình Đối với mơ hình ResNet50 EfficientNetB3, mơ hình đạt AUC cao dùng VGG block [128 × 1] [64 × 1] làm top layer Trong đó, mơ hình VGG16 phù hợp với VGG block [512 × 1] [256 × 1] Điều chứng tỏ, mơ hình phân loại phù hợp với cấu hình block khác Bên cạnh đó, thực nghiệm mơ hình ResNet50 EfficientNetB3, AUC có xu hướng tăng giảm độ sâu số lớp Conv VGG block Tuy nhiên, giảm từ cặp 128 - 64 sang cặp 64 - 32, AUC bắt đầu giảm, kết chứng tỏ độ sâu VGG block không liên quan đến hiệu suất mơ hình Từ đó, cho thấy để whole image model đạt hiệu suất cao, cần phải kiểm sốt cấu hình block Việc kiểm sốt cấu hình giúp cho mơ hình đủ khả học đặc trưng không gian cần thiết mà không bị tượng “overfitting” “underfitting” Mô hình EfficientNetB3 có chênh lệch AUC thực nghiệm đạt hiệu cao thấp 2,9 % so với 4,1 % VGG16 7,3 % Resnet50 Điều cho thấy hiệu mơ hình EfficientNetB3 tối ưu độ sâu bên nhờ mà thay đổi độ sâu mơ hình bên ngồi ảnh hưởng đến kết Với việc whole image model đạt kết cao nhiều so với patch model cho thấy liệu huấn luyện patch set bị thiếu sót nhiều thơng tin để phân loại nhãn NEG POS Một nguyên nhân nghĩ đến liệu CBIS-DDSM cung cấp ảnh MASK để cắt vùng ROI chưa đầy đủ hết thông tin vùng bệnh, dẫn đến thông tin thiết yếu để phân biệt loại bệnh lý bị thiếu sót, làm mơ hình bị nhầm lẫn phân loại nhãn NEG POS bị nhầm lẫn Background NEG Đối với whole image model, huấn luyện kích thước tồn ảnh, mơ hình thấy đầy đủ thơng tin xung quanh vùng khả nghi Việc mở đóng băng huấn luyện tất lớp giai đoạn trình huấn luyện giúp cho mơ hình học thơng tin xung quanh vùng khả nghi, từ giúp cho mơ hình có đầy đủ thơng tin để phân loại bệnh lý xác Hình Hình bên trái ảnh patch cắt dựa ảnh MASK liệu cung cấp, hình bên phải ảnh patch chúng tơi cắt với gấp đơi kích thước MASK KẾT HỢP ĐẶC TRƯNG SÂU TRONG HỖ TRỢ CHẨN ĐOÁN UNG THƯ VÚ TRÊN NHŨ ẢNH X-QUANG 212 Chúng dùng phương pháp ensemble model dựa trung bình mơ hình có AUC tốt ResNet50 EfficientNetB3 Kết mô hình ensemble đạt sau: Bảng Ensemble whole image model classification report NEG POS Macro avg Weighted avg Accuracy precision 0,86 0,77 0,82 0,82 recall 0,83 0,81 0,82 0,82 0,82 F1-score 0,85 0,79 0,82 0,82 Mơ hình sau ensemble đạt AUC = 0,912, kết tăng lên đáng kể so với mơ hình độc lập Độ đặc hiệu (specificity) trung bình độ nhạy (sensitivity) trung bình cơng nghệ chụp ảnh nhũ Mỹ là: 88,9 % 86,9 % [32] So sánh với mơ hình đạt kết tốt với giá trị cho thấy mô hình đạt độ xác cao, chưa đáng tin cậy so với chẩn đoán thực tế (Specificity: 83 % so với 88,9 % Sensificity: 81 % so với 86,9 %) Hình Confusion matrix mơ hình mạng ensemble 0.95 0.9 AUC 0.85 0.9123 0.899 0.887 0.87 0.855 0.8 0.75 0.73 0.7 0.65 0.6 Resnet50 Fine-tuning VGG16 Best Model Resnet50 Best Model EfficientNetB3 Best Essemble Model Resnet-Efficient-Vgg Essemble Resnet-Efficient Mơ hình Hình Biểu đồ AUC mơ hình tốt Với AUC mơ hình đạt kết tốt biểu đồ Hình cho thấy cải tiến hiệu đáng kể dùng phương pháp đề xuất so với việc dùng phương pháp tiếp cận fine-tuning thơng thường Ensemble mơ hình đạt AUC cao giúp cải thiện AUC so với mơ hình độc lập IV KẾT LUẬN Nghiên cứu xây dựng hệ hỗ trợ chẩn đoán ung thư nhũ ảnh phân loại bệnh kĩ thuật học sâu với kết đạt khả quan Nghiên cứu cho thấy đạt kết phân loại xác ảnh chụp Xquang tuyến vú với mơ hình học sâu đào tạo theo phương pháp end-to-end dựa vào thích ROI lâm sàng giai đoạn đầu Kết đạt AUC mơ hình tốt 0,89 (độ nhạy: 81 % , độ đặc hiệu: 83 %) Nguyễn Chí Thanh, Võ Thị Huyền Trang, Lê Minh Hưng, Hoàng Lê Uyên Thục 213 Đồng thời với mơ hình mạng EfficientNet khơng tập trung vào việc cải thiện độ xác, mà cịn nâng cao hiệu đạt AUC mơ hình ensemble 0,91 Tuy nhiên, mơ hình cịn nhiều hạn chế với mơ hình đạt AUC cao cịn phân loại sai nhũ ảnh có mật độ dày, mơ hình đạt độ nhạy (sensitivity) độ đặc hiệu (specificity) thấp khoảng % độ đo so với thực tế (các hệ thống chụp nhũ ảnh Mỹ) Hướng nghiên cứu chúng tơi để giải tốn tăng diện tích vùng ROI cắt từ ảnh Mask mà liệu CBIS-DDSM cung cấp để tạo Patch Set có đầy đủ thơng tin vùng bệnh, thử nghiệm tăng cường ảnh có mật độ dày để mơ hình tổng qt trường hợp, kết hợp hướng chụp ảnh MLO CC để thu nhiều đặc trưng giúp mơ hình phân loại tốt từ đó, giúp cho kết chẩn đốn bệnh hệ thống với độ xác cao V LỜI CẢM ƠN Bài báo hoàn thành hỗ trợ Đề tài VAST-1.03/19-20 Viện Hàn lâm Khoa học Công nghệ Việt Nam TÀI LIỆU THAM KHẢO [1] “American Cancer Society How Common Is Breast Cancer?”, [Trực tuyến] Available: https: www.cancer.org cancer breast-cancer/about/howcommon-is-breast-cancer.html [2] Lehman, “National Performance Benchmarks for Modern Screening Digital Mammography: Update from the Breast Cancer Surveillance Consortium”, Radiol, số 283, pp 49-58, 2016 [3] Birdwell, “Mammographic characteristics of 115 missed cancers later detected with screening mammography and the potential utility of computer-aided detection 1,” Radiology , số 219, pp 192-202, 2001 [4] Brem, “Improvement in sensitivity of screening mammography with computer-aided detection: a multiinstitutional trial” , American Journal of Roentgenology, số 181, pp 687-693, 2003 [5] Ciatto, “Comparison of standard reading and computer aided detection (cad) on a national proficiency test of screening mammography” , European journal of radiology, số 45, pp 135-138, 2003 [6] J Freer, “Screening mammography with computer-aided detection: prospective study of 12,860 patients in a community breast center”, Radiology , số 220, pp 781-786, 2001 [7] Lehman, “Diagnostic accuracy of digital screening mammography with and without computer-aided detection”, JAMA internal medicine , số 175, pp 1828-1837, 2015 [8] Fenton, “Influence of computer-aided detection on performance of screening mammography”, New England Journal of Medicine, số 356, pp 1399-1409, 2007 [9] Fenton, “Effectiveness of computer-aided detection in community mammography practice”, Journal of the National Cancer institute, số 103, pp 1152-1161, 2011 [10] G LeCun, “Deep learning”, Nat, số 521, pp 436-444, 2015 [11] Aboutalib, “Deep Learning to Distinguish Recalled but Benign Mammography Images in Breast Cancer Screening”, Clin Cancer Res, 2018 [12] E.Kim, “Applying Data-driven Imaging Biomarker in Mammography for Breast Cancer Screening: Preliminary Study”, Sci Reports , số 8, pp 2762 , 2018 [13] R Hamidinekoo, “Deep learning in mammography and breast histology, an overview and future trends”, Med Image Analysis, số 47, pp 45-67, 2018 [14] Burt, “Deep learning beyond cats and dogs: Recent advances in diagnosing breast cancer with deep neural networks”, The Br J Radiol, 2018 [15] M R Agarwal, “Automatic mass detection in mammograms using deep convolutional neural networks”, J Med Imaging, số 6, 2019 [16] Rodriguez-Ruiz, “Stand-Alone Artificial Intelligence for Breast Cancer Detection in Mammography: Comparison With 101 Radiologists”, JNCI: J Natl Cancer Inst, 2019 [17] Rodríguez-Ruiz, “Detection of Breast Cancer with Mammography: Effect of an Artificial Intelligence Support System”, Radiol, số 290, pp 305-314, 2018 [18] Kooi, “Large scale deep learning for computer aided detection of mammographic lesions”, Med Image Analysis, số 35, pp 303-312, 2017 [19] M L Jamieson, “Breast image feature learning with adaptive deconvolutional networks”, Proc SPIE , pp 6-13, 2012 [20] A G Arevalo, “Convolutional neural networks for mammography mass lesion classification”, In 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp 797800, 2015 214 KẾT HỢP ĐẶC TRƯNG SÂU TRONG HỖ TRỢ CHẨN ĐOÁN UNG THƯ VÚ TRÊN NHŨ ẢNH X-QUANG [21] M A Arevalo, “Representation learning for mammography mass lesion classification with convolutional neural networks”, Comput Methods Programs Biomed, số 127, pp 248-257, 2016 [22] J A Lévy, “Breast Mass Classification from Mammograms using Deep Convolutional Neural Networks”, arXiv preprint arXiv:1612.00542, 2016 [23] Moreira, “INbreast: Toward a Full-field Digital Mammographic Database”, Acad Radiol, số 19, pp 236-248, 2012 [24] W Hinton, “A fast learning algorithm for deep belief nets”, Neural Comput, số 18, pp 1527-1554, 2006 [25] Russakovsky, “ImageNet Large Scale Visual Recognition Challenge”, Int J Comput Vis., số 115, pp 211-252, 2015 [26] S J Oquab, “Learning and Transferring Mid-Level Image Representations using Convolutional Neural Networks”, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp 1717-1724, 2014 [27] S Li Shen, “Deep Learning to Improve Breast Cancer Detection on Screening Mammography”, Nat., 2019 [28] W S Li Shen, “Deep Learning to Improve Breast Cancer Detection on Screening Mammography,” Nat., pp 7, 2019 [29] K W Heath, “The Digital Database for Screening Mammography”, In Yaffe, M (ed.) Proceedings of the Fifth International Workshop on Digital Mammography, pp 212-218, Medical Physics Publishing, 2001 [30] R D Lee, “Curated Breast Imaging Subset of DDSM”, The Cancer Imaging Arch, 2016 [31] Russakovsky, “ImageNet Large Scale Visual Recognition Challenge”, Int J Comput Vis., số 115, pp 211-252, 2015 [32] Lehman, “National Performance Benchmarks for Modern Screening Digital Mammography: Update from the Breast Cancer Surveillance Consortium”, Radiol, số 283, pp 49-58, 2016 FEATURES DEEP IN DIAGNOSE BREAST CANCER ON X-RAY Nguyen Chi Thanh, Vo Thi Huyen Trang, Le Minh Hung, Hoang Le Uyen Thuc ABSTRACT: Breast cancer is the most dangerous type of cancer for women, common screening methods are mammography-based diagnostics, the diagnosis of the disease depends on the quality of the image and the expertise of the doctor This leads to cost, time and effort, but the effect is not high Currently, there are many systems that support radiologists to improve their ability to diagnose a disease through mammograms such as computer detection (Computer Aided Diagnosis - CAD) and diagnostic software that has been developed and used in clinical applications since the 1990s Many new methods use deep learning and convolutional neural networks to automatically learn and extract the features to bring about higher accuracy than traditional methods However, the current methods only focus on classification but not specify the specific area of the disease (lesions), thus causing a lot of difficulties for diagnosis and treatment of the disease In this paper, we propose a solution that could assist doctors to accurately detect breast cancer and classify it with mammograms using the end-to-end training approach with state-of-the-art CNN model EfficientNetB3 We experimented with digitized mammograms from Curated Breast Imaging Subset of Digital Database for Screening Mammography (CBIS-DDSM), the best model achieved AUC of 0.91 (sensitivity: 81 %, specificity: 83 %) ... thích tổn thư? ?ng liệu, mang lại nhiều ứng dụng x? ?? lý ảnh y khoa toán phát (detection) ung thư vú nhũ ảnh 210 KẾT HỢP ĐẶC TRƯNG SÂU TRONG HỖ TRỢ CHẨN ĐOÁN UNG THƯ VÚ TRÊN NHŨ ẢNH X- QUANG III... lý x? ?c Hình Hình bên trái ảnh patch cắt dựa ảnh MASK liệu cung cấp, hình bên phải ảnh patch chúng tơi cắt với gấp đơi kích thư? ??c MASK KẾT HỢP ĐẶC TRƯNG SÂU TRONG HỖ TRỢ CHẨN ĐOÁN UNG THƯ VÚ TRÊN... lập IV KẾT LUẬN Nghiên cứu x? ?y dựng hệ hỗ trợ chẩn đoán ung thư nhũ ảnh phân loại bệnh kĩ thuật học sâu với kết đạt khả quan Nghiên cứu cho thấy đạt kết phân loại x? ?c ảnh chụp Xquang tuyến vú với