Xử lý ảnh xquang phổi sử dụng mạng nơ ron

KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO NGHIÊN CỨU KHOA HỌC ĐỀ TÀI: XỬ LÝ ẢNH X – QUANG PHỔI SỬ DỤNG MẠNG NƠ –RON Giảng viên hướng dẫn: ThS Đặng Văn Thành Nhân Sinh viên thực hiện: - Trần Văn Đan Trường MSSV 91011801418 - Võ Phước Sang TP Hồ Chí Minh, 2021 MSSV 81011801421 MỤC LỤC MỞ ĐẦU Chương TỔNG QUAN VỀ ĐỀ TÀI 1.1 Phát biểu toán 1.2 Tính cấp thiết 1.3 Tổng quan xử lý ảnh y khoa Chương MẠNG NƠ-RON NHÂN TẠO 10 2.1 Giới thiệu chung 10 2.1.1 Thế mạng nơ-ron sinh học 10 2.1.2 Thế mạng nơ-ron nhân tạo 11 2.1.3 Lịch sử phát triển mạng nơ-ron nhân tạo 14 2.2 Xử lý ảnh y khoa ứng dụng mạng nơ-ron 18 2.3 Mạng nơ-ron truyền thẳng 20 2.3.1 Khái niệm 20 2.3.2 Thuật toán lan truyền ngược 21 Chương KỸ THUẬT ĐA PHÂN GIẢI 25 3.1 Khái niệm kỹ thuật đa phân giải 25 3.2 Phân tích đa phân giải xử dụng phép biến đổi Pyramid 25 Chương GIẢM ĐỘ CHE XƯƠNG TRONG ẢNH X-QUANG 28 4.1 Tách vùng phổi tự động 28 4.2 Xác định khung xương sử dụng máy học 30 4.3 Giảm độ che xương sử dụng ạng nơ-ron 34 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 38 5.1 Thực nghiệm 38 5.2 Đánh giá kết 46 KẾT LUẬN VÀ KHUYẾN NGHỊ 48 Kết luận 48 Khuyến nghị 48 TÀI LIỆU THAM KHẢO 49 TÓM TẮT ĐỀ TÀI Kỹ thuật sử dụng mạng nơ-ron huấn luyện để tạo ảnh xương tương ứng thay kỹ thuật cũ phải chụp ảnh X-quang cường độ cao gây ảnh hưởng đến sức khỏe, sau thực việc loại bỏ xương sườn từ ảnh xương tương ứng giúp cho hạch bệnh bị chồng lấn xương dễ dàng nhận thấy DANH MỤC KÍ HIỆU STT Tên đầy đủ Từ viết tắt ANN CAD LDA MTANN NN PACS RSNA Artificial neural network: mạng nơ-ron nhân tạo Computer-aided diagnosis: chẩn đốn với trợ giúp máy tính Linear discriminant analysis: phân tích biệt thức tuyến tính Massive training artifical neural network: huấn luyện lớn mạng nơ-ron nhân tạo Neural network: mạng nơ-ron Picture archiving and communication systems: lưu trữ hình ảnh hệ thống thơng tin Radiological Society of North America: hiệp hội phóng xạ khu vực Bắc Mỹ DANH MỤC BẢNG Bảng 1.1 Số lượng CAD liên quan đến phận thể khác Bảng 2.1 Các hàm kích hoạt 13 Bảng 2.2 Các mạng nơ-ron sử dụng ảnh y tế 18 Bảng 2.3 Các mạng nơ-ron tiêu biểu sử dụng cho tiền xử lý ảnh y tế 19 Bảng 5.1 Mơ hình huấn luyện MTANN 42 Bảng 5.2 Lỗi trung bình huấn luyện MTANN 44 DANH MỤC HÌNH Hình 1.1 Ảnh X-quang phối chụp ngang trước-sau Hình 1.2 Ảnh X-quang ngực bên Hình 1.3 Ảnh MRA nội sọ Hình 1.4 Ảnh qt xương tồn thân liên tiếp Hình 2.1 Sơ đồ đơn giản hai tế bào thần kinh sinh học 11 Hình 2.2 Mơ hình nơ-ron 12 Hình 2.3 Mạng nơ-ron truyền thẳng nhiều lớp 21 Hình 2.4 Mơ hình mạng nơ-ron truyền thẳng lớp 22 Hình 3.1 Minh họa kỹ thuật đa phân giải - phân rã 26 Hình 3.2 Minh họa kỹ thuật đa phân giải - hợp thành 27 Hình 4.1 Kiến trúc huấn luyện MTANN 31 Hình 4.2 Minh họa kiến trúc huấn luyện MTANN 36 Hình 5.1 Các chức đa phân giải 38 Hình 5.2 Các chức điểm đặc trưng 39 Hình 5.3 Các chức huấn luyện MTANN 39 Hình 5.4 Các chức tạo ảnh xương 40 Hình 5.5 Các chức loại bỏ xương 40 Hình 5.6 Ảnh phục vụ huấn luyện 41 Hình 5.7 Ảnh phục vụ huấn luyện 42 Hình 5.8 Ảnh huấn luyện HighPass cấp ảnh phổi ảnh xương tương ứng 43 Hình 5.9 Ảnh huấn luyện HighPass cấp ảnh phổi ảnh xương tương ứng 43 Hình 5.10 Ảnh huấn luyện LowPass cấp ảnh phổi ảnh xương tương ứng 44 Hình 5.11 Ảnh kết huấn luyện 45 Hình 5.12 Ảnh kết sau thực làm giảm độ che xương sườn 46 MỞ ĐẦU Ngày nay, bệnh ung thư phổi bệnh vô nguy hiểm, số người mắc bệnh ngày trẻ hóa bệnh có tỉ lệ tử vong cao Một tiếp cận phổ biến để giúp phát chẩn đoán sớm bệnh ung thư phổi dựa vào X-quang Chụp X-quang thường cho kết nhanh với chi phí thấp so với kỹ thuật khác CT hay MRI Tuy nhiên, vùng phổi ảnh chụp X-quang bị che khuất xương sường xương địn Từ ảnh hưởng đến kết phát chẩn đoán hạch bệnh phổi Tác giả trình phương pháp làm giảm độ che xương sườn xương đòn ảnh X-quang phổi giúp cách hạch bệnh bị chồng lấn dễ nhận biết Thay sử dụng kỹ thuật chụp Dual-energy (cường độ cao) gây ảnh hưởng xấu tới sức khỏe, ảnh “giống xương” tạo từ ảnh X-quang phổi thông qua việc sử dụng mạng nơ-ron truyền thẳng huấn luyện Điều tốt cho sức khỏe giảm chi phí người bệnh Chương TỔNG QUAN VỀ ĐỀ TÀI Tổng quan ý nghĩa tính cấp thiết việc xử lý ảnh áp dụng y khoa 1.1 Phát biểu toán Hiện nay, ung thư phổi bệnh ung thư phổ biến giới loại ung thư chiếm tỷ lệ cao bệnh ung thư nước ta, với số lượng bệnh nhân tăng lên nhanh ngày trẻ hóa năm gần Bệnh gây biến chứng nguy hiểm dẫn đến tử vong Vì vậy, việc phát sớm đóng vai trị quan trọng công tác chữa trị Một biện pháp để phát bệnh sớm dựa vào ảnh X-quang phổi, X-quang phổi cho kết nhanh với chi phí thấp Để nâng cao hiệu cho trình chẩn đốn bác sĩ, số chương trình CAD (Computer-aided diagnosis) phát triển Một thách thức lớn chương trình CAD để nhận diện hạch X-quang phổi phát hạch chồng chéo với xương sườn, giao cắt xương sườn xương địn, đa số trường hợp bị bỏ sót gây cấu trúc này, làm ảnh hưởng đến hiệu chương trình CAD, gây khó khăn cho việc phát bệnh Do đó, việc làm giảm độ che xương sườn xương đòn X-quang phổi giúp ích cho việc cải thiện độ xác để nhận diện hạch hệ thống CAD Một cách tiếp cận làm giảm độ che xương sườn sử dụng kỹ thuật Dualenergy Bằng cách thực chụp ảnh lần, ảnh thứ ảnh chụp phổi bình thường, ảnh thứ ảnh chụp phổi với cường độ cao thấy xương Tuy nhiên kỹ thuật gây ảnh hưởng đến sức khỏe người bệnh 38 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ Hiện thực chương trình demo đánh giá kết đạt được: Cấu hình máy tính chạy phần mềm: Tên máy: Laptop HP Pavilion X360 CPU: Intel® Core™ i5-8250U CPU @ 1.60 GHz (8CPUs) Memory Ram: x 12.0 GB, Bus 1333 MHz Hệ điều hành Windows 10 Pro Phần mềm lập trình Visual Studio 2019 5.1 Thực nghiệm Sản phẩm chương trình thực nghiệm: Hình 5.1: Chức chương trình 39 Hình 5.2 Các chức đa phân giải Hình 5.3 Các chức điểm đặc trưng 40 Hình 5.4 Các chức huấn luyện MTANN Hình 5.5 Các chức tạo ảnh xương 41 Hình 5.6 Các chức loại bỏ xương Phần mềm mô sử dụng MTANN cho việc huấn luyện ảnh đa phân giải để tạo ảnh “giống xương” từ ảnh X-quang phổi ban đầu Sử dụng ảnh Xquang phổi ảnh xương Dual-enery tương ứng phục vụ cho việc huấn luyện (hình 5.7) Mỗi MTANN huấn luyện với số lượng lớn tiểu vùng trích xuất từ ảnh đầu vào (a) Ảnh X-quang phổi (b) Ảnh xương Dual-energy 42 Hình 5.7 Ảnh phục vụ huấn luyện Đối với việc huấn luyện vùng phổi, mẫu huấn luyện trích xuất ngẫu nhiên từ vùng phổi tay với số lượng: - 5.000 mẫu ảnh đa phân giải HighPass (thông cao) gồm: o Cặp ảnh HighPass cấp (hình 5.8); o Cặp ảnh HighPass cấp (hình 5.9) - 2500 mẫu ảnh đa phân giải LowPass (thông thấp) gồm: o Cặp ảnh LowPass cấp (hình 5.10) Kích thước tiểu vùng phổi R MTANN x pixel, số lượng tiểu vùng đủ để bao phủ chiều rộng xương sườn ảnh đa phân giải thông thấp Mô hình MTANN bao gồm lớp: Bảng 5.1 Mơ hình huấn luyện MTANN Lớp nơ-ron Số lượng nơ-ron Đầu vào 80 Ẩn 19 Đầu 43 (a) Ảnh Phổi HighPas cấp (b) Ảnh Xương HighPas cấp 440 x 440 440 x 440 Hình 5.8 Ảnh huấn luyện HighPass cấp ảnh phổi ảnh xương tương ứng (a) Ảnh phổi HighPas cấp (b) Ảnh Xương HighPas cấp 220 x 220 220 x 220 Hình 5.9 Ảnh huấn luyện HighPass cấp ảnh phổi ảnh xương tương ứng 44 (a) Ảnh Phổi LowPas cấp (b) Ảnh Xương LowPas cấp 110x110 110x110 Hình 5.10 Ảnh huấn luyện LowPass cấp ảnh phổi ảnh xương tương ứng Chọn tỷ lệ học 0,001 Số lần huấn luyện lớn 3.100.000 MTANN Thời gian học để mạng cho kết tốt ngày với lỗi trung bình: Bảng 5.2 Lỗi trung bình huấn luyện MTANN Ảnh Lỗi trung bình HighPass cấp 0.057 HighPass cấp 0.069 LowPass cấp 0.016 Hình 5.11(b) ảnh kết huấn luyện MTANN áp dụng cho ảnh xương LowPass cấp Xương sườn chiết suất cách hiệu tương tự ảnh xương dual-energy hiển thị hình 5.10 (b) Xương sườn ảnh kết tương đối nhiễu so với ảnh xương dual-energy, mạch máu nhỏ tồn ảnh gây nhiễu mờ Cần lưu ý phần xương bên ngồi vùng phổi, ví dụ phận xương địn cột sống khơng tăng cường ảnh kết huấn luyện tập trung vào vùng phổi Hình 5.11(a) Hình 5.11 (c) 5.11(d) kết huấn luyện MTANN áp dụng cho ảnh xương HighPass cấp cấp 45 Sau đó, sử dụng kỹ thuật multiresolution hợp thành để thu ảnh “giống xương” hình 5.12(a) với kích thước không đổi so với ảnh ban đầu (a) Ảnh mặt nạ vùng phổi (b) Ảnh đầu - ảnh “giống xương” LowPass cấp (a) Ảnh đầu HighPass cấp (d) Ảnh đầu HighPass cấp Hình 5.11 Ảnh kết huấn luyện 46 Việc loại bỏ xương sườn ảnh X-quang phổi dựa vào ảnh “giống xương” ảnh mặt nạ (đã trình mục 4.3) Sự tương phản xương sườn làm giảm đáng kể hình 5.11(d), khả hiển thị mô mềm mạch phổi trì (a) Ảnh “giống xương” (b) ảnh phổi thu kỹ thuật trừ xương từ ảnh kết Hình 5.12 Ảnh kết sau thực làm giảm độ che xương sườn 5.2 Đánh giá kết Việc thực đánh giá định lượng việc sử dụng sai số tuyệt đối trung bình ảnh “giống xương” fb(x,y) ảnh xương Dual-energy b(x,y) tương ứng, đại diện 𝐸𝑁 = ∑𝑥,𝑦 ∈ 𝑅 |𝑏 (𝑥,𝑦) − 𝑓𝑥 (𝑥,𝑦)| 𝐿 𝑁𝐿 (𝑏𝑚𝑎𝑥 −𝑏𝑚𝑖𝑛 ) (5.1) Trong RL vùng phổi, NL số lượng điểm ảnh RL, bmax bmin giá trị lớn giá trị nhỏ RL hình xương Dual-energy Sử dụng ảnh “giống xương” ảnh xương Dual-energy đánh giá này, so 47 sánh trực tiếp với ảnh đầu MTANN đa phân giải xác so với việc sử dụng ảnh “giống mô mềm”, ví dụ ảnh “giống mơ mềm” khác tham số trọng số thay đổi Các kết cho X-quang phổi EN = 0,069 với độ lệch chuẩn 0.016 48 KẾT LUẬN VÀ KHUYẾN NGHỊ Kết luận Kết đề tài: xương sườn ảnh X-quang phổi làm giảm độ che đáng kể mà không làm ảnh hưởng nhiều đến sức khỏe người bệnh, hỗ trợ cho bác sĩ việc kiểm tra lâm sàn có độ xác cao Khuyến nghị Hướng phát triển đề tài thực chức nhận diện tự động khối u tiềm (candidate) ảnh X- quang phổi, phát khối u tiềm năng, phần mềm tự động thực trừ xương với trọng số khác so với trọng số ban đầu đảm bảo cấu trúc khác ảnh không bị thay đổi hạch bệnh bật lên 49 TÀI LIỆU THAM KHẢO A Hasegawa, S C B Lo, J S Lin, M.T Freedman, S K Mun: A ShiftInvariant Neural Network for the Lung Field Segmentation in Chest Radiography, The Journal of VLSI Signal Processing 18 (1998) A N Akansu and R A Haddad, Multiresolution Signal Decomposition Boston, MA: Academic, 1992 A Netajatali, I R Ciric: An Iterative Algorithm for Electrical Impedance Imaging Using Neural Networks, IEEE Trans Magn 34 (1998) A.Adler, R Guardo: A Neural Network Image Reconstruction Technique for Electrical Impedance Tomography, IEEE Transactions on Medical Imaging 13 (1994) C Comtat, C Morel: Approximate Reconstruction of PET Data with A Self-Organizing Neural Network, IEEE Trans Neural Networks (1995) C J Murray and A D Lopez, “Mortality by cause for eight regions of the world: global burden of disease study,” Lancet, vol 349, no 9061 D E Rumelhart and J L McClelland, eds., Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Vol 1, Cambridge, MA: MIT Press, 1986 Du Yih TSAI: Automatic Segmentation of Liver Structure in CT Images Using a Neural Network, IEICE TRANSACTINS on Fundamentals of Electronics, Communications and Computer Sciences E77-A (1994) F Ali, Z Nakao, Y.-W Chen, K Matsuo, I Ohkawa: An Adaptive Backpropagation Algorithm for LimitedAngle CT Image Reconstruction, IEICE Trans Fundamentals E83-A (2000) 50 10 F Rosenblatt, “The perceptron: A probabilistic model for information storage and organization in the brain,” Psychological Review, Vol 65, 1958 11 G E Goodman, “Lung cancer 1: prevention of lung cancer,” Thorax, vol 57, no 11, 2002 12 G M Stephane, “A theory for multiresolution signal decomposition: the wavelet representation,” IEEE Trans Pattern Anal Mach Intell., vol 11, no 7, Jul 1989 13 “Extraction of left ventricular contours from left ventriculograms by means of a neural edge detector,” IEEE Trans Med Imag., vol 23, no 3, Mar 2004 14 “Neural edge enhancer for supervised edge enhancement from noisy images,” IEEE Trans Pattern Anal Mach Intell., vol 25, no 12, Dec 2003 15 “Efficient approximation of neural filters for removing quantum noise from images,” IEEE Trans Signal Process., vol 50, no 7, Jul 2002 16 J A Anderson, “A simple neural network generating an interactive memory,” Mathematical Biosciences, Vol 14, 1972 17 J J Hopfield, “Neural networks and physical systems with emergent collective computational abilities,” Proceedings of the National Academy of Sciences, Vol 79, 1982 18 Johan m Thi jssen: Ultrasonic Speckle Formation, Analysis and Processing Atranglied to Tissue Characterization, Pattern Recognition Letters 24 (2003) 51 19 K Suzuki, I Horiba, K Ikegaya, and M Nanki, “Recognition of coronary arterial stenosis using neural network on DSA system,” Syst.Comput Japan, vol 26, no 8, 1995 20 K Suzuki, S G Armato, F Li, S Sone, and K Doi, “Massive training artificial neural network (MTANN) for reduction of false positives in computerized detection of lung nodules in low-dose CT,” Med Phys., vol 30, no 7, 2003 21 K Suzuki, I Horiba, N Sugie, and M Nanki, “Neural filter with selection of input features and its application to image quality improvement of medical image sequences,” IEICE Trans Inf Syst., vol E85-D, no.10, 2002 22 K Suzuki, I Horiba, and N Sugie, “A simple neural network pruning algorithm with application to filter synthesis,” Neural Process Lett., vol.13, no 1, 2001 23 Kenji Suzuki*, Senior Member, IEEE, Hiroyuki Abe, Heber MacMahon, and Kunio Doi, “Image-Processing Technique for Sutrangressing Ribs in Chest Radiographs by Means of Massive Training Artificial Neural Network (MTANN)”, IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL 25, NO 4, APRIL 2006 24 Kunio Doi.: Computer-Aided Diagnosis in Medical Imaging: Historical Review, Current Status and Future Potential, Computerized Medical Imaging and Graphics 31 (2007) 25 M Minsky and S Papert, Perceptrons, Cambridge, MA:MIT Press, 1969 26 Neural Network Design – 2nd Edition Copyright by Martin T Hagan and Howard B Demuth 52 27 Miller A S, Blott B H, Hames T K.: Review of Neural Network Applications in Medical Imaging and Signal Processing, Medical & Biological Engineering & Computing 30 (1992) 28 N Otsu, “A Threshold Selection Method from Gray Level Histograms,” IEEE Trans Syst., Man, Cybern., vol 9, no 1, trang 62–66, Jan 1979 29 N Otsu, “A Threshold Selection Method from Gray Level Histograms,” IEEE Trans Syst., Man, Cybern., vol 9, no 1, Jan 1979 30 “Neural edge detector—a good mimic of conventional one yet robuster against noise-,” in Lecture Notes in Computer Science Berlin, Germany: Springer-Verlag, 2001, vol 2085 31 T Ishigaki, S Sakuma, Y Horikawa, M Ikeda, and H Yamaguchi, “Oneshot dual-energy subtraction imaging,” Radiology, vol 161, no.1, 1986 32 T Kohonen, “Correlation matrix memories,” IEEE Transactions on Computers, vol 21, 1972 33 Yan Li Peng Wen Powers, D Clark, C R: LSB Neural Network Based Segmentation of MR Brain Images, Systems, Man, and Cybernetics (1999) 34 Survey on Neural Networks Used for Medical Image Processing Zhenghao Shi, Lifeng He, Tsuyoshi Nakamura1, Kenji Suzuki, Hidenori Itoh 35 https://en.wikipedia.org/wiki/Medical_imaging 36 https://en.wikipedia.org/wiki/Computer-aided_diagnosis ... xử lý ảnh sử dụng mạng nơ- ron Giới thiệu mơ hình mạng nơ- ron truyền thẳng thuật toán lan truyền ngược huấn luyện 2.1 Giới thiệu chung 2.1.1 Thế mạng nơ- ron sinh học Mạng nơ- ron nhân tạo ứng dụng. .. √ Hình ảnh tiền xử lý với mạng nơ- ron thường rơi vào hai loại sau: cải tạo hình ảnh khơi phục hình ảnh (bao gồm giảm nhiễu tăng cường) Các mạng nơ- ron sử dụng cho hai hoạt động xử lý ảnh y tế... biệt CAD sử dụng công cụ hữu ích việc kiểm tra chẩn đoán lâm sàng hàng ngày 10 Chương MẠNG NƠ -RON NHÂN TẠO Giới thiệu mạng nơ- ron sinh học mạng nơ- ron nhân tạo, lịch sử phát triển mạng nơ- ron nhân