Tăng cường ảnh y tế bằng cách tối ưu thông tin cấu trúc ảnh và sai số về mức năng lượng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ TRỊNH NGỌC TÙNG TĂNG CƯỜNG ẢNH Y TẾ BẰNG CÁCH TỐI ƯU THÔNG TIN CẤU TRÚC ẢNH VÀ SAI SỐ VỀ MỨC NĂNG LƯỢNG NGÀNH: KỸ THUẬT ĐIỆN TỬ Tp Hồ Chí Minh, tháng 11/2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SỸ TRỊNH NGỌC TÙNG TĂNG CƢỜNG ẢNH Y TẾ BẰNG CÁCH TỐI ƢU THÔNG TIN CẤU TRÚC ẢNH VÀ SAI SỐ VỀ MỨC NĂNG LƢỢNG NGÀNH: KỸ THUẬT ĐIỆN TỬ - 8520203 Hướng dẫn khoa học: TS NGUYỄN MẠNH HÙNG Tp Hồ Chí Minh, tháng 05 năm 2022 LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƢỢC Họ tên: TRỊNH NGỌC TÙNG Giới tính: Nam Ngày, tháng, năm sinh: 17/03/1986 Nơi sinh: Thanh Hóa Quê quán: Yên Thọ - Yên Định - Thanh Hóa Dân tộc: Kinh Chức vụ, đơn vị công tác trước học tập, nghiên cứu: Trợ lý - Phòng Đào tạo, Trường Cao đẳng Kỹ thuật Hải quân Chỗ riêng địa liên lạc: 56/7/20 đường số 147, Phường Phước Long B, Thành phố Thủ Đức, Thành phố Hồ Chí Minh Điện thoại quan: 069 641722 Điện thoại nhà riêng: 0976336424 E-mail: Trinhngoctung1986@gmail.com II QUÁ TRÌNH ĐÀO TẠO Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo: từ 09/2004 đến 10/2010 Nơi học (trường, thành phố): Học viện Kỹ thuật Quân - Hà Nội Ngành học: Điện - Điện tử Tên đồ án: Nghiên cứu, ứng dụng công cụ Anadigm Designer thiết kế mạch điện sử dụng công nghệ FPAA Ngày & nơi bảo vệ đồ án: Tháng năm 2010 - Học viện Kỹ thuật Quân Hà Nội Người hướng dẫn: PGS.TS Ngô Văn Thuấn Thạc sỹ: Hệ đào tạo: Chính quy tập trung Thời gian đào tạo: từ 04/2019 đến 5/2022 i Kết diễn giải chế đưa định phân loại bệnh thể cụ thể số ví dụ đây: Khơng tăng cường Ảnh tăng cường Ảnh gốc Ảnh tăng cường Grad-Cam dùng ảnh gốc Grad-Cam dùng ảnh tăng cường Hình 9: Hiển thị Grad-CAM ảnh có khơng tăng cường Trên Hình 4.9, ảnh bệnh nhân này, bác sỹ đọc ảnh X-quang vùng tổn thương đánh dấu ảnh gốc Khi sử dụng ảnh không tăng cường để huấn luyện mơ hình nhận vùng tổn thương, sử dụng ảnh tăng cường vùng tổn thương rõ ràng, từ giúp bác sỹ khẳng định xác bệnh bệnh nhân 65 Không tăng cường Ảnh tăng cường Ảnh gốc Ảnh tăng cường Grad-Cam dùng ảnh gốc Grad-Cam dùng ảnh tăng cường Hình 10: Hiển thị Grad-CAM ảnh có khơng tăng cường Quan sát kết diễn giải chế định Hình 4.10: với ảnh khơng tăng cường hệ thống đưa vùng tổn thương, nhiên vùng tổn thương lại lớn, không với chất bệnh mà bệnh nhân gặp phải Khi sử dụng ảnh tăng cường hệ thống nhận diện hai vùng tổn thương rõ rệt, sát với tình hình bệnh bệnh nhân (được bác sỹ đọc ảnh Xquang chẩn đốn) Điều giúp bác sỹ đưa bệnh mà bệnh nhân gặp phải, từ xây dựng phác đồ điều trị xác hiệu hơn, đảm bảo mức độ tin cậy cao không dùng ảnh tăng cường 66 Không tăng cường Ảnh tăng cường Ảnh gốc Ảnh tăng cường Grad-Cam dùng ảnh gốc Grad-Cam dùng ảnh tăng cường Hình 11: Hiển thị Grad-CAM ảnh có khơng tăng cường Tương tự, kết diễn giải chế đưa định Hình 4.11: với ảnh khơng tăng cường phương pháp Grad-CAM vùng tổn thương vùng rộng, chí cịn có tổn thương phần cột sống Nhưng thực tế bệnh nhân bị tổn thương hai bên cột sống Khi sử dụng ảnh tăng cường để huấn luyện hệ thống xác vùng tổn thương nằm bên cột sống 67 Không tăng cường Ảnh tăng cường Ảnh gốc Ảnh tăng cường Grad-Cam dùng ảnh gốc Grad-Cam dùng ảnh tăng cường Hình 12: Hiển thị Grad-CAM ảnh có khơng tăng cường Kết diễn giải Hnh 4.12 Hình 4.13 cho thấy giá trị phương pháp phân loại bệnh sử dụng ảnh tăng cường để huấn luyện, sử dụng ảnh chưa tăng cường vùng tổn thương lớn, bao trùm hai bên phổi mức độ tổn thương Tuy nhiên, sử dụng ảnh tăng cường phần tổn thương bên rõ nằm bên, vùng tổn thương bên phải bệnh nhân có mức độ tổn thương nặng bên trái với Hình 4.12 ngược lại với Hình 4.13 Điều với tình trạng bệnh bệnh nhân 68 Khơng tăng cường Ảnh tăng cường Ảnh gốc Ảnh tăng cường Grad-Cam dùng ảnh gốc Grad-Cam dùng ảnh tăng cường Hình 13: Hiển thị Grad-CAM ảnh có khơng tăng cường 69 Khơng tăng cường Ảnh tăng cường Ảnh gốc Ảnh tăng cường Grad-Cam dùng ảnh gốc Grad-Cam dùng ảnh tăng cường Hình 14: Hiển thị Grad-CAM ảnh có không tăng cường 70 Không tăng cường Ảnh tăng cường Ảnh gốc Ảnh tăng cường Grad-Cam dùng ảnh gốc Grad-Cam dùng ảnh tăng cường Hình 15: Hiển thị Grad-CAM ảnh có khơng tăng cường Trên Hình 4.14 Hình 4.15 kết diễn giải từ Grad-Cam cho thấy sử ảnh tăng cường vùng tổn thương vị trí vùng tổn thương phía trên, dùng ảnh gốc vùng tổn thương lại nằm phía dưới, khơng với tình hình bệnh bệnh nhân 71 Không tăng cường Ảnh tăng cường Ảnh gốc Ảnh tăng cường Grad-Cam dùng ảnh gốc Grad-Cam dùng ảnh tăng cường Hình 16: Hiển thị Grad-CAM ảnh có khơng tăng cường Kết diễn giải Hình 4.16 Hình 4.17 cho thấy, ta sử dụng ảnh chưa tăng cường để huấn luyện có vùng tổn thương ra, ta sử dụng ảnh tăng cường vùng tổn thương nằm bên phải, bên trái vùng cổ bệnh nhân So với kết bác sỹ đọc ảnh X-quang hiệu độ xác dùng ảnh tăng cường tốt so với dùng ảnh gốc 72 Không tăng cường Ảnh tăng cường Ảnh gốc Ảnh tăng cường Grad-Cam dùng ảnh gốc Grad-Cam dùng ảnh tăng cường Hình 17: Hiển thị Grad-CAM ảnh có khơng tăng cường Kết cho thấy việc sử dụng ảnh tăng cường giúp cải thiện cách không rõ rệt kết phân loại Điều hợp lý thân mơ hình phân loại có khả học đặc trưng phù hợp cho việc phân loại Trong có lẽ bao gồm đặc trương tăng cường Tuy nhiên sử dụng Grad-Cam để quan sát kết diễn giải chế định hình sau đây, ta thấy việc sử dụng ảnh tăng cường cho phép phát nhiều vùng bị tổn thương nhãn dùng cho việc huấn luyện 73 Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 5.1 KẾT LUẬN Trong nghiên cứu này, phương pháp tăng cường chất lượng hình ảnh y tế từ định dạng DICOM đề xuất tập trung vào ba yếu tố Đầu tiên, không nâng cao tương phản hình ảnh y tế, mà phương pháp đồng thời bảo tồn thông tin khối lượng thông tin cấu trúc ảnh Thứ hai, phương pháp đề xuất có độ ổn định cao tham số điều khiển Đặc điểm giới thiệu nhằm giảm phụ thuộc chất lượng ảnh kết vào việc lựa chọn tham số Thứ ba, phương pháp xấp xỉ sử dụng để giải tốn tối ưu hóa trọng số cách nhanh chóng hiệu Nhờ đặc điểm này, sử dụng phương pháp lựa chọn để tăng cường chất lượng ảnh, mơ hình sau huấn luyện diễn giải tốt chế định mơ hình Cụ thể, sử dụng liệu ảnh X-ray phổi bệnh nhân có nhiều vùng tổn thương khác loại bệnh gắn nhãn cho bệnh nhân để thực việc nhận dạng ảnh Khi đó, việc sử dụng ảnh tăng cường cho phép phát nhiều vùng tổn thương vùng tổn thương khơng gán nhãn liệu 5.2 HƢỚNG PHÁT TRIỂN Để ảnh tăng cường có chất lượng tốt, tham số phải lựa chọn cẩn thận Gần đây, kỹ thuật tăng cường ảnh dựa vào kỹ thuật học sâu phát triển có số kết định Do đó, hướng phát triển tích hợp bước nhận diện bước tăng cường ảnh vào mơ hình Nhờ đó, ảnh sau tăng cường cần sử dụng để thực số phương pháp chẩn đốn bệnh mục tiêu việc tăng cường ảnh y tế làm cho ảnh có độ tương phản cao cịn giúp cho việc chẩn đốn y tế tốt 74 TÀI LIỆU THAM KHẢO [1] C Solomon and T Breckon, Fundamentals of Digital Image Processing Chichester, UK: John Wiley & Sons, 2011 [2] G Chan, "Toward Better Chroma Subsampling: Recipient of the 2007 SMPTE Student Paper Award," in SMPTE Motion Imaging J vol 117, ed: SMPTE Motion Imaging J [3] F Drago, K Myszkowski, T Annen, and N Chiba, "Adaptive Logarithmic Mapping for Displaying High Contrast Scenes," in Computer Graphics Forum, vol 22, no.3, 2003 [4] F Durand and D J, "Fast bilateral filtering for the display of high-dynamicrange images," 2002 [5] K Koonsanit, S Thongvigitmanee, N Pongnapang, and P Thajchayapong, "Image enhancement on digital X-ray images using N-CLAHE," in BMEiCON 2017 - 10th Biomedical Engineering International Conference, 2017, vol 2017-Janua [6] C C Huang and M H Nguyen, "X-ray enhancement based on component attenuation, contrast adjustment, and image fusion," IEEE Trans Image Process, vol 28, no 1, 2019 [7] A Gandhamal, S Talbar, S Gajre, A F M Hani, and D Kumar, "Local gray level S-curve transformation – A generalized contrast enhancement technique for medical images," Computers in Biology and Medicine, vol 83, pp 120133, 2017 [8] C Lee, C S Kim, and C Lee, "Contrast enhancement based on layered difference representation of 2D histograms," IEEE Trans Image Process, vol 22, no 12, 2013 [9] T Celik and T Tjahjadi, "Contextual and variational contrast enhancement," IEEE Trans Image Process, vol 20, no 12, 2011 [10] E H Land, "An alternative technique for the computation of the designator in the retinex theory of color vision," Proc Natl Acad Sci U S A, vol 83, no 10, 1986 [11] A B Petro, C Sbert, and J M Morel, "Multiscale Retinex," Image Process Line, vol 4, 2014 [12] P E Debevec and J Malik, "Recovering high dynamic range radiance maps from photographs," the Association for Computing Machinery, 1997 75 [13] E Reinhard, M Stark, P Shirley, and J Ferwerda, "Photographic tone reproduction for digital images," in ACM Transactions on Graphics, 2002, vol 21, no [14] T Qiu, A Wang, N Yu, and A Song, "LLSURE: Local linear SURE-based edge-preserving image filtering," IEEE Trans Image Process, vol 22, no 1, 2013 [15] F L Z Li, W Yang, S Peng and J Zhou, "A Survey of Convolutional Neural Networks: Analysis, Applications, and Prospects," in IEEE Transactions on Neural Networks and Learning Systems [16] L B Y Lecun, Y Bengio and P Haffner, "Gradient-based learning applied to document recognition," in Proceedings of the IEEE, Nov 1998, vol 86, no 11, pp 2278-2324 [17] A Krizhevsky, I Sutskever, and G E Hinton, "ImageNet classification with deep convolutional neural networks," in Communications of the ACM, 2017, vol 60, pp 84–90 [18] K Simonyan and A Zisserman, "Very Deep Convolutional NetworksFor Large-Scale Image Recognition," in Proc IEEE Conf Learn Repr, 2015 [19] C Szegedy et al., "Going deeper with convolutions," IEEE Conference on Computer Vision and Pattern Recognition, pp 1-9, 2015 [20] K He, X Zhang, S Ren, and a J Sun, "Deep residual learning for image recognition," in Proc IEEE Conf Computer Vis Pattern Recognit., 2015 [21] M C R R Selvaraju, A Das, R Vedantam, D Parikh and D Batra,, "GradCAM: Visual Explanations from Deep Networks via Gradient-Based Localization," in 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp 618-626 [22] A S A Chattopadhay, P Howlader and V N Balasubramanian, "GradCAM++ Generalized Gradient-Based Visual Explanations for Deep Convolutional Networks," in Winter Conference on Applications of Computer Vision, 2018: IEEE Winter Conference on Applications of Computer Vision [23] R Fu, X H Dong, Q Y Hu, Y Gou, Y H Gou, and B Li, "Axiom-based Grad-CAM: Towards Accurate Visualization and Explanation of CNNs," presented at the AXIOM-BASED GRAD-CAM, 2020 [24] M B Muhammad and M Yeasin, "Eigen-CAM Class Activation Map using Principal Components," presented at the Computer Vision and Pattern Recognition (cs.CV), 2020 [25] R C Gonzalez, "Digital Image Processing," Prentice Hall, 2008 76 [26] J J Cho Z, Singh M, "Foundations of medical imaging," New York: Wiley, 1993 [27] J T Shiroma, "An introduction to DICOM," Veterinary Medicine, pp 19–20, 2006 [28] M Lutz, "Learning Python (5th ed.)," O'Reilly Media, 2013 [29] An Introduction to PyTorch – A Simple yet Powerful Deep Learning Library http://analyticsvidhya.com 22/02/2018 [30] H Wilson, "Artificial intelligence," Grey House Publishing 2018 [31] E K P Ż hong, Stanislaw H, "Gradient Methods," An Introduction to Optimization (Fourth ed.), 2013 [32] N S V Andreieva, "Generalization of cross-entropy lossfunction for image classification," doi.org, 2021 [33] L B Yann LeCun, Yosuha Bengio and Patrick Haffner, "Gradient-based learning applied to document recognition," IEEE, 1998 [34] I S Alex Krizhevsky, Geoffrey E Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," NIPS, 2012 [35] K S a A Zisserman, "Very Deep Convolutional Networks For Large-Scale Image Recognition," Proc IEEE Conf Learn Repr, 2015 [36] W L Christian Szegedy, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, "Going Deeper with Convolutions," arXiv, 2014 [37] K H- Ly, T Q Nhu-Tran, N T -Vo, and M.-H Nguyen, "Structure preserving in medical image enhancement," presented at the ICSSE, 2021 [38] T Mertens, J Kautz, and F V Reeth, "Exposure fusion: A simple and practical alternative to high dynamic range photography," Comput Graph Forum, vol 28, no 1, 2009 [39] P J Burt and E H Adelson, "The Laplacian Pyramid as a Compact Image Code," IEEE Trans Commun, vol 31, no 4, 1983 [40] T Mertens, J Kautz, and F V Reeth, "Exposure Fusion," in proceedings of Pacific Graphics 2007, 2007 [41] Z Wang, A C Bovik, H R Sheikh, and E P Simoncelli, "Image quality assessment: From error visibility to structural similarity," IEEE Trans Image Process, vol 13, no 4, 2004 [42] Z Y Chen, B R Abidi, D L Page, and M A Abidi, "Gray-level grouping (GLG): An automatic method for optimized image contrast enhancement - Part I: The basic method " IEEE Trans Image Process, vol 15, no 8, 2006 77 [43] H Q Nguyen et al., "VinDr-CXR: An open dataset of chest X-rays with radiologist’s annotations," ed: image and Video Processing (eess.IV), 2020 [44] A Levin, D Lischinski, and Y Weiss, "A Closed-Form Solution to Natural Image Matting," IEEE Trans Pattern Anal Mach Intell, vol 30, no 2, Feb 2008 [45] Q Chen, D Li, and C K Tang, "KNN Matting," IEEE Trans Pattern Anal Mach Intell, vol 35, no 9, Sep 2013 78 S K L 0 ... GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SỸ TRỊNH NGỌC TÙNG TĂNG CƢỜNG ẢNH Y TẾ BẰNG CÁCH TỐI ƢU THÔNG TIN CẤU TRÚC ẢNH VÀ SAI SỐ VỀ MỨC NĂNG LƢỢNG... Minh Ngành học: Kỹ thuật Điện tử Tên Luận văn: Tăng cường ảnh y tế cách tối ưu thông tin cấu trúc ảnh sai số mức lượng Ng? ?y nơi bảo vệ luận văn: Ng? ?y 28 tháng năm 2022 - Đại học Sư phạm Kỹ thuật... Ngọc Tùng MSHV: 1920708 Chuyên ngành: Kỹ thuật Điện tử Khóa: 2019A Tên đề tài nghiên cứu: Tăng cường ảnh y tế cách tối ưu thông tin cấu trúc ảnh sai số mức lượng Ng? ?y bảo vệ: 28 tháng năm 2022