(TIỂU LUẬN) kết hợp xử lý tín hiệu cấu trúc và mạng thần kinh tích chập trong ứng dụng phân đoạn ảnh y khoa

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA ĐIỆN - ĐIỆN TỬ BỘ MÔN VIỄN THÔNG LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC ĐỀ TÀI: KẾT HỢP XỬ LÝ TÍN HIỆU CẤU TRÚC VÀ MẠNG THẦN KINH TÍCH CHẬP TRONG ỨNG DỤNG PHÂN ĐOẠN ẢNH Y KHOA GVHD: GS TS LÊ TIẾN THƯỜNG SVTH : TƠ THANH NHÃ VÕ THỊ THU GIANG TP HỒ CHÍ MINH, THÁNG 06 NĂM 2022 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA ĐIỆN - ĐIỆN TỬ BỘ MÔN VIỄN THÔNG -o0o - LUẬN VĂN TỐT NGHIỆP KẾT HỢP XỬ LÝ TÍN HIỆU CẤU TRÚC VÀ MẠNG THẦN KINH TÍCH CHẬP TRONG ỨNG DỤNG PHÂN ĐOẠN ẢNH Y KHOA GVHD: GS TS Lê Tiến Thường Sinh viên: Tơ Thanh Nhã Võ Thị Thu Giang TP Hồ Chí Minh, 6/2022 Số: /BKĐT Khoa: Điện – Điện tử Bộ Môn: Viễn Thông NHIỆM VỤ LUẬN VĂN TỐT NGHIỆP Họ tên: Tô Thanh Nhã Võ Th Điện Kết h phân Ngành: Đề tài: Nhiệm vụ: Tìm hiểu lý thuyết xử lý tín hiệu cấu trúc mạng thần kinh tích chập Xây dựng mơ hình mạng có cấu trúc dựa mạng thần kinh tích chập với mục tiêu phân đoạn ảnh y khoa Tìm kiếm thu thập tập liệu ảnh y khoa chứa vùng bất thường, phân tích thống kê liệu ảnh Huấn luyện mạng ảnh y khoa hiệu chỉnh lựa chọn thơng số tối ưu dựa phân tích sáng kiến lý thuyết nguyên tắc “thử sai” Đánh giá, nhận xét kết quả, viết báo cáo trình thực kết luận Ngày giao nhiệm vụ luận văn: 03/01/2021 Ngày hoàn thành nhiệm vụ: 20/05/2022 Họ tên người hướng dẫn: Phần hướng dẫn GS TS Lê Tiến Thường, BM Viễn Thông, Khoa Điện – Điện Tử 100% Nội dung yêu cầu LVTN thông qua Bộ Môn TP.HCM, ngày 01 tháng 06 năm 2022 CHỦ NHIỆM BỘ MÔN PGS TS Đỗ Hồng Tuấn PHẦN DÀNH CHO KHOA, BỘ MÔN: Người duyệt (chấm sơ bộ): Đơn vị: Ngày bảo vệ: Điểm tổng kết: Nơi lưu trữ luận văn: NGƯỜI HƯỚNG DẪN CHÍNH GS TS Lê Tiến Thường Kết hợp GSP CNN phân đoạn ảnh y khoa GVHD: GS TS Lê Tiến Thường Luận văn tốt nghiệp Tô Thanh Nhã – Võ Thị Thu Giang Hochiminh, June 6, 2022 Luận văn tốt nghiệp Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa GVHD: GS TS Lê Tiến Thường Lời cảm ơn Lời cảm ơn đầu tiên, nhóm chúng em xin gửi đến GS TS Lê Tiến Thường, người định hướng, dẫn cho chúng em tìm hiểu, nghiên cứu lĩnh vực xử lý tín hiệu cấu trúc Từ đó, với đề xuất đề tài này, chúng em có góc nhìn cụ thể đưa cách giải toán thực tế phân tích bất thường ảnh y khoa thơng qua phân đoạn Đồng thời, nhờ có giúp đỡ Thầy, chúng em có hội tiếp cận đến thành tựu bật xử lý cấu trúc graph mơ hình mạng thần kinh tích chập thời gian qua Những lời nhận xét, góp ý giúp đỡ Thầy giây phút khó khăn góp phần to lớn, tạo động lực cho chúng em vượt qua khó khăn tìm hiểu nghiên cứu đề tài Kế đến, nhóm chúng em xin cảm ơn quý thầy cô khoa Điện – Điện tử truyền đạt cho chúng em kiến thức đại cương chuyên ngành, giúp chúng em có kiến thức kỹ vững vàng làm tiền đề cho phát triển chúng em; song song với việc tiếp nhận kiến thức, chúng em cũng truyền cảm hứng để trở thành kỹ sư, nhà nghiên cứu tâm huyết với nghề tương lai Cuối cùng, chúng em xin cảm ơn cha mẹ, người nuôi dạy chúng em nên người, nguồn động lực hậu phương vững để chúng em cố gắng, phấn đấu nỗ lực không ngừng để ngày hôm cũng xin cảm ơn bạn bè giúp đỡ, hỗ trợ cho chúng em nhiều để hoàn thành Luận văn tốt nghiệp tiến độ nghiệm thu Tuy cố gắng hồn thành nghiên cứu, q trình tìm hiểu, thực báo cáo đề tài tồn nhiều hạn chế sai sót Rất mong mong nhận phản hồi, ý kiến đóng góp từ quý thầy cô bạn sinh viên Xin chân thành cảm ơn TP HCM, ngày 1, tháng 6, năm 2022 Sinh viên thực Tô Thanh Nhã Lời cảm ơn i Võ Thị Thu Giang Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa GVHD: GS TS Lê Tiến Thường Lời cam đoan Chúng tên Tô Thanh Nhã Võ Thị Thu Giang, sinh viên khoa Điện - Điện tử, chuyên ngành Kỹ thuật Điện tử - Viễn thông, khóa 2018, Đại học Quốc gia thành phố Hồ Chí Minh – Trường Đại học Bách Khoa Chúng tơi xin cam đoan nội dung sau thật: (i) Cơng trình nghiên cứu hồn tồn chúng tơi thực hiện; (ii) Các tài liệu trích dẫn nghiên cứu tham khảo từ nguồn thực tế, có uy tín độ xác cao; (iii) Các số liệu kết nghiên cứu nhóm chúng tơi tự thực cách độc lập trung thực TP HCM, ngày 1, tháng 6, năm 2022 Sinh viên thực Tô Thanh Nhã Lời cam đoan ii Võ Thị Thu Giang Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa GVHD: GS TS Lê Tiến Thường Tóm tắt Đi song hành với đổi xã hội phát triển chóng mặt khoa học kỹ thuật công nghệ, khái niệm thời đại 1.0, 2.0, … cũng từ đời, qua thấy nhu cầu sử dụng công nghệ tiên tiến lĩnh vực, phải kể đến lĩnh vực y học Đặc biệt, việc có cơng cụ tự động đưa kết cách nhanh chóng xác sẽ phần loại bỏ áp lực ở nơi bác sĩ Tuy nhiên, việc phân đoạn tự động hình ảnh y tế thơng thường nhiệm vụ khó khăn hình ảnh y tế có chất phức tạp, nhiều nhà nghiên cứu nghiên cứu nhiều cách tiếp cận để phân tích mẫu hình ảnh Trong đó, xu hướng ứng dụng tính chất quan trọng học sâu mạng thông minh nhân tạo ngày tăng, đặc biệt Mạng thần kinh tích chập (CNNs) lĩnh vực xử lý tín hiệu hình ảnh Thị giác máy tính, mang lại nhiều kết đáng ý Luận văn đề xuất phương pháp áp dụng xử lý tín hiệu dựa cấu trúc (GSP) cho kiến trúc CNNs ứng dụng vào việc phân đoạn hình ảnh y khoa, với kiến thức CNN GSP Kiến trúc đặc biệt xử lý liệu dựa tích chập cấu trúc để trích xuất tính hình ảnh thay tích chập truyền thống, giúp tăng hiệu việc học liên kết lân cận Để tối ưu hóa trọng số lọc cấu trúc tìm ma trận kề phù hợp với liệu huấn luyện, thuật toán lan truyền ngược cũng sẽ phân tích kỹ Sau đó, mơ hình mạng áp dụng tập liệu hình ảnh y tế để giúp phát khu vực bất thường cần quan tâm Các khảo sát với số liệu cụ thể so sánh với phương pháp trước cho thấy hiệu mơ hình Cùng với đó, báo mơ hình cũng chứng nhận hội nghị SEATUC 2022 đạt giải Bài báo Kỹ thuật tốt Đây minh chứng hữu dụng mơ hình việc nghiên cứu phân đoạn ảnh y tế tự động, hỗ trợ bác sĩ lập kế hoạch điều trị cho bệnh nhân Tóm tắt iii Tơ Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa GVHD: GS TS Lê Tiến Thường Abstract Alongside with social innovations is the simultaneously rapid development of science and technology, from which the concept of the age of industry 1.0, 2.0, … has arised, the need to use advanced technologies in every aspect of life thus be more obvious than ever, especially in the medical sector In particular, having the tools that can automatically give results promptly and accurately will partly eliminate the pressure on doctors Nevertheless, automatic segmentation of medical images generally is a difficult task because medical images are complex in nature therefore many researchers have studied a lot of approaches to analyze patterns of images In which, the crucial applications of deep learning in artificial intelligent networks are growing trends, especially Convolutional Neural Networks (CNNs) in the field of image signal processing and Computer Vision, yielding many remarkable results This thesis proposes a method to apply graph-based signal processing (GSP) to CNNs architecture for medical image segmentation application, along with basic knowledge about CNNs and GSP To be more specific, the architecture processes data based on the graph convolution to extract features in the image instead of the traditional convolution, which helps to increase efficiency in learning neighboring links In the attempt to optimize the weights of the graph filter and find the adjacency matrix that fits the training data, a back-propagation algorithm will be analyzed carefully Then, the network model is applied on the dataset of medical images to help detect abnormal areas of interest Surveys with specific data and comparisons with previous methods have shown the effectiveness of the model Along with that, the paper about the proposed model was also certified at the SEATUC 2022 conference and won the award for Best Technical Paper This is a demonstration of the applicability of the model in automatic medical image segmentation, assisting doctors in planning treatment for patients Abstract iv Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa GVHD: GS TS Lê Tiến Thường Mục lục Lời cảm ơn Lời cam đoan Tóm tắt Abstract Mục lục Danh sách bảng Danh sách hình vẽ Danh sách từ viết tắt Chương Giới thiệu 1.1 Tổng quan 1.1.1 1.1.2 1.1.3 Chẩn đoán bệnh dựa 1.1.4 1.2 Các phương pháp phân đ 1.2.1 1.2.2 1.2.3 Phương pháp học má 1.2.4 Phương pháp học sâu 1.2.5 Phương pháp học cấu Mục lục 1.3 Mục tiêu nghiên cứu 1.4 Đối tượng phạm vi ngh 1.5 Các đóng góp luận vă 1.6 Kết luận chương v Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa GVHD: GS TS Lê Tiến Thường Chương Cơ sở lý thuyết 2.1 Lý thuyết cấu trúc 2.2 Các mơ hình mạng 2.2.1 Mạng thần kinh nhân tạo 2.3 Mô hình Graph CNN 2.4 Kết luận chương Chương Nội dung phương pháp 3.1 Xử lý cấu trúc ảnh y khoa 3.2 Xây dựng mạng tích chập c 3.2.1 3.2.2 3.2.3 3.2.4 3.3 Tối ưu mơ hình mạng 3.3.1 3.3.2 3.3.3 3.3.4 3.4 Xác định giá trị khởi động 3.4.1 3.4.2 3.5 Kết luận chương Mục lục vi Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa [26] GVHD: GS TS Lê Tiến Thường Kasban, H., El-Bendary, M A M., & Salama, D H., “A comparative study of medical imaging techniques” International Journal of Information Science and Intelligent System, vol 4, no 2, pp 37-58, 2015 [27] Bahade, S., Edwards, M and Xie, X, "Graph Convolution Networks for Cell Segmentation," in Proceedings of the 10th International Conference on Pattern Recognition Applications and Methods (ICPRAM 2021), 2021 [28] Edwards, M and Xie, X., "Graph based convolutional neural network," in British Machine Vision Conference, 2016 [29] C v Tycowicz, "Towards shape-based knee osteoarthritis classification using graph convolutional networks," 2019 [30] M Buda, A Saha, and M A Mazurowski, “Association of genomic subtypes of lower-grade gliomas with shape features automatically extracted by a deep learning algorithm,” Computers in Biology and Medicine, vol 109, 2019 [31] Z Zhou, M M Rahman Siddiquee, N Tajbakhsh, and J Liang, “Unet++: A nested u-net architecture for medical image segmentation,” in Deep learning in medical image analysis and multimodal learning for clinical decision support Springer, 2018, pp 3– 11 [32] T L B Khanh, D.-P Dao, N.-H Ho, H.-J Yang, E.-T Baek, G Lee, S.-H Kim, and S B Yoo, “Enhancing u-net with spatial-channel attention gate for abnormal tissue segmentation in medical imaging,” Applied Sciences, vol 10, no 17, p 5729, 2020 [33] V Rajinikanth, A N Joseph Raj, K P Thanaraj, and G R Naik, “A customized vgg19 network with concatenation of deep and handcrafted features for brain tumor detection,” Applied Sciences, vol 10, no 10, p 3429, 2020 [34] W Weng and X Zhu, “Inet: convolutional networks for biomedical image segmentation,” IEEE Access, vol 9, pp 16 591–16 603, 2021 Tài liệu tham khảo 76 Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa Phụ lục Minh chứng báo hội nghị quốc tế Thông tin báo đề tài: Title Authors Status Conference Track Keywords Similarity Rating ISSN Abstract GVHD: GS TS Lê Tiến Thường Phụ lục 77 Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa Phụ lục GVHD: GS TS Lê Tiến Thường 78 Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa Phụ lục GVHD: GS TS Lê Tiến Thường 79 Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa GVHD: GS TS Lê Tiến Thường Giải thưởng Bài báo kỹ thuật Tốt nhất: Best Technical Paper Xác thực thông tin chi tiết tại: https://www.utm.my/seatuc2022/best-technical-paper-award/ Có thể tìm kiếm thơng qua qt QR đây: Phụ lục 80 Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa Phụ lục GVHD: GS TS Lê Tiến Thường 81 Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa Phụ lục GVHD: GS TS Lê Tiến Thường 82 Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa GVHD: GS TS Lê Tiến Thường Bài báo đăng Hội nghị Quốc tế SEATUC 2022 Phụ lục 83 Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa Phụ lục GVHD: GS TS Lê Tiến Thường 84 Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa Phụ lục GVHD: GS TS Lê Tiến Thường 85 Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa Phụ lục GVHD: GS TS Lê Tiến Thường 86 Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa Phụ lục GVHD: GS TS Lê Tiến Thường 87 Tô Thanh Nhã, Võ Thị Thu Giang Kết hợp GSP CNN phân đoạn ảnh y khoa Phụ lục GVHD: GS TS Lê Tiến Thường 88 Tô Thanh Nhã, Võ Thị Thu Giang ... ĐẠI HỌC BÁCH KHOA KHOA ĐIỆN - ĐIỆN TỬ BỘ MÔN VIỄN THÔNG -o0o - LUẬN VĂN TỐT NGHIỆP KẾT HỢP XỬ LÝ TÍN HIỆU CẤU TRÚC VÀ MẠNG THẦN KINH TÍCH CHẬP TRONG ỨNG DỤNG PHÂN ĐOẠN ẢNH Y KHOA GVHD: GS... dụng xử lý tín hiệu dựa cấu trúc (GSP) cho kiến trúc CNNs ứng dụng vào việc phân đoạn hình ảnh y khoa, với kiến thức CNN GSP Kiến trúc đặc biệt xử lý liệu dựa tích chập cấu trúc để trích xuất tính... hiệu tạo thành kiến trúc mạng Trong đó, phép xử lý ảnh truyền thống (tuyến tính phi tuyến) trình b? ?y bao gồm tích chập, l? ?y mẫu, … thay phép xử lý tín hiệu cấu trúc Mạng x? ?y dựng với tên gọi GCNN