Ứng dụng công nghệ lora vào nuôi trồng thủy sản thông minh

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH LÊ THANH HỊA ỨNG DỤNG CÁC MƠ HÌNH CHÚ Ý ĐỂ PHÁT HIỆN COVID-19 DỰA TRÊN HÌNH ẢNH SIÊU ÂM PHỔI Ngành: KHOA HỌC MÁY TÍNH Mã ngành: 8480101 LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH, NĂM 2023 Cơng trình hồn thành Trường Đại học Cơng nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: PGS.TS Nguyễn Việt Linh Luận văn thạc sĩ bảo vệ Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày 17 tháng năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS Huỳnh Tường Nguyên - Chủ tịch Hội đồng TS Huỳnh Khả Tú - Phản biện TS Đặng Thị Phúc - Phản biện TS Phạm Hoàng Anh - Ủy viên TS Phạm Thị Thiết - Thư ký CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CƠNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Lê Thanh Hòa MSHV: 20126051 Ngày, tháng, năm sinh: 13/8/1988 Nơi sinh: Bình Định Ngành: Khoa Học Máy Tính Mã ngành: 8480101 I TÊN ĐỀ TÀI: Ứng Dụng Các Mơ Hình Chú Ý Để Phát Hiện COVID-19 Dựa Trên Hình Ảnh Siêu Âm Phổi NHIỆM VỤ VÀ NỘI DUNG: Nhiệm vụ: phát triển mơ hình ý để phân tích hình ảnh siêu âm phổi phát Covid-19 mợt cách xác nhanh chóng Nợi dung: tìm hiểu ảnh siêu âm phổi, phương pháp xử lý ảnh để tiền xử lý liệu trước đưa vào mơ hình Tìm hiểu xây dựng mơ hình ý dựa kiến trúc mạng nơ-ron tích chập thường dùng Sử dụng liệu siêu âm phổi để huấn luyện đánh giá chất lượng mơ hình ý đề x́t Đánh giá đợ xác hiệu mơ hình ý so với phương pháp khác để phát COVID19 dựa hình ảnh siêu âm phổi II NGÀY GIAO NHIỆM VỤ: 30/11/2022 III NGÀY HOÀN THÀNH NHIỆM VỤ: 17/6/2023 IV NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Nguyễn Việt Linh Tp Hồ Chí Minh, ngày … tháng … năm 2023 NGƯỜI HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN (Họ tên chữ ký) LỜI CẢM ƠN Trước tiên, xin bày tỏ biết ơn chân thành sâu sắc nhất tới PGS.TS Nguyễn Việt Linh, hết lòng hỗ trợ giúp đỡ tơi q trình nghiên cứu hồn thiện luận văn thạc sĩ Tôi xin gửi lời cảm ơn chân thành tới thầy, cô giảng viên Trường Đại học Cơng Nghiệp Tp Hồ Chí Minh tận tình dạy dỗ hướng dẫn cho suốt trình học tập thạc sĩ trường Xin chân thành cảm ơn anh chị em học viên cao học bạn bè đồng nghiệp trao đổi, khích lệ tơi trình học tập làm luận văn Trường Đại học Cơng Nghiệp Tp Hồ Chí Minh Cuối tơi xin gửi lời cảm ơn đến gia đình, người bên cạnh, động viên khuyến khích tơi q trình thực đề tài i TÓM TẮT LUẬN VĂN THẠC SĨ Luận văn "Ứng dụng mơ hình ý để phát COVID-19 dựa hình ảnh siêu âm phổi" nhằm nghiên cứu phát triển mơ hình ý để phân tích hình ảnh siêu âm phổi phát COVID-19 một cách xác nhanh chóng Các nợi dung luận văn bao gồm việc tìm hiểu ảnh siêu âm phổi, phương pháp tiền xử lý ảnh trước đưa vào mơ hình Sau đó, đề tài tiếp tục tìm hiểu xây dựng mơ hình ý dựa kiến trúc mạng nơ-ron tích chập thường dùng, sử dụng liệu siêu âm phổi để huấn luyện đánh giá hiệu mô hình ý đề x́t Các mơ hình đặc biệt trọng đến vùng quan trọng hình ảnh để tăng đợ hiệu xác q trình chẩn đốn Kết luận văn cho thấy việc sử dụng mơ hình ý nâng cao đợ xác q trình chẩn đốn COVID-19 từ hình ảnh siêu âm phổi cải thiện nâng cao khả xác định khu vực quan trọng hình ảnh sử dụng để định chẩn đoán Cùng với phát triển cơng nghệ, việc ứng dụng mơ hình ý để phát COVID-19 từ hình ảnh siêu âm phổi giúp nâng cao đợ xác tính khả thi q trình chẩn đốn, đồng thời giảm thiểu việc tiếp xúc trực tiếp với bệnh nhân, từ bảo vệ sức khỏe cán bợ, nhân viên y tế trước nguy lây nhiễm ii ABSTRACT The thesis aims to research and develop an attention model to analyze lung ultrasound images and detect COVID-19 accurately and quickly The basic contents of the thesis include learning about lung ultrasound images and image processing methods to preprocess data before entering the model Then, the thesis continues to learn and build attention models based on commonly used convolutional neural network architectures and use lung ultrasound data to train and assess the effectiveness model suggesting the idea These models pay special attention to important areas of the image to increase the accuracy of the diagnostic process The findings of the research indicate that the utilization of attentional models can improve the accuracy of the COVID-19 diagnosis from lung ultrasound images and improve the ability to identify critical areas of the lung imaging used to make diagnostic decisions With the development of technology, applying attention models to detect COVID-19 from lung ultrasound images will help improve the accuracy and feasibility of the diagnosis process, while minimizing the impact of the disease effect of direct contact with patients, thereby protecting the health of medical staff and reducing the risk of infection iii LỜI CAM ĐOAN Tôi cam đoan kết thu luận văn sản phẩm cơng trình nghiên cứu tìm hiểu thân tơi, hướng dẫn một cách khoa học PGS.TS Nguyễn Việt Linh Các kết nghiên cứu kết luận luận văn trung thực, không chép từ bất kỳ nguồn khơng vi phạm bất kỳ hình thức Việc tham khảo nguồn tài liệu (nếu có) thực theo quy định trích dẫn ghi nguồn tài liệu tham khảo Tơi hồn tồn chịu trách nhiệm sẵn sàng chấp nhận hình thức kỷ luật theo quy định liên quan đến lời cam đoan Học viên (Chữ ký) Lê Thanh Hòa iv MỤC LỤC LỜI CẢM ƠN i TÓM TẮT LUẬN VĂN THẠC SĨ ii ABSTRACT iii LỜI CAM ĐOAN iv DANH MỤC HÌNH ẢNH vii DANH MỤC BẢNG BIỂU viii DANH MỤC TỪ VIẾT TẮT ix MỞ ĐẦU .1 Đặt vấn đề .1 Mục tiêu nghiên cứu 3 Đối tượng phạm vi nghiên cứu 4 Cách tiếp cận phương pháp nghiên cứu .4 Ý nghĩa thực tiễn đề tài .5 TỔNG QUAN .6 CHƯƠNG TỔNG QUAN VỀ HÌNH ẢNH SIÊU ÂM 1.1 Tổng quan hình ảnh siêu âm 1.1.1 Mợt số loại đầu dị siêu âm 1.1.2 Nguyên lý tạo hình ảnh siêu âm 1.2 Siêu âm phổi chẩn đoán COVID-19 .10 CHƯƠNG CÁC KỸ THUẬT XỬ LÝ ẢNH VÀ HỌC SÂU TRONG CHẨN ĐOÁN BỆNH 13 2.1 Các vấn đề xử lý ảnh .13 2.1.1 Biến đổi ảnh .13 2.1.2 Một số kỹ thuật xử lý ảnh .13 2.1.2.1 Kỹ thuật lọc nhiễu 13 2.1.2.2 Kỹ thuật tăng cường độ tương phản 14 2.1.3 Trích chọn biểu diễn đặc trưng ảnh 16 2.2 Các mơ hình học sâu phổ biến xử lý ảnh y khoa 17 2.2.1 Mô hình mạng VGG 17 2.2.2 Mơ hình mạng ResNet .20 v 2.3 Các chế ý 22 2.4 Các phương pháp đánh giá hiệu śt mơ hình 25 2.4.1 Confusion Matrix .25 2.4.2 Occlusion Sensitivity Maps 27 2.4.3 Grad-CAM .28 2.4.4 Parameters 30 CHƯƠNG THỰC NGHIỆM ĐÁNH GIÁ KẾT QUẢ 31 3.1 Tập liệu .31 3.2 Phương tiện công cụ triển khai 32 3.3 Phương thức .33 3.3.1 Xử lý hình ảnh 33 3.3.2 Tích hợp CBAM vào mơ hình 33 3.4 Đánh giá kết .36 KẾT LUẬN VÀ KIẾN NGHỊ 47 DANH MỤC CƠNG TRÌNH ĐÃ CÔNG BỐ CỦA HỌC VIÊN 48 TÀI LIỆU THAM KHẢO 49 PHỤ LỤC 52 LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN 55 vi DANH MỤC HÌNH ẢNH Hình 1.1 Hình ảnh siêu âm tạo cách sử dụng đầu dị tuyến tính 10 Hình 1.2 Hình ảnh siêu âm tạo cách sử dụng đầu dò lồi 10 Hình 1.3 Minh họa đặc điểm hình ảnh siêu âm phổi 11 Hình 2.1 Mơ hình mạng VGG16 .19 Hình 2.2 Kiến trúc khối phần dư .20 Hình 2.3 Kiến trúc mạng ResNet18 21 Hình 2.4 Mợt khối CBAM 23 Hình 2.5 Mơ-đun ý kênh 23 Hình 2.6 Mơ-đun ý khơng gian 24 Hình 3.1 Minh họa AACB: tích hợp CBAM vào mạng VGG 34 Hình 3.2 Tích hợp CBAM vào mơ hình ResNet18 34 Hình 3.3 Tiền xử lý ảnh đầu vào tích hợp CBAM vào mơ hình VGG 35 Hình 3.4 Tiền xử lý ảnh đầu vào tích hợp CBAM vào mơ hình ResNet18 35 Hình 3.5 OSMs với mơ hình VGG16 VGG16-CBAM 41 Hình 3.6 OSMs với mơ hình VGG19 VGG19-CBAM 41 Hình 3.7 OSMs với mơ hình phân loại COVID-19 41 Hình 3.8 Phương pháp Clahe, grad-cam với mơ hình VGG16 42 Hình 3.9 Phương pháp Clahe, grad-cam với mơ hình VGG16-CBAM 43 Hình 3.10 Phương pháp Clahe, grad-cam với mơ hình ResNet18 43 Hình 3.11 Phương pháp Clahe, grad-cam với mơ hình ResNet18-CBAM 43 Hình 3.12 Phương pháp Edge_enhance_more, grad-cam với mơ hình VGG19 44 Hình 3.13 Phương pháp Edge_enhance_more, grad-cam với VGG19-CBAM 44 Hình 3.14 Phương pháp Edge_enhance_more, grad-cam với mơ hình ResNet18 44 Hình 3.15 Phương pháp Edge_enhance_more, grad-cam với ResNet18-CBAM 45 Hình 3.16 Confusion Matrix mơ hình VGG16 VGG16-CBAM 45 Hình 3.17 Confusion Matrix mơ hình VGG19 VGG19-CBAM 45 Hình 3.18 Confusion Matrix mơ hình ResNet18 ResNet18-CBAM 46 vii Hình 3.9 Phương pháp Clahe, grad-cam với mơ hình VGG16-CBAM Hình 3.10 Phương pháp Clahe, grad-cam với mơ hình ResNet18 Hình 3.11 Phương pháp Clahe, grad-cam với mơ hình ResNet18-CBAM Đối với xử lý ảnh đầu vào sử dụng thư viện pillow với bộ lọc tăng cường cạnh Edge_enhance_more áp dụng grad-cam, ta quan sát hình 3.12, hình 3.13, hình 3.14 hình 3.15 Trong hình 3.12 (a), hình ảnh siêu âm bệnh nhân bị COVID-19 Khi sử dụng mơ hình VGG19, kết dự đốn bệnh viêm phổi, thấy mơ hình tập trung vào vùng sáng sậm màu thể hình 3.12 (b) Ở hình 3.13 (a) hình ảnh siêu âm bệnh nhân bị COVID-19 Khi sử dụng mơ hình VGG19-CBAM, kết phân loại bệnh COVID-19 thể qua phương 43 pháp grad-cam vùng ánh sáng khoang vùng màu đỏ hình 3.13 (b) Hình 3.14 (a) hình ảnh siêu âm bệnh nhân bị COVID-19 Khi sử dụng mơ hình ResNet18, kết dự đoán phổi khỏe mạnh, ta thấy mơ hình tập trung vào vùng sáng có dạng đường A, thể hình 3.14 (b) vùng khoang màu đỏ Tương tự, hình 3.15 (a) hình ảnh siêu âm bệnh nhân bị COVID-19 Khi sử dụng mơ hình ResNet18-CBAM, kết xác thể qua phương pháp grad-cam vùng tổn thương phổi, hình 3.15 (b) vùng khoang màu đỏ Hình 3.12 Phương pháp Edge_enhance_more, grad-cam với mơ hình VGG19 Hình 3.13 Phương pháp Edge_enhance_more, grad-cam với VGG19-CBAM Hình 3.14 Phương pháp Edge_enhance_more, grad-cam với mơ hình ResNet18 44 Hình 3.15 Phương pháp Edge_enhance_more, grad-cam với ResNet18-CBAM Thêm vào đó, tơi áp dụng Confusion Matrix để đánh giá mơ hình thể hình 3.16, 3.17 3.18 VGG16 VGG16-CBAM Hình 3.16 Confusion Matrix mơ hình VGG16 VGG16-CBAM VGG19-CBAM VGG19 Hình 3.17 Confusion Matrix mơ hình VGG19 VGG19-CBAM 45 ResNet18 ResNet18-CBAM Hình 3.18 Confusion Matrix mơ hình ResNet18 ResNet18-CBAM Dựa kết thực nghiệm, thấy mơ hình tích hợp CBAM đạt hiệu cao so với mơ hình khơng tích hợp CBAM 46 KẾT LUẬN VÀ KIẾN NGHỊ Luận văn trình bày phương pháp phát COVID-19 dựa việc tiền xử lý ảnh, chế học tập ý chuyển giao Đây phương pháp xem tính luận văn nghiên cứu trước quan tâm đến mơ hình bản, chưa triển khai tiền xử lý ảnh, đặc biệt chế ý vào mơ hình Kết cho thấy điều kiện cỡ mẫu nhỏ, mơ hình đạt hiệu cao nhất nhiệm vụ phân lớp Tuy nhiên, luận văn cịn mợt số hạn chế giải công việc tương lai Việc giải thích mơ hình đề x́t rất phức tạp lý cho kết phân loại xác chưa biết Bên cạnh đó, bợ liệu tơi sử dụng có kích thước nhỏ Ngồi vấn đề overfiting h́n luyện mơ hình chưa kiểm tra Tơi dự định trực quan hóa giai đoạn mơ hình tương lai, khám phá thêm cách thức hoạt đợng mơ hình Thu thập thêm hình ảnh siêu âm COVID-19 cải thiện mơ hình mình, áp dụng mơ hình có kiến trúc sâu để phát bệnh cụ thể Bên cạnh tìm hiểu để xử lý nhiễu hình ảnh siêu âm xây dựng mơ hình mạng học sâu chun dụng cho hình ảnh siêu âm y khoa Tơi mở rợng mơ hình sang bợ liệu y khoa khác cải thiện hiệu suất dựa kết 47 DANH MỤC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA HỌC VIÊN [1] L T Hoa et al, "Attention models for covid-19 detection based on lung ultrasound images," International Conference on Computational Intelligence and Innovative Applications (CIIA2022), pp 125-134, 2022 48 TÀI LIỆU THAM KHẢO [1] WHO, "WHO Director-General's opening remarks at the media briefing on COVID-19 - 11 March 2020," 11 Mar 2020 [Online] Available: https://www.who.int/director-general/speeches/detail/who-director-general-sopening-remarks-at-the-media-briefing-on-covid-19 -11-march-2020 [Accessed 20 Sep 2022] [2] W Guan et al, "Clinical characteristics of coronavirus disease 2019 in China," New England Journal of Medicine, vol 382, no 18, pp 1708-1720, 2020 [3] A Bernheim et al, "Chest CT findings in coronavirus disease-19 (COVID-19): relationship to duration of infection," Radiology, vol 295, no 3, p 200463– 200463, 2020 [4] N Buda et al, "Lung ultrasound in the diagnosis of COVID-19 infection - a case series and review of the literature," Advances in Medical Sciences, vol 65, no 2, p 378–385, 2020 [5] G Soldati et al, "Is there a role for lung ultrasound during the COVID-19 pandemic?," Journal of Ultrasound in Medicine, vol 39, no 7, p 1459–1462, 2020 [6] M B Weinstock et al, "Chest X-ray findings in 636 ambulatory patients with COVID-19 presenting to an urgent care center: a normal chest X-ray is no guarantee," The Journal of Urgent Care Medicine, vol 17, no 7, pp 13-18, 2020 [7] N Xirouchaki et al, "Lung ultrasound in critically ill patients: comparison with bedside chest radiography," Intensive Care Medicine, vol 37, no 9, pp 14881493, 2011 [8] D Lichtenstein et al, "Comparative diagnostic performances of auscultation, chest radiography, and lung ultrasonography in acute respiratory distress syndrome," The Journal of the American Society of Anesthesiologists, vol 100, no 1, pp 9-15, 2004 [9] Y Yang et al, "Lung ultrasonography versus chest CT in COVID-19 pneumonia: a two centered retrospective comparison study from China," Intensive Care Medicine, vol 46, no 9, pp 1761-1763, 2020 [10] J Roberts and T Tsiligkaridis, "Ultrasound diagnosis of COVID-19: robustness and explainability," 2020 [Online] Available: https://arxiv.org/pdf/2012.01145.pdf 49 [11] J Born et al, "Accelerating detection of lung pathologies with explainable ultrasound image analysis," Applied Sciences, vol 11, no 2, p 672, 2021 [12] Jannisborn, "covid19_ultrasound/data at master · jannisborn/covid19_ultrasound · GitHub," GitHub, Inc., 21 Jan 2021 [Online] Available: https://github.com/jannisborn/covid19_ultrasound/tree/master/data [Accessed Jun 2022] [13] Diaz-Escobar J et al, "Deep-learning based detection of COVID-19 using lung ultrasound imagery," 13 Aug 2021 [Online] Available: https://doi.org/10.1371/journal.pone.0255886 [Accessed Aug 2022] [14] N Awasthi et al, "Mini-COVIDNet: efficient lightweight deep neural network for ultrasound based point-of-care detection of COVID-19," IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control, vol 68, no 6, p 2023–2037, 2021 [15] Z M Baum et al, "Image quality assessment for closed-loop computer-assisted lung ultrasound," 2021 [Online] Available: https://arxiv.org/abs/2008.08840 [16] G Soldati et al, "Proposal for International Standardization of the Use of Lung Ultrasound for Patients With COVID-19: A Simple, Quantitative, Reproducible Method," Journal of ultrasound in medicine : official journal of the American Institute of Ultrasound in Medicine, vol 29, no 7, pp 1413-1419, 2020 [17] K Simonyan and A Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," 2015 [Online] Available: https://arxiv.org/pdf/1409.1556.pdf [18] J Deng et al, "ImageNet: A large-scale hierarchical image database," in 2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009 [19] K He et al, "Deep Residual Learning for Image Recognition," 2015 [Online] Available: https://arxiv.org/pdf/1512.03385.pdf [20] X Yang, "An Overview of the Attention Mechanisms in Computer Vision," 2020 [Online] Available: https://iopscience.iop.org/article/10.1088/17426596/1693/1/012173/pdf [21] S Woo et al, "CBAM: Convolutional Block Attention Module," 2018 [Online] Available: https://arxiv.org/pdf/1807.06521.pdf [22] S Narkhede, "Understanding Confusion Matrix," May 2018 [Online] Available: https://towardsdatascience.com/understanding-confusion-matrixa9ad42dcfd62 [Accessed 15 Apr 2023] 50 [23] Matthew D Zeiler and Rob Fergus, "Visualizing and Understanding Convolutional Networks," 2014 [Online] Available: https://arxiv.org/pdf/1311.2901.pdf [24] R Selvaraju et al, "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization," 2019 [Online] Available: https://arxiv.org/pdf/1610.02391.pdf [25] Jannisborn, "covid19_ultrasound/data/dataset_metadata.csv at master · jannisborn/covid19_ultrasound · GitHub," 21 Jan 2021 [Online] Available: https://github.com/jannisborn/covid19_ultrasound/blob/master/data/dataset_m etadata.csv [Accessed 20 Jun 2023] 51 PHỤ LỤC # Tiền xử lý ảnh sử dụng dụng phương pháp CLAHE def pre_process_image(image: Image.Image) -> Image.Image: img = np.array(image) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8)) img_clahe = clahe.apply(gray.astype('uint8')) img_clahe = np.stack((img_clahe,)*3, axis=-1) img_clahe = transforms.ToPILImage()(img_clahe) return img_clahe # Tiền xử lý ảnh khử nhiễu BM3D img = np.array(imageOriginal, dtype=np.float64) bm3d_result = bm3d.bm3d(img, sigma_psd=0.1, stage_arg=bm3d.BM3DStages.HARD_THRESHOLDING) img_bm3d = np.uint8(np.clip(bm3d_result*255.0, 0, 255)) #Tiền xử lý ảnh sử dụng EDGE_ENHANCE_MORE def pre_process_image(image: Image.Image) -> Image.Image: img = image.filter(ImageFilter.EDGE_ENHANCE_MORE) return img #Sử dụng thuộc tính Lambda để Compose train_transform = transforms.Compose([transforms.Lambda(pre_process_image), transforms.Resize((self.image_width, self.image_height)), transforms.RandomAffine(10,translate=(0.1,0.1)), transforms.ToTensor()]) test_transform = transforms.Compose([transforms.Lambda(pre_process_image), transforms.Resize((self.image_width, self.image_height)), transforms.ToTensor()]) Phụ lục Mã lệnh tiền xử lý hình ảnh trước đưa vào mơ hình class BasicConv(nn.Module): def init (self, in_planes, out_planes, kernel_size, stride=1, padding=0, dilation =1, groups=1, relu=True, bn=True, bias=False): super(BasicConv, self). init () self.out_channels = out_planes self.conv = nn.Conv2d(in_planes, out_planes, kernel_size=kernel_size, stride=str ide, padding=padding, dilation=dilation, groups=groups, bias=bias) self.bn = nn.BatchNorm2d(out_planes,eps=1e5, momentum=0.01, affine=True) if bn else None self.relu = nn.ReLU() if relu else None def forward(self, x): x = self.conv(x) if self.bn is not None: x = self.bn(x) if self.relu is not None: x = self.relu(x) return x class Flatten(nn.Module): def forward(self, x): return x.view(x.size(0), -1) 52 class ChannelGate(nn.Module): def init (self, gate_channels, reduction_ratio=16, pool_types=['avg', 'max']): super(ChannelGate, self). init () self.gate_channels = gate_channels self.mlp = nn.Sequential( Flatten(), nn.Linear(gate_channels, gate_channels // reduction_ratio), nn.ReLU(), nn.Linear(gate_channels // reduction_ratio, gate_channels) ) self.pool_types = pool_types def forward(self, x): channel_att_sum = None for pool_type in self.pool_types: if pool_type=='avg': avg_pool = F.avg_pool2d( x, (x.size(2), x.size(3)), stride=(x.size(2), x size(3))) channel_att_raw = self.mlp( avg_pool ) elif pool_type=='max': max_pool = F.max_pool2d( x, (x.size(2), x.size(3)), stride=(x.size(2), x size(3))) channel_att_raw = self.mlp( max_pool ) if channel_att_sum is None: channel_att_sum = channel_att_raw else: channel_att_sum = channel_att_sum + channel_att_raw scale = torch.sigmoid( channel_att_sum ).unsqueeze(2).unsqueeze(3).expand_as(x) return x * scale class ChannelPool(nn.Module): def forward(self, x): return torch.cat( (torch.max(x,1)[0].unsqueeze(1), torch.mean(x,1).unsqueeze(1)) , dim=1 ) class SpatialGate(nn.Module): def init (self): super(SpatialGate, self). init () kernel_size = self.compress = ChannelPool() self.spatial = BasicConv(2, 1, kernel_size, stride=1, padding=(kernel_size1) // 2, relu=False) def forward(self, x): x_compress = self.compress(x) x_out = self.spatial(x_compress) scale = torch.sigmoid(x_out) # broadcasting return x * scale class CBAM(nn.Module): def init (self, gate_channels, reduction_ratio=16, pool_types=['avg', 'max'], no_ spatial=False): super(CBAM, self). init () self.ChannelGate = ChannelGate(gate_channels, reduction_ratio, pool_types) self.no_spatial=no_spatial if not no_spatial: self.SpatialGate = SpatialGate() def forward(self, x): x_out = self.ChannelGate(x) if not self.no_spatial: x_out = self.SpatialGate(x_out) return x_out Phục lục Mã lệnh khối CBAM 53 # Tích hợp CBAM vào mơ hình VGG16 feats = list(models.vgg16(weights='VGG16_Weights.DEFAULT').features.children()) self.features_cov = nn.Sequential(*feats[0:23], CBAM(512), *feats[23:30]) # Tích hợp CBAM vào mơ hình VGG19 feats = list(models.vgg19(weights='VGG19_Weights.DEFAULT').features.children()) self.features_cov = nn.Sequential(*feats[0:27], CBAM(512), *feats[27:36]) Phụ lục Mã lệnh tích hợp CBAM vào mơ hình VGG16 VGG19 resnet = models.resnet18(weights='ResNet18_Weights.DEFAULT') self.features_cov = nn.Sequential( resnet.conv1, resnet.bn1, resnet.relu, resnet.maxpool, resnet.layer1[0], CBAM(64), resnet.layer1[1], CBAM(64), resnet.layer2[0], CBAM(128), resnet.layer2[1], CBAM(128), resnet.layer3[0], CBAM(256), resnet.layer3[1], CBAM(256), resnet.layer4[0], CBAM(512), resnet.layer4[1], CBAM(512), ) Phụ lục Mã lệnh tích hợp CBAM vào mơ hình ResNet18 54 LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN I LÝ LỊCH SƠ LƯỢC: Họ tên: Lê Thanh Hịa Giới tính: Nam Ngày, tháng, năm sinh: 13/8/1988 Nơi sinh: Bình Định Email: lethanhhoait@gmail.com Điện thoại: 0988196169 II QUÁ TRÌNH ĐÀO TẠO: Từ tháng 9/2007 – 2012 tốt nghiệp Đại học quy ngành cơng nghệ thơng tin Trường Đại Học Sư Phạm Kỹ Thuật Tp Hồ Chí Minh III Q TRÌNH CƠNG TÁC CHUN MƠN: Thời gian Từ 2012 - 2018 Nơi công tác Công việc đảm nhiệm Trung tâm đào tạo an ninh Giảng dạy tin học mạng & quản trị mạng quốc tế Athena, 92 Nguyễn Đình Chiểu, ĐaKao, Quận 1, Tp HCM Từ 2015 - 2023 Công ty TNHH TMDV Hoa Quản lý phát triển website Technology Từ 3.2018 - đến Trường ĐH Sân Khấu – Điện Giảng dạy tin học Ảnh Tp Hồ Chí Minh Tp HCM, ngày 30 tháng Năm 2023 Người khai (Ký tên) 55 GÁY BÌA LUẬN VĂN LÊ THANH HÒA  LUẬN VĂN THẠC SĨ – NGÀNH KHOA HỌC MÁY TÍNH  NĂM 2023 56 NHÃN CD LUẬN VĂN BỘ CÔNG THƯƠNG TRƯỜNG ĐH CÔNG NGHIỆP TP.HCM LUẬN VĂN THẠC SĨ Ngành: Khoa Học Máy Tính Mã ngành: 8480101 Người hướng dẫn: PGS.TS Nguyễn Việt Linh Học viên: Lê Thanh Hịa MSHV: 20126051 ỨNG DỤNG CÁC MƠ HÌNH CHÚ Ý ĐỂ PHÁT HIỆN COVID-19 DỰA TRÊN HÌNH ẢNH SIÊU ÂM PHỔI TP HỒ CHÍ MINH, NĂM 2023 57