Slide Đồ án tốt nghiệp kỹ sư tại nhất hột đồng bảo vệ đồ án tốt nghiệp Đại học Bách Khoa Hà Nội (10 10 10)

Slide Đồ án tốt nghiệp kỹ sư tại nhất hột đồng bảo vệ đồ án tốt nghiệp Đại học Bách Khoa Hà Nội (10 10 10)

Nghiên cứu và phát triển giải pháp

phát hiện gãy xương tay sử dụng học sâu

Sinh viên: Nghiêm Tuấn Khôi

MSSV: 20192941

GVHD: TS Nguyễn Huy Hoàng

ĐỒ ÁN TỐT NGHIỆP

TABLE OF CONTENTS

TỔNG QUAN MỤC TIÊU ĐỒ ÁN

GIẢI PHÁP PHÁT HIỆN GÃY XƯƠNG TAY

HƯỚNG PHÁT TRIỂN

Thực trạng:

• 1,71 tỷ người mắc bệnh cơ xương khớp và trên 200 triệu người bị loãng xương [1].

• 35% người Việt Nam mắc các chứng bệnh về xương khớp [2].

Vấn đề:

• Các ca bệnh về xương ngày càng tăng

• Thiếu hụt các chuyên gia về ảnh X-quang.

02 KIẾN TRÚC TỔNG QUAN HỆ THỐNG

Phân vùng Tăng độ tương phản Tăng độ phân giải Phát hiện

02 KHỐI PHÂN VÙNG

Tập dữ liệu Ảnh X-quang xương tay bất kỳ

lấy từ tập dữ liệu MURA [3].

Giải pháp

02 KHỐI PHÂN VÙNG

Mục tiêu

• Lấy ra phần mặt nạ của ảnh là tay.

• Loại bỏ phần nền ảnh chứa nhiều nhiễu.

• Tăng độ tập trung của phương pháp và những vị trí quan trọng.

02 KHỐI TĂNG ĐỘ TƯƠNG PHẢN

Thuật toán tăng cường độ tương phản:

• Histogram Equalization – HE.

• Contrast Limited Adaptive Histogram Equalization – CLAHE.

02 KHỐI TĂNG ĐỘ TƯƠNG PHẢN

Histogram Equalization

• Phân phối cường độ pixel đồng đều trên toàn bộ

phạm vi của ảnh

• Có thể dẫn tới những vùng quá tối hoặc quá sáng

Contrast Limited Adaptive Histogram Equalization

• Có thể tạo ra các hiện tượng nhiễu và artifact tại

những vùng có độ tương phản thấp hoặc có sự

thay đổi đột ngột trong độ sáng

• Có thể xuất hiện các đường biên giữa các block

02 KHỐI TĂNG ĐỘ TƯƠNG PHẢN

𝑷 𝑭𝒊𝒋 = 𝜶 × 𝑷 𝑯𝑬𝒊𝒋 + 𝜷 × 𝑷 𝑪𝑳𝑨𝑯𝑬𝒊𝒋 + 𝟏 − 𝜶 − 𝜷 × 𝑷 𝒊𝒋

Trong đó:

• 𝑷𝑭𝒊𝒋: giá trị pixel thứ 𝑖, 𝑗 cuối cùng thu được

• 𝑷𝑪𝑳𝑨𝑯𝑬𝒊𝒋: giá trị pixel thứ (𝑖, 𝑗) của thuật toán CLAHE

• 𝑷𝑯𝑬𝒊𝒋: giá trị pixel thứ 𝑖, 𝑗 của thuật toán HE

• 𝑷𝒊𝒋: giá trị pixel thứ (𝑖, 𝑗) của ảnh gốc

• 𝜶,𝜷: Hệ số nhân, được đặt bằng Τ1

3

Thuật toán Trộn ảnh

02 KHỐI TĂNG ĐỘ PHÂN GIẢI

02 KHỐI TĂNG ĐỘ PHÂN GIẢI

• Tăng kích thước ảnh lên 2 và 4 lần.

• Giữ lại những đặc trưng quan trọng khi đưa vào khối phát hiện.

Mục tiêu

02 KHỐI TĂNG ĐỘ PHÂN GIẢI

Low resolution

High resolution

SRGAN [4]

Kiến trúc của

02 KHỐI PHÁT HIỆN

Tập dữ liệu Ảnh X-quang xương tay có chứa vết gãy

02 KIẾN TRÚC TỔNG QUAN HỆ THỐNG

PSNR Peak Signal-to-Noise Ratio

SSIM Structural Similarity Index Measurement

03 KẾT QUẢ KHỐI PHÂN VÙNG

Mô hình Backbone

mAP@0.5 (%) mAP@0.55:0.95 (%) Train Valid Train Valid Mask R-CNN Resnet101-FPN 94.12 90.96 82.23 79.46

03 KẾT QUẢ KHỐI TĂNG ĐỘ PHÂN GIẢI

Mô hình Hệ số nhân PSNR (dB) SSIM

AID-SRGAN

⇒ AID-SRGAN sẽ được sử dụng trong khối tăng độ phân giải.

03 KẾT QUẢ KHỐI PHÁT HIỆN

03 KẾT QUẢ KHỐI PHÁT HIỆN

04 KẾT LUẬN CHUNG

Phương pháp cho thấy độ hiệu quả từ những kết quả đạt được.

Các mô hình tốt nhất của từng khối bao gồm:

Khối tăng độ phân giải

YOLOv7-E6E

mAP = 86.48%

Khối phát hiện

04 HƯỚNG PHÁT TRIỂN

• Kích thước các mô hình lớn.

• Dữ liệu ít.

• Khối tăng độ tương phản thực tế

vẫn phụ thuộc vào chủ quan

người đánh giá.

• Tốn tài nguyên.

• Cải thiện chất lượng tập dữ liệu.

• Tăng cường đa dạng các loại xương khác nhau.

• Tăng cường các phương pháp tiền xử lý.

• Cải thiện các mô hình học sâu.

• Giảm kích thước các mô hình học sâu.

[6]

Tài liệu tham khảo

[1] Truy cập lần cuối 03 January 2024 [Online] Available: nam-mac-benh-co-xuong-khop-rat-cao-24758.html.

https://www.baotravinh.vn/y-te/ty-le-nguoi-viet-[2] Truy cập lần cuối 03 January 2024 [Online] Available: https://benhvienthucuc.vn/khoa-co-xuong-khop/

[3] P Rajpurkar, J Irvin, A Bagul, D Ding, T Duan, H Mehta, B Yang, K Zhu, D Laird, R L Ball, C Langlotz, K Shpanskaya, M P Lungren, and A Y Ng, “Mura: Large dataset for abnormality detection in musculoskeletal radiographs,” 2018.

[4] C Ledig, L Theis, F Huszar, J Caballero, A Cunningham, A Acosta, A Aitken, A Tejani, J Totz, Z Wang, and W Shi, “Photo-realistic single image super-resolution using a generative adversarial network,” 2017

[5] H P Nguyen, T P Hoang, and H H Nguyen, “A deep learning based fracture detection in arm bone x-ray images,” in 2021 International Conference on Multimedia Analysis and Pattern Recognition (MAPR), 2021, pp 1–6.

[6] H H Nguyen, T K Nghiem, and N M Dang, “A novel arm bone fracture detection using deep learning,” in Advances in Information and Communication Technology, P T Nghia, V D Thai, N T Thuy, L H Son, and V.-

N Huynh, Eds Cham: Springer Nature Switzerland, 2023, pp 11–19.

THANK YOU !

03 MỘT SỐ NGHIÊN CỨU VỀ PHÁT HIỆN GÃY XƯƠNG

Tác giả Năm Loại xương Tập dữ liệu Performance/ Metric

Hoai Phuong Nguyen 2021 Xương tay 405 ảnh 81.91% mAP

Jae Won Choi 2019 Xương khuỷu tay 762 ảnh 97.6% AUC

Matthew Adams 2018 Cổ xương đùi 965 ảnh 94.4% Accuracy

Asma Alzaid 2022 Xương đùi 2544 ảnh 95% Accuracy

Gene Kitamura 2020 Xương hông 14374 ảnh 94% AUC

Chi-Tung Cheng 2019 Xương hông 3605 ảnh 90% Accuracy

Yutoku Yamada 2020 Xương hông 2923 ảnh 98% Accuracy

Hsuan-Yu Chen 2021 Đốt sống 1306 ảnh 73.59% Accuracy

03 HYPER PARAMETERS

Batch_size = 16 Epochs = 500 Momentum = 0.937

Learning_rate = 0.001

Weight_decay = 0.0005

Phân vùng

Batch_size = 16 Epochs = 10000 Learning_rate = 0.001 (5000 vòng đầu) Learning_rate = 0.001 (5000 vòng sau)

SRGAN

Batch_size = 1 Epochs = 250 Momentum = 0.949 Learning_rate = 0.001 Weight_decay = 0.0005

Phát hiện

03 Increase Contrast

• Nhiễu: Là các biến đổi ngẫu nhiên trong giá trị pixel của ảnh, thường là do quá trình thu

nhận, xử lý hoặc truyền tải ảnh Các loại nhiễu phổ biến bao gồm nhiễu Gaussian, nhiễu

salt-and-pepper, và nhiễu đa phổ Nhiễu làm mất thông tin và gây ảnh hưởng tiêu cực đến

chất lượng của hình ảnh

• Artifacts: Artifacts là các biến đổi hoặc biểu hiện không mong muốn trong hình ảnh,

thường là kết quả của quá trình xử lý hoặc thu nhận ảnh Các loại artifacts có thể bao gồm

vết sáng hoặc vết tối không tự nhiên, đường biên không rõ ràng hoặc không mượt, hoặc

các hình dạng không tự nhiên xuất hiện trong ảnh

03 Increase Contrast

thức SSIM dựa trên ba thông số để so sánh: độ chói (luminance), tương phản (contrast) và

cấu trúc (structure) Thông thường, các giá trị tiêu chuẩn được sử dụng là alpha = beta =

gamma = 1 Một ảnh sinh ra là tốt nếu:

• Những điểm ảnh có mức độ sáng tối khác nhau, và càng có nhiều mức độ sáng tối càng

có nhiều chi tiết ảnh => Ảnh chất lượng tốt

• Một bức ảnh không phải độ tương phản càng cao thì càng tốt mà nên có sự hài hòa cân

đối giữa sáng và tối => Độ da dạng

ảnh Nó được tính bằng cách so sánh tín hiệu tín hiệu tối đa (peak signal) với độ nhiễu

(noise), thường được biểu thị bằng đơn vị đo dB (decibel)

03 DATA AUGMENTATION

Xoay

Lật

Khảm

03 AID-SRGAN

[1]Y Huang, Q Wang, and S Omachi, Rethinking Degradation: Radiograph Super-Resolution via AID-SRGAN Springer

Nature Switzerland, 2022, p 43–52 [Online] Available: http://dx.doi.org/10.1007/978-3-031-21014-3_5Việc tạo dữ liệu low resolution từ bộ lọc có thể dẫn tới dữ liệu chứa nhiễu và mất một số chi tiết quan trọng như các cạnh biên.

03 AID-SRGAN

03 AID-SRGAN