Phân loại tiếng ho nhận diện covid-19

HOC VIEN CONG NGHỆ BƯU CHÍNH VIỄN THONG KHOA CONG NGHE THONG TIN 1 6DINTNVO-]đVAOIHHL'AqNdOLT2v DOÁNTỐTNGHIỆP ĐỀ TÀI ~ PHÂN LOẠI TIẾNG HO NHẬN DIỆN COVID-19 v Giảng viên hướng dẫn: TS NGUYỄN TRỌNG KHÁNH v Sinh viên thực hiện: NGUYỄN HOÀNG KHÔI Mã sinh viên: B17DCCN350 Lớp: E17CN01 Khoá: 2017 - 2022 Hệ: ĐẠI HỌC CHÍNH QUY Hà Nội - 01/2022 HOC VIEN CÔNG NGHỆ BƯU CHÍNH VIỄN THONG KHOA CÔNG NGHỆ THÔNG TIN 1 6DINTNVO-]đVAOIHHL'AqNdOLT2v DOÁNTỐTNGHIỆP ĐỀ TÀI ~ PHÂN LOẠI TIẾNG HO NHẬN DIỆN COVID-19 v Giảng viên hướng dẫn: TS NGUYỄN TRỌNG KHÁNH v Sinh viên thực hiện: NGUYỄN HOÀNG KHÔI Mã sinh viên: B17DCCN350 Lớp: E17CN01 Khoá: 2017 - 2022 Hệ: ĐẠI HỌC CHÍNH QUY Hà Nội - 01/2022 LỜI CẢM ƠN Lời cảm ơn đầu tiên em xin gửi tới người thầy và cũng là người hướng dẫn của em, TS Nguyễn Trọng Khánh vì sự định hướng và giúp đỡ tận tình của thầy trong quá trình thực hiện đồ án Lĩnh vực học máy là một lĩnh vực hoàn toàn mới đối với em nhưng nhờ có sự hướng dẫn và góp ý của thầy, em đã giải quyết được những vấn đề và khó khăn để hoàn thiện được đồ án này Toàn bộ quá trình làm việc với thầy đã giúp em có thể những kinh nghiệm và kiến thức quý báu trong lĩnh vực mới đối với bản thân em Em cũng xin được gửi lời cảm ơn tới các thầy cô trong Học viện và trong Khoa Công nghệ thông tin | đã dạy bảo và truyền đạt những kiến thức, kinh nghiệm quý giá trong suốt 4 năm qua Đồng thời em cũng muốn gửi lời cảm ơn tới bố mẹ và chị đã luôn ủng hộ em với những quyết định của mình Sự tin tưởng và tính yêu từ gia đình chính là động lực lớn lao nhất đối với em để vượt qua những khó khan và trở ngại Em cũng xin gửi lời cảm ơn tới những người bạn đã quan tâm và giúp đỡ em trong suốt quá trình học tập và làm đồ án Nhờ có các bạn mà quãng đời sinh viên của em đã trở thành quãng thời gian đáng nhớ và học hỏi được nhiều điều Hà Nội, tháng 01 năm 2022 Sinh viên Nguyễn Hoàng Khôi DO AN TOT NGHIEP ĐẠI HỌC NHAN XET, DANH GIA, CHO DIEM (Của gigiảảnngg viên hưhướớnngg dâdẫnn) ÔÔÔÔÔÔÔỒÔỒÔỒÔỐỐCỐ ÔÔÔÔÔỒỐỒỐ TA ÔÔÔÔÔÔỒÔỒÔỐỐỐ ÔÔÔÔỒÔỒỐÔỐỐ CỐ TA ÔÔÔÔỒÔỐỒỐỒỐÔỐỒ ÔÔÔỐỐỐ ' Ô ÔÔ ÔỐÔỐ ỐỐỐỐốẽ ÔÔÔÔÔỒÔỒỐ — ÔỞÔỞÔÔÔÔỐỒỐÔỐỐÔỐỐ ÔÔÔÔỒÔỐ ỐC TS ÔÔÔÔÔÔỒỐÔỐỐ ÔÔÔÔÔỒÔỒỐỒỐ ÔÔÔÔÔÓÔÓÔÓÔÓÔÓÔÓÔÓÔỒÔỒÔỒỐ 000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000060000606000ee6°6 Đồng ý/Không đồng ý cho sinh viên bảo vệ trước hội đồng chấm tốt nghiệp Hà Nội, tháng 12 năm 2021 CÁN BỘ - GIẢNG VIÊN HƯỚNG DẪN NGUYỄN HOÀNG KHÔI - B17DCCN350 NGUYÊN TRỌNG KHÁNH 2 DO AN TOT NGHIEP ĐẠI HỌC NHAN XET, DANH GIA, CHO DIEM (Của gigiảảnng g viên phản phan bibệiệnn) — — ÔÔÖÒÔỎ —" ốc — — ` ÔÔÖỒÔỒÔÖỒÖÒÔỎ .ÔÔÔÔÔÔÔÔÔÔỒÔỐÔỐỐỐỐ — —" ` ÔỒÔ ÔÔÔ — —" ` ÔÔỎỒÔỎỒ " ÔÔÔÔỒÔỐÔỐÔỐỐỐố — —- ÔÔÔÔÔÔÔÔÔÔÔỐỐốỐốỐ — —~ ÔÔÔÖÔÖÒÔỎ —- ÔÔÔÔÔÔÔÔÔÔÔỐỐốỐốỐ — — 9090000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000600000606066 Đồng ý/Không đồng ý cho sinh viên bảo vệ trước hội đồng chấm tốt nghiệp Hà Nội, tháng 12 năm 2021 CÁN BỘ - GIẢNG VIÊN PHẢN BIỆN NGUYỄN HOÀNG KHÔI - B17DCCN350 3 DO AN TOT NGHIEP ĐẠI HỌC MUC LUC NHAN XET, DANH GIA, CHO DIEM 1 NHAN XET, DANH GIA, CHO DIEM 3 MUC LUC 4 DANH MỤC HÌNH ANH 6 DANH MỤC BANG BIEU 8 DANH MỤC TỪ VIET TAT VÀ DỊCH NGHĨA 9 MỞ ĐẦU 1 CHUONG I ĐẶT VAN DE - GIỚI THIỆU BÀI TOÁN 3 1.1 Bài toán nhận điện COVID-19 thông qua tiếng ho 3 1.2 Học sâu (Deep Learning) 4 1.2.1 Khái niệm 4 1.2.2 Mạng nơ ron tích chập 4 1.2.3 Mang no ron truy hồi (Recurrent Neural Network - RNN) 12 1.3 Một số nghiên cứu liên quan 13 1.3.1 Nhận điện COVID-19 thông qua ảnh chụp X-quang phổi 13 1.3.2 Phân loại tiếng ho nhận diện COVID-19 bang các thuật toán phan loại tuyên tính 13 1.4 Đặc trưng Mel 13 1.5 Kết luận 18 CHƯƠNG II MẠNG HỌC SAU PHAN LOẠI COVID-19 DUA TREN ĐA DU’ LIỆU ĐẦU VÀO 19 2.1 Kiến trúc mạng kết hợp đề xuất 19 2.2 Dữ liệu tuần tự MFCC và kiến trúc mạng CNN-BiLSTM 19 2.2.1 Dữ liệu tuần tự MFCC 19 2.2.2 Kiến trúc mạng CNN-BiLSTM 20 2.3 Dữ liệu ảnh MFCC và kiến trúc mạng ResNet50 24 2.3.1 Dữ liệu ảnh MFCC 24 2.3.2 Kiến trúc mạng đề xuất dựa trên mạng ResNet50 25 NGUYỄN HOÀNG KHÔI - B17DCCN350 4 DO AN TOT NGHIEP ĐẠI HỌC 2.4 Dữ liệu đặc điểm lâm sảng và kiến trúc mạng đề xuất 29 2.4.1 Dữ liệu đặc điểm lâm sàng 29 2.4.2 Kiến trúc mạng đề xuất 29 2.5 Kết luận 29 CHƯƠNG III THU NGHIEM VÀ ĐÁNH GIÁ 30 3.1 Bộ đữ liệu sử dụng 30 3.2 Kịch bản thử nghiệm 32 3.1.1 Tiền xử lý đữ liệu 33 3.1.2 Trích chọn, lưu trữ đặc trưng 35 3.1.3 Huấn luyện và đánh giá mô hình phân loại 36 3.3 Cài đặt huấn luyện 37 3.3.1 Huấn luyện và đánh giá mô hình phân loại 37 3.3.2 Cài đặt trích chọn đặc trưng 38 3.3.3 Cài đặt mô hình phân loại 38 3.3.4 Cài đặt huấn luyện mô hình 40 3.4 Đánh giá kết quả thu được 41 3.4.1 Kết quả thu được trong quá trình huấn luyện 41 3.4.2 Kết quả thu được trên bộ dỡ liệu kiểm tra 42 3.4.3 Đánh giá kết quả thu được 42 3.5 Kết luận 43 CHƯƠNG IV CÀI ĐẶT UNG DUNG VA THU NGHIEM 44 4.1 Môi trường cai đặt ứng dụng 44 4.2 Xây dựng hệ thống 44 4.3 Chương trình phân loại COVID-19 45 4.4 Kết luận 46 KẾT LUẬN 47 TÀI LIỆU THAM KHẢO 48 NGUYỄN HOÀNG KHÔI - B17DCCN350 5 DO AN TOT NGHIEP ĐẠI HỌC DANH MỤC HÌNH ANH Hình 1: Kiến trúc tổng quan của mang no ron nhân tạo 2.-.2.5.5 s+.cz-+s-+2 5 Hình 2: Một số hàm kích hoạt thường được sử dụng [20] 2 s-5-2 6 Hình 3: Đầu vào dang lưới của mạng CNN -5¿©52+222EE2EEtzEtZEEExerkerreree 7 Hình 4: Ví dụ bản đồ kích hoạt tương ứng với vùng 5x5 5 s 2 § Hình 5: Ví dụ tương ứng một vùng 2x2 trên bản đồ đặc trưng với một đơn vị ở lớp "— .ă 10 Hình 6: Ví dụ hoạt động ở lớp gộp với bộ lọc 2x2 và hàm cực đại - 10 Hình 7: Vi dụ đầu ra của lớp gdp với đầu vào là bản đồ đặc trưng 24x24x3 I1 Hình 8: Kiến trúc tong quát của mạng no ron truy hồi .2 5 z.-: 12 Hình 9: Mô hình chuỗi của mang nơ ron truy hồi ¿.5c s+.s2.£+.+£.z+.£z-zx-ee-: 12 Hình 10: Quá trình tính toán đặc trưng Mel ¿.5.-5 2c.‡ + ‡+.*v.ss.vx.se.re.se.ss.es 14 Hình 11: Ảnh quang phổ tần số Mel 2-.2 2 E+.2E+.2E£.+E.+2E.E£E.E£.EEe.rEr.Ee.zre-erx-ee 16 Hình 12: Băng lọc ÌMell .-.- c1 11 121.111.21.112.11.191.111.811.1 8.111.101.11.g1 1H.v.n -k-y 17 Hình 13: Kiến trúc mạng kết hợp dé xuất .-.2.-2.2 +xe.EE.£EE.+E.2Ez.Ee.rxe.rk.erx-ee 19 Hình 14: Dữ liệu MFCCở dang tuần tự 2 s+.2E+.2E.2E.2EE.2E.EE.EEe.rk-er-rrr-ee¿rr-ee 20 Hình 15: Dữ liệu MFCC ở dạng TÚt BỌN -.- c.5 22.221.332.31 332.+E.+r.ee rer.ee.re.es 20 Hình 16: Kiến trúc cơ bản của mạng BiLSTM [24] ¿.©.25.2.2.s+.z.sr-sz-se-2 23 Hình 17: Kiến trúc mạng CNN-BiLSTM đề xuất . -:-2-©5z+csz2zzscscee 24 Hình 18: Ảnh phổ công suất ngắn hạn MECC 2 2 2 s+.tx+.£+.+E+.+E.zxe-rx-ez 25 Hình 19: Khối phần dư với đầu vào x và đầu ra F(X) + x -cc+cc+cssccee 25 Hình 20: Các loại mạng ResNet và cấu trúc từng mang [§] .- 26 Hình 21: Các khối trong kiến trúc mạng ResNet50 [25] 2.-25-2-5-5-: 26 Hình 22: Kiến trúc mạng đề xuất cho dif liệu ảnh MECC 5-+ : 28 Hình 23: Kiến trúc mạng cho dir liệu đặc điểm lâm SANG c.à.o.s e c 29 Hình 24: Phân bồ bộ đữ liệu theo ĐIỚI fÍnh - c2.t1.2 1.2.1.9.11 Er.er.re.sv.ee 31 Hình 25: Phân bổ bộ đữ liệu theo quốc gia . -:©22-©5¿22++2z+2£xzzzszscee 31 Hình 26: Phân bổ bộ dữ liệu theo nhãn : :255c22vv2cvvvrsrxvvrsrrrred 32 Hình 27: File csv chứa siêu dữ liệu (metadata) của bộ dữ liệu Coswara 34 Hình 28: Kết quả của siêu dit liệu (metadata) được sử dụng trong đồ án 35 Hình 29: Dữ liệu tuần tự MECC 25.5:.2.v.x i -.-:- 35 NGUYỄN HOÀNG KHÔI - B17DCCN350 6 DO AN TOT NGHIEP ĐẠI HỌC Hình 30: Anh MECC trước và sau khi ap dụng ham powteo r đb 35 Hình 31: Giá trị mat mát trên bộ đữ liệu huấn luyện và xác minh trong quá trình huấn luyện . - ¿+ SsSE2E12E2EEE1EE12111111211111112111111 11110112121111111112Er1re1y 41 Hình 32: Giá trị độ chính xác trên bộ đữ liệu huấn luyện và xác minh trong quá trình huấn luyện - ¿52 S1S1EE9EE2E12112115117112112112111111111111111112111r1re1 42 Hình 33: Biểu đồ use case của ứng dụng .2+ ++.22.++.cx.+2.zx.rz.xe.rx-rz-rr-er-kr-ee 44 Hình 34: Kiến trúc hệ thống 2 2.2+.E£.EEE.EEE.EE.2E1.2E.121.71.212.11-211-71-21-21¿x-e, 45 Hình 35: Giao diện ứng dụng nhận diện COVIID-19 2.c S2.5.S.cs.+.xs.s.xs.s.rs.e.s 45 Hình 36: Ứng dụng hiển thị kết quả dự đoán 2-©5¿©2++2s++cxzzxsrscee 46 NGUYỄN HOÀNG KHÔI - B17DCCN350 7 DO AN TOT NGHIEP ĐẠI HỌC DANH MUC BANG BIEU Bang 1: Kiến trúc chi tiết mạng CNN-BiLSTM sử dụng 25-552 24 Bang 2: Kiến trúc mạng ResNet50 2.S.s2t.2.2E.122.12.71.211.21.121.121-1 -11-x¿- 27 Bang 3: Môi trường cài đặt huấn luyện mô hình .2 2 2 s.+s.+z.z+.z.zz.zz.xe.£ 37 Bang 4: Confusion matrix cho mô hình huấn luyện tiếng ho trên bộ dit liệu kiểm tra ¬ 42 Bảng 5: Kết qua thử nghiệm trên bộ dit liệu kiểm tra . -5¿-5-5-5+2+-: 42 Bang 6: Môi trường cài đặt ứng dụng -.- c.6 S.à n H.H.n.g n g 44 NGUYỄN HOÀNG KHÔI - B17DCCN350 8