Thông tin tài liệu
HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - TRẦN ANH ĐẠT NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP PHÁT HIỆN VÀ PHÂN LOẠI NHỊP THỞ SỬ DỤNG MẠNG HỌC SÂU ĐA NHIỆM LUẬN VĂN THẠC SỸ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2021 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - TRẦN ANH ĐẠT NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP PHÁT HIỆN VÀ PHÂN LOẠI NHỊP THỞ SỬ DỤNG MẠNG HỌC SÂU ĐA NHIỆM CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ : 8.48.01.01 LUẬN VĂN THẠC SỸ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS PHẠM VĂN CƯỜNG HÀ NỘI - 2021 LỜI CAM ĐOAN Luận văn kết sau trình nghiên cứu em giúp đỡ tận tình nhóm nghiên cứu Naver AI Lab quý thầy cô sau gần hai năm theo học chương trình đào tạo Thạc sỹ, chuyên ngành Khoa học máy tính trường Học viện Cơng nghệ Bưu Viễn thơng Em xin cam đoan cơng trình khoa học nghiên cứu thân Nội dung luận văn có tham khảo sử dụng số thông tin, tài liệu từ nguồn sách, tạp chí nước lẫn quốc tế liệt kê danh mục tài liệu tham khảo trích dẫn hợp pháp Tác giả (Ký ghi rõ họ tên) Trần Anh Đạt download by : skknchat@gmail.com LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời cảm ơn tới Thầy, Cô Khoa Công nghệ thơng tin 1, Khoa Sau đại học tồn cán Học viện Cơng nghệ Bưu Viễn thông Hà Nội tạo điều kiện để em học tập mơi trường tốt Cảm ơn Thầy Cô cung cấp cho em kiến thức bổ ích quan trọng suốt trình học tập nghiên cứu trường để em hồn thành luận văn cách tốt Em xin bày tỏ lòng biết ơn sâu sắc đến thầy Phạm Văn Cường thầy Hồng Xn Dậu, tận tình hướng dẫn, định hướng cho em suốt thời gian thực đề tài Những lời khun thầy suốt q trình hồn thành luận văn tiết học lớp giúp em có thêm nhiều kiến thức kinh nghiệm lĩnh vực nghiên cứu khoa học Cuối cùng, tơi xin gửi lời cảm ơn đến gia đình, tất bạn bè, anh, chị, người quan tâm giúp đỡ, khích lệ phê bình, góp ý, giúp tơi hồn thành khóa luận cách tốt Với trình độ hiểu biết cịn nhiều hạn chế thân vốn kiến thức cịn ỏi nên luận văn em không tránh khỏi thiếu sót Em mong nhận góp ý Thầy, Cô, bạn đồng nghiệp để luận văn em hoàn thiện Hà Nội, tháng 12 năm 2021 Trần Anh Đạt download by : skknchat@gmail.com i MỤC LỤC DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT DANH MỤC BẢNG BIỂU DANH MỤC HÌNH VẼ, SƠ ĐỒ MỞ ĐẦU Chương Chương 2.PHƯƠNG PHÁP PHÂN LOẠI NHỊP THỞ download by : skknchat@gmail.com ii 2.3.3Mơ hình học s 2.3.4Xây dựng mô 2.4Sơ lược hệ thống phát phân loại nhịp thở 2.5Kết chương Chương THỰC NGHIỆM, ĐÁNH GIÁ KẾT QUẢ PHÂN LOẠI NHỊP THỞ 47 3.1 Thu th 3.2 Thử ng thở 3.3 Xây dựng chương trình phát phân loại nhịp thở dựa học sâu đa nhiệm 3.4 Kết chương KẾT LUẬN TÀI LIỆU THAM KHẢO download by : skknchat@gmail.com 53 iii DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT STT 10 download by : skknchat@gmail.com iv 11 12 13 14 15 16 17 18 download by : skknchat@gmail.com v DANH MỤC BẢNG BIỂU Bảng 3-1: So sánh kết thử nghiệm lấy mẫu liệu âm 47 Bảng 3-2: Kịch thu thập liệu 48 Bảng 3-3: Số liệu liệu âm nhịp thở 49 Bảng 3-4: Số lượng liệu nhịp thở sau cắt liệu 49 Bảng 3-5: Thơng số kỹ thuật thiết bị có gắn micro BETA 98H/C 50 Bảng 3-6: Ma trận nhầm lẫn phân loại lớp đối tượng 54 Bảng 3-7: Kết thử nghiệm đánh giá đặc trưng 57 Bảng 3-8: Kết thử nghiệm mơ hình học sâu đa nhiệm 58 Bảng 3-9: Cấu hình phần cứng sử dụng thực nghiệm 62 Bảng 3-10: Yêu cầu phần mềm cài đặt để chạy ứng dụng 62 download by : skknchat@gmail.com vi DANH MỤC HÌNH VẼ, SƠ ĐỒ Hình 1-1: Một đoạn liệu nhịp thở chứa nhịp hít vào nhịp thở .9 Hình 1-2: Một đoạn liệu thở liên tục 10 Hình 1-3: Quá trình training (trên - dưới) trình phân loại (trái - phải) .13 Hình 1-4: Trích chọn window liệu từ file [8] 15 Hình 1-5: Mơ hình hệ thống e-Nose để thực phân loại nhịp thở 19 Hình 1-6: Thiết bị điện tử để ghi âm âm nhịp thở 20 Hình 1-7: Mơ hình ANN 21 Hình 2-1: Quy trình xử lý lọc RNNoise 26 Hình 2-2: Áp dụng lọc RNNoise 28 Hình 2-3: Một đoạn mạng nơ-ron hồi quy 33 Hình 2-4: Chuỗi mạng nơ-ron hồi quy 33 Hình 2-5: Một chuỗi mạng LSTM với module bao gồm tầng tương tác .34 Hình 2-6: Mơ hình mạng BiLSTM 35 Hình 2-7: Cấu trúc thư viện Keras 37 Hình 2-8: Cấu trúc khối LSTM 38 Hình 2-9: Kiến trúc mạng BiLSTM phát tiếng nhịp thở 39 Hình 2-10: Hai thành phần tham gia xây dựng mơ hình 39 Hình 2-11: Sơ đồ hệ thống phát phân loại nhịp thở 44 Hình 3-1: Thiết bị Raspberry Pi 50 Hình 3-2: Giao diện làm việc phần mềm xử lý âm Audacity 2.1.0 51 download by : skknchat@gmail.com 61 Hình 3-8: Mơ hình triển khai hệ thống thực tế Phần mềm hệ thống phát phân loại nhịp thở theo thời gian thực thông báo kết lên hình máy tính điện thoại di động Giao diện sử dụng cho phép bấm nút để bắt đầu trình phát nhịp thở xem báo cáo thông tin bệnh nhân 3.3.2 Xây dựng ứng dụng phát phân loại nhịp thở a Thách thức việc xử lý thời gian thực Có số thách thức gặp phải trong phải triển khai xử lý liệu theo thời gian thực Nói chung, việc phải xử lý tín hiệu liên tục theo thời gian thực xử lý cách chia tín hiệu thành nhiều phần Mỗi phần gọi cửa sổ (window) Thách thức đến từ việc định độ dài window, phụ thuộc vào khoảng thời gian cần thiết để thuật tốn phát xác đâu nhịp thở độ dài đệm (bộ đệm chứa liệu tạm thời, nơi chương trình đọc giá trị từ tín hiệu analog) Chiều dài đệm thường phụ thuộc vào cấu hình xử lý máy tính hệ thống Nếu thời lượng ghi đệm nhỏ mức cần thiết để phát nhịp thở, khả bị số nhịp thở trình theo dõi cao Thách thức đến từ việc kết hợp window liệu lại với để frame liệu hoàn chỉnh Frame mức đơn vị tối thiểu dùng để kết luận liệu có phải nhịp thở hay khơng Giả sử liệu nhịp thở dài giây, download by : skknchat@gmail.com 62 độ dài khung liệu window tối đa lưu trữ khoảng thời gian giây Như để có frame hoàn chỉnh cần phải ghép nối liệu từ window liên tiếp Vấn đề thực thách thách việc phải xử lý thời gian thực, vậy, luận văn xin đề xuất phương pháp sử dụng bất thường mẫu liệu để bắt đầu trình lấy mẫu liệu âm thực sự, để từ phải xử lý frame liệu nghi ngờ chứa liệu âm thở Các giải pháp tiên tiến hơn, cần áp dụng nhiều kỹ thuật xử lý tín hiệu đồng thời đáp ứng mức độ xử lý thời gian thực, xin trình bày làm rõ nghiên cứu sau b Yêu cầu đáp ứng hệ thống Để hoàn tất việc xây dựng chạy thử ứng dụng, luận văn có sử dụng máy tính để bàn với cấu hình phần cứng sau: Bảng 3-9: Cấu hình phần cứng sử dụng thực nghiệm CPU RAM OS Một cấu đề cập hồn tồn đáp ứng yêu cầu mặt thu nhận xử lý tín hiệu, tính tốn thuật tốn đếm số lượng nhịp thở Ngồi ra, mặt yêu cầu đáp ứng phần mềm, cần có đủ yếu tố sau: Bảng 3-10: Yêu cầu phần mềm cài đặt để chạy ứng dụng Python Tensorflow Keras download by : skknchat@gmail.com 63 c Kết chạy thử nghiệm chương trình Chương trình với hai giao diện, giao diện cho phép phát nhịp thở, phân loại nhịp thở thống kê nhịp thở, với giao diện lại thể chuỗi liệu nhịp thở theo thời gian thực hình 3-10 Hình 3-9: Chương trình phát hiện thở theo thời gian thực Khi kết nối thiết bị chương trình tự động phát nhịp thở, phân loại nhịp thở 3.4 Kết chương Kết lại chương, học viên xin rút số điểm mà học viên trình bày chương sau: - Trình bày trình thu thập liệu âm nhịp thở; - Quá trình gán nhãn liệu âm nhịp thở; - Mô tả liệu âm nhịp thở; - Kết thực nghiệm mơ hình phát phân loại nhịp thở: Đã đạt 90% cho trình phân loại phát nhịp thở; - Xây dựng hệ thống phân loại nhịp thở theo thời gian thực download by : skknchat@gmail.com 64 KẾT LUẬN Kết luận: Trên sở tìm hiểu tốn theo dõi nhịp thở lý thuyết học sâu phương pháp học sâu BiLSTM, luận văn đạt số kết sau: - Giới thiệu tổng quan vấn đề theo dõi sức khỏe thông qua theo dõi nhịp thở Bài toán theo dõi nhịp thở phân loại các toán toán theo dõi nhịp thở dựa âm - Tìm hiểu số nghiên cứu liên quan đến theo dõi hô hấp cách sử dụng cảm biến âm sử dụng thuật toán học máy: tốn phát âm hơ hấp dựa trích chọn đặc trưng, toán phân loại giai đoạn giấc ngủ dựa nhịp thở - Tìm hiểu học sâu, kỹ thuật BiLSTM, kỹ thuật lọc RNNoise - Trình bày phương pháp áp dụng kỹ thuật BiLSTM cho toán phát phân loại nhịp thở - Tiến hành lấy mẫu liệu trường hợp bình thường trường hợp đặc biệt (mơi trường có tiếng ồn, người theo dõi vừa trải qua vận động mạnh) Tách mẫu liệu Audacity, chuẩn hóa liệu gán nhãn chuẩn bị cho training thử nghiệm đo tỉ lệ xác - Xây dựng ứng dụng phát nhịp thở theo thời gian thực Bên cạnh kết đạt hạn chế cần phải khắc phục: - Số liệu chưa đủ nhiều đa dạng, nguyên nhân dẫn đến tỉ lệ xác chưa cao - Xử lý liệu lớn chưa tốt ảnh hưởng đến thời gian tạo model BiLSTM, tốc độ xử lý theo thời gian thực ứng dụng phát nhịp thở Qua kết hạn chế hệ thống cho thấy việc tiến hành theo dõi nhịp thở địi hỏi q trình nghiên cứu thực lâu dài Trong phạm vi đề download by : skknchat@gmail.com 65 tài, luận văn thực phát phân loại số loại nhịp thở bản, để xây dựng hệ thống nhận dạng mạnh hơn, tổng quát phải cần thêm nhiều thời gian Hướng phát triển trước mắt cần phải tập trung cải thiện độ xác thời gian tính tốn hệ thống Hướng phát triển: Hướng phát triển xa đề tài quan tâm đến xu hướng công nghệ ngày dần tiến tới thiết bị nhỏ gọn có tính di động, kết đề tài làm sở cho việc xây dựng thiết bị nhỏ gọn nhận dạng tự động Lấy ví dụ thiết bị có tên “Jetson Nano Developer Kit”, thực chất máy tính thu nhỏ chạy tảng hệ điều hành Linux, có GPU dùng để huấn luyện mơ hình nhanh tốt hơn, phần cứng máy sử dụng hệ thống System on Chip cấu hình thấp hồn tồn đáp ứng nhiều nhu cầu thiết bị di động download by : skknchat@gmail.com 66 TÀI LIỆU THAM KHẢO [1] L T T H CS, “Tăng cường tuân thủ quản lý điều trị Hen COPD cộng đồng,” 2016 http://www.hoihohaptphcm.org/tintuc/menutintuctonghop/295-tangcuong-tuan-thu-quan-ly-va-dieu-tri-hen-va-copd-o-cong-dong [2] P T Huy and T H Lộc, “Đánh giá tình hình Bệnh phổi tắc nghẽn mạn tính đề xuất giải pháp phòng chống Lạng Sơn,” Đề tài nghiên cứu khoa học cấp tỉnh, Sở khoa học Công nghệ tỉnh Lạng Sơn, 2015 [3] S Matos, S S Birring, I D Pavord, and D H Evans, “An automated system for 24-h monitoring of cough frequency: The Leicester cough monitor,” IEEE Trans Biomed Eng., vol 54, no 8, pp 1472–1479, 2007, doi: 10.1109/TBME.2007.900811 [4] V Viswanath, J Garrison, and S Patel, “SpiroConfidence: Determining the Validity of Smartphone Based Spirometry Using Machine Learning,” Proc Annu Int Conf IEEE Eng Med Biol Soc EMBS, vol 2018-July, pp 5499–5502, 2018, doi: 10.1109/EMBC.2018.8513516 [5] S Gururangan, S Swayamdipta, O Levy, R Schwartz, S R Bowman, and N A Smith, “Annotation artifacts in natural language inference data,” NAACL HLT 2018 - 2018 Conf North Am Chapter Assoc Comput Linguist Hum Lang Technol - Proc Conf., vol 2, pp 107–112, 2018, doi: 10.18653/v1/n18-2017 [6] Z Cao, R Zhu, and R Y Que, “A wireless portable system with microsensors for monitoring respiratory diseases,” IEEE Trans Biomed Eng., vol 59, no 12 PART2, pp 3110–3116, 2012, doi: 10.1109/TBME.2012.2211354 download by : skknchat@gmail.com 67 [7] M Okubo, Y Imai, T Ishikawa, T Hayasaka, S Ueno, and T Yamaguchi, “Development of automatic respiration monitoring for home-care patients of respiratory diseases with therapeutic aids,” IFMBE Proc., vol 22, pp 1117–1120, 2008, doi: 10.1007/978-3-54089208-3_267 [8] S K Kundu, S Kumagai, and M Sasaki, “A wearable capacitive sensor for monitoring human respiratory rate,” Jpn J Appl Phys., vol 52, no PART 2, 2013, doi: 10.7567/JJAP.52.04CL05 [9] Heart H C T NguyenDuc, “Information from Graphical Analysis of Rate Variability using Chaos Theory,” Int J Sci Res., vol 2, no 3, pp 20–23, 2013, [Online] Available: https://www.ijsr.net/archive/v2i3/IJSRON2013492.pdf [10] Q B Dam, L T Nguyen, S T Nguyen, N H Vu, and C Pham, “E-Breath: Breath Detection and Monitoring Using Frequency Cepstral Feature Fusion,” 2019 Int Conf Multimed Anal Pattern Recognition, MAPR 2019, pp 1–6, 2019, doi: 10.1109/MAPR.2019.8743533 [11] B Lei, S A Rahman, and I Song, “Content-based classification of breath sound with enhanced features,” Neurocomputing, vol 141, pp 139–147, 2014, doi: 10.1016/j.neucom.2014.04.002 [12] M Grønnesby, J C A Solis, E Holsbø, H Melbye, and L A Bongo, “Feature Extraction for Machine Learning Based Crackle Detection in Lung Sounds from a Health Survey,” pp 1–15, 2017, [Online] Available: http://arxiv.org/abs/1706.00005 [13] H Hendrick, R Hidayat, G J Horng, and Z H Wang, “Non- Invasive Method for Tuberculosis Exhaled Breath Classification Using Electronic Nose,” IEEE Sens J., vol 21, no 9, pp 11184–11191, 2021, doi: download by : skknchat@gmail.com 68 10.1109/JSEN.2021.3061616 [14] J Acharya and A Basu, “Deep Neural Network for Respiratory Sound Classification in Wearable Devices Enabled by Patient Specific Model Tuning,” IEEE Trans Biomed Circuits Syst., vol 14, no 3, pp 535– 544, 2020, doi: 10.1109/TBCAS.2020.2981172 [15] R Shivapathy, S Saji, and N S Haider, “Wearables for Respiratory Sound Classification,” J Phys Conf Ser., vol 1937, no 1, p 012055, 2021, doi: 10.1088/1742-6596/1937/1/012055 [16] M Deng, T Meng, J Cao, S Wang, J Zhang, and H Fan, “Heart sound classification based on improved MFCC features and convolutional recurrent neural networks,” Neural Networks, vol 130, pp 22–32, 2020, doi: 10.1016/j.neunet.2020.06.015 [17] “Eko.” https://www.ekohealth.com/ [18] D Chamberlain, J Mofor, R Fletcher, and R Kodgule, “Mobile stethoscope and signal processing algorithms for pulmonary screening and diagnostics,” Proc 5th IEEE Glob Humanit Technol Conf GHTC 2015, pp 385–392, 2015, doi: 10.1109/GHTC.2015.7344001 [19] J J V McMurray et al., “ESC Guidelines for the diagnosis and treatment of acute and chronic heart failure 2012: The Task Force for the Diagnosis and Treatment of Acute and Chronic Heart Failure 2012 of the European Society of Cardiology Developed in collaboration with the Heart,” Eur Heart J., vol 33, no 14, pp 1787–1847, 2012, doi: 10.1093/eurheartj/ehs104 [20] J P Metlay, W N Kapoor, and M J Fine, “Does this patient have community-acquired pneumonia? Diagnosing pneumonia by history and download by : skknchat@gmail.com 69 physical examination,” J Am Med Assoc., vol 278, no 17, pp 1440– 1445, 1997, doi: 10.1001/jama.1997.03550170070035 [21] “Chronic obstructive pulmonary disease (COPD),” 2021 https://www.who.int/en/news-room/fact-sheets/detail/chronicobstructive-pulmonary-disease-(copd) [22] B V Dasarathy, Nearest neighbor (NN) norms: NN pattern classification techniques 1991 [23] R Barmaki, “Multimodal assessment of teaching behavior in immersive rehearsal environment - TeachLivETM,” ICMI 2015 - Proc 2015 ACM Int Conf Multimodal Interact., vol 139, pp 651–655, 2015, doi: 10.1145/2818346.2823306 [24] J Orem, A T Lovering, W Dunin-Barkowski, and E H Vidruk, “Tonic activity in the respiratory system in wakefulness, NREM and REM sleep,” Sleep, vol 25, no 5, pp 488–496, 2002, doi: 10.1093/sleep/25.5.488 [25] J Valin, “A Hybrid DSP / Deep Learning Approach to Real- Time Fullband Speech Enhancement Pitch fltering.” [26] J H Chen and A Gersho, “Adaptive Postfiltering for Quality Enhancement of Coded Speech,” IEEE Trans Speech Audio Process., vol 3, no 1, pp 59–71, 1995, doi: 10.1109/89.365380 [27] J.-M Valin, “RNNoise,” 2018 https://gitlab.xiph.org/xiph/rnnoise download by : skknchat@gmail.com 70 download by : skknchat@gmail.com ... tích liệu nhịp thở thu Phương pháp tiếp cận để phát phân loại nhịp thở sử dụng Học sâu đa nhiệm Cuối cùng, luận văn xin trình bày sơ lược ứng dụng phát phân loại nhịp thở dựa Học sâu đa nhiệm Hoạt... nhiều phương pháp học sâu đưa ra, số có phương pháp Học sâu đa nhiệm, từ mơ hình thực nhiều nhiệm vụ phát phân loại nhịp thở, độ xác cải thiện sử dụng phương pháp Nhờ đó, việc sử dụng trí tuệ...HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - TRẦN ANH ĐẠT NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP PHÁT HIỆN VÀ PHÂN LOẠI NHỊP THỞ SỬ DỤNG MẠNG HỌC SÂU ĐA NHIỆM CHUYÊN NGÀNH : KHOA HỌC
Ngày đăng: 15/04/2022, 12:10
Xem thêm:
