Nghiên cứu một số phương pháp phát hiện và phân loại nhịp thở sử dụng mạng học sâu đa nhiệm TT

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Trần Anh Đạt NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP PHÁT HIỆN VÀ PHÂN LOẠI NHỊP THỞ SỬ DỤNG MẠNG HỌC SÂU ĐA NHIỆM Chuyên ngành: Mã số : KHOA HỌC MÁY TÍNH 8.48.01.01 LUẬN VĂN THẠC SỸ KỸ THUẬT (Theo định hướng ứng dụng) TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI – NĂM 2021 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS TS Phạm Văn Cường Phản biện 1: ……………………………………………………………… Phản biện 2: ……………………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng 1 MỞ ĐẦU Trên giới có nhiều nghiên cứu phân tích nhịp thở kết hợp loại cảm biến dựa trí tuệ nhân tạo mang lại kết tốt Đa phần nghiên cứu liệu thu thập micro, liệu truyền máy tính Micro thường gắn lồng ngực người theo dõi, cảm biến ghi nhận lại hô hấp Dùng cảm biến nhiệt dựa nguyên tắc nhiệt độ hít cao nhiệt độ hít vào Đa phần thực nghiệm độ xác tốt sử dụng phương pháp cảm biến với chi phí thấp Việc kết hợp trí tuệ nhân tạo với liệu nhịp thở thu nhận đưa kết khả quan Những năm gần đây, có nhiều phương pháp học sâu đưa ra, số có phương pháp Học sâu đa nhiệm, từ mơ hình thực nhiều nhiệm vụ phát phân loại nhịp thở, độ xác cải thiện sử dụng phương pháp Nhờ đó, việc sử dụng trí tuệ nhân tạo nói chúng sử dụng học sâu nói riêng mang lại kết tốt nghiên cứu quan trọng việc phân tích nhịp thở Tại lại phải phát phân loại nhịp thở? Tình hình Covid-10 có diễn biến phức tạp với tình trạng nhiễm mơi trường ngày tăng dẫn tới bệnh hơ hấp ngày phổ biến Và hành động hít thở hành động động vật nói chung lồi người nói riêng Hoạt động hít thở hơ hấp theo dõi hô hấp khâu theo dõi có vai trị quan trọng Việc phát phân loại nhịp thở bệnh nhân có tiền sử bệnh hô hấp vô quan trọng phân loại bệnh, phán đốn sớm tình trạng bệnh, để cung cấp thông tin phục vụ cho cơng việc y tế khác Các khó khăn gặp phải phát phân loại nhịp thở Có nhiều khó khăn gặp phải phát phân loại nhịp thở có ba vấn đề lớn học viên xin nêu Thứ nhất, vấn đề liệu nhịp thở Do liệu nhịp thở liệu y tế nên thường chứa thông tin nhạy cảm tiền sử bệnh lý hay trình điều trị Chính việc quản lý chia sẻ thơng tin phải có qui định nghiêm ngặt để tránh bị đánh cắp thông tin với mục đích xấu ảnh hưởng nghiêm trọng tới bệnh nhân Thứ vấn đề xử lý liệu lớn thời gian liên tục Dữ liệu âm nhịp thở liệu có kích thước lớn, mang nhiều thông tin nhịp thở thơng tin nhiễu, dẫn đến gây khó khăn trình xử lý liệu liên tục, giảm độ xác Và cuối cùng, thứ vấn đề thiết bị phát phân loại nhịp thở Các thiết bị IoT sử dụng để theo dõi sức khỏe thường có giá thành cao kích thước gây bị vướng víu, khơng tự nhiên Như vậy, vấn đề cần phải giải tìm phương pháp xử lý liệu có độ xác cao với chi phí thiết bị mức cho phép kích thước thiết bị phù hợp Mục tiêu đề tài, phương pháp sử dụng đóng góp đề tài Mục tiêu luận văn tìm hiểu phương pháp học sâu đa nhiệm thử nghiệm phương pháp việc xây dựng ứng dụng phát phân loại nhịp thở Trong khn khổ nội dung, luận văn trình bày số phương pháp áp dụng học sâu đa nhiệm liệu y tế, liệu nhịp thở, khó khăn hạn chế phương pháp Trình bày nhiều phương pháp có tên học sâu đa nhiệm (multi-task deep learning) khai thác thông tin liệu nhịp thở Mà cụ thể mơ hình Bi-LSTM (Bidirectional Long Short Time Memory) Luận văn sử dụng liệu nhịp thở thu thập từ thiết bị Rapsberry Pi có gắn micro âm Sau sử dụng phương pháp Bi-LSTM để vừa phát vừa nhận dạng âm nhịp thở Cuối xây dựng ứng dụng để phát nhịp thở đối tượng gắn thiết bị thu âm Trên đây, học viên khái quát tầm quan trọng ý nghĩa khoa học việc phân tích nhịp thở Nhận thức điều này, luận văn chọn đề tài là: “Nghiên cứu số phương pháp phát phân loại nhịp thở sử dụng mạng Học sâu đa nhiệm” Nội dung luận văn bao gồm phần mở đầu, phần kết luận chương nội dung tổ chức sau: - Chương 1: Tổng quan Nội dung chương trình bày tốn theo dõi nhịp thở, lại cần phải theo dõi nhịp thở, số khái niệm bản, trình bày ngắn gọn số nghiên cứu liên quan cuối mơ tả ngắn phương pháp đóng góp luận văn - Chương 2: Kỹ thuật Học sâu cho tốn theo dõi nhịp thở Chương trình bày nội dung luận văn, phương pháp nghiên cứu, cách thức tiến hành để theo dõi nhịp thở; hệ thống thử nghiệm đếm nhịp thở - Chương 3: Thực nghiệm đánh giá kết Nội dung chương trình bày phương pháp tiến hành thực nghiệm đánh giá, xây dựng ứng dụng theo dõi nhịp thở, kết luận hướng phát triển đề tài 6 Chương TỔNG QUAN Trong chương này, học viên giới thiệu tổng quan toán phát phân loại nhịp thở, lý giải tầm quan trọng việc theo dõi nhịp thở, vấn đề gặp phải phân tích liệu nhịp thở, mục tiêu đề tài, giới thiệu số công nghệ để giải tốn phân tích liệu nhịp thở Đồng thời, học viên đưa số nghiên cứu liên quan đến toán đề cập chương 1.1 Các dạng hô hấp nhịp thở dựa bệnh lý người 1.1.1 Giới thiệu Âm nhịp thở (Breath Sound) bao gồm số sức khỏe bệnh hơ hấp việc phân tích liệu nhịp thở trở thành vấn đề quan trọng việc phát bệnh lý chuẩn đoán phương pháp điều trị Việc trích xuất đặc trưng âm nhịp thở thành dạng chuỗi liệu để máy tính hiểu được, có tính liên tục q trình phân tích cần phải nhanh Các mơ hình học sâu thường phải trích xuất đặc trưng từ mẫu liệu nhịp thở để huấn luyện Khi áp dụng mơ hình học sâu có ưu điểm mơ hình học sâu tự trích xuất đặc trưng phù hợp cho q trình dự đốn Và thêm ưu điểm mơ hình trích xuất đặc trưng dựa thời gian thực, liên kết thông tin theo thời gian chuỗi liệu từ định phân loại nhãn đoạn liệu nhịp thở 1.1.2 Bài toán phát nhịp thở dựa liệu âm Bài toán 1: Phát xem liệu có phải nhịp thở hay khơng Bài tốn 2: Phân loại liệu có đoạn âm nào: thở thường, thở sâu, thở mạnh, … Bài toán 3: Phận loại đoạn nhịp thở người mắc Covid-19 8 1.2 Các nghiên cứu liên quan 1.2.1 Trích chọn đặc trưng để phát tiếng rale nổ dựa học máy Đề tài “Feature Extraction for Machine Learning Based Crackle Detection in Lung Sounds from a Health Survey” nhóm nghiên cứu Morten Grønnesby, Juan Carlos Aviles Solis, Einar Holsbø, Hasse Melbye, Lars Ailo Bongo Đề tài nghiên cứu việc phát tiếng Crackle Nhóm nghiên cứu đánh giá nhận thấy mơ hình SVM tốt với việc xây dựng hệ thống để phân loại âm hơ hấp Với độ xác sử dụng mơ hình SVM sau: Recall = 83.6% ± 10.2%; Precision = 85.6% ± 6.1% F = 83.5% ± 3.6% 1.2.2 Phân loại nhịp thở thiết bị điện tử Nhóm nghiên cứu tác giả Hendrick công bố nghiên cứu phân loại nhịp thở với tiêu đề “NonInvasive Method for Turberculosis Exhaled Breath Classification Using Electronic Nose” 9 Đây nghiên cứu áp dụng kỹ thuật điện-điện tử kết hợp với trí tuệ nhân tạo để phân loại nhịp thở Nhóm tác giả xây dựng hệ thống e-Nose để hỗ trợ cho bác sỹ chăm sóc bệnh nhân có bệnh lý hơ hấp Hệ thống phân loại nhịp thở thành hai loại: người nghi ngờ mắc bệnh lao (Tuberculosis Suspect – TBS) người khỏe mạnh (Healthy Person – HP) Các mơ hình học máy sử dụng để huấn luyện phân loại nhịp thở 1.2.3 Đánh giá Sau tìm hiểu nghiên cứu nhóm tác giả, học viên dựa nghiên cứu để học hỏi vận dụng để vào giải tốn gồm hai vấn đề Thứ q trình tiền xử lý liệu để tránh nhiễu tăng tỉ lệ nhận dạng Thứ hai q trình xây dựng mơ hình để mơ hình hiểu liệu phân loại liệu cách xác ngành y địi hỏi độ xác cao Cuối cùng, nhờ nghiên cứu mà học viên thấy tin tưởng vào thành công việc giải tốn phát nhận dạng nhịp thở 10 1.3 Kết chương 11 Chương PHƯƠNG PHÁP PHÂN LOẠI NHỊP THỞ Trong chương nội dung luận văn trình bày xử lý âm nhịp thở, đặc trưng âm nhịp thở giới thiệu mơ hình học sâu đa nhiệm cho phát phân loại nhịp thở 2.1 Xử lý âm nhịp thở Một hệ thống ghi âm âm nhịp thở gửi server xử lý liệu Dữ liệu thu âm đoạn âm dài Một mẫu âm đưa vào xử lý có thời lượng giây Đoạn âm dài cắt thành mẫu giây nhỏ, mẫu liên tiếp chồng lên giây Tiếp đến, làm nhiệm vụ lọc xử lý nhiễu tín hiệu âm nhịp thở thu Đây nhiệm vu quan trọng để đảm bảo độ xác tốt tốn nhận dạng nhịp thở Có nhiều phương pháp lọc nhiễu tín hiệu âm nhịp thở như: lọc thích 12 nghi Recurrsive Least Squares, lọc thích nghi Least Mean Squares, lọc Kalman, lọc RNNoise, … 2.2 Các đặc trưng âm nhịp thở Để biến đổi tín hiệu âm thành tín hiểu máy tính hiểu thường sử dụng phương pháp MFCC Luận văn sử dụng phương pháp trích chọn đặc trưng Mel-frequency cepstral coefficients (MFCC) để tách đặc trưng từ âm nhịp thở 2.3 Mơ hình học sâu đa nhiệm cho phát phân loại nhịp thở 2.3.1 Mạng nơ-ron Hồi quy Mạng nơ-ron hồi quy RNN (Recurrent Neural Network) sinh để giải vấn đề Mạng chứa vịng lặp bên cho phép thơng tin lưu lại 2.3.2 Mạng nơ-ron BiLSTM LSTM giới thiệu Hochreiter Schmidhuber (1997) sau dần cải tiến phổ 13 biến nhiều nhiều tốn khác tính hiệu LSTM thiết kế để tránh vấn đề phụ thuộc xa (long-term dependencies) Một kiến trúc BiLSTM thường chưa hai mạng LSTM đơn sử dụng đồng thời độc lập để mơ hình hóa chuỗi đầu vào theo hai hướng: từ trái sang phải (forward LSTM) từ phải sang trái (backward LSTM) 2.3.3 Mơ hình học sâu BiLSTM đa nhiệm Nghiên cứu tập trung vào việc xây dựng mơ hình học sâu BiLSTM đa nhiệm để phát chuỗi âm có phải nhịp thở hay khơng đồng thời phân loại âm thuộc loại nhịp thở Việc áp dụng mơ hình học sâu BiLSTM đa nhiệm khơng giống việc áp dụng thuật tốn học máy (Machine Learning) hay học sâu (Deep Learning) thông thường, hệ thống sử dụng mơ hình học sâu đa nhiệm vừa không cần phải quan tâm đến đặc trưng liệu từ trích xuất đặc trưng (Feature Extraction); vừa phát (detection) phân loại (classification) nhịp thở đồng thời 14 2.3.4 Xây dựng mơ hình BiLSTM Học viên xây dựng mơ hình BiLSTM dựa thư viện Tensorflow Keras 2.4 Sơ lược hệ thống phát phân loại nhịp thở Một hệ thống theo dõi nhịp thở có bao gồm bốn lớp để thực trình nhận dạng đoạn âm có phải nhịp thở hay không sau: lớp Physical, lớp Mobile computing, lớp Cloud lớp Application 2.5 Kết chương 15 Chương THỰC NGHIỆM, ĐÁNH GIÁ KẾT QUẢ PHÂN LOẠI NHỊP THỞ Trong chương học viên trình vào ba vấn đề là: thu thập liệu, đánh giá thực nghiệm giới thiệu hệ thống nhận dạng nhịp thở Đồng thời, học viên đưa kết đạt việc phát triển ứng dụng phát nhịp thở 3.1 Thu thập liệu Luận văn xây dựng liệu với 30 người khác bao gồm nam nữ, thu thập môi trường học đường Bộ liệu bao gồm ba loại liệu chính: thở bình thường, thở sâu, thở dốc 3.2 Thử nghiệm đánh giá mơ hình học sâu cho tốn phân loại nhịp thở 3.2.1 Thử nghiệm mơ hình học sâu đa nhiệm Luận văn thực hai thực nghiệm với mơ hình học sâu đa nhiệm: - 16 Thực nghiệm 1: Đánh giá đặc trưng với mơ hình học sâu BiLSTM Trong thực nghiệm, học viên đánh giá đặc trưng sử dụng phân tích âm chọn đặc trưng tốt đặc trưng sau: spectrogram, MFCC MFCC sau sử dụng lọc nhiễu - Thực nghiệm 2: Đánh giá mơ hình học sâu đa nhiệm BiLSTM với hai nhiệm vụ là: phát nhịp thở phân loại nhịp thở 3.2.2 Đánh giá mơ hình học sâu cho tốn phân loại nhịp thở Trong thử nghiệm này, luận văn sử dụng độ đo đánh giá là: Precision, Recall F-measure thường áp dụng phân loại liệu Precision độ đo xác đắn việc phân loại liệu Recall độ đo tính tốn vẹn việc phân lớp liệu 17 3.2.3 Kết thực nghiệm Luận văn thực nghiệm với 70% liệu làm liệu huấn luyện 30% liệu lại dùng để đánh giá kết nhận dạng Kết thực nghiệm luận văn đạt 95% việc phân loại nhịp thở, 90% việc phát nhịp thở 3.2.4 Đánh giá Luận văn rút số nhận xét sau đây: - Một cách tổng thể nhìn nhận liệu thử nghiệm tỉ lệ nhận dạng xác cao, trường hợp tốt mơi trường khơng có tiếng ồn, người lấy mẫu trạng thái nghỉ ngơi bình thường tỉ lệ xác mức 95% Cịn trường hợp xấu 90% (trường hợp người lấy mẫu vừa hoạt động mạnh, mơi trường lấy mẫu có tiếng ồn nhỏ) - 18 Mơi trường có tiếng ồn gây ảnh hưởng lớn đến kết dự đoán nhãn liệu - Đối với trường hợp thử nghiệm liên quan đến nhịp thở sau người theo dõi vận động mạnh tỉ lệ nhận dạng bị thay đổi mạnh từ 95% xuống 90% Như yếu tố trình trạng vận động người theo dõi yếu tố ảnh hưởng quan trọng - Trung bình tỉ lệ xác thử nghiệm Precision (0.95), Recall (0.94) F-measure (0.95) 3.3 Xây dựng chương trình phát phân loại nhịp thở dựa học sâu đa nhiệm 3.3.1 Mơ hình triển khai hệ thống Mơ hình hoạt động ứng dụng đơn giản, bao gồm micro không dây gán với đối tượng cần theo dõi nhịp thở Thiết bị không dây gắn micro chia sẻ liệu âm với máy tính thu nhỏ gần đó, khoảng cách khoảng mét Máy tính cài đặt mơ hình phát phân loại nhịp thở Hệ thống 19 triển khai Cloud để phân tích đánh giá liệu nhịp thở giúp bác sỹ nắm bắt tình hình bệnh bệnh nhân 3.3.2 Xây dựng ứng dụng phát phân loại nhịp thở Chương trình với hai giao diện, giao diện cho phép phát nhịp thở thống kết nhịp thở, với giao diện lại thể chuỗi liệu nhịp thở theo thời gian thực 3.4 Kết chương 20 KẾT LUẬN Trên sở tìm hiểu tốn theo dõi nhịp thở lý thuyết học sâu phương pháp học sâu BiLSTM, luận văn đạt số kết sau: - Giới thiệu tổng quan vấn đề theo dõi sức khỏe thông qua theo dõi nhịp thở Bài toán theo dõi nhịp thở phân loại các toán toán theo dõi nhịp thở dựa âm - Tìm hiểu số nghiên cứu liên quan đến theo dõi hô hấp cách sử dụng cảm biến âm sử dụng thuật toán học máy: toán phát âm hơ hấp dựa trích chọn đặc trưng, toán phân loại giai đoạn giấc ngủ dựa nhịp thở - Tìm hiểu học sâu, kỹ thuật BiLSTM, kỹ thuật lọc RNNoise - Trình bày phương pháp áp dụng kỹ thuật BiLSTM cho toán phát phân loại nhịp thở - 21 Tiến hành lấy mẫu liệu trường hợp bình thường trường hợp đặc biệt (mơi trường có tiếng ồn, người theo dõi vừa trải qua vận động mạnh) Tách mẫu liệu Audacity, chuẩn hóa liệu gán nhãn chuẩn bị cho training thử nghiệm đo tỉ lệ xác - Xây dựng ứng dụng phát nhịp thở theo thời gian thực Bên cạnh kết đạt hạn chế cần phải khác phục: - Số liệu chưa đủ nhiều đa dạng, nguyên nhân dẫn đến tỉ lệ xác chưa cao - Xử lý liệu lớn chưa tốt ảnh hưởng đến thời gian tạo model BiLSTM, tốc độ xử lý theo thời gian thực ứng dụng phát nhịp thở Qua kết hạn chế hệ thống cho thấy việc tiến theo dõi nhịp thở địi hỏi q trình nghiên cứu thực lâu dài Trong phạm vi đề tài, luận văn thực phát phân loại số loại nhịp 22 thở bản, để xây dựng hệ thống nhận dạng mạnh hơn, tổng quát phải cần thêm nhiều thời gian Hướng phát triển trước mắt cần phải tập trung cải thiện độ xác thời gian tính tốn hệ thống Hướng phát triển xa đề tài quan tâm đến xu hướng công nghệ ngày dần tiến tới thiết bị nhỏ gọn có tính di động, kết đề tài làm sở cho việc xây dựng thiết bị nhỏ gọn nhận dạng tự động  ... nhiều phương pháp học sâu đưa ra, số có phương pháp Học sâu đa nhiệm, từ mơ hình thực nhiều nhiệm vụ phát phân loại nhịp thở, độ xác cải thiện sử dụng phương pháp Nhờ đó, việc sử dụng trí tuệ nhân... PHƯƠNG PHÁP PHÂN LOẠI NHỊP THỞ Trong chương nội dung luận văn trình bày xử lý âm nhịp thở, đặc trưng âm nhịp thở giới thiệu mô hình học sâu đa nhiệm cho phát phân loại nhịp thở 2.1 Xử lý âm nhịp thở. .. học sâu BiLSTM đa nhiệm Nghiên cứu tập trung vào việc xây dựng mơ hình học sâu BiLSTM đa nhiệm để phát chuỗi âm có phải nhịp thở hay không đồng thời phân loại âm thuộc loại nhịp thở Việc áp dụng