Đang tải... (xem toàn văn)
Nội dung chính của luận văn trình bày quá trình nghiên cứu và phát hiện và phân loại âm thanh ho trên các thiết bị iot. Để hiểu rõ hơn, mời các bạn tham khảo chi tiết nội dung luận văn này.
CHƯƠNG 1: TỔNG QUAN VỀ PHÂN LOẠI HO 1.1 Bài toán phát phân loại ho Như đã, biết trạng giới tình trạng đại dịch COVID-19 truyền nhiễm theo cấp số nhân vô nghiêm trọng tăng tới hàng trăm nghìn ca nhiễm hàng nghìn ca tử vong Và bệnh dịch gần hoành hành giới thời điểm Trong suốt trình phát triển lồi người có dịch bệnh kinh hoàng Bệnh dịch hạch biết tới từ năm 541 sau công nguyên khiến cho đế chế Hy Lạp chao đảo, bệnh khiến cho Châu Âu chao đảo từ 1347 đến 1351 số người chết lên tới 25 triệu người Bệnh đậu mùa thực dân châu Âu xâm chiếm châu Mỹ vào kỷ 17 mang theo bệnh đậu mùa (do virus variola gây ra) tới lục địa Bệnh đậu mùa cướp sinh mạng khoảng 20 triệu người, gần 90% dân số châu Mỹ Hay đại dịch tả bắt đầu Jessore, Ấn Độ (1817-1823) giết chết hàng triệu người dân Ấn Độ Sau đó, dịch tả bùng phát thêm nhiều đợt lan nhanh khắp châu lục thời gian ngắn Trong số đó, khơng thể khơng nhắc tới đại dịch cúm liên tục hoành hành loài người dịch cúm Tây Ban Nha (1918), dịch cúm Châu Á (1957),… Các dịch cúm liên tục thay đổi thích nghi sau lần loại người phịng chống chữa trị được, đại dịch COVID-19 biển đổi từ chủng đại dịch SARS năm 2003 Tuy nhiên, dịch bệnh xảy có triệu chứng liên quan để dễ dàng phịng ngừa được, nhiên chủ quan thiếu hiểu biết khiến cho lồi người rơi vào tình cảnh khó khăn Phần lớn bệnh liên quan tới hô hấp hay dịch cúm đếu có triệu chứng ho, chẳng hạn dịch bệnh COVID-19, triệu chứng cụ thể kèm với cịn có dạng ho riêng Tùy theo địa người mà triệu chứng dạng ho rõ khơng rõ có dạng ho Mỗi dạng ho, kèm với triệu chứng khác bệnh khác nhau, đơi để cá nhân người bệnh tự nhận biết hay phân loại dạng ho để phịng ngừa điều khó khăn khơng có lời khun từ bác sĩ chun ngành Vì vậy, ứng dụng kỹ thuật cơng nghệ để phát phịng ngừa điều cấp thiết 1.2 Một số nghiên cứu liên quan Phát hiện, phân loại ho đánh giá mức độ nghiêm trọng triệu chứng tự động thu hút nhà nghiên cứu, chuyên gia y tế bác sỹ nhiều năm Phần lớn người đến chưa trị, hay cần lời khuyên từ bác sỹ có chung triệu chứng ho 1.3 Các dạng ho dựa bệnh lý người Ho phát thở mạnh đột ngột Đó chế tự vệ sinh lý để đưa dị vật phát phần đường hơ hấp gây tắc thở phía bên ngồi Ho triệu chứng việc rối lại hệ thống tuần hồn thể Các nhà chun mơn đưa nghiên cứu cụ thể triệu chứng đưa dạng triệu chứng ho: - Ho cấp - Ho thành - Ho khan kéo dài - Ho có đờm - Ho máu 1.4 Kết luận Như vậy, thấy nguy hiểm triệu chứng ho, cấp thiết việc đề xuất áp dụng trí tuệ nhận tạo thiết bị IoT để phát phận loại dạng ho vô cần thiết Bằng việc sử dụng thiết bị IoT, tiếp cận đến người mắc bệnh liên quan tới đường hô hấp hay cụ thể triệu chứng ho để đưa kết luận ban đầu dạng ho người mắc bệnh Đặc biệt thực trạng rằng, dịch bệnh COVID-19 khơng có dấu hiệu dừng lại tồn giới việc, người tự trang bị có thơng tin hệ thống nhận dạng, phân biệt chủng ho góp phần vào tải bệnh viên, giảm thiểu số lượng người nhiễm bệnh hay có để đầy lùi khơng dịch COVID-19 mà cịn tồn dịch bệnh nguy hiểm liên quan tới hô hấp CHƯƠNG 2: PHƯƠNG PHÁP PHÂN LOẠI HO 2.1 Xử lý âm ho Ho triệu chứng thường gặp bệnh liên quan tới hơ hấp Đó phản xạ bảo vệ giúp thể người thải các chất tiết đường hô hấp, bảo vệ đường khí di chuyển trực tiếp tới phổi, ví dụ như: đờm, ngoại vật, ký sinh hay vi khuẩn có hại,… Trong việc điều trị bệnh liên quan tới triệu chứng ho, mức ho yếu tố cần thiết để theo dõi tiến trình phát triển bênh nhân 2.2 Mơ hình máy học Gaussian hỗn hợp (GMM) cho phát phân loại ho 2.2.1 Restricted Boltzmann Machine Restricted Boltmann Machine (RBM) mạng thần kinh ngẫu nhiên Giả định RBM tính mà tơi quan sát điều khiển nhiều yếu tố cấp cao, yếu tố cấp cao sử dụng làm tính có mức trìu tượng cao Các nút RBM liên kết với giả định khác để phù hợp với vấn đề khác Như trường ngẫu nhiên Markov, hàm lượng tiền khác dựa giả định khác 2.2.2 Mạng học sâu (DNN) Đầu vào: Dữ liệu D = {x}, lớp K mong muốn số nút cho lớp Ni Đầu ra: Cấu trúc tham số khởi tạo đào tạo DNN θ1 Học tham số cho lớp liệu RBM Với k = 2:K Wk = WkT−1 Khởi tạo RBM lớp thử k cách mở lớp RBM, với tham số Tinh chỉnh tham số RBM lớp thứ k vector liệu tạo từ lớp thứ k-1 Bảng 2.1: Mơ tả thuật tốn huấn luyện Mạng học sâu Bayes 2.3 Mơ hình máy học CNN-LSTM sử dụng cho việc phát phân loại ho Phát âm triệu chứng ho thực dạng trực quan cách chuyển đổi âm chiều thành dạng “hình ảnh” thời gian quang phổ chiều, máy tính chẳng hạn Biến đổi Fourier thời gian ngắn (STFT) Sau đó, mạng lưới nơ-ron thần kinh nhân tạo hoạt động tốt với việc nhận dạng hình ảnh để so sánh âm triệu chứng ho âm triệu chứng ho mẫu hình ảnh nội dung quang phổ chiều Ưu điểm phương pháp biến thể mạng thân kinh nhân tạo sử dụng cho việc nghiên cứu kỹ lưỡng hình ảnh, Mạng học sâu tích chập (CNN) [14], sử dụng cho việc phát triệu chứng ho (Hình 2.5) 2.3.1 Mạng học sâu tích chập cho phát phân loại ho (CNN) 2.3.1.1 Giới thiệu mạng nơ-ron tích chập (CNN) Một ứng dụng quan trọng mạng nơron tích chập cho phép máy tính có khả “nhìn” “phân tích” Nó lấy cảm hứng từ vỏ não thị giác Nghĩa Convnets (Convolutional Neural Networks) sử dụng để nhận dạng hình ảnh cách đưa qua mạng nơ-ron với nhiều layer, layer lọc tích chập Sau qua layer có đặc trưng dùng nhận dạng đối tượng a Feature (Đặc trưng) b Tích chập (Convolutional) c Các lớp CNN d Cấu trúc mạng CNN 2.3.1.2 Kiến trúc phát triển cho tốn phát phân loại ho Hình 2.6: Mô tả kiến trúc CNN 2.3.2 Áp dụng mô hình Sequence-to-Sequence cho việc phân loại phát ho 2.3.2.1 Giới thiệu mạng nơ-ron quy hồi (RNN) a Vấn đề phụ thuộc xa 2.3.2.2 Mạng LSTM Mạng nhớ dài-ngắn (Long Short Term Memory networks), thường gọi LSTM - dạng đặc biệt RNN, có khả học phụ thuộc xa LSTM giới thiệu Hochreiter & Schmidhuber (1997), sau cải tiến phổ biến nhiều người ngành Chúng hoạt động hiệu nhiều toán khác nên dần trở nên phổ biến LSTM thiết kế để tránh vấn đề phụ thuộc xa (long-term dependency) Việc nhớ thông tin suốt thời gian dài đặc tính mặc định chúng, ta khơng cần phải huấn luyện để nhớ Tức nội ghi nhớ mà khơng cần can thiệp Hình 2.7: Mơ hình LSTM b Ý tưởng cốt lõi LSTM c Bên LSTM 2.3.2.3 Mô hình Sequence-to-Sequence Hình 2.8: Kiến trúc mơ hình Sequenceto-Sequence với câu đầu vào chuỗi “A B C D” câu đầu chuỗi “X Y Z” a Cơ chế giải mã với thuật toán Greedy Search b Cơ chế giải mã với thuật toán Beam Search 2.3.2.4 Áp dụng mơ hình cho việc phát phân loại ho Việc gán nhãn bước cần thiết trước phân đoạn hỗ trợ cho việc nhận diện hình ảnh Mục tiêu việc gán nhãn cho mơ hình ánh xạ chuỗi chưa phân đoạn (dữ liệu đầu vào) với chuỗi khác (nhãn đầu ra) Nhận dạng giọng nói, nhận dạng chữ viết tay dịch máy ví dụ điển hình tốn áp dụng mơ hình Cụ thể với ứng dụng, việc ghi nhãn có khả mơ hình hóa đặc trưng dài hạn âm ho Đặc biệt, ghi lại phụ thuộc thời gian phổ ba pha đặc trưng (pha ban đầu, pha pha cuối cùng) ho Để thực nhiệm vụ nhận dạng phân loại âm ho, liệu thời gian quang phổ từ tín hiệu âm sử dụng bất chấp đặc tính thời gian liệu Khơng giống việc nhận dạng trực quan, có liệu đầu vào đa dạng thời gian thu được; điều giúp phải thực việc loại bỏ thay liệu sử dụng cho việc huấn luyện Nhược điểm việc học dán nhãn trình tự mạng học sâu quy hồi (RNN) q trình đào tạo khó khăn cần nhiều mẫu Do đó, ứng dụng RNN trước hoạt động tác vụ không mong đợi nhận dạng giọng nói Tuy nhiên, nghiên cứu gần mạng nơ-ron nhân tạo giới thiệu kỹ thuật chuyển đổi, bổ sung cắt độ dốc (TensorFlow), dạng tế bào thần kinh khác làm cho việc huấn luyện RNN trở nên dễ dàng hiệu Cùng với đó, tăng trưởng theo cấp số nhân tài nguyên máy tính năm góp phần đáng kể việc huấn luyện RNN tất phương pháp học sâu khác Hiện tại, RNN đặt hiệu cao hầu hết toán nhận dạng giọng nói dịch máy Hình 2.9: Tổng quan kiến trúc RNN mã hóa – giải mã để phát ho CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Thu thập liệu 3.1.1 Thu âm gán nhãn âm Để đo âm ho, sử dụng thiết bị thu âm thu âm liên tục trình bệnh nhân nhiễm bệnh bao gồm âm ho âm ngoại cảnh Chiến micro thu âm gắn trực tiếp ngực áo bệnh nhân kết nối với phần mềm thu âm điện thoại Sau đeo thiết người, bênh nhân yêu cầu việc thực ghi âm q trình giường bệnh vịng 30 phút tới tiếng Toàn âm khoảng thời gian bệnh nhân yêu cầu đeo ghi âm lại bao gồm âm ho âm ngoại cảnh 3.1.2 Xây dựng đánh giá âm 3.2 Huấn luyện liệu 3.3 Thử nghiệm phát phân loại ho 3.3.1 Thử nghiệm 3.3.2 Thử nghiệm 3.3.3 Thử nghiệm 3.3.4 Thử nghiệm 3.3.5 Thử nghiệm 3.4 Kết thử nghiệm 94.3 ± 3.1 Độ đặc hiệu (%) 68.5 ± 9.4 Độ xác (%) 81.4 ± 3.6 MFCC+SVM 74.9 ± 7.6 91.1 ± 1.5 87.6 ± 4.8 STFT+SVM 76.9 ± 3.4 74.4 ± 4.8 77.2 ± 3.3 STFT+CNN 86.8 ± 1.5 92.7 ± 2.4 89.7 ± 1.5 STFT+RNN 87.7 ± 7.9 82.0 ± 11.6 84.9 ± 3.6 Hệ thống Độ nhạy (%) MFCC+SM Bảng 3.1: So sánh kết CNN, RNN MFCC cho việc phân loại ho thử nghiệm Hình 3.5: Đồ thị so sánh AUC CNN RNN Hình 3.6: Ma trận nhầm lẫn cho (a) CNN (b) RNN toán phân loại nhiều lớp thử nghiệm Hệ thống Độ nhạy (%) Độ đặc hiệu (%) Độ xác (%) GMMHMM CNN 79.1 ± 11.7 80.8 ± 5.9 79.9 ± 4.0 76.2 ± 24.6 82.2 ± 6.4 79.2 ± 15.0 89.20 ± RNN 81.7 ± 16.9 85.5 ± 8.6 18.4 Bảng 3.2: So sánh kết mạng sử dụng chuỗi dài CNN Độ nhạy (%) 82.0 Độ đặc hiệu (%) 93.2 Độ xác (%) 87.6 RNN 84.2 75.2 79.7 Hệ thống Bảng 3.3: So sánh CNN RNN sử dụng Hình 3.7: Giảm số lượng lớp hai mạng Hình 3.8: Giảm số lượng đơn vị hai mạng Hình 3.9: Hiệu suất RNN (LSTM) số lượng đơn vị giảm 3.5 Kết luận Từ thử nghiệm kết Bảng 3.1, chúng tơi khẳng định mơ hình mạng nơron thực học đặc trưng hiệu cao Điều thể rõ ràng thực tế chúng hoạt động tốt phân loại SVM STFT thô Hơn nữa, hai mơ hình hoạt động tốt so với mơ hình dựa MFCC, chứng minh quan điểm tính học sâu hiệu so với chế tạo thủ công lần để phát ho Tuy nhiên, quan sát thú vị mơ hình MFCC + SVM đạt độ đặc hiệu cao Một lý cho điều MFCC thiết kế đặc biệt cho nhận dạng giọng nói, chúng trích xuất đặc trưng tốt cho nhận dạng giọng nói Vì tính cụ thể thử nghiệm đề cập đến việc xác định xác âm giọng nói, lợi ích bổ sung MFCC quan sát thấy sử dụng phân loại SVM mạnh mẽ Trong hầu hết thí nghiệm (1, 5), chúng tơi quan sát thấy mơ hình hấp dẫn CNN cho độ đặc hiệu cao nhiều RNN (LSTM) cho độ nhạy ho tốt Một ý kiến giải thích điều CNN thực tốt nhiều việc phát giọng nói phổ giọng nói có sóng đặc trưng mẫu xác định rõ phổ âm ho Mạng CNN, thực giỏi việc nắm bắt mẫu hình ảnh, lập mơ hình tốt tín hiệu quang phổ so với RNN (LSTM) Mặt khác, lý giải RNN (LSTM) mang lại độ nhạy tốt cơng thức ghi nhãn trình tự thực nhiệm vụ phát ho thực tế Một quan sát khác RNN hoạt động tốt CNN GMM-HMM chuỗi dài Các đơn vị GRU LSTM RNN cho phép mơ hình hóa tốt phụ thuộc dài hạn âm ho CNN cung cấp độ xác tương tự HMM, đặc biệt người ta xem xét phương sai cao độ xác 10 lần Hiệu suất CNN thú vị chúng tơi CNN mang lại hiệu suất tốt chuỗi dài nhãn đầu chúng cho cửa sổ ngắn tính trung bình tồn chuỗi dài Xem xét hai yếu tố, cho sử dụng CNN chuỗi ngắn tốt so với chuỗi dài Nói chung, hiệu suất giảm chuỗi dài điều có ý nghĩa số lượng ví dụ huấn luyện giảm chuỗi kéo dài Liên quan đến tham số mạng, chúng tơi lưu ý mơ hình lớp hoạt động tốt mơ hình ban đầu chúng tơi Điều có nghĩa mơ hình ban đầu chúng tơi trang bị q nhiều liệu Nhiều lớp làm cho mạng nơ-ron phi tuyến tính làm tăng độ phức tạp mạng Một mơ hình phức tạp dễ dàng trang bị mức cho liệu đào tạo định hoạt động liệu thử nghiệm Các mơ hình lớp phức tạp so với mơ hình ban đầu đó, hiệu suất tốt chúng gợi ý mô hình ban đầu có khả trang bị q nhiều liệu huấn luyện Điều nói rằng, việc giảm số lượng đơn vị coi ảnh hưởng đến hiệu suất nói chung số đơn vị tối ưu cho RNN nửa số đơn vị mơ hình ban đầu Cuối cùng, chúng tơi cho thấy mạng tổng quát tốt cho đối tượng sở liệu, mang lại hiệu suất gần với kết tập huấn luyện CHƯƠNG 4: KẾT LUẬN Chúng ta thấy nguy hiểm triệu chứng ho, cấp thiết việc đề xuất áp dụng trí tuệ nhận tạo thiết bị IoT để phát phận loại dạng ho vô cần thiết Bằng việc sử dụng thiết bị IoT, tiếp cận đến người mắc bệnh liên quan tới đường hô hấp hay cụ thể triệu chứng ho để đưa kết luận ban đầu dạng ho người mắc bệnh Đặc biệt thực trạng rằng, dịch bệnh COVID-19 khơng có dấu hiệu dừng lại tồn giới việc, người tự trang bị có thơng tin hệ thống nhận dạng, phân biệt chủng ho góp phần vào tải bệnh viên, giảm thiểu số lượng người nhiễm bệnh hay có để đầy lùi khơng dịch COVID-19 mà cịn tồn dịch bệnh nguy hiểm liên quan tới hô hấp Công việc sử dụng khả phát ho dạng quang phổ vấn đề ghi nhãn trình tự Chúng tơi triển khai mạng nơ-ron tích tụ lặp lại để giải hai công thức tương ứng Từ đánh giá mô hình chúng tơi, chúng tơi cho thấy hai mạng tìm hiểu tính tốt cho nhiệm vụ phát phân biệt ho Chúng xác định tập liệu thiết lập, CNN mang lại độ đặc hiệu tốt RNN tạo độ nhạy tốt Chúng yếu tố thay đổi độ dài chuỗi đầu vào, nhiệm vụ phân loại tham số mạng ảnh hưởng đến hiệu suất mơ hình Mặc dù chúng tơi chọn mơ hình giá trị siêu tham số theo cách thủ cơng, mạng kết hoạt động tốt phân loại truyền thống Đối với mục tiêu đề ban đầu “Phát phân loại âm ho thiết bị IoT” Đã thực nội dung sau: - Trinh bày dạng ho, phân biệt loại ho dựa đặc trưng - Các mơ hình tiềm cho việc phát phân loại âm ho - Các thí nghiệm đánh giá mơ hình cho việc phát ho Khi nghiên cứu thực đề tài,tôi mong muốn đưa phương pháp tối ưu cho việc phát phân loại âm ho Tuy nhiên, gặp nhiều khó khăn thời gian có hạn dịch bệnh COVID-19 trở thành cản trở lớn trình nghiên cứu đề tài Tơi mong muốn phần hồn thiện đề tài thúc đẩy cho nghiên cứu sau đưa phương pháp tối ưu hơn, xây dựng hệ thống hoàn chỉnh thiết bị IoT phục vụ cho việc đánh giá sức khỏe người nhằm đưa chuẩn đoán nhanh xác ... tiêu đề ban đầu ? ?Phát phân loại âm ho thiết bị IoT? ?? Đã thực nội dung sau: - Trinh bày dạng ho, phân biệt loại ho dựa đặc trưng - Các mơ hình tiềm cho việc phát phân loại âm ho - Các thí nghiệm... tả thuật tốn huấn luyện Mạng học sâu Bayes 2.3 Mơ hình máy học CNN-LSTM sử dụng cho việc phát phân loại ho Phát âm triệu chứng ho thực dạng trực quan cách chuyển đổi âm chiều thành dạng “hình ảnh”... dịch máy Hình 2.9: Tổng quan kiến trúc RNN mã hóa – giải mã để phát ho CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Thu thập liệu 3.1.1 Thu âm gán nhãn âm Để đo âm ho, sử dụng thiết bị thu âm thu âm liên