(Luận văn) phát hiện tiếng ngáy dựa trên học sâu

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Bùi Thái Duy lu an n va gh tn to p ie PHÁT HIỆN TIẾNG NGÁY DỰA TRÊN HỌC SÂU d oa nl w va an lu ll u nf LUẬN VĂN THẠC SĨ KỸ THUẬT m oi (Theo định hướng ứng dụng) z at nh z m co l gm @ an Lu HÀ NỘI- 2020 n va ac th si HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THÔNG - lu Bùi Thái Duy an n va p ie gh tn to PHÁT HIỆN TIẾNG NGÁY DỰA TRÊN HỌC SÂU nl w : HỆ THỐNG THÔNG TIN d oa CHUYÊN NGÀNH lu : 8.48.01.04 ll u nf va an MÃ SỐ oi m LUẬN VĂN THẠC SĨ KỸ THUẬT z at nh (Theo định hướng ứng dụng) z @ m co l gm NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS PHẠM VĂN CƯỜNG an Lu HÀ NỘI- 2020 n va ac th si LỜI CAM ĐOAN Tôi Bùi Thái Duy, học viên lớp M18CQIS02 xin cam đoan báo cáo luận văn viết hướng dẫn thầy giáo PGS TS Phạm Văn Cường Trong toàn nội dung luận văn, điều trinh bày kết cá nhân kế thừa, tổng hợp từ nhiều nguồn tài liệu khác liệt kê danh mục tài liệu tham khảo rõ ràng Hà Nội, ngày tháng năm 2020 Học viên lu an n va Bùi Thái Duy p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si LỜI CẢM ƠN Lời đầu tiên, xin bày tỏ cảm ơn chân thành thầy giáo PGS.TS Phạm Văn Cường - Giáo viên hướng dẫn trực tiếp Thầy giúp tiếp cận kiến thức ứng dụng học máy học sâu cho tốn phát tiếng ngáy suốt q trình nghiên cứu hoàn thiện luận văn thạc sĩ kỹ thuật Tôi xin gửi lời cảm ơn tới thầy cô khoa Công nghệ Thông tin Học viện Bưu viễn thơng hướng dẫn, bảo tạo điều kiện cho học tập nghiên cứu trường suốt thời gian qua lu an Xin gửi lời biết ơn đến gia đình, bạn học đồng nghiệp quan tâm, va n động viên, ủng hộ mặt tinh thần lẫn vật chất suốt thời gian tham gia gh tn to khóa học thực luận văn Học viên xin gửi lời cảm ơn hỗ trợ từ đề tài nghiên cứu độc lập cấp quốc ie p gia “Nghiên cứu thiết kế, chế tạo hệ thống tự động trợ giúp theo dõi hô hấp vận nl w động bất thường dựa tảng Internet vạn vật (IoT-Internet of Things) ” mã số d oa ĐTĐLCN-16/18 an lu Mặc dù cố gắng để hoàn thành luận văn chắn ll u nf q thầy va tránh khỏi thiếu sót Kính mong nhận thơng cảm bảo oi m Em xin trân trọng cảm ơn z at nh Hà Nội, ngày tháng năm 2020 z Học viên thực luận văn m co l gm @ Bùi Thái Duy an Lu n va ac th si MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC THUẬT NGỮ VÀ CHỮ VIẾT TẮT v DANH MỤC CÁC BẢNG .vi DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ vii MỞ ĐẦU .1 lu CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN TIẾNG NGÁY an 1.1 Bài toán phát tiếng ngáy va n 1.1.1 Các bệnh lý liên quan đến tiếng ngáy to tn 1.1.2 Phát biểu toán .5 ie gh 1.1.3 Ý nghĩa toán p 1.2 Các nghiên cứu liên quan .6 w 1.2.1 Thiết bị phát tiếng ngáy oa nl 1.2.2 Mơ hình học máy cổ điển phát tiếng ngáy 10 d 1.2.3 Mơ hình học sâu phát tiếng ngáy 14 lu an 1.2.4 Đánh giá nghiên cứu 16 u nf va 1.3 Kết luận chương 16 ll CHƯƠNG 2: PHƯƠNG PHÁP PHÁT HIỆN VÀ THEO DÕI TIẾNG NGÁY17 oi m 2.1 Phương pháp giải toán 17 z at nh 2.2 Xử lý âm .18 2.2.1 Biến đổi Fourier (FT) .18 z 2.2.2 Biến đổi Fourier thời gian ngắn (STFT) 21 @ gm 2.2.3 Phương pháp hệ số biểu diễn phổ phổ (MFCC) 22 m co l 2.3 Mơ hình học nơng 25 2.3.1 Trích đặc trưng âm 25 an Lu 2.3.2 Mơ hình học máy SVM 25 2.3.3 Đánh giá mơ hình học máy SVM .27 n va ac th si 2.4 Mơ hình CNN cho phát tiếng ngáy .28 2.4.1 Kiến trúc mạng CNN .29 2.4.2 Tích chập mạng neural 29 2.4.3 Mơ hình mạng CNN phát tiếng ngáy 31 2.5 Mơ hình LSTM cho phát tiếng ngáy 34 2.5.1 Giới thiệu mạng neural hồi quy 34 2.5.2 Hồi quy mạng neural mơ hình LSTM 35 2.5.3 Mơ hình mạng LSTM phát tiếng ngáy 36 2.6 Mơ hình CNN-LSTM cho phát tiếng ngáy 38 lu 2.7 Kết luận chương 41 an 3.1 Thu thập liệu 42 n va CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ 42 to 3.2.1 Kết học nông SVM 45 3.2.2 Kết phương pháp CNN .46 p ie gh tn 3.2 Kết thử nghiệm 43 nl w 3.2.3 Kết phương pháp LSTM .48 d oa 3.2.4 Kết phương pháp CNN-LSTM 50 an lu 3.3 Phân tích đánh giá 51 .53 u nf KẾT LUẬN va 3.4 Kết luận chương 52 ll DANH MỤC CÁC TÀI LIỆU THAM KHẢO 54 oi m z at nh z m co l gm @ an Lu n va ac th si DANH MỤC CÁC THUẬT NGỮ VÀ CHỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt CNN Convolutional Neural network Mạng neural tích chập FFT Fast Fourier Transform Biến đổi Fourier nhanh FT Fourier transform Biến đổi Fourier LSTM Long short-term memory Mạng ghi nhớ hồi quy lâu MFCC Mel Frequency Cepstral Coefficients Recurrent Neural Network RNN Hệ số biểu diễn phổ phổ Mạng neural hồi quy lu an STFT Short term fourier transform Phép biến đổi Fourier thời gian ngắn SVM Support Vector Machine Máy vector hỗ trợ n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si DANH MỤC CÁC BẢNG Bảng 2.1 Các lớp tích chập mơ hình CNN nhận dạng tiếng ngáy .32 Bảng 3.1 Thống kê liệu thực nghiệm .43 Bảng 3.2 Kết phương pháp học nông SVM .46 Bảng 3.3 Kết mơ hình CNN 47 Bảng 3.4 Kết mơ hình LSTM 48 Bảng 3.5 Kết mơ hình CNN-LSTM 50 lu an Bảng 3.6 Độ xác mơ hình .52 n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ Hình 1.1: Mơ tả đường khơng khí ngủ .4 Hình 1.2 Bài tốn phát tiếng ngáy Hình 1.3 Mơ hình theo dõi tiếng ngáy với thiết bị điện thoại thơng minh Hình 1.4 Mơ hình theo dõi tiếng ngáy với thiết bị đeo bên người Hình 1.5 Sóng âm tiếng ngáy theo dõi đặc trưng .9 Hình 1.6 Âm tiếng ngáy thể theo thời gian 10 lu an Hình 1.7 Mơ hình phát tiếng ngáy với SVM 11 va n Hình 1.8 Phân tách mẫu tín hiệu gốc, mẫu lượng mẫu vượt q khơng 12 tn to Hình 1.9 Biểu đồ biên độ ghi mẫu 13 gh p ie Hình 1.10 Phương pháp học nông học sâu (mạng neural) phát âm nl w 14 d oa Hình 2.1 Giai đoạn huấn luyện mơ hình .17 an lu Hình 2.2 Giai đoạn kiểm thử mơ hình 17 u nf va Hình 2.3 Phép biến đổi Fourier .19 Hình 2.4 Biến đổi Fourier rời rạc 20 ll m oi Hình 2.5 Mô tả STFT biến đổi từ FT 21 z at nh Hình 2.6 Biểu diễn MFCC từ âm tiếng ngáy 24 z Hình 2.7 Khoảng cách phân lớp lớp 26 @ l gm Hình 2.8 Mơ hình mạng neural 28 Hình 2.9 Ma trận ảnh số 29 m co Hình 2.10 Mơ hình mạng neural xử lý âm 30 an Lu Hình 2.11 Một mơ hình phân lớp âm sử dụng mạng neural tích chập 31 n va ac th si 10 Hình 2.12 Phương pháp phát tiếng ngáy mơ hình mạng neural CNN 32 Hình 2.13 Mơ hình CNN luận văn sử dụng 33 Hình 2.14 Các dạng toán RNN .34 Hình 2.15 Mơ hình RNN 35 Hình 2.16 Mơ hình RNN rút gọn 36 Hình 2.17 Mơ hình LSTM luận văn sử dụng 37 Hình 2.18 Minh họa mơ hình mạng CNN-LSTM 38 lu Hình 2.19 Kiến trúc mơ hình học sâu với CNN LSTM cho nhận dạng tiếng ngáy.39 an n va Hình 2.20 Mơ hình CNN-LSTM cho phát tiếng ngáy 40 tn to Hình 3.1 Một âm ngáy đánh nhãn 42 ie gh Hình 3.2 Mơi trường thực nghiệm Google Collab 44 p Hình 3.3 Thực nghiệm độ xác mơ hình CNN qua số lần epoch 47 oa nl w Hình 3.4 Thực nghiệm độ xác mơ hình LSTM qua số lần epoch 49 d Hình 3.5 Thực nghiệm độ xác mơ hình CNN-LSTM qua số lần epoch 50 ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 45 CHƯƠNG 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ Trong chương trình bày vấn đề: thu thập liệu tiếng ngày; thử nghiệm mơ hình CNN mơ hình hồi quy RNN phân tích âm qua đánh giá kiến trúc học sâu việc phát tiếng ngáy 4.1 Thu thập liệu Luận văn sử dụng liệu thử nghiệm từ người có tình trạng ngáy liệu tiếng ngáy thu thập Kaggle Quá trình gán nhãn cho tệp liệu lu gồm bạn tham gia, bạn gán nhãn bạn kiểm tra lại phần gán nhãn an n va p ie gh tn to d oa nl w va an lu Hình 3.31 Một âm ngáy đánh nhãn u nf Sau thực gán nhãn cho âm mẫu nhận ll chia thành tệp liệu khác biệt với gồm, tệp liệu huấn luyện tệp m oi liệu kiểm thử theo tỉ lệ 90%, 10% Dữ liệu chia tệp đưa z at nh vào thực nghiệm cho kết trình bày phần 3.2 Tổng hợp tập liệu gán nhãn đầy đủ với lớp âm z ngáy mô tả bảng sau m co l gm @ ngáy, không ngáy số lượng cụ thể thu sau trình gán nhãn âm an Lu n va ac th si 46 Bảng 3.2 Thống kê liệu thực nghiệm Dữ liệu âm ngáy lu an Thời gian ngáy Tổng thời gian Tỉ lệ tiếng ngáy/ tổng thời gian Ngáy 36 phút 40 phút 0.9 Ngáy 25 phút 30 phút 0.83 Dữ liệu Kaggle phút 16 phút Tổng cộng 69 phút 86 phút va n Với liệu thực nghiệm có đủ âm ngáy/ khơng ngáy tn to từ người xuất tình trạng ngáy ngủ thêm vào có thêm ie gh liệu Kaggle lớp ngáy/ không ngáy thu thập trang mạng chia sẻ p âm oa nl w 4.2 Kết thử nghiệm d Mơi trường thử nghiệm mơ hình học sâu tìm hiểu thơng qua an lu Google Colab hay Colaboratory notebooks Google Colab cung cấp cho u nf va khả tính tốn mạnh với Tesla K80 GPU, thay phải code train model với máy tính, laptop cá nhân Google Colab hỗ trợ toàn diện thư viện ll z at nh cài đặt mơ hình oi m python, phiên tensoflow, keras, PyTorch, Cv2 việc z m co l gm @ an Lu n va ac th si 47 lu an n va Hình 3.32 Môi trường thực nghiệm Google Collab to tn Trong mơi trường Collab Hình 3.2 ngơn ngữ sử dụng để cài đặt thực ie gh nghiệm ngôn ngữ lập trình python phân cấp để chạy phân p vùng, kèm theo thích vùng Việc sử dụng Google Collab w có đưa tùy chọn sử dụng CPU, GPU có sẵn Google Collab, d oa nl kết nối tới tài nguyên máy tính đó: va an lu Để đánh giá mơ hình luận văn sử dụng độ đo Precision Reall ll u nf TP: số âm tiếng ngáy mà mơ hình đốn tiếng ngáy oi m FP: số âm tiếng ngáy mà mơ hình đốn khơng phải tiếng ngáy ngáy z at nh FN: số âm khơng phải tiếng ngáy mà mơ hình dựa đốn tiếng z gm @ Precision định nghĩa tỉ lệ số điểm TP số điểm phân loại chủ động mơ hình (TP+FP) với cơng thức (3.1) tính sau: m co TP TP+ FP l Precision= (3.13) an Lu n va ac th si 48 Recall định nghĩa tỉ lệ số điểm TP số điểm thực mơ hình dự đốn (TP+FN) với cơng thức (3.2) tính sau: Recall= TP TP+ FN (3.14) Ngồi ra, hai độ đo khơng phải lúc tăng giảm tương ứng với nhau, có trường hợp Recall cao Precision thấp ngược lại, đánh giá tổng quát F-measure trung bình điều hịa độ với hệ số 0.5 lu (tầm quan trọng hệ số ngang nhau) tính với cơng thức (3.3) sau: an n va F 1= precision recall precision+ recall (3.15) gh tn to 1 + precision recall =2 p ie 4.2.1 Kết học nông SVM nl w Với mơ hình học nơng SVM với tham số xác định chạy thực d SVM oa nghiệm tham số C gamma hai tham số quan trọng việc huấn luyện an lu va C tham số toán khoảng cách mềm giúp đưa điểm liệu nằm u nf khoảng hai siêu phẳng phân loại vào lớp chúng hay giúp kiếm ll soát lớp khác Khi C lớn mơ hình huấn luyện gần với m oi với liệu tập đào tạo Điều đồng nghĩa với việc mơ hình bị z at nh vừa với liệu đào tạo tạo nên kết tốt với liệu dược đào tạo với liệu khác cần thực khơng có giá trị Vậy có quy luật z gm @ rút ra: l + C tăng, cho phép sai lệch giảm, thu khoảng cách tăng m co + C giảm, cho phép sai lệch tăng, thu khoảng cách giảm an Lu n va ac th si 49 Gamma tham số SVM mà tham số hàm kernel RBF Gamma ảnh hưởng tới mơ hình theo quy luật sau: + gamma tăng, cho phép sai lệch tăng, thu khoảng cách giảm + gamma giảm, cho phép sai lệch giảm, thu khoảng cách tăng Điều hoàn toàn trùng khớp với phần trình bày chương đặc điểm việc học máy cổ điển với SVM Dựa vào quy luật luận văn thử nghiệm với tham số C vào gamma có lu giá trị sau: clf = SVC(C=20.0, gamma=0.00001) an n va Kết thực nghiệm SVM thu được: gh tn to Bảng 3.3 Kết phương pháp học nông SVM p ie SVM Acc (%) 0.724637681 nl w Recall F1 0.75 0.732394366 0.699029126 0.71641791 d oa Presion 0.71559633 va an 0.734693878 ll u nf Không ngáy lu Tiếng ngáy m oi Dựa bảng kết mơ hình SVM ta nhận thấy SVM gần 0.724 z at nh tỉ lệ phát tiếng ngáy/ khơng ngáy gần Tỉ lệ xác khoảng z gm @ 4.2.2 Kết phương pháp CNN m co mơ hình mạng CNN phát tiếng ngáy l Mơ hình học sâu với mạng mơ hình CNN lựa chọn phần 2.4 an Lu n va ac th si 50 Kết thực nghiệm CNN thể sau Bảng 3.4 Kết mơ hình CNN CNN 0.768115942 Acc Recall F1 Tiếng ngáy 0.689189189 0.980769231 0.80952381 Không ngáy 0.966101695 0.80952381 0.703703704 lu Presion an n va p ie gh tn to d oa nl w Mơ hình học CNN đánh giá mơ hình ll u nf va an lu oi m z at nh z l gm @ Hình 3.33 Thực nghiệm độ xác mơ hình CNN qua số lần epoch m co Thời gian mà mơ hình đào tạo hết tổng cộng 17 giây, kiểm tra độ xác an Lu đạt, 0.968 đạt điểm 0.12452 n va ac th si 51 Dựa bảng kết mơ hình học sâu CNN, kết thực nghiệm, kết đo đánh giá mô hình, kết huấn luyện mơ hình ta nhận thấy mơ hình mạng CNN có tỉ lệ xác vượt trội so với phương pháp học sâu với độ xác lên tới 0.768 Các độ đo độ xác phát âm ngáy 0.689 nhỏ nhiều so với việc phát âm khơng phải tiếng ngáy 0.9661 Điều chứng tỏ mơ hình mạng neural học sâu đưa kết tốt nhiều so với mô hình phương pháp học máy bình thường mà phương phám học lu nông SVM Mạng CNN phát cho phát âm ngáy có kết cao an phần mạng sử dụng mạng tích chập Cov1D thích hợp có đặc va n trưng thể tuyến tính theo thời gian đặc trưng qua lớp tích chập tn to mơ hình thể rõ lớp p ie gh 4.2.3 Kết phương pháp LSTM Mơ hình học sâu với mạng mơ hình LSTM lựa chọn phần 2.5 oa nl w mơ hình mạng LSTM phát tiếng ngáy d Kết thực nghiệm LSTM thể sau: ll u nf LSTM va an lu Bảng 3.5 Kết mơ hình LSTM m 0.753623188 oi Acc (%) z at nh Presion Recall F1 0.884615385 0.782978723 Không ngáy 0.842105263 0.621359223 0.715083799 m co l gm 0.702290076 @ z Tiếng ngáy an Lu Mơ hình học LSTM đánh giá mơ hình n va ac th si 52 lu an n va Hình 3.34 Thực nghiệm độ xác mơ hình LSTM qua số lần epoch tn to Thời gian mà mơ hình đào tạo hết tổng cộng 205 giây, kiểm tra độ xác Dựa bảng kết mơ hình học sâu LSTM, kết thực nghiệm, kết p ie gh đạt, 0.7635 đạt điểm : 0.466 nl w đo đánh giá mơ hình, kết huấn luyện mơ hình ta nhận thấy mơ hình oa mạng LSTM có tỉ lệ xác vượt trội so với phương pháp học sâu với độ d xác lên tới 0.7536 Các độ đo độ xác phát âm ngáy lu u nf 0.8421 va an 0.7022 nhỏ nhiều so với việc phát âm khơng phải tiếng ngáy ll Điều chứng tỏ mơ hình mạng neural LSTM đưa kết tốt so với m oi mơ hình phương pháp học máy bình thường mà phương phám học nông z at nh SVM khơng với mơ hình học sâu CNN Mạng LSTM phát cho z phát âm ngáy có kết phần đặc điểm mơ gm @ hình mạng sử dụng liệu từ khứ để đoán kết dần cải l thiện sau thời gian, nhận thấy rõ ràng Hình 3.4, mà độ xác mạng CNN m co mơ hình phát tiển từ từ khơng có bứt phá độ xác rõ ràng an Lu n va ac th si 53 4.2.4 Kết phương pháp CNN-LSTM Mơ hình học sâu với mạng mơ hình CNN-LSTM lựa chọn phần 2.6 mơ hình mạng CNN-LSTM phát tiếng ngáy Kết thực nghiệm CNN-LSTM thể sau: Bảng 3.6 Kết mơ hình CNN-LSTM CNN-LSTM Acc (%) 0.917874396 lu an n va Recall F1 0.871794872 0.980769231 0.923076923 0.977777778 0.854368932 0.911917098 gh tn to Tiếng ngáy Presion p ie Không ngáy nl w d oa Mơ hình học CNN-LSTM đánh giá mơ hình ll u nf va an lu oi m z at nh z m co l gm @ Hình 3.35 Thực nghiệm độ xác mơ hình CNN-LSTM qua số lần epoch an Lu n va ac th si 54 Dựa bảng kết mơ hình CNN-LSTM ta nhận thấy thời gian mà mơ hình đào tạo hết tổng cộng 52 giây, kiểm tra độ xác đạt, 0.9772 đạt điểm: 0.0489 Dựa bảng kết mơ hình học sâu CNN-LSTM, kết thực nghiệm, kết đo đánh giá mơ hình, kết huấn luyện mơ hình ta nhận thấy mơ hình mạng CNN-LSTM có tỉ lệ xác vượt trội so với phương pháp học sâu với độ xác lên tới 0.9178 Các độ đo độ xác phát âm ngáy 0.8717 nhỏ so với việc phát âm khơng lu phải tiếng ngáy 0.9777 an Điều chứng tỏ mơ hình mạng neural CNN -LSTM đưa kết tốt va n so với mô hình phương pháp học máy bình thường mà phương phám học tn to nông SVM không với mơ hình học sâu CNN, mạng học sâu LSTM ie gh Mạng CNN -LSTM phát cho phát âm ngáy có kết p phần đặc điểm mô hình mạng sử dụng liệu tích chập từ đặc nl w trưng từ khứ để đoán kết dần cải thiện sau thời gian, oa nhận thấy rõ ràng Hình 3.5, mà độ xác mơ hình d phát tiển từ từ có bứt phá độ xác rõ ràng, nhận thấy mơ hình đạt lu oi m 4.3 Phân tích đánh giá ll u nf tăng độ xác lên va an độ xác lớn từ epoch đầu qua lần sau z at nh Dựa vào kết đánh giá nhận thấy mạng học sâu cho kết phát âm ngáy tốt nhiều so với mạng học nông mà cụ z thể SVM @ gm Độ xác, đánh giá qua độ đo nên phần kết thử xếp từ thấp lên cao sau: m co l nghiệm gồm Pression, Recall, F1-score thấy phương pháp có kết an Lu n va ac th si 55 Bảng 3.7 Độ xác mơ hình lu an Mơ hình Độ xác Mơ hình học nơng SVM 0.724637681 Mơ hình mạng CNN 0.768115942 Mơ hình mạng LSTM 0.753623188 Mơ hình mạng CNN-LSTM 0.917874396 n va tn to gh Kết mơ hình thực nghiệm luận văn nhận thấy p ie rằng, mơ hình mạng học sâu có kết tốt hẳn so với mơ hình mạng học nơng w SVM, kết mơ hình mạng học sâu CNN-LSTM cho kết tốt oa nl nhất, nhờ có kết hợp ưu điểm mơ hình CNN LSTM điều có d tương đồng với nghiên cứu phân lớp âm có liên quan Mơ hình CNN – an lu LSTM khắc phục thiếu sót loại mơ hình sử dụng ll 4.4 Kết luận chương u nf va riêng rẽ mơ hình học sâu khác sở liệu chọn m oi Trong chương trình bày vấn đề: thu thập liệu tiếng ngày; thử z at nh nghiệm mơ hình CNN mơ hình hồi quy RNN phân tích âm qua đánh giá kiến trúc học sâu việc phát tiếng ngáy Sau z gm @ trình thử nghiệm với tập liệu cài đặt với mơ hình, phương pháp học máy khác thu kết tốt thuộc mơ hình mạng học sâu kết hợp l m co CNN-LSTM với kết tốt nhiều so với phương pháp lại an Lu n va ac th si 56 KẾT LUẬN Nghiên cứu phát âm nói chung, tốn phát tiếng ngáy dựa học sâu nói riêng với tơi cơng nghệ mới, thời gian nghiên cứu cịn ngắn nên nhiều vấn đề chưa thực nắm bắt tốt Tuy nhiên, qua trình nghiên cứu, luận văn tìm hiểu sâu giai đoạn từ tiền xử lý liệu đến phướng pháp xử lý âm thanh, phương pháp học máy mà đặc biệt mơ hình học sâu với mạng neural, phương pháp học sâu để xây dựng mơ hình phân lớp liệu (mơ hình hình CNN, LSTM, CNN-LSTM) so sánh với mơ hình học nơng lu an SVM va n Sử dụng mạng neural nói chung hay CNN, LSTM CNN-LSTM nói tn to riêng học sâu hướng có kỹ thuật hiệu toán xử lý Trong tương lai, luận văn phát triển nghiên cứu mơ hình p ie gh chuỗi trở thành xu nhà nghiên cứu nl w khác, giải toán khác theo dõi, nhân diện âm thanh, phát triển d oa thành ứng dụng y tế mà hỗ trợ cho nhiều người cộng đồng ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 57 DANH MỤC CÁC TÀI LIỆU THAM KHẢO [1] PGS.TS Lê Hữu Lập, Bài giảng Phương pháp nghiên cứu khoa học, Học viện Công nghệ BCVT [2] PGS.TS Từ Minh Phương, Giáo trình trí tuệ nhân tạo, Học viện Công nghệ BCVT [3] J Dennis, H D Tran, and H Li, “Spectrogram Image Feature for Sound Event Classification in Mismatched Conditions,” [4] Shawn Hershey, Sourish Chaudhuri, Daniel P W Ellis, Jort F lu an Gemmeke, Aren Jansen, R Channing Moore, Manoj Plakal, Devin Platt, Rif A n va Saurous, Bryan Seybold, Malcolm Slaney, Ron J Weiss, Kevin Wilson, Cnn tn to architectures for large-scale audio classification , gh [5] Shahin Amiriparian, Maurice Gerczuk, Sandra Ottl, Nicholas Cummins, p ie Michael Freitag, Sergey Pugachevskiy, Alice Baird, Björn Schulle, Snore Sound Classification Using Image-based Deep Spectrum Features , oa nl w [6] Jonathan William DennisPublished, (2014), Sound Event Recognition in Unstructured Environments using Spectrogram Image Processing, d an lu [7]  Zixing Zhang,  ,Snore-GANs: Improving Automatic Snore Sound va Classification with Synthesized Data ll u nf [8] Alex Krizhevsky , Ilya Sutskever , Geoffrey E Hinton ImageNet oi m Classification with Deep Convolutional Neural Networks, z at nh [9] Janott, Christoph & Schmitt, Maximilian & Zhang, Yue & Qian, Kun & Pandit, Vedhas & Zhang, Zixing & Heiser, Clemens & Hohenhorst, Winfried & z Herzog, Michael & Hemmert, Werner & Schuller, Björn (2018) Snoring classified: gm @ The Munich-Passau Snore Sound Corpus cost of additional wakefulness: dose-response effects m co cumulative l [10] Van Dongen HP, Maislin G, Mullington JM, Dinges DF The on neurobehavioral functions and sleep physiology from chronic sleep restriction and an Lu total sleep deprivation n va ac th si 58 [11] Thorpy MJ (1990), Classification of sleep disorders J Clin Neurophysiol [12] Shin, H., Cho, J Unconstrained snoring detection using a smartphone during ordinary sleep. BioMed Eng OnLine 13, 116 (2014) [13] F Dalmasso, R Prota, Snoring: Analysis,Measurement, Clinical Implications and Applications, European Respiratory Journal [,14] Weng, Chih-Wen & Lin, Cheng Yuan & Jang, Jyh-Shing (2004) Music Instrument Identification Using MFCC: Erhu as an Example [15] Kang, Bingbing & Dang, Xin & Wei, Ran (2017) Snoring and apnea lu an detection based on hybrid neural networks 57-60 10.1109/ICOT.2017.8336088 n va [16] Khan, Tareq Hasan (2019) A Deep Learning Model for Snoring tn to Detection and Vibration Notification Using a Smart Wearable Gadget Electronics gh [17] Cavusoglu, Mustafa & Poets, Christian & Urschitz, Michael (2017) p ie Acoustics of snoring and automatic snore sound detection in children Physiological Measurement nl w [18] Zhang, Zixing & Han, Jing & Qian, Kun & Janott, Christoph & Guo, d oa Yanan & Schuller, Björn (2020) Snore-GANs: Improving Automatic Snore Sound an lu Classification With Synthesized Data IEEE Journal of Biomedical and Health va Informatics 24 300-310 10.1109/JBHI.2019.2907286 ll u nf [19] Kim, T., Kim, J & Lee, K (2018) Detection of sleep disordered z at nh BioMed Eng OnLine 17, 16 oi m breathing severity using acoustic biomarker and machine learning techniques [20] Cavusoglu, M & Kamasak, Mustafa & Eroğul, O & Çiloglu, Tolga & z Serinagaoglu Dogrusoz, Yesim & Akcam, T (2007) An efficient method for gm @ snore/nonsnore classification of sleep sounds Physiological measurement m co Python l [21] Jason Brownlee (2017), Long Short-Term Memory Networks With [22] Yang, Yang & Zheng, Xiangwei & Yuan, Feng (2018) A Study on an Lu Automatic Sleep Stage Classification Based on CNN-LSTM ICCSE'18: n va ac th si 59 Proceedings of the 3rd International Conference on Crowd Science and Engineering 1-5 10.1145/3265689.3265693 [23] Adrien Ycart and Emmanouil Benetos “A study on LSTM networks for polyphonic music sequence modelling”, 18th International Society for Music Information Retrieval Conference, Suzhou, China, 2017 [24] Kons, Zvi & Toledo-Ronen, Orith (2013) Audio event classification using deep neural networks Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH 1482-1486 lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si