Nghiên cứu một số phương pháp cải thiện chất lượng tín hiệu tiếng nói

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - BÙI THẾ ANH Bùi Thế Anh CÔNG NGHỆ THÔNG TIN NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP CẢI THIỆN CHẤT LƯỢNG TÍN HIỆU TIẾNG NĨI LUẬN VĂN THẠC SĨ KỸ THUẬT KHOÁ 2011B Hà Nội – Năm 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Bùi Thế Anh NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP CẢI THIỆN CHẤT LƯỢNG TÍN HIỆU TIẾNG NĨI Chuyên ngành: Công nghệ thông tin LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS, TS TRỊNH VĂN LOAN Hà Nội – Năm 2013 MỤC LỤC LỜI CAM ĐOAN DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ MỞ ĐẦU 10 Lý chọn luận văn 10 Mục đích nghiên cứu luận văn 11 Đối tượng, phạm vi nghiên cứu luận văn 11 Tóm tắt 11 Phương pháp nghiên cứu 12 CHƯƠNG 1: TỔNG QUAN VỀ XỬ LÝ TÍN HIỆU TIẾNG NĨI 13 1.1 Xử lý tín hiệu số 13 1.1.1 Phổ tín hiệu tiếng nói 14 1.1.2 Phép biến đổi Fourier tín hiệu rời rạc DTFT 15 1.1.3 Sự hội tụ phép biến đổi Fourier 15 1.1.4 Quan hệ biến đổi Z biến đổi Fourier 15 1.1.5 Phép biến đổi Fourier ngược 16 1.1.6 Các tính chất phép biến đổi Fourier 17 1.1.7 Phân tích phổ tín hiệu rời rạc 18 1.1.8 Phổ biên độ phổ pha 18 1.2 Khái niệm tăng cường chất lượng tín hiệu tiếng nói 19 1.3 Lý thuyết nhiễu 20 1.3.1 Nguồn nhiễu 20 1.3.2 Nhiễu tín hiệu tiếng nói mơi trường khác 21 1.4 Khái niệm phân loại tín hiệu 22 1.4.1 Tín hiệu 22 1.4.2 Phân loại tín hiệu 24 1.5 Xử lý tín hiệu tiếng nói 25 1.6 Cơ chế tạo tiếng nói 26 1.6.1 Bộ máy phát âm người 26 1.6.2 Mơ hình kỹ thuật việc tạo tiếng nói 27 1.6.3 Thuộc tính âm học tiếng nói 28 1.6.4 Các loại âm 28 1.7 Mục đích xử lý tín hiệu tiếng nói 29 1.8 Ứng dụng xử lý tín hiệu số 31 CHƯƠNG 2: MỘT SỐ PHƯƠNG PHÁP CẢI THIỆN CHẤT LƯỢNG TÍN HIỆU TIẾNG NĨI 33 2.1 Nhu cầu cải thiện chất lượng tín hiệu tiếng nói 33 2.2 Giới thiệu phương pháp đánh giá chất lượng tín hiệu tiếng nói 33 2.2.1 Đánh giá chủ quan 34 2.2.2 Đánh giá khách quan 35 2.2.3 Đánh giá theo mô cảm nhận nghe người 38 2.3 Một số phương pháp cải thiện chất lượng tín hiệu tiếng nói 40 2.3.1 Một số thuật giải 40 2.3.2 Sơ đồ khối chung Trừ phổ lọc Wienner 40 2.3.3 Thuật giải Trừ phổ 41 2.3.4 Thuật giải lọc Wiener 43 2.3.5 Phát tiếng nói 46 2.3.6 Thuật giải Kalman 49 CHƯƠNG 3: ÁP DỤNG MỘT SỐ THUẬT GIẢI ĐỂ TĂNG CƯỜNG CHẤT LƯỢNG TÍN HIỆU TIẾNG NĨI 54 3.1 Cơ sở liệu tín hiệu tiếng nói 54 3.2 Áp dụng thuật giải để tăng cường chất lượng tín hiệu tiếng nói 54 3.2.1 Trừ phổ 54 3.2.2 Bộ lọc Wiener 60 3.2.3 Bộ lọc Kalman 66 3.3 Quy trình đánh giá chất lượng 72 3.4 So sánh kết đạt 73 KẾT LUẬN 75 Kiến nghị 76 TÀI LIỆU THAM KHẢO 77 PHỤ LỤC 78 P1 MỘT SỐ KẾT QUẢ THỬ NGHIỆM CỦA CÁC GIẢI THUẬT VỚI CÁC TRƯỜNG HỢP CẬP NHẬT NHIỄU KHÁC NHAU 78 P1.1 Trừ phổ 78 P1.2 Bộ lọc Wiener 79 P1.3 Bộ lọc Kalman 81 LỜI CAM ĐOAN Kính gửi: Hội đồng bảo vệ luận văn thạc sĩ Viện Công nghệ Thông tin Truyền thông - Đại học Bách khoa Hà Nội Em tên là: Bùi Thế Anh Hiện học viên cao học lớp KT-CNTT2011B - Viện Công nghệ Thông tin Truyền thông - Đại học Bách khoa Hà Nội Em xin cam đoan nội dung luận văn chép luận văn cơng trình có từ trước Qua đây, em xin gửi lời cảm ơn sâu sắc tới PGS, TS Trịnh Văn Loan tận tình giúp đỡ, định hướng để em hoàn thành luận văn Người thực luận văn Bùi Thế Anh DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Từ viết tắt Tên tiếng Anh Nghĩa tiếng Việt FFT Fast Fourier Transform Phép biến đổi Fourier nhanh SNR Signal Noise Ratio Tỷ số tín hiệu nhiễu SPL Sound Pressure Level Mức áp suất âm ACR Absolute Category Rating Đánh giá theo giá trị tuyệt đối DCR Degradation Category Rating Đánh giá suy giảm chất lượng MOS Mean Opinion Scores Đánh giá theo ý kiến người nghe PESQ Perceptual Evaluation of Speech Lượng giá cảm thụ chất lượng ITU-T Quality tiếng nói International Hiệp hội tiêu chuẩn viễn thơng Telecommunications Union- quốc tế Telecommunication LPC Linear Prediction Coefficients Hệ số tiên đốn tuyến tính LLR Log likehook Ratio Tỷ lệ log tương đồng CEP Cepstrum Distance Provides Phương pháp ước lượng khoảng cách Cepstrum WSS Weighted Spectral Slope Bao phổ có trọng số BS Bark Distortion Phương pháp đo khoảng cách phổ âm lượng IDFT Inverse Discrete Fourier Biển đổi ngược Fourier rời rạc WF Weiner Filter Bộ lọc Weiner VAD Voice Activity Detection Phát tiếng nói Frm Frame Khung tín hiệu FT Fourier Transform Phép biến đổi Fourier IFFT Inverse Fast Fourier Transform Biến đổi ngược Fourier nhanh SNRseg Signal to Noise Ratio segment Độ nhiễu khung tín hiệu KF Kalman Filter IEEE Institute of Electrical Bộ lọc Kalman and Viện kỹ nghệ điện điện tử Electronics Engineers DIG Digital Số hóa ADC Analog Digital Convert Chuyển tín hiệu tương tự sang tín hiệu số DAC Chuyển tín hiệu số sang tín hiệu Digital Analog Convert tương tự DANH MỤC CÁC BẢNG Tên bảng Trang Bảng Đánh giá theo MOS 34 Bảng Đánh giá Threshold 35 Bảng Đánh giá DCR 35 Bảng So sánh kết thuật giải SS, WF, KF 73 Bảng So sánh thời gian thực thuật giải KF, WF, SS 74 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Tên hình vẽ, đồ thị Trang Hình 1.1 Phổ tín hiệu tiếng nói đường bao phổ 14 Hình 1.2 Phổ tín hiệu tiếng nói với số mẫu khác 14 Hình 1.3 Tín hiệu có nhiễu xe ôtô miền thời gian tần số 20 Hình 1.4 Tín hiệu có nhiễu tàu miền thời gian tần số 21 Hình 1.5 Tín hiệu có nhiễu nhà hàng miền thời gian tần số 21 Hình 1.6 Mức nhiễu tín hiệu tiếng nói mơi trường khác 22 Hình 1.7 Mặt cắt dọc quan tạo tiếng nói 26 Hình 1.8 Mơ hình kỹ thuật tạo tiếng nói 27 Hình 1.9 Tín hiệu tương tự ngun âm a 30 Hình 1.10 Phổ tín hiệu nguyên âm a hình 1.9 31 Hình 2.1 Sơ đồ khối chung thuật giải Trừ phổ lọc Wiener 40 Hình 2.2 Lưu đồ thuật giải Trừ phổ phổ cơng suất 43 Hình 2.3 Sơ đồ khối thuật giải Bộ lọc Wiener 45 Hình 2.4 Lưu đồ thuật giải thuật giải lọc Wiener 46 Hình 2.5 Sơ đồ lọc Kalman 50 Hình 2.6 Lưu đồ thuật giải mạch lọc Kalman 53 Hình 3.1 Thuật giải Trừ phổ 55 Hình 3.2 Tín hiệu (gồm nhiễu) miền thời gian 58 Hình 3.3 Phổ tín hiệu (gồm nhiễu) miền tần số 59 Hình 3.4 Tín hiệu giảm nhiễu với thuật giải SS miền thời gian 59 Hình 3.5 Tín hiệu giảm nhiễu với thuật giải SS miền tần số 60 Hình 3.6 Thuật giải lọc Wiener 61 yh_(:,i) = C * xh_(:,i) + R; inov(:,i) = y(:,i) - yh_(:,i); % Hậu nghiệm ước tính trạng thái xh(:,i+1) = xh_(:,i) + K * inov(:,i); % Hậu nghiệm ma trận hiệp biến % ( P(t|t) = (I - K(t)*C) * P(t|t-1) ) Px = Px_ - K*C*Px_; End Tín hiệu đầu vào: file âm WAV với thông số sau: Tần số lấy mẫu (Fs): 16000 Hz, số bits lượng tử: 16 bits, thời lượng: 5s File WAV thể câu nói: “Đây đoạn âm ghi hầm Kim Liên - Hà Nội” bao gồm nhiễu mơi trường xung quanh Tín hiệu (gồm nhiễu) miền thời gian Hình 3.12 Tín hiệu (gồm nhiễu) miền thời gian 69 Hình 3.13 Phổ tín hiệu (gồm nhiễu) miền tần số Tín hiệu tăng cường miền thời gian: Hình 3.14 Tín hiệu giảm nhiễu với thuật giải KF miền thời gian 70 Tín hiệu tăng cường miền tần số Hình 3.15 Tín hiệu giảm nhiễu với thuật giải KF miền tần số Như vậy, ta so sánh tín hiệu tăng cường tín hiệu ban đầu miền thời gian tần số Nhận thấy: - Trong miền thời gian: đồ thị tín hiệu sau tăng cường có độ lớn nhỏ độ lớn tín hiệu ban đầu theo thời gian - Trong miền tần số: Phổ biên độ tín hiệu sau tăng cường nhỏ phổ biên độ tín hiệu ban đầu tần số Với nhiều lần thử nghiệm với biến số đầu vào khác nhau, tín hiệu tăng cường với chất lượng khác Với Var_Pnoise=0.01, Mu_Pnoise=0, Var_Onoise=2, Mu_Onoise=0 cho kết coi tối ưu (bằng cách đánh giá chất lượng cảm nhận người nghe) Kết tối ưu cho thông số đánh giá OE sau: LLR=0.845301 SNRseg=0.778750 PESQ=4.278438 71 3.3 Quy trình đánh giá chất lượng Để đánh giá chất lượng tiếng nói sau xử lý sử dụng hai phương pháp đánh giá dựa chất lượng người nghe cảm nhận (SE) đánh giá dựa phép đo thuộc tính tín hiệu (OE) Trong luận văn phương pháp đánh giá dùng OE, SE dùng làm phương pháp đánh giá bổ sung Do đặc tính thuật giải giảm nhiễu sử dụng luận văn có thơng số ảnh hưởng đến cách thức xử lý chỉnh thông số ta có kết khác tốt, xấu file âm Để có thơng số tốt có nhận xét tính ổn định, thuật giải tốt hay xấu ta phải thực q trình tinh chỉnh thơng số để kết khác từ so sánh đưa thông số tối ưu Q trình thực đánh giá thuật giải Các thuật giải giảm nhiễu Tín hiệu Tiếng nói giảm nhiễu Đánh giá SE Đánh giá OE Nhận xét Chỉnh sửa thông số thuật giải giảm nhiễu Hình 3.16 Quy trình thực đánh giá 72 3.4 So sánh kết đạt LLR SNRSeg PESQ Trừ phổ 0.515617 6.101055 2.684899 Bộ lọc Wiener 0.739000 3.879576 2.204923 Bộ lọc Kalman 0.845301 0.778750 4.278438 Bảng So sánh kết thuật giải SS, WF, KF Giá trị PESQ theo thuật giải lọc Kalman lớn nhất, chứng tỏ tín hiệu tiếng nói theo thuật giải Kalman tốt nhất, sau tới lọc Wiener Trừ phổ PESQKalman > PESQWiener ~ PESQSS Giá trị SNRseg đo độ nhiễu khung tín hiệu theo thuật giải lọc Kalman cho giá trị nhỏ thuật giải Tiếp lọc Wiener Trừ phổ SNRsegKalman < SNRsegWiener < SNRsegSS Giá trị LLR lọc Kalman cho giá trị lớn thuật giải Tiếp lọc Wiener Trừ phổ LLRKalman > LLRWiener > LLRSS Theo lý thuyết nêu chương 2, giá trị cho thấy theo đánh giá OE, thuật giải lọc Kalman đem lại tiếng nói giảm nhiễu tốt nhất, tiếp đến lọc Wiener Trừ phổ Tuy nhiên thuật giải Kalman lại có độ phức tạp thuật giải cao nhất, tiếp đến Bộ lọc Wiener Trừ phổ Vì vậy, thời gian tính tốn thuật giải là: ProcessTimeKalman > ProcessTimeWiener > ProcessTimeSS ProcessTime thời gian thực tính tốn hồn tất để xử lý giảm nhiễu file tín hiệu tiếng nói Đối với xử lý file mẫu tín hiệu tiếng nói gồm nhiễu nêu Các thuật giải cho ta thời gian tính toán sau: 73 Bộ lọc Kalman Bộ lọc Wiener Trừ phổ 4.7736s 1.2012s 0.2496s Bảng So sánh thời gian thực thuật giải KF, WF, SS Kết hợp với kiểm tra đánh giá theo cảm nhận người nghe, thấy phương pháp đánh giá ổn định đủ tin cậy để thực đánh giá tín hiệu tiếng nói qua xử lý Như vậy, qua kết đánh giá OE SE đưa kết luận là: - Đối với loại nhiễu khác tác động thuật giải tăng cường khác - Đối với mức nhiễu khác thuật giải tác động khác 74 KẾT LUẬN Luận văn bước đầu đưa cách xây dựng chương trình giảm nhiễu tín hiệu cho tiếng nói, nhằm tăng cường chất lượng tín hiệu tiếng nói bị nhiễu môi trường Khác với thuật giải số luận văn, tài liệu tìm kiếm mạng, luận văn đưa vấn đề áp dụng thuật giải để đơn giản hóa việc giảm nhiễu tín hiệu tiếng nói dựa lý thuyết Với file âm đầu vào, chương trình thực thuật giải đưa file âm đầu với tiếng nói cải thiện, lọc nhiễu Chất lượng tiếng nói bị suy giảm tác động nhiễu môi trường xung quanh vấn đề quan trọng cần phải giải Việc tìm phương pháp để triệt nhiễu giảm nhiễu tiếng nói ln vấn đề quan tâm Trong dịch vụ truyền thông với phương tiện ngơn ngữ tiếng nói việc giảm nhiễu, cải thiện chất lượng tiếng nói bị nhiễu thiết thực, giúp cho người nghe nghe rõ người nói diễn đạt lời nói Luận văn thực vấn đề: - Tìm hiểu nghiên cứu phương pháp cải thiện chất lượng tiếng nói, tập trung vào thuật giải có giới hiệu là: Trừ phổ, lọc Wiener lọc Kalman - Xây dựng chương trình thực xử lý nhiễu file tiếng nói bị nhiễu môi trường xung quanh dựa thuật giải: Trừ phổ, lọc Wiener lọc Kalman - Thực đánh giá tính hiệu thuật giải môi trường nhiễu mức độ nhiễu khác nhau, từ đưa biện pháp tối ưu hóa thuật giải Kết đạt cho thấy lọc Kalman thuật giải giảm nhiễu tốt lọc Wiener Trừ phổ Các thuật giải giảm nhiễu có hiệu khác môi trường nhiễu khác 75 Tuy nhiên luận văn chưa giải hết vấn đề Speech enhancement nên hướng phát triển luận văn tương lai : - Tìm hiểu, nghiên cứu xây dựng chương trình thực xử lý nhiễu tiếng nói dựa thuật giải khác chủ đề cải thiện chất lượng tín hiệu tiếng nói - Nghiên cứu đưa thuật giải xử lý nhiễu triệt nhiễu chủ đề cải thiện chất lượng tín hiệu tiếng nói Kiến nghị - Phát triển chương trình thực dịch vụ ứng dụng thời gian thực dịch vụ lĩnh vực truyền thông đa phương tiện như: thoại, âm nhạc, truyền hình hội nghị - Đối với dịch vụ không cần áp dụng thời gian thực: Phát triển chương trình thực việc giảm nhiễu, tăng cường chất lượng tín hiệu tiếng nói file ghi âm để biên tập - Nghiên cứu, phát triển thiết bị ghi âm lọc nhiễu dành cho ghi âm trường có nhiễu, tạp âm Tín hiệu tiếng nói sau tăng cường ghi lại thiết bị 76 TÀI LIỆU THAM KHẢO Bárbara Valenciano Martínez (2008), “Speech Enhancement using Kalman Filter”, Universidad Autónoma de Madrid Dr Philipos C Loizou, Chair Dr Louis R Hunt, Dr Issa Panahi (2004), Noise Estimation algorithms for highly non-stationary, The University Texas at DALLAS Hu, Y and Loizou, P (2006), “Evaluation of objective measures for speech enhancement”, Department of Electrical Engineering University of Texas at Dallas Richardson, TX, USA K Sigmon and T A Davis, (2002), MATLAB Primer Sixth Edition Chapman and Hall/CRC, Boca Raton, FL Ma, J., Hu, Y and Loizou, P (2009), “Objective measures for predicting speech intelligibility in noisy conditions based on new band-importance functions”, Journal of the Acoustical Society of America Nguyễn Quốc Trung (2006), Xử lý tín hiệu số, tập (1) (2), NXB Khoa học kỹ thuật P Scalart, J Vieira-Filho (2008), “Speech enhancement based on a priori signal to noise estimation”, in Proc 29th IEEE Int Conf Acoust Speech Signal Processing, Atlanta Philippos C.Loizou (2007), Speech Enhancement Theory and Practice PGS, TS Trịnh Văn Loan (2011), Bài giảng Xử lý tín hiệu số, trường Đại học Bách khoa Hà nội 10 Quackenbush S., Barnwell T., Clements M (2007), “Objective Measure of Speech Quality”, Englewood Cliffs NJ: Prenticu Hall 77 PHỤ LỤC P1 MỘT SỐ KẾT QUẢ THỬ NGHIỆM CỦA CÁC GIẢI THUẬT VỚI CÁC TRƯỜNG HỢP CẬP NHẬT NHIỄU KHÁC NHAU P1.1 Trừ phổ Thử với giá trị Beta để thay đổi cập nhật nhiễu Beta: 0.03 Beta: 0.53 2 1 0 -1 -1 -2 -2 Beta: 1.03 1 0 -1 -1 6 Beta: 1.53 -2 4 -2 Hình P1 Các kết tín hiệu với giá trị Beta khác miền thời gian 78 Beta: 0.03 Beta: 0.53 1000 1000 800 800 600 600 400 400 200 200 0 0.5 1.5 0.5 1.5 4 x 10 x 10 Beta: 1.03 Beta: 1.53 1000 1200 1000 800 800 600 600 400 400 200 200 0.5 1.5 0.5 1.5 4 x 10 x 10 Hình P2 Các kết tín hiệu với giá trị Beta khác miền tần số Thử với giá trị beta khác nhau, với tín hiệu gồm nhiễu khác nhau, tìm giá trị Beta coi tối ưu cho trường hợp mà luận văn nghiên cứu P1.2 Bộ lọc Wiener Thử với giá trị Alpha để thay đổi cập nhật nhiễu 79 Alpha: 0.1 Alpha: 0.38 1.5 1 0.5 0 -0.5 -1 -1 -1.5 -2 Alpha: 0.66 1 0 -1 -1 6 Alpha: 0.94 -2 4 -2 Hình P3 Các kết tín hiệu với giá trị Alpha khác miền thời gian 80 Beta: 0.1 Beta: 0.38 1200 1200 1000 1000 800 800 600 600 400 400 200 200 0 0.5 1.5 0.5 1.5 4 x 10 x 10 Beta: 0.66 Beta: 0.94 1200 1000 1000 800 800 600 600 400 400 200 200 0 0.5 1.5 0 0.5 1.5 x 10 x 10 Hình P4 Các kết tín hiệu với giá trị Alpha khác miền tần số Thử với giá trị Alpha khác nhau, với tín hiệu gồm nhiễu khác nhau, tìm giá trị Alpha coi tối ưu cho trường hợp mà luận văn nghiên cứu P1.3 Bộ lọc Kalman Thử giá trị Var PNoise để thay đổi cập nhật nhiễu 81 Var PNoise: 0.01 Var PNoise: 0.03 1 0.5 0.5 0 -0.5 -0.5 -1 -1 Var PNoise: 0.05 0.5 0.5 0 -0.5 -0.5 4 Var PNoise: 0.07 -1 -1 6 Hình P5 Các kết tín hiệu với giá trị Var PNoise khác miền thời gian 82 Var PNoise: 0.01 Var PNoise: 0.03 400 600 500 300 400 200 300 200 100 100 0 0.5 1.5 0.5 1.5 4 x 10 x 10 Var PNoise: 0.05 Var PNoise: 0.07 600 800 500 600 400 300 400 200 200 100 0 0.5 1.5 0.5 1.5 x 10 x 10 Hình P6 Các kết tín hiệu với giá trị Var Pnoise khác miền tần số Thử với giá trị Var Pnoise khác nhau, với tín hiệu gồm nhiễu khác nhau, tìm giá trị Var Pnoise coi tối ưu cho trường hợp mà luận văn nghiên cứu Ghi chú: với trường hợp nhiễu đặc biệt, không ổn định, biên độ cao thấp khác nhau, ta điều chỉnh biến làm mượt để cập nhật nhiễu, lọc nhiễu cho tín hiệu tiếng nói tốt 83 ... tới số phương pháp, thuật giải để cải thiện chất lượng tín hiệu tiếng nói 1.2 Khái niệm tăng cường chất lượng tín hiệu tiếng nói Tăng cường chất lượng tín hiệu tiếng nói liên quan đến việc cải thiện. .. giá tính hiệu thuật giải tăng cường chất lượng tín hiệu tiếng nói Chương 2: Giới thiệu lý thuyết số phương pháp đo chất lượng tín hiệu tiếng nói số thuật giải dùng để tăng cường chất lượng tín hiệu. .. lý tín hiệu tiếng nói 29 1.8 Ứng dụng xử lý tín hiệu số 31 CHƯƠNG 2: MỘT SỐ PHƯƠNG PHÁP CẢI THIỆN CHẤT LƯỢNG TÍN HIỆU TIẾNG NĨI 33 2.1 Nhu cầu cải thiện chất lượng tín