Một số đánh giá về hiệu quả nhận dạng tiếng nói dùng kỹ thuật phân tích băng con

Một số đánh giá về hiệu quả nhận dạng tiếng nói dùng kỹ thuật phân tích băng con

MỘT SỐ ĐÁNH GIÁ VỀ HIỆU QUẢ NHẬN DẠNG TIẾNG NÓI DÙNG KỸ THUẬT PHÂN TÍCH BĂNG CON

Phùng Trung Nghĩa (Khoa Công nghệ thông tin - ĐH Thái Nguyên)

Tóm tắt

Trong báo cáo này, chúng tôi sử dụng phân tích wavelet rời rạc DWT để phân tích tiếng nói thành các băng con và thực hiện nhận dạng tiếng nói đã phân tích Các kết quả nhận dạng cho thấy các băng con có ảnh hưởng khác nhau tới hiệu quả nhận dạng tiếng nói sạch và tiếng nói có nhiễu Đặc biệt, một số băng con cho hiệu quả nhận dạng cao hơn tiếng nói gốc không phân tích băng con Cụ thể với phân tích DWT, băng A1 là ảnh hưởng nhiều nhất đối với tiếng nói sạch còn băng A2 ảnh hưởng nhiều nhất đối với tiếng nói có nhiễu Các kết quả này cho thấy việc sử dụng phân tích băng con để phân tách ra một số băng tần chọn lọc sẽ cho hiệu quả cao hơn nhận dạng với tiếng nói gốc Các băng con khác nhau ảnh hưởng khác nhau tới hiệu quả nhận dạng cho thấy trong kỹ thuật nhận dạng tiếng nói dùng phân tích băng con, khi kết hợp kết quả nhận dạng trong các băng con để cho ra kết luận nhận dạng cuối cùng thì các băng con cần phải gán các trọng số khác nhau tương ứng với độ ảnh hưởng lên kết quả nhận dạng Ở một khía cạnh khác, các kết quả thực nghiệm ở đây cũng cho thấy việc cắt bỏ các thông tin tần số cao ở một mức độ thích hợp sẽ làm tăng hiệu quả nhận dạng tiếng nói Đây là cơ sở cần thiết để khẳng định việc sử dụng các bộ triệt nhiễu tiếng nói trong khối tiền xử lý của các hệ thống nhận dạng tương ứng với việc cắt bỏ bớt thông tin tần số cao ở một mức độ thích hợp dù loại bỏ một số thông tin quan trọng nhưng vẫn làm tăng kết quả nhận dạng

I Đặt vấn đề

Nhiều nghiên cứu gần đây về nhận dạng tiếng nói quan tâm đến các phương pháp nâng cao tỉ lệ nhận dạng trong môi trường có nhiễu (noise robust speech recognition) Đã có rất nhiều phương pháp được đưa ra, trong đó phương pháp sử dụng biến đổi wavelet theo hai cách tiếp cận là xây dựng bộ triệt nhiễu wavelet trong khối tiền xử lý [6, 14, 15] hoặc sử dụng các đặc trưng wavelet ít nhạy cảm với nhiễu trong khối trích đặc trưng [5, 8, 9, 10, 11, 12] là các phương pháp có nhiều triển vọng Đối với cách tiếp cận dùng khối triệt nhiễu tiền xử lý, do ý tưởng cơ bản của triệt nhiễu dùng wavelet là loại bỏ các hệ số tần số cao (hệ số chi tiết) có mức năng lượng dưới ngưỡng, nên triệt nhiễu dùng wavelet cũng đồng nghĩa với việc cắt bỏ bớt thông tin tần số cao Đối với cách tiếp cận thứ hai dùng các đặc trưng ít nhạy cảm với nhiễu, đặc trưng wavelet liên tục CWT và wavelet gói WPT được sử dụng phổ biến Nhược điểm cơ bản của CWT là vấn đề tốc độ thực thi do khối lượng tính toán lớn Do vậy trong hầu hết các hệ thống nhận dạng sử dụng wavelet với tiếng nói được lấy mẫu với tần số lấy mẫu lớn người ta thường phải giảm tốc độ lấy mẫu tiếng nói xuống 8 KHz để đảm bảo tốc độ thực thi Tuy nhiên, khi giảm tốc độ lấy

mẫu cũng có nghĩa là cắt bỏ bớt các thông tin tần số cao (giảm tốc độ lấy mẫu từ 16 KHz xuống 8 KHz tương ứng với cắt phổ tần tiếng nói từ 8 KHz xuống 4 KHz) Do đó, trong cả hai cách tiếp cận, tiếng nói gốc đều phải cắt bỏ các thông tin tần số cao trong khối tiền xử lý và trích đặc trưng Theo suy luận logic thông thường, việc cắt bỏ các thông tin tần số cao này cũng có thể làm mất các đặc trưng của tiếng nói và ảnh hưởng tới kết quả nhận dạng

Cũng trong thời gian gần đây, trên thế giới đã có một số tác giả đề xuất các phương pháp nhận dạng tiếng nói dùng phân tích băng con trong đó nhận dạng tiếng nói trong từng băng và kết hợp các kết quả lại để cho ra kết quả nhận dạng cuối cùng Các nghiên cứu hiện tại thường sử dụng kỹ thuật đặt trọng số cân bằng (equal weighting) cho các băng con [7] Mặc dù các kết quả thực nghiệm cho thấy các kỹ thuật này nâng cao được hiệu quả nhận dạng đặc biệt với tiếng nói có nhiễu, kỹ thuật đặt trọng số cân bằng không phản ánh được thực tế các băng con khác nhau ảnh hưởng khác nhau tới hiệu quả nhận dạng Vì vậy đánh giá hiệu quả nhận dạng của từng băng con độc lập sẽ là cơ sở để xây dựng một phương pháp đặt trọng số phù hợp cho các băng con

Trong báo cáo này, chúng tôi sử dụng phân tích đa phân giải DWT phân tích tiếng nói thành 5 mức và sau đó tái tạo thành 5 băng tần thấp khác nhau Để đánh giá ảnh hưởng của từng băng tần tới kết quả nhận dạng, các mô hình âm thanh cho mỗi băng tần được lần lượt nhận dạng thử nghiệm sau khi đã huấn luyện với tiếng nói gốc Các kết quả nhận dạng thực nghiệm thu được cho thấy tỉ lệ nhận dạng ứng với mô hình âm thanh băng 1 là lớn nhất với tiếng nói sạch, tỉ lệ nhận dạng ứng với mô hình âm thanh băng 2 là lớn nhất với tiếng nói có nhiễu Điều đó chứng tỏ rằng với phân tích DWT, băng A1 là ảnh hưởng nhiều nhất đối với tiếng nói sạch còn băng A2 ảnh hưởng nhiều nhất đối với tiếng nói có nhiễu Các kết quả nghiên cứu của chúng tôi đã chứng minh thay vì sử dụng toàn bộ băng tần A0 của tiếng nói, việc loại bỏ các thông tin tần số cao (xảy ra khi triệt nhiễu hay giảm tốc độ lấy mẫu) ở một mức nào đó không những sẽ không làm giảm tỉ lệ nhận dạng mà còn nâng cao hiệu quả nhận dạng Các kết quả thực nghiệm này cũng sẽ làm cơ sở để chúng tôi xây dựng một kỹ thuật đặt trọng số phù hợp trong phương pháp nhận dạng tiếng nói dùng phân tích băng con sẽ được chúng tôi nghiên cứu tiếp theo.

II Cơ sở về wavelet

Trong miền thời gian liên tục, biến đổi wavelet liên tuc CWT của một tín hiệu x(t) được định nghĩa là một tập các hàm wavelet cơ sở ab( )t , trong đó a là tham số tỉ lệ, b là tham số dịch

   (1)

Trong SCWT, wavelet mẹ được cắt từ vùng thời gian liên tục từ - đến  Wavelet được lấy mẫu với khoảng cách mẫu bằng:

 (3) Trong đó N0 là số lượng mẫu có độ phân giải đủ lớn đối với tỉ lệ nhỏ nhất (tần số lớn nhất) Tỉ lệ của wavelet mẹ được lấy mẫu được tính bằng cách thay đổi khoảng cách mẫu Ta T /a Hệ số tỉ lệ a1 (trường hợp Dyadic SCWT a =2m), tham số dịch là cố định bằng một hằng số b0 để tránh việc lấy mẫu không đều

SCWT khi đó được định nghĩa như sau: 0

 

(4) với

ˆa( ) | |a ˆ(a )

    (6) Biến đổi wavelet rời rạc DWT và wavelet gói WPT được thực hiện dựa trên cấu trúc phân rã các băng lọc thỏa mãn một số ràng buộc Ví dụ như với DWT, mỗi mức phân rã sẽ cho ra hai nhánh lọc thông cao và thông thấp theo sau bởi các bộ giảm mẫu 2 lần DWT sẽ thực hiện việc đa phân rã lặp lại trên nhánh thông thấp, trong khi đó cây phân rã trong WPT có thể lặp lại việc phân rã trong bất kì nhánh nào (thông cao hoặc thông thấp) Kết quả của phân tích WPT sẽ chia vùng tần số biểu diễn tín hiệu thành nhiều băng con và cho phép khôi phục lại tín hiệu ban đầu từ các hệ số wavelet trong các băng con này

Hình 1 Lọc một tầng DWT cho xấp xỉ và chi tiết

Hình 2 Phân tích wavelet gói

III Phân rã DWT và tái tạo các băng tần thấp

Hình 3 biểu diễn phân tích wavelet 5 mức của tín hiệu tiếng nói S Trong đó, Di là thành phần chi tiết mức i, Ai là thành phần xấp xỉ mức i của tiếng nói gốc S Trong nghiên cứu này, chúng tôi thực nghiệm với tiếng nói có tần số lấy mẫu 16 KHz (có độ rộng phổ tần là 8 KHz), do đó các băng tần thấp được tái tạo tương ứng là A0 : 0 – 8000 Hz (băng tần gốc không phân rã), A1 : 0 – 4000 Hz (băng tần thấp tái tạo từ phân rã mức 1), , A5 : 0 – 250 Hz (băng tần thấp tái tạo từ phân rã mức 5) Bảng 1 hiển thị các băng tần thấp được tái tạo của tiếng nói

IV Nhận dạng các băng tần tiếng nói liên tục DWT được tái tạo trong hệ thống quay số tự động bằng tiếng nói tiếng Việt

1 Chuẩn bị dữ liệu

Dữ liệu tiếng nói được thu từ 5 nam và 5 nữ nói đủ số cụm từ trong bộ dữ liệu, mỗi người thu 1 lần ở tần số lấy mẫu 16 KHz, 16 bit / 1 mẫu Tất cả các giọng nói đều là giọng miền Bắc từ một số tỉnh, thành như: Thái Nguyên, Thái Bình, Thanh Hóa, Nghệ An, Tiếng nói được thu trong phòng đóng kín cửa có chất lượng cách âm khá tốt

Tổng số có 99 cụm từ các số điện thoại nội bộ trong khoảng 101 đến 199, 10 cụm từ các tên riêng, như vậy có tổng cộng có 10x109 = 1090 cụm từ trong bộ dữ liệu dùng để huấn luyện Đánh giá kết quả nhận dạng với tiếng nói sạch và tiếng nói có nhiễu Gauss trắng nhân tạo Trong đó 2 nam, 2 nữ (không tham gia quá trình huấn luyện) mỗi người nói đủ 109 cụm từ Tổng cộng số lần nhận dạng thử là 2x109 = 218 lần

2 Môi trường xây dựng hệ thống

Chúng tôi xây dựng hệ thống nhận dạng trên MATLAB 7.01 Trong MATLAB 7.01, các Toolbox Signal Processing, Wavelet, Statistic HMM hỗ trợ hầu hết các hàm cần thiết cho quá trình tiền xử lý và trích đặc trưng, huấn luyện và

nhận dạng

3 Tiền xử lý và phân khung tiếng nói

Tiếng nói trước khi tham số hoá được làm rõ bằng bộ lọc với phương trình sai phân:

( )( )(1)

s ns nas n với a = 0.97(7)

Sau đó, tiếng nói tại mỗi băng tần được phân thành các khung 20 ms, 10 ms chồng lấp, sử dụng cửa sổ Hamming 32 ms cho mỗi khung

4 Trích đặc trưng

Chúng tôi sử dụng phương pháp trích đặc trưng MFCC Số hệ số MFCC là 12 cho mỗi khung, chung tôi bổ sung thêm đặc trưng log năng lượng và F0 (xác định theo phương pháp AMDF), các hệ số đạo hàm bậc nhất, bậc hai tạo thành một tập vector đặc trưng 42 đặc tính và được dùng làm đầu vào cho mô hình HMM của hệ thống nhận dạng

5 Mô hình HMM

Hệ thống nhận dạng sử dụng mô hình HMM trái phải 5 trạng thái, để phục vụ nhận dạng liên tục, trạng thái sil cho lối vào, ra được sử dụng để kết hợp các mô hình HMM với nhau Hàm phân bố xác suất quan sát được mô hình bằng 3 pha trộn Gaussian

V Kết quả nhận dạng đối với từng băng con

Kết quả nhận dạng với toàn băng và từng băng con được cho trong bảng 2 Chúng ta thấy trong cả hai trường hợp tiếng nói sạch và có nhiễu Gauss trắng SNR = 10 dB các băng con A1, A2 đều cho kết quả nhận dạng tốt hơn toàn băng A0 (với tiếng nói có nhiễu thậm chí băng A3 cũng cho kết quả nhận dạng tốt hơn toàn băng A0) Các băng tần A4

và A5 cho kết quả nhận dạng rất thấp

Với tiếng nói sạch kết quả nhận dạng trên băng con A1 (0 – 4000 Hz) là cao nhất, với tiếng nói có nhiễu, kết quả nhận dạng trên băng con A2 (0 – 2000 Hz) cho kết quả cao nhất

Các kết quả thực nghiệm cũng cho thấy khi sử dụng kỹ thuật nhận dạng dùng phân tích băng con, các băng con khác nhau cần phải được gán các trọng số khác nhau do chúng ảnh hưởng khác nhau tới hiệu quả nhận dạng

Trong nghiên cứu này, chúng tôi chưa tập trung xây dựng một hệ thống nhận dạng hoàn chỉnh trong môi trường có nhiễu Trong các nghiên cứu tiếp theo, chúng tôi sẽ hoàn thiện về mặt phương pháp và xây dựng thực nghiệm hệ thống nhận dạng tiếng Việt liên tục trong môi trường có nhiễu

Tài liệu tham khảo

[1] Lê Tiến Thường, Hoàng Đình Chiến, Vietnamese Speech Recognition Applied to Robot Communications,

Au Journal of Technology, Published by Assumption University (ABAC) Hua Mak, Bangkok, Thailand, 2004

[2] Phùng Trung Nghĩa, Nhận dạng tiếng Việt sử dụng biến đổi Wavelet và mô hình Markov ẩn, Luận văn thạc sỹ, Đại học Quốc Gia Hà Nội, 2006

[3] Q.C.Nguyen, Eric Castelli, Ngoc-Yen Pham , Tone Recognition for Vietnamese, Euro-Speech 2003,

Geneva

[4] Thang Tat Vu, Dung Tien Nguyen, Mai Chi Luong,

John-Paul Hosom, Vietnamese Large Vocabulary Continuous Speech Recognition, EuroSpeech05 International Conference, 2005

[5] Beng T TAN, Minyue Fu, Andrew Spray, Phillip

Dermody, The use of wavelet transforms in phoneme recognition, 1994

[6] Donoho, D L, “Denoising via soft thresholding'', IEEE Trans Information Theory, 1995

[7] Long Yan, Gang Liu, and Jun Guo, A Study on Robustness of Large Vocabulary Mandarin

Chinese Continuous Speech Recognition System Based on Wavelet Analysis, ICAPR 2005, NCS 3686, pp 497

– 504, 2005

[8] M Krishnan, C Neophytou, and G Prescott,

Wavelet transform speech recognition using vector quantization, dynamic time wraping and articicial neural networks, 1994

[9] O Farooq, S Datta, Phoneme recognition using wavelet based features, Information Sciences 150 5–

15, 2003

[10] R Favero and R King, “Wavelet Parameterization for Speech Recognition” Int Conf Signal Processing

Applications and Technology, Santa Clara, Vo12 pp 1444-1449, 1993

[11] R Favero and R King, Wavelet Parameterization for Speech Recognition,Variations in Translation and Scale Parameters International Symposium on Speech,

Image Processing and Neural Networks, Hong Kong, 13-16 April 1994

[12] Robert Modic, Borge Lindberg, Bojan Petek,

Comparative Wavelet and MFCC Speech Recognition Experiments on the Slovenian and English SpeechDat2,

NOLISP-2003

[13] Steve Young, HTK Speech Recognition Toolkit,

Cambridge University Engineering Department, http://htk.eng.cam.ac.uk/

[14] S.F Boll, “Suppression of Acoustic Noise in Speech Using Spectral Subtraction”, IEEE Transactions on Acoustics, Speech, and Signal Processing, vol 27, April 1979, pp 113-120

[15] Y Ephraim and D Malah, “Speech enhancement using a minimum mean square error log-spectral amplitude estimator” IEEE Trans on ASSP, 1985, pp

443-445.

Summary

SOME EVALUATIONS OF SPEECH RECOGNITION PERFORMANCE USING SUBBAND CODING

In this paper, we use the Discrete Wavelet Transform to analyze input speech into subbands and recognize the analized speech The recognition results show that each subband influence differently to the clean and noisy speech recognition performance Esspecially, some subbands used as input for recognition giving the higher performance than using original speech as the input of recognition system The A1 band influences much to clean speech recognition and the A2 influences much to noisy speech recognition The experimental results therefore show that using subband coding is a good speech recognition technique Moreover, the influence of each subband is different making a disicion that we must build a weighting technique for subband speech recognition In addition, the experimental results show that removing the high frequency of original speech with suitable level will get the better recognition performance This is an importance scientific base of speech denoise methods which removes the higher frequency in noisy input speech

Keyword: Speech Recognition, Sub-band Speech Recognition, Wavelet, DWT