Một số đánh giá về hiệu quả nhận dạng tiếng nói dùng kỹ thuật phân tích băng con

Trong báo cáo này, chúng tôi sử dụng phân tích wavelet rời rạc DWT để phân tích tiếng nói thành các băng con và thực hiện nhận dạng tiếng nói đã phân tích. Các kết quả nhận dạng cho thấy các băng con có ảnh hưởng khác nhau tới hiệu quả nhận dạng tiếng nói sạch và tiếng nói có nhiễu. Đặc biệt, một số băng con cho hiệu quả nhận dạng cao hơn tiếng nói gốc không phân tích băng con. Cụ thể với phân tích DWT, băng A1 là ảnh hưởng nhiều nhất đối với tiếng nói sạch còn băng A2 ảnh hưởng nhiều nhất đối với tiếng nói có nhiễu. Các kết quả này cho thấy việc sử dụng phân tích băng con để phân tách ra một số băng tần chọn lọc sẽ cho hiệu quả cao hơn nhận dạng với tiếng nói gốc. Các băng con khác nhau ảnh hưởng khác nhau tới hiệu quả nhận dạng cho thấy trong kỹ thuật nhận dạng tiếng nói dùng phân tích băng con, khi kết hợp kết quả nhận dạng trong các băng con để cho ra kết luận nhận dạng cuối cùng thì các băng con cần phải gán các trọng số khác nhau tương ứng với độ ảnh hưởng lên kết quả nhận dạng. Ở một khía cạnh khác, các kết quả thực nghiệm ở đây cũng cho thấy việc cắt bỏ các thông tin tần số cao ở một mức độ thích hợp sẽ làm tăng hiệu quả nhận dạng tiếng nói. Đây là cơ sở cần thiết để khẳng định việc sử dụng các bộ triệt nhiễu tiếng nói trong khối tiền xử lý của các hệ thống nhận dạng tương ứng với việc cắt bỏ bớt thông tin tần số cao ở một mức độ thích hợp dù loại bỏ một số thông tin quan trọng nhưng vẫn làm tăng kết quả nhận dạng

MỘT SỐ ĐÁNH GIÁ VỀ HIỆU QUẢ NHẬN DẠNG TIẾNG NÓI

DÙNG KỸ THUẬT PHÂN TÍCH BĂNG CON

Phùng Trung Nghĩa (Khoa Công nghệ thông tin - ĐH Thái Nguyên)

Tóm tắt

Trong báo cáo này, chúng tôi sử dụng phân tích wavelet rời rạc DWT để phân tích tiếng nói thành các băng con và thực hiện nhận dạng tiếng nói đã phân tích Các kết quả nhận dạng cho thấy các băng con có ảnh hưởng khác nhau tới hiệu quả nhận dạng tiếng nói sạch và tiếng nói có nhiễu Đặc biệt, một số băng con cho hiệu quả nhận dạng cao hơn tiếng nói gốc không phân tích băng con Cụ thể với phân tích DWT, băng A1 là ảnh hưởng nhiều nhất đối với tiếng nói sạch còn băng A2 ảnh hưởng nhiều nhất đối với tiếng nói có nhiễu Các kết quả này cho thấy việc sử dụng phân tích băng con để phân tách ra một số băng tần chọn lọc sẽ cho hiệu quả cao hơn nhận dạng với tiếng nói gốc Các băng con khác nhau ảnh hưởng khác nhau tới hiệu quả nhận dạng cho thấy trong kỹ thuật nhận dạng tiếng nói dùng phân tích băng con, khi kết hợp kết quả nhận dạng trong các băng con để cho ra kết luận nhận dạng cuối cùng thì các băng con cần phải gán các trọng số khác nhau tương ứng với độ ảnh hưởng lên kết quả nhận dạng Ở một khía cạnh khác, các kết quả thực nghiệm ở đây cũng cho thấy việc cắt bỏ các thông tin tần số cao ở một mức độ thích hợp sẽ làm tăng hiệu quả nhận dạng tiếng nói Đây là cơ sở cần thiết để khẳng định việc sử dụng các bộ triệt nhiễu tiếng nói trong khối tiền xử lý của các hệ thống nhận dạng tương ứng với việc cắt

bỏ bớt thông tin tần số cao ở một mức độ thích hợp dù loại bỏ một số thông tin quan trọng nhưng vẫn làm tăng kết quả nhận dạng

I Đặt vấn đề

Nhiều nghiên cứu gần đây về nhận dạng tiếng

nói quan tâm đến các phương pháp nâng cao tỉ lệ

nhận dạng trong môi trường có nhiễu (noise robust

speech recognition) Đã có rất nhiều phương pháp

được đưa ra, trong đó phương pháp sử dụng biến

đổi wavelet theo hai cách tiếp cận là xây dựng bộ

triệt nhiễu wavelet trong khối tiền xử lý [6, 14, 15]

hoặc sử dụng các đặc trưng wavelet ít nhạy cảm

với nhiễu trong khối trích đặc trưng [5, 8, 9, 10,

11, 12] là các phương pháp có nhiều triển vọng

Đối với cách tiếp cận dùng khối triệt nhiễu tiền xử

lý, do ý tưởng cơ bản của triệt nhiễu dùng wavelet

là loại bỏ các hệ số tần số cao (hệ số chi tiết) có

mức năng lượng dưới ngưỡng, nên triệt nhiễu

dùng wavelet cũng đồng nghĩa với việc cắt bỏ bớt

thông tin tần số cao Đối với cách tiếp cận thứ hai

dùng các đặc trưng ít nhạy cảm với nhiễu, đặc

trưng wavelet liên tục CWT và wavelet gói WPT

được sử dụng phổ biến Nhược điểm cơ bản của

CWT là vấn đề tốc độ thực thi do khối lượng tính

toán lớn Do vậy trong hầu hết các hệ thống nhận

dạng sử dụng wavelet với tiếng nói được lấy mẫu

với tần số lấy mẫu lớn người ta thường phải giảm

tốc độ lấy mẫu tiếng nói xuống 8 KHz để đảm bảo

tốc độ thực thi Tuy nhiên, khi giảm tốc độ lấy

mẫu cũng có nghĩa là cắt bỏ bớt các thông tin tần

số cao (giảm tốc độ lấy mẫu từ 16 KHz xuống 8 KHz tương ứng với cắt phổ tần tiếng nói từ 8 KHz xuống 4 KHz) Do đó, trong cả hai cách tiếp cận, tiếng nói gốc đều phải cắt bỏ các thông tin tần số cao trong khối tiền xử lý và trích đặc trưng Theo suy luận logic thông thường, việc cắt bỏ các thông tin tần

số cao này cũng có thể làm mất các đặc trưng của tiếng nói và ảnh hưởng tới kết quả nhận dạng

Cũng trong thời gian gần đây, trên thế giới đã

có một số tác giả đề xuất các phương pháp nhận dạng tiếng nói dùng phân tích băng con trong đó nhận dạng tiếng nói trong từng băng và kết hợp các kết quả lại để cho ra kết quả nhận dạng cuối cùng Các nghiên cứu hiện tại thường sử dụng kỹ thuật đặt trọng số cân bằng (equal weighting) cho các băng con [7] Mặc dù các kết quả thực nghiệm cho thấy các kỹ thuật này nâng cao được hiệu quả nhận dạng đặc biệt với tiếng nói có nhiễu, kỹ thuật đặt trọng số cân bằng không phản ánh được thực tế các băng con khác nhau ảnh hưởng khác nhau tới hiệu quả nhận dạng Vì vậy đánh giá hiệu quả nhận dạng của từng băng con độc lập sẽ là cơ sở

để xây dựng một phương pháp đặt trọng số phù hợp cho các băng con

Trong báo cáo này, chúng tôi sử dụng phân

tích đa phân giải DWT phân tích tiếng nói thành 5

mức và sau đó tái tạo thành 5 băng tần thấp khác

nhau Để đánh giá ảnh hưởng của từng băng tần

tới kết quả nhận dạng, các mô hình âm thanh cho

mỗi băng tần được lần lượt nhận dạng thử nghiệm

sau khi đã huấn luyện với tiếng nói gốc Các kết

quả nhận dạng thực nghiệm thu được cho thấy tỉ lệ

nhận dạng ứng với mô hình âm thanh băng 1 là lớn

nhất với tiếng nói sạch, tỉ lệ nhận dạng ứng với mô

hình âm thanh băng 2 là lớn nhất với tiếng nói có

nhiễu Điều đó chứng tỏ rằng với phân tích DWT,

băng A1 là ảnh hưởng nhiều nhất đối với tiếng nói

sạch còn băng A2 ảnh hưởng nhiều nhất đối với

tiếng nói có nhiễu Các kết quả nghiên cứu của

chúng tôi đã chứng minh thay vì sử dụng toàn bộ

băng tần A0 của tiếng nói, việc loại bỏ các thông

tin tần số cao (xảy ra khi triệt nhiễu hay giảm tốc

độ lấy mẫu) ở một mức nào đó không những sẽ

không làm giảm tỉ lệ nhận dạng mà còn nâng cao

hiệu quả nhận dạng Các kết quả thực nghiệm này

cũng sẽ làm cơ sở để chúng tôi xây dựng một kỹ

thuật đặt trọng số phù hợp trong phương pháp

nhận dạng tiếng nói dùng phân tích băng con sẽ

được chúng tôi nghiên cứu tiếp theo

II Cơ sở về wavelet

Trong miền thời gian liên tục, biến đổi wavelet

liên tuc CWT của một tín hiệu x(t) được định

nghĩa là một tập các hàm wavelet cơ sở ab( )t ,

trong đó a là tham số tỉ lệ, b là tham số dịch

ab

t b t

a

* 1

a a





CWT được tính toán bằng các hệ số tại các tỉ

lệ khác nhau ở các đoạn khác nhau của tín hiệu

Tính toán các hệ số wavelet ở mọi tỷ lệ dẫn tới

một khối lượng tính toán rất lớn Ta có thể chọn

một tập con các tỉ lệ và vị trí để giảm sự phức tạp

tính toán bằng cách dùng phép biến đổi wavelet

SCWT (Sampled CWT), DWT (Discrete Wavelet

Transform)

Trong SCWT, wavelet mẹ được cắt từ vùng

thời gian liên tục từ - đến  Wavelet được

lấy mẫu với khoảng cách mẫu bằng:

0

2

T N







 (3)

Trong đó N0 là số lượng mẫu có độ phân giải

đủ lớn đối với tỉ lệ nhỏ nhất (tần số lớn nhất) Tỉ lệ của wavelet mẹ được lấy mẫu được tính bằng cách thay đổi khoảng cách mẫu T a T /a Hệ số tỉ

lệ a1 (trường hợp Dyadic SCWT a =2m), tham số dịch là cố định bằng một hằng số b0 để tránh việc lấy mẫu không đều

SCWT khi đó được định nghĩa như sau:

0

0

[ /T ] + nb

*

k= - [ /T ] + nb

SCWT (a,n)= f(k) (k nb)

 

 







(4) với

1 2

a k a kTa k



(5)

và đáp ứng tần số là

1 2

ˆa( ) | |a ˆ(a )

T



Biến đổi wavelet rời rạc DWT và wavelet gói WPT được thực hiện dựa trên cấu trúc phân rã các băng lọc thỏa mãn một số ràng buộc Ví dụ như với DWT, mỗi mức phân rã sẽ cho ra hai nhánh lọc thông cao và thông thấp theo sau bởi các bộ giảm mẫu 2 lần DWT sẽ thực hiện việc đa phân rã lặp lại trên nhánh thông thấp, trong khi đó cây phân rã trong WPT có thể lặp lại việc phân rã trong bất kì nhánh nào (thông cao hoặc thông thấp) Kết quả của phân tích WPT sẽ chia vùng tần

số biểu diễn tín hiệu thành nhiều băng con và cho phép khôi phục lại tín hiệu ban đầu từ các hệ số wavelet trong các băng con này

Hình 1 Lọc một tầng DWT cho xấp xỉ và chi tiết

Hình 2 Phân tích wavelet gói

III Phân rã DWT và tái tạo các băng tần thấp

Hình 3 biểu diễn phân tích wavelet 5 mức của

tín hiệu tiếng nói S Trong đó, Di là thành phần chi

tiết mức i, Ai là thành phần xấp xỉ mức i của tiếng

nói gốc S Trong nghiên cứu này, chúng tôi thực

nghiệm với tiếng nói có tần số lấy mẫu 16 KHz

(có độ rộng phổ tần là 8 KHz), do đó các băng tần

thấp được tái tạo tương ứng là A0 : 0 – 8000 Hz

(băng tần gốc không phân rã), A1 : 0 – 4000 Hz

(băng tần thấp tái tạo từ phân rã mức 1), , A5 : 0

– 250 Hz (băng tần thấp tái tạo từ phân rã mức 5)

Bảng 1 hiển thị các băng tần thấp được tái tạo của

tiếng nói

Hình 3 Cây phân rã 5 mức

Bảng 1 Các băng tần thấp Ai được tái tạo ứng với các

mức phân rã

Chúng tôi sử dụng wavelet Daubechies 8 để

phân rã tiếng nói và lần lượt thực hiện huấn luyện

và nhận dạng với tiếng nói gốc (A0) và các tiếng

nói tần thấp được tái tạo (A1 – A5)

IV Nhận dạng các băng tần tiếng nói liên tục DWT được tái tạo trong hệ thống quay số tự động bằng tiếng nói tiếng Việt

1 Chuẩn bị dữ liệu

Dữ liệu tiếng nói được thu từ 5 nam và 5 nữ nói đủ số cụm từ trong bộ dữ liệu, mỗi người thu 1 lần ở tần số lấy mẫu 16 KHz, 16 bit / 1 mẫu Tất

cả các giọng nói đều là giọng miền Bắc từ một số tỉnh, thành như: Thái Nguyên, Thái Bình, Thanh Hóa, Nghệ An, Tiếng nói được thu trong phòng đóng kín cửa có chất lượng cách âm khá tốt Tổng số có 99 cụm từ các số điện thoại nội bộ trong khoảng 101 đến 199, 10 cụm từ các tên riêng, như vậy có tổng cộng có 10x109 = 1090 cụm từ trong bộ dữ liệu dùng để huấn luyện Đánh giá kết quả nhận dạng với tiếng nói sạch và tiếng nói có nhiễu Gauss trắng nhân tạo Trong đó 2 nam, 2 nữ (không tham gia quá trình huấn luyện) mỗi người nói đủ 109 cụm từ Tổng cộng số lần nhận dạng thử là 2x109 = 218 lần

2 Môi trường xây dựng hệ thống

Chúng tôi xây dựng hệ thống nhận dạng trên MATLAB 7.01 Trong MATLAB 7.01, các Toolbox Signal Processing, Wavelet, Statistic HMM hỗ trợ hầu hết các hàm cần thiết cho quá trình tiền xử lý và trích đặc trưng, huấn luyện và

nhận dạng

3 Tiền xử lý và phân khung tiếng nói

Tiếng nói trước khi tham số hoá được làm rõ bằng bộ lọc với phương trình sai phân:

( ) ( ) ( 1)

(7) Sau đó, tiếng nói tại mỗi băng tần được phân thành các khung 20 ms, 10 ms chồng lấp, sử dụng cửa sổ Hamming 32 ms cho mỗi khung

4 Trích đặc trưng

Chúng tôi sử dụng phương pháp trích đặc trưng MFCC Số hệ số MFCC là 12 cho mỗi khung, chung tôi bổ sung thêm đặc trưng log năng lượng

và F0 (xác định theo phương pháp AMDF), các hệ

số đạo hàm bậc nhất, bậc hai tạo thành một tập vector đặc trưng 42 đặc tính và được dùng làm đầu vào cho mô hình HMM của hệ thống nhận dạng

5 Mô hình HMM

Hệ thống nhận dạng sử dụng mô hình HMM

trái phải 5 trạng thái, để phục vụ nhận dạng liên

tục, trạng thái sil cho lối vào, ra được sử dụng để

kết hợp các mô hình HMM với nhau Hàm phân

bố xác suất quan sát được mô hình bằng 3 pha trộn

Gaussian

V Kết quả nhận dạng đối với từng băng con

Kết quả nhận dạng với toàn băng và từng băng

con được cho trong bảng 2 Chúng ta thấy trong cả

hai trường hợp tiếng nói sạch và có nhiễu Gauss

trắng SNR = 10 dB các băng con A1, A2 đều cho

kết quả nhận dạng tốt hơn toàn băng A0 (với tiếng

nói có nhiễu thậm chí băng A3 cũng cho kết quả

nhận dạng tốt hơn toàn băng A0) Các băng tần A4

và A5 cho kết quả nhận dạng rất thấp

Với tiếng nói sạch kết quả nhận dạng trên băng

con A1 (0 – 4000 Hz) là cao nhất, với tiếng nói có

nhiễu, kết quả nhận dạng trên băng con A2 (0 –

2000 Hz) cho kết quả cao nhất

SNR=10dB

Bảng 2 Kết quả nhận dạng tiếng nói toàn băng và các

băng con

VI Kết luận

Qua các kết quả thực nghiệm chứng tỏ việc

loại bỏ bớt các thành phần tần số cao (thông qua

các thao tác lọc, triệt nhiễu hay giảm tốc độ lấy

mẫu, ) không những không làm giảm kết quả

nhận dạng mà ở một mức độ nào đó còn làm tăng

kết quả nhận dạng so với tiếng nói gốc Đặc biệt

với tiếng nói có nhiễu, nhận dạng trực tiếp với

tiếng nói gốc cho kết quả rất thấp so với các tín

hiệu băng con đã lọc bỏ phần cao tần

Các kết quả thực nghiệm cũng cho thấy khi sử dụng kỹ thuật nhận dạng dùng phân tích băng con, các băng con khác nhau cần phải được gán các trọng số khác nhau do chúng ảnh hưởng khác nhau tới hiệu quả nhận dạng

Trong nghiên cứu này, chúng tôi chưa tập trung xây dựng một hệ thống nhận dạng hoàn chỉnh trong môi trường có nhiễu Trong các nghiên cứu tiếp theo, chúng tôi sẽ hoàn thiện về mặt phương pháp

và xây dựng thực nghiệm hệ thống nhận dạng tiếng Việt liên tục trong môi trường có nhiễu

Tài liệu tham khảo

[1] Lê Tiến Thường, Hoàng Đình Chiến, Vietnamese Speech Recognition Applied to Robot Communications,

Au Journal of Technology, Published by Assumption University (ABAC) Hua Mak, Bangkok, Thailand,

2004

[2] Phùng Trung Nghĩa, Nhận dạng tiếng Việt sử dụng biến đổi Wavelet và mô hình Markov ẩn, Luận văn thạc

sỹ, Đại học Quốc Gia Hà Nội, 2006

[3] Q.C.Nguyen, Eric Castelli, Ngoc-Yen Pham , Tone Recognition for Vietnamese, Euro-Speech 2003,

Geneva

[4] Thang Tat Vu, Dung Tien Nguyen, Mai Chi Luong,

John-Paul Hosom, Vietnamese Large Vocabulary Continuous Speech Recognition, EuroSpeech05 International Conference, 2005

[5] Beng T TAN, Minyue Fu, Andrew Spray, Phillip

Dermody, The use of wavelet transforms in phoneme recognition, 1994

[6] Donoho, D L, “Denoising via soft thresholding'', IEEE Trans Information Theory, 1995

[7] Long Yan, Gang Liu, and Jun Guo, A Study on Robustness of Large Vocabulary Mandarin

Chinese Continuous Speech Recognition System Based

on Wavelet Analysis, ICAPR 2005, NCS 3686, pp 497

– 504, 2005

[8] M Krishnan, C Neophytou, and G Prescott,

Wavelet transform speech recognition using vector quantization, dynamic time wraping and articicial neural networks, 1994

[9] O Farooq, S Datta, Phoneme recognition using wavelet based features, Information Sciences 150 5–

15, 2003

[10] R Favero and R King, “Wavelet Parameterization

for Speech Recognition” Int Conf Signal Processing

Applications and Technology, Santa Clara, Vo12 pp

1444-1449, 1993

[11] R Favero and R King, Wavelet Parameterization

for Speech Recognition,Variations in Translation and

Scale Parameters International Symposium on Speech,

Image Processing and Neural Networks, Hong Kong,

13-16 April 1994

[12] Robert Modic, Borge Lindberg, Bojan Petek,

Comparative Wavelet and MFCC Speech Recognition

Experiments on the Slovenian and English SpeechDat2,

NOLISP-2003

[13] Steve Young, HTK Speech Recognition Toolkit,

Cambridge University Engineering Department,

http://htk.eng.cam.ac.uk/

[14] S.F Boll, “Suppression of Acoustic Noise in

Speech Using Spectral Subtraction”, IEEE

Transactions on Acoustics, Speech, and Signal

Processing, vol 27, April 1979, pp 113-120

[15] Y Ephraim and D Malah, “Speech enhancement

using a minimum mean square error log-spectral

amplitude estimator” IEEE Trans on ASSP, 1985, pp

443-445

Summary

SOME EVALUATIONS OF SPEECH RECOGNITION PERFORMANCE USING SUBBAND CODING

In this paper, we use the Discrete Wavelet Transform to analyze input speech into subbands and recognize the analized speech The recognition results show that each subband influence differently to the clean and noisy speech recognition performance Esspecially, some subbands used as input for recognition giving the higher performance than using original speech as the input of recognition system The A1 band influences much

to clean speech recognition and the A2 influences much to noisy speech recognition The experimental results therefore show that using subband coding is a good speech recognition technique Moreover, the influence of each subband is different making a disicion that we must build a weighting technique for subband speech recognition In addition, the experimental results show that removing the high frequency of original speech with suitable level will get the better recognition performance This is an importance scientific base of speech denoise methods which removes the higher frequency in noisy input speech

Keyword: Speech Recognition, Sub-band Speech Recognition, Wavelet, DWT