Luận văn:Nhận dạng tiếng nói tiếng việt theo hướng tiếp cận nhận dạng âm vị tự động ppt

KHOA CNTT – ĐH KHTN TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ TRI THỨC ĐẶNG THÁI DƯƠNG – 0012535 HÀ GIANG HẢI – 0012544 NHẬN DẠNG TIẾNG NÓI TIẾNG VIỆT THEO HƯỚNG TIẾP CẬN NHẬN DẠNG ÂM VỊ TỰ ĐỘNG LUẬN VĂN CỬ NHÂN TIN HỌC GIÁO VIÊN HƯỚNG DẪN Th.S. THÁI HÙNG VĂN NIÊN KHOÁ 2000 – 2004 KHOA CNTT – ĐH KHTN Lời cảm ơn L ỜI CẢM ƠN Xin chân thành cảm ơn thầy Thái Hùng Văn đã tận tình hướng dẫn chúng em trong quá trình hoàn thành đề tài. Những buổi nói chuyện, những kinh nghiệm cùng những tài liệu của thầy đã giúp chúng em có được những định hướng đúng đắn và đưa ra các phương pháp tốt để thực hiện đề tài. Xin gởi lời cảm ơn đến các thầy cô trong Khoa Công nghệ thông tin, những người đã dìu dắt chúng em trong suốt 4 năm ở Đại học. Xin cảm ơn bạn bè và các anh chị Khóa trên, những người đã cùng chúng tôi học tập, san sẻ khó khăn, trong đó có những ủng hộ tinh thần quý giá. Đặc biệt, anh Nguyễn Tấn Dũng đã nhiệt tình giúp đỡ nhiều về tài liệu. Và cuối cùng, nhưng quan trọng nhất, xin cám ơn ba mẹ và những người thân, những người ủng hộ chúng con về mọi mặt. Không có sự quan tâm đó, chúng con không thể hoàn thành tốt đồ án này. TP. HCM, ngày 10 tháng 7 n ăm 2004 Các sinh viên Đặng Thái Dương – Hà Giang Hải i KHOA CNTT – ĐH KHTN Mục lục M ỤC LỤC LỜI CẢM ƠN i MỤC LỤC ii DANH SÁCH CÁC HÌNH vii DANH SÁCH CÁC BẢNG ix GIỚI THIỆU CHUNG x CHƯƠNG 1 Sơ lược về ngữ âm tiếng Việt 1 1.1. Ý nghĩa của các nghiên cứu ngữ âm trong nhận dạng tiếng nói Tiếng Việt 1 1.2. Phân loại âm tố theo cấu âm 1 1.2.1. Định nghĩa âm tố 1 1.2.2. Các âm tố phụ âm 2 1.2.2.1. Đặc điểm cấu tạo của phụ âm 2 1.2.2.2. Một số cách phân chia phụ âm 2 1.2.2.3. Cấu âm bổ sung 4 1.2.3. Các âm tố nguyên âm 4 1.2.3.1. Đặc điểm cấu tạo của nguyên âm 4 1.2.3.2. Một số cách phân chia nguyên âm 4 1.3. Phân loại âm tố về mặt âm học - nhận dạng tiếng nói dựa vào đặc trưng âm học 6 1.3.1. Ý nghĩa của phân loại về mặt âm học 6 ii KHOA CNTT – ĐH KHTN Mục lục 1.3.2. Các đặc trưng âm học 6 1.3.3. Nhận dạng tiếng nói dựa vào các đặc trưng âm học 11 1.4. Sơ lược về âm tiết tiếng Việt 11 1.4.1. Giới thiệu về âm tiết 11 1.4.2. Một số đặc điểm của âm tiết tiếng Việt 12 1.4.2.1. Là ngôn ngữ có kết cấu âm tiết tính 12 1.4.2.2. Mỗi âm tiết có thanh điệu riêng 12 1.4.2.3. Âm tiết có cấu trúc chặt chẽ và ổn định 13 1.5. Lý thuyết về âm vị 14 1.5.1. Định nghĩa âm vị 14 1.5.2. Chức năng của âm vị 15 1.5.3. Tách âm vị và xác định âm vị trên chuỗi sóng âm 15 CHƯƠNG 2 Mô hình HMM áp dụng vào nhận dạng âm vị 17 2.1. Giới thiệu 17 2.2. Những vấn đề cơ bản của HMM 17 2.2.1. Các kiến thức toán của HMM và các vấn đề khi sử dụng HMM vào nhận dạng tiếng nói 17 2.2.1.1. Giới thiệu về nhận dạng thống kê và HMM 18 2.2.1.2. Các thành phần chính của HMM 19 2.2.1.3. Ví dụ về nhận dạng từ đơn dựa trên HMM 21 2.2.1.4. Hai giả thuyết cơ bản để xây dựng hệ thống nhận dạng dựa trên HMM 22 2.2.1.5. Ba vấn đề thiết yếu của mô hình HMM và cách giải quyết các vấn đề trên 24 iii KHOA CNTT – ĐH KHTN Mục lục 2.3. Nhận dạng tiếng nói và nhận dạng âm vị dựa trên HMM 28 2.3.1. Mô hình Nhận dạng 28 2.3.2. Các thành phần cơ bản của hệ thống nhận dạng tiếng nói dựa trên HMM và mối liên hệ giữa chúng. 30 2.4. Mô hình HMM cho âm vị được sử dụng trong bài làm 32 CHƯƠNG 3 Tiền xử lý tín hiệu Tiếng nói và rút trích đặc trưng 34 3.1. Ý nghĩa của Tiền xử lý Tiếng nói 34 3.2. Một số công việc trong Tiền xử lý tín hiệu tiếng nói 35 3.2.1. Làm nổi tín hiệu (pre-emphasis) 35 3.2.2. Lọc tiếng ồn 36 3.3. Rút trích đặc trưng 37 3.3.1. Giới thiệu 37 3.3.2. Một số phương pháp trích đặc trưng 38 3.3.2.1. Phương pháp Mã hóa dự báo tuyến tính (LPC) 38 3.3.2.3. Phương pháp Mã hoá cepstral tần số Mel dựa trên LPC (MFCC) 42 3.3.2.4. Các hệ số delta (D) và hệ số gia tốc (A) 42 3.3.3. So sánh các phương pháp trích đặc trưng 43 CHƯƠNG 4 Thuật giải Embedded training – tách và xây dựng mô hình HMM tự động cho âm vị 45 4.1. Tách và nhận dạng âm vị tự động dựa trên HMM 45 4.1.1. Thuật toán huấn luyện đối với những đơn vị độc lập - Huấn luyện trên dữ liệu gán nhãn 45 4.1.2. Thuật giải Embedded training - huấn luyện trên dữ liệu âm thanh không gán nhãn âm vị 46 iv KHOA CNTT – ĐH KHTN Mục lục 4.2. Các công thức ước lượng tham số của mô hình HMM 49 4.2.1. Ước lượng tham số khi huấn luyện các mô hình HMM độc lập 49 4.2.2. Ước lượng tham số trong thuật giải Embedded training 51 4.3. Các vấn đề về tham số của HMM khi sử dụng thuật giải Embedded training. 53 4.3.1. Khởi tạo tham số 53 4.3.2. Ngưỡng 54 4.3.3. Số lần lặp trong mỗi bước luyện của thuật toán 54 4.3.4. Dữ liệu huấn luyện 54 CHƯƠNG 5 Thực hiện chương trình 56 5.1. Các khó khăn trong quá trình nhận dạng 56 5.1.1. Âm vị độc lập và âm vị phụ thuộc ngữ cảnh 56 5.1.2. Tách âm tiết trong tiếng nói liên tục và sự phụ thuộc giữa các âm vị lẫn nhau trong tiếng nói liên tục 58 5.1.3. Các nguyên âm đôi 58 5.1.4. Ảnh hưởng của thanh điệu lên âm vị 59 5.2. Quá trình thực hiện chương trình 59 5.2.1. Các bước chính 60 5.2.2. Thu dữ liệu và gán nhãn dữ liệu 60 5.2.2.1. Thu dữ liệu 60 5.2.2.2. Gán nhãn dữ liệu 61 5.2.2.3. Đánh giá dữ liệu 61 5.2.2.4. Rút trích đặc trưng dữ liệu 61 5.2.3. Khởi tạo mô hình HMM 62 v KHOA CNTT – ĐH KHTN Mục lục 5.2.4. Huấn luyện mô hình HMM 63 5.2.4.1. Huấn luyện mô hình HMM cho âm vị độc lập ngữ cảnh (monophone) 63 5.2.4.2. Huấn luyện trên mô hình âm vị phụ thuộc ngữ cảnh (triphone) 66 5.2.5. Nhận dạng 70 5.3. Đánh giá kết quả và hướng phát triển: 71 5.3.1. Kết quả nhận dạng 71 5.3.2. Nhận xét 73 5.3.3. Hướng phát triển 73 TÀI LIỆU THAM KHẢO 75 vi KHOA CNTT – ĐH KHTN Danh sách các hình D ANH SÁCH CÁC HÌNH HÌNH 1 – Phổ (spectrum) của một nguồn âm thanh tại thời điểm t 7 HÌNH 2 – Phổ đồ (spectrogram) của tiếng “hai” (trên) và sóng âm tương ứng (dưới). Những vùng có cường độ cao (vùng đen) tạo thành những dãi bắt ngang qua phổ đồ, đó là những vệt formant, được đánh số từ dưới lên là F1, F2, F3, … 8 HÌNH 3 – Cụm từ “âm tiết tiếng Việt” thể hiện trên sóng âm. Mỗi âm tiết có biên độ lớn ở giữa âm và giảm dần khi đi về đầu và cuối âm 12 HÌNH 4 – Cụm từ “bốn lăm” đứng kề nhau: có một khoảng chồng lấp giữa âm vị “n” cuối âm tiết “bốn” và âm vị “l” đầu âm tiết “lăm” 16 HÌNH 5 – Hai cách tách âm vị cho cùng một sóng âm của chữ “hai” 16 HÌNH 6 – Mô hình HMM 5 trạng thái 19 HÌNH 7 – Sơ đồ huấn luyện mô hình HMM 28 HÌNH 8 – Sơ đồ nhận dạng từ mô hình HMM đã được huấn luyện 29 HÌNH 9 – Mô hình nhận dạng theo 3 cấp 30 HÌNH 10 – Sóng âm của chữ “hai” trước khi (hình trái) và sau khi (hình phải) được làm phẳng 36 HÌNH 11 – Sơ đồ của bộ lọc MFCC dựa trên biến đổi dự báo tuyến tính và các biến đổi Fourier 42 HÌNH 12 – Lưu đồ huấn luyện từ đơn của công cụ HRest (HTK) 46 HÌNH 13 – Dãy sóng âm “MO6T MO6T HAI HAI BA MO6T” 47 HÌNH 14 – Mô hình huấn luyện Embedded training 48 HÌNH 15 – Các âm vị không nằm trong 1 siêu cầu 57 HÌNH 16 – Mô hình huấn luyện monophone (Từ in nghiêng trong dấu ngoặc đơn là tên thư mục hoặc tập tin trong bài làm của nhóm) 63 HÌNH 17 – Mối liên hệ giữa likelihood trung bình và số bước huấn luyện 64 vii KHOA CNTT – ĐH KHTN Danh sách các hình HÌNH 18 – Phương pháp góm nhóm âm vị dựa vào cây quyết định âm học 68 HÌNH 19 – Buộc trạng thái theo phương pháp Data-driven-clustering 69 HÌNH 20 – Sự phụ thuộc của kết quả nhận dạng vào ngưỡng phân nhóm các trạng thái của HMM 69 viii KHOA CNTT – ĐH KHTN Danh sách các bảng DANH SÁCH CÁC BẢNG BẢNG 1 – Phân chia nguyên âm theo độ nâng của lưỡi 6 BẢNG 2 – Ảnh hưởng của số bước lặp huấn luyện đến kết quả nhận dạng 64 BẢNG 3 – Kết quả nhận dạng các tiếng là chữ số đọc liên tục 72 BẢNG 4 – Kết quả nhận dạng từ đơn 73 ix [...]... ngữ âm tiếng Việt 1.1 Ý nghĩa của các nghiên cứu ngữ âm trong nhận dạng tiếng nói Tiếng Việt Các hệ nhận dạng tiếng nói phát triển gần đây bắt đầu đi theo hướng tiếp cận ngữ âm học kết hợp với hướng tiếp cận nhận dạng theo mẫu thống kê truyền thống Các hệ nhận dạng tiếng nói trong tương lai cũng kết hợp hướng nhận dạng thống kê H và sử dụng các tri thức về ngữ âm học để tạo ra các hệ nhận dạng hoạt động. .. cận nhận dạng âm vị tự động đã được chúng tôi chọn trong đề tài nhận dạng tiếng nói tiếng Việt của mình Trong bài làm, chúng tôi muốn chứng minh hai điều: Nếu có đầy đủ dữ liệu tiếng nói (không gán nhãn), có thể nhận dạng được hướng tiếp cận nhận dạng âm vị tự động K H TN số lượng lớn các âm tiết tiếng Việt với độ chính xác tương đối cao theo Có thể nhận dạng được tiếng nói Tiếng Việt nói liên tục với... như âm vị) vì các đơn vị này có số lượng ít Theo thống kê, trong hầu hết các ngôn ngữ, số lượng âm vị dao động từ 20 đến 60 (ít hơn nhiều so với hàng ngàn hay hàng chục ngàn âm tiết) Vì vậy, nhận dạng âm vị là hướng thường được chọn trong số các hướng nhận dạng đơn vị dưới từ Trong nhận dạng tiếng nói theo hướng nhận dạng từng âm vị, một khó khăn chúng ta gặp phải là: các âm vị liền nhau trong chuỗi tiếng. .. bình Phần còn lại của luận văn này được tổ chức như sau: H CHƯƠNG 1: Sơ lược một số đặc điểm của ngữ âm tiếng Việt, hướng tiếp 2: Giới thiệu mô hình HMM và sự lựa chọn mô hình HMM cho C N TT CHƯƠNG – tách âm vị tự động trong tiếng Việt Đ cận nhận dạng tiếng nói dựa vào đặc trưng âm học, giới thiệu về âm vị và bài toán đề tài nhận dạng tiếng Việt của nhóm CHƯƠNG 3: Tiền xử tiếng nói và rút trích đặc... tiếng nói không có vách ngăn rõ ràng (2 âm vị sát nhau có một phần giao nhau, khó xác định được phần giao nhau xi Giới thiệu chung thuộc âm vị trước hay âm vị sau) Ngay cả đối với con người, tách âm vị từ một âm tiết (xác định vị trí bắt đầu và vị trí kết thúc của âm vị đó trên sóng âm của âm tiết) cũng không phải là công việc đơn giản Hiện nay, hầu hết các hướng tiếp cận để nhận dạng âm vị là nhận dạng. .. quả nhận dạng Trong hệ nhận dạng tiếng nói, đơn vị cơ bản phải nhận được là từ, hay còn gọi là âm tiết Trong hầu hết các ngôn ngữ, số lượng âm tiết là rất lớn Tiếng Việt có hơn 8000 âm tiết, khoảng 6000 âm tiết được dùng phổ biến Với số lượng lớn như vậy, việc nhận dạng từng âm tiết là khó thực hiện được Vì vậy, chúng ta phải đi K H O A theo hướng nhận dạng các đơn vị nhỏ hơn cấu thành âm tiết (đơn vị. .. xây dựng các hệ thống nhận dạng tiếng nói đã có từ những năm Đ 50 của thế kỷ 20 và đến nay đã đạt được nhiều kết quả đáng kể Có 3 hướng tiếp cận – chính cho nhận dạng tiếng nói: Tiếp cận Âm học: Hướng tiếp cận này dựa vào các đặc điểm âm học được C N TT rút ra được từ phổ âm thanh Tuy nhiên kết quả của hướng tiếp cận này còn thấp vì trong thực tế, các đặc trưng âm học có sự biến động rất lớn Hơn nữa... dựng hệ nhận dạng theo từ Đ có khả năng phân biệt số lượng từ lớn đó quả là một thách thức Thay vào đó, người – ta nghĩ ra cách xây dựng hệ nhận dạng dựa trên hướng tiếp cận âm vị Theo đó, chỉ cần nhận dạng khoảng vài chục âm vị sẽ có thể nhận dạng được toàn bộ từ của một C N TT ngôn ngữ (Theo thống kê, số âm vị trong một ngôn ngữ dao động từ khoảng 20 đến 60) Và đây cũng chính là hướng tiếp cận đúng... nhận dạng tiếng nói tiếng Việt Tuy nhiên, người ta lại gặp một khó khăn khác, đó là tách âm vị và xác định âm vị trên chuỗi sóng âm: Cho một dãy tín hiệu tiếng nói đã thu sẵn Nhiệm vụ của chúng ta là tìm ranh giới của tất cả các âm vị và cho biết các âm vị đó là âm vị gì K H O A Khoan hãy nói đến khả năng thực hiện công việc đó tự động bằng máy Ngay cả con người vẫn có thể bị nhầm lẫn khi tách âm vị. .. tin, thông tin về nó, thông tin âm vị đứng trước và âm vị đứng sau nó) được nêu ra Phương pháp này về cơ bản giải quyết tốt công việc học và tách âm vị một cách tự động bằng máy Kết quả tách âm vị được dùng cho quá trình nhận dạng tiếng nói tiếng Việt và đã đạt được kết quả khả quan 16 Mô hình Markov ẩn áp dụng vào nhận dạng âm vị Mô hình HMM áp dụng vào nhận dạng âm vị K H TN CHƯƠNG 2 2.1 Giới thiệu . hàng chục ngàn âm tiết). Vì v ậy, nhận dạng âm vị là hướng thường được chọn trong số các hướng nhận dạng đơn vị dưới từ. Trong nhận dạng tiếng nói theo hướng nhận dạng từng âm vị, một khó khăn. tiếng nói (không gán nhãn), có thể nhận dạng được số lượng lớn các âm tiết tiếng Việt với độ chính xác tương đối cao theo hướng tiếp cận nhận dạng âm vị tự động.  Có thể nhận dạng được tiếng. âm tiếng Việt C HƯƠNG 1 Sơ lược về ngữ âm tiếng Việt 1.1. Ý nghĩa của các nghiên cứu ngữ âm trong nhận dạng tiếng nói Tiếng Việt Các hệ nhận dạng tiếng nói phát triển gần đây bắt đầu đi theo