(LUẬN VĂN THẠC SĨ) Mô hình Markov ẩn và ứng dụng trong nhận dạng tiếng nói Luận văn ThS Công nghệ thông tin 1 01 10

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ──────── * ─────── NGUYỄN DUY PHƯƠNG M Ô H ÌNH MARKOV ẨN VÀ ỨNG DỤNG TRONG NHẬN DẠNG TIẾNG NĨI Ngành: Cơng nghệ thơng tin Mã số: 1.01.10 LUẬN VĂN THẠC SỸ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS HỒ THUẦN Hà Nội - 2007 TIEU LUAN MOI download : skknchat@gmail.com MỤC LỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT DANH SÁCH CÁC HÌNH VẼ MỞ ĐẦU CHƢƠNG MƠ HÌNH HMM VÀ ỨNG DỤNG TRONG NHẬN DẠNG TIẾNG NÓI 13 Giới thiệu 13 Những khái niệm toán học liên quan tới HMM 14 2.1 Giới thiệu nhận dạng thống kê 14 2.2 Định lý Bayes 17 Mơ hình HMM 27 3.1 Tính chất Markov 27 3.2 Xích Markov 28 3.3 Quá trình Markov 31 3.4 Mô hình HMM 32 3.4.1 Các thành phần HMM 33 3.4.2 Ví dụ mơ hình HMM 35 3.5 Hai giả thuyết để xây dựng hệ thống nhận dạng dựa HMM 36 3.6 Ba vấn đề mơ hình HMM cách giải 38 3.6.1 Giải vấn đề tính tốn Thuật tốn tính xi tính ngƣợc 39 3.6.2 Giải vấn đề ƣớc lƣợng tham số cho mô hình HMM Thuật tốn huấn luyện Baum-Welch 41 3.6.3 Giải vấn đề decoding Thuật toán Viterbi 42 Nhận dạng tiếng nói nhận dạng âm vị dựa HMM 44 4.1 Mơ hình Nhận dạng 44 4.2 Các thành phần hệ thống nhận dạng tiếng nói dựa HMM mối liên hệ chúng 46 4.3 Ví dụ nhận dạng từ đơn dựa HMM 49 TIEU LUAN MOI download : skknchat@gmail.com Mơ hình HMM cho âm vị đƣợc sử dụng luận văn 53 Kết luận chƣơng 55 CHƢƠNG TIỀN XỬ LÝ TÍN HIỆU TIẾNG NĨI 56 Ý nghĩa 56 Một số thao tác tiền xử lý tín hiệu 57 2.1 Làm tín hiệu (pre-emphais) 57 2.2 Lọc tiếng ồn 58 Trích rút đặc trƣng 60 3.1 Giới thiệu 60 3.2 Một số phƣơng pháp trích rút đặc trƣng 61 3.2.1 Phƣơng pháp Mã hoá dự báo tuyến tính (LPC) 61 3.2.2 Phƣơng pháp Mã hoá cepstral tần số Mel (MFCC) 63 3.2.3 Phƣơng pháp Mã hoá cepstral tần số Mel dựa LPC (MFCC) 68 3.2.4 Các hệ số delta (D) hệ số gia tốc (A) 69 3.3 So sánh phƣơng pháp trích đặc trƣng 70 Kết luận chƣơng 71 CHƢƠNG THUẬT TOÁN HUẤN LUYỆN NHÚNG – XÂY DỰNG MƠ HÌNH HMM TỰ ĐỘNG CHO ÂM VỊ 72 Tách nhận dạng âm vị tự động dựa HMM 72 1.1 Thuật toán huấn luyện đơn vị độc lập - Huấn luyện liệu gán nhãn 72 1.2 Thuật toán huấn luyện nhúng - huấn luyện liệu âm không gán nhãn âm vị 73 Các cơng thức ƣớc lƣợng tham số mơ hình HMM 76 2.1 Ƣớc lƣợng tham số huấn luyện mơ hình HMM độc lập 76 2.2 Ƣớc lƣợng tham số thuật toán huấn luyện nhúng 78 Các vấn đề tham số HMM sử dụng thuật toán huấn luyện nhúng 81 3.1 Khởi tạo tham số 81 3.2 Ngƣỡng 81 3.3 Số lần lặp bƣớc luyện thuật toán 81 TIEU LUAN MOI download : skknchat@gmail.com 3.4 Dữ liệu huấn luyện 82 Kết luận chƣơng 82 CHƢƠNG CÀI ĐẶT THUẬT TOÁN – TỪ ĐIỂN TIẾNG NÓI 83 Giới thiệu 83 Một số giao diện chƣơng trình 84 KẾT LUẬN 87 TÀI LIỆU THAM KHẢO 89 TIEU LUAN MOI download : skknchat@gmail.com CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT Thuật ngữ Từ viết tắt Ý nghĩa Artificial Neural Network ANN Mạng nơron nhân tạo Fast Fourier Transform FFT Biến đổi Fourier nhanh Dicrette Cosine Transform DCT Biến đổi cosin rời rạc Hidden Markov Model HMM Mơ hình Markov ẩn Linear predictive code LPC Mã hố dự báo tuyến tính Mel-scale Frequency Cepstral Coefficient MFCC Mã hoá cepstral số Mel Multi Layer Perceptron MLP Mạng perceptron truyền thẳng nhiều lớp Speech Recognition SR,ASR Nhận dạng tiếng nói Bias Ngƣỡng kích hoạt Pattern Recognition Nhận dạng mẫu Likelihood Mức độ giống, độ hợp lý Similarity Mức độ tƣơng tự Feature Đặc trƣng Spectral, spectrum Phổ tín hiệu TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 DANH SÁCH CÁC HÌNH VẼ HÌNH – Mơ hình HMM trạng thái 34 HÌNH – Sơ đồ huấn luyện mơ hình HMM 44 HÌNH - Sơ đồ nhận dạng từ mơ hình HMM đƣợc huấn luyện 44 HÌNH – Mơ hình nhận dạng theo cấp 46 HÌNH - Vấn đề nhận dạng từ tách rời 50 HÌNH - Tách riêng phần mơ hình Markov 51 HÌNH - Dùng HMM cho nhận dạng từ tách rời 53 HÌNH – Sóng âm chữ “hai” trƣớc (hình trái) sau (hình phải) đƣợc làm phẳng 58 HÌNH - Sơ đồ khối q trình trích chọn đặc trƣng MFCC 64 HÌNH 10 - Các lọc mel-scale tam giác (triangle mel-scale filters) 66 HÌNH 11 – Sơ đồ lọc MFCC dựa biến đổi dự báo tuyến tính biến đổi Fourier 69 HÌNH 12 – Lƣu đồ huấn luyện từ đơn công cụ HRest (HTK) 72 HÌNH 13 – Dãy sóng âm “MO6T MO6T HAI HAI BA MO6T” 74 HÌNH 14 – Mơ hình huấn luyện nhúng 75 (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 MỞ ĐẦU Ngay máy tính đời ngƣời mơ ƣớc máy tính nói chuyện với u cầu đơn giản máy xác định đƣợc từ ngữ mà nói với máy Đó mục tiêu ngành nhận dạng tiếng nói Nhận dạng tiếng nói đóng vai trị quan trọng giao tiếp ngƣời máy Nó giúp máy móc hiểu thực hiệu lệnh ngƣời Hiện giới, lĩnh vực nhận dạng tiếng nói đạt đƣợc nhiều tiến vƣợt bậc Đã có nhiều cơng trình nghiên cứu lĩnh vực nhận dạng tiếng nói (Speech recognition) sở lý thuyết hệ thống thông minh nhân tạo, nhiều kết trở thành sản phẩm thƣơng mại nhƣ ViaVoice, Dragon , hệ thống bảo mật thơng qua nhận dạng tiếng nói, hệ quay số điện thoại giọng nói Triển khai cơng trình nghiên cứu đƣa vào thực tế ứng dụng vấn đề việc làm có ý nghĩa đặc biệt giai đoạn cơng nghiệp hoá đại hoá nƣớc nhà Nhận dạng tiếng nói q trình nhận dạng mẫu, với mục đích phân lớp (classify) thơng tin đầu vào tín hiệu tiếng nói thành dãy mẫu đƣợc học trƣớc lƣu trữ nhớ Các mẫu đơn vị nhận dạng, chúng từ, âm vị Nếu mẫu bất biến khơng thay đổi cơng việc nhận dạng tiếng nói trở nên đơn giản cách so sánh liệu tiếng nói cần nhận dạng với mẫu đƣợc học lƣu trữ nhớ Khó khăn nhận dạng tiếng nói tiếng nói ln biến đổi theo thời gian có khác biệt lớn tiếng nói ngƣời nói khác nhau, tốc độ nói, ngữ cảnh mơi trƣờng âm học khác Xác định thông tin biến thiên tiếng nói có ích thơng tin khơng có ích nhận dạng tiếng nói quan trọng Đây nhiệm vụ khó khăn mà với kỹ thuật xác suất (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 thống kê mạnh khó khăn việc tổng qt hố từ mẫu tiếng nói biến thiên quan trọng cần thiết nhận dạng tiếng nói Các nghiên cứu nhận dạng tiếng nói dựa ba nguyên tắc [1]:  Tín hiệu tiếng nói đƣợc biểu diễn xác biên độ phổ khung thời gian ngắn (short-term amplitude spectrum) Nhờ ta trích đặc điểm tiếng nói từ khoảng thời gian ngắn dùng đặc điểm làm liệu để nhận dạng tiếng nói  Nội dung tiếng nói đƣợc biểu diễn dƣới dạng chữ viết, dãy ký hiệu ngữ âm Do ý nghĩa phát âm đƣợc bảo toàn phiên âm phát âm thành dãy ký hiệu ngữ âm  Nhận dạng tiếng nói q trình nhận thức Thơng tin ngữ nghĩa (semantics) suy đốn (pragmatics) có giá trị q trình nhận dạng tiếng nói, thông tin âm học không rõ ràng Lĩnh vực nghiên cứu nhận dạng tiếng nói rộng liên quan đến nhiều ngành khác nhau, nhƣ xử lý tín hiệu số (digital signal proccessing), vật lý hay âm học (acoustic), nhận dạng mẫu, lý thuyết thơng tin khoa học máy tính (information and computer science theory), ngôn ngữ học (linguistics), sinh lý học (physiology), tâm lý học ứng dụng (applied psychology) Các hệ thống nhận dạng tiếng nói đƣợc phân chia thành hai loại khác nhau: hệ thống nhận dạng từ rời rạc hệ thống nhận dạng từ liên tục Trong hệ thống nhận dạng tiếng nói liên tục, ngƣời ta lại phân biệt hệ thống nhận dạng có kích thƣớc từ điển nhỏ hệ thống nhận dạng với kích thƣớc từ điển trung bình lớn (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 Ý tƣởng xây dựng hệ thống nhận dạng tiếng nói có từ năm 50 kỷ 20 đến đạt đƣợc nhiều kết đáng kể Có hƣớng tiếp cận cho nhận dạng tiếng nói [8]:  Tiếp cận Âm học: Hƣớng tiếp cận dựa vào đặc điểm âm học đƣợc rút từ phổ âm Tuy nhiên kết hƣớng tiếp cận cịn thấp thực tế, đặc trƣng âm học có biến động lớn Hơn phƣơng pháp đòi hỏi tri thức đầy đủ âm học (Vốn tri thức âm học chƣa thể đáp ứng)  Tiếp cận Nhận dạng mẫu thống kê: Sử dụng phƣơng pháp máy học dựa thống kê để học rút mẫu tham khảo từ lƣợng liệu lớn Hƣớng đƣợc sử dụng nhiều, chủ yếu dựa vào Mơ hình Markov ẩn (HMM)  Tiếp cận Trí tuệ nhân tạo: hƣớng kết hợp hai hƣớng Phƣơng pháp kết hợp đƣợc tri thức chuyên gia phƣơng pháp mẫu thống kê Đây hƣớng tiếp cận tƣơng lai nhận dạng tiếng nói Việc nhận dạng tiếng nói gặp số khó khăn sau:  Trong mơi trƣờng sinh hoạt hàng ngày, chất lƣợng tiếng nói biến động lớn chịu ảnh hƣởng yếu tố ngoại cảnh, tâm sinh lý ngƣời nói: câu ngƣời nói thu vào máy khác nói hai tâm trạng khác (lúc vui nói khác, lúc giận nói khác,…), sức khoẻ khác (lúc khoẻ nói khác, lúc bệnh nói khác), tốc độ nói khác (nói chậm rõ nói nhanh), mơi trƣờng xung quanh khác (mơi trƣờng có tiêng ồn âm thu vào bị nhiễu), v.v… Và nhiều yếu tố khác tác động lên chất (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 10 lƣợng lời nói nhƣ thiết bị thu khơng tốt, tín hiệu bị nhiễu điện,… Do đó, việc nhận dạng trở nên khó khăn  Trong nhận dạng tiếng nói theo hƣớng nhận dạng âm vị, khó khăn gặp phải là: âm vị liền chuỗi tiếng nói khơng có vách ngăn rõ ràng (2 âm vị sát có phần giao nhau, khó xác định đƣợc phần giao thuộc âm vị trƣớc hay âm vị sau) Ngay ngƣời, tách âm vị từ âm tiết (xác định vị trí bắt đầu vị trí kết thúc âm vị sóng âm âm tiết) công việc đơn giản Hiện nay, hầu hết hƣớng tiếp cận để nhận dạng âm vị nhận dạng theo học mẫu thống kê Thông thƣờng để học mẫu ngƣời ta cung cấp cho chƣơng trình học nguồn liệu có nhiều mẫu đƣợc phân loại thành nhiều lớp có gán nhãn (nhãn cho biết mẫu thuộc lớp nào) Nguồn liệu phải đƣợc phân lớp gán nhãn xác hồn tồn để máy học Tuy nhiên khơng thể tách âm vị cách xác, nguồn liệu âm vị đƣa vào khó đạt đƣợc mức độ xác, kết việc huấn luyện giảm hiệu suất, làm cho hiệu suất chƣơng trình nhận dạng giảm theo Chúng xin nêu hƣớng giải để tránh việc gán nhãn âm vị khơng xác: thay đánh nhãn âm vị, đánh nhãn âm tiết, đồng thời cho biết âm vị cấu thành âm tiết Nhƣ vậy, liệu mẫu cung cấp cho trình học âm tiết Thuật toán học đƣợc sử dụng để tách âm vị thuật toán huấn luyện nhúng (Embedded training) Kết thu đƣợc mơ hình HMM cho âm vị Do dãy âm vị đƣợc chọn tƣơng đƣơng với âm tiết, công việc đánh nhãn âm vị sóng âm thực chất khơng có (chỉ đánh nhãn âm tiết, vốn đƣợc thực dễ dàng) Vì vậy, xem liệu đƣa vào q trình huấn luyện liệu khơng (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 75 HÌNH 14 – Mơ hình huấn luyện nhúng Khi huấn luyện, nên theo dõi hiệu trình huấn luyện nên dừng thấy kết huấn luyện không tốt Ta xem giá trị log likelihood trung bình frame file huấn luyện Độ đo điều kiện hội tụ thuật toán huấn luyện nhúng Tuy nhiên để hội tụ nhiều thời gian Tệ huấn luyện lâu chúng gây tƣợng luyện mơ hình HMM q khớp với liệu huấn luyện tính tổng qt khơng cao Trong thực tế số bƣớc huấn luyện từ hai đến năm bƣớc nhận dạng âm vị Chúng ta định số bƣớc thông qua quan sát kết sau bƣớc huấn luyện qua kết huấn luyện Để đạt đƣợc độ xác cao, nên chuẩn bị lƣợng liệu huấn luyện nhiều tốt Theo thực nghiệm, với lƣợng liệu vài đọc thời gian bƣớc lặp lên đến vài Để tăng hiệu tính tốn ngƣời ta áp dụng giải pháp: (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 76 Giải pháp thứ đƣợc HERest (thƣ viện HTK) sử dụng: cắt bớt tính tốn khơng cần thiết cơng thức thuật tốn forwardbackward Cơ chế đƣợc gọi cắt tỉa (pruning) HERest tính xác suất backward βj(t) trƣớc, tính xác suất forward αj(t) sau Tính tốn αj(t) βj(t) tất trạng thái j tất thời điểm t khơng cần thiết nhiều tính tốn số khơng có ảnh hƣởng đáng kể tới kết Do áp dụng pruning giảm số trạng thái đƣợc xét αi(t) βi(t) Giảm tính tốn forward αj(t) ln ln đƣợc thực khơng ảnh hƣởng nhiều tới kết HTK, đƣợc thực tự động Cịn giảm bớt số trạng thái backward βi(t) đƣợc thực thông qua ngƣỡng ngƣời dùng đƣa vào Ngƣỡng phụ thuộc vào liệu nên cần thông qua thực nghiệm để kiểm chứng Giải pháp thứ hai để tăng tốc độ tính tốn dùng nhiều CPU chạy song song Các công thức ƣớc lƣợng tham số mơ hình HMM 2.1 Ƣớc lƣợng tham số huấn luyện mơ hình HMM độc lập Giả sử có tập chuỗi quan sát nhƣ sau: O={O1, O2, …, Or, …, OR} đƣợc dùng để ƣớc lƣợng cho mơ hình λ mơ hình HMM cần ƣớc lƣợng tham số λ=(A,B) Mỗi vectơ quan sát Or=(o1, o2, …, oTr } λ có N trạng thái Nhƣ cần ƣớc lƣợng tham số sau: A={ai} xác suất chuyển trạng thái tập tham số đặc trƣng cho trạng thái vectơ trung bình µ hiệp phƣơng sai ∑ (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10(LUAN.VAN.THAC.SI).Mo.hinh.Markov.an.va.ung.dung.trong.nhan.dang.tieng.noi.Luan.van.ThS.Cong.nghe.thong.tin.1.01.10 77  Xác suất chuyển trạng thái Xác suất chuyển trạng thái đƣợc ƣớc lƣợng theo công thức sau [9]:  aij  Pr R r 1  Tr 1 t 1 r 1 P r R  ir b j (otr1 )  jr (t  1)  Tr 1 t 1  (t )  (t ) r i (1