Tìm hiểu về mô hình Markov ẩn

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOA QUỐC TẾ VÀ SAU ĐẠI HỌC - - BÀI TIỂU LUẬN Đề tài: “Tìm hiểu mô hình Markov ẩn ” Giáo viên hướng dẫn: TS Nguyễn Ngọc Minh Nhóm sinh viên: Nguyễn Anh Trung Nguyễn Trường Giang Nguyễn Thị Thùy Dương Lớp: M14CQTE02-B HÀ NỘI,7/2015 MỤC LỤC THUẬT NGỮ VIẾT TẮT Tên viết tắt Tên tiếng Anh Tên tiếng Việt HMM Hidden Markov Model Mô hình Markov ẩn Giới thiệu .6 MarKov Models : Mô hình Markov ẩn .9 3.1 Định nghĩa 3.2 Một số mô hình thông dụng Markov ẩn Các thuật toán HMM 13 4.1 Bài toán – Probability Evaluation 14 4.2 Bài toán – “Optimal” State Sequence 4.3 Bài toán – Parameter Estimation Các ứng dụng mô hình Markov ẩn: .21 5.1 Ứng dụng mô hình Markov ẩn nhận dạng chữ viết tay nhận dạng chữ viết tay (observed: kí hiệu, hidden: từ ngữ) 5.2 Ứng dụng mô hình Markov ẩn nhận dạng tiếng nói KẾT LUẬN 25 TÀI LIỆU THAM KHẢO MỤC LỤC HÌNH ẢNH Hình 1.1 Mô hình Markov trang thái Hình 1.2 Mô hình Markov bậc Hình 1.3 Ứng dụng mô hình Markov dự báo thời tiết Hình 3.1 Hình minh họa mô hình Markov ẩn ( trạng thái) Hình 3.2 Mô hình Markov trạng thái Hình 3.3 Mô hình Left – Right Hình 3.4 Mô hình Bakis Hình 3.5 Mô hình tuyến tính Hình 3.6 Hình minh họa hệ thống bình – cầu Hình 4.1 Thuật toán tiến Hình 4.2 Thuật toán lùi Hình 5.1 Ứng dụng mô hình Markov ẩn phân tích nhận dạng chuỗi gien người Hình 5.2 Sơ đồ tổng quát hệ thống nhận dạng chữ viết tay Hình 5.3 Ứng dụng mô hình Markov ẩn nhận dạng tiếng nói THUẬT NGỮ VIẾT TẮT Tên viết tắt HMM Tên tiếng Anh Tên tiếng Việt Hidden Markov Model Mô hình Markov ẩn Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Giới thiệu Học thuyết chuỗi Markov phát triển vào năm 1900 Mô hình Markov ẩn phát triển vào cuối năm 60 sử dụng rộng rãi lĩnh vực nhận dạng tiếng nói vào năm 1960-1970 đưa vào khoa học máy tính năm 1989 Nhiều toán thực tế biểu diễn mối quan hệ nhân quả, quan sát phần phần nhân ẩn HMM thuật toán cho phép giải toán xác lập mối nhân cục nói Mô hình Markov ẩn (Hidden Markov Model - HMM) mô hình thống kê hệ thống mô hình hóa cho trình Markov với tham số trước Nhiệm vụ xác định tham số ẩn từ tham số quan sát được, dựa thừa nhận Các tham số mô hình rút sau sử dụng để thực phân tích MarKov Models : Một dãy trạng thái ngẫu nhiên gọi có thuộc tính Markov xác suất chuyển sang trạng thái phụ thuộc vào trạng thái khứ Dãy chuyển trạng quan sát được gọi chuỗi Markov hay Xích Markov Dãy chuyển trạng không quan sát gọi mô hình Markov ẩn  Có N trạng thái: s1, s2 sN Các bước thời gian rời rạc tương ứng: t=0, t=1, … Tại bước thời gian thứ t, hệ thống trạng thái trên, gọi qt Tên đề tài Nhóm học viên – M14CQTE02-B Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Với qt ∈{s1, s2 sN } Hình 1.1 Mô hình Markov trang thái Giữa bước thời gian, trạng thái chọn cách ngẫu nhiên Trạng thái định xác xuất phân bố trạng thái (thường kí hiệu vòng cung kết nối trạng thái) Trạng thái qt+1 độc lập có điều kiện với { qt-1, qt-2, … q1, q0 }, đưa qt P(A) xác suất trước hay xác suất bờ P(A|B) xác suất sau hay xác suất có điều kiện, xác suất xuất A B (hay xác xuất chuyển tiếp từ B đến A) Hình 1.2 Mô hình Markov bậc Một chuỗi q gọi chuỗi Markov, để thỏa thuộc tính Markov, trạng thái phụ thuộc vào trạng thái không phụ thuộc vào trạng thái khứ Đây gọi mô hình Markov bậc Tên đề tài Nhóm học viên – M14CQTE02-B Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Mô hình Markov bậc 2: mô hình tạo sở trạng thái qt phụ thuộc hai trạng thái liền kề trước Ví dụ : Mô hình Markov đơn giản cho dự báo thời tiết Thời tiết ngày rơi vào ba trạng thái sau: - S1: mưa - S2: mây mù - S3: nắng Tên đề tài Nhóm học viên – M14CQTE02-B Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh S1 S1 A = {aij } = S2 S3 S2 S3  0.4 0.3 0.3   ÷ 0.2 0.6 0.2  ÷  0.1 0.1 0.8 ÷   Hình 1.3 Ứng dụng mô hình Markov dự báo thời tiết Mô hình Markov ẩn 3.1 Định nghĩa Mô hình Markov ẩn dạng mở rộng mô hình Markov Trong mô hình Markov, kiện quan sát nằm trạng thái phụ thuộc vào phụ thuộc vào hàm mật độ xác suất trạng thái Hình minh họa mô hình Markov ẩn trạng thái với kiện quan sát trạng thái V = {v 1, v2, v3, v4} Khả (xác suất) quan sát kiện vk trạng thái Sj phụ thuộc vào hàm xác suất bj(k) Hàm b gọi hàm mật độ xác suất kiện quan sát Tên đề tài Nhóm học viên – M14CQTE02-B Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Hình 3.1 Hình minh họa mô hình Markov ẩn ( trạng thái) 3.2 Một số mô hình thông dụng Markov ẩn − Hình 3.2 Mô hình Markov trạng thái − Tên đề tài Nhóm học viên – M14CQTE02-B 10 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Giả sử ta có N bình, bình có M cầu có màu sắc khác Đầu tiên, ta chọn bình ngẫu nhiên N bình, từ bình ta chọn ngẫu nhiên cầu bên Màu cầu ghi nhận lại xem kiện quan sát Sau cầu trả chỗ cũ, từ vị trí bình tại, ta lại chuyển sang chọn ngẫu nhiên bình N bình Một cầu khác lại chọn từ bình ghi nhận màu kiện quan sát thứ hai Cứ thế, tiến trình chọn bình cầu lặp lặp lại Với T lần lặp, ta có T kiện quan sát được, kết xuất hệ thống bình – cầu Hình 3.6 Hình minh họa hệ thống bình – cầu Hệ thống bình – cầu minh họa cho hoạt động mô hình Markov ẩn có N trạng thái M tín hiệu quan sát trạng thái Các trạng thái ứng với bình, tín hiệu quan sát ứng với màu cầu bình Khả chuyển từ bình sang bình khác xác suất chuyển trạng thái, việc chọn ngẫu nhiên cầu bình bị chi phối hàm mật độ xác suất tín hiệu quan sát bình (trạng thái) Trong chuỗi kết xuất hệ thống bình – cầu, ta biết thông tin màu cầu rút thời điểm tương ứng Tên đề tài Nhóm học viên – M14CQTE02-B 12 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh cầu rút từ bình (trạng thái) Các bình (trạng thái) xem “ẩn” so với kết quan sát Tổng kết: N – số lượng trạng thái mô hình: hệ thống bình – cầu, trạng thái xem bình, xem “ẩn” Ký hiệu trạng thái S = {S1, S2, …, SN} trạng thái thời điểm t qt M – số tín hiệu quan sát trạng thái Các tín hiệu thành phần chuỗi kết xuất mô hình Trong hệ thống bình – cầu, tín hiệu xem màu sắc phân biệt cầu Các tín hiệu quan sát V = {v1, v2, …, vM} tín hiệu quan sát thời điểm t Ot − Các xác suất chuyển trạng thái A = { aij } với : − aij phải thõa mãn ràng buộc xác suất: , xác suất chuyển trạng thái aij miêu tả ma trận chuyển trạng thái − Các hàm mật độ xác xuất trạng thái: B = { bj(k) } với: − thõa ràng buộc − Xác suất khởi đầu trạng thái: với: thõa ràng buộc Để thuận tiện cho việc trình bày, ta quy ước mô hình HMM đại diện tham số: Các thuật toán HMM Tên đề tài Nhóm học viên – M14CQTE02-B 13 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Ba toán HMM Để áp dụng mô hình HMM vào ứng dụng phức tạp thực tế, trước hết cần có lời giải thỏa đáng cho toán HMM: Bài toán 1: cho trước chuỗi tín hiệu quan sát O = {O1, O2, …, OT} mô hình HMM đại diện tham số Làm để tính toán cách hiệu – xác suất phát sinh O từ mô hình Bài toán 2: cho trước chuỗi tín hiệu quan sát O = {O1, O2, …, OT} mô hình HMM đại diện tham số Cần tìm chuỗi trạng thái tối ưu Q = {q1, q2, …, qT} phát sinh O Bài toán 3: cho trước chuỗi tín hiệu quan sát O = {O1, O2, …, OT} Làm để xác định tham số mô hình cho cực đại hóa xác suất ? Đây toán học / huấn luyện mô hình Bài toán đem lại khả quan trọng HMM: khả mô hình hóa đối tượng cụ thể thực tế, mô hình hóa liệu học 4.1 Bài toán – Probability Evaluation Mục tiêu toán thứ tính – xác suất phát sinh O từ mô hình Một giải pháp đơn giản cho vấn đề trực tiếp duyệt qua tất chuỗi trạng thái Q làm phát sinh O Khi đó, xác suất tổng xác suất phát sinh O từ tất chuỗi Q khác nhau: Để xác định theo cách trực tiếp trên, ta cần thực 2T(N)T phép tính Điều không khả thi với giá trị nhỏ N (số trạng thái mô hình) T (chiều dài chuỗi tín hiệu quan sát); chẳng hạn với N = T = 100, tổng số phép tính cần phải thực Rõ ràng chi phí tính toán lớn, ta tính theo cách Tên đề tài Nhóm học viên – M14CQTE02-B 14 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Một giải pháp khả thi để tính forward –backward Trước tiên, ta định nghĩa biến forward là thông qua thủ tục xác suất trạng thái Si thời điểm t quan sát đoạn O = {O1, O2, …, OT} từ mô hình cho trước: − Các biến tính theo quy nạp bước sau: Bước – Khởi tạo: đặt t = Bước – Quy nạp: Bước – Cập nhật thời gian t: − Gán t = t + − Quay lại bước t < T, không tiến tới bước Bước – Kết thúc: Diễn tả thủ tục forward: Tên đề tài Nhóm học viên – M14CQTE02-B 15 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Hình 4.1 Thuật toán tiến Về độ phức tạp tính toán, để tính tất biến forward , ta cần thực N2T phép tính, nhỏ nhiều so với 2T(N) T phương pháp tính trực tiếp Tương tự thủ tục forward, thủ tục backward trước hết định nghĩa biến backward xác suất quan sát đoạn O = {O t+1, Ot+2, …, OT} Cho trước trạng thái Si mô hình : Các biến backward tính quy nạp theo bước sau: Bước – Khởi tạo: đặt t = T - Bước – Quy nạp: Bước – Cập nhật thời gian t: Gán t = t - Quay lại bước t > 0, không tiến tới bước Bước – Kết thúc: Diễn tã thuật toán backward: Tên đề tài Nhóm học viên – M14CQTE02-B 16 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Hình 4.2 Thuật toán lùi Cũng giống biến forward, việc tính tất biến backward cần thực N2T phép tính Như vậy, thủ tục forward-backward khả thi với chi phí tính toán hoàn toàn chấp nhận Đối với việc tìm lời giải cho toán 1, ta cần đến phần forward thủ tục forward-backward Tuy nhiên, phần backward giúp tìm lời giải cho toán 4.2 Bài toán – “Optimal” State Sequence Mục tiêu toán tìm chuỗi trạng thái “tối ưu” Q = { q 1, q2, …, qT } phát sinh O Một điều đáng lưu ý có nhiều tiêu chí “tối ưu” khác cho việc xác định Q, nên lời giải cho toán phụ thuộc vào tiêu chí ‘tối ưu” chọn Một tiêu chí chọn q t có độ khả thi cao thời điểm t thông qua độ đo xác suất – xác suất trạng thái Si vào Tên đề tài Nhóm học viên – M14CQTE02-B 17 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh thời điểm t cho trước chuỗi tín hiệu quan sát O mô hình Ta gọi độ đo Biến tính thông qua biến Thông qua biến theo biểu thức: , ta hoàn toàn xác định trạng thái có khả cao đạt đến thời điểm t: Xâu kết qt lại, ta có chuỗi trạng thái lời giải Q toán ví dụ sau: Tuy nhiên, kết mang tính cục bộ, nghĩa chuỗi Q tìm không tồn thực tế số xác suất chuyển trạng thái Giả sử chuỗi kết Q tìm có q = S1 q6 = S2, thực tế xác suất chuyển trạng thái a12 = 0, lời giải mâu thuẫn Tên đề tài Nhóm học viên – M14CQTE02-B 18 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Để tránh tình trạng mâu thuẫn trên, ta thay đổi tiêu chí “tối ưu” cho việc chọn Q Tùy theo ứng dụng cụ thể mà tiêu chí chọn cho phù hợp, nhiên tiêu chí phổ biến sử dụng chọn chuỗi Q khả thi nhất, nghĩa qui toán từ việc tìm Q để cực đại hóa tìm Q để cực đại hóa sang việc Giải pháp cho vấn đề thuật toán viterbi Thuật toán viterbi định nghĩa biến xác suất cao đoạn chuỗi trạng thái dẫn đến Si thời điểm t quan sát đoạn O 1, O2, …, Ot cho trước mô hình : Biến tính theo quy nạp với bước sau (thuật toán viterbi): Bước – Khởi tạo: mảng để lưu lại tham số i làm cực đại hóa biểu thức Bước – Lặp quy nạp: Bước – Kết thúc lặp: Bước – Quay lui (backtracking): Kết thúc thuật toán, chuỗi lời giải đáp thõa đáng toán Tên đề tài Nhóm học viên – M14CQTE02-B 19 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh 4.3 Bài toán – Parameter Estimation Mục tiêu toán thứ 3, toán phức tạp ba toán, tìm cách cập nhật lại tham số mô hình hóa xác suất cho cực đại ) – xác suất quan sát chuỗi tín hiệu O từ mô hình Với chuỗi tín hiệu quan sát hữu hạn O làm liệu huấn luyện, chưa có phương pháp tối ưu cho việc ước lượng tham số mô hình theo hướng cực đại toàn cục Tuy nhiên, tham số chọn cho xác suất đạt cực đại cục thuật toán Baum-Welch sử dụng phương pháp giảm dốc Gradient Phần trình bày thuật toán Baum-Welch giải toán Trước tiên, ta định nghĩa xác suất trạng thái Si thời điểm t rơi vào trạng thái Sj thời điểm t+1 cho trước mô hình chuỗi tín hiệu quan sát O: Theo định nghĩa này, tính thông qua biến theo biểu thức: Nếu ta lấy tổng theo , kết nhận số lần kỳ vọng chuyển trạng thái từ Si Tương tự, lấy tổng theo , ta có số lần kỳ vọng chuyển từ trạng thái Si sang Sj: Tên đề tài Nhóm học viên – M14CQTE02-B 20 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Với đại lượng này, ta có biểu thức cập nhật tham số HMM sau: • • • • exnum(Si,Sj): số lần kỳ vọng chuyển từ trạng thái Si sang trạng thái Sj exnum(Si): số lần kỳ vọng chuyển trạng thái từ Si exnum_in(Sj,vk): số lần kỳ vọng trạng thái Sj quan sát tín hiệu vk exnum_in(Sj): số lần kỳ vọng trạng thái Sj Từ mô hình ban đầu chuỗi tín hiệu quan sát O, ta tính vế phải biểu thức (*)(**)(***),kết nhận tham số mô hình Theo Baum chứng minh, ta có mô hình đạt đến điểm tối ưu cục (khi ) Như vậy, thuật toán Baum-Welch áp dụng qua nhiều bước lặp để ước lượng cập nhật tham số mô hình hội tụ Tuy nhiên, kết cuối đạt tối ưu cục mà Thông thường, tham số khởi tạo với giá trị thích hợp, có phần khả giúp mô hình đạt tối ưu toàn cục huấn luyện Các ứng dụng mô hình Markov ẩn: Ngày mô hình Markov ẩn ứng dụng rộng rãi nhiều lĩnh vực : Tên đề tài Nhóm học viên – M14CQTE02-B 21 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Tin sinh học (bioinformatics): lĩnh vực khoa học sử dụng công nghệ ngành toán học ứng dụng, tin học, thống kê, khoa học máy tính, trí tuệ nhân tạo, hóa học hóa sinh (biochemistry) để giải vấn đề sinh học Hình 5.1 Ứng dụng mô hình Markov ẩn phân tích nhận dạng chuỗi gien người Phân loại gán thẻ cho từ ngữ (Part-of-speech tagging) (observed: từ ngữ, hidden: thẻ (danh từ, động từ, tính từ…) Hệ thống dịch ngôn ngữ (observed: từ nước ngoài, hidden: từ ngữ ứng với ngôn ngữ cần dịch) Xử lý tín hiệu, phân tích liệu nhận dạng mẫu Nhưng ứng dụng chủ yếu sử dụng nhiều nhận dạng tiếng nói nhận dạng chữ viết tay 5.1 Ứng dụng mô hình Markov ẩn nhận dạng chữ viết tay nhận dạng chữ viết tay (observed: kí hiệu, hidden: từ ngữ) Tên đề tài Nhóm học viên – M14CQTE02-B 22 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Hình 5.2 Sơ đồ tổng quát hệ thống nhận dạng chữ viết tay 5.2 Ứng dụng mô hình Markov ẩn nhận dạng tiếng nói Tên đề tài Nhóm học viên – M14CQTE02-B 23 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh (đối tượng quan sát được: tín hiệu âm thanh, đối tượng ẩn: từ ngữ) Hình 5.3 Ứng dụng mô hình Markov ẩn nhận dạng tiếng nói Ứng dụng nhận dạng tiếng nói sử dụng nhiều công nghệ đại điều khiển ôtô giọng nói , giao tiếp với robot thông qua ngôn ngữ tiếng nói hay đơn giản nhu cầu ngày mở cửa nhà ,bật Tên đề tài Nhóm học viên – M14CQTE02-B 24 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh dụng cụ sinh hoạt thông qua máy nhận diện giọng nói nhiều ứng dụng khác … KẾT LUẬN Trong luận văn trình bày hiểu biết nhóm chuỗi Markov mô hình Markov số ứng dụng mô hình thực tế Qua chúng em nhận thấy nghiên cứu phát triển từ lâu đến mô hình Markov ứng dụng nhiều công nghệ đại công nghệ phục vụ sinh hoạt ngày Do thời gian có hạn độ hiểu biết chúng em chưa đầy đủ nên viết có phần thiếu sót mong thầy thông cảm Em xin cảm ơn thầy Ts Nguyễn Ngọc Minh số bạn bè cung cấp tài liệu hướng dẫn để nhóm hoàn thành tiểu luận Tên đề tài Nhóm học viên – M14CQTE02-B 25 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh TÀI LIỆU THAM KHẢO [ 1] B.H Juang and L.R Rabiner, 1991, Hidden Markov Models for Speech Recognition, Technometrics, Vol.33, NO.3 [2] Jeff Bilmes, 2002, What HMMs Can Do, Dept of EE, University of Washington [3] Nguyễn Hồng Quang ,luận văn cử nhân –Khoa CNTT ĐH KHTN 2004 Tên đề tài Nhóm học viên – M14CQTE02-B 26 [...]... văn này đã trình bày nhưng hiểu biết của nhóm về chuỗi Markov và mô hình Markov cũng như một số ứng dụng của mô hình trong thực tế Qua đó chúng em nhận thấy rằng tuy đã được nghiên cứu và phát triển từ lâu nhưng đến nay mô hình Markov vẫn được ứng dụng rất nhiều trong các công nghệ hiện đại và cũng như các công nghệ phục vụ sinh hoạt hằng ngày Do thời gian có hạn và độ hiểu biết của chúng em còn chưa... tham số được khởi tạo với các giá trị thích hợp, thì có một phần khả năng nào đó có thể giúp mô hình đạt được tối ưu toàn cục khi huấn luyện 5 Các ứng dụng của mô hình Markov ẩn: Ngày nay mô hình Markov ẩn được ứng dụng rộng rãi trong rất nhiều lĩnh vực như : Tên đề tài Nhóm học viên – M14CQTE02-B 21 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Tin sinh học (bioinformatics): là... dụng mô hình Markov ẩn trong nhận dạng chữ viết tay nhận dạng chữ viết tay (observed: kí hiệu, hidden: từ ngữ) Tên đề tài Nhóm học viên – M14CQTE02-B 22 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Hình 5.2 Sơ đồ tổng quát của một hệ thống nhận dạng chữ viết tay 5.2 Ứng dụng mô hình Markov ẩn trong nhận dạng tiếng nói Tên đề tài Nhóm học viên – M14CQTE02-B 23 Tiểu luận môn: Xử...Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Hình 3.3 Mô hình Left – Right − Hình 3.4 Mô hình Bakis − Hình 3.5 Mô hình tuyến tính Ví dụ: Hệ thống Bình – Cầu (The Urn and The Ball Model) Tên đề tài Nhóm học viên – M14CQTE02-B 11 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Giả sử ta có N cái... và mô hình HMM đại diện bởi bộ tham số Làm sao để tính toán một cách hiệu quả – xác suất phát sinh O từ mô hình Bài toán 2: cho trước chuỗi tín hiệu quan sát O = {O1, O2, …, OT} và mô hình HMM đại diện bởi bộ tham số Cần tìm ra chuỗi trạng thái tối ưu nhất Q = {q1, q2, …, qT} đã phát sinh ra O Bài toán 3: cho trước chuỗi tín hiệu quan sát O = {O1, O2, …, OT} Làm thế nào để xác định các tham số mô hình. .. hình sao cho cực đại hóa xác suất ? Đây chính là bài toán học / huấn luyện mô hình Bài toán này đem lại một khả năng rất quan trọng của HMM: khả năng mô hình hóa một đối tượng cụ thể trong thực tế, mô hình hóa dữ liệu học 4.1 Bài toán 1 – Probability Evaluation Mục tiêu của bài toán thứ nhất là tính – xác suất phát sinh O từ mô hình Một giải pháp đơn giản cho vấn đề này là trực tiếp duyệt qua tất cả... hiệu âm thanh, đối tượng ẩn: từ ngữ) Hình 5.3 Ứng dụng mô hình Markov ẩn trong nhận dạng tiếng nói Ứng dụng nhận dạng tiếng nói được sử dụng rất nhiều trong công nghệ hiện đại như điều khiển ôtô bằng giọng nói , giao tiếp với robot thông qua ngôn ngữ tiếng nói hay đơn giản chỉ là trong những nhu cầu hằng ngày như mở cửa nhà ,bật Tên đề tài Nhóm học viên – M14CQTE02-B 24 Tiểu luận môn: Xử lý tín hiệu số... Tên đề tài Nhóm học viên – M14CQTE02-B 19 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh 4.3 Bài toán 3 – Parameter Estimation Mục tiêu của bài toán thứ 3, cũng là bài toán phức tạp nhất trong ba bài toán, là tìm cách cập nhật lại các tham số của mô hình hóa xác suất sao cho cực đại ) – xác suất quan sát được chuỗi tín hiệu O từ mô hình Với một chuỗi tín hiệu quan sát hữu hạn bất... ta tính được vế phải của các biểu thức (*)(**)(***),kết quả nhận được chính là các tham số mới của mô hình Theo Baum đã chứng minh, ta luôn có trừ phi mô hình đã đạt đến điểm tối ưu cục bộ (khi đó ) Như vậy, thuật toán Baum-Welch sẽ được áp dụng qua nhiều bước lặp để ước lượng và cập nhật các tham số mô hình cho đến khi hội tụ Tuy nhiên, kết quả cuối cùng chỉ đạt được tối ưu cục bộ mà thôi Thông thường,... mỗi trạng thái: với: thõa ràng buộc Để thuận tiện cho việc trình bày, ta quy ước mỗi mô hình HMM sẽ được đại diện bởi bộ tham số: 4 Các thuật toán trong HMM Tên đề tài Nhóm học viên – M14CQTE02-B 13 Tiểu luận môn: Xử lý tín hiệu số nâng cao GVHD: TS Nguyễn Ngọc Minh Ba bài toán cơ bản của HMM Để có thể áp dụng được mô hình HMM vào các ứng dụng phức tạp trong thực tế, trước hết cần có lời giải thỏa đáng ... MỤC LỤC HÌNH ẢNH Hình 1.1 Mô hình Markov trang thái Hình 1.2 Mô hình Markov bậc Hình 1.3 Ứng dụng mô hình Markov dự báo thời tiết Hình 3.1 Hình minh họa mô hình Markov ẩn ( trạng... ( trạng thái) Hình 3.2 Mô hình Markov trạng thái Hình 3.3 Mô hình Left – Right Hình 3.4 Mô hình Bakis Hình 3.5 Mô hình tuyến tính Hình 3.6 Hình minh họa hệ... tiết Mô hình Markov ẩn 3.1 Định nghĩa Mô hình Markov ẩn dạng mở rộng mô hình Markov Trong mô hình Markov, kiện quan sát nằm trạng thái phụ thuộc vào phụ thuộc vào hàm mật độ xác suất trạng thái Hình