Làm thế nào chúng ta có thể áp dụng phương pháp học máy (machine learning) cho các dữ liệu dạng chuỗi của các quan sát thay đổi theo thời gian? Ví dụ, chúng ta có thể quan tâm việc khám phá chuỗi các từ mà một người nào đó nói dựa trên bản ghi âm phần nói chuyện của họ. Hoặc chúng ta có thể muốn gán nhãn từ loại của bài nói chuyện. Ghi chú này cung cấp phần giới thiệu toán học toàn diện cho mô hình Markov một phương thức lập luận về trạng thái theo thời gian, và mô hình Markov ẩn áp dụng khi chúng ta muốn trích xuất một chuỗi trạng thái từ một chuỗi các quan sát. Phần cuối cùng bao gồm một số nguồn tham khảo thể hiện về mô hình này theo các góc độ khác.
HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA QUỐC TẾ VÀ ĐÀO TẠO SAU ĐẠI HỌC -o0o - TIỂU LUẬN CÔNG CỤ TỐN CHO CƠNG NGHỆ THƠNG TIN Đề tài: HIDDEN MARKOV MODEL Giảng viên: TS Vũ Văn Thỏa Học viên: HÀ NỘI - 08/2018 MỤC LỤC PHẦN I: DỊCH BÀI BÁO SANG TIẾNG VIỆT Cơ mơ hình Markov ẩn Daniel Ramage CS229 Section Notes Ngày 01 tháng 12 năm 2007 LỜI GIỚI THIỆU Làm áp dụng phương pháp học máy (machine learning) cho liệu dạng chuỗi quan sát thay đổi theo thời gian? Ví dụ, quan tâm việc khám phá chuỗi từ mà người nói dựa ghi âm phần nói chuyện họ Hoặc muốn gán nhãn từ loại nói chuyện Ghi cung cấp phần giới thiệu tốn học tồn diện cho mơ hình Markov - phương thức lập luận trạng thái theo thời gian, mơ hình Markov ẩn - áp dụng muốn trích xuất chuỗi trạng thái từ chuỗi quan sát Phần cuối bao gồm số nguồn tham khảo thể mơ hình theo góc độ khác Mơ hình Markov Cho tập trạng thái S = {s 1, s2,… , s|S|} quan sát chuỗi thời gian ∈ ST Ví dụ, có trạng thái thời tiết S = {sun,cloud, rain} với |S| = quan sát thời tiết vài ngày {z1 = ssun; z2 = scloud; z3 = scloud; z4 = srain; z5 = scloud} với T = Các trạng thái thời tiết quan sát ví dụ đại diện cho kết đầu trình ngẫu nhiên theo thời gian Nếu khơng có thêm giả định nào, trạng thái sj thời điểm t khả biến nào, bao gồm tất trạng thái từ thời điểm đến t-1 nhiều biến khác mà chí khơng mơ hình chúng Tuy nhiên, ta thực hai giả định Markov nhằm giúp dễ dàng xử lý chuỗi thời gian The LIMITED HORIZON ASSUMPTION - Giả định phạm vi hạn chế giả sử xác suất trạng thái thời điểm t phụ thuộc vào trạng thái thời điểm t-1 Về mặt trực quan, giả định trạng thái thời điểm t biểu thị tóm tắt tương đối đầy đủ trạng thái trước để dự đốn khả xảy tương lai Công thức: P (zt|zt-1, zt-2,…, z1) = P(zt|zt-1) The STATIONARY PROCESS ASSUMPTION - Giả định tiến trình tĩnh, giả thiết phân phối có điều kiện trạng thái theo sau trạng thái không thay đổi theo thời gian Công thức: P (zt|zt-1) = P (z2|z1); t ∈ 2…T Quy ước trạng thái ban đầu quan sát z 0≡ s0, với s0 thể phân phối xác suất ban đầu trạng thái thời điểm Kí hiệu thuận tiện cho phép mã hóa cách xác tiền xác suất quan sát trạng thái thực z1 P(z1|z0) Lưu ý P(zt|zt-1,…, z1) = P(zt|zt-1,…, z1; z0) ta định nghĩa z0 = s0 cho chuỗi trạng thái (Một số thể khác mơ hình Markov ẩn - HMMs biểu diễn tiền xác suất véc tơ π∈) Ta tham số hóa chuyển dịch cách xác định ma trận chuyển trạng thái A ∈(|S| + 1)x(|S| + 1) Giá trị Aij xác suất chuyển từ trạng thái I đến trạng thái j thời điểm t Với ví dụ thời tiết trên, có ma trận chuyển đổi sau: Lưu ý số mà tác giả thiết lập biểu thị trực quan thời tiết có khả tự tương quan: nghĩa trời nắng có xu hướng tiếp tục nắng, nhiều mây tiếp tục nhiều mây, Mơ hình phổ biến nhiều mơ hình Markov quan sát đường chéo ma trận chuyển đổi Chú ý ví dụ này, xác suất chuyển đổi từ trạng thái khởi tạo s đến trạng thái lại không thay đổi Hai vấn đề mơ hình Markov Kết hợp giả định Markov với tham số ma trận chuyển trạng thái A, ta trả lời hai vấn đề chuỗi trạng thái chuỗi Markov Thứ nhất, xác suất chuỗi trạng thái cụ thể gì? Và, làm ước lượng tham số ma trận A để tối đa hóa khả chuỗi quan sát ? Xác suất chuỗi trạng thái Chúng ta tính tốn xác suất chuỗi trạng thái cụ thể cách sử dụng quy tắc dây chuyền (chain rule) xác suất: P() = P(zt, zt-1,…,z1; A) = P(zt, zt-1,…, z1, z0; A) = P(zt|zt-1, zt-2,…, z1; A)P(zt-1|zt-2,…,z1; A)…P(z1|z0; A) = P(zt|zt-1; A)P(zt-1|zt-2; A)…P(z2|z1; A)P(z1|z0; A) = (zt|zt-1; A) = zt-1 zt Ở dòng thứ hai ta đặt z làm xác suất đầu mối ban đầu, ta định nghĩa z Dòng thứ ba với phân phối nối tiếp quy tắc dây chuyền xác suất áp dụng lặp lặp lại quy tắc Bayes Dòng thứ tư dựa giả định Markov dòng cuối thể quy tắc yếu tố ma trận chuyển đổi A Hãy tính xác suất chuỗi thời gian ví dụ trước Ta tính P(z = ssun, z2 = scloud, z3 = srain, z4 = srain, z5 = scloud) sau: P(ssun|s0)P(scloud|ssun)P(srain|scloud)P(srain| srain)P(scloud|srain) = 33 *.1 *.2* 7* 2 Thiết lập tham số khả tối đa Từ khía cạnh nghiên cứu, tìm cách để tìm tham số A để tối đa hóa khả xảy chuỗi quan sát Điều tương ứng với tìm kiếm khả chuyển từ sunny sang cloudy so với từ sunny sang sunny,… để tạo tập quan sát có khả Hãy xác định loglikelihood mơ hình Markov Ở dịng cuối cùng, ta sử dụng hàm thị có giá trị điều kiện thỏa mãn ngược lại có giá trị để chọn chuyển dịch quan sát bước thời gian Khi giải vấn đề tối ưu hóa này, điều quan trọng phải đảm bảo thơng số A tìm tạo ma trận chuyển đổi hợp lệ Đặc biệt, cần phải tuân thủ phân bố xác suất trạng thái i ln ln có tổng tất phần tử A khơng âm Ta giải vấn đề tối ưu hóa phương pháp nhân tử Lagrange Vấn đề tối ưu hóa ràng buộc giải dạng khép kín phương pháp nhân tử Lagrange Ta đưa ràng buộc bình đẳng vào phương pháp Lagrange, ràng buộc bất bình đẳng bỏ qua, dù giải pháp tối ưu vận dụng giá trị dương cho A ij Từ xây dựng cơng thức Lagrange sau: Lấy đạo hàm phần đặt chúng khơng, ta có: Thế trở lại thiết lập αi 0: Thay giá trị αi vào biểu thức khởi tạo cho Aij ta thu giá trị tham số khả cực đại cuối cho Âij Công thức mã hóa trực quan đơn giản: xác suất khả tối đa chuyển đổi từ trạng thái i đến trạng thái j số lần chuyển từ i sang j chia cho tổng số lần trạng thái i Nói cách khác, tham số khả tối đa tương ứng với tỷ số thời gian trạng thái i chuyển sang trạng thái j Mơ hình Markov ẩn Mơ hình Markov khái niệm trừu tượng hữu ích liệu chuỗi thời gian, không nắm bắt tình phổ biến Làm suy luận loạt trạng thái quan sát trạng thái đó, thay có hàm xác suất trạng thái Đây tình gán nhãn từ loại từ quan sát từ loại, nhận dạng giọng nói chuỗi âm quan sát từ tạo Ví dụ đơn giản, mượn đề xuất thiết lập Jason Eisner vào năm 2002 [1], “Ice Cream Climatory” Tình huống: Bạn nhà khí tượng năm 2799, nghiên cứu lịch sử nóng lên tồn cầu Bạn khơng tìm hồ sơ thời tiết Baltimore, bạn tìm nhật ký Jason Eisner, ghi lại chi tiết tơi ăn kem ngày Dựa vào bạn điều thời tiết mùa hè? Mơ hình Markov ẩn sử dụng để giải tình Chúng ta khơng quan sát chuỗi trạng thái thực tế (thời tiết ngày) Thay vào đó, quan sát số kết tạo trạng thái (bao nhiêu kem ăn ngày hơm đó) Về hình thức, mơ hình Markov mơ hình Markov mà có chuỗi kết đầu quan sát { 1, 2, …, T}rút từ tập đầu V = {v 1, v2,…, v|V|}, nghĩa t∈ V, t = T Trong phần trước, ta thừa nhận tồn chuỗi trạng thái z = {z1, z2,…, zT} rút từ tập trạng thái S = {s 1, s2,…, s|S|}, zt∈ S, t = T trường hợp giá trị trạng thái không quan sát Sự chuyển dịch trạng thái i j lần thể giá trị tương ứng ma trận chuyển dịch trạng thái Aij Chúng ta mơ hình hóa xác suất tạo quan sát đầu hàm trạng thái ẩn Để làm vậy, thực giả định độc lập đầu OUTPUT INDEPENDENCE ASSUMPTION định nghĩa P(x t = vk|zt = sj)= P(xt = vk|x1,…, xT, z1,…, zT) = Bjk Ma trận B mã hóa xác suất tạo trạng thái ẩn đầu vk cho trạng thái sj thời điểm tương ứng Quay trở lại ví dụ thời tiết, giả sử bạn có ghi chép tiêu thụ kem giai đoạn bốn ngày: mã hóa số lượng kem tiêu thụ, nghĩa là: V={v1 = ice cream, v2 = ice creams, v3 = ice creams} Chúng ta phải giải vấn đề HMM? Ba vấn đề mơ hình Markov ẩn Có ba vấn đề HMM Đó là: Xác suất chuỗi quan sát (làm để có khả biết 3, 2, 1, kem tiêu thụ)? Chuỗi trạng thái có khả tạo quan sát (thời tiết bốn ngày nào)? Và làm biết cách giá trị tham số A B HMM đưa vài liệu? Xác suất chuỗi quan sát: Thủ tục tiến Trong HMM, giả định liệu tạo trình sau: thừa nhận tồn chuỗi trạng thái dựa theo độ dài chuỗi thời gian Chuỗi trạng thái tạo mơ hình Markov tham số hóa ma trận chuyển đổi trạng thái A Tại bước thời gian t, chọn đầu x t hàm trạng thái Zt Vì vậy, để có xác suất chuỗi quan sát, cần phải bổ sung thêm khả liệu cho chuỗi trạng thái Các cơng thức cho phân phối xác suất Tuy nhiên, giả định HMM cho phép giản lược biểu thức sau: Tin tốt là, biểu thức đơn giản tham số Biến đổi biểu thức theo giả định HMM: giả định độc lập đầu ra, giả định Markov, giả định trình tĩnh sử dụng để có dịng thứ hai Tin xấu tổng số vượt định cho Bởi zt lấy giá trị |S| bước thời gian, việc đánh giá trực tiếp tổng số yêu cầu phép tính O(|S|T) Thuật tốn 1: Thủ tục tiến để tính αi(t) Khởi tạo:αi(0) = A0i, i = |S| Đệ quy: May thay, phương tiện nhanh máy tính P (; A, B) thơng qua thuật tốn lập trình động gọi thủ tục tiến Đầu tiên, định nghĩa lượng αi (t) = P(x1, x2,…, xt,zt = si; A, B) αi(t) biểu thị cho xác suất tổng tất quan sát theo thời gian t (bằng định trạng thái nào) trạng thái s i thời điểm t Nếu có lượng vậy, xác suất loạt quan sát đầy đủ P () biểu diễn sau: Thuật tốn 2.2 biểu diễn cách tính tốn αi(t) hiệu Tại bước thời gian cần tính O(|S|), kết độ phức tạp thuật tốn cuối O(|S|.T) tính xác suất tổng chuỗi trạng thái quan sát P (; A, B) Một thuật toán tương tự gọi thủ tục quay lui (BACKWARD PROCEDURE) sử dụng để tính toán xác suất tương tự βi (t) = P (xT, xT1,…, xt + 1,zt = si; A, B) Thiết lập trạng thái khả tối đa: Thuật toán Viterbi Một vấn đề phổ biến mơ hình Markov ẩn mà chuỗi trạng thái có khả ∈ ST đưa chuỗi kết đầu rađược quan sát ∈ VT Ta có: 10 Sự đơn giản hóa theo qui tắc Bayes lần thứ hai dựa quan sát mẫu số không phụ thuộc vào Một cách đơn giản, thử định khả cho gán với xác suất cao mơ hình Tuy nhiên, điều yêu cầu tính O(|S| T) để liệt kê loạt định Tại điểm này, bạn cho giải pháp lập trình động giống thủ tục tiến lưu giữ ngày Chú ý bạn thay nhiệm vụ giống với biểu thức đưa thủ tục tiến Thuật toán 2: Ứng dụng Naive EM cho HMMs Lặp lại hội tụ { (Bước E) Đối với gán nhãn ∈ ST , đặt Q(:= p(; A,B) (Bước M) đặt: Thuật toán Viterbi giống thủ tục tiến ngoại trừ việc thay theo dõi xác suất tổng tạo quan sát bây giờ, cần theo dõi xác suất cực đại ghi nhận chuỗi trạng thái tương ứng Tham số học: EM cho HMMs Vấn đề cuối HMM là: đưa tập hợp quan sát, giá trị xác suất chuyển đổi trạng thái A xác suất phát sinh đầu B làm cho liệu có khả gì? Ví dụ, giải tham số khả tối đa dựa tập liệu nhận dạng giọng nói cho phép huấn luyện HMM cách hiệu trước yêu cầu định trạng thái khả tối đa tín hiệu phát biểu đề cử 11 Trong phần này, trình bày cách áp dụng thuật tốn tối đa kỳ vọng mơ hình Markov ẩn Bằng chứng dựa theo công thức chung EM trình bày CS229 Thuật tốn 2.4 đưa thuật toán EM Chú ý vấn đề tối ưu hóa bước M bị hạn chế để A B trì xác suất hợp lệ Giống giải pháp khả tối ưu tìm mơ hình Markov (khơng ẩn), giải vấn đề tối ưu hóa với phương pháp nhân tử Lagrange Chú ý bước E bước M yêu cầu liệt kê tất | S|Tcó thể gán cho Chúng ta sử dụng thuật toán tiến lui đề cập trước để tính tốn tập hợp số liệu thống kê đầy đủ cho bước E bước M cách dễ dàng Đầu tiên, viết lại hàm mục tiêu sử dụng giả định Markov Ở dòng ta chia log thành phép trừ lưu ý số hạng mẫu số không phụ thuộc vào tham số A B Các giả định Markov áp dụng dòng thứ Dòng sử dụng hàm thị để đánh dấu cho A B trạng thái Cũng tham số khả tối ưu mơ hình Markov khơng ẩn, khơng có vấn đề ta bỏ qua ràng buộc bất bình đẳng dạng giải tự đưa kết với số dương Xây dựng công thức Lagrange: 12 Lấy đạo hàm phần đặt biểu thức không: Lấy đạo hàm phần giữ nguyên nhân tử Lagrange thay giá trị Aij Bjk trên: 13 Thế trở lại vào biểu thức trên, ta tìm tham số Â mà hóa số lượng dự đoán liệu là: tối đa Thật không may, tổng số vượt nhãn ∈ ST Nhưng nhớ lại Q( xác định bước E P(|; A,B) cho tham số A B bước thời gian cuối Hãy xem xét làm để biểu diễn tử số Âij dạng xác xuất tiến lùi, αi (t) βj(t) 14 Trong hai bước ta đảo vị trí số hạng thay giá trị định nghĩa Q Sau đó, ta sử dụng quy tắc Bayes có dịng thứ tư, dòng ta sử dụng định nghĩa α, β, A, B Tương tự vậy, mẫu số biểu diễn cách tính tổng tất giá trị tử số thông qua j Kết hợp biểu thức này, mơ tả đầy đủ chuyển đổi trạng thái khả tối đa Âij mà không cần phải liệt kê tất tử số là: 15 Tương tự vậy, biểu diễn cho tử số cho jk sau: Thuật toán 3: thuật toán Forward-Backward nghiên cứu tham số HMM Khởi tạo: Đặt A B ma trận xác suất hợp lệ ngẫu nhiên với Ai0 = B0k = vài = |S|; k = |V| Lặp lại hội tụ { (Bước E) Chạy thuật tốn tiến lùi để tính toán αi βi, với i = |S| Sau đặt: (M-Step) ước tính lại thơng số khả tối đa: Và triển khai : jk 16 Kết hợp biểu thức lại, ta thu biểu thức cho xác suất phát sinh khả tối đa sau: Thuật toán 2.4 cho thấy biến thể thuật toán Forward-Backward, hay thuật toán Baum-Welch cho tham số học HMMs Trong bước E, thay đánh giá cách minh bạch Q( cho tất ∈ ST, ta tính tốn thống kê đầy đủ t(i,j) = i(t)AijBjxtj(t+1) để cân đối xác suất chuyển đổi trạng thái s i sj thời điểm t cho tất quan sát Các biểu thức gốc Aij Bjk tương đối trực quan Aij tính số chuyển đổi kỳ vọng từ s i đến sj chia cho số lượng kỳ vọng xuất si Tương tự vậy, Bjk tính số phát sinh kỳ vọng vk từ sj bị chia số lượng xuất kỳ vọng sj Giống nhiều ứng dụng EM, tham số học HMMs vấn đề non-convex với nhiều local maxima EM hội tụ để đạt cực đại dựa tham số ban đầu nó, số hạng xếp theo thứ tự Ngồi ra, cịn có vai trị quan trọng việc làm mịn phân phối xác suất biểu diễn A B khơng có chuyển đổi phát sinh có xác xuất Đọc thêm Có nhiều nguồn tài liệu tốt cho việc nghiên cứu mơ hình Markov ẩn Đối với ứng dụng xử lý ngôn ngữ tự nhiên, đề xuất dự thảo ấn thứ hai Speech and Language Processing1 Jurafsky Martin Foundations of Statistical Natural Language Processing Manning Schütze 17 Ngoài ra, HMM-in-a-spreadsheet [1] Eisner cách tương tác dễ dàng để áp dụng HMM cần đến ứng dụng bảng tính Tài liệu tham khảo [1] Jason Eisner An interactive spreadsheet for teaching the forwardbackward algorithm In Dragomir Radev and Chris Brew, editors, Proceedings of the ACL Workshop on Effective Tools and Methodologies for Teaching NLP and CL, pages 10-18, 2002 18 PHẦN II: PHÂN TÍCH VÀ ĐÁNH GIÁ Phân tích toán Nhiều toán thực tế biểu diễn mối quan hệ nhân - quả, quan sát phần “quả” cịn phần “nhân” lại ẩn số HMM mơ hình cho phép thuật toán giải toán xác lập mối quan hệ nhân cục nói Mơ hình Markov ẩn (Hidden Markov Model - HMM) mơ hình thống kê mà hệ thống mơ hình hóa cho q trình Markov với tham số trước Nhiệm vụ ta phải xác định tham số ẩn dựa tham số quan sát Theo đó, tham số mơ hình rút sau sử dụng để thực phân tích Thuật tốn Viterbi Một vấn đề HMMs xác định chuỗi trạng thái mà có khả đưa chuỗi quan sát cho trước nhiều Và báo này, tác giả lựa chọn sử dụng thuật toán Viterbi giải pháp cho vấn đề Thuật toán Viterbi dạng khác thuật toán biểu đồ mắt cáo, tương tự thủ tục tiến Forward, ngoại trừ việc chọn giá trị xác suất chuyển đổi lớn bước, thay tính tổng chúng Sau ta xét ví dụ dự báo thời tiết để hiểu rõ thuật tốn Viterbi: Tình huống: Có loại thời tiết: nắng , mưa , sương mù Và ta giả thiết loại thời tiết xảy diễn ngày, không thay đổi vào khoảng thời gian ngày Bây giả thiết bạn bị nhốt phòng nhiều ngày, bạn hỏi thời tiết bên Và có vài chứng bạn có việc người bạn đem bữa ăn đến cho bạn có mang dù hay khơng Bạn khơng biết thời tiết bạn bị khóa Vào ba ngày bạn quan sát thấy người bạn sau: 19 Tìm xác suất lớn chuỗi thời tiết sử dụng thuật toán Viterbi (giả thiết xác suất ưu tiên vào ngày 1) Bước Tính giá trị ban đầu (Initialisation): Hình 1: Thuật tốn Viterbi để tìm chuỗi thời tiết xảy Ta tìm thấy đường dẫn đến trạng thái trời nắng thời điểm n= Bước Đệ quy (Recursion): 20 Chúng ta tính khả tới trạng thái khả xảy với: từ tất trạng thái trước, chọn Tức hình vẽ tìm đường dẫn mà dẫn đến likelihood lớn xét likelihood tốt thời điểm trước bước chuyển tiếp từ Rồi nhân với likelihood cho trạng thái Và kết tìm thấy đường dẫn tốt Likelihood tính δ, trạng thái trước ψ (xem hình 1) Thực tương tự với trạng thái trời : Với n=3: 21 Cuối cùng, thu đường dẫn kết thúc xảy trạng thái mơ hình (hình 2): Hình 2: Thuật tốn Viterbi để tìm chuỗi thời tiết có khả xảy n= Hình 3: Thuật tốn Virtebi tìm chuỗi thời tiết xảy Bước Termination: 22 Con đường xảy xác định, bắt đầu cách tìm trạng thái cuối chuỗi xảy Bước Backtracking: Chuỗi trạng thái tốt đọc từ vector ψ Xem hình Theo cách chuỗi thời tiết xảy là: Xây dựng cấu trúc liệu cho INPUT OUTPUT - INPUT: Chuỗi quan sát: - OUTPUT: Chuỗi kết xảy ra: Ưu - Nhược điểm thuật tốn Viterbi *Ưu điểm: - Độ xác cao - Tốc độ thực cao * Nhược điểm: - Yêu cầu nhiều dung lượng nhớ thiết bị Các lớp toán tương tự - Bài toán gán nhãn từ loại (part-of-speech tagging - POS) xử lý ngơn ngữ tự nhiên (Natural Language Processing) - Bài tốn mã hóa liệu hệ thống truyền dẫn số - Bài tốn nhận dạng tiếng nói - Bài tốn nhận diện khuôn mặt 23 ... giải toán xác lập mối quan hệ nhân cục nói Mơ hình Markov ẩn (Hidden Markov Model - HMM) mơ hình thống kê mà hệ thống mơ hình hóa cho trình Markov với tham số trước Nhiệm vụ ta phải xác định... hình Markov quan sát đường chéo ma trận chuyển đổi Chú ý ví dụ này, xác suất chuyển đổi từ trạng thái khởi tạo s đến trạng thái cịn lại khơng thay đổi Hai vấn đề mơ hình Markov Kết hợp giả định Markov. .. khả tối đa tương ứng với tỷ số thời gian trạng thái i chuyển sang trạng thái j Mô hình Markov ẩn Mơ hình Markov khái niệm trừu tượng hữu ích liệu chuỗi thời gian, khơng nắm bắt tình phổ biến Làm