III. NGÀY HOÀN THÀNH NHI 烏M 影: 21/06/2013 È ÈÈÈÈÈÈ0
N 浦I DUG
3.2. Quá trình Markov
M瓜v"swƒ"vt·pj"Octmqx"8逢嬰e"8鵜pj"pij c"pj逢"ucw<"ejq"o瓜t t壱p h英u h衣n các tr衣ng thái S = {s1, s2, ... sn} và m瓜t quá trình ng磯u nhiên b逸v"8亥u t瑛 m瓜t tr衣ng thái b医t kì trong S. Quá trình l亥p"n逢嬰t chuy吋n t瑛 tr衣ng thái này sang tr衣ng thái khác. Khi quá trình 8cpi"荏 m瓜t tr衣ng thái si-1 p q"8„."x "ejw{吋n sang m瓜t tr衣ng thái k院 ti院p si, thì xác su医t chuy吋n tr衣ng thái này ch雨 ph映 thu瓜c vào tr衣ng thái hi羽n t衣i si-1 x "8瓜c l壱p v噂i b医t kì tr衣pi"vjƒk"p q"vt逢噂c si-1, thì ta g丑i quá trình này là m瓜t quá trình Markov b壱c nh医t. Kí hi羽u:
Pr(si | s0, s1, s2, s3È"si-1) = Pr(si | si-1)
Tính ch医v"vt‒p"e”p"8逢嬰c g丑i là tính ch医t Mctmqx0"Pj逢"x壱y, quá trình Markov còn 8逢嬰c 8鵜pj"pij c là m瓜t quá trình ng磯u nhiên có tính ch医t Markov.
V噂i |S| = m tr衣ng thái trong t壱p S, phân b嘘 xác su医t chuy吋n tr衣ng thái c栄a quá trình Markov có th吋8逢嬰c bi吋u di宇n b茨ng m瓜t ma tr壱n vuông P e„"m ej"vj逢噂c m x m, g丑i là ma tr壱n chuy吋p"8鰻i tr衣ng thái. M厩i ph亥n t穎 P(i,j) bi吋u di宇n xác su医v"e„"8k隠u ki羽n Pr(sj | si) hay xác su医t mà quá trình s胤 chuy吋n sang tr衣ng thái sj mjk"8cpi" 荏 tr衣ng thái si.
T鰻ng quát hóa, trong m瓜t quá trình Markov b壱c n, xác su医t x違y ra c栄a tr衣ng thái si ph映 thu瓜e"e„"8k隠u ki羽n vào n tr衣pi"vjƒk"vt逢噂e"8„<
Pr(si | s0, s1, s2, s3È"si-1) = Pr(si | si-n.È"si-1)
M瓜t chu厩i Markov th運i gian r運i r衣c là m瓜v"vt逢運ng h嬰r"8員c bi羽t c栄a quá trình Octmqx."vtqpi"8„."o厩i s詠 chuy吋p"8鰻i tr衣ng thái di宇n ra t衣i nh英ng d逢噂c r運i r衣c nhau. Ví d映: v鵜 trí hi羽n t衣i c栄a các quân c運 trên bàn c運 có th吋 xem là m瓜t tr衣ng thái c栄a chu厩i Markov th運i gian r運i r衣c, b荏i vì s詠vjc{"8鰻i tr衣pi"vjƒk"*vjc{"8鰻i v鵜 trí các quân c運 trên bàn c運) ch雨 di宇n ra theo t瑛pi"d逢噂c c映 th吋, t泳c sau m厩k"n逢嬰v"8k"e栄c"pi逢運i ej挨k0
M瓜t chu厩i Markov th運i gian liên t映c là quá trình mà s詠 chuy吋p"8鰻i tr衣ng thái có th吋 x違y ra vào b医t c泳 th運k"8k吋m nào theo m瓜t tr映c th運i gian xuyên su嘘t c栄a quá trình.
Quá trình Markov có th吋 8逢嬰c f́pi"8吋 mô hình hóa nhi隠u quá trình trong lí thuy院v"j pi"8嬰i và th嘘ng kê. Swƒ"vt·pj"Octmqx"e pi"e„"vj吋 8逢嬰c s穎 d映pi"8吋 mô ph臼ng hi羽u qu違 các quá trình di chuy吋n hay ti院n hóa swcp"uƒv"8逢嬰c trong t詠 nhiên, fq"8„"8逢嬰c 泳ng d映ng r瓜pi"t«k"vtqpi"eƒe"n pj"x詠e"pj逢e挨"j丑c th嘘ng kê, sinh h丑c, 8鵜a ch医t hay vi宇n thông.