1 Xích Markov
1.5.3Ma trận trung bình lần đầu tiên đi qua và ma trận
trung bình quay lại
Ta xác định hai ma trận M và D. Phần tử thứ ij,mij của ma trận M là trung bình thời gian chuyển từ trạng thái i đến trạng thái j nếu i 6= j. Các phần tử trên đường chéo bằng 0. Ma trận M được gọi là ma trận trung bình lần đầu tiên đi qua. Ma trận D là ma trận mà tất cả các phần tử bằng 0 trừ ra các phần tử trên đường chéo dii = ri. Ma trận D được gọi là ma trận trung bình lặp lại. Nếu C là ma trận cỡ rxr với tất cả các phần tử bằng 1. Sử dụng đẳng thức 1.5.1 cho trường hợp i 6=j và đẳng thức 1.5.3 cho trường hợp i= j ta có đẳng thức ma trận
M = PM+C−D (1.4)
hoặc
(I−P)M =C−D (1.5)
Đẳng thức 1.5.5 với mii = 0 gợi ý cho đẳng thức 1.5.1 và 1.5.3. Bây giờ ta xét một định lí cơ bản sau
Định lý 1.5.1. Với một xích Markov egođic, thời gian trung bình để trở lại trạng thái i là ri = 1/wi với wi là thành phần thứ i của vectơ xác suất cố định cho ma trận chuyển.
Chứng minh. Nhân hai vế của đẳng thức 1.5.5 với w và sử dụng tính chất
ta được
wC−wD=0
Ở đây wClà vectơ hàng với tất cả các phần tử bằng 1 và wD là vectơ hàng với phần tử thứ i là wiri. vì vậy
(1,1, . . . ,1) = (w1r1, w2r2, . . . , wnrn) và
ri = 1/wi Khi đó định lí được chứng minh.
Hệ quả 1.5.1. Với mỗi xích Markov egođic, tất cả các thành phần của vectơ xác suất cố định w là dương ngặt.
Chứng minh. Ta biết rằng giá trị của rilà hữu hạn và vì thếwi = 1/ri không thể bằng 0.
Ví dụ 1.5.2. Trong ví dụ 1.3.6 ta tìm được vectơ xác suất cố định cho ví dụ mê cung là w = ( 1 12, 1 8, 1 12, 1 8, 1 6, 1 8, 1 12, 1 8, 1 12)
vì vậy thời gian trung bình lặp lại cho bởi nghịch đảo của những xác suất này, đó là
r = (12,8,12,8,6,8,12,8,12)
Trở lại ví dụ Land of Oz, ta tìm được thời tiết của ở Land of Oz sẽ biểu diễn bởi xích Markov với các trạng thái mưa, đẹp trời và có tuyết. Trong mục 1.3 ta tìm được vectơ giới hạn w = (2/5,1/5,2/5). Từ đây ta thấy rằng trung bình về số ngày giữa ngày mưa là 5/2, giữa đẹp trời là 5 và giữa những ngày có tuyết là 5/2