Các chuỗi Markov

Vào năm 1906 nhà toán học người Nga đã phát triển khái niệm chuỗi Markov. Chuỗi Markov được mô tả như sau:

Giả sử tiến hành một số thí nghiệm với một tập của k các kết quả hoặc các mệnh đề, Ss s1, ,...,2 sk. Thí nghiệm được lặp đi lặp lại sao cho xác suất (pij) của mệnh đề ,1si  i k xảy ra khi lặp lại lần thứ (n+1) chỉ phụ thuộc vào mệnh đề si xuất hiện sự lặp lại lần thứ n của thí nghiệm. Trong ngôn ngữ lý thuyết xác suất, (pij) p s s i j là xác suất xảy ra si trong lần lặp lại tiếp theo. Cho rằng, sj xảy ra vào lần lặp lại cuối cùng, một trong s s1, 2,...,sk phải xảy ra trong lần lặp tiếp theo. Như vậy p1jp2j  ... pkj 1,1 j k. (3.1) Cho p ni( ) biểu thị xác suất mà si sẽ xảy ra vào lần lặp lại thứ n của thí nghiệm,

1 i k.Vì một trong các si phải xảy ra ở lần lặp lại thứ n, sau đó là

p n1( )p n2( ) ...  p nk( ) 1. (3.2) Để rút ra mô hình toán học cho thí nghiệm này, chúng ta định nghĩa :

( 1),1

i

p n  i k , là xác suất mà si xảy ra vào lần lặp thứ (n+1) của thí nghiệm. Có k cách để điều này xảy ra :

Trường hợp đầu tiên là lần lặp thứ n cho ta s1 và lần lặp thứ (n+1) cho ta si

Vì xác suất nhận được s1 ở lần lặp thứ n là p n1( ) và xác suất nhận được si sau s1

42

Trường hợp 2, chúng ta nhận được s2 ở lần lặp lại thứ n và si ở lần lặp lại thứ (n+1).

Xác suất xảy ra ở trường hợp thứ 2 là p p ni2 2( ). Lặp lại điều này cho ở trường hợp thứ 3,4,…,k và với i1, 2,...,k, ta có hệ k chiều : 1 11 1 12 2 1 2 21 1 22 2 2 1 1 2 2 ( 1) ( ) ( ) ... ( ), ( 1) ( ) ( ) ... ( ), ... ( 1) ( ) ( ) ... ( ). k k k k k k k kk k p n p p n p p n p p n p n p p n p p n p p n p n p p n p p n p p n               

hoặc biểu diễn dưới dạng ma trận:

p n(  1) Sp n n( ), 1, 2, 3,..., (3.3) trong đó p n( )p n p n1( ), 2( ),...,p nk( )T là vectơ xác suất và S  pij là ma trận chuyển đổi cấp kk.

Ma trận S thuộc một lớp ma trận đặc biệt gọi là ma trận Markov. Ma trận A aij

được gọi là ma trận không âm (dương) nếu aij  0( 0) với mọi mục aij của A.

Định nghĩa 3.1. Một ma trận A không âm cấp k k được gọi là Markov (hoặc ngẫu nhiên) nếu 1 1, 1, 2,..., k ij i a j k     