Trong phần này ta trình bày một thuật toán hữu ích cho cách giải đầy đủ dáng điệu tiệm cận của một xích Markov. Nó sẽ diễn tả ví dụ về bảo hiểm xã hội được cho trong phần trước. Thuật toán, được đưa ra bởi De Dominics, Manca (1984b), hữu ích cho sự phân loại trạng thái của xích Markov. Nó thể hiện trên đồ thị mô tả các phép chuyển của quá trình từ trạng thái này sang trạng thái khác. Để biểu diễn các bước của thuật toán ta sẽ theo ví dụ đã được nêu trong phần trước. Đầu tiên, ta mô tả ngắn gọn lý thuyết đồ thị dạng Christophidies (1975).
Đặt Γ là không gian trạng thái:
Γ ={x1, x2, ..., xm} (2.139) Trong đó nút xi mô tả trạng thái thứ i. Γ(xi) mô tả tập hợp các nút có thể đạt được sau một bước đơn từ xi, ta nói rằngxj ∈Γ(xi)nếu có một cung nối trực tiếp từxi đến xj.
Γk(xi) mô tả tập hợp các nút có thể đạt được từ xi theo một đường dẫn có độ dài k. Cuối cùng, R(xi) là tập hợp của tất cả các nút có thể đạt được từ xi nghĩa là giả sử
Γ0(xi) ={xi} nó có kết quả là: R(xi) = p [ k=1 Γk(xi) (2.140)
trong đó p≤m−1 là số nguyên nhỏ nhất như vậy
Γp+1(xi)⊆
p
[
k=1
Γk(xi). (2.141)
Bây giờ đặt A là ma trận kề của đồ thị. Như đã biết nó cho kết quả là: aij =
1 nếu xj ∈Γ(xi)
0 nếu xj ∈/ Γ(xi) (2.142)
Ma trận kề liên quan đến đồ thị trong hình minh họa2.4 được thể hiện trong bảng2.2. Trạng Thái 1 2 3 4 5 1 1 1 0 0 0 2 0 1 1 0 0 3 0 0 1 1 1 4 0 0 0 1 1 5 0 0 1 1 1 Bảng 2.2: Ma trận kề
0 trong ma trận chuyển 2.133. A có thể được xem là ma trận Boolean. Đặt: Ak =Ak−1A (2.143) cho ta: kaij = 1 nếu xj ∈Γk(xi) 0 nếu xj ∈/ Γk(xi) (2.144)
Khi đó, kí hiệu R là ma trận đạt được của đồ thị được định nghĩa như sau: rij = 1 nếu xj ∈R(xi) 0 nếu xj ∈/ R(xi) (2.145) ta thấy rằng: R=A0 ∨A1 ∨A2 ∨...∨Am−1. (2.146)
Quan hệ giữa ma trận đạt được và ma trận kề của bảng 2.2 được thể hiện trong bảng 2.3. Trạng thái 1 2 3 4 5 1 1 1 1 1 1 2 0 1 1 1 1 3 0 0 1 1 1 4 0 0 1 1 1 5 0 0 1 1 1 Bảng 2.3: Ma trận đạt được
Với ma trận đạt được, ta có thể chia nhỏ tập hợp các trạng thái của quá trình thành các lớp tương đương gọi là Cs, có kết quả là:
xi, xj ∈Cs ⇔rij =rji = 1. (2.147) Hệ thức 2.147 có nghĩa là các nút của lớp có dạng một vòng tròn và đó là vòng tròn duy nhất. Ta giả sử rằng, nếu một lớp chứa một nút đơn thì nút đơn đó là một vòng tròn. Trong ví dụ này, ta có ba lớp sau:
C1 ={1}, C2 ={2}, C3 ={3,4,5}. (2.148) bây giờ nếu có thể xây dựng một hệ thức thứ tự riêng giữa các lớp Cs.
Định nghĩa sau đựơc trình bày là: Cp ≤ Cq⇔Cp = Cq hoặc ∃ {xt1, ..., xth} đường dẫn của các trạng thái
xt1 ∈Cq,xth ∈Cp. (2.149) Nếu nó có thể đi từ lớp Cp đến lớpCq thì điều đó có nghĩa là Cp ≤Cq. Khi đó ta có:
C3 ≤C2 ≤C1. (2.150)
Áp dụng hệ thức thứ tự này, các lớp trạng thái được chia nhỏ thành hai trạng thái là: nhất thời và hồi quy. Thuật toán phân biệt sự khác nhau giữa các lớp nhất thời: một lớp là cực đại nếu các lớp khác không đến được nó, một lớp là nhất thời ngặt nếu một phần
2.9 Phương pháp số giải bài toán tiệm cận 67 tử của hệ không vào được lớp này và sau đó cũng có thể thoát ra khỏi lớp đó. Rõ ràng, các lớp hồi quy (ước lượng được hoặc hấp thu) là các lớp cho kết quả rằng khi một phần tử vào được lớp này thì nó không thể ra được.
Trong ví dụ này, ta được:
C1 là cực đại;
C2 là nhất thời ngặt; (2.151)
C3 là hấp thu.
Quá trình đã cho là duy nhất đơn giản được. Thuật toán này phân loại quá trình như một hàm của số lượng các lớp và của các trạng thái hấp thu. Sau đó thuật toán đưa ra ma trận chuyển dạng chính tắc xem Gantmacher (1959). Ma trận này cho ta khả năng để xét xem bằng cách nào hệ sẽ thác triển vượt thời gian. Với ví dụ này, dạng thác triển tương ứng với ma trận chuyển vì vậy ta không trình bày phần này.
Dạng thác triển được viết bằng cách đổi thứ tự các dòng và cột của ma trận và cũng phải quan tâm đến thứ tự của các lớp. Các dòng và cột tương ứng với các trạng thái của các lớp cực đại được đặt trong góc tây-bắc của ma trận.
Trong bước liên tiếp các dòng và cột của các trạng thái tương ứng với các lớp nhất thời ngặt được đặt trong ma trận dạng chính tắc. Trong bước này thứ tự giữa các lớp nhất thời ngặt được giữ lại. Điều này có nghĩa là nếu một lớp nhất thời ngặt đi đến một lớp nhất thời ngặt khác thì lớp đầu tiên được đặt vào ma trận trước lớp thứ hai. Trong bước cuối cùng các dòng và các cột tương ứng với các trạng thái của các lớp hấp thu được đặt ở góc đông-nam của ma trận. Trong trường hợp tối giản, dạng chính tắc luôn luôn bằng với ma trận ban đầu. Đôi khi ma trận được viết dưới dạng chính tắc, thuật toán nghiên cứu dáng điệu tiệm cận của ma trận xích Markov. Nó sẽ đưa vào sự phân loại của quá trình được xét.
Nếu xích Markov là tối giản thì vectơ ổn định π sẽ được tính và nếu quá trình là duy nhất đơn giản được thì vectơ giới hạn của lớp hấp thu duy nhất sẽ được tính.
Nếu quá trình đơn giản được thì với mỗi ma trận phụ tương ứng với các trạng thái của lớp hấp thu, vectơ giới hạn sẽ được tìm thấy. Hơn nữa, các xác suất hấp thu
(fi,Cv,i∈T),v = 1, ..., r sẽ được tìm thấy, trong đór là số lượng các lớp hấp thu. Đôi khi các xác suất hấp thu có được, thuật toán sẽ tínhpn
ij n → ∞.
Trong ví dụ này, xích Markov được mô tả bởi ma trận chuyển 2.133 là duy nhất rút gọn được và vectơ giới hạn của lớp hấp thu duy nhất được nêu trong bảng 2.4.
Trạng thái 3 4 5
Giá trị 0.222222 0.333333 0.444445 Bảng 2.4: Vectơ giới hạn
và ta tìm thêm được một kết quả nữa được cho bởi phần trước. Bây giờ ta tổng kết lại các bước thuật toán chính.
Input – đọc số các trạng thái, sai số của vectơ giới hạn và ma trận P. Tính toán – ma trận kề.
Tìm – các lớp cực đại. Tìm – các lớp hấp thu.
Phân loại – các lớp nhất thời ngặt. Xây dựng – thứ tự riêng giữa các lớp. Phân loại – ma trận chuyển xích Markov.
Xây dựng – dạng chính tắc của ma trận chuyển xích Markov. Nghiên cứu – dáng điệu tiệm cận
Trường hợp tối giản – tìm vectơ giới hạn của ma trận chuyển.
Trường hợp duy nhất đơn giản được – tìm vectơ giới hạn của ma trận phụ lớp hấp thu duy nhất.
Trường hợp rút gọn được – với mỗi lớp hấp thu tìm được vectơ giới hạn, các xác suất hấp thu và pn
ij n → ∞.