Chương 2 XÍCH MARKOV VÀ PHÂN PHỐI DỪNG
2.4. Định lý Ergodic.
Nếu là một hàm giá trị thực xác định trên và là phân phối xác suất bất kỳ trên ta định nghĩa
2.4.1.Định lý Ergodic
Định lý. Giả sử f là môt hàm giá tri thực xác định trên nếu là xích Markov tối giản thì với phân phối ban đầu bất kỳ, xác suất
(2.40) Chứng minh. Giả thiết rằng xích bắt đầu tại x. Định nghĩa và
Vì xích “khởi động lại” ở mỗi thời điểm nó nhận x, các khối là độc lập đôi một. Như vậy, nếu
Thì dãy (Yk) là mật độ xác suất (i.i.d). Nếu thì và dựa theo luật mạnh số lớn (Định lý A.8),
Cũng vì luật mạnh số lớn, vì khi viết đơn giản với
(2.41) Chú ý rằng
Sử dụng (1.25), chỉ ra rằng
(2.42) Kết hợp (2.41) và (2.42) cho thấy
Ta biết rằng nếu là một dãy bị chặn và với một dãy số nguyên thỏa mãn và
thì
do đó (2.40) là đúng khi , phân phối xác suất với trọng số đơn vị tại x. Việc lấy trung bình trên trạng thái ban đầu sẽ hoàn thiện chứng minh.
Việclấy trong Định lý 2.4.1 chỉ ra rằng
vì thế tỉ lệ tiệm cận của thời gian tồn tại ở trạng thái x của xích bằng .
Bổ đề. Giả sử là ma trận chuyển của một xích Markov với không gian trạng thái , Giả sử là ma trận chuyển của xích với thời gian ngược của nó, và giả sử là phân phối đều trên . Thế thì
(2.44) Chứng minh. Vì xích là liên thông, với mỗi cặp tồn tại một song ánh chuyển thành và bảo tồn các xác suất chuyển.
Với bất kỳ và bất kỳ,
(2.45) (2.46) Lấy trung bình cả hai vế theo cho ta
(2.47) Vì là đều, ta có , và như vậy . Suy ra rằng vế phải ở trên bằng
(2.48) Theo một kết quả đã biết ở trước, cũng liên thông, nên (2.47) cũng đúng khi thay bởi (và đổi vai trò cho ). Ta kết luận rằng
(2.49) Chia cho 2 và áp dụng Mệnh đề 1 Mục 2.1.1 ta có điều phải chứng minh.
2.4.2.Chú ý.
Ý nghĩa của định lý Ergodic của xích Markov là ở chỗ có thể coi “trung bình theo thời gian bằng trung bình theo không gian”.
Các Bổ đề trong Mục 2.3.2 và trong Mục 2.4.1 cùng chung một kết luận. Tuy nhiên chứng minh của Bổ đề trong Mục 2.3.2 được thiết lập bằng một tương ứng chính xác giữa qũy đạo tiến và lùi (nghĩa là theo thời gian), trong khi chứng minh của Bổ đề cuối Mục 2.4.1 được khẳng định bằng việc lấy trung bình qua không gian trạng thái (nghĩa là theo không gian).
KẾT LUẬN
Luận văn tìm hiểu và trình bày được những kết quả sau:
1. Trình bày theo hướng thực tế khái niệm xích Markov, trong đó chỉ ra các ví dụ để làm rõ rằng mỗi xích Markov thuần nhất trên không gian trạng
thái hữu hạn được đặc trưng bởi không gian trạng thái, ma trận xác suất chuyển trạng thái (ma trận chuyển) và phân phối ban đầu.
2. Trình bày khái niệm về phân phối dừng và khoảng cách biến thiên toàn phần giữa hai phân phối trên một không gian mẫu. Chứng minh định lý về sự hội tụ: xích Markov hữu hạn hội tụ tới những phân phối dừng của chúng.
3. Kiểm tra tác động của phân phối ban đầu đến khoảng cách tới một phân phối dừng; định nghĩa thời điểm hòa nhập của một xích, xét các tình huống liên quan trong trường hợp các xích có thể có chung thời điểm hòa nhập.
4. Chứng minh một phiên bản của định lý Egodic đối với xích Markov.
Hướng mở của luận văn:
Tiếp tục nghiên cứu về xích Markov và ứng dụng. Sự phân lớp các trạng thái trong mối liên hệ với chu kỳ của các trạng thái và các xích tối giản. Biểu diễn chính tắc của ma trận xác suất chuyển…