Khoảng cách tới tính dừng của các xích markov thuần nhất

1 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH NGUYỄN THỊ HƯỜNG LUẬN VĂN THẠC SỸ TOÁN HỌC KHOẢNG CÁCH TỚI TÍNH DỪNG CỦA CÁC XÍCH MARKOV THUẦN NHẤT Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC NGHỆ AN, 2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH LUẬN VĂN THẠC SỸ TOÁN HỌC KHOẢNG CÁCH TỚI TÍNH DỪNG CỦA CÁC XÍCH MARKOV Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số: 60.46.01.06 Người hướng dẫn: TS NGUYỄN TRUNG HÒA Người thực hiên: NGUYỄN THỊ HƯỜNG NGHỆ AN, 2015 MỤC LỤC Luận văn bao gồm hai chương Chương định nghĩa xích Markov đề cập đến điều kiện cần thiết cho tồn phân phối dừng thông qua khái niệm ánh xạ ngẫu nhiên, biểu diễn ánh xạ ngẫu nhiên, tính tối giản tính không tuần hoàn; Di động ngẫu nhiên đồ thị; Các phân phối dừng; Tính khả nghịch đảo ngược thời gian Chương chứng minh rằng, số điều kiện định, xích Markov hội tụ tới phân phối dừng chúng Kết khẳng định thông qua định nghĩa khoảng cách biến thiên toàn phần thời điểm hòa nhập, công cụ mấu chốt để lượng hóa hội tụ Xét thời điểm hòa nhập mối liên hệ với thời gian đảo ngược; Định lý Ergodic Chương CÁC KIẾN THỨC CHUẨN BỊ 1.1 Xích Markov hữu hạn Một xích Markov hữu hạn trình chuyển động số phần tử tập hữu hạn theo cách sau: Khi , vị trí chọn tương ứng với phân phối xác suất xác định Một cách chi tiết hơn, ta có định nghĩa sau 1.1.1 Định nghĩa Định nghĩa có ý nghĩa :xác suất có điều kiện việc thay đổi từ trạng thái x tới trạng thái y, không phụ thuộc mà phụ thuộc trạng thái x Dòng thứ x P ký hiệu Ma trận P gọi ma trận ngẫu nhiên, phần tử dòng không âm Chú ý Xích Markov định nghĩa bao hàm tính nhất, nghĩa xác suất chuyển trạng thái từ thời thời điểm đến thời điểm không phụ thuộc vào thân thời điểm Ví dụ Một ếch sống ao hai sen, phía đông phía tây, ngày tìm hai đồng xu đáy ao đưa đồng xu lên sen Mỗi buổi sang ếch định liệu có nhảy để dịch chuyển sang Hình 1.1 Một bước nhảy ếch Cho tới mặt sấp, nhảy từ sang sen việc tung đồng xu lên sen thời Nếu đồng xu tung lên cho kết sấp nhảy sang sen Nếu đồng xu ngửa lại sen cũ Bây ta coi đặt dãy sen mà ếch ngày Chủ Nhật, Thứ Hai,… Ta giả thiết đồng xu sen phía đông có xác suất p để nhận mặt sấp, đồng xu sen phía tây có xác suất q để nhận mặt sấp quy tắc nhảy ếch đơn giản sau: (1.2) xích Markov với ma trận chuyển P để ý dòng P phân phối có điều kiện cho , dòng thứ hai P phân phối có điều kiện cho , Giả thiết ếch ngày Chủ Nhật sen phía đông, thức dậy vào sáng Thứ Hai có xác suất p để chuyển sang sen phía tây có xác suất để lại sen phía đông, là: (1.3) Cái xảy ngày Thứ Ba? Bằng việc xét hai khả cho , ta thấy (1.4) (1.5) Ta lưu thông tin phân phối ta véc tơ dòng Giả thiết ếch bắt đầu sen phía đông viết , (1.3) trở thành Bằng việc nhân P vào bên phải ta cập nhật phân phối bước (1.6) thay phân phối ban đầu ta có (1.7) Hình 1.2 Xác suất theo thời điểm p=q=1/2; (b) p=0.2, q=0.1; (c) p=0.95, q=0.7 Các xác suất giới hạn tương ứng 1/2, 1/3, 14/33 Làm để hình dung phân phối khoảng thời gian dài, Hình 1.2 gợi ý có giới hạn (mà giá trị phụ thuộc vào p q) , phân phối giới hạn kiểu thỏa mãn, điều ngụ ý rằng, giới hạn Thật vậy, Nếu ta định nghĩa với định nghĩa dãy cần thỏa mãn (1.8) nên ta kết luận Vậy (1.9) phân phối ban đầu Như Những tính toán mà vừa làm xích hai trạng thái khái quát cho xích Markov hữu hạn trạng thái Nói riêng phân phối thời điểm xác định phép nhân ma trận xích Markov hữu hạn trạng thái với không gian trạng thái ma trận chuyển trạng thái P giả sử véc tơ dòng phân phối : , với Từ điều kiện phụ thuộc vào kết có thể có bước trước bước thứ , ta thấy Viết lại điều dạng véc tơ, đưa đến (1.10) Vì thường xét xích Markov với ma trận chuyển trạng thái khác trạng thái ban đầu, giới thiệu ký hiệu xác suất kỳ vọng với trạng thái ban đầu Thông Như thế, xác suất để chuyển t bước từ x đến y cho phần tử dòng ma trận , ta gọi phần tử xác suất chuyển t bước Nhận xét Cách để ta xây dựng ma trận P buộc ta phải coi phân phối véc tơ dòng Nói chung, xích có phân phối thời điểm t có phân phối thời điểm Việc nhân dòng với bên phải đưa từ phân phối thời tới phân phối tương lai Thế phần tử thứ x Pf có nghĩa giá trị kỳ vọng hàm f trạng thái kế tiếp, cho có trạng thái thời x Việc nhân véc tơ cột với P vào bên trái đưa ta từ hàm không gian trạng thái tới giá trị kỳ vọng hàm tương lai 1.1.2 Biểu diễn ánh xạ ngẫu nhiên Định nghĩa Một biểu diễn ánh xạ ngẫu nhiên ma trận chuyển không gian trạng thái hàm , với biến ngẫu nhiên –giá trị Z, thỏa mãn Ta thấy, dãy biến ngẫu nhiên độc lập có phân phối Z, X0 có phân phối µ, dãy xác định xích Markov với ma trận chuyển P phân phối ban đầu µ Với ví dụ di động ngẫu nhiên đơn giản chu trình, đặt , có phân phối , cho biểu diễn ánh xạ ngẫu nhiên 1.1.3 Mệnh đề Mọi ma trận chuyển không gian trạng thái hữu hạn có biểu diễn ánh xạ ngẫu nhiên Để ý rằng, không ma trận chuyển, Biểu diến ánh xạ ngẫu nhiên không Các biểu diễn ánh xạ ngẫu nhiên chủ yếu để mô xích lớn Chúng đường thích hợp để mô tả xích Chúng ta thường đưa quy tắc để xử lý xích chuyển từ trạng thái tới trạng 10 thái nào, sử dụng thêm ngẫu nhiên để xác định đâu bước tiếp theo; Cuối cùng, biểu diễn ánh xạ ngẫu nhiên cung cấp đường để kết nối hai nhiều xích thành phần, sử dụng cách đơn giản dãy biến ngẫu nhiên phụ để dò tìm thay đổi Kỹ thuật áp dụng nói thành phần xích Markov ghép đôi, nơi khác 1.2 Tính tối giản tính không tuần hoàn Một xích P gọi tối giản với hai trạng thái tồn số nguyên t (có thể phụ thuộc vào x y) cho tập thời điểm để xích Markov quay trở lại điểm xuất phát Chu kỳ trạng thái xác định ước chung lớn 1.2.1 Bổ đề Nếu P tối giản, Như vậy, với xích tối giản, chu kỳ xích định nghĩa chu kỳ chung trạng thái Xích gọi không tuần hoàn trạng thái có chu kỳ Nếu xích không tuần hoàn, ta gọi tuần hoàn 1.2.2 Mệnh đề Nếu P tuần hoàn tối giản có số nguyên không âm r cho với Giả thiết xích tối giản với chu kỳ 2, chẳng hạn di động ngẫu nhiên đơn giản chu trình có độ dài chẵn (xem Hình 1.3) Không gian trạng thái phân chia thành hai lớp, chẵn lẻ, mà xích thực việc chuyển từ lớp sang lớp bù với Giả sử P có chu kỳ giả sử trạng thái chẵn Phân phối 28 đặt (ii) Nếu đồng tiền trả ngửa lấy theo phân phối xác suất chọn cách độc lập theo phân phối Chú ý (2.5) đảm bảo γI γII phân phối xác suất Rõ ràng, phân phối xác suất , phân phối xác suất Chú ý trường hợp đồng tiền ngửa, , dương tập rời Ω Như đồng tiền sấp, Ta kết luận Chú ý Chúng ta thấy có cặp đạt infimum (2.8) Ta gọi cặp tối ưu 2.2 Định lý hội tụ Bây sẵn sàng để chứng minh xích Markov không tuần hoàn, tối giản hội tụ tới phân phối dừng chúng – bước mấu chốt để ước lượng tốc độ hội tụ Các giả thiết tính không tuần hoàn thực cần thiết – Xem lại -chu trình chẵn ví dụ 1.2.1 29 2.2.1 Định lý hội tụ Định lý Giả sử P tối giản không tuần hoàn với phân phối dừng Khi tồn số (0;1), cho (2.14) Chứng minh: Vì tối giản không tuần hoàn, theo mệnh đề 1.3.2 tồn số cho có giá trị dương thực Giả sử ∏ ma trận với hàng, hàng vec tơ dòng Với đủ nhỏ, ta có , với Giả sử Phương trình (2.15) xác định ma trân nghẫu nhiên Tính toán trực tiếp để kiểm tra = với ma trận ngẫu nhiên M với ma trận cho Tiếp theo sử dụng quy nạp để chứng tỏ (2.16) với Thật vậy, , điều (2.15) Giả sử (2.16) với , (2.17) Dùng tính phân phối khai triển số hạng thứ hai (sử dụng (2.15)) dẫn đến (2.18) Việc sử dụng (2.19) Điều khẳng định (2.16) với (giả sử với ) với k 30 Nhân với xếp lại số hạng, ta có (2.20) Để hoàn thành chứng minh, tổng giá trị tuyệt đối phần tử dòng hai vế (2.20) chia cho Ở vế phải, nhân tử thứ hoàn toàn có khả khoảng cách biến thiên toàn phần phân phối, Vì vậy, với ta có (2.21) Chú ý Vì Định lý 2.2.1, phân phối gọi phân phối cân 2.2.2 Chuẩn hóa khoảng cách tới tính dừng Giả sử với nguyên dương Việc đánh giá khoảng cách biến thiên toàn phần cực đại mục tiêu Định nghĩa (2.22) định nghĩa (2.23) Ta thấy cực đại (lấy không gian trạng thái ) tất khoảng cách biến thiên toàn phần từ phân phối tập trạng thái xích Markov sau bước tới phân phối dừng Mối liên hệ d thỏa mãn tính chất sau: Bổ đề Nếu d(t) xác định (2.22) (2.23) tương ứng (2.24) Chứng minh: Từ bất đẳng thức tam giác khoảng cách biến thiên toàn phần suy Để (t), dừng, ta có tập Từ ta có 31 Ta sử dụng bất đẳng thức tam giác tính chất cực đại tổng không vượt tổng cực đại hạng tử để hạn chế phải bởi: (2.25) Vì trung bình có trọng số tập số không vượt phần tử lớn nên vế phải (2.25) bị chặn Bổ đề Hàm số thỏa mãn (tính chất gọi submultiplicative) Chứng minh Cố định giả sử cặp tối ưu mà tồn đảm bảo Mệnh đề mục 2.1.2 Vì Vì ma trận tích và phân phối , ta có (chú ý tới nhận xét cuối mục 1.1.1) (2.26) Kết hợp điều với đồng thức tương tự cho phép ta viết (2.27) Chúng ta kết hợp kỳ vọng định nghĩa không gian xác suất Việc lấy tổng (2.27) theo áp dụng Mệnh đề Mục 2.1.1 rằng: (2.28) Vế phải nhỏ (2.29) Áp dụng Mệnh đề Mục 2.1.1 lần nữa, ta thấy lượng bên dấu kỳ vọng khoảng cách , khoảng cách không Hơn khoảng cách bị chặn Điều cho thấy (2.30) 32 Cuối cùng, cặp tối ưu nên xác suất vế phải Việc cực tiểu hóa theo hoàn thành chứng minh Ta thấy không tăng theo Từ điều Bổ đề số nguyên không âm, ta có (2.31) 2.3 Thời điểm hòa nhập thời gian đảo ngược 2.3.1 Thời điểm hòa nhập Việc định nghĩa tham số để xác định thời điểm cần thiết để khoảng cách từ đến phân phối dừng xích Markov đủ nhỏ có ích Ta gọi thời điểm thời điểm hòa nhập Với số thực , xét (2.32) Thời điểm hòa nhập xác định công thức (2.33) Như thời điểm hòa nhập thời điểm để khoảng cách từ phân phối tập trạng thái xích Markov sau bước tới phân phối dừng không 1/4 Bổ đề Mục 2.2.2 (2.31) cho thấy l số nguyên không âm, (2.34) Đặc biệt, với bất đẳng thức (2.35) 33 (2.36) Như vậy, chọn 1/4 bất thường theo định nghĩa t mix, giá trị nhỏ 1/2 cần thiết để bất đẳng thức (2.34) không tầm thường đạt bất đẳng thức dạng (2.36) 2.3.2 Thời điểm hòa nhập thời gian đảo ngược Ta nhớ nhóm tập với phép toán hai có tính kết hợp, phần tử trung hòa cho với , (i) (ii) Tồn phần tử nghịch đảo cho Cho phân phối xác suất nhóm , Ta định nghĩa di động ngẫu nhiên nhóm với phân phối tăng xích Markov với không gian trạng thái dịch chuyển phép nhân bên trái phần tử ngẫu nhiên với trạng thái (hiện thời) với xác suất chọn tương ứng với Tương đương, với ma trận chuyển xích có phần tử Ví dụ (-chu trình) Giả sử xác định bới xác suất 1/2 cho 1, (-1) nhóm cộng xiclic Di động ngẫu nhiên đơn giản -chu trình giới thiệu Ví dụ Mục 1.1.2 di động ngẫu nhiên với phân phối tăng Tương tự, phân phối xác định trọng số 1/4 cho hai phần tử , trọng số 1/2 cho di động ngẫu nhiên lười -chu trình trình bày Ví dụ cuối Mục 1.2.2 di động ngẫu nhiên với phân phối tăng Mệnh đề Giả sử ma trận chuyển di động ngẫu nhiên nhóm hữu hạn giả sử phân phối Thế phân phối dừng Chứng minh Giả sử phân phối tăng di động ngẫu nhiên Với , 34 (vì đặt ) Ta gọi phân phối xác suất nhóm phân phối đối xứng với Mệnh đề Di động ngẫu nhiên nhóm hữu hạn G với phân phối tăng khả nghịch đối xứng Chứng minh Giả sử phân phối Với , ta có Với phân phối nhóm , phân phối ngược định nghĩa Giả sử ma trận chuyển di động ngẫu nhiên với phân phối tăng Khi di động ngẫu nhiên với phân phối tăng xích với thời gian đảo ngược có ma trận chuyển (được định nghĩa (1.33)) Bổ đề Giả sử P ma trận chuyển di động ngẫu nhiên nhóm với phân phối tăng giả sử ma trận chuyển di động ngẫu nhiên với phân phối tăng Giả sử phân phối , , ta có Chứng minh: Giả sử xích Markov với ma trận chuyển trạng thái ban đầu id Ta viết phần tử ngẫu nhiên chọn độc lập theo phân phối Tương tự, giả sử xích với ma trận chuyển với mức tăng lựa chọn độc lập từ Với phần tử cố định Xác suất theo định nghĩa , việc lấy tổng tất chuỗi cho dẫn tới Vì 35 Và công thức với Mệnh đề Mục 2.1.1 khẳng định đẳng thức cần chứng minh Hệ Nếu thời điểm hòa nhập di động ngẫu nhiên nhóm thời điểm hòa nhập di động ngược Ví dụ Có khả việc đảo ngược xích Markov thay đổi cách đáng kể thời điểm hòa nhập “Khoảng thắng cuộc” ví dụ Ở ta hạn chế xét thời điểm hòa nhập thời gian ngược Hãy hình dung việc tung đồng xu cân đối lặp lại nhiều lần cố gắng ghi lại (lưu vết) lần gieo (cuối cùng) mặt sấp vào thẻ nhớ với nhớ có độ dài bị chặn Nếu có nhiều lần sấp dòng thẻ nhớ nhớ chúng, trạng thái thời xích ta số nhỏ hai số độ dài số lần sấp nhận cuối Một cách tương đương, xét sổ với chiều rộng chuyển động sang bên phải theo chuỗi hữu hạn gồm bit độc lập, giả sử độ dài khối bao gồm bit xuất phát từ điểm tận bên phải cửa sổ Thế xích Markov với không gian trạng thái xác suất chuyển khác cho (2.37) Thời điểm t Thời điểm t+1 Thời điểm t+2 1 0 1 0 0 1 0 1 0 0 1 0 1 0 0 Hình 2.3 Khoảng thắng với n=5 Ở 36 Thời điểm t Thời điểm t+1 Thời điểm t+2 1 0 1 0 0 1 0 1 0 0 1 0 1 0 0 Hình 2.4 Thời gian ngược khoảng thắng với n=5 Ở Hình 2.5 Các đồ thị chuyển động Khoảng thắng xích với n=5 Khoảng thắng thời gian đảo ngược Xem hình 2.3 2.5 Kiểm tra trực tiếp (2.38) 37 dừng với kiểm tra trực tiếp thời gian đảo ngược có thành phần khác (2.39) Thể tung đồng xu “khoảng thắng cuộc” minh họa thời gian ngược Hãy hình dung cửa sổ với chiều rộng chuyển động bên trái theo chuỗi bit ngẫu nhiên độc lập Như dãy với độ dài khối tận bên phải gồm bit cửa sổ phiên “khoảng thắng cuộc” ngược xích Xem hình 2.4 2.5 Thời gian ngược khoảng hỗn hợp có tính chất đáng ý sau: Sau bước phân phối dừng bất chấp phân phối ban đầu Thật vậy, trước tiên thấy , phân phối dừng , Nếu , phép chuyển xác định phụ thuộc vào , xích dừng t > k Nếu , vị trí phụ thuộc vào thời gian xich tồn điểm n trước hòa nhập Với , xích có xác suất việc chiếm thời điểm, chuyển sang thời điểm thứ Trong trường hợp Cũng , Cuối phân phối ban đầu không tập trung trạng thái đơn phân phối thời điểm n hòa nhập phân phối từ trạng thái ban đầu dừng Đối với cận dưới, để ý xích bắt đầu sau dịch chuyển thời điểm cần đạt trạng thái Vì Định nghĩa khoảng cách biến thiên toàn phần cho thấy Ta kết luận xích “khoảng thắng cuộc” ngược, 38 với số dương 2.4 Định lý Ergodic Nếu hàm giá trị thực xác định phân phối xác suất ta định nghĩa 2.4.1 Định lý Ergodic Định lý Giả sử f môt hàm giá tri thực xác định xích Markov tối giản với phân phối ban đầu bất kỳ, xác suất (2.40) Chứng minh Giả thiết xích bắt đầu x Định nghĩa Vì xích “khởi động lại” thời điểm nhận x, khối độc lập đôi Như vậy, Thì dãy (Yk) mật độ xác suất (i.i.d) Nếu dựa theo luật mạnh số lớn (Định lý A.8), Cũng luật mạnh số lớn, viết đơn giản với Vì 39 (2.41) Chú ý Sử dụng (1.25), (2.42) Kết hợp (2.41) (2.42) cho thấy Ta biết dãy bị chặn với dãy số nguyên thỏa mãn (2.40) , phân phối xác suất với trọng số đơn vị x Việc lấy trung bình trạng thái ban đầu hoàn thiện chứng minh Việc lấy Định lý 2.4.1 tỉ lệ tiệm cận thời gian tồn trạng thái x xích Bổ đề Giả sử ma trận chuyển xích Markov với không gian trạng thái , Giả sử ma trận chuyển xích với thời gian ngược nó, giả sử phân phối Thế (2.44) Chứng minh Vì xích liên thông, với cặp tồn song ánh chuyển thành bảo tồn xác suất chuyển 40 Với bất kỳ, (2.45) (2.46) Lấy trung bình hai vế theo cho ta (2.47) Vì đều, ta có , Suy vế phải (2.48) Theo kết biết trước, liên thông, nên (2.47) thay (và đổi vai trò cho ) Ta kết luận (2.49) Chia cho áp dụng Mệnh đề Mục 2.1.1 ta có điều phải chứng minh 2.4.2 Chú ý Ý nghĩa định lý Ergodic xích Markov chỗ coi “trung bình theo thời gian trung bình theo không gian” Các Bổ đề Mục 2.3.2 Mục 2.4.1 chung kết luận Tuy nhiên chứng minh Bổ đề Mục 2.3.2 thiết lập tương ứng xác qũy đạo tiến lùi (nghĩa theo thời gian), chứng minh Bổ đề cuối Mục 2.4.1 khẳng định việc lấy trung bình qua không gian trạng thái (nghĩa theo không gian) KẾT LUẬN Luận văn tìm hiểu trình bày kết sau: Trình bày theo hướng thực tế khái niệm xích Markov, ví dụ để làm rõ xích Markov không gian trạng 41 thái hữu hạn đặc trưng không gian trạng thái, ma trận xác suất chuyển trạng thái (ma trận chuyển) phân phối ban đầu Trình bày khái niệm phân phối dừng khoảng cách biến thiên toàn phần hai phân phối không gian mẫu Chứng minh định lý hội tụ: xích Markov hữu hạn hội tụ tới phân phối dừng chúng Kiểm tra tác động phân phối ban đầu đến khoảng cách tới phân phối dừng; định nghĩa thời điểm hòa nhập xích, xét tình liên quan trường hợp xích có chung thời điểm hòa nhập Chứng minh phiên định lý Egodic xích Markov Hướng mở luận văn: Tiếp tục nghiên cứu xích Markov ứng dụng Sự phân lớp trạng thái mối liên hệ với chu kỳ trạng thái xích tối giản Biểu diễn tắc ma trận xác suất chuyển… 42 TÀI LIỆU THAM KHẢO [1] Aldous, D and J Fill Reversible Markov chains and random walks on [2] graphs http://www.stat.berkeley.edu/~aldous/RWG/book.html 1999 Aldous, D Random walks on finite groups and rapidly mixing Markov chains, Seminar on probability, XVII, Lecture Notes in Math., vol 986, [3] Springer, Berlin, pp 243–297 ↑60, 218 1983 Basharin, G P., A N Langville, and V A Naumov The life and work of [4] A A Markov, Linear Algebra Appl 386, 3–26 ↑20 2004 David A L., Yuval P., Elizabeth L W., Markov Chains and Mixing Times http://pages.uoregon.edu/dlevin/MARKOV/markovmixing.pdf American [5] Mathematical Society AMS bookstore 2008 Lov´asz, L and P Winkler Mixing times, Microsurveys in discrete probability (Princeton, NJ, 1997), DIMACS Ser Discrete Math Theoret Comput Sci., vol 41, Amer Math Soc., Providence, RI, pp 85–133 ↑60, [6] 83, 85, 264 1998 Montenegro, R and P Tetali Mathematical aspects of mixing times in Markov chains, Vol ↑xvi, 60 2006 [...]... 0 Trong phần còn lại của chương, chúng ta kiểm tra tác động của phân phối ban đầu đến khoảng cách tới tính dừng, định nghĩa thời điểm hòa nhập của một xích, xét các tình huống liên quan trong trường hợp các xích có thể có chung thời điểm hòa nhập, và chứng minh một phiên bản của định lý Egodic đối với xích Markov 2.1 Khoảng cách biến thiên toàn phần và sự ghép đôi 2.1.1 Khoảng cách biến thiên toàn... là dừng đối với , đơn giản ta tính Để chỉ ra các xác suất của hai quỹ đạo là bằng nhau, chú ý rằng vì với mỗi Để ý rằng nếu một xích với ma trận chuyển là khả nghịch, thì 20 21 Chương 2 XÍCH MARKOV VÀ PHÂN PHỐI DỪNG Chúng ta sẽ làm việc với các xích Markov hữu hạn Vì chúng ta quan tâm đến việc lượng hóa tốc độ hội tụ của các họ xích Markov, nên chúng ta cần chọn một metric hợp lý để đo khoảng cách. .. gian các trạng thái ) của tất cả các khoảng cách biến thiên toàn phần từ phân phối trên tập các trạng thái của một xích Markov sau bước tới một phân phối dừng Mối liên hệ giữa d và thỏa mãn tính chất sau: Bổ đề 1 Nếu d(t) và được xác định ở (2.22) và (2.23) tương ứng thì (2.24) Chứng minh: Từ bất đẳng thức tam giác đối với khoảng cách biến thiên toàn phần suy ra ngay rằng Để chỉ ra (t), vì là dừng, ... định thời điểm cần thiết để khoảng cách từ đó đến phân phối dừng của một xích Markov là đủ nhỏ sẽ có ích Ta sẽ gọi thời điểm ấy là thời điểm hòa nhập Với mỗi số thực , xét (2.32) Thời điểm hòa nhập được xác định bởi công thức (2.33) Như vậy thời điểm hòa nhập là thời điểm đầu tiên để khoảng cách từ phân phối trên tập các trạng thái của một xích Markov sau bước tới một phân phối dừng là không quá 1/4 Bổ... giảm của , (1.18) đủ để chặn mọi số hạng của biểu thức tương ứng đối với : 1.3.3 Sự tồn tại của một phân phối dừng Định lý hội tụ dưới đây nói rằng những phần đuôi theo thời gian của một xích Markov không tuần hoàn tối giản ở trong mỗi trạng thái phù hợp với phân phối dừng của xích Tuy vậy ta chưa thể chứng minh các phân phối dừng là tồn tại! Để xây dựng một phân phối dừng, ta xét một sự lưu lại của xích. .. phải, nhân tử thứ 2 hoàn toàn có khả năng là khoảng cách biến thiên toàn phần giữa các phân phối, nó là 1 Vì vậy, với bất kỳ ta có (2.21) Chú ý Vì Định lý 2.2.1, phân phối còn được gọi là phân phối cân bằng 2.2.2 Chuẩn hóa khoảng cách tới tính dừng Giả sử với và nguyên dương Việc đánh giá khoảng cách biến thiên toàn phần cực đại giữa và là mục tiêu chính của chúng ta Định nghĩa (2.22) và định nghĩa... khoảng cách giữa các phân phối Đầu tiên chúng ta định nghĩa khoảng cách biến thiên toàn phần và đưa ra một vài đặc trưng của nó, sẽ có ích cho công việc sau này Tiếp theo, chúng ta chứng minh định lý về sự hội tụ, phát biểu rằng với một xích không tuần hoàn và tối giản, phân phối sau nhiều bước tiệm cận đến phân phối dừng của xích theo nghĩa là khoảng cách biến thiên toàn phần giữa chúng dần tới 0 Trong... trạng thái hiện thời của xích của ta là số nhỏ hơn giữa hai số và độ dài số lần sấp nhận được cuối cùng Một cách tương đương, xét một của sổ với chiều rộng là chuyển động sang bên phải theo một chuỗi hữu hạn gồm các bit độc lập, và giả sử là độ dài của khối bao gồm các bit 1 xuất phát từ điểm tận cùng bên phải của cửa sổ Thế thì là một xích Markov với không gian trạng thái và các xác suất chuyển khác... Khoảng cách biến thiên toàn phần giữa hai phân phối Định nghĩa Khoảng cách biến thiên toàn phần (total variation distance), sau này sẽ gọi tắt là khoảng cách toàn phần, giữa hai phân phối xác suất trên là lượng được xác định bởi (2.1) Định nghĩa này mang tính xác suất rõ rệt: khoảng cách giữa và là sự khác 22 nhau cực đại giữa các xác suất của cùng một biến cố theo hai phân phối xác suất Ví dụ Trở lại... dụng bất đẳng thức tam giác và tính chất cực đại của tổng không vượt quá tổng các cực đại của các hạng tử để hạn chế về phải ở trên bởi: (2.25) Vì trung bình có trọng số của một tập các số không vượt quá phần tử lớn nhất của nó nên vế phải của (2.25) bị chặn bởi Bổ đề 2 Hàm số thỏa mãn (tính chất này gọi là submultiplicative) Chứng minh Cố định và giả sử là cặp tối ưu của và mà sự tồn tại được đảm ... phối dừng xích theo nghĩa khoảng cách biến thiên toàn phần chúng dần tới Trong phần lại chương, kiểm tra tác động phân phối ban đầu đến khoảng cách tới tính dừng, định nghĩa thời điểm hòa nhập xích, ... Định nghĩa khoảng cách (2.1) cực đại lấy tất tập , nên việc sử dụng định nghĩa chưa phải cách thuận tiện để ước lượng khoảng cách Ta đưa ba đặc trưng thay có ích Mệnh đề quy khoảng cách hai phân...2 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH LUẬN VĂN THẠC SỸ TOÁN HỌC KHOẢNG CÁCH TỚI TÍNH DỪNG CỦA CÁC XÍCH MARKOV Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số: 60.46.01.06