Khoảng cách tới tính dừng của các xích markov thuần nhất

Luận văn bao gồm hai chươngChương 1 định nghĩa xích Markov và đề cập đến những điều kiện cần thiết cho sự tồn tại của một phân phối dừng duy nhất thông qua khái niệm ánh xạ ngẫu nhiên, b

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC VINH NGUYỄN THỊ HƯỜNG

LUẬN VĂN THẠC SỸ TOÁN HỌC

KHOẢNG CÁCH TỚI TÍNH DỪNG CỦA CÁC XÍCH MARKOV THUẦN NHẤT Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC

NGHỆ AN, 2015

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC VINH

LUẬN VĂN THẠC SỸ TOÁN HỌC

KHOẢNG CÁCH TỚI TÍNH DỪNG

CỦA CÁC XÍCH MARKOV

Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC

Mã số: 60.46.01.06 Người hướng dẫn: TS NGUYỄN TRUNG HÒA Người thực hiên: NGUYỄN THỊ HƯỜNG

NGHỆ AN, 2015

MỤC LỤC

Luận văn bao gồm hai chương

Chương 1 định nghĩa xích Markov và đề cập đến những điều kiện cần thiết cho sự tồn tại của một phân phối dừng duy nhất thông qua khái niệm ánh

xạ ngẫu nhiên, biểu diễn ánh xạ ngẫu nhiên, tính tối giản và tính không tuần hoàn; Di động ngẫu nhiên trên đồ thị; Các phân phối dừng; Tính khả nghịch và những sự đảo ngược thời gian

Chương 2 chứng minh rằng, dưới một số điều kiện nhất định, những xích Markov hội tụ tới những phân phối dừng của chúng Kết quả được khẳng định thông qua định nghĩa khoảng cách biến thiên toàn phần và thời điểm hòa nhập, các công cụ mấu chốt để lượng hóa sự hội tụ Xét thời điểm hòa nhập trong mối liên hệ với thời gian đảo ngược; Định lý Ergodic.

Chương 1 CÁC KIẾN THỨC CHUẨN BỊ

1.1. Xích Markov hữu hạn

Một xích Markov hữu hạn là một quá trình chuyển động trong số các phần tử của tập hữu hạn theo cách sau: Khi tại , vị trí tiếp theo được chọn tương ứng với một phân phối xác suất xác định Một cách chi tiết hơn, ta có định nghĩa sau.

1.1.1.Định nghĩa

Định nghĩa này có ý nghĩa rằng :xác suất có điều kiện của việc thay đổi

từ trạng thái x tới trạng thái y, không phụ thuộc mà chỉ phụ thuộc trạng thái x.

Dòng thứ x của P sẽ được ký hiệu là Ma trận P như vậy được gọi là ma trận ngẫu nhiên, các phần tử của dòng này không âm và

Chú ý Xích Markov định nghĩa như trên đã bao hàm cả tính thuần nhất, nghĩa

là xác suất chuyển trạng thái từ thời một thời điểm đến thời điểm tiếp theo không phụ thuộc vào bản thân thời điểm đó.

Ví dụ Một con ếch sống trong một cái ao trên hai lá sen, phía đông và phía tây,

một ngày nào đó nó tìm ra hai đồng xu ở đáy ao và nó đưa mỗi đồng xu lên một

lá sen Mỗi buổi sang con ếch quyết định liệu có nhảy để dịch chuyển sang lá

sen kia bằng việc tung đồng xu lên lá sen hiện thời Nếu đồng xu tung lên cho kết quả là sấp thì nó sẽ nhảy sang lá sen kia Nếu đồng xu là ngửa thì nó sẽ ở lại

lá sen cũ

Bây giờ ta hãy coi và đặt là dãy các lá sen mà con ếch đó ở trong các ngày Chủ Nhật, Thứ Hai,… Ta giả thiết đồng xu ở lá sen phía đông có xác suất

p để nhận mặt sấp, còn đồng xu ở lá sen phía tây có xác suất q để nhận mặt sấp

và quy tắc nhảy của con ếch đơn giản như sau:

(1.2) thì là một xích Markov với ma trận chuyển P và để ý rằng dòng đầu tiên của P

là phân phối có điều kiện của khi cho , còn dòng thứ hai của P là phân phối có điều kiện của khi cho ,

Giả thiết rằng con ếch ở cả ngày Chủ Nhật trên lá sen phía đông, khi nó thức dậy vào sáng Thứ Hai thì nó có xác suất p để chuyển sang lá sen phía tây

và có xác suất để ở lại lá sen phía đông, vậy là:

(1.3) Cái gì sẽ xảy ra ở ngày Thứ Ba? Bằng việc xét hai khả năng cho , ta sẽ thấy rằng

(1.4)

Hình 1.1 Một bước nhảy của con ếch.

Cho tới khi được mặt sấp, nó sẽ nhảy từ lá này sang lá kia

và

(1.5)

Ta có thể lưu thông tin về phân phối của ta trong một véc tơ dòng

Giả thiết con ếch bắt đầu ở lá sen phía đông thì bây giờ có thể được viết như

là , và khi đó (1.3) có thể trở thành Bằng việc nhân P vào bên phải ta có thể cập nhật phân phối một bước nữa

Thật vậy, Nếu bây giờ ta định nghĩa với mọi thì bằng định nghĩa của dãy cần thỏa mãn

Hình 1.2 Xác suất theo từng thời điểm.

p=q=1/2; (b) p=0.2, q=0.1; (c) p=0.95, q=0.7

Các xác suất giới hạn tương ứng là 1/2, 1/3, 14/33.

vì nên do đó ta kết luận rằng khi thì Vậy

(1.9) đối với phân phối ban đầu bất kỳ Như vậy

Những tính toán mà chúng ta vừa làm là đối với một xích hai trạng thái

sẽ được khái quát cho một xích Markov hữu hạn trạng thái bất kỳ Nói riêng phân phối tại thời điểm có thể được xác định bởi phép nhân ma trận

là xích Markov hữu hạn trạng thái với không gian trạng thái và ma trận chuyển trạng thái P và giả sử véc tơ dòng là phân phối của : , với mọi Từ điều kiện phụ thuộc vào các kết quả có thể có thể có ở các bước trước bước thứ , ta thấy rằng

Viết lại điều này dưới dạng véc tơ, đưa đến

và vì vậy

(1.10)

Vì chúng ta sẽ thường xét các xích Markov với cùng một ma trận chuyển trạng thái nhưng chỉ khác ở trạng thái ban đầu, chúng tôi giới thiệu các ký hiệu đối với các xác suất và kỳ vọng với trạng thái ban đầu Thông

Như thế, xác suất để chuyển t bước từ x đến y được cho bởi phần tử ở dòng của

ma trận , ta gọi các phần tử ấy là xác suất chuyển t bước.

Nhận xét Cách để ta xây dựng một ma trận P đã buộc ta phải coi các phân

phối như là véc tơ dòng Nói chung, nếu xích có phân phối tại thời điểm t thì nó

có phân phối tại thời điểm Việc nhân một dòng với về bên phải sẽ đưa từ phân phối hiện thời tới phân phối tương lai.

Thế thì phần tử thứ x của Pf có nghĩa là giá trị kỳ vọng của hàm f tại trạng thái kế tiếp, khi cho những gì chúng ta có ở trạng thái hiện thời x Việc nhân véc tơ cột với P vào bên trái sẽ đưa ta từ một hàm của không gian trạng thái tới giá trị kỳ vọng của hàm đó trong tương lai

1.1.2.Biểu diễn ánh xạ ngẫu nhiên

Định nghĩa Một biểu diễn ánh xạ ngẫu nhiên của một ma trận chuyển trên

không gian trạng thái là một hàm , với một biến ngẫu nhiên –giá trị Z, thỏa mãn

Ta thấy, nếu là một dãy các biến ngẫu nhiên độc lập có cùng phân phối như Z,

và X 0 có phân phối µ, thì dãy được xác định bởi

là một xích Markov với ma trận chuyển P và phân phối ban đầu µ.

Với ví dụ về di động ngẫu nhiên đơn giản trên chu trình, đặt , mỗi có phân phối đều trên , và cho một biểu diễn ánh xạ ngẫu nhiên.

thái kia như thế nào, khi sử dụng thêm sự ngẫu nhiên nào đó để xác định đâu là bước tiếp theo; Cuối cùng, các biểu diễn ánh xạ ngẫu nhiên cung cấp một con đường để kết nối hai hoặc nhiều hơn các xích thành phần, chúng ta có thể sử dụng một cách đơn giản cùng một dãy các biến ngẫu nhiên phụ để dò tìm sự thay đổi Kỹ thuật này sẽ được áp dụng nói về các thành phần xích Markov ghép đôi, và những nơi khác nữa.

1.2. Tính tối giản và tính không tuần hoàn

Một xích P được gọi là tối giản nếu với hai trạng thái bất kỳ luôn tồn tại một số nguyên t (có thể phụ thuộc vào x và y) sao cho là tập các thời điểm khả

dĩ để xích Markov có thể quay trở lại điểm xuất phát Chu kỳ của trạng thái được xác định là ước chung lớn nhất của

1.2.1.Bổ đề

Nếu P là tối giản, thì

Như vậy, với một xích tối giản, chu kỳ của xích được định nghĩa là chu kỳ chung của mọi trạng thái Xích sẽ được gọi là không tuần hoàn nếu mọi trạng thái đều có chu kỳ 1 Nếu một xích không phải không tuần hoàn, ta sẽ gọi nó là tuần hoàn.

Giả sử P có chu kỳ 2 và giả sử rằng là một trạng thái chẵn Phân phối

xác suất của xích sau bước, , có giá trên các trạng thái chẵn, trong khi phân phối của xích sau bước có giá trên các trạng thái lẻ Hiển nhiên là ta không thể

hy vọng phân phối hội tụ khi

Một điều chỉnh đơn giản có thể khắc phục những vấn đề tuần hoàn Cho một ma trận chuyển túy ý , giả sử (ở đây I là ma trận đơn vị) (Người ta có thể tưởng tượng hình ảnh của như sau: tại mỗi bước, lật một đồng xu Nếu kết quả trả về là sấp, thực hiện một bước trong , còn nếu ngửa thì giữ nguyên trạng thài hiện thời.) Vì với mọi , ma trận chuyển là không tuần hoàn Ta gọi là phiên bản lười của

Ví dụ Trở lại Ví dụ ở đầu Mục 1.1.2 về di động ngẫu nhiên trên -chu trình Với

mỗi , di động ngẫu nhiên trên -chu trình là tối giản.

Di động ngẫu nhiên trên một chu trình có độ dài chẵn bất kỳ là tuần hoàn, vì (xem hình 1.3) Di động ngẫu nhiên trên một chu trình có độ dài lẻ là không tuần hoàn.

Ma trận chuyển đối với một di động ngẫu nhiên lười trên n-chu trình là

là số các đỉnh kề của

Khi cho một đồ thị , ta có thể định nghĩa di động ngẫu nhiên đơn giản trên là xích Markov với không gian trạng thái và ma trận chuyển

(1.13) Điều đó nói lên rằng khi xích ở trạng thái (đỉnh) , nó có thể đi tới tất cả các đỉnh kề của , với một phân phối đều để di chuyển tới đỉnh kề được chọn.

Để ý rằng ta cũng có thể viết (1.14) theo từng phần tử Một phát biểu tương đương là

1.3.2.Các thời điểm chạm và quay lại đầu tiên

Xuyên suốt mục này, ta giả thiết rằng xích Markov có không gian trạng thái hữu hạn và ma trận chuyển P Với mỗi , định nghĩa thời điểm chạm với là

đó là thời điểm đầu tiên xích đạt trạng thái x Với các tính huống chỉ có một lần đạt đến x ở một thời điểm dương, ta cũng định nghĩa

Khi , ta gọi là thời điểm quay lại đầu tiên.

Bổ đề Với các trạng thái bất kỳ x và y của một xích tối giản,

Chứng minh Định nghĩa xích tối giản nói rằng tồn tại một số nguyên dương r

và một số thực dương ε với tính chất sau: Với bất kỳ các trạng thái tồn tại một với Như vậy với giá trị bất kỳ của xác suất của trạng thái chạm y tại một thời điểm giữa và ít nhất là Vì vậy với ta có

(1.17) Lặp lại (1.17) cho xác suất ở vế phải nhiều lần, suy ra

(1.18) Khi là một biến ngẫu nhiên giá trị nguyên không âm, ta có

Vì là một hàm giảm của , (1.18) đủ để chặn mọi số hạng của biểu thức tương ứng đối với :

1.3.3.Sự tồn tại của một phân phối dừng

Định lý hội tụ dưới đây nói rằng những phần đuôi theo thời gian của một xích Markov không tuần hoàn tối giản ở trong mỗi trạng thái phù hợp với phân phối dừng của xích Tuy vậy ta chưa thể chứng minh các phân phối dừng là tồn tại! Để xây dựng một phân phối dừng, ta xét một sự lưu lại của xích từ một trạng thái tùy ý nào đó quay về Vì những lần đạt tới qua ngắt qũy đạo của một xích thành các đoạn có phân phối đồng nhất, không ngạc nhiên rằng sự phân tán trung bình của thời điểm (gian) trên khoảng lưu lại trong mỗi trạng thái là phù hợp với phân bố đuôi của thời điểm tồn tại trong

Mệnh đề Giả sử là ma trận chuyển của một xích Markov tối giản Thế thì

(i) Tồn tại một phân phối xác suất trên sao cho và với mọi và hơn nữa

Chứng minh Giả sử là một trạng thái tùy ý của xích Markov Ta sẽ kiểm tra chặt chẽ, về mặt trung bình, thời điểm xích đạt tới tại mỗi trạng thái giữa những đi lần qua Vì vậy định nghĩa

(1.19) Với trạng thái bất kỳ, ta có Vì vậy Bổ đề ở Mục 1.3.2 bảo đảm rằng với mọi

Ta sẽ kiểm tra rằng là dừng, từ định nghĩa:

(1.20)

Vì biến cố được xác định bởi ,

(1.21) Đảo thứ tự của tổng (1.20) và sử dụng đồng nhất thức (1.21) để có

(1.22) Biểu thức trong (1.22) rất giống với (1.19), vì vậy ta hoàn toàn có thể đạt được Thực tế,

(1.23)

(1.24) Phương trình (1.24) kéo theo việc xét hai trường hợp:

• : Vì và , cả hai số hạng cuối cùng của (1.23) bằng 1, và triệt tiêu lẫn nhau.

• : Cả hai số hạng của (1.23) bằng 0.

Do đó kết hợp (1.22) và (1.24) chỉ ra rằng

Cuối cùng, để nhận được một độ đo xác suất, ta chuẩn hóa bởi :

(1.25) Trong thực tế, với bất kỳ ,

(1.26)

Chú ý Ta sẽ thấy trong Mục 1.4 rằng sự tồn tại của là không cần cho tính tối

giản, nhưng cần cho tính dương.

Tính toán ở đầu chứng minh mệnh đề trên có thể được tổng quát hóa Một thời điểm dừng đối với là một biến ngẫu nhiên nhận giá trị thuộc tập sao cho với mỗi t, biến cố được xác định bởi Nếu một thời điểm dừng thay thế trong định nghĩa, (1.19) của , thì việc chứng minh rằng thỏa mãn làm cho cho thỏa mãn cả hai đẳng thức và

Nếu là một thời điểm dừng thì một hệ quả tức thời của định nghĩa và tính chất Markov là

(1.27) đối với bất kỳ Điều này được xem như tính chất Markov mạnh Không chính thức, ta có thể nói rằng xích tái khởi động tại một thời điểm dừng Trong khi điều đó là dễ dàng đối với không gian trạng thái đếm được thì với các xích Markov với thời gian rời rạc việc thiết lập nó để xử lý trong tập không đếm được là tinh tế hơn nhiều.

1.3.4.Tính duy nhất của phân phối dừng.

Đầu chương này ta đã nêu lên sự khác nhau giữa phép nhân một véc tơ dòng với vào bên phải và nhân một véc tơ cột với vào bên trái: cái trước đưa

ra một phân phối bởi một bước của xích, trong khi phép sau đưa lại kỳ vọng của một hàm trên các trạng thái, một bước sau đó của xích Ta gọi các phân phối

bất biến qua phép nhân phải với là dừng Câu hỏi đặt ra là những hàm như thế nào sẽ bất biến đối với các phép nhân trái?

Gọi một hàm là điều hòa tại nếu

(1.28) Một hàm là điều hòa trên nếu nó là điều hòa tại mọi trạng thái Nếu được coi như là một vec tơ cột, thì một hàm là điều hòa trên toàn bộ thỏa mãn phương trình ma trận

Bổ đề Giả sử rằng P là tối giản, Một hàm h điều hòa tại mọi điểm của là hằng

số.

Chứng minh Vì là hữu hạn, cần có một trạng thái sao cho là cực đại Nêu đối với trạng thái z nào đó sao cho ta có , thì

(1.29) mâu thuẫn! Điều đó suy ra rằng với mọi trạng thái mà

Với bất kỳ , tính tối giản nghĩa là có một dãy với Lặp lại như trên sẽ cho ta Thế thì là hằng số.

Hệ quả Giá sử P là một ma trận chuyển của một xích Markov tối giản Khi đó

tồn tại duy nhất một phân phối thỏa mãn

Chứng minh Do mệnh đề 1.14 có ít nhất một độ đo như trên Bổ đề 1.16 nói rằng Ker (hạt nhân) của có số chiều 1, vì vậy cột hạng của là Ví hạng dòng của ma trận vuông bất kỳ bằng hạng cột của nó, phương trình vec tơ cũng có tập nghiệm là không gian con 1 chiều Không gian này chứa chỉ một vec tơ mà các thành phần của nó có tổng bằng 1.

Chú ý Một chứng minh khác của hệ quả trên cũng được suy ra từ định lý hội tụ

(Định lý 2.3.1, trong chương sau)

1.3.5.Tính khả nghịch và những sự đảo ngược thời gian

Giả sử một xác suất trên thỏa mãn

(1.30) Phương trình (1.30) được gọi là phương trình cân bằng chi tiết Một xích thỏa mãn (1.30) được gọi là khả nghịch.

Mệnh đề 1 Giả sử là ma trận chuyển của một xích Markov với không gian

trạng thái Một phân phối bất kỳ thỏa mãn phương trình cân bằng chi tiết (1.30) là dừng đối với

Chứng minh Lấy tổng cả hai về của (1.30) trên tất cả các y:

Vì lý do này, một xích thỏa mãn (1.30) được gọi là khả nghịch.

Ví dụ Xét di động ngẫu nhiên đơn giản trên một đồ thị G trong ví dụ ở mục

1.3.1, phân phối là dừng.

Vì

Nên xích là khả nghịch (Chú ý rằng ở đây kỳ hiệu biểu diễn hàm chỉ tiêu của

tập A, nghĩa là nếu và chỉ nếu và trong các trường hợp còn lại.)

Ví dụ Xét di động ngẫu nhiên lệch trên n-chu trình: một chuyển động theo

chiều kim đồng hồ với xác suất và chuyển động ngược chiều kim đồng hồ với xác suất

Phân phối dừng vẫn còn là đều: nếu , thì

Từ đó là phân phối dừng Tuy nhiên, nếu , thì

Sự đảo ngược thời gian của một xích Markov tối giản với ma trận chuyển

và phân phối dừng là xích với ma trận

(1.33) Phương trình dừng nói rằng là một ma trận ngẫu nhiên Mệnh đề 2 sau đây sẽ chỉ ra rằng thuật ngữ “sự đảo ngược thời gian” là thỏa đáng

Mệnh đề 2 Giả sử là một xích Markov tối giản với ma trận chuyển và phân

phối dừng Ký hiệu đối với xích thời gian ngược với ma trận chuyển Thế thì

là dừng đối với , và với bất kỳ , ta có

Chứng minh Để kiếm tra là dừng đối với , đơn giản ta tính

Để chỉ ra các xác suất của hai quỹ đạo là bằng nhau, chú ý rằng

vì với mỗi

Để ý rằng nếu một xích với ma trận chuyển là khả nghịch, thì

Chúng ta sẽ làm việc với các xích Markov hữu hạn Vì chúng ta quan tâm đến việc lượng hóa tốc độ hội tụ của các họ xích Markov, nên chúng ta cần chọn một metric hợp lý để đo khoảng cách giữa các phân phối.

Đầu tiên chúng ta định nghĩa khoảng cách biến thiên toàn phần và đưa ra một vài đặc trưng của nó, sẽ có ích cho công việc sau này Tiếp theo, chúng ta chứng minh định lý về sự hội tụ, phát biểu rằng với một xích không tuần hoàn

và tối giản, phân phối sau nhiều bước tiệm cận đến phân phối dừng của xích theo nghĩa là khoảng cách biến thiên toàn phần giữa chúng dần tới 0

Trong phần còn lại của chương, chúng ta kiểm tra tác động của phân phối ban đầu đến khoảng cách tới tính dừng, định nghĩa thời điểm hòa nhập của một xích, xét các tình huống liên quan trong trường hợp các xích có thể có chung thời điểm hòa nhập, và chứng minh một phiên bản của định lý Egodic đối với xích Markov.

2.1. Khoảng cách biến thiên toàn phần và sự ghép đôi

2.1.1.Khoảng cách biến thiên toàn phần giữa hai phân phối.

Định nghĩa Khoảng cách biến thiên toàn phần (total variation distance), sau

này sẽ gọi tắt là khoảng cách toàn phần, giữa hai phân phối xác suất trên là lượng được xác định bởi

(2.1) Định nghĩa này mang tính xác suất rõ rệt: khoảng cách giữa và là sự khác