Xích markov và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA TOÁN Lê Thị Linh XÍCH MARKOV VÀ ỨNG DỤNG KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC Hà Nội - 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA TOÁN Lê Thị Linh XÍCH MARKOV VÀ ỨNG DỤNG Chuyên ngành: Toán Ứng Dụng KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Trần Vĩnh Đức Hà Nội - 2017 LỜI CẢM ƠN Trước trình bày nội dung khóa luận, xin bày tỏ lòng cảm ơn tới thầy cô khoa Toán, trường Đại Học Sư Phạm Hà Nội 2, thầy cô tổ môn Toán ứng dụng thầy cô tham gia giảng dạy tận tình truyền đạt tri thức quý báu tạo điều kiện thuận lợi để hoàn thành tốt nhiệm vụ khóa học khóa luận Đặc biệt, xin bày tỏ kính trọng lòng biết ơn sâu sắc tới Tiến sĩ Trần Vĩnh Đức, người trực tiếp hướng dẫn, bảo tận tình giúp đỡ để hoàn thành tốt khóa luận Hà Nội, tháng năm 2017 Sinh viên Lê Thị Linh LỜI CAM ĐOAN Khóa luận kết nghiên cứu thân hướng dẫn tận tình thầy giáo Trần Vĩnh Đức Trong nghiên cứu hoàn thành đề tài nghiên cứu tham khảo số tài liệu ghi phần tài liệu tham khảo Tôi xin khẳng định kết đề tài "Xích Markov ứng dụng" kết việc nghiên cứu, học tập nỗ lực thân, trùng lặp với kết đề tài khác Nếu sai xin chịu hoàn toàn trách nhiệm Hà Nội, tháng năm 2017 Sinh viên Lê Thị Linh Mục lục LỜI CẢM ƠN LỜI CAM ĐOAN GIỚI THIỆU KIẾN THỨC CƠ SỞ 1.1 1.2 1.3 Sơ lược lý thuyết xác suất 1.1.1 Định nghĩa 1.1.2 Biến ngẫu nhiên 1.1.3 Công thức xác suất đầy đủ công thức Bayes 10 Sơ lược ma trận 11 1.2.1 Định nghĩa ma trận 11 1.2.2 Phép toán đại số ma trận 12 1.2.3 Ma trận nghịch đảo 13 Hệ phương trình tuyến tính 13 XÍCH MARKOV 15 2.1 Xích Markov hữu hạn 15 2.2 Biểu diễn ánh xạ ngẫu nhiên 20 2.3 Tính tối giản phi tuần hoàn 23 2.4 Hành trình ngẫu nhiên đồ thị 25 2.5 Phân phối dừng 26 2.6 Tính khả nghịch thời điểm nghịch đảo 31 2.7 Phân loại trạng thái xích Markov 33 ỨNG DỤNG 37 3.1 Người chơi bạc phá sản 37 3.2 Sưu tập phiếu giảm giá 39 3.3 Siêu lập phương mô hình bình Ehrenfest 40 3.4 Mô hình bình Polya 43 3.5 Chuỗi sinh tử 44 3.6 Mô hình phục vụ đám đông 46 3.7 Xích Markov di truyền 48 3.8 Mô hình kiểm kê 49 3.9 Hành trình ngẫu nhiên Z định luật đối xứng 51 KẾT LUẬN 56 TÀI LIỆU THAM KHẢO 57 GIỚI THIỆU Lý chọn đề tài Nhiều trình thực tế có chuyển đổi qua lại trạng thái khác nhau, điển hình trình Markov Quá trình Markov giúp ta biết, từ số liệu thực tế độc lập với khứ, ta đưa dự doán tương lai nhờ vào ma trận xác suất chuyển Rồi từ rút nhận xét, đánh giá, kết luận, nhằm điều chỉnh định công tác đạo vận dụng phổ biến nhiều lĩnh vực như: kinh tế, kỹ thuật, dân số học, di truyền học, Thấy tầm quan trọng trình giúp đỡ tận tình thầy giáo Trần Vĩnh Đức nên mạnh dạn lựa chọn đề tài "Xích Markov ứng dụng" làm đề tài nghiên cứu Mục đích nghiên cứu - Nhằm tìm hiểu số kết lý thuyết xích Markov số mô hình ứng dụng - Rèn luyện tư nghiên cứu khoa học nâng cao trình độ nhận thức thân Đối tượng phạm vi nghiên cứu - Đối tượng nghiên cứu: Xích Markov ứng dụng - Phạm vi nghiên cứu: Các tính chất số ứng dụng xích Markov Phương pháp nghiên cứu - Tổng hợp tài liệu, xếp vấn đề nghiên cứu cách lôgic có hệ thống Nội dung nghiên cứu Khóa luận gồm ba chương: Chương 1: Kiến thức sở Trình bày kiến thức liên quan đến xác suất, ma trận hệ phương trình tuyến tính Chương 2: Xích Markov Trình bày định nghĩa xích Markov, tính Markov điều kiện cần để tồn phân phối dừng Chương 3: Ứng dụng Trình bày số ứng dụng xích Markov Chương KIẾN THỨC CƠ SỞ Mục đích chương trình bày kiến thức lý thuyết xác suất, ma trận hệ phương trình tuyến tính Các kiến thức sử dụng chương sau nghiên cứu xích Markov ứng dụng xích Markov 1.1 1.1.1 Sơ lược lý thuyết xác suất Định nghĩa Phép thử ngẫu nhiên, kí hiệu E Các kết E ngẫu nhiên, xác định trước Tuy nhiên ta liệt kê tất kết E Tập hợp tất kết E gọi không gian mẫu E kí hiệu Ω Chữ w dùng để kí hiệu phần tử Ω ta gọi phần tử w Ω biến cố sơ cấp Định nghĩa xác suất cổ điển Định nghĩa 1.1.1 Giả sử phép thử E có số hữu hạn kết Khi xác suất biến cố A tỉ số số kết thuận lợi Chương KIẾN THỨC CƠ SỞ A số kết Kí hiệu: P (A) = |A| , |A| số |Ω| phần tử tập A Định nghĩa xác suất tần suất Định nghĩa 1.1.2 Giả sử phép thử E thực lặp lặp lại nhiều lần điều kiện giống Nếu n lần thực k(A) phép thử E , biến cố A xuất k(A) lần tỉ số fn (A) = n gọi tần suất xuất biến cố A n phép thử Phương pháp tiên đề lý thuyết xác suất Giả sử E phép thử ngẫu nhiên Ω tập hợp kết E Mỗi tập Ω gọi biến cố Một họ F tập Ω gọi σ - đại số biến cố nếu: (i) Ω ∈ F , Ø ∈ F (ii) Nếu A ∈ F Ω\A ∈ F (iii) Nếu A1 , A2 , dãy tập hợp họ F hợp ∪∞ n=1 An thuộc F Xác định quy luật xác suất σ - đại số F gán cho biến cố A ∈ F số P (A) gọi xác suất A Phép gán phải thỏa mãn điều kiện sau: 1) ∀A ∈ F , ≤ P (A) ≤ 2) P (Ω) = 1, P (Ø) = 3) Nếu A1 , A2 , dãy biến cố thuộc F đôi xung khắc với (Ai Aj = Ø i = j ) P (∪∞ n=1 An ) = ∞ n=1 P (An ) Chương ỨNG DỤNG 3.4 43 Mô hình bình Polya Xét trình sau đây, gọi mô hình bình Polya Bắt đầu với bình chứa hai cầu, trắng đen Chọn cầu ngẫu nhiên bình, sau trả lại bình thêm cầu khác có màu với cầu lấy Nếu có j cầu đen bình sau k cầu thêm vào (vì tổng có k + cầu bình), xác suất cầu đen khác thêm vào j/(k + 2) Dãy cặp có thứ tự liệt kê số cầu đen trắng xích Markov với không gian trạng thái {1, 2, }2 Bổ đề 3.4.1 Cho Bk số cầu đen bình Polya sau thêm k cầu Phân phối Bk phân phối {1, 2, , k +1} Chứng minh Cho U0 , U1 , , Un biến ngẫu nhiên ngẫu nhiên độc lập có phân phối sau, phân phối khoảng [0, 1] Giả sử Lk := |{j ∈ {0, 1, , k} : Uj ≤ U0 }| số biến U0 , U1 , , Uk mà nhỏ U0 Biến cố {Lk = j, Lk+1 = j + 1} xảy U0 biến thứ j + nhỏ Uk+1 j + biến {U0 , U1 , , Uk+1 } Có j(k!) thứ tự {U0 , U1 , , Uk+1 } làm nên khả này, (k + 2)! thứ tự giống vậy, P{Kk = j, Lk+1 = j + 1} = j(k!) j = (k + 2)! (k + 2)(k + 1) (3.9) Vì tập thứ tự tương đối U0 , U1 , , Uk nhau, ta có P{Lk = j} = 1/(k + 1) Cùng với (3.9) dẫn đến: P{Lk+1 = j + 1|Lk = j} = j k+2 (3.10) Chương ỨNG DỤNG 44 Do Lk+1 ∈ {j, j + 1} cho Lk = j , P{Lk+1 = j|Lk = j} = k+2−j k+2 (3.11) Thấy L1 B1 có phân phối giống Từ (3.10) (3.11) ta có (Lk )nk=1 (Bk )nk=1 có ma trận xác suất chuyển Do (Lk )nk=1 (Bk )nk=1 có phân phối Cụ thể Lk Bk có phân phối Từ vị trí U0 số {U0 , , Uk } k + vị trí, Lk {1, , k + 1} Như Bk {1, , k + 1} 3.5 Chuỗi sinh tử Một chuỗi sinh tử có không gian trạng thái Ω = {0, 1, 2, , n} Trong bước trạng thái tăng giảm đơn vị Xác suất chuyển xác định {(pk , rk , qk )}nk=0 , pk + rk + qk = với k • pk xác suất chuyển động từ k đến k + ≤ k < n, • qk xác suất chuyển động từ k đến k − < k ≤ n, • rk xác suất lại điểm k ≤ k ≤ n, • q0 = pn = Mệnh đề 3.5.1 Mọi chuỗi sinh tử khả nghịch Chứng minh Một hàm số w Ω thỏa mãn phương trình cân chi tiết (2.28) pk−1 wk−1 = qk wk , Chương ỨNG DỤNG 45 với ≤ k ≤ n Chuỗi sinh tử mà ta xét, nghiệm cho w0 = pi − , qi i=1 với ≤ k ≤ n Chuẩn hóa để tổng k wk = Π wk , k w j j=0 πk = với ≤ k ≤ n Bây giờ, cố định ∈ {0, 1, , n} Xét giới hạn chuỗi {0, 1, , }: • Với k ∈ {0, 1, , − 1}, chuỗi chuyển động từ k trên, chuyển động lùi với xác suất qk , vị trí với xác suất rk chuyển động tiến với xác suất pk • Tại , chuỗi chuyển động lùi vị trí cũ với xác suất q r +p ∼ Ta viết E kì vọng cho chuỗi Từ chứng minh mệnh đề ∼ (3.5.1), xác suất dừng π chuỗi cho bởi: wk ∼ πk = j=0 wj , với ≤ k ≤ Do chuỗi chuyển động đứng yên bước từ lùi − 1, thời điểm kì quay lại lần có ∼ kì vọng E (τ + ) thỏa mãn ∼ ∼ ∼ E (τ + ) = (r + p ) · + q (E −1 (τ ) + 1) = + q E −1 (τ ) (3.12) Từ mệnh đề 2.5.1 (ii), ∼ E (τ + ) = ∼ π = w wj j=0 (3.13) Chương ỨNG DỤNG 46 ∼ Ta xây dựng chuỗi để E −1 (τ ) = E −1 (τ ) Sắp xếp lại (3.12) (3.13)   1 wj E −1 (τ ) =  − 1 = q w qw j=0 −1 wj (3.14) j=0 Để xác định Ea (τb ) với a < b, có tổng: b E −1 (τ ) Ea (τb ) = =a+1 Xét hai trường hợp đặc biệt quan trọng Giả sử: (pk , rk , qk ) = (p, r, q) với ≤ k < n, (p0 , r0 , q0 ) = (p, r + q, 0), (pn , rn , qn ) = (0, r + p, q) cho p, r, q ≥ với p + r + q = Đầu tiên xét trường hợp p = q Ta có wk = (p/q)k với ≤ k ≤ n từ (3.14) , với ≤ ≤ n, E −1 (τ ) = q(p/q) −1 (p/q)j = j=0 (p/q) − = 1− q(p/q) [(p/q) − 1] p − q q p Nếu p = q wj = với j E −1 (τ ) = p 3.6 Mô hình phục vụ đám đông Giả sử có cửa hàng phục vụ Khách đến xếp hàng chờ phục vụ cửa hàng phục vụ khách Khi có khách cửa hàng phục vụ ngay, khách cửa hàng chờ khách đến để phục vụ Khi cửa hàng phục vụ khách khách tới ngồi chờ Giả sử chu kì thời gian, cửa hàng phục vụ Chương ỨNG DỤNG 47 khách giả sử số khách đến cửa hàng chu kì thứ n biến ngẫu nhiên ξn có phân phối xác suất sau: xác suất để có k khách hàng tới chu kỳ cho công thức: ∞ P (ξn = k) = ak ; k = 0, 1, 2, ; ak = ak > 0, (3.15) k=0 Ta giả thiết ξ1 , ξ2 , biến ngẫu nhiên độc lập Như (ξn ) dãy biến ngẫu nhiên độc lập phân phối Trạng thái hệ (cửa hàng) thời điểm đầu chu kỳ số khách xếp hàng chờ phục vụ Nếu hệ trạng thái i sau chu kỳ hệ rơi vào trạng thái j=   i − + ξ i ≥ 1,  ξ i = 0, (ξn biến ngẫu nhiên có phân phối (ak ) trên) Ta ký hiệu Xn số khách thời điểm xuất phát chu kỳ n Khi Xn+1 = (Xn − 1)+ + ξn , với X + = max(0, X) Rõ ràng (Xn ) xích Markov với không gian Ω = (0, 1, 2, ) ma trận xác suất chuyển  a a a a a    a0 a1 a2 a3 a4   P =  a0 a1 a2 a3    0 a0 a1 a2  0 a0 a1 Ta thấy Eξ = ∞ k=0 kak            số trung bình khách tới kỳ phục vụ Nếu Eξ > số người xếp hàng (chờ phục vụ) ngày tăng Chương ỨNG DỤNG 48 Nếu Eξ < số người xếp đạt tới trạng thái cân theo định nghĩa sau n lim P (Xn = k|X0 = j) = πk > 0; n→∞ ∀k = 0, 1, 2, , πk = 1) ( k=0 Trong mô hình hai đại lượng quan trọng cần tính đến Đó là: • π0 xác suất khách, tức tỉ lệ thời gian cửa hàng khách so với thời gian cửa hàng mở cửa • Thời gian trung bình khách cửa hàng n k=0 (1 3.7 + k)πk Xích Markov di truyền Giả sử ta xét cỡ loài cố định gồm 2N gen kết hợp từ cá thể loại a loại A Sự hình thành hệ sau xác định 2N phép thử nhị thức độc lập nhau: Nếu loài bố mẹ có j a-gen (2N − j) A-gen phép thử có kết a hay A với xác suất tương ứng pj = j 2N qj = − j 2N với ≤ j ≤ 2N Các chọn lọc lặp lại tiến hành có thay Bằng cách ta có xích Markov {Xn }, Xn số a-gen hệ thứ n cỡ loài không đổi gồm 2N cá thể Không gian trạng thái Ω = {0, 1, 2, , 2N } gồm 2N + giá trị Ma trận xác suất chuyển P = (pjk ) tính theo phân phối nhị thức k pjk = P {Xn+1 = k|Xn = j} = C2N pkj qj2N −k , (j, k = 0, 1, , 2N ) Chương ỨNG DỤNG 49 Các trạng thái Xn = (hoặc 2N ) gọi trạng thái hút Việc xác định xác suất để loài đạt tới cố định với điều kiện X0 = i, tức trở thành thể chủng gồm có a-gen A-gen Một mô hình đầy đủ phải tính đến tác nhân đột biến, tức xác suất chuyển thành gen loại Ta giả sử gen tượng đột biến a → A xảy với xác suất x1 tượng đột biến A → a xảy với xác suất x2 Sự hình thành hệ sau xác định 2N phép thử nhị thức Xác suất pj qj loài cha mẹ có j a-gen lúc có dạng pj = j j j j (1 − x1 ) + − x2 qj = x1 + (1 − )(1 − x2 ) 2N 2N 2N 2N (3.16) Nếu x1 , x2 > tính cố định không xảy trạng thái Thay vào đó, n → ∞ hàm phân phối Xn tiến tới phân phối trạng thái vững biến ngẫu nhiên ξ P {ξ = k} = πk ; k = 0, 1, , 2N ( πk = 1, πk > 0) Hàm phân phối ξ gọi phân phối tần số gen trạng thái vững 3.8 Mô hình kiểm kê Giả thiết phải dự trữ kho loại hàng để đáp ứng nhu cầu liên tục khách hàng Hàng nhập kho cuối chu kỳ n = 0, 1, 2, Giả sử tổng lượng hàng cần đáp ứng chu kỳ n biến ngẫu nhiên ξn có phân phối độc lập với chu kỳ thời gian ∀n = 0, 1, 2, ∞ P {ξn = k} = αk (k = 0, 1, 2, ); αk ≥ 0, αk = k=0 (3.17) Chương ỨNG DỤNG 50 Mức hàng dự trữ kiểm kê cuối chu kỳ Cách nhập hàng vào hai số tiêu chuẩn s S (s < S ) sau: Nếu cuối chu kỳ lượng hàng dự trữ nhỏ hay s phải nhập hàng để lượng dự trữ S ; Nếu hàng dự trữ có lớn s không cần nhập hàng Kí hiệu Xn lượng hàng có cuối chu kì n trước nhập Các trạng thái trình (Xn ) số lượng hàng dự trữ: S, S − 1, , 1, 0, −1, −2, giá trị âm nhu cầu không thỏa mãn mà đáp ứng sau nhập hàng Theo cách kiểm kê hàng hóa nêu trên, mức hàng dự trữ hai chu kỳ liên tiếp có mối quan hệ sau:   Xn − ξn+1 s < Xn ≤ S, Xn+1 =  S − ξn+1 Xn ≤ s, ξn tổng lượng hàng yêu cầu khách hàng chu kỳ thứ n Nếu giả sử dãy nhu cầu liên tiếp: ξ1 , ξ2 , dãy biến ngẫu nhiên độc lập có phân phối xác suất (3.17) dãy giá trị dự trữ: X0 , X1 , X2 , lập thành xích Markov với xác suất chuyển   P (ξn+1 = i − j) s < i ≤ S, pij = P {Xn+1 = j|Xn = i} =  P (ξn+1 = S − j) i ≤ s Ta xét mô hình kiểm kê phụ tùng thay thế, yêu cầu 0, đơn vị phụ tùng cần thay chu kỳ bất kỳ, với phân phối xác suất thuộc dạng (3.17) sau: P {ξn = 0} = 0.5; P {ξn = 1} = 0.4 P {ξn = 2} = 0.1 ∀n = 0, 1, 2, Chương ỨNG DỤNG 51 giả sử s = 0, S = Các giá trị Xn 2, 1, 0, −1 Các xác suất chuyển tính sau: Ta xét p01 = P {Xn+1 = 0|Xn = 1} Khi Xn = không cần nhập phụ tùng trạng thái Xn+1 = ξn+1 = (xảy với xác suất 0.4), p10 = 0.4 Bây giờ, Xn = phải nhập phụ tùng cho đạt tới S = trạng thái Xn+1 = ξn+1 = (xảy với xác suất 0.1), p00 = 0.1 Tiếp tục ta có xích Markov với không gian trạng thái Ω = {−1, 0, 1, 2} ma trận xác     P=   0.1  3.9 suất chuyển  0.1 0.4 0.5   0.1 0.4 0.5    0.4 0.5   0.1 0.4 0.5 Hành trình ngẫu nhiên Z định luật đối xứng Một hành trình lân cận ngẫu nhiên Z chuyển động sang phải sang trái bước một, chuyển động độc lập khứ Đặc biệt, ( t) dãy độc lập phân phối đồng {1, 0, −1}-giá trị biến ngẫu nhiên Xt = nhiên lân cận với số gia ( t s=1 s, (Xt ) hành trình ngẫu t ) Dãy biến ngẫu nhiên xích Markov với không gian hữu hạn trạng thái Z ma trận chuyển P (k, k + 1) = p, P (k, k) = r, P (k, k − 1) = q, với p + r + q = Chương ỨNG DỤNG 52 Trong trường hợp đặc biệt p = q = 1/2, r = hành trình ngẫu nhiên đơn giản Z, ta  t−k  Ct · 2−t t − k chẵn, P0 {Xt = k} =  0 trái lại (3.18) t−k có Ct đường có độ dài t từ đến k Định lí 3.9.1 Cho (Xt ) hành trình ngẫu nhiên đơn giản Z gọi τ0 = min{t ≥ : Xt = 0} thời điểm hành trình chạm đến Vậy 12k Pk {τ0 > r} ≤ √ r với số nguyên k, r > Bổ đề 3.9.1 (Định luật đối xứng) Cho (Xt ) hành trình ngẫu nhiên đơn giản hành trình ngẫu nhiên đơn giản chậm Z Với số nguyên dương j , k r, Pk {τ0 < r, Xr = j} = Pk {Xr = −j} (3.19) Pk {τ0 < r, Xr > 0} = Pk {Xr < 0} (3.20) Chứng minh Bằng tính chất Markov, hành trình bắt đầu lại từ chạm tới 0, nghĩa hành trình chạm tới thời điểm độc lập với khứ có phân phối giống Vì với s < r j > ta có Pk {τ0 = s, Xr = j} = Pk {τ0 = s}P0 {Xr−s = j} Chương ỨNG DỤNG 53 Phân phối Xt đối xứng bắt đầu 0, vế phải Pk {τ0 = s}P0 {Xr−s = −j} = Pk {τ0 = s, Xr = −j} Do s < r ta có Pk {τ0 < r, Xr = j} = Pk {τ0 < r, Xr = −j} = Pk {Xr = −j} Một hành trình ngẫu nhiên k > phải qua trước đến số nguyên âm Từ (3.19) với j > ta (3.20) Ví dụ 3.9.1 Một ứng dụng bổ đề 3.10.1 cho phân phối τ0 hành trình đơn giản ngẫu nhiên Z Ta có P{τ0 = 2m + 1} = P1 {τ0 > 2m, X2m = 1, X2m+1 = 0} = P1 {τ0 > 2m, X2 m = 1} · P1 {X2m+1 = 0|X2m = 1} = P1 {τ0 > 2m, X2m = 1} · Viết lại sử dụng định lý 3.10.1 ta có P1 {τ0 = 2m + 1} = [P1 {X2m = 1} − P1 {τ0 ≤ 2m, X2m = 1}] = [P1 {X2m = 1} − P1 {X2m = −1}] Sử dụng (3.18) ta m m−1 C2m · 2−2m − C2m · 2−2m Cm = (m + 1)22m+1 2m P1 {τ0 = 2m + 1} = Bổ đề 3.9.2 Khi (Xt ) hành trình ngẫu nhiên đơn giản hành trình ngẫu nhiên đơn giản chậm Z, ta có Pk {τ0 > r} = P0 {−k < Xr ≤ k} với k > Chương ỨNG DỤNG 54 Hình 3.3: Đối xứng hướng xấu sau lần đếm phiếu hướng tới (b, a) Một ứng dụng quan trọng thiếu định lý bỏ phiếu phát biểu sau Định lí 3.9.2 (Định lý bỏ phiếu).Cố định hai số nguyên dương a b với a < b Một hướng tiến phải từ điểm (0, 0) đến (a, b) lựa b−a nằm hoàn toàn chọn cách ngẫu nhiên có xác suất a+b đường x = y (trừ điểm đầu) Lý giải cách sinh động định lý sau: hình ảnh đếm a + b phiếu Đồ thị biểu diễn đường tương ứng cho cặp (lá phiếu ứng cử A, phiếu ứng cử B ) Giả sử tổng số phiếu cho ứng A a, tổng số phiếu cho ứng B b Vậy xác suất để ứng cử viên đứng đầu tính từ phiếu phiếu cuối giả thiết hướng hướng đến tổng cuối (b − a)/(a + b) Chứng minh b Tổng số đường từ (0, 0) đến (a, b) Ca+b có a + b bước có b bước tiến sang phải Chương ỨNG DỤNG 55 Có hướng mà không trùng với đường thẳng x = y sau bước đầu tiên? Bất kì hướng có bước có b−1 Ca+b−1 hướng Có hướng trùng với đường thẳng x = y ? Cho hướng mà bước trùng với đường thẳng x = y , nghĩa trùng điểm (0, 0) kết thúc điểm (b, a) Từ hình 3.3 hướng có bước lên kết thúc điểm (b, a) phải vắt qua x = y , ta thấy hướng qua đối xứng Do b Ca+b−1 hướng cần loại bỏ xác suất b−1 b Ca+b−1 − Ca+b−1 a!b! = b (a + b)! Ca+b (a + b − 1)! (a + b − 1)! − a!(b − 1)! (a − 1)!b! = b−a a+b KẾT LUẬN Khoá luận "Xích Markov ứng dụng", tổng hợp kết xích Markov số ứng dụng Các kết bao gồm: (1) Trình bày kiến thức bổ trợ xác suất, ma trận hệ phương trình tuyến tính (2) Trình bày khái niệm xích Markov, ví dụ để làm rõ xích Markov không gian trạng thái hữu hạn, ma trận xác suất chuyển trạng thái phân phối ban đầu (3) Trình bày khái niệm phân phối dừng, tính tồn phân phối dừng (4) Nêu lên ứng dụng xích Markov đặc biệt hai ví dụ quan trọng người chơi bạc phá sản sưu tập phiếu giảm giá Trong trình thực đề tài, tránh khỏi sai sót Vì mong nhận đóng góp ý kiến từ quý thầy, cô giáo để đề tài khóa luận hoàn thiện Tôi xin chân thành cảm ơn! 56 Tài liệu tham khảo [A] Tài liệu tiếng Việt [1] Đào Hữu Hồ, 1996 Xác suất thống kê Nhà xuất Đại học Quốc Gia Hà Nội [2] Nguyễn Hữu Việt Hưng, 2000 Đại số tuyến tính Nhà xuất Đại học Quốc Gia Hà Nội [3] Đặng Hùng Thắng Mở đầu lý thuyết xác suất ứng dụng Nhà xuất Giáo Dục Việt Nam [4] Nguyễn Duy Tiến, 2000 Các mô hình xác suất ứng dụng Nhà xuất Đại học Quốc Gia Hà Nội [B] Tài liệu tiếng Anh [5] David A Levin, Yuval Peres, Elizabeth L Wilmer, 2006 Markov Chains and Mixing Times American Mathermatical Society 57 ... trỡnh tuyn tớnh Chng 2: Xớch Markov Trỡnh by nh ngha xớch Markov, tớnh Markov v iu kin cn tn ti nht mt phõn phi dng Chng 3: ng dng Trỡnh by mt s ng dng ca xớch Markov Chng KIN THC C S Mc ớch... XCH MARKOV Chng ny trỡnh by nh ngha xớch Markov, biu din ỏnh x ngu nhiờn, hnh trỡnh ngu nhiờn trờn th v trỡnh by c nhng xớch ti gin, phi tun hon luụn hi t ti phõn phi dng ca chỳng 2.1 Xớch Markov. .. giỏo Trn Vnh c nờn tụi ó mnh dn la chn ti "Xớch Markov v ng dng" lm ti nghiờn cu Mc ớch nghiờn cu - Nhm tỡm hiu mt s kt qu v lý thuyt xớch Markov v mt s mụ hỡnh ng dng ca nú - Rốn luyn t nghiờn