Một số mô hình xác suất trong khoa học máy tính

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - PHẠM THỊ THU HẰNG MỘT SỐ MÔ HÌNH XÁC SUẤT TRONG KHOA HỌC MÁY TÍNH LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - Năm 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - PHẠM THỊ THU HẰNG MỘT SỐ MÔ HÌNH XÁC SUẤT TRONG KHOA HỌC MÁY TÍNH Chuyên ngành: Lý thuyết Xác suất Thống kê toán học Mã số: 60406106 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TSKH ĐẶNG HÙNG THẮNG Hà Nội - Năm 2015 Mục lục Lời nói đầu Xác suất lý thuyết tổ hợp đồ thị 1.1 Các ví dụ 1.1.1 Đồ thị ngẫu nhiên 1.1.2 Thuật toán Tìm kiếm Sắp xếp nhanh 1.1.3 Mô hình danh sách tự tổ chức 1.1.4 Sinh hoán vị ngẫu nhiên 1.2 Phương pháp xác suất 1.2.1 Lời giới thiệu 1.2.2 Ứng dụng xác suất để chứng minh tồn 1.2.3 Xác định cận từ kỳ vọng 1.2.4 Bài toán tập hợp độc lập có trọng số tối đa: Thuật toán cận biên ngẫu nhiên 1.2.5 Bài toán phủ tập hợp 1.2.6 Phản xích 1.2.7 Bổ đề rút gọn Lovasz 1.2.8 Thuật toán ngẫu nhiên để tính phân hoạch cực tiểu đồ thị Xích Markov mô MCMC 2.1 Xích Markov 2.1.1 Giới thiệu 2.1.2 Phương trình Chapman-Kolmogorov 2.1.3 Phân loại trạng thái 2.1.4 Xác suất giới hạn xác suất dừng 2.1.5 Ứng dụng 5 11 16 18 26 26 26 28 31 36 38 39 43 46 46 46 48 49 58 65 Luận văn tốt nghiệp 2.2 2.3 Phạm Thị Thu Hằng 2.1.6 Xích Markov với thời gian đảo ngược Mô 2.2.1 Mô Monte Carlo 2.2.2 Tạo biến ngẫu nhiên rời rạc 2.2.3 Tạo biến ngẫu nhiên liên tục: Phương pháp nghịch Mô MCMC biến đổi Quá trình Poisson 3.1 Quá trình Poisson không dừng 3.2 Quá trình Poisson dừng 3.3 Một số tính toán trình Poisson 3.4 Phân loại biến cố trình Poisson không dừng 3.5 Phân phối có điều kiện thời điểm đến 75 85 85 88 90 92 98 98 101 104 110 113 LỜI NÓI ĐẦU Trong năm gần đây, xác suất phát triển đa dạng có nhiều ứng dụng quan trọng lĩnh vực khoa học máy tính Ví dụ, chủ đề liên quan đến thuật toán thuật toán ngẫu nhiên, thuật toán ước lượng phân tích xác suất thuật toán sử dụng phương pháp xác suất Trong luận văn này, muốn giới thiệu loại mô hình phân tích xác suất hữu dụng khoa học máy tính Giả sử với hàm mở đầu xác suất, trình bày số đề tài quan trọng phương pháp xác suất, xích Markov, mô MCMC trình Poisson không dừng Luận văn cung cấp nhiều ví dụ tập mô tả đề tài thuật toán xếp, thuật toán tìm kiếm biểu đồ ngẫu nhiên, toán tự xếp theo danh sách, phản xích, phân hoạch cực đại cực tiểu đồ thị nhiều đề tài khác Cấu trúc luận văn chia làm chương chính: • Chương đưa ví dụ hay khoa học máy tính, đồng thời trình bày phương pháp xác suất số cách ứng dụng phương pháp • Chương viết xích Markov không gian trạng thái rời rạc, phương pháp Monte Carlo xích Markov Monte Carlo (MCMC) • Chương giới thiệu số lớp trình Poisson, từ nghiên cứu toán phân loại biến cố trình Poisson không dừng toán xác định phân phối có điều kiện thời điểm đến Trong khuôn khổ luận văn này, hạn hẹp thời gian lực thân, tránh khỏi hạn chế nội dung việc trình bầy Tôi nhận thấy xác suất khoa học máy tính nhiều điều thú vị khác mong có dịp trình bầy đầy đủ Luận văn hoàn thành hướng dẫn tận tâm GS.TSKH Đặng Hùng Thắng Tôi xin bày tỏ lòng biết ơn kính trọng sâu sắc đến thầy Qua xin chân thành gửi lời cảm ơn tới thầy cô Tổ Luận văn tốt nghiệp Phạm Thị Thu Hằng môn Xác suất thống kê Ban Chủ nhiệm khoa Toán - Cơ - Tin học Trường Đại học Khoa học Tự nhiên - Đại học Quốc gia Hà Nội bảo hướng dẫn tận tình giúp hoàn thành luận văn này! Rất mong nhận ý kiến đóng góp thầy cô bạn! Hà Nội, tháng 11/2015 Phạm Thị Thu Hằng Chương Xác suất lý thuyết tổ hợp đồ thị 1.1 Các ví dụ 1.1.1 Đồ thị ngẫu nhiên Mỗi đồ thị bao gồm hai yếu tố: tập V tập hợp đỉnh (hay nút) A tập hợp cặp đỉnh gọi cạnh (hoặc cung) Ta thường khoanh tròn số hiệu đỉnh nối đỉnh đường thẳng cong có cạnh tạo hai đỉnh Ví dụ, đồ thị có V = {1, 2, 3, 4, 5, 6} A={(1, 2), (1, 4), (1, 5), (2, 3), (2, 5), (3, 5), (5, 6)} mô tả Hình 1.1 Ở ta xét đồ thị hướng, tức ta không định hướng cạnh đồ thị Một chuỗi đỉnh i, i1 , i2 , , ik , j (i, i1 ), (i1 , i2 ), , (ik−1 , ik ), (ik , j) cạnh gọi đường từ đỉnh i tới đỉnh j Hình 1.2 biểu thị đường từ đỉnh tới đỉnh Một đồ thị coi liên thông có đường cặp đỉnh đồ thị Đồ thị Hình 1.1 1.2 đồ thị liên thông đồ thị Hình 1.3 đồ thị liên thông Giờ xem xét đồ thị với tập hợp đỉnh V = {1, 2, , n} tập hợp cạnh A = {(i, X(i)), i = 1, , n} X(i) biến ngẫu nhiên độc lập thỏa mãn n P {X(i) = j} = Pj , Pj = j=1 Nói cách khác, từ đỉnh i ta chọn ngẫu nhiên đỉnh số n đỉnh lại đồ thị (bao gồm i), xác suất để đỉnh j chọn Pj , Luận văn tốt nghiệp Phạm Thị Thu Hằng Hình 1.1: Đồ thị Hình 1.2: Đường từ tới 6: 1, 2, 3, 5, Hình 1.3 sau ta nối đỉnh i với đỉnh vừa chọn cung Đồ thị vừa xây dựng đồ thị ngẫu nhiên Chúng ta tính xác suất để đồ thị ngẫu nhiên Luận văn tốt nghiệp Phạm Thị Thu Hằng đồ thị liên thông Để tìm xác suất này, ta chọn đỉnh, giả sử đỉnh lần theo chuỗi đỉnh 1, X(1), X (1), , X n (1) = X(X n−1 (1)) để xác định giá trị biến ngẫu nhiên N số k nhỏ cho X k (1) không đỉnh Tức là, N = min(k : X k (1) ∈ {1, X(1), , X k−1 (1)}) Đồng thời, gọi N −1 PX i (1) W = P1 + i=1 Nói cách khác, N số đỉnh tiếp xúc chuỗi 1, X(1), X (1), trước đỉnh xuất hai lần W tổng xác suất đỉnh (xem Hình 1.4) Hình 1.4 Để tính toán xác suất đồ thị liên thông, ta lấy điều kiện với N : n P (đồ thị liên thông|N = k)P (N = k) Xác suất đồ thị liên thông = k=1 Bây giờ, với điều kiện N = k , đỉnh 1, X(1), , X k−1 (1) liên thông với không cạnh khác xuất phát từ đỉnh tới đỉnh lại đồ thị Nói cách khác, ta hợp k đỉnh lại làm siêu đỉnh Không có cạnh xuất phát từ siêu đỉnh xác suất để đỉnh vào siêu đỉnh W Ta cần đến kết sau Bổ đề 1.1.1 Xét đồ thị ngẫu nhiên gồm đỉnh 0, 1, , r, cạnh (i, Yi ), i = 1, , r, Yi biến ngẫu nhiên độc lập r P {Yi = j} = Qj , j = 0, , r, Qj = j=0 Khi đó, Luận văn tốt nghiệp Phạm Thị Thu Hằng P {đồ thị liên thông} = Q0 Đồ thị ngẫu nhiên bao gồm r đỉnh thông thường (đánh số từ đến r) đỉnh đặc biệt (đánh số 0); đỉnh thông thường có cạnh độc lập qua đỉnh j với xác suất Qj ; cạnh xuất phát từ đỉnh đặc biệt Chứng minh : Để chứng minh, ta sử dụng phương pháp quy nạp theo r, bổ đề hiển nhiên r = 1, giả sử bổ đề với giá trị nhỏ r Xem xét Y1 Y1 = dễ thấy đồ thị không liên thông Nếu Y1 = đỉnh coi đỉnh đơn lẻ trường hợp không thay đổi ta có r − đỉnh thông thường đỉnh đặc biệt, đỉnh thông thường có cạnh qua đỉnh đặc biệt với xác suất Q0 + Q1 Nếu Y1 = j = 0, cách coi đỉnh j đỉnh đơn lẻ, kết không thay đổi ta có r − đỉnh thông thường đỉnh đặc biệt, đỉnh thông thường có cạnh qua đỉnh đặc biệt với xác suất Q0 Do vậy, từ giả thiết quy nạp, thấy:  j = 0, P {đồ thị liên thông|Y1 = j} = Q0 + Q1 , j =  Q0 , j = 0, Lấy xác suất với điều kiện với Y1 ta có: r P {đồ thị liên thông} = P {đồ thị liên thông|Y1 = j}Qj j=0 = (Q0 + Q1 )Q0 + Q0 (1 − Q0 − Q1 ) = Q0 giả thiết quy nạp Trở lại với đồ thị ngẫu nhiên ban đầu, coi tập hợp đỉnh 1, , X N −1 (1) đỉnh đặc biệt Bổ đề 1.1.1 ta có: P {đồ thị liên thông|N, 1, , X N −1 (1)} = W Lấy kỳ vọng thu kết sau: Mệnh đề 1.1.1 P{đồ thị liên thông} = E[W] Từ lập luận ta nhận thấy thực dãy phép thử đa thức độc lập với xác suất P1 , , Pn với điều kiện kết ban đầu 1, kỳ vọng Tài liệu tham khảo Tiếng Việt [1] Đặng Hùng Thắng (2012), Mở đầu lý thuyết xác suất ứng dụng, NXB Giáo dục Việt nam [2] Nguyễn Duy Tiến, Vũ Viết Yên (2013), Lý Thuyết Xác suất, NXB Giáo dục Việt Nam Tiếng Anh [3] Barbour, A.,Holst, L., and Jansen, S (1992),Poisson Approximations Oxford University Press [4] Bollobas, B (1999), Random Graphs 2nd ed., San Diego: Academic Press [5] Ross, S (1996), Stochastic Processes 2nd ed., NY: Wiley [6] Sheldon M.Ross (2002), Probability Models for Computer science, Harcourt/ Academic Press 117 [...]...Tài liệu tham khảo Tiếng Việt [1] Đặng Hùng Thắng (2012), Mở đầu về lý thuyết xác suất và các ứng dụng, NXB Giáo dục Việt nam [2] Nguyễn Duy Tiến, Vũ Viết Yên (2013), Lý Thuyết Xác suất, NXB Giáo dục Việt Nam Tiếng Anh [3] Barbour, A.,Holst, L., and Jansen, S (1992),Poisson Approximations Oxford University Press [4] Bollobas, B