MÔ HÌNH XÍCH MARKOV và ỨNG DỤNG TRONG THUẬT TOÁN xếp HẠNG

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI LÊ THANH BÌNH MƠ HÌNH XÍCH MARKOV VÀ ỨNG DỤNG TRONG THUẬT TOÁN XẾP HẠNG LUẬN VĂN THẠC SĨ TỐN HỌC Chun ngành: Tốn ứng dụng Mã số : 60 46 01 12 Người hướng dẫn khoa học TS Hà Bình Minh HÀ NỘI, 2016 LỜI CẢM ƠN Tơi xin bày tỏ lịng biết ơn sâu sắc tới Tiến sĩ Hà Bình Minh, thầy định hướng chọn đề tài tận tình hướng dẫn để tơi hồn thành luận văn Tơi xin bày tỏ lòng biết ơn chân thành tới Phòng sau Đại học, thầy, cô giáo dạy Cao học chuyên ngành Toán ứng dụng, trường Đại học Sư phạm Hà Nội giúp đỡ suốt trình học tập Nhân dịp tơi xin gửi lời cảm ơn chân thành tới gia đình, bạn bè động viên, cổ vũ, tạo điều kiện thuận lợi cho tơi q trình học tập hoàn thành luận văn Hà Nội, tháng 10 năm 2016 TÁC GIẢ Lê Thanh Bình LỜI CAM ĐOAN Tơi xin cam đoan luận văn "Mơ hình xích Markov ứng dụng thuật tốn xếp hạng" hồn thành hướng dẫn Tiến sĩ Hà Bình Minh Các số liệu, kết luận nghiên cứu trình bày luận văn trung thực, kết trích dẫn luận văn rõ nguồn gốc Hà Nội, tháng 10 năm 2016 TÁC GIẢ Lê Thanh Bình Mục lục Mở đầu Chương Mơ hình xích Markov rời rạc 1.1 Xích Markov ma trận chuyển 1.1.1 Định nghĩa xích Markov ma trận chuyển 1.1.2 Phân phối xác suất xích Markov 1.2 Xích Markov quy 11 1.2.1 Định nghĩa xích Markov quy 12 1.2.2 Vector trạng thái dừng xích Markov quy 15 1.2.3 Các toán áp dụng có chứa xích Markov 19 Chương Áp dụng mơ hình xích Markov cho thuật toán xếp hạng PageRank 25 2.1 Mô hệ thống trang web đơn giản dạng đồ thị 25 2.1.1 Đồ thị có hướng 25 2.1.2 Mô tả hệ thống trang web đơn giản dạng đồ thị 26 2.1.3 Ma trận biểu diễn đồ thị có hướng 26 2.1.4 Mơ hình xích Markov cho đồ thị có hướng 27 2.1.5 Hạn chế ma trận chuyển xích Markov 28 2.2 Thuật tốn PageRank dựa xích Markov 30 2.2.1 Ma trận Google 30 2.2.2 Tính tốn phân phối dừng ma trận Google xếp hạng trang web 31 Chương Áp dụng với ví dụ thực tế 34 3.1 Đặt toán 34 3.2 Mô dạng đồ thị Mơ hình hóa xích Markov 38 3.3 Tính tốn ma trận chuyển, trạng thái dừng xếp hạng chuyên đề phần mềm Matlab 39 Kết luận 45 Tài liệu tham khảo 45 MỞ ĐẦU Lý chọn đề tài Thuật toán xếp hạng tiếng PageRank Google phát triển tảng tốn học mơ hình xích Markov Gần đây, ý tưởng thuật toán PageRank ứng dụng việc xếp hạng tạp chí khoa học, dẫn đến đời số Eigen-Factor, bên cạnh số thông dụng khác Impact-Factor, H-Index, Việc hiểu rõ ý tưởng, sở toán học thuật toán xếp hạng mục tiêu luận văn Cấu trúc luận văn: Luận văn chia làm 03 chương, chương luận văn dành để giới thiệu mơ hình xích Markov rời rạc với khái niệm liên quan Chương trình bày chi tiết việc áp dụng mơ hình xích Markov cho thuật tốn xếp hạng PageRank Chương chúng tơi trình bày áp dụng vào toán Sắp xếp chuyên đề toán chương trình tốn bậc trung học sở Việt Nam Mục đích nghiên cứu Sử dụng mơ hình xích Markov thuật tốn xếp hạng Nhiệm vụ nghiên cứu Sử dụng mơ hình xích Markov thuật toán xếp hạng Đối tượng phạm vi nghiên cứu Mơ hình xích Markov ứng dụng Phương pháp nghiên cứu Sử dụng mơ hình xác suất rời rạc, ngơn ngữ lập trình MATLAB, Đóng góp luận văn Luận văn trình bày cách hệ thống, chi tiết mơ hình xích Markov rời rạc áp dụng mơ hình vào thuật tốn xếp hạng trang web Google Luận văn trình bày số ví dụ cụ thể mặt lập trình, thực thuật tốn Luận văn tài liệu tham khảo tốt cho quan tâm tới mơ hình xích Markov thuật toán xếp hạng trang web Google Chương Mơ hình xích Markov rời rạc Trong chương này, chúng tơi trình bày khái niệm kết quả, ví dụ mơ hình xích Markov Nội dung chương viết dựa chương 10 tài liệu tham khảo [5] 1.1 Xích Markov ma trận chuyển 1.1.1 Định nghĩa xích Markov ma trận chuyển Để đưa định nghĩa mơ hình xích Markov, trước tiên ta xét mơ hình sau Trong hình 1.1 gồm bốn phịng, phịng có màu khác đánh số theo thứ tự 1, 2, 3, Ta thả chuột vào phòng quan sát Vì hành vi chuột khơng thể dự đốn được, ta dùng xác suất để mô tả chuyển động chuột Ta coi Hình 1.1: phịng trạng thái, trạng thái thứ i; (i = 1; 2; 3; 4) tương ứng với chuột phòng thứ i; (i = 1; 2; 3; 4) kí hiệu p ij xác suất di chuyển từ trạng thái i tới trạng thái j khoảng quan sát Chẳng hạn, xác suất p12 mà chuột di chuyển từ trạng thái tới trạng thái p 12 = ; xác suất di chuyển từ trạng thái tới trạng thái phải p 13 = : Ta có p14 = khơng có đường trực tiếp từ phịng tới Khi p 11 = xác suất mà chuột lại phòng khoảng quan sát p Định nghĩa 1.1.1 Ta gọi ma trận p 23 p 11 12 p 13 6p21 p22 P = 66 p p31 33 p32 p p 43 p 41 42 ma trận chuyển phép thử nghiệm Trong ví dụ trên, với trạng thái P ma trận kích thước 4: Ta có cách điền giá trị xác suất, ma trận P là: 6 36 1201 7 P= Ta biểu diễn phần tử P cách sử dụng sơ đồ Ở hình 1.2 đây, phần tử P xác suất có điều kiện biểu diễn xác suất mà chuột tới phòng cho trước mà ta biết chuột Đây ý tưởng cốt yếu di chuyển từ trạng thái tới trạng thái khác với xác suất tạo thành sở xích Markov Định nghĩa 1.1.2 (Xích Markov) Một xích Markov dãy phép thử nghiệm mà kết phép thử nghiệm số trạng thái ta đánh số 1; 2; : : : ; m: Xác suất trạng thái riêng phụ thuộc vào trạng thái trước chiếm giữ Nếu pij xác suất di chuyển từ trạng thái i tới trạng thái j; ma trận chuyển P = [pij] xích Markov ma trận kích thước: m m P= 45 ::: ::: ::: ::: pm1 pm2 : : : pmm = h Áp dụng công thức (2.2.2) với ma trận v1 = h :116293 Ta tới định nghĩa sau hạng trang web: Định nghĩa 2.2.1 Hạng trang web i thứ hạng i tần suất v1 vectơ v1 Như vậy, theo định nghĩa thứ hạng trang web, trang web quan trọng theo thuật toán PageRank trang ứng với giá trị lớn vector v1: Như vậy, ta xếp hạng trang web theo thứ tự 3, 6, 5, 1, 33 Chương Áp dụng với ví dụ thực tế 3.1 Đặt tốn Trong mục chúng tơi xét toán Xếp hạng chuyên đề tập chương trình tốn Trung học sở (THCS) sau: Giả sử chương trình tốn bậc THCS Việt Nam chia thành 100 chuyên đề tập theo bảng STT Tên Chuyên đề Tập hợp; Các tập hợp số: Tự nhiên, số nguyên, số hữu tỉ, số vô tỉ, số thực, Các phép tính (cộng, trừ, nhân chia, ) tập hợp số tính chất; Lũy thừa, phép tính lũy thừa; Thứ tự thực phép tính; Quy tắc phá dấu ngoặc, quy tắc chuyển vế; Các dấu hiệu chia hết cho 2, 3, 4, 5, 8, 9, Ước bội; Số nguyên tố, hợp số; 10 Số phương; 11.Phân số; 12 Giá trị tuyệt đối; 13 Tỉ lệ thức, tính chất tỉ lệ thức; 14 Dãy tỉ số nhau, tính chất dãy tỉ số nhau; 15 Số thập phân hữu hạn, vơ hạn tuần hồn (khơng tuần hồn); 16 Đại lượng tỉ lệ thuận, đại lượng tỉ lệ nghịch; 17 Hàm số đồ thị (mức độ đơn giản); 18 Thống kê; 19 Đơn thức, phép tính đơn thức; 20 Đa thức, phép tính đa thức; 34 STT Tên Chuyên Đề 21 Nghiệm đơn thức, đa thức biến; 22 Những đẳng thức đáng nhớ; 23 Phân tích đa thức thành nhân tử; 24 Phân thức đại số, phép toán phân thức đại số; 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 Biến đổi biểu thức hữu tỉ; Rút gọn phân thức; Phương trình bậc nhất; Phương trình tích; Phương trình chứa ẩn mẫu; Phương trình nghiệm ngun; Phương trình hàm; Giải tốn cách lập phương trình; Phương trình chứa dấu giá trị tuyệt đối; Phương trình vơ tỉ; Phương trình bậc cao; Bất phương trình; Bất phương trình chứa dấu giá trị tuyệt đối; Căn bậc 2; phép biến đổi thức; Biến đổi biểu thức vô tỉ (chứa bậc hai); Hàm số bậc nhất, đồ hàm số bậc nhất; Hệ phương trình bậc ẩn cách giải; Hệ phương trình bậc ẩn cách giải; Giải toán cách lập hệ phương trình; Phương trình bậc cách giải; Hệ thức Vi-et ứng dụng; Bất đẳng thức; 47 Các tốn tìm GTLN, GTNN biểu thức; 48 49 50 Các phép toán chia hết số nguyên; Hoán vị; Sơ đồ Horno (phép chia đa thức); 35 STT Tên Chuyên đề 51 Đoạn thẳng, đường thẳng; 52 Ba điểm thẳng hàng, trung điểm đoạn thẳng; 53 Góc, tia phân giác góc; 54 Hai đường thẳng vng góc, song song; 55 Quan hệ vng góc, song song, tiên đề Ơ-Clit đường thẳng song song; 56 57 58 59 60 61 Hai tam giác nhau; Các trường hợp hai tam giác; Các trường hợp hai tam giác vuông; Tam giác vuông, định lý Py-ta-go; Tam giác cân, tam giác đều; Diện tích; 62 Cơng thức tính diện tích số hình đơn giản: Tam giác, HCN, HV, 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 Quan hệ cạnh, góc tam giác; BĐT tam giác; Tính chất đường trung tuyến tam giác; Tính chất đường phân giác tam giác; Tính chất đường cao tam giác; Tính chất đường trung trực tam giác; Hình thang, hình thang cân; Đường trung bình hình thang, tam giác; Hình bình hành: Tính chất, dấu hiệu nhận biết, ; Hình thoi: Tính chất, dấu hiệu nhận biết, ; Hình chữ nhật: Tính chất, dấu hiệu nhận biết, ; Hình vng: Tính chất, dấu hiệu nhận biết, ; Định lý Talet; Tam giác đồng dạng; Các trường hợp đồng dạng hai tam giác; Các trường hợp đồng dạng hai tam giác vng; Hình hộp chữ nhật; Hình lăng trụ; Hình chóp, hình chóp cụt, hình chóp đều; 36 STT Tên Chuyên Đề 81 Một số hệ thức cạnh đường cao tam giác vuông; 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 Tỉ số lượng giác góc nhọn; Một số hệ thức cạnh góc tam giác vuông; Ứng dụng thực tế tỉ số lượng giác góc nhọn; Đường trịn: Định nghĩa, tính chất bản; Đường kính dây đường trịn; Vị trí tương đối đường trịn; Liên hệ dây khoảng cách từ tâm đến dây; Quan hệ góc dây cung; Vị trí tương đối đường thẳng đường trịn; Góc nội tiếp; Cung chứa góc; Góc có đỉnh bên trong, bên ngồi đường trịn; Tứ giác nội tiếp đường trịn; Đường tròn nội tiếp, đường tròn ngoại tiếp; Tiếp tuyến đường trịn; Tính chất hai tiếp tuyến cắt nhau; Độ dài đường trịn, cung trịn; Hình trụ, hình nón, hình cầu; 100 Diện tích xung quanh, thể tích hình trụ, hình nón, hình cầu; Bảng 3.1: Bảng Chuyên đề tập toán THCS Việt Nam 37 3.2 Mơ dạng đồ thị Mơ hình hóa xích Markov Để xếp hạng chun đề, ta áp dụng thuật tốn PageRank trình bày chương Ở đây, hệ thống chuyên đề tập mơ hình hóa đồ thị có hướng, đỉnh chuyên đề tập, mũi tên (ứng với cạnh) từ chuyên đề j tới chuyên đề i chuyên đề có liên hệ với Với 100 Chuyên đề cho Bảng (3.1) trên, ta giả sử có Đồ thị (của 15 Chuyên đề đầu) sau: Hình 3.1: Đồ thị 15 Chuyên Đề tập toán THCS Theo thuật toán PageRank, tầm quan trọng chuyên đề hiểu sau: "Tầm quan trọng chuyên đề đo kích thước tương đối 38 thành phần tương ứng vector trạng thái dừng q cho xích Markov chọn cách phù hợp." Ta thấy rằng, với người làm tập toán chuyên đề, họ bắt đầu tập thuộc chuyên đề đó, người di chuyển từ chuyên đề tới chuyên đề khác ngẫu nhiên Vì việc chọn chuyên đề ngẫu nhiên nên dẫn tới chun đề khơng có liên hệ với chuyên đề khác Do việc người làm tập lựa chọn chuyên đề coi xích Markov 3.3 Tính tốn ma trận chuyển, trạng thái dừng xếp hạng chuyên đề phần mềm Matlab Dựa vào bảng 3.1 ta tính ma trận biểu diễn đồ thị chuyên đề tốn xếp hạng chun đề là: Hình 3.2: Ma trận biểu diễn đồ thị chuyên đề tập tốn THCS Để tìm trạng thái dừng a = (a1; a2; : : : ; a100) ta áp dụng công thức: a = (I G + Q) 39 t = (1; 1; : : : ; 1) I ma trận đơn vị cấp 100, Q = [1]100 100 ma trận vng cỡ 100 100 có tất phần tử Ta chạy đoạn code sau phần mềm Matlab: clear clc A=xlsread(’matranchuyen.xls’, 1, ’C3:CX102’); A(isnan(A)) = 0; n=size(A,1); D=sum(A,2); D=diag(1./D); P=D*A; %Xu ly cac nut Darling, tuc tim Pstar tu P Pstar=P; for i=1:n if P(i,i)==1 for j=1:n Pstar(i,j)=1/n; end end end p=0.85; K=ones(n)./n; G=p*Pstar+(1-p)*K;%Tim ma tran Google matrix1=ones(1,n); I=eye(n); Q=ones(n); vinf=matrix1/(I-G+Q);%vinf=matrix1*(I-G+Q)^{-1} xlswrite(’vinf.xls’, vinf);%Ghi du lieu file vinf.xls 40 Ta thu trạng thái dừng ma trận G a = (a1; a2; : : : ; a100) : 41 a76 = 0:004615935 a79 = 0:002695793 a82 = 0:003020173 a85 = 0:00883734 a 88 a 91 a 94 a 97 a100 = 0:002615339 Như vậy, dựa vào kết tính tốn ta thấy giá trị a3 = 0:038549000 lớn hay chuyên đề (các phép tính (cộng, trừ, nhân chia, ) tập hợp số tính chất) quan trọng Giá trị a 100 = 0:002615339 nhỏ nhất, hay chuyên đề 100 (hình chóp, hình chóp cụt, hình chóp đều) quan trọng Bảng 3.2 bảng 15 chuyên đề quan trọng bảng 3.3 15 chuyên đề quan trọng 42 STT Tên chuyên đề Các phép tính (cộng, trừ, nhân chia, ) tập hợp Phương trình bậc Tập hợp Quy tắc phá dấu ngoặc, quy tắc chuyển vế Các tập hợp số: Tự nhiên, số nguyên, số hữu tỉ, số vô Thứ tự thực phép tính Giải tốn cách lập phương trình Các tốn tìm GTLN, GTNN biểu th Những đẳng thức đáng nhớ 10 Giá trị tuyệt đối 11 Lũy thừa, phép tính lũy thừa 12 Nghiệm đơn thức, đa thức biến 13 Giải tốn cách lập hệ phương trình 14 Phương trình nghiệm nguyên 15 Số nguyên tố, hợp số Bảng 3.2: 15 chuyên đề quan trọn 43 STT Tên chuyên đề Đường trung bình hình thang, tam giác Ba điểm thẳng hàng, trung điểm đoạn thẳn Thống kê Định lý Talet Diện tích Hình bình hành: Tính chất, dấu hiệu nhận biết, Sơ đồ Horno (phép chia đa thức) Hình hộp chữ nhật Hình chóp, hình chóp cụt, hình chóp 10 Hình thang, hình thang cân 11 Tỉ số lượng giác góc nhọn 12 Ứng dụng thực tế tỉ số lượng giác góc 13 Hình trụ, hình nón, hình cầu 14 15 Hình lăng trụ Diện tích xung quanh, thể tích hình trụ, hình Bảng 3.3: 15 chuyên đề quan t 44 III KẾT LUẬN Luận văn trình bày vấn đề sau đây: Trình bày chi tiết mơ hình xích Markov rời rạc với khái niệm liên quan ma trận chuyển, vector trạng thái dừng, cách tìm vector trạng thái dừng vài ví dụ thực tế; Trình bày chi tiết việc áp dụng mơ hình xích Markov cho thuật tốn xếp hạng PageRank, tính tốn ma trận chuyển tìm vector trạng thái dừng qua ví dụ cụ thể; Áp dụng lập trình phần mềm Matlab qua ví dụ, tốn xếp hạng chuyên đề toán THCS Việt Nam bao gồm phần đại số hình học với số chuyên đề nhiều Trong thời gian tới, tiếp tục quan tâm tới toán xếp hạng chuyên đề xét riêng chuyên đề đại số hình học tốn độc lập Do lực nghiên cứu trình độ thân hạn chế nên luận văn tìm hiểu, xếp trình bày kết theo mục đích luận văn đề Luận văn chắn khó tránh khỏi thiếu sót, tác giả mong góp ý thầy bạn đọc để luận văn hoàn thiện Chân thành cảm ơn! 45 Tài liệu tham khảo [A] Tiếng Việt [1]Nguyễn Thái Sơn, (2010) LATEX - Sắp chữ - Vẽ hình & Đại số máy tính, NXB Đại học Sư phạm TP Hồ Chí Minh [B] Tiếng Anh [2] Olle Haggstrom (2002), Finite Markov Chains and Algorithmic Appli-cations, Cambridge University Press [3] R Kumar P, K wang Leng, A K Singh (2011), Application of Markov chain in the PageRank algorithm, Conference paper [4] David C Lay, Steven R Lay, Judi J McDonald, (2015) Linear Algebra and Its Applications, Fourth edition, Verlag [5] M Sullivan, (), Finite mathematics an applied approach, Chicago state University, Eleventh edition, John wiley & sons, Inc [6] Matlab The language Of Technical Computing Coppyright 1984 - 2004, The Mathwords, Inc 46 ... chuyên đề toán chương trình tốn bậc trung học sở Việt Nam Mục đích nghiên cứu Sử dụng mơ hình xích Markov thuật tốn xếp hạng Nhiệm vụ nghiên cứu Sử dụng mơ hình xích Markov thuật toán xếp hạng Đối... mơ hình xích Markov rời rạc với khái niệm liên quan Chương trình bày chi tiết việc áp dụng mơ hình xích Markov cho thuật tốn xếp hạng PageRank Chương chúng tơi trình bày áp dụng vào toán Sắp xếp. .. 45 MỞ ĐẦU Lý chọn đề tài Thuật toán xếp hạng tiếng PageRank Google phát triển tảng tốn học mơ hình xích Markov Gần đây, ý tưởng thuật toán PageRank ứng dụng việc xếp hạng tạp chí khoa học, dẫn