Đề tài 15 1 ứng dụng của mô hình markov trong thuật toán google pagerank 2 viết chương trình dùng thuật toán trên

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA - BÁO CÁO BÀI TẬP LỚN ĐẠI SỐ TUYẾN TÍNH Đề tài 15 1/ Ứng dụng mơ hình Markov thuật tốn Google Pagerank 2/ Viết chương trình dùng thuật tốn Giáo viên phụ trách: Đặng Văn Vinh Lớp: L18 Nhóm: TP HỒ CHÍ MINH, tháng năm 20233 Danh sách thành viên LỚP: L18 NHÓM: Họ tên MSSV Lê Thị Thu Thảo 2213161 Lê Trung Chiến 2210376 Lê Thị Mỹ Linh 2211851 Lê Trí Dũng 2113061 Lê Thành Tâm 2213020 Lương Mạnh Tiến 2213459 Lê Tự Minh Phát 2111975 MỤC LỤC LỜI MỞ ĐẦU A Cơ sở lý thuyết 1.Giới thiệu chung Mơ hình Markov 2.Sử dụng mơ hình Markov 3.Định nghĩa thuật tốn Google PageRank 4.PageRank mối liên hệ xích Markov B Ứng dụng mơ hình Markov thuật tốn Google Pagerank C Viết code matlab để giải ví dụ thực tế Markov 1.Code matlab kết 2.Giải thích code D Kết luận E Các tài liệu tham khảo LỜI MỞ ĐẦU Thuật toán xếp hạng tiếng PageRank Google phát triển tảng tốn học mơ hình xích Markov Việc hiểu rõ ý tưởng, sở toán học ứng dụng mơ hình Markov thuật tốn Google Pagerank chúng em tìm hiểu trình bày Bên cạnh đó, nhóm chúng em xin gửi lời cảm ơn đến Trường Đại học Bách khoa - ĐHQG - HCM tạo điều kiện cho chúng em có hội tiếp cận kiến thức mơn Đại số tuyến tính Nhóm chúng em xin đặc biệt cảm ơn Thầy Đặng Văn Vinh, người giảng dạy, truyền đạt kiến thức hữu ích mơn Đại số tuyến tính, đến với chúng em suốt khoảng thời gian học tập trực tuyến nhà Nhóm thầy phân cơng thực Đề tài số 15: Ứng dụng mơ hình Markov thuật tốn Google Pagerank.Viết chương trình dùng thuật tốn Bản chất mơn Đại số tuyến tính mơn học có tính ứng dụng cao, áp dụng rộng rãi lĩnh vực khoa học Tuy nhiên, với vốn kiến thức nhiều hạn chế chúng em, việc sai sót việc tìm hiểu đề tài điều tránh khỏi Chúng em mong nhận lời góp ý từ Thầy để nhóm nói chung, thành viên nhóm nói riêng ngày tiến Chúng em xin chân thành cảm ơn A Cơ sở lý thuyết 1.Giới thiệu chung Mơ hình Markov Phân tích Markov kỹ thuật ước tính xác suất kiện xảy tương lai việc phân tích xác suất biết Kỹ thuật ứng dụng rộng rãi quản trị kinh doanh, kế tốn, marketing, kỹ thuật bao gồm việc phân tích thay đổi thị phần, dự báo khoản nợ khó địi xác định tình trạng hỏng hóc máy móc thiết bị tương lai Những phân tích Markov hỗ trợ cho nhà quản trị đưa định có sở khoa học có hiệu Dự đốn trạng thái tương lai cần phải biết khả hay xác suất hệ thống chuyển từ trạng thái sang trạng thái khác Các xác suất thường tập hợp trình bày dạng ma trận Ma trận xác suất chuyển đổi cho biết khả hệ thống thay đổi từ thời kỳ đến thời kỳ Đó q trình Markov cho phép dự đốn trạng thái tương lai Mơ hình q trình Markov hữu ích việc nghiên cứu phát triển hệ thống qua chu trình lặp lại Các chu trình lập lại thơng thường thời kỳ liên tiếp người ta xác định cách chắn trạng thái hệ thống một thời kỳ định Thay vào đó, xác suất chuyển đổi sử dụng để mô tả cách thức hệ thống chuyển đổi từ thời kỳ sang thời kỳ Do đó, quan tâm đến xác suất hệ thống trạng thái định thời kỳ cụ thể 2.Sử dụng mơ hình Markov Có ba vấn đề để giải HMM: +Cung cấp cho mơ hình tham số, tính xác suất dãy đầu cụ thể Giải thuật tốn tiến trước +Cung cấp cho mơ hình tham số, tìm dãy trạng thái (ẩn) có khả lớn mà sinh dãy đầu cung cấp Giải thuật toán Viterbi +Cung cấp dãy đầu ra, tìm tập hợp có khả chuyển tiếp trạng thái xác suất đầu Giải thuật toán Baum-Welch 3.Định nghĩa thuật toán Google PageRank Thuật toán PageRank Google sử dụng để xếp hạng trang web theo độ quan trọng chúng Trong thuật toán này, trang web xem trạng thái mơ hình Markov xác suất chuyển từ trang web sang trang web khác tính dựa số lượng liên kết đến trang web Mỗi trang web có điểm số PageRank, tính cách sử dụng phương pháp lặp đơn giản để tính tốn xác suất trạng thái Với trang web, xác suất chuyển đến trang web khác tính tỷ lệ số lượng liên kết đến trang web khác tổng số liên kết trang web Các trang web có nhiều liên kết đến từ trang web khác có xếp hạng cao thuật tốn PageRank Tóm lại, ứng dụng mơ hình Markov thuật tốn Google PageRank cho phép tính tốn xếp hạng trang web dựa phụ thuộc vào trang web khác thông qua liên kết 4.PageRank mối liên hệ xích Markov Mơ hình xích Markov sử dụng thuật tốn Google PageRank để tính toán thứ hạng trang web internet Các trang web coi trạng thái mơ hình xích Markov liên kết trang web sử dụng để xác định ma trận xác suất chuyển đổi Thuật tốn PageRank sử dụng mơ hình xích Markov để tính tốn xác suất người dùng đến tới trang web định họ di chuyển qua trang web khác cách nhấp vào liên kết Thuật tốn tính tốn thứ hạng trang web dựa xác suất trang web truy cập sau số lượng lớn bước ngẫu nhiên Một ví dụ mơ hình xích Markov sử dụng thuật tốn PageRank người dùng bắt đầu trang web bất kỳ, sau họ di chuyển đến trang web khác thông qua liên kết Mỗi trang web có xác suất chuyển đổi tới trang web khác, tính dựa số lượng chất lượng liên kết đến trang Khi người dùng nhấp vào liên kết, họ chuyển đến trang web trình lại lặp lại Mơ hình xích Markov giúp cho thuật tốn PageRank tính tốn thứ hạng trang web dựa q trình Các trang web có xác suất cao để truy cập sau số lượng lớn bước ngẫu nhiên có thứ hạng cao kết tìm kiếm Google Recommandé pour toi 12 Suite du document ci-dessous Bead bens 2122 week1 1o - Its important because it's a knowledge I want to share to my fellow students Education 33 Bmat week 1-9 omsim General Mathematics 100% (2) 466203745 Life Insurance Corporation Of vs Smt Asha Goel Anr on 13 December 2000 pdf Eng 88% (17) 100% (1) Lesson 13 Public Accountability Basic Calculus 100% (1) B Một số ví dụ cụ thể việc sử dụng mơ hình Markov thuật toán Google Pagerank: Đề bài: Cho trang web có trang: A, B, C Xây dựng ma trận xác suất chuyển trạng thái W sau: A B C 1/2 ½ A B 1/3 1/3 0 C Hãy tính tốn PageRank cho trang trang web phương pháp lặp Chọn giá trị damping factor d = 0.85 số lần lặp n = 20 Để tính PageRank cho trang web phương pháp lặp, ta làm theo bước sau: Xây dựng ma trận xác suất chuyển trạng thái W, phần tử W(i,j) tương ứng với xác suất trang j truy cập từ trang i Khởi tạo vectơ trọng số ban đầu cho trang trang web Trong trường hợp này, ta khởi tạo vectơ trọng số v = [1/3; 1/3; 1/3] Thiết lập giá trị damping factor (d) số lần lặp (n) cho thuật tốn Tính ma trận E với giá trị tất phần tử 1/3 (vì trang web có trang) Tính ma trận L = d*W + ((1-d)/3)*E, E ma trận tính bước Sử dụng vịng lặp for để tính trọng số trang trang web cách nhân vectơ trọng số v với ma trận L n lần, n số lần lặp thiết lập bước Hiển thị kết tính bước Đó p = [0.0409 0.0457 0.4537] Trên số ví dụ minh họa cho ứng dụng mơ hình Markov thuật tốn Google Pagerank Mơ hình Markov cơng cụ quan trọng để mơ hình hóa mạng lưới phức tạp tính tốn thơng số quan trọng chúng, bao gồm xếp hạng Pagerank C Viết code matlab để giải ví dụ thực tế Markov 1.Code matlab kết a Code % Khai báo ma trận A W = [0 1/2 1/2; 1/3 1/3; 0 1]; % Tính số trang web xác suất ban đầu cho trang N = size(W,1); v = ones(1,N)/N; n = 20; % Tính Pagerank d = 0.85; % Hệ số giảm L = d.*W+ (1-d)/N.*ones(N); for i = 1:n v=v*L; end % In kết Pagerank fprintf('Pagerank:\n'); for i = 1:N fprintf('Trang web %d: %.4f\n', i, v (i)); end b Kết 2.Giải thích code a Khai báo ma trận A W = [0 1/2 1/2; 1/3 1/3; 0 1]; b Tính số trang web xác suất ban đầu cho trang N = size(W,1); v = ones(1,N)/N; n = 20; - Với “N” số trang web tính cách đếm số dịng ma trận W( size (A,1)) - “v” xác suất ban đầu trang web, trang web có xác xuất ban đầu nên ta có trang web 1/N, lệnh ones(1,N) gọi ma trận dòng N cột với giá trị vị trí - “n” số lần lập ta muốn xét c Tính Pagerank d = 0.85; L = d.*W+ (1-d)/N.*ones(N); for i = 1:n v=v*L; end - Ở bước bước tính pagerank, ta áp dụng cơng thức L = d.*W+ (1-d)/N.*ones(N) chuyển tiếp ta có xác xuất theo ngồi vào trang ngẫu nhiên xác suất người chọn tiếp d có xác suất 1-d người ta chọn trang khác, xác suất chia cho tất nên ma trận vng cấp N tượng trưng cho tất trường hợp chia cho N để tổng xác suất - Sau có ma trận chuyển tiếp hồn chỉnh, ta sử dụng vịng lặp for để tính markov xác suất sau n lần thao tác - Khi kết thúc bước ta ma trận b sau n lần lập, ma trận xác suất trang sau n lần thao tác d In kết Pagerank fprintf('Pagerank:\n'); for i = 1:N fprintf('Trang web %d: %.4f\n', i, v (i)); end - Bước ta cần in giá trị tiếp xong.%d tức xuất giá trị số nguyên ứng với i; %.4f\n với phần “.4f” lấy giá trị thực sau dấu “.” số \n xuống dòng Hàm fprintf hàm xuất liệu với phần dấu nháy đơn khơng có biểu tượng “%” phía trước, phần % sau cấu trúc lệnh để xuất giá trinh lấy biến theo thứ tự xuất trước lấy trước ví dụ fprintf('Trang web %d: %.4f\n', i, v (i)) %d i, %.4f\n v(i) 10 D.Kết Luận -Ưu điểm mơ hình Markov thuật tốn Google PageRank: +Tính tốn dựa xác suất: Mơ hình Markov tính tốn dựa xác suất, cho phép tính tốn xác xác suất trang web truy cập thông qua liên kết trang web khác +Đánh giá chất lượng trang web: Thuật toán PageRank đánh giá chất lượng trang web dựa số lượng chất lượng liên kết trang web khác Điều giúp đảm bảo trang web có chất lượng cao xếp hạng cao + Khả xử lý lượng liệu lớn: Mơ hình Markov có khả xử lý lượng liệu lớn, cho phép Google tính tốn PageRank cho hàng triệu trang web -Tuy nhiên, mơ hình Markov có số khuyết điểm: + Phụ thuộc vào số lượng liên kết: Thuật toán PageRank phụ thuộc vào số lượng chất lượng liên kết trang web khác Điều có nghĩa trang web liên kết khơng xếp hạng cao + Khơng đánh giá chất lượng nội dung: Thuật tốn PageRank không đánh giá chất lượng nội dung trang web, đánh giá chất lượng liên kết trang web khác Điều có nghĩa trang web có nội dung chất lượng cao liên kết khơng xếp hạng cao E.Tài Liệu Tham Khảo 1.Đặng Văn Vinh,Giáo trình Đại số tuyến tính,NXB Đại học Quốc gia TP Hồ Chí Minh,2020 2.Ma Trận Chuyển Vị (2023), Ma Trận Chuyển Vị - Wikipedia Tiếng Việt, chỉnh sửa lần cuối 18/5/2022 3.PageRank (2023), PageRank - Wikipedia Tiếng Việt, chỉnh sửa lần cuối 19/9/2018 Lê Quang Tiến: “PageRank mối liên hệ xích Markov” https://thetalog.com/machine-learning/page-rank/ 11 5.ChatGPT - https://openai.com/blog/chatgpt Oliver Knill Math 19b, Linear Algebra, Probability and Statistics, Spring, 2011 https://people.math.harvard.edu/~knill/teaching/math19b_2011/handouts.html Dustin Stansbury “A Brief Introduction to Markov Chains” https://theclevermachine.wordpress.com/tag/time-homogeneous-markov-chain/ 12