Nghiên cứu một số thuật toán lập lịch tối ưu trên mạng ngang hàng p2p (tt)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN THỊ THÙY ANH NGHIÊN CỨU MỘT SỐ THUẬT TOÁN LẬP LỊCH TỐI ƯU TRÊN MẠNG NGANG HÀNG (P2P) Chuyên ngành: HỆ THỐNG THƠNG TIN Mã số: 60.48.01.04 TĨM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI – 2013 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS VŨ VĂN THỎA Phản biện 1: ……………………………………………………… Phản biện 2: …………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện cơng ngện cơng nghệ Bưu Chính Viễn Thông Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU Ngày nay, với mức độ phổ biến máy tính cá nhân mạng viễn thông, internet thực phát triển có tác động tích cực vào đời sống xã hội người Dựa internet, người sử dụng có khả chia sẻ tài nguyên lớn cách nhanh chóng hiệu Mạng ngang hàng (P2P) với nhiều đặc tính phù hợp cho hệ thống phân tán cho ứng dụng, ngày thu hút nhiều ý người sử dụng giới nghiên cứu giới lĩnh vực: tô pô mạng, định tuyến, giao thức, lập lịch, triển khai dịch vụ ứng dụng, Bài toán lập lịch mạng ngang hàng tập trung chủ yếu vào vấn đề lựa chọn chế kéo/đẩy liệu hợp lý nút (peer) mạng Việc sử dụng thuật toán lập lịch cụ thể mạng ngang hàng có ảnh hưởng lớn đến tham số hiệu hệ thống mạng như: trễ (Delay), tỷ lệ gói (Packet Loss), băng thơng (Bandwidth), … Đã có nhiều tác giả quan tâm nghiên cứu đề xuất nhiều thuật toán lập lịch tối ưu Do đó, học viên chọn đề tài “Nghiên cứu số thuật toán lập lịch tối ưu mạng ngang hàng (P2P)” cho luận văn tốt nghiệp thạc sĩ Căn mục tiêu yêu cầu nghiên cứu, đề tài bố cục gồm phần sau: MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NGANG HÀNG Trong chương luận văn tiến hành khảo sát vấn đề chung mạng ngang hàng vấn đề lập lịch mạng ngang hàng CHƯƠNG 2: CÁC THUẬT TOÁN LẬP LỊCH TỐI ƯU TRONG MẠNG NGANG HÀNG Chương trình bày số thuật toán lập lịch tối ưu mạng ngang hàng cho số mạng phổ biến sau: - Mạng hình lưới khơng cấu trúc kết nối hoàn toàn (Full Mesh - FM) - Mạng chồng phủ truyền tải liệu DON (Data-driven Overlay Networks) - Mạng chồng phủ truyền tải streaming trực tiếp (Live Streaming System) CHƯƠNG 3: ĐÁNH GIÁ HIỆU NĂNG CÁC THUẬT TOÁN LẬP LỊCH TỐI ƯU TRÊN MẠNG NGANG HÀNG Chương trình bày đánh giá thuật tốn lập lịch tối ưu mạng ngang hàng nghiên cứu chương KẾT LUẬN TÀI LIỆU THAM KHẢO 3 CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NGANG HÀNG 1.1 Giới thiệu mạng ngang hàng 1.1.1 Khái niệm Một mạng ngang hàng nghĩa khơng có khái niệm máy chủ máy khách, nói cách khác, tất máy tham gia bình đẳng, máy nút mạng (cịn gọi peer) đóng vai trị đồng thời máy khách máy chủ máy khác mạng 1.1.2 Đặc điểm chung mạng ngang hàng Mạng ngang hàng xem tập hợp máy tính đơn lẻ liên kết với đóng góp tài nguyên (bao gồm dung lượng ổ cứng, băng thơng khả tính tốn) Sức mạnh mạng tăng số nút tham gia mạng tăng Một ưu khác mạng ngang hàng so với mơ hình client/server truyền thống tính chất phân tán Điều đảm bảo tính bền vững mạng có (hoặc vài nút) gặp phải cố Đảm bảo tính sẵn sàng cao, chi phí xây dựng thấp 1.1.3 Ứng dụng mạng ngang hàng 1.1.3.1 Chia sẻ tài liệu 1.1.3.2 Ứng dụng phân tán tính tốn 1.1.3.3 Ứng dụng hợp tác 1.1.3.4 Ứng dụng lớp 1.2 Phân loại mạng ngang hàng Mạng ngang hàng phân loại theo tiêu chí mục đích sử dụng tiêu chí mức độ phân tán (hay tập trung) cấu trúc mạng Theo tiêu chí mục đích sử dụng kể số mạng ngang hàng như: - Mạng chia sẻ file (file sharing) - Mạng điện thoại VoIP (telephony) - Mạng đa phương tiện media streaming (audio, video) - Diễn đàn thảo luận (Discussion forums) Theo tiêu chí mức độ phân tán cấu trúc mạng kể số mạng ngang hàng như: - Mạng ngang hàng không cấu trúc (unstructured) bao gồm: + Mạng ngang hàng tập trung (Cetralized) + Mạng ngang hàng túy (Pure) + Mạng ngang hàng lai (Hybrid) - Mạng ngang hàng có cấu trúc (structured) Trong mục trình bày phân loại mạng ngang hàng theo tiêu chí mức độ phân tán cấu trúc mạng 1.2.1 Mạng ngang hàng không cấu trúc 1.2.1.1 Mạng ngang hàng tập trung Đặc trưng mạng kiểu dựa vào máy chủ tìm kiếm trung tâm Máy chủ trung tâm có vai trị server Hoạt động mạng ngang hàng tập trung bao gồm: - Trao đổi thông tin peer máy chủ tìm kiếm trung tâm - Trao đổi liệu peer với Mạng ngang hàng tập trung có ưu, nhược điểm sau Ưu điểm: - Hệ thống mạng dễ xây dựng; - Tốc độ tìm kiếm liệu nhanh, hiệu Nhược điểm: - Hệ thống mạng khơng có tính bảo mật cao, dễ bị cơng; - cần có trung tâm quản trị - Khơng bảo vệ quyền nội dung - Có tượng nút cổ chai máy chủ nên khả mở rộng mạng bị hạn chế 6 1.2.1.2 Mạng ngang hàng túy Trong mạng ngang hang túy peer giao tiếp trực tiếp với peer khác mạng mà không cần máy chủ trung tâm riêng biệt Các peer thiết lập kết nối với ngẫu nhiên Trong mạng ngang hàng túy, trình tìm kiếm liệu sử dụng phương pháp phát tràn (Flooding) Mạng ngang hàng túy có ưu, nhược điểm sau Ưu điểm: - Hệ thống mạng dễ xây dựng; - Khắc phục tượng nút cổ chai; - Đảm bảo tính phân tán hồn tồn: Các node tham gia mạng rời khỏi mạng cách tùy ý mà không ảnh hưởng đến cấu trúc mạng Nhược điểm: - Tốn băng thơng: Các node có khả khác nhau(CPU power, bandwidth, storage) phải chịu tải(load) - Quá trình tìm kiếm liệu phức tạp 1.2.1.3 Mạng ngang hàng lai Mạng ngang hàng lai có ưu điểm sau 7 - Hạn chế việc flooding query, làm giảm lưu lượng mạng, tránh tượng nút cổ chai (do có nhiều Super peers) - Khắc phục nhược điểm khác CPU power, bandwidth…ở mạng ngang hàng túy, Super peer chịu tải chính, node khác chịu tải nhẹ 1.2.2 Mạng ngang hàng có cấu trúc Để khắc phục nhược điểm mạng ngang hàng không cấu trúc mạng ngang hàng có cấu trúc đời sử dụng bảng băm phân tán (Distributed Hash Table-DHT) Đặc điểm DHT tóm tắt sau: - Phân tán: DHT tập hợp node mà không cần máy trung tâm - Chống lỗi: hệ thống hoạt động trường hợp nút liên tục ra, vào bị lỗi - Khả mở rộng: hệ thống hoạt động ổn định có số lượng lớn nút tham gia Mạng ngang hàng có cấu trúc có ưu, nhược điểm sau Ưu điểm: Khả mở rộng mạng với mơ hình mạng có cấu trúc nâng cao rõ rệt 8 Nhược điểm: Việc quản lý cấu trúc topo mạng gặp khó khăn, đặc biệt trường hợp tỷ lệ vào/ra mạng nút cao Vấn đề cân tải mạng khó khăn 1.3 Lập lịch mạng ngang hàng 1.3.1 Giới thiệu Vấn đề lập lịch mạng ngang hàng đóng vai trị quan trọng trực tiếp điều phối việc gói tin truyền phân phối peer Quá trình ảnh hưởng trực tiếp đến hiệu hệ thống P2P Một lịch trình phân phối liệu làm cho thời gian tải liệu lâu nhiều Trong đó, lịch trình tốt rút ngắn thời gian hoàn thành tối ưu việc sử dụng nguồn tài ngun mạng 1.3.2 Mơ hình lập lịch đẩy (Push) 1.3.3 Mơ hình lập lịch kéo (Pull) 1.3.4 Mơ hình lai kết hợp đẩy/ kéo (Push/ Pull) Trong mơ hình kết hợp Push/ Pull, nút mạng độc lập không đồng với nguồn với peer khác 1.4 Kết chương Trong chương luận văn khảo sát vấn đề chung mạng ngang hàng vấn đề lập lịch mạng ngang hàng Mặc dù vấn đề bảo mật, quyền nội dung trao đổi, với ưu lợi ích mà mạng ngang hàng đem lại, mạng ngang hàng cần phải tiếp tục nghiên cứu phát triển Trên sở nội dung nghiên cứu chương 1, chương nghiên cứu số thuật toán lập lịch tối ưu mạng ngang hàng phổ biến 10 CHƯƠNG 2: CÁC THUẬT TOÁN LẬP LỊCH TỐI ƯU TRONG MẠNG NGANG HÀNG Vấn đề lập lịch tối ưu mạng ngang hàng đóng vai trị quan trọng đến việc nâng cao hiệu mạng Trong chương trình bày số thuật tốn lập lịch tối ưu mạng ngang hàng cho số mạng phổ biến sau: - Mạng hình lưới khơng cấu trúc kết nối hoàn toàn (Full Mesh - FM) - Mạng chồng phủ truyền tải liệu DON (Data-driven Overlay Networks) - Mạng chồng phủ truyền tải streaming trực tiếp (Live Streaming System) 2.1 Lập lịch tối ưu mạng hình lưới khơng cấu trúc kết nối hồn tồn 2.1.1 Mơ hình mạng Trong mục ta xét hệ thống P2P live streaming khơng có cấu trúc, bao gồm N peer mơ hình hóa mạng ngang hàng hình lưới khơng cấu trúc kết nối hồn tồn (Full Mesh - FM) Hệ thống mơ hình hóa nguồn P0 tập S= {P1, …, PN} gồm N peer Pi nhận luồng liệu từ nguồn Nguồn tạo luồng liệu, chia thành Mc chunk Mỗi peer Pi nhận chunk Cj từ peer khác sau gửi chúng với tốc độ s(Pi) 11 Nguồn gửi chunk với tốc độ s(source) Tập chunk vừa Pi nhận thời điểm t kí hiệu C(Pi, t) 2.1.2 Lập lịch peer tối ưu Cơ sở lựa chọn peer tối ưu là: peer đích lựa chọn phải tham gia vào trình phân bổ chunk Khảo sát lập lịch peer “Earliest Latest” ELp Hình 2.1: Thuật tốn lập lịch peer Elp 2.1.3 Lập lịch chunk tối ưu Lập lịch cho chunk có nhiều dang Ở luận văn khảo sát hai thuật toán lập lịch RUc (Random Useful Chunk) Dl (DeadLine Chunk) 2.1.4 Lập lịch tối ưu chunk/peer kết hợp Ở luận văn khảo sát hai thuật toán lập lịch chunk/peer kết hợp LUc/ELp Dl/ELp Trong mục ta chứng minh hai thuật toán lập lịch LUc/ELp Dl/ELp tối ưu 12 2.2 Lập lịch tối ưu cho mạng DON (Data-driven Overlay Networks) 2.2.1 Giới thiệu chung Giới thiệu chung mạng DON, cách thiết lập mạng DON 2.2.2 Mơ hình lập lịch tối ưu Trong mạng DON, phương tiện truyền thông phân chia thành block lưu trữ peer Tất nút thông báo định kỳ có mặt block nút cho peer láng giềng với vector bit gọi “bản đồ đệm” Sau nút u cầu block mà khơng có từ peer láng giềng Hình 2.3: Mơ hình lập lịch block DON Mục đích lập lịch tối đa hóa ưu tiên tất block yêu cầu lớp chồng phủ với hạn chế băng thông khác 13 2.2.3 Các thuật tốn tìm phương án lập lịch tối ưu 2.2.3.1 Thuật tốn đơn hình Trình bày thuật tốn đơn hình 2.2.3.2 Thuật tốn tìm luồng với chi phí nhỏ Trình bày thuật tốn tìm luồng với chi phí nhỏ 2.2.3.3 Thuật tốn phân phối Heuristic Trình bày thuật toán phân phối Heuristic 2.3 Lập lịch tối ưu cho mạng truyền tải video trực tiếp 2.3.1 Mơ hình hóa Mơ tả mơ hình hóa phiên trực tuyến mạng chồng phủ đồ thị có hướng G = {V, E}, V tập đỉnh đại diện cho nút peer E tập cạnh lớp phủ đại diện cho liên kết lớp phủ 2.3.2 Bài tốn cực tiểu hóa trễ trung bình end-to-end P2P live streaming Trình bày tốn cực tiểu hóa trễ trung bình end-to-end P2P live streaming (Minimizing Average End-to-End Delay in P2P Live Streaming Systems - MADPS) đưa phương án lập lịch dịng cực tiểu hóa trễ trung bình end-to-end cho tất peer nhận peer phục vụ đầy đủ 14 2.3.3 Thuật toán xấp xỉ giải tốn MADPS Trình bày thuật tốn xấp xỉ để giải toán MADPS 2.4 Kết chương Chương dã nghiên cứu số thuật toán lập lịch tối ưu cho ba mơ hình mạng cụ thể - Đối với mạng hình lưới khơng cấu trúc kết nối hoàn toàn (Full Mesh - FM) luận văn khảo sát thuật toán lập lịch tối ưu cho chunk, peer chunk/peer phối hợp LUc/ELp Dl/ELp - Đối với mạng chồng phủ truyền tải liệu DON (Datadriven Overlay Networks) khảo sát ba thuật toán lập lịch tối ưu phương pháp đơn hình cho tốn quy hoạch tuyến tính, phương pháp tìm luồng với chi phí nhỏ thuật tốn phân phối Heuristic - Đối với mạng chồng phủ truyền tải streaming trực tiếp (Live Streaming System) trình bày thuật tốn xấp xỉ để giải toán MADPS 15 CHƯƠNG ĐÁNH GIÁ CÁC THUẬT TOÁN LẬP LỊCH TỐI ƯU TRÊN MẠNG NGANG HÀNG Chương trình bày đánh giá thuật toán lập lịch tối ưu mạng ngang hàng nghiên cứu chương Quá trình đánh giá thuật toán lập lịch tối ưu mạng ngang hàng phức tạp Do đó, chương luận văn hạn chế tập trung khảo sát vấn đề sau: - Đối với mạng hình lưới khơng cấu trúc kết nối hoàn toàn (Full Mesh - FM) mô đánh giá hiệu trễ (Delay) hai thuật toán chunk/peer phối hợp LUc/ELp DLc/ELp - Đối với mạng chồng phủ truyền tải liệu DON (Datadriven Overlay Networks) mô đánh giá tốc độ trung bình chia sẻ block mạng - Đối với mạng chồng phủ truyền tải streaming trực tiếp (Live Streaming System) đánh giá chi tiết thuật toán lập lịch tối ưu cơng cụ tốn học chặt chẽ tốc độ hội tụ thời gian thực chương trình 16 3.1 Mơ đánh giá hiệu thuật toán lập lịch tối ưu mạng hình lưới khơng cấu trúc kết nối hồn tồn 3.1.1 Đặt tốn Xét mạng P2P hình lưới khơng cấu trúc kết nối hồn tồn gồm N nút (peer), khơng kể nút nguồn Kí hiệu trễ tồn mạng tất nút nhận đầy đủ liệu cần thiết theo yêu cầu trường hợp xấu F Theo công thức (2.1) mục 2.1, thuật toán lập lịch tối ưu F = log N  + Trong mục này, ta mô đánh giá hiệu hai thuật toán lập lịch kết hợp LUc/ELp DLc/ELp hàm số nút mạng N: F = f(N) 3.1.2 Nội dung mô (1) Công cụ mô phỏng: Trong luận văn sử dụng công cụ mô P2PTVSim ([10]) WindowXP (2) Kịch mô phỏng: - Mơ hình mạng: Mạng tạo ngẫu nhiên theo số peer N (trừ peer nguồn) đồ thị đầy đủ N nhận giá trị khác - Băng thông Upload Peer 17 - Độ tin cậy thống kê kết 90% với ý nghĩa tính trễ phân bổ sau tất peer nhận 90% số lượng chunk gửi từ nguồn 3.1.3 Kết đánh giá Hình 3.1: Kết mô cho FM - Kết mô chứng tỏ hai thuật toán lập lịch LUc/ELp DLc/ELp thuật toán lập lịch tối ưu - Tuy nhiên, giá trị thuật toán lập lịch tối ưu LUc/ELp gần với kết lý thuyết DLc/ELp 3.2 Mơ đánh giá hiệu thuật tốn lập lịch tối ưu mạng DON 3.2.1 Đặt toán Xét mạng chồng phủ truyền tải liệu DON (Data-driven Overlay Networks) gồm N nút Ta định nghĩa tốc độ phân bổ R(i) block nút i tỷ số số lượng block nút i nhận trước thời điểm kết thúc playback số lượng block phát 18 Tốc độ phân bổ trung bình R(tb) là: R(tb) =  R (i) (3.1) iR Như giá trị R(tb) hàm tốc độ dòng mạng DON Trong mục ta mô đánh giá R(tb) phương pháp giải toán mục 2.2 phương pháp đơn hình Giả thiết mạng DON khơng có nút cổ chai 3.2.2 Kết đánh giá Hình 3.2: Kết mô R(tb) cho DON - Kết mơ chứng tỏ phương pháp đơn hình cho nghiệm tối ưu toàn cục Kết tốt kết tính nghiệm xấp xỉ [4] - Tuy nhiên, phương pháp đơn chạy chậm phương pháp [4] sử dụng số nút lớn kết nối phức tạp Trong luận văn mô mạng DON với số nút 50, [4] với số nút 500 19 3.3 Đánh giá thuật toán lập lịch tối ưu cho mạng truyền tải video trực tiếp 3.3.1 Phân tích thuật tốn Trong phần tiến hành chứng minh phân tích thuật tốn iStream-APX cơng cụ tốn học chặt chẽ tốc độ hội tụ thời gian thực chương trình 3.3.2 Ước lượng độ phức tạp thời gian thuật tốn Trong phần phân tích ràng buộc thời gian chạy 3.4 Kết chương Trong chương thực mô đánh giá hiệu thuật toán lập lịch tối ưu cho ba mơ hình mạng sau - Đối với mạng hình lưới khơng cấu trúc kết nối hồn tồn (Full Mesh - FM) mô đánh giá hiệu trễ (Delay) F trường hợp xấu hai thuật toán chunk/peer phối hợp LUc/ELp DLc/ELp - Đối với mạng chồng phủ truyền tải liệu DON (Datadriven Overlay Networks) mô đánh giá tốc độ trung bình R(tb) chia sẻ block mạng tương ứng tốc độ dòng khác sử dụng phương pháp đơn hình - Đối với mạng chồng phủ truyền tải streaming trực tiếp (Live Streaming System) phân tích, đánh giá chi tiết thuật toán lập lịch 20 tối ưu cơng cụ tốn học chặt chẽ tốc độ hội tụ thời gian thực chương trình Các kết đánh giá mô phù hợp với lý thuyết mở khả ứng dụng thuật toán lập lịch tối ưu dịch vụ thực tế 21 KẾT LUẬN Luận văn đạt kết sau đây: Luận văn khảo sát vấn đề chung mạng ngang hàng, vấn đề lập lịch cho mạng ngang hàng Một số thuật toán lập lịch tối ưu nghiên cứu thực đánh giá hiệu cho ba mơ hình mạng cụ thể là: - Đối với mạng hình lưới khơng cấu trúc kết nối hồn tồn (Full Mesh - FM) luận văn khảo sát thuật toán lập lịch tối ưu cho chunk, peer chunk/peer phối hợp LUc/ELp DLc/ELp Sau tiến hành mô đánh giá hiệu trễ (Delay) F trường hợp xấu hai thuật toán chunk/peer phối hợp LUc/ELp DLc/ELp - Đối với mạng chồng phủ truyền tải liệu DON (Data-driven Overlay Networks) luận văn khảo sát ba thuật toán lập lịch tối ưu phương pháp đơn hình cho tốn quy hoạch tuyến tính, phương pháp tìm luồng với chi phí nhỏ thuật tốn phân phối Heuristic Luận văn mơ đánh giá tốc độ trung bình R(tb) chia sẻ block mạng tương ứng tốc độ dòng khác - Đối với mạng chồng phủ truyền tải streaming trực tiếp (Live Streaming System) trình bày thuật tốn xấp xỉ để giải tốn MADPS Luận văn phân tích, đánh giá chi tiết thuật toán lập lịch tối ưu cơng cụ tốn học chặt chẽ tốc độ hội tụ thời gian thực chương trình  ... triển Trên sở nội dung nghiên cứu chương 1, chương nghiên cứu số thuật toán lập lịch tối ưu mạng ngang hàng phổ biến 10 CHƯƠNG 2: CÁC THUẬT TOÁN LẬP LỊCH TỐI ƯU TRONG MẠNG NGANG HÀNG Vấn đề lập lịch. .. THUẬT TOÁN LẬP LỊCH TỐI ƯU TRÊN MẠNG NGANG HÀNG Chương trình bày đánh giá thuật tốn lập lịch tối ưu mạng ngang hàng nghiên cứu chương Q trình đánh giá thuật tốn lập lịch tối ưu mạng ngang hàng phức... có nhiều tác giả quan tâm nghiên cứu đề xuất nhiều thuật toán lập lịch tối ưu Do đó, học viên chọn đề tài ? ?Nghiên cứu số thuật toán lập lịch tối ưu mạng ngang hàng (P2P) ” cho luận văn tốt nghiệp