Nghiên cứu một số cơ chế bảng băm phân tán trong mạng ngang hàng

ĐẠI HỌC THÁI NGUYÊN KHOA CÔNG NGHỆ THÔNG TIN  Nguyễn Tuấn Anh NGHIÊN CỨU MỘT SỐ CƠ CHẾ BẢNG BĂM PHÂN TÁN TRONG MẠNG NGANG HÀNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2010 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN KHOA CÔNG NGHỆ THÔNG TIN  Nguyễn Tuấn Anh NGHIÊN CỨU MỘT SỐ CƠ CHẾ BẢNG BĂM PHÂN TÁN TRONG MẠNG NGANG HÀNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Phạm Việt Bình Thái Nguyên - 2010 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN Cộng hoà xã hội chủ nghĩa Việt Nam KHOA CÔNG NGHỆ THÔNG TIN Độc lập – Tự – Hạnh phúc *** LỜI CAM ĐOAN Luận văn thạc sỹ nghiên cứu thực hướng dẫn Thầy giáo TS Phạm Việt Bình Để hoàn thành luận văn này, tài liệu tham khảo liệt kê, cam đoan không chép công trình nghiên cứu người khác Thái Nguyên, ngày 13 tháng 10 năm 2010 Ngƣời cam đoan Nguyễn Tuấn Anh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI CẢM ƠN Trước hết vô biết ơn sâu sắc đến Thầy giáo TS Phạm Việt Bình đ ã t ậ n tình hướng dẫn hoàn thành luận văn Tôi xin chân thành cảm ơn Ban lãnh đạo Khoa Công nghệ thông tin, tập thể thầy, cô giáo Khoa toàn thể bạn bè đóng góp ý kiến cho luận văn Thái Nguyên, ngày 13 tháng 10 năm 2010 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Mục lục Danh mục thuật ngữ, từ viết tắt Danh mục thuật ngữ, t viết tắt Danh mục hình vẽ Danh mục bảng Danh mục thuật toán Lời mở đầu Chƣơng Khái quát mạng ngang hàng bảng băm 1.1 Khái quát mạng ngang hàng 1.1.1 Khái niệm mạng ngang hàng 1.1.2 Quá trình phát triển hệ thống mạng ngang hàng 10 1.1.3 Phân loại mô hình mạng ngang hàng 14 a) Hệ thống mạng ngang hàng tập trung (Centralized) 15 b) Các mạng ngang hàng túy (Pure) 17 c) Các mạng ngang hàng lai (Hybrid) 17 d) Mạng ngang hàng có cấu trúc 18 1.1.4 Các lĩnh vực ứng dụng mạng ngang hàng 20 a) Giao tiếp (communication) 20 b) Chia sẻ Files (File sharing) 20 c) Băng thông (Bandwidth 22 d) Không gian lưu trữ (Storage Space) 22 e) Các chu trình xử lý (Processor Cycles) 25 1.1.5 Các phương pháp đánh giá mạng ngang hàng 25 a) Phương pháp phân tích 25 b) Phương pháp thử nghiệm 26 c) Phương pháp mô 26 1.1.6 Các vấn đề mạng mạng ngang hàng 27 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1.2 Bảng băm 28 1.2.1 Bảng băm (Hash table) 28 1.2.2 Bảng băm phân tán - Distributed Hash Table (DHTs) 28 Chƣơng Một số dạng bảng băm mạng ngang hàng 31 2.1 Kademlia 32 2.2 Tapestry 34 2.3 Kelips 39 2.4 Chord 41 Chƣơng Chƣơng trình thử nghiệm 51 3.1 Bài toán thực tế 51 3.2 Khảo sát simulator mô mạng overlay 52 3.3 Phần mềm mô P2PSim 54 3.3.1 Các bước mô với phần mềm P2PSim 56 3.3.2 Kịch mô 58 3.3.3 Đánh giá hiệu giao thức Chord mạng ngang hàng thông qua kết mô 58 a) Kết mô ảnh hưởng Churn rate đến tỷ lệ tìm kiếm lỗi 58 b) Kết mô ảnh hưởng số lượng Node đến tỷ lệ tìm kiếm lỗi 62 c) Kết mô ảnh hưởng RTT đến tỷ lệ tìm kiếm lỗi 65 d) Kết mô tham số Chord tỷ lệ tìm kiếm lỗi 68 Kết luận 71 Tài liệu tham khảo 73 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Danh mục thuật ngữ, từ viết tắt Tiếng Anh Tiếng Việt Từ viết tắt Peer-to-peer Mạng ngang hàng P2P, P2P Distributed Hash Table Bảng băm phân tán DHTs Distributed_File_Systems Hệ thống file phân tán Peer-to-Peer file sharing Hệ thống chia sẻ file ngang hàng Content Distribution Systems Hệ thống nội dung phân tán Peer Đồng đẳng mạng ngang hàng Node Một thiết bị nối mạng (một peer) Item Một đơn vị liệu Structured Có cấu trúc Overlay Mạng xây dựng mạng khác Hash table Bảng băm Join Gia nhập (mạng ngang hàng) Leave Rời khỏi (mạng ngang hàng) Failure Lỗi Churn rate Số lượng peer rời khỏi/gia nhập mạng khoảng thời gian Danh mục hình vẽ Hình 1.1 (a) Mô hình Client/Server Hình 1.1 (b) Mô hình P2P Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Hình 1.2 Overlay Network Diagram 10 Hình 1.3 Mô hình centralized directory 11 Hình 1.4 Mô hình flooding request 12 Hình 1.5 Mạng ngang hàng tập trung hệ thứ (Napster 15 Hình 1.6 Mô hình mạng ngang hàng lai (Hybrid) 18 Hình 1.7 Chord Protocol 19 Hình 1.8 Ba cấu hình cho giải pháp Direct Attached Storage 23 Hình 1.9 Sơ đồ hệ thống NAS 24 Hình 1.10 Sơ đồ Storage Area Network 25 Hình 1.11 Distributed Hash Table 30 Hình 2.1 Con trỏ node (0011) Kademlia 32 Hình 2.2 Minh họa cách chọn bảng định tuyến node Tapestry 35 Hình 2.3 Đường thông điệp từ node 5230 tới node 42AD 37 Hình 2.4 Ví dụ Tapestry node publish item 38 Hình 2.5 Ví dụ Tapestry node tìm kiếm item 39 Hình 2.6 Mạng Kelips node phân tán 10 nhóm affinity trạng thái node cụ thể 40 Hình 2.7 (a) Một mạng Chord với node, item N=16 43 Hình 2.7 (b) Nguyên tắc chung bảng routing table 43 Hình 2.7 (c) Bảng routing table node node 11 43 Hình 2.8 Quá trình node join vào mạng 48 Hình 2.9 (a) Bảng finger vị trí key sau node join 49 Hình 2.9 (b)Bảng finger vị trí trí key sau kho node leave 49 Hình 3.1 (a) Kết mô 100Node khoảng thời gian vào/ra mạng 10s 59 Hình 3.1 (b) Kết mô 1000 node, khoảng thời gian vào/ra mạng 10s 59 Hình 3.2 (a) Kết mô 100Node khoảng thời gian vào/ra mạng 60s 60 Hình 3.2 (b) Kết mô 1000 node, khoảng thời gian vào/ra mạng 60s 60 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Hình 3.3 (a) Kết mô 100Node khoảng thời gian vào/ra mạng 120s 60 Hình 3.3 (b) Kết mô 1000 node, khoảng thời gian vào/ra mạng 120s 60 Hình 3.4 (a) Kết mô 100Node khoảng thời gian vào/ra mạng 300s 61 Hình 3.4 (b) Kết mô 1000 node, khoảng thời gian vào/ra mạng 300s 61 Hình 3.5 (a) Kết mô 100Node khoảng thời gian vào/ra mạng 600s 61 Hình 3.5 (b) Kết mô 1000 node, khoảng thời gian vào/ra mạng 600s 61 Hình 3.6 (a) Kết mô tổng hợp với 100 node 62 Hình 3.6 (b) Kết mô tổng hợp với 1000 node 62 Hình 3.7 (a) Kết mô 100 node, khoảng thời gian vào/ra mạng 300s 63 Hình 3.7 (b) Kết mô 100 node, khoảng thời gian vào/ra mạng 600s 63 Hình 3.8 (a) Kết mô 250 node, khoảng thời gian vào/ra mạng 300s 64 Hình 3.8 (b) Kết mô 250 node, khoảng thời gian vào/ra mạng 600s 64 Hình 3.9 (a) Kết mô 500 node, khoảng thời gian vào/ra mạng 300s 64 Hình 3.9 (b) Kết mô 500 node, khoảng thời gian vào/ra mạng 600s 64 Hình 3.10 (a) Kết mô 1000 node, khoảng thời gian vào/ra mạng 300s 64 Hình 3.10 (b) Kết mô 1000 node, khoảng thời gian vào/ra mạng 600s 64 Hình 3.11 (a) Kết mô tổng hợp khoảng thời gian vào/ra mạng 300s 65 Hình 3.11 (b) Kết mô tổng hợp khoảng thời gian vào/ra mạng 600s 65 Hình 3.12 (a) Kết mô RTT = 0,5s khoảng thời gian vào/ra mạng 300s 66 Hình 3.12 (b) Kết mô RTT = 0,5s khoảng thời gian vào/ra mạng 600s 66 Hình 3.13 (a) Kết mô RTT = 1s khoảng thời gian vào/ra mạng 300s 66 Hình 3.13 (b) Kết mô RTT = 1s khoảng thời gian vào/ra mạng 600s 66 Hình 3.14 (a) Kết mô RTT = 2s khoảng thời gian vào/ra mạng 300s 67 Hình 3.14 (b) Kết mô RTT = 2s khoảng thời gian vào/ra mạng 600s 67 Hình 3.15 (a) Kết mô RTT = 3s khoảng thời gian vào/ra mạng 300s 67 Hình 3.15 (b) Kết mô RTT = 3s khoảng thời gian vào/ra mạng 600s 67 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read ... KHOA CÔNG NGHỆ THÔNG TIN  Nguyễn Tuấn Anh NGHIÊN CỨU MỘT SỐ CƠ CHẾ BẢNG BĂM PHÂN TÁN TRONG MẠNG NGANG HÀNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH... http://www.lrc-tnu.edu.vn 1.2 Bảng băm 28 1.2.1 Bảng băm (Hash table) 28 1.2.2 Bảng băm phân tán - Distributed Hash Table (DHTs) 28 Chƣơng Một số dạng bảng băm mạng ngang hàng 31... Đồng đẳng mạng ngang hàng Node Một thiết bị nối mạng (một peer) Item Một đơn vị liệu Structured Có cấu trúc Overlay Mạng xây dựng mạng khác Hash table Bảng băm Join Gia nhập (mạng ngang hàng) Leave