Nghiên cứu một số cơ chế bảng băm phân tán trong mạng ngang hàng

ĐẠI HỌC THÁI NGUYÊN KHOA CÔNG NGHỆ THÔNG TIN  Nguyễn Tuấn Anh NGHIÊN CỨU MỘT SỐ CƠ CHẾ BẢNG BĂM PHÂN TÁN TRONG MẠNG NGANG HÀNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2010 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN KHOA CÔNG NGHỆ THÔNG TIN  Nguyễn Tuấn Anh NGHIÊN CỨU MỘT SỐ CƠ CHẾ BẢNG BĂM PHÂN TÁN TRONG MẠNG NGANG HÀNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Phạm Việt Bình Thái Nguyên - 2010 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN Cộng hoà xã hội chủ nghĩa Việt Nam KHOA CÔNG NGHỆ THÔNG TIN Độc lập – Tự – Hạnh phúc *** LỜI CAM ĐOAN Luận văn thạc sỹ nghiên cứu thực hướng dẫn Thầy giáo TS Phạm Việt Bình Để hồn thành luận văn này, tài liệu tham khảo liệt kê, tơi cam đoan khơng chép cơng trình nghiên cứu người khác Thái Nguyên, ngày 13 tháng 10 năm 2010 Ngƣời cam đoan Nguyễn Tuấn Anh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI CẢM ƠN Trước hết vô biết ơn sâu sắc đến Thầy giáo TS Phạm Việt Bình đ ã t ậ n tình hướng dẫn tơi hồn thành luận văn Tơi xin chân thành cảm ơn Ban lãnh đạo Khoa Công nghệ thông tin, tập thể thầy, giáo Khoa tồn thể bạn bè đóng góp ý kiến cho luận văn Thái Nguyên, ngày 13 tháng 10 năm 2010 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Mục lục Danh mục thuật ngữ, từ viết tắt Danh mục thuật ngữ, t viết tắt Danh mục hình vẽ Danh mục bảng Danh mục thuật toán Lời mở đầu Chƣơng Khái quát mạng ngang hàng bảng băm 1.1 Khái quát mạng ngang hàng 1.1.1 Khái niệm mạng ngang hàng 1.1.2 Quá trình phát triển hệ thống mạng ngang hàng 10 1.1.3 Phân loại mơ hình mạng ngang hàng 14 a) Hệ thống mạng ngang hàng tập trung (Centralized) 15 b) Các mạng ngang hàng túy (Pure) 17 c) Các mạng ngang hàng lai (Hybrid) 17 d) Mạng ngang hàng có cấu trúc 18 1.1.4 Các lĩnh vực ứng dụng mạng ngang hàng 20 a) Giao tiếp (communication) 20 b) Chia sẻ Files (File sharing) 20 c) Băng thông (Bandwidth 22 d) Không gian lưu trữ (Storage Space) 22 e) Các chu trình xử lý (Processor Cycles) 25 1.1.5 Các phương pháp đánh giá mạng ngang hàng 25 a) Phương pháp phân tích 25 b) Phương pháp thử nghiệm 26 c) Phương pháp mô 26 1.1.6 Các vấn đề mạng mạng ngang hàng 27 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1.2 Bảng băm 28 1.2.1 Bảng băm (Hash table) 28 1.2.2 Bảng băm phân tán - Distributed Hash Table (DHTs) 28 Chƣơng Một số dạng bảng băm mạng ngang hàng 31 2.1 Kademlia 32 2.2 Tapestry 34 2.3 Kelips 39 2.4 Chord 41 Chƣơng Chƣơng trình thử nghiệm 51 3.1 Bài toán thực tế 51 3.2 Khảo sát simulator mô mạng overlay 52 3.3 Phần mềm mô P2PSim 54 3.3.1 Các bước mô với phần mềm P2PSim 56 3.3.2 Kịch mô 58 3.3.3 Đánh giá hiệu giao thức Chord mạng ngang hàng thông qua kết mô 58 a) Kết mô ảnh hưởng Churn rate đến tỷ lệ tìm kiếm lỗi 58 b) Kết mô ảnh hưởng số lượng Node đến tỷ lệ tìm kiếm lỗi 62 c) Kết mô ảnh hưởng RTT đến tỷ lệ tìm kiếm lỗi 65 d) Kết mô tham số Chord tỷ lệ tìm kiếm lỗi 68 Kết luận 71 Tài liệu tham khảo 73 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Danh mục thuật ngữ, từ viết tắt Tiếng Anh Tiếng Việt Từ viết tắt Peer-to-peer Mạng ngang hàng P2P, P2P Distributed Hash Table Bảng băm phân tán DHTs Distributed_File_Systems Hệ thống file phân tán Peer-to-Peer file sharing Hệ thống chia sẻ file ngang hàng Content Distribution Systems Hệ thống nội dung phân tán Peer Đồng đẳng mạng ngang hàng Node Một thiết bị nối mạng (một peer) Item Một đơn vị liệu Structured Có cấu trúc Overlay Mạng xây dựng mạng khác Hash table Bảng băm Join Gia nhập (mạng ngang hàng) Leave Rời khỏi (mạng ngang hàng) Failure Lỗi Churn rate Số lượng peer rời khỏi/gia nhập mạng khoảng thời gian Danh mục hình vẽ Hình 1.1 (a) Mơ hình Client/Server Hình 1.1 (b) Mơ hình P2P Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Hình 1.2 Overlay Network Diagram 10 Hình 1.3 Mơ hình centralized directory 11 Hình 1.4 Mơ hình flooding request 12 Hình 1.5 Mạng ngang hàng tập trung hệ thứ (Napster 15 Hình 1.6 Mơ hình mạng ngang hàng lai (Hybrid) 18 Hình 1.7 Chord Protocol 19 Hình 1.8 Ba cấu hình cho giải pháp Direct Attached Storage 23 Hình 1.9 Sơ đồ hệ thống NAS 24 Hình 1.10 Sơ đồ Storage Area Network 25 Hình 1.11 Distributed Hash Table 30 Hình 2.1 Con trỏ node (0011) Kademlia 32 Hình 2.2 Minh họa cách chọn bảng định tuyến node Tapestry 35 Hình 2.3 Đường thông điệp từ node 5230 tới node 42AD 37 Hình 2.4 Ví dụ Tapestry node publish item 38 Hình 2.5 Ví dụ Tapestry node tìm kiếm item 39 Hình 2.6 Mạng Kelips node phân tán 10 nhóm affinity trạng thái node cụ thể 40 Hình 2.7 (a) Một mạng Chord với node, item N=16 43 Hình 2.7 (b) Nguyên tắc chung bảng routing table 43 Hình 2.7 (c) Bảng routing table node node 11 43 Hình 2.8 Quá trình node join vào mạng 48 Hình 2.9 (a) Bảng finger vị trí key sau node join 49 Hình 2.9 (b)Bảng finger vị trí trí key sau kho node leave 49 Hình 3.1 (a) Kết mơ 100Node khoảng thời gian vào/ra mạng 10s 59 Hình 3.1 (b) Kết mô 1000 node, khoảng thời gian vào/ra mạng 10s 59 Hình 3.2 (a) Kết mô 100Node khoảng thời gian vào/ra mạng 60s 60 Hình 3.2 (b) Kết mơ 1000 node, khoảng thời gian vào/ra mạng 60s 60 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Hình 3.3 (a) Kết mô 100Node khoảng thời gian vào/ra mạng 120s 60 Hình 3.3 (b) Kết mơ 1000 node, khoảng thời gian vào/ra mạng 120s 60 Hình 3.4 (a) Kết mơ 100Node khoảng thời gian vào/ra mạng 300s 61 Hình 3.4 (b) Kết mô 1000 node, khoảng thời gian vào/ra mạng 300s 61 Hình 3.5 (a) Kết mô 100Node khoảng thời gian vào/ra mạng 600s 61 Hình 3.5 (b) Kết mơ 1000 node, khoảng thời gian vào/ra mạng 600s 61 Hình 3.6 (a) Kết mơ tổng hợp với 100 node 62 Hình 3.6 (b) Kết mơ tổng hợp với 1000 node 62 Hình 3.7 (a) Kết mơ 100 node, khoảng thời gian vào/ra mạng 300s 63 Hình 3.7 (b) Kết mô 100 node, khoảng thời gian vào/ra mạng 600s 63 Hình 3.8 (a) Kết mô 250 node, khoảng thời gian vào/ra mạng 300s 64 Hình 3.8 (b) Kết mơ 250 node, khoảng thời gian vào/ra mạng 600s 64 Hình 3.9 (a) Kết mơ 500 node, khoảng thời gian vào/ra mạng 300s 64 Hình 3.9 (b) Kết mơ 500 node, khoảng thời gian vào/ra mạng 600s 64 Hình 3.10 (a) Kết mô 1000 node, khoảng thời gian vào/ra mạng 300s 64 Hình 3.10 (b) Kết mô 1000 node, khoảng thời gian vào/ra mạng 600s 64 Hình 3.11 (a) Kết mơ tổng hợp khoảng thời gian vào/ra mạng 300s 65 Hình 3.11 (b) Kết mơ tổng hợp khoảng thời gian vào/ra mạng 600s 65 Hình 3.12 (a) Kết mô RTT = 0,5s khoảng thời gian vào/ra mạng 300s 66 Hình 3.12 (b) Kết mô RTT = 0,5s khoảng thời gian vào/ra mạng 600s 66 Hình 3.13 (a) Kết mơ RTT = 1s khoảng thời gian vào/ra mạng 300s 66 Hình 3.13 (b) Kết mơ RTT = 1s khoảng thời gian vào/ra mạng 600s 66 Hình 3.14 (a) Kết mơ RTT = 2s khoảng thời gian vào/ra mạng 300s 67 Hình 3.14 (b) Kết mơ RTT = 2s khoảng thời gian vào/ra mạng 600s 67 Hình 3.15 (a) Kết mơ RTT = 3s khoảng thời gian vào/ra mạng 300s 67 Hình 3.15 (b) Kết mô RTT = 3s khoảng thời gian vào/ra mạng 600s 67 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Luận văn thạc sỹ KHMT Chương trình thử nghiệm Các hình từ 3.1 đến 3.6 phía theo quy cách: Trục y thể tỷ lệ tìm kiếm lỗi trục x biểu diễn băng thông trung bình thời gian sống node mạng Các node vào/ra khỏi mạng với khoảng thời gian khác 10s, 60s, 120s, 300s, 600s từ hình 3.1 đến hình 3.6, tương ứng ứng với tham số churn rate giảm dần Các hình *.a thể kết mơ mạng 100 node hình *.b thể kết mô mạng 1000 node Những đường nét đậm hình miêu tả kết hợp tốt tỷ lệ tìm kiếm lỗi (hiệu suất) trung bình byte giây gửi node tồn mạng (chi phí để thu hiệu suất) Hình 3.1 (a) Kết mô 100 node, (b) Kết mô 1000 node, khoảng khoảng thời gian vào/ra mạng 10s thời gian vào/ra mạng 10s Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 59 Luận văn thạc sỹ KHMT Chương trình thử nghiệm Hình 3.2 (a) Kết mơ 100Node, (b) Kết mô 1000 node, khoảng khoảng thời gian vào/ra mạng 60s thời gian vào/ra mạng 60s Hình 3.3 (a) Kết mô 100 node, (b) Kết mô 1000 node, khoảng khoảng thời gian vào/ra mạng 120s thời gian vào/ra mạng 120s Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 60 Luận văn thạc sỹ KHMT Chương trình thử nghiệm Hình 3.4 (a) Kết mơ 100 node, (b) Kết mô 1000 node, khoảng khoảng thời gian vào/ra mạng 300s thời gian vào/ra mạng 300s Hình 3.5 (a) Kết mơ 100 node, (b) Kết mô 1000 node, khoảng khoảng thời gian vào/ra mạng 600s thời gian vào/ra mạng 600s Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 61 Luận văn thạc sỹ KHMT Chương trình thử nghiệm Dưới kết mơ tỷ lệ tìm kiếm lỗi kết hợp kết mô ứng với trường hợp khác churn rate đồ thị Hình 3.6 (a) Kết mơ tổng hợp (b) Kết mô tổng hợp với 1000 với 100 node node Nhận xét: Từ kết mô ta rút số nhận xét sau: - Khi churn rate giảm tỷ lệ tìm kiếm lỗi giảm theo, tức bảng định tuyến ổn định - Khi mà churn rate cao (các node kết nối/ rời bỏ mạng xảy khoảng 10 đến 120s) tìm kiếm hầu hết lỗi, điều Chord không làm việc tốt churn rate cao - Băng thông sử dụng nhiều nhiều, tỷ lệ lỗi giảm b) Kết mô ảnh hưởng số lượng Node đến tỷ lệ tìm kiếm lỗi Các hình từ 3.7 đến 3.11 phía theo quy cách: Trục y thể tỷ lệ tìm kiếm lỗi trục x biểu diễn băng thơng trung bình thời gian sống node mạng Số lượng Node thay với giá trị khác 100 node, 250 node, 500 node 1000 node từ hình 3.7 đến hình 3.11 Các hình *.a thể kết mơ mạng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 62 Luận văn thạc sỹ KHMT Chương trình thử nghiệm node vào/ra khỏi mạng với khoảng thời gian 300s hình *.b thể kết mơ mạng node vào/ra khỏi mạng với khoảng thời gian 600s Những đường nét đậm hình miêu tả kết hợp tốt tỷ lệ tìm kiếm lỗi (hiệu suất) trung bình byte giây gửi node tồn mạng (chi phí để thu hiệu suất) Hình 3.7 (a) Kết mô 100 node, (b) Kết mô 100 node, khoảng khoảng thời gian vào/ra mạng 300s thời gian vào/ra mạng 600s Hình 3.8 (a) Kết mô 250 node, (b) Kết mơ 250 node, khoảng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 63 Luận văn thạc sỹ KHMT khoảng thời gian vào/ra mạng 300s Chương trình thử nghiệm thời gian vào/ra mạng 600s Hình 3.9 (a) Kết mơ 500 node, (b) Kết mô 500 node, khoảng khoảng thời gian vào/ra mạng 300s thời gian vào/ra mạng 600s Hình 3.10 (a) Kết mơ 1000 (b) Kết mô 1000 node, khoảng node, khoảng thời gian vào/ra mạng thời gian vào/ra mạng 600s 300s Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 64 Luận văn thạc sỹ KHMT Chương trình thử nghiệm Dưới kết mơ tỷ lệ tìm kiếm lỗi kết hợp kết mô ứng với trường hợp khác số lượng node đồ thị Hình 3.11 (a) Kết mơ (b) Kết mô tổng hợp khoảng tổng hợp khoảng thời gian vào/ra mạng thời gian vào/ra mạng 600s 300s Nhận xét: Từ kết mô ta rút nhận xét sau: Khi mạng lớn mà băng thông sử dụng không đổi, tỷ lệ lỗi cao c) Kết mô ảnh hưởng RTT đến tỷ lệ tìm kiếm lỗi Các hình từ 3.12 đến 3.16 phía theo quy cách: Trục y thể tỷ lệ tìm kiếm lỗi trục x biểu diễn băng thông trung bình thời gian sống node mạng RTT 0,5s, 1s, 2s, 3s thay đổi từ hình 3.12 đến hình 3.16 Các hình *.a thể kết mô mạng node vào/ra khỏi mạng với khoảng thời gian 300s hình *.b thể kết mô mạng node vào/ra khỏi mạng với khoảng thời gian 600s Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 65 Luận văn thạc sỹ KHMT Chương trình thử nghiệm Những đường nét đậm hình miêu tả kết hợp tốt tỷ lệ tìm kiếm lỗi (hiệu suất) trung bình byte giây gửi node tồn mạng (chi phí để thu hiệu suất) Hình 3.12 (a) Kết mơ RTT = (b) Kết mô RTT = 0,5s khoảng 0,5s khoảng thời gian vào/ra mạng 300s thời gian vào/ra mạng 600s Hình 3.13 (a) Kết mơ RTT = 1s (b) Kết mô RTT = 1s khoảng khoảng thời gian vào/ra mạng 300s thời gian vào/ra mạng 600s Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 66 Luận văn thạc sỹ KHMT Chương trình thử nghiệm Hình 3.14 (a) Kết mô RTT = 2s (b) Kết mô RTT = 2s khoảng khoảng thời gian vào/ra mạng 300s thời gian vào/ra mạng 600s Hình 3.15 (a) Kết mô RTT = 3s (b) Kết mô RTT = 3s khoảng khoảng thời gian vào/ra mạng 300s thời gian vào/ra mạng 600s Dưới kết mô tỷ lệ tìm kiếm lỗi kết hợp kết mơ ứng với trường hợp khác RTT đồ thị Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 67 Luận văn thạc sỹ KHMT Chương trình thử nghiệm Hình 3.16 (a) Kết mô tổng hợp (b) Kết mô tổng hợp khoảng khoảng thời gian vào/ra mạng 300s thời gian vào/ra mạng 600s Nhận xét: Từ kết mô ta rút nhận xét sau: Khi khoảng thời gian thiết lập cặp node (RTT) lớn mà băng thơng sử dụng khơng đổi tỷ lệ tìm kiếm lỗi cao d) Kết mô tham số Chord tỷ lệ tìm kiếm lỗi Hình 3.17 3.19 kết mô tham số Chord node vào/ra khỏi mạng với khoảng thời gian 600s Trong hình này, đường bao tồn miêu tả kết hợp tốt hiệu (được đánh giá fraction of failed lookups) giá (trung bình byte giây gửi node tồn mạng) để thu hiệu tất tham số thay đổi gọi overall convex hull Các đường khác miêu tả kết hợp tốt tham số cố định tham số khác thay đổi, chúng gọi parameter convex hull Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 68 Luận văn thạc sỹ KHMT Chương trình thử nghiệm Hình 3.17 (a) Kết mơ 100 node, (b) Kết mô 1000 node, khoảng khoảng thời gian vào/ra mạng 300s thời gian vào/ra mạng 300s Hình 3.18 (a) Kết mơ 100 node, (b) Kết mô 1000 node, khoảng khoảng thời gian vào/ra mạng 600s thời gian vào/ra mạng 600s Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 69 Luận văn thạc sỹ KHMT Chương trình thử nghiệm Hình 3.19 (a) Kết mơ tổng hợp (b) Kết mô tổng hợp 1000 node 100 node Nhận xét: Từ kết mô ta rút nhận xét sau: Từ hình 3.17 3.19 nhìn thấy khơng có có giá trị đơn base, basictimer, pnstimer tốt cho Chord Tuy nhiên, đường overall convex hull cấu thành từ vài đoạn đường parameter convex hull với tham số khác Chord là: − Khoảng thời gian hai lần Chord thưc cập nhật lại successor predecessor node (basictimer) 0,5s; 1s; 3s; 6s; 9s; 36s − Khoảng thời gian hai lần Chord thực cập nhật lại bảng định tuyến Node (pnstimer) 0,5s; 1s; 3s; 6s; 9s; 36s − Số Finger bảng định tuyến (base) 2, 4, 8, 16, 32, 64, 128 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 70 Luận văn thạc sỹ KHMT Kết luận Kết luận Từ kết mô ta rút số kết luận giao thức Chord sau:  Trong hai trường hợp 100 node 1000 node băng thơng sử dụng nhỏ tỷ lệ tìm kiếm lỗi giảm cách nhanh chóng băng thơng sử dụng tăng lên ngưỡng tỷ lệ tìm kiếm lỗi giảm chậm lại  Chord làm việc không hiệu điều kiện churn rate cao thể tỷ lệ tìm kiếm lỗi cao churn rate cao (các node kết nối/ rời bỏ mạng xảy khoảng 10 đến 120s)  Khi mạng lớn mà băng thông sử dụng không đổi, tỷ lệ lỗi cao  Khi khoảng thời gian thiết lập cặp node (RTT) lớn mà băng thông sử dụng không đổi tỷ lệ tìm kiếm lỗi cao  Churn rate khơng ảnh hưởng nhiều đến trễ tìm kiếm thành cơng trung bình  Với băng thơng sử dụng node, mạng lớn trễ tìm kiếm thành cơng trung bình cao  Khi khoảng thời gian thiết lập cặp node (RTT) lớn mà băng thông sử dụng khơng đổi trễ tìm kiếm thành cơng trung bình cao Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 71 Luận văn thạc sỹ KHMT Số hóa Trung tâm Học liệu – Đại học Thái Nguyên Kết luận http://www.lrc-tnu.edu.vn 72 Luận văn thạc sỹ KHMT Tài liệu tham khảo Tài liệu tham khảo [1] Matei Ripeanu Peer – to – Peer Architecture Case Study: Gnutella Network Anextended version of this paper was public as University of Chicago Technical Report TR – 2001 – 26 [2] Phan Anh, Nguyễn Đình Nghĩa “Giáo trình mơn học Các vấn đề đại Cơng nghê thông tin” – Trường Đại học Công nghệ - Đại học Quốc Gia Hà Nội [3] P2PSIM home page, http://pdos.csail.mit.edu/p2psim/ Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 73 ... Chương Các chế bảng băm phân tán mạng ngang hàng Một số dạng bảng băm mạng ngang hàng Trong phần luận văn sâu vào tìm hiểu mốt số DHTs Chord, Kelips, Tapestry, Kademlia phân tích DHT dựa số khía... http://www.lrc-tnu.edu.vn 1.2 Bảng băm 28 1.2.1 Bảng băm (Hash table) 28 1.2.2 Bảng băm phân tán - Distributed Hash Table (DHTs) 28 Chƣơng Một số dạng bảng băm mạng ngang hàng 31... phục nhược điểm mạng ngang hàng túy, mơ hình mang ngang hàng phát triển với tên gọi mạng ngang hàng lai Đây gọi mạng ngang hàng hệ Phần mềm tiêu biểu cho mạng ngang hàng kiểu Số hóa Trung tâm