nghiên cứu một số cơ chế bảng băm phân tán trong mạng ngang hàng

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN KHOA CÔNG NGHỆ THÔNG TIN    Nguyễn Tuấn Anh NGHIÊN CỨU MỘT SỐ CƠ CHẾ BẢNG BĂM PHÂN TÁN TRONG MẠNG NGANG HÀNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2010 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN KHOA CÔNG NGHỆ THÔNG TIN    Nguyễn Tuấn Anh NGHIÊN CỨU MỘT SỐ CƠ CHẾ BẢNG BĂM PHÂN TÁN TRONG MẠNG NGANG HÀNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. Phạm Việt Bình Thái Nguyên - 2010 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN KHOA CÔNG NGHỆ THÔNG TIN Cộng hoà xã hội chủ nghĩa Việt Nam Độc lập – Tự do – Hạnh phúc *** LỜI CAM Đ OAN Luận văn thạc sỹ này do tôi nghiên cứu và thực hiện dưới sự hướng dẫn của Thầy giáo TS. Phạm Việt Bình. Để hoàn thành bản luận văn này, ngoài các tài liệu tham khảo đã liệt kê, tôi cam đoan không sao chép các công trình nghiên cứu của người khác. Thái Nguyên, ngày 13 tháng 10 năm 2010 Ngƣời cam đoan Nguyễn Tuấn Anh Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI CẢM ƠN Trước hết tôi vô cùng biết ơn sâu sắc đến Thầy giáo TS. Phạm Việt Bình đã tận tình hướng dẫn tôi hoàn thành bản luận văn này. Tôi xin chân thành cảm ơn Ban lãnh đạo Khoa Công nghệ thông tin, tập thể các thầy, cô giáo trong Khoa cùng toàn thể bạn bè đã đóng góp ý kiến cho bản luận văn của tôi. Thái Nguyên, ngày 13 tháng 10 năm 2010 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1 Mục lục Danh mục thuật ngữ, từ viết tắt 3 Danh mục thuật ngữ, t ừ viết tắt 3 Danh mục hình vẽ 3 Danh mục bảng 6 Danh mục thuật toán 6 Lời mở đầu 7 Chƣơng 1. Khái quát về mạng ngang hàng và bảng băm 8 1.1. Khái quát về mạng ngang hàng 8 1.1.1. Khái niệm mạng ngang hàng 8 1.1.2. Quá trình phát triển của các hệ thống mạng ngang hàng 10 1.1.3. Phân loại các mô hình mạng ngang hàng 14 a) Hệ thống mạng ngang hàng tập trung (Centralized) 15 b) Các mạng ngang hàng thuần túy (Pure) 17 c) Các mạng ngang hàng lai (Hybrid) 17 d) Mạng ngang hàng có cấu trúc 18 1.1.4. Các lĩnh vực ứng dụng của mạng ngang hàng 20 a) Giao tiếp (communication) 20 b) Chia sẻ Files (File sharing) 20 c) Băng thông (Bandwidth 22 d) Không gian lưu trữ (Storage Space) 22 e) Các chu trình xử lý (Processor Cycles) 25 1.1.5. Các phương pháp đánh giá mạng ngang hàng 25 a) Phương pháp phân tích 25 b) Phương pháp thử nghiệm 26 c) Phương pháp mô phỏng 26 1.1.6. Các vấn đề đối với mạng mạng ngang hàng hiện nay 27 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2 1.2. Bảng băm 28 1.2.1. Bảng băm (Hash table) 28 1.2.2. Bảng băm phân tán - Distributed Hash Table (DHTs) 28 Chƣơng 2. Một số dạng bảng băm trong mạng ngang hàng 31 2.1. Kademlia 32 2.2. Tapestry 34 2.3. Kelips 39 2.4. Chord 41 Chƣơng 3. Chƣơng trình thử nghiệm 51 3.1. Bài toán thực tế 51 3.2. Khảo sát các simulator mô phỏng mạng overlay 52 3.3. Phần mềm mô phỏng P2PSim 54 3.3.1. Các bước mô phỏng với phần mềm P2PSim 56 3.3.2. Kịch bản mô phỏng 58 3.3.3. Đánh giá hiệu năng giao thức Chord trong mạng ngang hàng thông qua các kết quả mô phỏng 58 a) Kết quả mô phỏng ảnh hưởng của Churn rate đến tỷ lệ tìm kiếm lỗi . 58 b) Kết quả mô phỏng ảnh hưởng của số lượng Node đến tỷ lệ tìm kiếm lỗi 62 c) Kết quả mô phỏng ảnh hưởng của RTT đến tỷ lệ tìm kiếm lỗi 65 d) Kết quả mô phỏng các tham số của Chord đối với tỷ lệ tìm kiếm lỗi . 68 Kết luận 71 Tài liệu tham khảo 73 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3 Danh mục thuật ngữ, từ viết tắt Tiếng Anh Tiếng Việt Từ viết tắt Peer-to-peer Mạng ngang hàng P2P, P2P Distributed Hash Table Bảng băm phân tán DHTs Distributed_File_Systems Hệ thống file phân tán Peer-to-Peer file sharing Hệ thống chia sẻ file ngang hàng Content Distribution Systems Hệ thống nội dung phân tán Peer Đồng đẳng trong mạng ngang hàng Node Một thiết bị nối mạng (một peer) Item Một đơn vị dữ liệu Structured Có cấu trúc Overlay Mạng được xây dựng trên các mạng khác Hash table Bảng băm Join Gia nhập (mạng ngang hàng) Leave Rời khỏi (mạng ngang hàng) Failure Lỗi Churn rate Số lượng peer rời khỏi/gia nhập mạng trong một khoảng thời gian Danh mục hình vẽ Hình 1.1. (a) Mô hình Client/Server 9 Hình 1.1. (b) Mô hình P2P 9 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 4 Hình 1.2. Overlay Network Diagram 10 Hình 1.3. Mô hình centralized directory 11 Hình 1.4. Mô hình flooding request 12 Hình 1.5. Mạng ngang hàng tập trung thế hệ thứ nhất (Napster 15 Hình 1.6. Mô hình mạng ngang hàng lai (Hybrid) 18 Hình 1.7. Chord Protocol 19 Hình 1.8. Ba cấu hình cho các giải pháp Direct Attached Storage 23 Hình 1.9. Sơ đồ một hệ thống NAS 24 Hình 1.10. Sơ đồ một Storage Area Network 25 Hình 1.11. Distributed Hash Table 30 Hình 2.1. Con trỏ của node 3 (0011) trong Kademlia 32 Hình 2.2. Minh họa cách chọn bảng định tuyến của một node Tapestry 35 Hình 2.3. Đường đi của thông điệp từ node 5230 tới node 42AD 37 Hình 2.4. Ví dụ về Tapestry node publish item 38 Hình 2.5. Ví dụ về Tapestry node tìm kiếm item 39 Hình 2.6. Mạng Kelips trong đó các node phân tán trong 10 nhóm affinity và trạng thái tại một node cụ thể 40 Hình 2.7 (a) Một mạng Chord với 6 node, 5 item và N=16 43 Hình 2.7 (b) Nguyên tắc chung của bảng routing table 43 Hình 2.7 (c) Bảng routing table của node 3 và node 11 43 Hình 2.8. Quá trình một node join vào mạng 48 Hình 2.9 (a) Bảng finger và vị trí của key sau khi node 6 join 49 Hình 2.9 (b)Bảng finger và vị trí trí của key sau kho node leave 49 Hình 3.1 (a) Kết quả mô phỏng 100Node khoảng thời gian vào/ra mạng là 10s 59 Hình 3.1 (b) Kết quả mô phỏng 1000 node, khoảng thời gian vào/ra mạng là 10s 59 Hình 3.2 (a) Kết quả mô phỏng 100Node khoảng thời gian vào/ra mạng là 60s 60 Hình 3.2 (b) Kết quả mô phỏng 1000 node, khoảng thời gian vào/ra mạng là 60s 60 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 5 Hình 3.3 (a) Kết quả mô phỏng 100Node khoảng thời gian vào/ra mạng là 120s 60 Hình 3.3 (b) Kết quả mô phỏng 1000 node, khoảng thời gian vào/ra mạng là 120s 60 Hình 3.4 (a) Kết quả mô phỏng 100Node khoảng thời gian vào/ra mạng là 300s 61 Hình 3.4 (b) Kết quả mô phỏng 1000 node, khoảng thời gian vào/ra mạng là 300s 61 Hình 3.5 (a) Kết quả mô phỏng 100Node khoảng thời gian vào/ra mạng là 600s 61 Hình 3.5 (b) Kết quả mô phỏng 1000 node, khoảng thời gian vào/ra mạng là 600s 61 Hình 3.6 (a) Kết quả mô phỏng tổng hợp với 100 node 62 Hình 3.6 (b) Kết quả mô phỏng tổng hợp với 1000 node 62 Hình 3.7 (a) Kết quả mô phỏng 100 node, khoảng thời gian vào/ra mạng là 300s 63 Hình 3.7 (b) Kết quả mô phỏng 100 node, khoảng thời gian vào/ra mạng là 600s 63 Hình 3.8 (a) Kết quả mô phỏng 250 node, khoảng thời gian vào/ra mạng là 300s 64 Hình 3.8 (b) Kết quả mô phỏng 250 node, khoảng thời gian vào/ra mạng là 600s 64 Hình 3.9 (a) Kết quả mô phỏng 500 node, khoảng thời gian vào/ra mạng là 300s 64 Hình 3.9 (b) Kết quả mô phỏng 500 node, khoảng thời gian vào/ra mạng là 600s 64 Hình 3.10 (a) Kết quả mô phỏng 1000 node, khoảng thời gian vào/ra mạng là 300s 64 Hình 3.10 (b) Kết quả mô phỏng 1000 node, khoảng thời gian vào/ra mạng là 600s 64 Hình 3.11 (a) Kết quả mô phỏng tổng hợp khoảng thời gian vào/ra mạng là 300s 65 Hình 3.11 (b) Kết quả mô phỏng tổng hợp khoảng thời gian vào/ra mạng là 600s 65 Hình 3.12 (a) Kết quả mô phỏng RTT = 0,5s khoảng thời gian vào/ra mạng là 300s 66 Hình 3.12 (b) Kết quả mô phỏng RTT = 0,5s khoảng thời gian vào/ra mạng là 600s 66 Hình 3.13 (a) Kết quả mô phỏng RTT = 1s khoảng thời gian vào/ra mạng là 300s 66 Hình 3.13 (b) Kết quả mô phỏng RTT = 1s khoảng thời gian vào/ra mạng là 600s 66 Hình 3.14 (a) Kết quả mô phỏng RTT = 2s khoảng thời gian vào/ra mạng là 300s 67 Hình 3.14 (b) Kết quả mô phỏng RTT = 2s khoảng thời gian vào/ra mạng là 600s 67 Hình 3.15 (a) Kết quả mô phỏng RTT = 3s khoảng thời gian vào/ra mạng là 300s 67 Hình 3.15 (b) Kết quả mô phỏng RTT = 3s khoảng thời gian vào/ra mạng là 600s 67 [...]... Hash Table Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 30 Luận văn thạc sỹ KHMT Chƣơng 2 Chương 2 Các cơ chế bảng băm phân tán trong mạng ngang hàng Một số dạng bảng băm trong mạng ngang hàng Trong phần này luận văn đi sâu vào tìm hiểu mốt số DHTs chính như Chord, Kelips, Tapestry, Kademlia và phân tích các DHT này dựa trên một số khía cạnh sau:  Sơ đồ mạng overla... tương xứng với số nút mạng trong hệ thống, do đó khả năng mở rộng mạng bị hạn chế rất nhiều b) Các mạng ngang hàng thuần túy (Pure) Mạng ngang hàng thuần túy là một dạng khác của thế hệ thứ nhất trong hệ thống các mạng ngang hàng Không còn máy chủ tìm kiếm tập trung như trong mạng Napster, nó khắc phục được vấn đề nút cổ chai trong mô hình tập trung Tuy nhiên vấn đề tìm kiếm trong mạng ngang hàng thuần... đàn thảo luận (Discussion forums)… Mạng ngang hàng cũng có thể được phân loại theo mức độ tập trung của mạng (đối với P2P overlay networks) Hiện nay các hệ thống mạng ngang hàng có thể được phân loại thành một số nhóm sau: Bảng 1.2 Các mô hình P2P a) Hệ thống mạng ngang hàng tập trung (Centralized) Hệ thống mạng ngang hàng tập trung có đặc điểm là vẫn còn dựa trên một máy chủ tìm kiếm trung tâm (centralized... DHTs) và căn cứ vào các kết quả phân tích đó mở ra hướng khắc phục các hạn chế của các DHTs Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chƣơng 1 Khái quát về mạng ngang hàng và bảng băm 1.1 Mạng ngang hàng 1.1.1 Khái niệm mạng ngang hàng Mạng ngang hàng (Peer – to – Peer, P2P) bắt đầu xuất hiện từ 1999 và đã thu hút sự quan tâm của giới CNTT trong những năm gần đây Đặc... đến cấu trúc của mạng  Nhược điểm: - Tốn băng thông - Phức tạp trong tìm kiếm - Các node có khả năng khác nhau (CPU power, bandwidth, storage) đều có thể phải chịu tải (load) như nhau c) Các mạng ngang hàng lai (Hybrid) Để khắc phục nhược điểm của mạng ngang hàng thuần túy, một mô hình mang ngang hàng mới được phát triển với tên gọi là mạng ngang hàng lai Đây được gọi là mạng ngang hàng thế hệ 2 Phần... được nối mạng Ngày nay do những yêu cầu đòi hỏi tính toán hiệu năng cao như các thao tác tính toán trong tin sinh học, trong tài chính, trong đo lường mà nhiều nghiên cứu ứng dụng mạng ngang hàng vào xử lý tính toán đã được đưa ra Bằng việc sử dụng các ứng dụng mạng ngang hàng để bó cụm các chu trình xử lý có thể nhận được khả năng tính toán ngang bằng với một siêu máy tính đắt tiền Trong một mạng mỗi... sử dụng cơ chế Flooding, yêu cầu tìm kiếm được gửi cho tất cả các node mạng là láng giềng với nó, điều này làm tăng đáng kể lưu lượng trong mạng Đây là một yếu điểm của các mạng ngang hàng thuần túy Các phần mềm tiêu biểu cho mạng ngang hàng dạng này là Gnutella 4.0, FreeNet  Ưu điểm: - Dễ xây dựng - Đảm bảo tính phân tán hoàn toàn cho các node tham gia mạng, các node tham giavà rời khỏi mạng một cách... tính là trong suốt với các máy tính khác và tất cả các node được kết nối mạng sẽ tạo thành một máy tính logic 1.1.5 Các phương pháp đánh giá mạng ngang hàng Cộng đồng nghiên cứu peer to peer nói chung sử dụng ba phương pháp để đánh giá, kiểm nghiệm các kết quả nghiên cứu về mô hình mạng ngang hàng đó là phương pháp phân tích, phương pháp thực nghiệm và phương pháp mô phỏng a) Phương pháp phân tích Số hóa... năng mở rộng cao, các mạng peer-to-peer overlay đã và đang thu hút được nhiều sự quan tâm từ cộng đồng nghiên cứu Các mạng peer-to-peer overlay đã phát triển qua ba thế hệ, thế hệ hiện nay là mạng structured overlay dựa trên khả năng lưu trữ và tìm kiếm dữ liệu hiệu quả của cơ chế bảng băm phân tán (Distributed Hash Table - DHTs) DHTs là cơ sở để xây dựng các hệ thống ứng dụng phân tán như distributed... Thế hệ thứ hai xóa bỏ được một số điểm xử lý tập trung trong mạng nhưng tính khả mở còn kém hơn do mạng sử dụng thuật toán flooding sinh ra quá nhiều traffic Thêm nữa, các mạng làm việc theo mô hình này không đảm bảo sẽ tìm được dữ liệu có trên mạng do phạm vi tìm kiếm bị giới hạn Một số mạng trong thế hệ thứ hai đưa ra một số cải tiến Freenet đưa ra mô hình document routing, trong đó dữ liệu được lưu . thống mạng ngang hàng 10 1.1.3. Phân loại các mô hình mạng ngang hàng 14 a) Hệ thống mạng ngang hàng tập trung (Centralized) 15 b) Các mạng ngang hàng thuần túy (Pure) 17 c) Các mạng ngang hàng. http://www.lrc-tnu.edu.vn 2 1.2. Bảng băm 28 1.2.1. Bảng băm (Hash table) 28 1.2.2. Bảng băm phân tán - Distributed Hash Table (DHTs) 28 Chƣơng 2. Một số dạng bảng băm trong mạng ngang hàng 31 2.1. Kademlia. Nguyễn Tuấn Anh NGHIÊN CỨU MỘT SỐ CƠ CHẾ BẢNG BĂM PHÂN TÁN TRONG MẠNG NGANG HÀNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2010 Số hóa bởi Trung tâm Học