Bảng băm phân tán và định tuyến trên mạng ngang hàng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Ngô Văn Chí BẢNG BĂM PHÂN TÁN VÀ ĐỊNH TUYẾN TRÊN MẠNG NGANG HÀNG LUẬN VĂN THẠC SĨ KHOA HỌC Chuyên ngành: Cơ sở toán học cho tin học Mã số ngành: 60 46 01 10 NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Lê Trọng Vĩnh Hà Nội – 2015 Mục lục Danh sách hình vẽ iii Danh sách bảng v Lời mở đầu 1 Tổng quan mạng ngang hàng 1.1 Giới thiệu mạng ngang hàng 1.2 Sự tiến hóa cấu trúc mạng 1.2.1 Kiến trúc khách–chủ 1.2.2 Kiến trúc lưới 1.2.3 Kiến trúc ngang hàng 1.3 Phân loại 1.4 Tìm kiếm mạng ngang hàng 1.5 Ưu nhược điểm mạng ngang hàng 11 1.5.1 Ưu điểm 11 1.5.2 Nhược điểm 12 1.6 Một số vấn đề mạng ngang hàng 13 1.7 Một số phương pháp định tuyến P2P 16 1.7.1 Mạng tập trung cấu hình tĩnh 17 1.7.2 Mạng ngang hàng mạng chồng lấn 18 i Bảng băm phân tán 2.1 2.2 2.3 21 Bảng băm 21 2.1.1 Bảng địa trực tiếp 21 2.1.2 Bảng băm 22 Băm ổn định 28 2.2.1 Ví dụ 28 2.2.2 Định nghĩa 31 2.2.3 Xây dựng 32 2.2.4 Các tính chất 33 Bảng băm phân tán 35 2.3.1 Định nghĩa 36 2.3.2 Ví dụ 37 2.3.3 Tính chất DHT 38 2.3.4 Cấu trúc DHT 40 2.3.5 Các chế DHT 40 2.3.6 Các giao diện DHT 42 2.3.7 Nhận xét 44 Định tuyến mạng ngang hàng 45 3.1 Định tuyến P2P có sử dụng DHT 45 3.2 Thuật toán CAN Chord 46 3.2.1 Thuật toán CAN 46 3.2.2 Thuật toán Chord 3.2.3 So sánh khả định tuyến thuật toán CAN 52 Chord 58 Kết luận 60 Tài liệu tham khảo 65 ii Danh sách hình vẽ 1.1 Kiến trúc khách – chủ 1.2 Mô hình máy chủ trung tâm 17 1.3 Phương pháp làm ngập mạng chồng lấn 19 1.4 Mô hình mạng siêu ngang hàng 19 2.1 Bảng địa trực tiếp 22 2.2 Bảng băm 24 2.3 Một ví dụ phương pháp bảng băm mở 25 2.4 Một ví dụ phương pháp thử tuyến tính 26 2.5 Một ví dụ hệ thống phân phối thông qua máy chủ cache 29 2.6 Hệ thống phân phối thông qua máy chủ cache với nút lỗi 2.7 Khoảng đơn vị 31 2.8 Một DHT đơn giản 37 2.9 Tra cứu khóa 38 3.1 Mạng CAN 2–chiều với nút Mỗi nút gán cho zone 30 nút phân biệt biên zone tương ứng 47 3.2 Định tuyến đến nút có khoá k(x, y) không gian 2–chiều 48 3.3 Nút N7 đến zone N1 N1 tự chia thành hai phần phần gán cho N7 Cập nhật tập hàng xóm N1:{N7, N2, N6, N5} 50 3.4 Không gian khóa Chord 53 iii 3.5 Bảng finger nút mạng 54 3.6 Kết thực nghiệm mô 61 iv Danh sách bảng 3.1 Quan hệ số lượng nút mạng thời gian định tuyến trung bình 60 v Lời mở đầu Mạng máy tính từ lâu trở thành phần thiếu nhiều lĩnh vực đời sống xã hội từ hệ thống mạng cục dùng để chia sẻ tài nguyên công ty, quan, đơn vị, hệ thống mạng toàn cầu mạng Internet Kiến trúc hệ thống mạng ngày cải tiến phát triển Trong đó, kiến trúc mạng ngang hàng với nhiều đặc tính tốt khả mở rộng cao, khả chịu lỗi tốt, hiệu cao, thu hút ý người sử dụng, nhà nghiên cứu đơn vị phát triển ứng dụng Tất ưu điểm tạo lên cách mạng lĩnh vực mạng truyền thông Rất nhiều ứng dụng lớn xây dựng mạng ngang hàng FreeNet, Napster, BitTorent, Bên cạnh ưu điểm trên, mạng ngang hàng gặp phải vài hạn chế vấn đề định tuyến, vấn đề bảo mật, khả cân tải, Trong đó, việc định tuyến mạng ngang hàng toán quan trọng phức tạp Nó nhà khoa học nước sâu vào nghiên cứu Có nhiều phương pháp thiết kế để phục vụ cho việc định tuyến mạng ngang hàng, số phải kể đến phương pháp như: sử dụng máy chủ trung tâm, chế làm ngập (flooding), cấu trúc mạng siêu ngang hàng, định tuyến theo ngữ nghĩa, phương pháp tồn hạn chế định Phương pháp định tuyến mạng ngang hàng áp dụng ý tưởng bảng băm phân tán [19] mang lại kết tốt đồng thời khắc phục nhược điểm mà phương pháp định tuyến nêu gặp phải Vì vậy, luận văn tập trung nghiên cứu bảng băm phân tán ứng dụng việc định tuyến mạng ngang hàng Cấu trúc luận văn gồm có 03 chương Nội dung chương tóm tắt sau: Chương 1: Tổng quan mạng ngang hàng Trong chương này, luận văn trình bày kiến thức tổng quan kiến trúc mạng, mạng ngang hàng, phân loại mạng ngang hàng thách thức đặt với mạng ngang hàng Cuối chương phân tích hạn chế phương pháp định tuyến xây dựng phương pháp thay tốt Chương 2: Bảng băm phân tán Trong chương này, luận văn trình bày phương pháp phân bố tài nguyên cho thao thêm, xóa, sửa tra cứu thực thời gian O(1) Phương pháp nhắc đến bảng băm, bảng băm gồm ba phần tập liệu S , hàm băm h bảng băm T Các phần tử ei ∈ S sử dụng hàm băm h để xác định vị trí T Trong số môi trường, môi trường mạng, bảng băm T lúc ổn định [16] tác giả xây dựng phương pháp gọi băm ổn định Phương pháp khắc phục tình trạng không ổn định bảng băm T Với đặc tính tốt băm ổn định, người ta áp dụng vào việc tra cứu liệu hệ thống phân tán gọi bảng băm phân tán Phương pháp tỏ hiệu mà mang lại nhiều tính tốt Trong nội dung này, luận văn phân tích cấu trúc, tính chất bảng băm phân tán áp dụng vào thủ tục định tuyến mạng ngang hàng gọi thiệu Chương Chương 3: Định tuyến mạng ngang hàng Trong chương cuối này, luận văn trình bày toán định tuyến mạng ngang hàng có áp dụng ý tưởng bảng băm phân tán Sau đó, luận văn phân tích chi tiết hai thuật toán định tuyến tiêu biểu thuật toán CAN thuật toán Chord Cuối phân tích so sánh kết thực nghiệm đạt được, qua rút kết luận định hướng cho nghiên cứu Chương Tổng quan mạng ngang hàng 1.1 Giới thiệu mạng ngang hàng Mạng ngang hàng (Peer–to–Peer network, P2P network ) loại hệ thống phân tán phi tập trung nút mạng (được gọi peer ) đóng vai trò vừa máy chủ vừa máy khách mô hình khách–chủ Nghĩa là, peer yêu cầu tài nguyên từ peer khác trả lời yêu cầu thời điểm Điều trái ngược với mô hình khách–chủ truyền thống, mà có máy khách gửi yêu cầu đến (hoặc vài) máy chủ (các) máy chủ trả lời yêu cầu Với cách tiếp cận theo mô hình khách–chủ, hiệu toàn hệ thống giảm xuống số lượng máy khách (có yêu cầu dịch vụ) tăng lên Trong đó, mạng ngang hàng, hiệu toàn mạng tăng lên số lượng máy (peer ) thêm vào mạng nhiều Các peer tự tổ chức thành nhóm, nhóm chúng giao tiếp, cộng tác chia sẻ băng thông với giúp hoàn thành công việc mong muốn Ví dụ, hệ thống chia sẻ tệp tin ngang hàng, peer tải lên tải xuống tệp tin lúc tiến trình vậy, peer tham gia vào nhóm peer cũ rời lúc Việc tổ chức nhóm peer thực cách tự động suốt với người Tài liệu tham khảo [1] Nguyễn Đình Hóa, Cấu trúc liệu giải thuật, NXB ĐH Quốc gia Hà Nội [2] Aberer, K., Datta, A., Hauswirth, M.: Efficient, self-contained handling of identity in peer–to–peer systems IEEE Transactions on Knowledge and Data Engineering 16(7), 858–869 (2004).DOI 10.1109/TKDE.2004.1318567 [3] Bryan, D., Jennings, C.: A p2p approach to sip registration and resource location 2005 [4] Chavan G T., Mahajan M A Load Balancing in P2P networks using DHT based systems and Ant based systems: A Comparison Sinhgad College of Engineering, Pune [5] Cormen Thomas H., Leiserson Charles E., Rivest Ronald L., Stein Clifford Introduction to Algorithms MIT Press and McGraw–Hill, 2001 pp 221–252 [6] Emmanuel S., Tim C., Colm R., Rob M Peer to Peer Routing, http://ntrg.cs.tcd.ie/undergrad/4ba2.05/group6/ [7] G Greg Plaxton, Rajmohan Rajaraman, Andréa W Richa A Accessing nearby copies of replicated objects in a distributed environment s.l :Proceeding ACM SPAA (Newport, Rhode Island, 06/1997) [8] Groove networks http://www.groove.net/ (2004) 65 [9] Hari Balakrishnan, M Frans Kaashoek, David Karger, Robert Morris, Ion Stoica Looking up data in P2P systems s.l : MIT Laboratory for Computer Science [10] Horozov, T., Grama, A., Vasudevan, V., Landis, S.: Moby-a mobile peer– to–peer service and data network In: International Conference on Parallel Processing, Proceedings, pp 437–444 (2002) [11] Hu, Y., Das, S., Pucha, H.: Peer–to–peer overlay abstractions in manets In: J Wu (ed.) Theoretical and Algorithmic Aspects of Sensor, Ad Hoc Wireless and Peer–to–Peer Networks, pp 845–864 Auerbach Publications (2005) [12] Ion Stoica, Robert Morris, David Liben–Nowell, David R Karger, M Frans Kaashoek, Frank Dabek, Hari Balakrishnan Chord: A Scalable Peer–to– peer Lookup Protocol for Internet Applications s.l : ACM SIGCOMM (San Diego, Aug 2001) [13] Iterbeke, Frédéric, Melis, Stijn and Bart De Vleeschauwe, Tim Wauters, Filip De Turck, Bart Dhoedt, Piet Demeester An open peer-to-peer based platform for scalable multimedia communication s.l : Ghent University – IBBT – IMEC, Department of Information Technology Gaston Crommenlaan bus 201, 9050 Gent, Belgium [14] Jelasity, M., Kermarrec, A.M.: Ordered slicing of very large-scale overlay networks In: Proc Sixth IEEE International Conference on Peer-to-Peer Computing P2P 2006, pp 117–124 (2006) DOI 10.1109/P2P.2006.25 23 Kawulok, L., Zielinski, K., Jaeschke, [15] Knuth, Donald The Art of Computer Programming Addison–Wesley, 1998 pp 513–558 [16] Karger D., Lehman E., Leighton T., Panigrahy R., Levine M., Lewin D Consistent hashing and random trees Proceedings of the twenty-ninth an66 nual ACM symposium on Theory of computing (ACM Press New York, NY, USA): 654–663 doi:10.1145/258533.258660 [17] Karger, D., Web caching with consistent hashing [18] Kirsten Hildrum, John D Kubiatowicz, Satish Rao, Ben Y Zhao Distributed Object Location in a Dynamic Network s.l : Proceeding 14th annual ACM symposium on Parallel algorithms and architectures (08/2012) [19] Klaus Wehrle, Stefan G¨otz, Simon Rieche, Peer–to–peer systems and applications s.l : University of T¨ ubingen [20] Litwin, Witold Linear hashing: A new tool for file and table addressing Proc 6th Conference on Very Large Databases: 212–223, 1980 [21] Mehlhorn, Kurt; Sanders, Pete “Hash Tables and Associative Arrays”, Algorithms and Data Structures The Basic Toolbox, Springer, pp 81–98 [22] Pourebrahimi B., Bertels K., Vassiliadis S A Survey of Peer-to-Peer Networks Computer Engineering Laboratory, ITS, TU Delft, The Netherlands [23] Sarmady, Siamak A survey on Peer–to–Peer and DHT s.l : Grid Lab, School of Computer Science, Universiti Sains Malaysia, Penang, 11800, Malaysia [24] Sylvia Ratnasamy, Paul Francis, Mark Handley, Richard Karp, Scott Shenker A Scalable Content–Addressable Network s.l : ACM SIGCOMM (San Diego, CA, August 2001), pp 161–172 [25] Thomas H Cormen; Charles E Leiserson; Ronald L Rivest; Clifford Stein Rivest “Hash Table”, Introduction to algorithms edition, pp 253–285 [26] Xuemin S., Heather Y., John B., Mursalin A Handbook of Peer–to–Peer Networking, Springer 67 [...]...Tài liệu tham khảo [1] Nguyễn Đình Hóa, Cấu trúc dữ liệu và giải thuật, NXB ĐH Quốc gia Hà Nội [2] Aberer, K., Datta, A., Hauswirth, M.: Efficient, self-contained handling of identity in peer–to–peer systems IEEE Transactions on Knowledge and Data Engineering