Nghiên cứu giao thức chord trong mạng peer – to – peer

NỘI DUNG CỦA ĐỒ ÁN Đồ án “Nghiên cứu giao thức Chord mạng Peer – to – Peer” với nội dung sau: Tìm hiểu mạng Peer – to – Peer (P2P) nhằm đưa nhìn tổng quan với lĩnh vực như: lịch sử phát triển, lĩnh vực ứng dụng, chế tìm kiếm mạng P2P Bên cạnh giới thiệu DHT (Distributed Hash Tables – Bảng băm phân tán) sử dụng hệ thứ mạng P2P Nghiên cứu giao thức Chord mạng P2P nhằm mục đích hiểu thuật toán cách thức hoạt động giao thức Chord mô giao thức Chord MỤC LỤC LỜI NÓI ĐẦU .- CHƯƠNG 1: TỔNG QUAN VỀ MẠNG PEER – TO - PEER - 1.1 Giới thiệu chung - 1.2 Phân loại hệ thống mạng - 1.3 Lịch sử mạng P2P - 1.4 Phân loại mạng P2P theo kiến trúc mạng - 13 1.4.1 Mạng P2P túy .- 13 1.4.2 Mạng P2P lai ghép - 14 1.5 Các chế tìm kiếm hệ thống mạng P2P - 16 1.5.1 Tìm kiếm với số hoá tập trung kho chứa - 17 1.5.2 Flooding broadcast of queries ( Làm ngập lụt câu hỏi ) - 17 1.5.3 Routing Model (Mô hình định tuyến) - 17 1.6 Mạng P2P có cấu trúc cấu trúc - 18 1.6.1 Mạng P2P không cấu trúc - 18 1.6.2 Mạng P2P có cấu trúc - 19 1.7 Các lĩnh vực ứng dụng P2P - 20 1.7.1 Communication - 20 1.7.2 Chia sẻ File - 21 1.7.3 Băng thông (Bandwidth) .- 23 1.7.4 Không gian lưu trữ (Storage Space) - 25 1.7.4 Các chu trình xử lý (Processor Cycles) - 25 1.8 Các vấn đề mạng P2P - 26 CHƯƠNG 2: TỔNG QUAN VỀ DHT - 28 2.1 Giới thiệu DHT - 28 2.1.1 Đặc tính DHT .- 28 2.1.2 Cấu trúc DHT .- 30 2.2 Cơ sở bảng DHT - 32 2.2.1 Quản lý liệu phân tán .- 32 2.2.2 Định địa DHT - 32 - 2.2.3 Định tuyến - 34 2.2.4 Lưu trữ liệu - 35 2.3 Cơ chế quản lý - 36 2.3.1 Nút tham gia vào mạng .- 36 2.3.2 Nút lỗi - 36 2.3.3 Nút rời khỏi mạng .- 37 CHƯƠNG 3: GIAO THỨC CHORD - 38 3.1 Giới thiệu Chord - 38 3.2 Thuật toán giao thức Chord - 38 3.3 Bảng định tuyến Chord - 39 3.4 Hoạt động giao thức Chord - 40 3.4.1 Sự định tuyến Chord - 40 3.4.2 Node tham gia, rời khỏi Chord - 42 3.4.3 Ổn định mạng node lỗi .- 48 CHƯƠNG MÔ PHỎNG GIAO THỨC CHORD - 54 4.1 Hướng dẫn cài đặt P2Psim - 54 4.2 Hướng dẫn cài đặt OverSim - 55 4.3 Một số hình ảnh mô giao thức Chord sử dụng P2PSim - 56 4.4 Một số hình ảnh mô giao thức Chord sử dụng OverSim - 61 KẾT LUẬN - 65 TÀI LIỆU THAM KHẢO - 66 - LỜI NÓI ĐẦU Ngày nay, khoa học kỹ thuật đạt thành tựu to lớn Nhờ phát triển kỹ thuật số, kỹ thuật phần cứng công nghệ phần mềm đem lại cho người sử dụng dịch vụ đa dạng phong phú hơn, lĩnh vực truyền thông mà tiêu biểu mạng máy tính Hệ thống mạng máy tính với ưu điểm tăng tốc độ tìm kiếm download liệu, dễ dàng việc giao lưu trao đổi thông tin người người, nối liền khoảng cách…đã có nhiều ứng dụng tất lĩnh vực, thông tin liên lạc Trên giới có nhiều sản phẩm tiếng phần mềm phục vụ cho công việc mang lại nhiều lợi ích.Ở Việt Nam dù nhiều hạn chế sở hạ tầng nguồn lực song nằm xu phát triển chung giới Thời gian gần đây, phát triển hệ thống mạng P2P hội họp, đào tạo, thí nghiệm, truyền hình, thông tin thoại, trao đổi tài liệu, giải trí vừa nhu cầu, vừa toán cho nhiều trường đại học quan, tổ chức Các hệ mạng P2P đời ngày hoàn thiện mang lại cho nhiều ưu điểm vượt trội hệ thống theo mô hình client-server Tuy hệ thống mạng P2P số thách thức lớn cần nghiên cứu phát triển tính bảo mật, độ tin cậy, tính mềm dẻo, cân tải… Trong bối cảnh đề tài ”Nghiên cứu giao thức Chord mạng Peer – to - Peer” mang đến nhìn tổng quan mạng P2P, cách thức hoạt động mô giao thức Chord mạng P2P -1- CHƯƠNG 1: TỔNG QUAN VỀ MẠNG PEER – TO - PEER 1.1 Giới thiệu chung Máy tính trải qua gần kỷ phát triển, với phát triển công nghệ làm cho hệ máy tính ngày nhanh Con người ngày có nhu cầu trao đổi thông tin với nhau, tất yếu phải có liên hệ máy tính, mạng máy tính đời từ Lịch sử mạng máy tính thập kỷ 80 kỷ trước người sử dụng máy tính tiến hành chia sẻ tập tin cách dùng modem kết nối với máy tính khác Cách thức gọi điểm nối điểm, hay truyền theo kiểu quay số Khái niệm mở rộng cách dùng máy tính trung tâm truyền tin kết nối quay số Các máy tính gọi sàn thông báo (bulletin board) Các người dùng kết nối đến sàn thông báo này, để lại hay lấy thông điệp, gửi lên hay tải tập tin Hạn chế hệ thống có hướng truyền tin, với biết sàn thông báo Ngoài ra, máy tính sàn thông báo cần modem cho kết nối, số lượng kết nối tăng lên, hệ thống không thề đáp ứng nhu cầu Qua thập niên 1950, 1970, 1980 1990, Bộ Quốc phòng Hoa Kỳ phát triển mạng diện rộng WAN tin cậy nhằm mục đích quân khoa học Công nghệ khác truyền tin điểm nối điểm Nó cho phép nhiều máy tính kết nối lại với đường dẫn khác Bản thân mạng xác định liệu di chuyển từ máy tính đến máy tính khác Thay thông tin với máy tính thời điểm, thông tin với nhiều máy tính lúc kết nối WAN Bộ Quốc phòng Hoa Kỳ sau trở thành Internet Về bản, mạng máy tính số máy tính nối kết với theo cách Khác với trạm truyền hình gửi thông tin đi, mạng máy tính hai chiều, cho máy tính A gửi thông tin tới máy tính B B trả lời lại cho A Nói cách khác, số máy tính kết nối với trao đổi thông tin cho gọi mạng máy tính Từ -2- nhiều máy tính riêng rẽ, độc lập với nhau, ta kết nối chúng lại thành mạng máy tính chúng có thêm ưu điểm sau:  Nhiều người dùng chung phần mềm tiện ích  Một nhóm người thực đề án nối mạng họ dùng chung liệu đề án, dùng chung tệp tin (master file) đề án, họ trao đổi thông tin với dễ dàng  Dữ liệu quản lý tập trung nên an toàn hơn, trao đổi người sử dụng thuận lợi hơn, nhanh chóng  Có thể dùng chung thiết bị ngoại vi hiếm, đắt tiền (máy in, máy vẽ, )  Người sử dụng trao đổi với thư tín dễ dàng (E-Mail) sử dụng hệ mạng công cụ để phổ biến tin tức, thông báo sách mới, nội dung buổi họp, thông tin kinh tế khác giá thị trường, tin rao vặt ( muốn bán muốn mua đó), xếp thời khoá biểu chen lẫn với thời khoá biểu người khác,  Một số người sử dụng không cần phải trang bị máy tính đắt tiền (chi phí thấp mà chức nǎng lại mạnh)  Mạng máy tính cho phép người lập trình trung tâm máy tính sử dụng chương trình tiện ích trung tâm máy tính khác rỗi, làm tǎng hiệu kinh tế hệ thống  Rất an toàn cho liệu phần mềm phần mềm mạng khoá tệp tin (files) có người không đủ quyền hạn truy xuất tệp tin thư mục Trong hệ thống mạng bao gồm thành phần sau:  Các thiết bị đầu cuối ( terminal ) kết nối với tạo thành mạng, máy tính thiết bị khác Nói chung ngày nhiều loại thiết bị có khả kết nối vào mạng máy tính điện thoại di động, PDA, tivi, -3-  Môi trường truyền (media) mà thao tác truyền thông thực qua Môi trường truyền loại dây dẫn (dây cáp), sóng (đối với mạng không dây)  Giao thức (protocol) quy tắc quy định cách trao đổi liệu thực thể Sự tổ chức máy tính thành hệ thống mạng tạo nhiều ứng dụng Trong tổ chức trước có mạng nơi phải có chỗ lưu trữ liệu riêng, thông tin nội khó cập nhật kịp thời, ứng dụng nơi chia sẻ cho nơi khác Với hệ thống mạng người ta chia sẻ tài nguyên, kho liệu, sức mạnh tính toán máy tính Độ tin cậy an toàn thông tin cao Thông tin cập nhật theo thời gian thực nên xác Khi có hay vài máy tính hỏng máy lại có khả hoạt động cung cấp dịch vụ không gây tắc nghẽn Qua mạng người ta tận dụng khả hệ thống, chuyên môn hoá máy tính, phục vụ đa dạng hoá Việc dùng chung sở liệu thiết bị hệ thống giúp cho tiết kiệm nhiều dung lượng thời gian 1.2 Phân loại hệ thống mạng Mạng máy tính đời với nhiều máy tính kết nối với nhau, yêu cầu cấp thiết đặt phải tổ chức chúng thành hệ thống có kết cấu, đảm bảo quy tắc trật tự truyền thông liệu quản lý hệ thống Ban đầu mạng máy tính đời, tốc độ máy thấp, số lượng máy tham gia mạng chưa cao, nhu cầu trao đổi thông tin dừng lại tập tin có kích thước nhỏ nên việc quản lý mạng đơn giản, kết cấu mạng gồm vài máy Các máy mạng nối trực tiếp với thông qua cổng com hay cổng máy in LPT….Đó mô hình mạng P2P sơ khai lại sở để phát triển mạng P2P sau hệ thống máy tính rộng lớn Sự phát triển vượt bậc công nghệ làm cho máy tính ngày nhanh hơn, lượng tài nguyên lưu trữ lớn nhu cầu trao đổi người ngày tăng lên Lúc máy tính kết nối khắp toàn cầu đòi hỏi phải có đời phương thức quản lý với giao thức, giao diện -4- Các mô hình hệ thống mạng đời Hình 1.1 thể phát triển hệ thống mạng máy tính Tuỳ thuộc vào mục đích sử dụng mà hệ thống máy tính chia thành hệ thống tập trung hệ thống phân tán Hệ thống tập trung triển khai quan, tổ chức máy tính liên kết với không gian kín, liên kết với mạng bên ngoài, máy tính mạng xử lý toàn ứng dụng mạng Mô hình thích hợp với quan tổ chức, tổ chức muốn thiết lập mạng riêng không muốn người liên hệ vào có máy tính cực mạnh Mô hình phân tán, mô hình phổ biến với phát triển ngày mạnh mạng toàn cầu Internet Những bước xử lý ứng dụng phân chia cho node tham gia.Với hệ thống máy tính tham gia vào mạng trao đổi thông tin với nhau.Mọi thông tin, tài nguyên phân tán khắp nơi Chính nhờ hệ thống mà dẫn tới đời mô hình hệ thống mạng chủ- khách (client-server) hệ thống mạng P2P (P2P) hai hệ thống song song tồn Hệ thống phân tán phân loại xa mô hình mạng chủ - khách mô hình điểm - điểm Trong hệ thống mạng chủ - khách có phân biệt máy tính mạng, số máy gọi máy chủ (server), máy có khả tính toán mạnh, tốc độ xử lý nhanh Tại -5- máy có lưu trữ tài nguyên mạng dịch vụ, đóng vai trò người phục vụ cho yêu cầu máy tính khác mạng tài nguyên dịch vụ Phần lớn máy lại gọi máy khách (client), không cung cấp tài nguyên mà đưa yêu cầu sử dụng tài nguyên mạng Trong hệ thống chủ -khách máy khách vào hệ thống nối với máy chủ, nhận quyền truy nhập tài nguyên mạng từ máy chủ Các máy khách xếp tổ chức theo quy luật định đặt quản lý máy chủ Mô hình hệ thống chủ khách mô tả Hình 10.2 Hệ thống mạng Hệ thống tập trung Hệ thống phân tán Điểm- Điểm Chủ-khách Không thứ bậc Có thứ bậc Hoàn toàn Hình 1.1:Hệ thống mạng Hình 10.2: Hệ thống mạng chủ-khách -6- Lai Trong hệ thống chủ- khách phân loại thành hệ thống phẳng (flat) hệ thống có trật tự (hierachical) Việc phân loại dựa cấu trúc hệ thống Trong hệ thống phẳng tất máy khách truyền tin với máy phục vụ, hệ thống có trật tự máy phân theo thứ bậc vai trò mạng làm cải thiện tính chuyển đổi hệ thống Trong hệ thống phân tán hệ thống mạng chủ - khách tồn hệ thống gọi hệ thống mạng P2P 1.3 Lịch sử mạng P2P Mạng P2P mạng mà hai hay nhiều máy tính chia sẻ tập tin truy nhập thiết bị máy in mà không cần đến máy chủ hay phần mềm máy chủ Ở dạng đơn giản mạng P2P tạo hai hay nhiều máy tính kết nối với chia sẻ tài nguyên mà thông qua máy chủ giành riêng Mạng P2P dựa vào khả băng tần máy tính tham gia vào mạng tập trung vào số máy tính gọi server Nó sử dụng cho kết nối node thông qua kết nối đặc biệt dùng cho nhiều mục đích chia sẻ tài liệu, chia sẻ âm nhạc, hình ảnh, liệu, lưu lượng điện thoại….Mô hình mạng P2P thể Hình 1.3 Hình 1.3: Mạng P2P Một mạng P2P thực khái niệm khách hàng (client) người phục vụ (server), có node đóng vai trò server client mạng Mô hình khác với mô hình client-server truyền thống nơi truyền thông theo cách thông thường từ server Một kiểu truyền tin khác với mô hình mạng -7- Đoạn code thể giả mã tham gia ổn định lại mạng Khi node n start, gọi n.join(n’), (n’ phải mạng trước rồi) Hàm join hỏi n’ để tìm successor n Các node gọi phương thức stabilize Khi node n gọi n.stabilize, hỏi successor n cho successor node trước p (predecessor), định có nên thay p node’s successor không Phương thức stabilize thay đổi node predecessor node n Ví dụ: giả sử node n tham gia vào hệ thống, ID node p (Np) node s (Ns), node n nhận Ns successor nó, node Ns lấy n làm predecessor Khi Np gọi hàm stabilize, hỏi Ns để chuyển predecessor Ns (giờ node n), Np nhận node n làm successor Cuối Np thông báo với n, n nhận Np làm predecessor Vậy predecessor successor đặt lại Khi mà successor pointer xác định đúng, hàm find_predecessor gọi Node tham gia chưa định tuyến Sau phải gọi thêm hàm fix_finger để điều chỉnh lại mục bảng định tuyến Hàm fix_finger () bảo đảm nút không gỡ bỏ khỏi bảng ngón tay b) Khi có node lỗi xảy Sự thất bại node nghĩa trở thành truy cập liệu quản lý không Mất liệu từ sai lầm nút riêng lẻ ngăn ngừa cách chép liệu đến nút khác Khi node n bị lỗi, node mà bảng định tuyến chứa n cần tìm successor n (để thay n n không mạng) Các truy vấn không tới n không xử lý hệ thống ổn định lại Chord trì tập node gọi “successor list”, node r gần với successor Chord ring Nếu node n thông báo successor bị lỗi, thay đổi mục successor list nó, n - 53 - chuyển việc tìm kiếm key bị lỗi lúc trước successor sang successor Sau stabilize làm công việc điều chỉnh finger table successor list Sau node bị lỗi, trước hệ thống ổn định xong, node khác gửi thông điệp yêu cầu node bị lỗi (trong trình sử dụng hàm find_successor ) để tìm key Chord đặt timeout để giải vấn đề - 54 - CHƯƠNG MÔ PHỎNG GIAO THỨC CHORD 4.1 Hướng dẫn cài đặt P2Psim P2Psim cài đặt dịch hệ điều hành Unix Để cài đặt ta cần lấy file nguồn p2psim-0.3.tar.gz địa web http://pdos.csail.mit.edu/p2psim/howto.html Để chạy p2psim cần gói GCC2.95.3 3.3.5 Ngoài cài đặt cần mở file header, gói gmp Thực bước sau: $ wget http://pdos.lcs.mit.edu/p2psim/p2psim-0.3.tar.gz $ tar xvfz p2psim-0.3.tar.gz $ cd p2psim-0.3 $ /configure $ make Trong thư mục cài đặt xuất ba file:topology.txt, protocol.txt, events.txt Các file trình bày cú pháp ví dụ cho mô Để chạy p2psim thư mục cài đặt đánh lệnh: p2psim/p2psim example/protocol.txt example/topology.txt example/events.txt Để mô giao thức giao thức X cần chạy lệnh: scripts/run-simulations.pl protocol Chord topology your_favorate_topology_file -logdir –args examples/chord_args P2P sim cung cấp công cụ chuẩn cho vẽ đồ thị Để đồ thị thực hai lệnh sau: scripts/merge-stats.pl args examples/chord_args *.log > chord_out scripts/make-graph.pl dat chord_out x CORRECT_LOOKUPS:lookup_mean convex both - 55 - BW_TOTALS:live_bw y 4.2 Hướng dẫn cài đặt OverSim  Cài đặt gói tcl, tk, libgmp, Perl::Descriptive $ yum install install tk8.4-dev libgmp3-dev libstatistics-descriptive-perl, blt-2.4  Cài đặt OmNet++ $ mkdir ~/sim $ cd ~/sim $ tar xzf /tmp/omnetpp-3.4b2-src.tgz $ export PATH=$PATH:~/sim/omnetpp-3.4b2/bin:~/sim/INET-20061020OverSim-3/bin $ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/sim/omnetpp3.4b2/lib CFLAGS='-O3 -DNDEBUG=1 -gstabs+3 -Wall' $ cd ~/sim/omnetpp-3.4b2 $ /configure $ make  Cài đặt INET framework $ cd ~/sim $ tar xzf /tmp/INET-20061020-OverSim-3.tgz $ ROOT=$(HOME)/sim/INET-20061020-OverSim-3 $ /makemake $ make  Cài đặt Oversim $ cd ~/sim $ tar xzf /tmp/OverSim-20080919.tgz $ cd ~/sim/OverSim-20080919 $ /configure with-blt=/path_to_blt $ /makemake $ make - 56 - 4.3 Một số hình ảnh mô giao thức Chord sử dụng P2PSim Tất đồ thị phía theo quy cách sau: Trục x biểu diễn tổng số byte gửi tất node chia cho tổng số thời gian node tồn mạng Do trục x thể số byte trung bình giây gửi node sống Trục y cho biết thực tìm kiếm tiềm ẩn tìm kiếm trung bình tỉ lệ lỗi Các hình *.a thể kết mô mạng 100 node hình *.b thể kết mô mạng 1000 node Các hình từ đến thể tỷ lệ tìm kiếm lỗi trục y trung bình băng thông sử dụng trục x, tương ứng với trường hợp KHOẢNG THỜI GIAN trường hợp kiện liên tiếp cho node đường số mũ phân tán với thời gian 10s, 60s, 120s, 300s,và 600s Churn rate giảm từ hình đến hình - 57 - Hình 4.1: Kết mô Chord với tìm kiếm lỗi Từ hình vẽ ta rút số kết quả: - 58 - Khi churn rate giảm tỷ lệ tìm kiếm lỗi giảm theo, tức bảng định tuyến ổn định Khi mà churn rate cao (trong hình 1,2 ; node kết nối/ rời bỏ mạng xảy khoảng 10 đến 120 s) tìm kiếm hầu hết lỗi, điều Chord không làm việc tốt churn rate cao Băng thông sử dụng nhiều, tỷ lệ lỗi giảm Khi mạng lớn mà băng thông sử dụng không đổi, tỷ lệ lỗi cao Những đường nét đậm hình miêu tả kết hợp tốt tỷ lệ tìm kiếm lỗi (hiệu suất) trung bình byte giây gửi node tồn mạng (chi phí để thu hiệu suất) Các hình từ đến 10 mô tả trung bình successful lookup latency (tỷ lệ tìm kiếm thành công) trục y trung bình băng thông sử dụng trục x, tương ứng với trường hợp KHOẢNG THỜI GIAN trường hợp kiện liên tiếp cho node đường số mũ phân tán với thời gian 10s, 60s, 120s, 300s 600s - 59 - - 60 - Hình 4.2:Kết mô Chord với tìm kiếm thành công Từ hình vẽ ta rút số kết quả: Băng tần dùng nhiều, độ trễ tìm kiếm trung bình nhỏ Khi mạng lớn độ trễ tìm kiếm trung bình cao băng thông sử dụng node thay đổi không nhiều Những đường nét đậm hình miêu tả kết hợp tốt tỷ lệ trung bình độ trễ tìm kiếm (hiệu suất) trung bình byte giây gửi node tồn mạng (chi phí để thu hiệu suất) Churn rate không ảnh hưởng nhiều tới độ trễ tìm kiếm - 61 - 4.4 Một số hình ảnh mô giao thức Chord sử dụng OverSim  Chord under very high churn rate (5 – 10s) with network size of 100 nodes description = "Chord (semi-recursive, SimpleNetwork)" network = SimpleNetwork **.targetOverlayTerminalNum = 100 *.underlayConfigurator.churnGeneratorTypes = "LifetimeChurn" **.lifetimeMean = 10 **.measurementTime = 4200 **.overlayType = "ChordModules" **.tier1Type = "KBRTestAppModules" **.routingType = "semi-recursive" **.overlay*.chord.stabilizeDelay=5 **.overlay*.chord.fixfingersDelay=5 **.overlay*.chord.successorListSize=8 **.overlay*.chord.extendedFingerTable=true **.overlay*.chord.numFingerCandidates=3 Hình 4.3: Chord current delivery ratio under churn rate of 10s in 100 nodes network - 62 - Hình 4.4: Chord hop count under churn rate of 10s in 100 nodes network  Chord under churn rate of 180s with network size of 100 nodes Hình 4.5: Chord current delivery ratio under churn rate of 180s in 100 nodes network - 63 - Hình 4.6: Chord hop count under churn rate of 180s in 100 nodes network  Chord under churn rate of 360s in 100 nodes network Hình 4.7: Chord current delivery ratio under churn rate of 360s in 100 nodes network - 64 - Hình 4.8: Chord hop count under churn rate of 180s in 100 nodes network - 65 - KẾT LUẬN Sau trình làm đồ án với đề tài “Nghiên cứu giao thức Chord mạng Peer – To – Peer”, kết đạt sau: Nghiên cứu mạng Peer – to - Peer số lĩnh vực ứng dụng mạng Peer – to – Peer Tìm hiểu giao thức Chord cách thức hoạt động Chord Mô giao thức Chord sử dụng OverSim Do thời gian có hạn có nhiều hạn chế nên không tránh khỏi sai sót Vì em mong nhận giúp đỡ thầy giáo, cô giáo bạn để đồ án em hoàn thiện - 66 - TÀI LIỆU THAM KHẢO [1] I Stoica, R Morris, D Karger, F Kaashoek, and H Balakrishnan Chord: A scalable P2P lookup service for internet applications In Proceedings of the 2001 ACM SIGCOMM Conference, pages 149–160, 2001 [2] R Steinmetz, K Wehrle (Edt.): "P2P Systems and Applications", LNCS 3485, Springer, Chapter 7-8, 2005 [3] http://www.wikipedia.org [4] http://www.google.com [5] www.peer-to-the-peer.info [6] http://www.phananh.nbk.edu.vn [7] http://www.omnetpp.org [8] http://www.oversim.org [9] P2PSim, http://project-iris.net/ - 67 -