Nâng cao hiệu năng của một số hệ thống mạng ngang hàng phi cấu trúc

LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc” thực dƣới hƣớng dẫn PGS TS Hồ Sĩ Đàm - giảng viên trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội Tất tài liệu đƣợc tham khảo điều có xuất xứ rõ ràng, đƣợc liệt kê đầy đủ mục tài liệu tham khảo luận văn Tôi xin hoàn toàn chịu trách nhiệm lời cam đoan Hà Nội, ngày 15 tháng 12 năm 2008 Nguyễn Bạch Lê LỜI CẢM ƠN Tôi xin chân thành gửi lời cảm ơn tới thầy cô giáo Khoa Công nghệ Thông tin – Trƣờng Đại học Công nghệ - ĐHQG Hà Nội, đặc biệt thầy cô giáo môn Mạng Truyền liệu, tạo điều kiện thuận lợi giúp đỡ thời gian học tập Tôi xin bày tỏ lòng biết ơn chân thành, lời cảm ơn sâu sắc thầy giáo PGS TS Hồ Sĩ Đàm tận tình hƣớng dẫn, định hƣớng cho giải vấn đề luận văn Tôi xin bày tỏ lời cảm ơn bạn học viên lớp Cao học K12T3 động viên, giúp đỡ, góp ý cho nhiều trình hoàn thành luận văn Hà Nội, ngày 15 tháng 12 năm 2008 Nguyễn Bạch Lê Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc MỤC LỤC Bảng ký hiệu chữ viết tắt Tóm tắt luận văn Chƣơng TỔNG QUAN VỀ CÁC HỆ THỐNG P2P 1.1 Khái quát hệ thống P2P .7 1.2 Phân loại hệ thống P2P 1.3 Vấn đề hiệu hệ thống P2P phi cấu trúc 10 Chƣơng HỆ THỐNG MẠNG FREENET VÀ MÔ HÌNH THẾ GIỚI NHỎ 15 2.1 Hệ thống mạng Freenet 15 2.2 Mô hình giới nhỏ Error! Bookmark not defined 2.3 Liên hệ Freenet mô hình giới nhỏ Error! Bookmark not defined Chƣơng PHƢƠNG PHÁP LƢU TRỮ NÂNG CAO NHÓMError! Bookmark not defined 3.1 Các độ đo hiệu Error! Bookmark not defined 3.2 Hiệu Freenet tải mạng tăng Error! Bookmark not defined 3.3 Phƣơng pháp lƣu trữ nâng cao nhóm Error! Bookmark not defined Chƣơng PHƢƠNG PHÁP LƢU TRỮ NÂNG CAO NHÓM THÍCH NGHI Error! Bookmark not defined 4.1 Một số vấn đề tồn phƣơng pháp nâng cao nhómError! Bookmark not defined 4.2 Phƣơng pháp nâng cao nhóm mối quan tâm mạng thay đổi Error! Bookmark not defined 4.3 Phƣơng pháp nâng cao nhóm thích nghi Error! Bookmark not defined Kết luận 59 Tài liệu tham khảo 60 Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc BẢNG KÝ HIỆU CÁC CHỮ VIẾT TẮT KÝ HIỆU P2P LRU EC CỤM TỪ ĐƢỢC VIẾT TẮT GIẢI NGHĨA Peer-to-Peer Mạng ngang hàng Least Recently Used Phƣơng pháp quản lý lƣu trữ sở Freenet Enhanced-Clustering Replacement Scheme Phƣơng pháp quản lý lƣu trữ nâng cao nhóm Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc TÓM TẮT LUẬN VĂN Ngày nay, xu hƣớng giới thông tin trải rộng toàn cầu, phân tán nơi, thiết bị dù nơi đâu có kết nối mạng truy cập thông tin đƣợc cung cấp nơi xa Xuất phát triển với môi trƣờng phân tán từ lúc sơ khai hệ thống theo mô hình client/server, nhằm đƣa chế để hỗ trợ cung cấp dịch vụ qua mạng Trong môi trƣờng phân tán nhỏ, mô hình client/server thể hiệu lớn mang lại nhiều tiện ích Tuy nhiên, môi trƣờng phân tán rộng lớn, đa dạng, hỗn tạp ngày tƣơng lai, mô hình client/server thể nhiều nhƣợc điểm khó khắc phục Đây động thúc đẩy để phát triển mô hình hệ thống phân tán phù hợp Mô hình mạng ngang hàng (Peer-to-Peer hay gọi tắt P2P) xu hƣớng phát triển lĩnh vực nghiên cứu xây dựng hệ thống mạng phân tán Đặc tính hệ thống mạng ngang hàng cho phép phần tử hỗn tạp tham gia vào hệ thống, cần tuân theo số giao thức giao tiếp định Các hệ thống phù hợp với môi trƣờng phân tán rộng lớn, đa dạng thành phần, hoạt động linh hoạt ổn định tác động lỗi Trong loại hệ thống mạng ngang hàng, hệ thống phi cấu trúc đƣợc quan tâm tính đơn giản mà linh hoạt yêu cầu phần tử tham gia giao thức giao tiếp nhƣ chế hoạt động mạng, nhờ hệ thống có tính ứng dụng cao thực tế Tuy nhiên, vấn đề lớn mà hệ thống mạng ngang hàng phi cấu trúc gặp phải xuất phát từ tính đơn giản hệ thống, hiệu thấp Nguyên nhân vấn đề hệ thống P2P phi cấu trúc chế điều khiển chặt chẽ, phần tử hoạt động nhiều thông tin để định, dẫn đến hiệu mạng thấp Bài toán nâng cao hiệu hệ thống mạng ngang hàng phi cấu trúc thu hút nhiều nghiên cứu theo nhiều hƣớng khác nhằm mục đích chung cải tiến hệ thống để chúng hoạt động hiệu Trong nghiên cứu này, tác giả lựa chọn nghiên cứu vấn đề hiệu hệ thống P2P phi cấu trúc nói chung biện pháp nâng cao hiệu Freenet - hệ thống lƣu trữ ẩn danh phân tán đƣợc xây dựng nhƣ hệ thống mạng ngang hàng đƣợc áp dụng rộng rãi Freenet hệ thống mạng P2P phi cấu trúc đặc trƣng việc thay phƣơng pháp định tuyến phát tràn hiệu thông thƣờng hệ thống P2P phi cấu trúc phƣơng pháp thông minh hơn, có lựa chọn tốt Tuy nhiên, hệ thống Freenet ban đầu hoạt động hiệu số lƣợng file liệu lƣu trữ mạng nhỏ Nghiên cứu xuất phát từ phƣơng pháp lƣu trữ nâng cao nhóm sử dụng mô hình giới nhỏ để nâng cao hiệu Freenet số lƣợng Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc file lƣu trữ mạng lớn mà không làm ảnh hƣởng đến mục đích thiết kế hệ thống Freenet ban đầu Tƣ tƣởng mô hình giới nhỏ tồn phổ biến đời sống xã hội, tự nhiên, kỹ thuật Những tƣ tƣởng đƣợc mô hình hoá áp dụng nhiều hệ thống phân tán Tƣ tƣởng đƣợc áp dụng hiệu để nâng cao hiệu hệ thống mạng ngang hàng nói chung Freenet nói riêng Xuất phát từ phƣơng pháp trên, tác giả đề tài có số đánh giá yếu tố chƣa đƣợc đề cập tới, dẫn tới hiệu Freenet áp dụng phƣơng pháp lƣu trữ nâng cao nhóm không giữ đƣợc nhƣ kết tốt nhƣ kết đƣợc đƣa Yếu tố quan trọng nghiên cứu đánh giá hiệu Freenet tải mạng tăng cao mà chƣa xem xét trƣờng hợp xu hƣớng truy cập mạng thay đổi theo thời gian Từ đánh giá sở, tác giả đề tài đề xuất phƣơng pháp lƣu trữ nâng cao nhóm thích nghi, có cải tiến phù hợp để tăng tính thích nghi mạng Freenet, giúp cho Freenet hoạt động hiệu tải mạng tăng cao xu hƣớng quan tâm ngƣời dùng thay đổi Kết luận văn đạt đƣợc góp phần vào đƣa bƣớc đầu giải số vấn đề liên quan đến toán nâng cao hiệu Freenet Những vấn đề tiếp tục đƣợc nghiên cứu sâu rộng để phù hợp áp dụng thực tế Trong tài liệu này, chƣơng xem xét tổng quát hệ thống mạng ngang hàng, có hệ thống cấu trúc số nghiên cứu nâng cao hiệu có liên quan Chƣơng tìm hiểu sâu hệ thống mạng Freenet, đồng thời tìm hiểu mô hình giới nhỏ liên hệ với Freenet Chƣơng trình bày phƣơng pháp lƣu trữ nâng cao nhóm cải thiện hiệu Freenet tải mạng lớn dựa tƣ tƣởng mô hình giới nhỏ Hui Zhang nhóm nghiên cứu Chƣơng đánh giá lại vấn đề tồn phƣơng pháp Hui Zhang, sau đề xuất phƣơng pháp lƣu trữ nâng cao nhóm thích nghi với số thay đổi cần thiết nhằm mục đích tăng tính thích nghi nút mạng Freenet, để đảm bảo Freenet hoạt động hiệu tải mạng lớn xu hƣớng quan tâm mạng thay đổi Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc Chƣơng TỔNG QUAN VỀ CÁC HỆ THỐNG P2P 1.1 Khái quát hệ thống P2P Trong mô hình hệ thống phân tán truyền thống client/server, tài nguyên đƣợc đặt nút mạng, đƣợc gọi server Các nút khác mạng, đƣợc gọi client, truy vấn server để lấy thông tin mong muốn Các server điểm trung tâm mạng, đóng vai trò quan trọng chủ yếu việc cung cấp dịch vụ mạng Kiến trúc client/server có ƣu điểm dễ bảo trì thay thế, sửa chữa, nâng cấp server mà không làm ảnh hƣởng đến client Ngoài dễ dàng cập nhật liệu đảm bảo an ninh mạng liệu đƣợc lƣu trữ tập trung Tuy nhiên liệu tập trung nên tồn điểm tập trung lỗi server này, kéo theo hệ thống có khả chịu lỗi Khi server lỗi, dịch vụ mạng bị gián đoạn yêu cầu từ client không đƣợc đáp ứng Dù mô hình client/server cho phép client truy cập liệu server với thời gian đáp ứng chấp nhận đƣợc nhiều thuật toán cân tải chịu lỗi rắc rối nhƣng giới hạn băng thông làm tăng nguy vấn đề nút cổ chai server, làm giảm khả mở rộng Chính vấn đề thúc đẩy nhà nghiên cứu tiếp cận theo hƣớng xây dựng hệ thống phân tán phân tán tải xử lý băng thông cho nút tham gia mạng Kết thúc đẩy đời hệ thống mạng ngang hàng, hay gọi hệ thống P2P Các hệ thống mạng P2P khắc phục đƣợc nhiều khiếm khuyết kiến trúc client/server truyền thống Khái niệm P2P phát triển mối liên hệ động mạng phân tán, không máy tính máy tính mà ngƣời ngƣời Những hệ thống chứng minh hiệu nhiều mục đích khác nhƣ chia sẻ file liệu số với nhiều định dạng khác nhƣ liệu thời gian thực Nhìn chung, hệ thống mạng P2P bao gồm số lƣợng lớn điểm nút phân tán, hỗn tạp, tự trị có tính động cao, gọi peer Các điểm nút đóng vai trò tƣơng đƣơng đƣợc kết nối qua liên kết đặc biệt, không phụ thuộc vào mạng vật lý bên dƣới Trong thời điểm, nút mạng hoạt động đồng thời vừa server vừa client, vừa cung cấp dịch vụ cho mạng vừa sử dụng dịch vụ mạng các nút khác cung cấp Mỗi nút tham gia vào hệ thống mạng P2P thành phần tích cực có lực đáng kể Chúng tham gia vào hệ thống P2P để chia sẻ phần tài nguyên thân chúng nhƣ khả xử lý, dung lƣợng lƣu trữ, phần mềm, nội dung file… Các Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc điểm nút truy cập trực tiếp đến nút khác mà không qua thực thể trung gian, nhờ phân tán tải xử lý băng thông mạng Việc hay số nút mạng lỗi không gây ảnh hƣởng nhiều đến mạng toàn cục phần lại mạng đầy đủ khả cung cấp dịch vụ mạng theo yêu cầu Do vậy, hệ thống P2P có khả chịu lỗi cao giải đƣợc toán nút cổ chai Chức hệ thống P2P đƣợc xây dựng đa dạng, chia thành nhóm ứng dụng nhƣ truyền thông thông tin, chia sẻ dịch vụ chia sẻ tài nguyên Để cài đặt chức này, hệ thống P2P cần mang số đặc điểm đặc trƣng [19] Thứ nhất, hệ thống P2P cần hoạt động phi tập trung, nghĩa điểm tập trung lƣu trữ thông tin hệ thống, liệu ngƣời dùng Mỗi nút hệ thống cần có số chức tích hợp gắn liền để có khả thực thao tác gia nhập vào hệ thống, có thông tin định tuyến có khả tạo yêu cầu, chuyển tiếp yêu cầu nhận đáp ứng Một số hệ thống P2P có sử dụng cấu trúc client/server, nhiên áp dụng cho số tác vụ mạng hoạt động đồng thời với tác vụ phi tập trung theo cấu trúc P2P Thứ hai, hệ thống P2P cần có cấu trúc theo cách để thao tác định tuyến đƣợc dễ dàng cải thiện đƣợc chức tìm kiếm, nhằm hỗ trợ hiệu cho việc chia sẻ liệu tài nguyên khác Thứ ba, hệ thống P2P cần có độ tin cậy dù môi trƣờng ứng dụng mang tính động Gần nhƣ hoạt động của hệ thống P2P bao gồm việc nút gia nhập vào hệ thống, rời khỏi hệ thống, số nút tạm thời không hoạt động Do vậy, hệ thống cần phải có chế để ổn định đƣợc thuộc tính quan trọng hệ thống nhƣ đƣờng kính mạng mức độ kết nối hệ thống Thứ tƣ, hệ thống P2P cần có khả mở rộng Một tác động tính phi tập trung số nút mạng lớn tuỳ ý Dù vậy, hệ thống phải có khả phục vụ yêu cầu tất nút theo cách hiệu nhanh chóng 1.2 Phân loại hệ thống P2P Dù P2P có nguyên tắc chung thiết kế nhƣng hệ thống mạng ngang hàng P2P khác mang nhiều đặc điểm kiến trúc khác Dựa vào tiêu chí khác ngƣời ta đƣa loại hệ thống P2P khác Ở đây, ta xem xét cách phân loại phổ biến Theo đó, hệ thống mạng ngang hàng P2P đƣợc chia thành hai nhóm chính: tập trung phi tập trung Một hệ thống P2P tập trung có thƣ mục tập trung đặt vị trí trung tâm, thƣờng đặt server Các server hệ thống P2P tập trung không chứa tài nguyên để cung cấp cho client nhƣ mô hình client/server mà chứa Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc thông tin tài nguyên đƣợc nút cung cấp để hỗ trợ điểm nút mạng định tuyến yêu cầu Thƣ mục liên tục đƣợc cập nhật server chứa thƣ mục đóng vai trò nơi nhận yêu cầu tìm kiếm ngƣời dùng Khi nút mạng có yêu cầu tìm kiếm, chúng gửi yêu cầu đến server thƣ mục tập trung để tìm kiếm tài nguyên mong muồn Các server tập trung đƣợc sử dụng thao tác định tuyến yêu cầu tìm kiếm tác vụ lại theo kiến trúc P2P Tuy nhiên việc sử dụng server không khắc phục đƣợc nhƣợc điểm khó mở rộng gây điểm tập trung lỗi nhƣ kiến trúc client/server [4] [14] Ngƣợc lại, hệ thống P2P phi tập trung server thƣ mục tập trung Các nút hệ thống P2P phi tập trung tự thu thập thông tin mạng gửi yêu cầu tới nút tiềm Các hệ thống mạng ngang hàng phi tập trung lại đƣợc chia thành hai loại: có cấu trúc phi cấu trúc [14], dựa vào mối liên quan topo mạng chế bố trí liệu nút hệ thống Một hệ thống P2P đƣợc coi có cấu trúc chế bố trí liệu có mối liên hệ mật thiết với topo mạng Topo mạng đƣợc điều khiển cách chặt chẽ liệu không đƣợc đặt nút ngẫu nhiên mà đƣợc đặt vị trí cụ thể, xác dựa topo, hay hệ thống có chế ánh xạ tài nguyên tới số nút xác định Cơ chế giúp cho hệ thông P2P có cấu trúc hoạt động hiệu quả, giảm thiểu số thông báo cần truyền qua mạng, nhiên lại linh hoạt CAN [15], Chord [20], Tapestry [24] hệ thống nhƣ Một hệ thống P2P đƣợc coi phi cấu trúc không thƣ mục tập trung nào, nhƣ mối liên hệ chế bố trí liệu topo mạng Kiến trúc linh động cho nút tham gia vào mạng rời khỏi mạng Việc đặt liệu không dựa thông tin topo mạng, file liệu đƣợc bố trí nút ngẫu nhiên Khi nút mạng muốn tìm kiếm liệu, trƣớc tiên phải định vị liệu sau thực tải liệu về, chế định vị liệu phần quan trọng Trong trình tìm kiếm, nút mạng gửi yêu cầu tới láng giềng dựa số tiêu chí lựa chọn [9], tập nút nhận đƣợc yêu cầu tìm kiếm không liên quan đến nội dung liệu cần tìm kiếm nhƣ hệ thống có cấu trúc [4] Cơ chế tìm kiếm nhƣ hệ thống không cấu trúc hiệu khó hạn chế đƣợc lƣợng thông báo truyền mạng nhƣng lại linh hoạt so với hệ thống có cấu trúc, cho phép nút tự tổ chức để tạo topo mạng Ví dụ điển hình cho hệ thống P2P không cấu trúc Gnutella [26], Freenet [3] Ngoài hệ thống P2P phân biệt hai nhóm lai Trong hệ thống thuần, nút có vai trò tƣơng đƣơng nhƣ Với hệ thống lai, tồn server giúp cho điểm nút liên lạc với [1] Ta nhận thấy cách phân loại tƣơng tự nhƣ hệ thống tập trung phi tập trung Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc 10 Mỗi kiến trúc P2P có ƣu nhƣợc điểm riêng tuỳ theo yêu cầu xây dựng mạng mà ngƣời ta lựa chọn kiến trúc Hiện môi trƣờng Internet, hệ thống P2P phi cấu trúc đƣợc sử dụng rộng rãi nhờ đặc tính tự tổ chức nút phù hợp với môi trƣờng mạng hỗn tạp động nhƣ Bên cạnh ƣu điểm, vấn đề lớn với hệ thống P2P phi cấu trúc hiệu mạng Nghiên cứu tập trung vào vấn đề đánh giá hiệu hệ thống mạng P2P phi cấu trúc nói chung cải thiện hiệu Freenet nói riêng - hệ thống P2P phi cấu trúc đƣợc triển khai rộng rãi 1.3 Vấn đề hiệu hệ thống P2P phi cấu trúc Các hệ thống mạng mang hàng xuất gần trình phát triển Do tính mẻ này, trình phát triển hệ thống đặt nhiều vấn đề cần nghiên cứu giải Lĩnh vực nghiên cứu hệ thống mạng ngang hàng nói chung hệ thống mạng ngang hàng phi cấu trúc nói riêng rộng mở cần nhiều đóng góp để giải vấn đề phát sinh phát triển hệ thống ngày hoàn thiện hơn, đáp ứng đƣợc yêu cầu thực tế Với hệ thống P2P có cấu trúc, liệu đƣợc xác định nút mạng xác định nên chế quan trọng chế đặt liệu, thao tác tìm kiếm lại trở nên đơn giản liệu đƣợc ánh xạ tới nút tƣơng ứng Khi phát sinh liệu cần lƣu trữ lên mạng, chế đặt liệu P2P có cấu trúc điều khiển chặt chẽ để lƣu liệu nút xác Sau liệu đƣợc lƣu trữ, thao tác tìm kiếm định vị liệu mà cần gửi yêu cầu đến nút tƣơng ứng chứa liệu Chính chế làm cho hệ thống P2P có cấu trúc định tuyến hiệu Tuy nhiên, thao tác tìm kiếm hệ thống P2P phi cấu trúc lại không đơn giản nhƣ Trong hệ thống P2P phi cấu trúc, đặc tính bật chế đặt liệu không rõ ràng tính ngẫu nhiên cao Dữ liệu đƣợc đƣa lên mạng không dựa thông tin topo mạng nên đƣợc bố trí nút ngẫu nhiên Giữa liệu nút lƣu trữ liệu mối liên hệ Vì thế, vấn đề phức tạp với hệ thống chế tìm kiếm Nguyên tắc tìm kiếm chung hệ thống phi cấu trúc nút mạng chuyển tiếp thông báo chứa thông tin liệu cần tìm qua nhiều bƣớc, từ nút sang nút khác, thông báo tìm kiếm tới đƣợc nút có liệu cần tìm thông báo hết hạn Tại nút nhận đƣợc thông báo tìm kiếm, không chứa liệu cần tìm, nút tự định lựa chọn nút để chuyển tiếp thông báo mà không theo điều khiển toàn cục Cơ chế tìm kiếm nhƣ khó khăn đảm bảo yêu cầu tìm kiếm đƣợc đáp ứng, Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc 11 dẫn đến hiệu mạng thấp với tỷ lệ thành công thấp số chặng trung bình cho tìm kiếm tăng cao Từ nguyên tắc tìm kiếm chung, hệ thống P2P phi cấu trúc thƣờng áp dụng thuật toán tìm kiếm đơn giản, đa số dựa phát tràn (flood-based-technique) [17] Gnutella [26] mạng P2P không cấu trúc phát triển sớm sử dụng quảng bá phát tràn Khi nút cần tìm kiếm liệu, gửi thông báo yêu cầu tới nút láng giềng Đến lƣợt nút nhận đƣợc thông báo yêu cầu, liệu cần tìm, nút lại gửi thông báo yêu cầu đến nút láng giềng trừ nút vừa gửi thông báo cho Quá trình tiếp tục đến yêu cầu tìm kiếm tới đƣợc nút chứa liệu cần tìm thông báo hết hạn Cách tìm kiếm hiệu mạng nhỏ Với hệ thống mạng lớn với nhiều nút tham gia, chế tìm kiếm dẫn tới lƣợng thông báo lƣu thông mạng lớn làm cho khả mở rộng hệ thống thấp Các hệ thống P2P phi cấu trúc phát triển sau sử dụng nguyên tắc tìm kiếm chung, nhiên áp dụng thuật toán thông minh để giải vấn đề hiệu năng, nhƣ nghiên cứu [16] Freenet [3] Ngoài ra, nhà nghiên cứu đồng thời đề xuất nhiều biện pháp giải toán cải thiện hiệu cho hệ thống P2P phi cấu trúc có Đa số kỹ thuật tập trung cải tiến thuật toán định tuyến yêu cầu mạng để nâng cao hiệu toàn hệ thống 1.3.1 Một số nghiên cứu nâng cao hiệu Freenet Nhƣ ta thảo luận, toán cải tiến hiệu mạng P2P không cấu trúc nói chung toán phổ biến thu hút nhiều nghiên cứu Nghiên cứu tập trung thảo luận hiệu hệ thống mạng ngang hàng phi cấu trúc nói chung hệ thống mạng Freenet nói riêng Trong phần này, xem xét sơ lƣợc số nghiên cứu đƣa biện pháp để nâng cao hiệu hệ thống mạng Freenet Trong nghiên cứu [2] tác giả đánh giá hiệu số mạng P2P không cấu trúc, có Freenet Tác giả việc sử dụng thuật toán tìm kiếm dựa phát tràn dẫn đến hiệu mạng thấp Tác giả đề xuất số thuật toán dựa ý tƣởng ƣu tiên nút có mức độ quan tâm đến liệu cao để nâng cao hiệu Gnutella Freenet Các thuật toán tổ chức điểm nút mạng thành cộng đồng có chung mối quan tâm Hai nút mạng đƣợc gọi có chung mối quan tâm chúng có vài file lƣu trữ cục giống Khi nút mạng muốn tìm liệu, liên lạc với số nút khác - đƣợc xếp theo mức độ quan tâm chung với liệu cần tìm Nếu nút không tìm thấy liệu, thuật toán lại sử dụng giao thức sở mạng tƣơng ứng Gnutella Freenet Tác giả sử dụng mô để đánh giá hiệu thuật toán đó, đƣa vào nhiều đặc điểm hệ thống thực Kết thuật toán cải thiện Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc 12 hiệu hệ thống Gnutella khoảng 30%, giảm độ dài đƣờng trung bình 30% Tuy nhiên phƣơng pháp gặp số vấn đề xác định mức độ quan tâm chung nút [2] Nghiên cứu [10] đánh giá trƣờng hợp thuật toán định tuyến sở Freenet làm thao tác yêu cầu lún sâu vào vùng mạng không đem lại kết quả, nút gần kề lại giữ file cần tìm Từ đó, tác giả đề xuất cải tiến thuật toán định tuyến Freenet để giảm khả sai hƣớng, nhờ giảm độ dài đƣờng tìm kiếm Tƣ tƣởng tổng quát thêm vào chế trƣớc tiên kiểm tra nút xung quanh nút Theo đó, nút nhận đƣợc yêu cầu tìm kiếm, tìm kiếm nút có kết nối trực tiếp với (1-lookahead) nút cách xa N chặng (N-lookahead) theo thuật toán tìm kiếm theo chiều rộng (BFS) Nếu sau thao tác trên, nút tìm thấy liệu trả nút phía Nếu không tìm thấy, nút lại sử dụng thuật toán sở Freenet thực tìm kiếm nhƣ bình thƣờng Phƣơng pháp cho tỷ lệ % yêu cầu thành công cao mạng Freenet sở số chặng, nhiên nghiên cứu lại không đánh giá hiệu tải mạng tăng Nhƣ ta biết, sau yêu cầu tới đƣợc nút có liệu thoả mãn, liệu thông tin nút đáp ứng đƣợc lặp dọc đƣờng từ nút đáp ứng đến nút yêu cầu Nghiên cứu [11] xuất phát từ đánh giá tỷ lệ yêu cầu tìm kiếm so với chèn file 99/1 hiệu Freenet không giữ đƣợc nhƣ trƣờng hợp tỷ lệ 50/50 Phƣơng pháp [11] đề xuất dựa ý tƣởng sau yêu cầu thành công, thực chèn thêm thông tin nút đáp ứng đƣợc liệu cần tìm vào nút khác đƣờng yêu cầu để tạo thêm cạnh mạng phủ Nghiên cứu [11] hiệu Freenet chịu ảnh hƣởng hai yếu tố: (1) thêm cạnh vào đâu (2) cạnh hợp lý yêu cầu thành công Kết mô cho thấy phƣơng pháp chèn từ nút đáp ứng ngẫu nhiên theo chiều sâu (Depth-Fulfiller-Random) mang lại hiệu tốt nhất, có khả giảm độ dài đƣờng trung bình với hệ số 22.37 Theo nút đáp ứng gửi thông tin khoá vừa tìm thấy giữ tới dãy nút không thuộc đƣờng yêu cầu vừa thành công Tại bƣớc đi, nút đƣợc chọn cách ngẫu nhiên Tuy nhiên nghiên cứu lại chƣa trả lời đƣợc câu hỏi liệu lần chèn với số lƣợng hợp lý để mang lại hiệu tốt Nghiên cứu [5] đánh giá hiệu Freenet tốc độ download tỷ lệ thành công nhận thấy hiệu Freenet không thực tốt Tác giả đề xuất hai thay đổi với mạng Freenet để cải tiến tốc độ download tỷ lệ yêu cầu thành công cho nút tham gia vào mạng Để cải tiến tốc độ download, tác giả đề xuất phƣơng pháp phân chia mạng có ƣu tiên (Precedencial Network Partitioning), cách chia láng giềng thành nhóm theo băng thông khả nút để hỗ trợ định tuyến Tác giả sử dụng mô mạng Freenet giới hạn băng thông nút Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc 13 nhƣ đƣa vào tính chất phân tán ngƣời dùng mạng Kết tác động yếu tố với mạng Để cải tiến tỷ lệ yêu cầu thành công mạng Freenet, tác giả [5] đề xuất phƣơng pháp truyền thông tin lƣới file nút gửi cho nút khác số thông tin liệu cung cấp Theo phƣơng pháp này, nút sử dụng mảng N bit (đƣợc gọi File Mesh) không gian khoá đƣợc phân chia thành N khoảng Nếu nút có giữ file mà khoá tƣơng ứng thuộc khoảng i không gian khoá, thiết lập giá trị bit thứ i để thể xuất khoá phần không gian khoá tƣơng ứng Các nút trao đổi File Mesh với để nút biết nhiều láng giềng, nhờ định tuyến hiệu Kết phƣơng pháp tăng đáng kể tỷ lệ yêu cầu thành công Tuy nhiên, nghiên cứu chƣa xem xét đến độ phức tạp phƣơng pháp đƣa đánh giá độ đo khác hiệu nhƣ độ dài đƣờng trung bình, đồng thời chƣa đánh giá đƣợc hiệu Freenet tải mạng tăng cao Trong nghiên cứu nâng cao hiệu Freenet, [23] số nghiên cứu sử dụng tƣ tƣởng mô hình giới nhỏ Hui Zhang tác giả thực mô xác nhận mối quan hệ logarit số chặng trung bình yêu cầu kích thƣớc mạng Freenet Tuy nhiên mô đƣợc bố trí với tải thấp Trong mô 1000 nút, số file trung bình đƣợc chèn vào mạng node 2.5 [23] tải mạng lớn, hiệu Freenet suy giảm đáng kể Khi sử dụng trực giác từ mô hình giới nhỏ, nhóm tác giả [23] thiết kế phƣơng pháp thay lƣu trữ nâng cao nhóm thay cho phƣơng pháp thay nhớ cục Freenet LRU Sau áp dụng phƣơng pháp này, hiệu Freenet đƣợc nâng cao đáng kể chí trƣờng hợp tải lớn Chúng ta xem xét cụ thể phƣơng pháp kết đạt đƣợc chƣơng nghiên cứu Dù kết Hui Zhang thuyết phục, nhƣng giả thiết toán chƣa đƣợc linh động Nghiên cứu luận văn mối quan tâm đến liệu ngƣời dùng mạng Freenet thay đổi, hiệu áp dụng phƣơng pháp lƣu trữ nâng cao nhóm [23] giảm đáng kể phƣơng pháp làm tính thích nghi vốn có Freenet Nghiên cứu đề xuất phƣơng pháp lƣu trữ nâng cao nhóm thích nghi, thực số thay đổi cần thiết phƣơng pháp lƣu trữ Hui Zhang để tăng tính thích nghi với tình trạng mạng thay đổi giữ đƣợc đặc tính mô hình giới nhỏ để nâng cao hiệu Freenet Kết mô cho thấy việc áp dụng mô hình giới nhỏ để thực số thay đổi nhỏ việc xử lý cục điểm nút không làm thay đổi mục đích thiết kế ban đầu hệ thống, nâng cao hiệu Freenet cách đáng Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc 14 kể tải mạng lớn tăng tính thích nghi nút mạng xu hƣớng truy cập quan tâm ngƣời dùng mạng có xu hƣớng thay đổi Phƣơng pháp lƣu trữ nâng cao nhóm thích nghi đƣợc trình bày chƣơng Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc 15 Chƣơng HỆ THỐNG MẠNG FREENET VÀ MÔ HÌNH THẾ GIỚI NHỎ Freenet hệ thống mạng ngang hàng phi cấu trúc đƣợc đƣa từ năm 2000, sau đƣợc phát triển áp dụng rộng rãi nhờ chứng minh đƣợc ƣu điểm lớn so với nhiều hệ thống mạng ngang hàng phi cấu trúc khác Trong chƣơng này, ta tìm hiểu hệ thống mạng Freenet với số chế hoạt động mạng Ta tìm hiểu mô hình giới nhỏ liên hệ Freenet với mô hình này, đặt tảng cho phƣơng pháp nâng cao hiệu Freenet đƣợc xem xét chƣơng sau 2.1 Hệ thống mạng Freenet 2.1.1 Sơ lược mạng Freenet Freenet [3] mạng ngang hàng phi cấu trúc đƣợc xây dựng với mục đích cung cấp hệ thống lƣu trữ tìm kiếm thông tin ẩn danh phân tán Mỗi nút mạng Freenet tham gia vào trình chia sẻ tài nguyên không gian lƣu trữ, vừa phần không gian nhớ toàn cục, vừa tham gia tạo liệu mạng, tìm kiếm liệu đảm bảo tính ẩn danh ngƣời dùng sở hữu liệu gốc ngƣời sử dụng liệu Từ lần đầu đƣợc Ian Clarke giới thiệu năm 2000 [3], Freenet liên tục đƣợc phát triển cải tiến Kiến trúc mức cao Freenet tƣơng tự nhƣ Gnutella, hoàn toàn phi tập trung Freenet hoạt động nhƣ mạng nút giống tập hợp không gian lƣu trữ lại để lƣu trữ liệu mà nút chia sẻ định tuyến yêu cầu tới vị trí vật lý liệu cần tìm Các nút mạng Freenet đƣợc kết nối qua giao thức TCP/IP Do điều khiển tập trung nào, nút bắt đầu tham gia vào mạng, phải tìm nút mà biết để tạo kết nối Mỗi nút biết kết nối tới láng giềng trực tiếp mà không xác định vị trí nút khác thực tế liệu đƣợc lƣu trữ đâu mạng bên Không nút có quyền điều khiển nút khác nên không tạo cấu trúc cây, nhờ tránh đƣợc điểm tập trung lỗi - nhƣợc điểm hệ thống tập trung Freenet đƣợc coi hệ thống file phân tán đƣợc tổ chức độc lập vị trí đƣợc tái tạo suốt, cho phép ngƣời dùng chia sẻ không gian đĩa sử dụng không gian đĩa ngƣời dùng khác tham gia nhƣ phần mở rộng không gian đĩa họ Ngƣời dùng tham gia vào mạng Freenet có lƣợng không gian đĩa trống cụ thể Sau thời gian hoạt động, không gian lƣu trữ đƣợc sử dụng để lƣu trữ liệu nút tạo số liệu mạng gửi đến Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc 16 TÀI LIỆU THAM KHẢO Amoretti M (2004), Architectures and protocols in Peer-to-Peer networks Barbosa M.W., Costa M.M., Almeida J.M., Almeida V.A.F (2004), Using Locality of Reference to Improve Performance of Peer-to-Peer Applications Clarke Ian, Sandberg Os., Wiley Br., Hong T.W (2000), Freenet - A Distributed Anonymous Information Storage and Retrieval System Cohen Ed., Shenker Sc (2002), Replication Strategies in Unstructured Peer-toPeer Networks, pp 1-2 Haeggstrom J., Skogh H.E., Improving Freenet Performance Precedencial Network Partitioning and File Mesh Propagation Hai Zhuge, Xue Chen, Xiaoping Sun (2005), Preferential walk: towards efficient and scalable search in unstructured peer-to-peer networks Hong T (2001), Performance In Peer–to–Peer: Harnessing the Power of Disruptive Technologies Hui K.Y.K., Lui J.C.S., Yau D.K.Y (2004), Small-world Overlay P2P networks Jing Fu, Xin Bai, A Survey of Performance Analysis for Peer-To-Peer Content Distribution Networks, pp 1-2 10 Mache Js., Anholt Er., Grigoreanu Val., Likarish T., Risteska B.j (2005), LookAhead Routing Reduces Wrong Turns in Freenet-Style Peer-to-Peer Systems 11 Mache Js., Ely D., Gilbert M., Gimba J., Lopez T., Wilkinson Mat (2004), Modifying the Overlay Network of Freenet-style Peer-to-Peer Systems after Successful Request Queries 12 Merugu S.S.H., Srinivansan S.H., Zegura Ell (2004), Adding structure to unstructured peer-to-peer networks: the use of small-world graphs 13 Petrakis Ya., Pitoura Ev (2005), On Constructing Small Worlds in Unstructured Peer-to-Peer Systems 14 Qin Lv, Pei Cao, Cohen Ed., Kai Li, Shenker Sc (2002), Search and Replication in Unstructured Peer-to-Peer Networks, pp 1-2 15 Ratnasamy S., Francis P., Handley M., Karp R., Shenker S (2001), A Scalable Content-Addressable Network 16 Rowstron Ant., Druschel Pt (2001), Pastry: Scalable, decentralized object location and routing for large-scale peer-to-peer systems 17 Rowstron Ant., Peer-to-Peer Networks, Microsoft Research Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc 17 18 Sandberg Os (2005), Distributed Routing in Small-World Networks 19 Steinmetz R., Wehrle K Eds (2005), Peer – to – Peer Systems and Applications 20 Stoica I., Morris R., Liben-Nowell D., Karger D.R., Kaashoek M.F., Dabek F., Balakrishnan H.B (2003), Chord: A Scalable Peer-to-peer Lookup Protocol 21 Tsungnan Lin, Hsinping Wang (2003), Search Performance Analysis in Peer-toPeer Networks, pp 1-2 22 Verendel V (2007), Switching for a Small World 23 Zhang H., Goel As., Govidan R.m (2004), Using the Small-World Model to Improve Freenet Performance 24 Zhao B.Y., Kubiatowicz J., Joseph A.D (2001), Tapestry: An Infastructure for Fault-tolerant Wide-area Location and Routing 25 http://en.wikipedia.org/wiki/Small-world_network 26 http://rfc-gnutella.sourceforge.net/developer/stable/index.html, protocol specification v0.4 Nâng cao hiệu số hệ thống mạng ngang hàng phi cấu trúc The gnutella [...]... kể khi tải mạng lớn và tăng tính thích nghi của các nút mạng khi xu hƣớng truy cập quan tâm của ngƣời dùng trên mạng có xu hƣớng thay đổi Phƣơng pháp lƣu trữ nâng cao nhóm thích nghi này sẽ đƣợc trình bày trong chƣơng 4 Nâng cao hiệu năng của một số hệ thống mạng ngang hàng phi cấu trúc 15 Chƣơng 2 HỆ THỐNG MẠNG FREENET VÀ MÔ HÌNH THẾ GIỚI NHỎ Freenet là một hệ thống mạng ngang hàng phi cấu trúc đƣợc... đặc tính của mô hình thế giới nhỏ để nâng cao hiệu năng của Freenet Kết quả mô phỏng sẽ cho thấy việc áp dụng mô hình thế giới nhỏ để thực hiện một số thay đổi nhỏ đối với việc xử lý cục bộ tại các điểm nút không làm thay đổi mục đích thiết kế ban đầu của hệ thống, trong khi có thể nâng cao hiệu năng của Freenet một cách đáng Nâng cao hiệu năng của một số hệ thống mạng ngang hàng phi cấu trúc 14 kể... Nghiên cứu này sẽ tập trung thảo luận về hiệu năng của các hệ thống mạng ngang hàng phi cấu trúc nói chung và hệ thống mạng Freenet nói riêng Trong phần này, chúng ta xem xét sơ lƣợc về một số nghiên cứu trong đó đƣa ra các biện pháp để nâng cao hiệu năng của hệ thống mạng Freenet Trong nghiên cứu [2] tác giả đã đánh giá về hiệu năng của một số mạng P2P không cấu trúc, trong đó có Freenet Tác giả chỉ... biện pháp giải quyết bài toán cải thiện hiệu năng cho các hệ thống P2P phi cấu trúc đã có Đa số các kỹ thuật đó đều tập trung cải tiến thuật toán định tuyến yêu cầu trên mạng để nâng cao hiệu năng của toàn hệ thống 1.3.1 Một số nghiên cứu nâng cao hiệu năng Freenet Nhƣ ta đã thảo luận, bài toán cải tiến hiệu năng của các mạng P2P không cấu trúc nói chung là một bài toán phổ biến và thu hút nhiều nghiên... so với nhiều hệ thống mạng ngang hàng phi cấu trúc khác Trong chƣơng này, đầu tiên ta tìm hiểu về hệ thống mạng Freenet với một số cơ chế hoạt động chính của mạng Ta cũng sẽ tìm hiểu về mô hình thế giới nhỏ và liên hệ của Freenet với mô hình này, đặt nền tảng cho những phƣơng pháp nâng cao hiệu năng của Freenet sẽ đƣợc xem xét ở những chƣơng sau 2.1 Hệ thống mạng Freenet 2.1.1 Sơ lược về mạng Freenet... các nhóm theo băng thông và khả năng của nút để hỗ trợ định tuyến Tác giả đã sử dụng mô phỏng mạng Freenet và giới hạn băng thông giữa các nút Nâng cao hiệu năng của một số hệ thống mạng ngang hàng phi cấu trúc 13 cũng nhƣ đƣa vào tính chất phân tán của ngƣời dùng trên mạng Kết quả đã chỉ ra những tác động của yếu tố đó với mạng Để cải tiến tỷ lệ yêu cầu thành công trong mạng Freenet, tác giả [5] đề xuất... kiếm này chỉ hiệu quả trong một mạng nhỏ Với một hệ thống mạng lớn với nhiều nút tham gia, cơ chế tìm kiếm đó có thể dẫn tới lƣợng thông báo lƣu thông trên mạng là rất lớn làm cho khả năng mở rộng của hệ thống rất thấp Các hệ thống P2P phi cấu trúc phát triển sau này vẫn sử dụng nguyên tắc tìm kiếm chung, tuy nhiên đã áp dụng các thuật toán thông minh hơn để giải quyết vấn đề về hiệu năng, nhƣ nghiên... một số nút khác - đƣợc sắp xếp theo mức độ quan tâm chung với dữ liệu cần tìm Nếu các nút đó không tìm thấy dữ liệu, thuật toán lại sử dụng giao thức cơ sở của mạng tƣơng ứng là Gnutella hoặc Freenet Tác giả đã sử dụng các mô phỏng để đánh giá hiệu năng của các thuật toán đó, trong đó đƣa vào nhiều đặc điểm của hệ thống thực Kết quả là các thuật toán mới cải thiện Nâng cao hiệu năng của một số hệ thống. ..11 dẫn đến hiệu năng của mạng thấp với tỷ lệ thành công thấp và số chặng trung bình cho một tìm kiếm tăng cao Từ nguyên tắc tìm kiếm chung, các hệ thống P2P phi cấu trúc thƣờng áp dụng các thuật toán tìm kiếm đơn giản, đa số dựa trên phát tràn (flood-based-technique) [17] Gnutella [26] là một trong những mạng P2P không cấu trúc phát triển sớm nhất và sử dụng quảng bá phát tràn Khi một nút cần tìm... Freenet khi có một lƣợng không gian đĩa trống cụ thể Sau một thời gian hoạt động, không gian lƣu trữ đó sẽ đƣợc sử dụng để lƣu trữ dữ liệu do nút đó tạo ra và một số dữ liệu do mạng gửi đến Nâng cao hiệu năng của một số hệ thống mạng ngang hàng phi cấu trúc 16 TÀI LIỆU THAM KHẢO 1 Amoretti M (2004), Architectures and protocols in Peer-to-Peer networks 2 Barbosa M.W., Costa M.M., Almeida J.M., Almeida V.A.F