Tìm kiếm thông tin theo các giá trị thuộc tính trên mạng ngang hàng có cấu trúc

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Thị Huế TÌM KIẾM THÔNG TIN THEO CÁC GIÁ TRỊ THUỘC TÍNH TRÊN MẠNG NGANG HÀNG CÓ CẤU TRÚC Ngành: Công nghệ Thông tin Chuyên ngành: Truyền liệu Mạng máy tính Mã số: 1.01.10 LUẬN VĂN THẠC SĨ NGƢỜI HƢỚNG DẪN KHOA HỌC TS NGUYỄN HOÀI SƠN Hà Nội - 2008 Lời cam đoan Tôi xin cam đoan kết đạt đƣợc luận văn sản phẩm riêng cá nhân tôi, không chép lại ngƣời khác Trong toàn nội dung luận văn, điều đƣợc trình bày cá nhân tôi, tổng hợp đƣợc từ nguồn tài liệu khác Tất tài liệu đƣợc tham khảo điều có xuất xứ rõ ràng, đƣợc trích dẫn hợp pháp đƣợc liệt kê đầy đủ mục tài liệu tham khảo luận văn Tôi xin hoàn toàn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, ngày 03 tháng 11 năm 2008 Phạm Thị Huế Lời cảm ơn Tôi xin bày tỏ lời cảm ơn chân thành tới thầy cô giáo khoa Công nghệ thông tin – Đại học Công nghệ - ĐHQG Hà Nội, đặc biệt thầy cô giáo môn Mạng truyền liệu, tạo điều kiện thuận lợi giúp đỡ thời gian học tập Tôi xin bày tỏ lòng biết ơn chân thành, lời cảm ơn sâu sắc thầy giáo TS Nguyễn Hoài Sơn tận tình hƣớng dẫn, định hƣớng cho giải vấn đề luận văn Tôi xin bày tỏ lời cảm ơn cha mẹ, gia đình, đồng nghiệp bạn học viên lớp Cao học K12T3 động viên, giúp đỡ, góp ý cho nhiều trình hoàn thành luận văn Hà Nội, ngày tháng 11 năm 2008 Phạm Thị Huế MỤC LỤC Trang phụ bìa Lời cam đoan Lời cảm ơn Mục lục Danh mục thuật ngữ từ viết tắt Danh mục bảng biểu Danh mục hình vẽ MỞ ĐẦU .6 CHƢƠNG TỔNG QUAN VỀ MẠNG NGANG HÀNGError! Bookmark not defined 1.1 Khái niệm mạng ngang hàng Error! Bookmark not defined 1.2 Ƣu, nhƣợc điểm mạng ngang hàngError! Bookmark not defined 1.3 Kết luận Error! Bookmark not defined CHƢƠNG MẠNG NGANG HÀNG CÓ CẤU TRÚCError! Bookmark not defined 2.1 Mạng ngang hàng có cấu trúc dựa DHTError! Bookmark not Bookmark not defined 2.1.1 Khái niệm mạng ngang hàng có cấu trúcError! defined 2.1.2 Các tính chất mạng DHT Error! Bookmark not defined 2.2 Mạng ngang hàng có cấu trúc CHORDError! Bookmark not defined 2.2.1 Mô hình mạng Chord Error! Bookmark not defined 2.2.2 Ánh xạ khóa vào node ChordError! Bookmark not defined 2.2.3 Tìm kiếm mạng Chord Error! Bookmark not defined 2.2.4 Tham gia ổn định mạng Error! Bookmark not defined 2.3 Kết luận Error! Bookmark not defined CHƢƠNG MỘT SỐ GIẢI PHÁP PHÂN PHỐI VÀ TÌM KIẾM THÔNG TIN TRÊN MẠNG NGANG HÀNG CÓ CẤU TRÚC.Error! Bookmark not defined 3.1 INS/Twine Error! Bookmark not defined 3.1.1 Giải pháp Error! Bookmark not defined 3.1.2 Nhận xét Error! Bookmark not defined 3.2 CDS Error! Bookmark not defined 3.2.1 Giải pháp Error! Bookmark not defined 3.2.2 Nhận xét Error! Bookmark not defined 3.3 Data Indexing Error! Bookmark not defined 3.3.1 Giải pháp Error! Bookmark not defined 3.3.2 Nhận xét Error! Bookmark not defined 3.4 Kết luận Error! Bookmark not defined CHƢƠNG GIẢI PHÁP TÌM KIẾM THÔNG TIN THEO CÁC THUỘC TÍNH/GIÁ TRỊ TRÊN MẠNG NGANG HÀNG CÓ CẤU TRÚC Error! Bookmark not defined 4.1 4.2 Ý tƣởng Error! Bookmark not defined Mô hình giải pháp SMAV Error! Bookmark not defined 4.2.1 Khái quát Error! Bookmark not defined 4.2.2 Ánh xạ tên miền-khóa phân bổ nội dungError! Bookmark not defined 4.2.3 Truy vấn thông tin Error! Bookmark not defined 4.2.4 Quản lý trạng thái mạng thay đổiError! Bookmark not defined CHƢƠNG ĐÁNH GIÁ HIỆU QUẢ CỦA GIẢI PHÁP “TÌM KIẾM THÔNG TIN THEO CÁC THUỘC TÍNH/GIÁ TRỊ TRÊN MẠNG NGANG HÀNG CÓ CẤU TRÚC” Error! Bookmark not defined Đánh giá định tính Error! Bookmark not defined Đánh giá dựa mô Error! Bookmark not defined 5.2.1 Các tham số mô Error! Bookmark not defined 5.2.2 Kết Error! Bookmark not defined 5.3 Mở rộng hệ thống cho phù hợp với yếu tố thực tếError! Bookmark 5.1 5.2 not defined CHƢƠNG KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂNError! Bookmark not defined DANH MỤC CÁC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT AV (Attribute/Value) Based -DHT Bibliographic database Broadcast CAN (ContentAddressable Network) CDS (Content discovery System) Chord Client/Server DHT (Distributed Hash Table ) Entry Identify JXTA Key LBM (Load Balancing Matrix) Load-balancing Node Node Rendezvous Points P2P (Peer to Peer network) Thuộc tính/giá trị Dựa bảng băm phân tán Cây thƣ mục Gửi phát tràn (quảng bá) Một giao thức mạng ngang hàng dựa DHT thực việc phân bổ quản lý khóa không gian n chiều Hệ thống phát nội dung Một giao thức mạng ngang hàng dựa DHT thực việc phân bổ quản lý khóa theo dạng vòng (ring) Máy khách/ Máy chủ Bảng băm phân tán Một ghi bảng dùng để lƣu thông tin đặc tả tài nguyên node Định danh Một sở hạ tầng mạng ngang hàng dựa mã nguồn mở Khóa Ma trận cân tải Cân tải Thực thể có khả thực công việc hữu ích trao đổi kết với thực thể khác qua mạng cách trực tiếp gián tiếp Điểm nút môi giới Mạng ngang hàng Partial query Truy vấn phần Partition Query Replication Phần, vùng Truy vấn Bản (thứ bản) Sự thỏa hiệp hay việc cân yếu tố khác để đạt đƣợc kết hợp tốt Trade-off XML (Extensible Markup Language) Ngôn ngữ đánh dấu mở rộng DANH MỤC BẢNG BIỂU Bảng 2-1 Bảng định nghĩa trƣờng Finger TableError! Bookmark not defined Bảng 4-1 Bảng ánh xạ khóa phân bổ - nội dung thông tinError! Bookmark not defined Bảng 4-2 Bảng ánh xạ khóa thứ cấp Error! Bookmark not defined Bảng 4-3 Bảng ánh xạ khóa không phổ biến Error! Bookmark not defined Bảng 4-4 Bảng ánh xạ khóa đặc biệt Error! Bookmark not defined DANH MỤC HÌNH VẼ Hình 1.1-1 Mô hình client/Server Error! Bookmark not defined Hình 1.1-2 Mô hình P2P Error! Bookmark not defined Hình 1.1-3 Mô hình mạng Napster Error! Bookmark not defined Hình 1.1-4 Mô hình xử lý truy vấn mạng GnutellaError! Bookmark not defined Hình 2.2-1 Một mạng Chord với node 0, 1, bảng Finger Table ứng với node N = bit nên Finger Table có entry Error! Bookmark not defined Hình 2.2-2 Lƣu giữ key mạng Chord: node lƣu key 6, node lƣu key node lƣu key Error! Bookmark not defined Hình 3.1-1 Một ví dụ đặc tả tài nguyên AVTreeError! Bookmark not defined Hình 3.1-2 Mô hình hoạt động hệ thống INS/Twine.Error! Bookmark not defined Hình 3.1-3 Trích rút AVTree thành strand Error! Bookmark not defined Hình 3.1-4 Việc quản lý trạng thái hệ thông INS/Twine.Error! Bookmark not defined Hình 3.2-1 Kiến trúc node sử dụng CDS Error! Bookmark not defined Hình 3.2-2 Ví dụ việc đăng ký tên miền xử lý truy vấn với tập điểm môi giới RPs Error! Bookmark not defined Hình 3.2-3 Ma trận cân tải cho cặp thuộc tính aiviError! Bookmark not defined Hình 3.3-1 Ví dụ đặc tả file Error! Bookmark not defined Hình 3.3-2 Ví dụ cấu trúc câu truy vấn Error! Bookmark not defined Hình 3.3-3 Đồ thị biểu diễn câu truy vấn đƣợc đƣa hình 3.3-2 Error! Bookmark not defined Hình 3.3-4 Lƣợc đồ mục cho liệu thƣ mục (bibliographic database) Error! Bookmark not defined Hình 3.3-5 Ví dụ mục phân tán cho tài liệu đƣợc đƣa hình 3.3-1 lƣợc đồ mục hình 3.3-4 Error! Bookmark not defined Hình 3.3-6 Việc ánh xạ câu truy vấn cho hình 3.3-5Error! Bookmark not defined Hình 4.2-1 Lƣợc đồ phân bổ tên nội dung thông tin theo giải thuật SMAV Error! Bookmark not defined Hình 4.2-2 Ánh xạ khóa thứ cấp Error! Bookmark not defined Hình 4.2-3 Lƣợc đồ truy vấn thông tin theo giải thuật SMAVError! Bookmark defined Hình 5.2-1-A: Tỷ lệ phần trăm tần số xuất thuộc tính/giá trịError! not Bookmark not defined Hình 5.2-2-B Tần số xuất AV node Error! Bookmark not defined Hình 5.2-3 So sánh tải nội dung phƣơng pháp phân bổ tên nội dung: Phân phối bình thƣờng dựa DHT-Chord phân phối theo SMAVError! Bookmark not defined Hình 5.2-4 So sánh tải truy vấn phƣơng pháp phân bổ tên nội dung: Phân phối bình thƣờng dựa DHT-Chord phân phối theo SMAV.Error! Bookmark not defined Hình 5.2-5 Số ánh xạ sinh tên nội dung sử dụng giải thuật SMAVError! Bookmark not defined Hình 5.2-6 Thời gian truy vấn Error! Bookmark not defined MỞ ĐẦU Công nghệ mạng ngang hàng (peer-to-peer network) phát triển nhanh chóng mạng Internet thời gian gần với xuất hàng loạt ứng chia xẻ file ngang hàng nhƣ Napster, Gnutella, Freenet, BitTorrent, Edonkey,… Qua ứng dụng nói trên, việc chia sẻ tìm kiếm tài nguyên mạng trở lên dễ dàng nhanh chóng hết, ra, ngƣời sử dụng chia sẻ file trực tiếp cho mà không cần thông qua máy chủ dịch vụ Sở dĩ mô hình mạng P2P phát triển nhƣ mô hình phù hợp với tính phân tán liệu, đồng thời đảm bảo quyền quản lý liệu ngƣời dùng nên khuyến khích đƣợc việc chia sẻ liệu, làm tăng nguồn tài nguyên mạng Mô hình P2P đƣợc sử dụng để xử lý toán phức tạp tận dụng đƣợc khả tính toán phân tán tích hợp liệu từ peer tham gia mạng Trong mô hình P2P, peer vừa đóng vai trò Client, vừa đóng vai trò Server Tổng sức mạnh xử lý peer có lớn nhiều lần khả xử lý Server lớn Nhƣ vậy, mô hình P2P không làm tăng lƣợng tài nguyên mạng, mà làm tăng sức mạnh xử lý đáp ứng yêu cầu dịch vụ, nâng cao tính sẵn sàng phục vụ mạng Tuy nhiên, thời kỳ đầu phát triển, việc tìm kiếm mạng ngang hàng thƣờng đƣợc thực theo kiểu phát tràn thông báo, gây tốn băng thông mạng Các ứng dụng sau bƣớc cải tiến giao thức định tuyến thông báo, làm mạng hoạt động hiệu hơn, nhƣng chƣa đảm bảo việc tìm kiếm thông tin thành công Mạng ngang hàng có cấu trúc sử dụng giải thuật Bảng băm phân tán (Distributed Hash Table – DHT) khắc phục nhƣợc điểm cách tổ chức node mạng theo cấu trúc không gian khóa định nhƣ mạch vòng (giải thuật Chord[7]) hay không gian n-chiều (giải thuật CAN[10]) định tuyến thông báo dựa cấu trúc Nội dung thông tin đƣợc gắn với khóa k giá trị băm đặc tả đặc trƣng nội dung thông tin (gọi tên nội dung) đƣợc phân bổ đến node phụ trách khóa k Mỗi node mạng chịu trách nhiệm quản lý tập khóa không gian khóa, lƣu giữ thông tin số node khác mạng Việc tìm kiếm thông tin qua câu truy vấn q đƣợc thực cách băm q để đƣợc khóa kq, chuyển q đến node quản lý khóa kq, node thực việc tìm kiếm địa phƣơng trả kết cho câu truy vấn Bằng phƣơng pháp này, giải thuật DHT cho phép xây dựng mạng ngang hàng với khả mở rộng cao, định tuyến hiệu gói tin thông báo tới đích kháng lỗi tốt TÀI LIỆU THAM KHẢO Tiếng Việt Nguyễn Hoài Sơn, Hồ Sĩ Đàm, “Tìm kiếm thông tin theo giá trị thuộc tính mạng ngang hàng có cấu trúc”, Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội, 2008 TS Nguyễn Đại Thọ, “Công nghệ mạng ngang hàng”, Bộ môn Mạng & Truyền thông Máy tính Khoa Công nghệ Thông tin, trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội, 2006-2007 Tiếng Anh W Adjie-Winoto, E Schwartz, H Balakrishnan and J Lilley, “The Design and Implementation of an Intentional Naming Systems”, In Proceedings of ACM Symposium on Operating Systems Principles, Dec 1999 M Balazinska, H Balakrishnan, and D Karger, "INS/Twine: A Scalable Peer-to-Peer Architecture for Intentional Resource Discovery", In Proceedings of International Conference on Pervasive Computing, August 2002 J Gao and P Steenkiste, "Design and Evaluation of a Distributed Scalable Content Discovery System", IEEE Journal on Selected Areas in Communications, January, January 2004 L Garc´es-Erice, P.A Felber, E.W Biersack, G Urvoy-Keller K.W Ross, “Data Indexing in Peer-to-Peer DHT Networks”, In Proceedings of 24rd International Conference on Distributed Computing Systems, March 2004 K Gummadi_, R Gummadiy, S Gribblez, S Ratnasamyx, S Shenker, I Stoica, “The Impact of DHT Routing Geometry on Resilience and Proximity”, SIGCOMM’03, August 25–29, 2003, Karlsruhe, Germany Matthew Harren, Joseph M Hellerstein, Ryan Huebsch, Boon Thau Loo, Scott Shenker, Ion Stoica, “ Complex Queries in DHT-based Peer-to-Peer Networks” Wolfgang Nejdl, Boris Wolf, Changtao Qu_ , Stefan Decker_ , Michael Sintek_Ambj¨ orn Naeve, Mikael Nilsson, Matthias Palm´er_ , Tore Risch, “EDUTELLA: A P2P Networking Infrastructure Based on RDF”, Honolulu, Hawaii, USA, May 7–11, 2002 10 S Ratnasamy, P Francis, M Handley and R Karp, “A Scalable Content-Addressable Network”, In Proceedings of ACM SIGCOMM’01, Aug 2001 11 A Rowstron and P Druschel, “Pastry: Scalable, distributed object location and routing for large-scale peer-to-peer systems”, In Proceedings of IFIP/ACM International Conference on Distributed Systems Platforms, Nov 2001 12 I Stoica, R Morris, D Karger, M.F Kaashoek, H Balakrisnan, “Chord: A Scalable peer-to-peer lookup service for Internet applications”, In Proceedings of ACM SIGCOMM’01, August 2001 13 Gerhard Weikum, “Peer-to-Peer Information Systems”, 2002 14 http://www.mac-p2p.com/p2p-history/ 15 http://en.wikipedia.org/wiki/Gnutella 16 http://iml.jou.ufl.edu/projects/Fall02/Moody/history.html 17 http://www.readwriteweb.com/archives/skyrider_and_p2pfuture.php [...]...TÀI LIỆU THAM KHẢO Tiếng Việt 1 Nguyễn Hoài Sơn, Hồ Sĩ Đàm, Tìm kiếm thông tin theo các giá trị thuộc tính trên mạng ngang hàng có cấu trúc , Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội, 2008 2 TS Nguyễn Đại Thọ, “Công nghệ mạng ngang hàng , Bộ môn Mạng & Truyền thông Máy tính Khoa Công nghệ Thông tin, trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội, 2006-2007 Tiếng Anh 3... Implementation of an Intentional Naming Systems”, In Proceedings of ACM Symposium on Operating Systems Principles, Dec 1999 4 M Balazinska, H Balakrishnan, and D Karger, "INS/Twine: A Scalable Peer-to-Peer Architecture for Intentional Resource Discovery", In Proceedings of International Conference on Pervasive Computing, August 2002 5 J Gao and P Steenkiste, "Design and Evaluation of a Distributed Scalable... Biersack, G Urvoy-Keller K.W Ross, “Data Indexing in Peer-to-Peer DHT Networks”, In Proceedings of 24rd International Conference on Distributed Computing Systems, March 2004 7 K Gummadi_, R Gummadiy, S Gribblez, S Ratnasamyx, S Shenker, I Stoica, “The Impact of DHT Routing Geometry on Resilience and Proximity”, SIGCOMM’03, August 25–29, 2003, Karlsruhe, Germany 8 Matthew Harren, Joseph M Hellerstein, Ryan Huebsch,... Francis, M Handley and R Karp, “A Scalable Content-Addressable Network”, In Proceedings of ACM SIGCOMM’01, Aug 2001 11 A Rowstron and P Druschel, “Pastry: Scalable, distributed object location and routing for large-scale peer-to-peer systems”, In Proceedings of IFIP/ACM International Conference on Distributed Systems Platforms, Nov 2001 12 I Stoica, R Morris, D Karger, M.F Kaashoek, H Balakrisnan,