NGHIÊN cứu GIẢI PHÁP tìm KIẾM tài NGUYÊN HIỆU QUẢ THEO tên MIỀN TRÊN MẠNG NGANG HÀNG có cấu TRÚC

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Đỗ Việt Kiên NGHIÊN CỨU GIẢI PHÁP TÌM KIẾM TÀI NGUYÊN HIỆU QUẢ THEO TÊN MIỀN TRÊN MẠNG NGANG HÀNG CĨ CẤU TRÚC KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ Thơng tin Cán hướng dẫn: TS Nguyễn Hoài Sơn HÀ NỘI - 2010 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI CẢM ƠN Em xin chân thành cảm ơn thầy cô giáo trường Đại học Công nghệ Đại học Quốc gia Hà Nội tận tình giúp đỡ truyền đạt kiến thức cho em suốt năm học qua để em có đủ kiến thức hồn thành khóa luận Đặc biệt, em xin gửi lời cảm ơn sâu sắc tới thầy Nguyễn Hoài Sơn – người nhiệt tình giúp đỡ, định hướng động viên em q trình nghiên cứu hồn thành khóa luận Em xin cảm ơn nhiệt tình chia sẻ kinh nghiệm, đóng góp ý kiến nhóm nghiên cứu thầy Nguyễn Hoài Sơn hướng dẫn, anh chị cao học Mặc dù cố gắng hoàn thành khóa luận này, xong khóa luận khó tránh khỏi thiếu sót, kính mong q thầy tận tình bảo giúp em Một lần em xin cảm ơn tất người Hà Nội, tháng năm 2010 Sinh viên Đỗ Việt Kiên LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tóm tắt Ngày nay, phát triển dịch vụ cung cấp tài nguyên mạng khiến cho việc xây dựng hệ thống có khả tìm kiếm nhanh tài nguyên theo yêu cầu cần thiết Thách thức đặt để hệ thống hoạt động tốt hệ thống mạng quy mô lớn tiềm tàng nhiều biến động Một mối quan tâm khác cách người dùng diễn tả tìm kiếm tài nguyên mà họ mong muốn Khóa luận trình bày giải pháp tìm kiếm thơng tin hệ thống mạng ngang hàng với thành phần máy phân tích, đóng vai trị kho liệu lưu trữ tài nguyên xử lý u cầu tìm kiếm Giải pháp thực thi việc mơ tả tài nguyên câu trúc thuộc tính-giá trị có khả biểu diễn cao, mơ tả mềm dèo xác tài nguyên Tầng phủ DHT với chế ánh xạ khóa đến liệu sử dụng giúp hệ thống đạt hiệu việc tìm kiếm nhanh mở rộng quy mô Tuy nhiên, để hỗ trợ việc tìm kiếm mở rộng sử dụng truy vấn tổng quát, giải pháp cung cấp thêm khả ánh xạ từ dải khóa đến tập hợp tài nguyên để tiến chế – mạng DHT Ngoài hệ thống giải vấn đề cân lưu trữ máy phân tích LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mục lục Mở đầu Chương Tổng quan tìm kiếm tài nguyên mạng 1.1 Tầm quan trọng tài nguyên dịch vụ cung cấp tài nguyên 1.2 Tổng quan hệ thống tìm kiếm tài nguyên mạng 1.2.1 Giới thiệu 1.2.2 Diễn đạt tài nguyên 1.2.3 Kiến trúc hệ thống 10 1.2.4 Tìm kiếm phân bổ tài nguyên 12 1.2.5 Đánh giá chung 16 Chương Tìm kiếm tài ngun mạng ngang hàng có cấu trúc 17 2.1 Tổng quan mạng ngang hàng 17 2.1.1 Khái niệm mạng ngang hàng 17 2.1.2 Đánh giá ưu nhược điểm mạng ngang hàng .18 2.2 Mạng ngang hàng có cấu trúc .19 2.2.1 Kiến trúc mạng 19 2.2.2 Giao thức Chord 20 Mô hình mạng Chord 21 Ánh xạ khóa vào nút Chord .22 Tìm kiếm mạng Chord .22 Tham gia ổn định mạng 23 2.3 Một số giải pháp tìm kiếm tài nguyên mạng ngang hàng có cấu trúc 23 2.3.1 Hệ thống INS/TWINE .24 2.3.2 Data Indexing[4] .28 3.1 Vấn đề giải 32 3.2 Ý tưởng 34 3.3 Chi tiết giải pháp 39 3.4 Đánh giá chung giải pháp .43 4.1 Môi trường mô 44 4.1.1 Xây dựng chương trình mơ 44 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4.1.2 Các tham số mô 45 4.2 Đánh giá kết 47 4.2.1 Hiệu phân bổ tài nguyên 47 4.2.2 Hiệu xử lý truy vấn 52 5.1 Kết luận 55 5.2 Hướng phát triển đề tài 56 Tài liệu tham khảo .57 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh mục hình ảnh Hình 1: Mơ tả tài ngun dạng Hình 2:Mơ tả tài ngun dạng cặp thẻ [thuộc tính = giá trị] .10 Hình 3: Sơ đồ kiến trúc mạng INS 11 Hình 4:Ví dụ việc phân bổ tài nguyên hệ thống 14 Hình :Thuật tốn tìm kiếm tài nguyên theo tên miền .15 Hình : Một mạng Chord với nút 21 Hình 10 Lưu giữ key mạng Chord 22 Hình 11: Ví dụ mơ tả tài ngun INS/TWINE .24 Hình 12: Kiến trúc hệ thống INS/TWINE 25 Hình 13: Ví dụ việc chia nhánh từ avtree 25 Hình 14: Việc quản lý trạng thái hệ thơng INS/Twine .27 Hình 15 Ví dụ đặc tả file hệ thống Indexing 28 Hình 16: Đồ thị biểu diễn câu truy vấn đưa ví dụ .29 Hình 17 : Lược đồ mục cho liệu thư mục (bibliographic database) 30 Hình 18 : Ví dụ index liệu .31 Hình 19: Ví dụ mơ tả tài ngun hệ thống .35 Hình 21 : Ví dụ mơ tả truy vấn giải pháp .41 Hình 22: Biều đồ phân tích số lượng thực tài nguyên, trường hợp mô tả chung chia nhánh nút 48 Hình 23 :Biều đồ phân tích số lượng thực tài nguyên, trường hợp mô tả chung chia nhánh nút 49 Hình 24: Biều đồ phân tích số lượng lưu nút mạng, trường hợp mô tả chung chia nhánh nút 50 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 25: Biều đồ phân tích số lượng lưu nút mạng, trường hợp mô tả chung chia nhánh nút 51 Hình 26 : Biều đồ phân tích số lượng lưu nút mạng, trường hợp mô tả chung chia nhánh nút 52 Hình 27: Biều đồ đánh giá hiệu truy vấn thông qua số lượng hope truy vấn .53 Hình 28: Biểu đồ đánh giá hiệu việc thực truy vấn thông qua số lượng truy vấn / nút mạng 54 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mở đầu Trong năm gần đây, Internet không xa lạ đời sống người Sự phát triển lớn mạnh Internet giúp cho người trao đổi,chia sẻ thơng tin hay tài nguyên cách dễ dàng Tuy nhiên lượng thông tin vô lớn thông tin hữu ích tất người, cá nhân khác có nhu cầu thơng tin khác Do việc xây dựng hệ thống tìm kiếm thơng tin, tài ngun mạng cần thiết Các máy tìm kiếm phổ biết kể đến Google[15], Yahoo[16], ngồi cịn nhiều hệ thống tìm kiếm tương tự khác Điểm chung hệ thống hỗ trợ việc tìm kiếm dựa từ khóa xuất nội dung websites Chúng không cung cấp khả tìm kiếm thơng tin nhiều loại tài nguyên khác dịch vụ cung cấp thông tin trực tuyến, hay dạng tài nguyên phổ biến khác files tài nguyên chia sẻ mạng ngang hàng Hệ thống DNS[9] xem hệ thống tìm kiếm tài nguyên đơn giản, ánh xạ tên miền tới IP Nhưng mô tả tài nguyên hệ thống chưa hiệu với tài nguyên phức tạp có nhiều thuộc tính Việc xây dựng hệ thống tìm kiếm tài ngun khơng đơn giản, phải chịu tác động từ nhiều yếu tố Trước tiên, hệ thống phải chịu tác động thay đổi động trong hệ thống mạng, ví dụ : việc vào nút, thay đổi vị trí, địa thiết bị Sự thay đổi thường xuyên mạng thách thức với việc định vị thiết bị tài nguyên trình tìm kiếm Thứ hai, thách thức việc lưu trữ số lượng lớn tài nguyên hệ thống Với phát triển số lượng dịch vụ theo nhu cầu người sử dụng số lượng tài ngun khơng ngừng tăng lên việc phân bổ lưu trữ chúng hợp lý vấn đề quan trọng Thêm vào tài nguyên cần cập nhật thường xuyên hệ thống cần phải có chế giúp nhà cung cấp dịch vụ thực điều Để xây dựng hệ thống hoạt động hiệu quả, hệ thống cần số yêu cầu quan trọng Thứ nhất, cần có thức mơ tả tài ngun tốt, mang tính biểu đạt cao, diễn đạt mềm dẻo tích chất đa dạng tài nguyên Thứ hai, hệ thống phải có khả mở rộng tốt để triển khai quy mô mạng lớn Thứ ba, hệ thống phải đảm bảo hiệu tìm kiếm phân bổ tài nguyên Hiệu tìm kiếm đánh giá qua thời gian thực yêu cầu việc cân tải nút hệ thống trước nhiều yêu cầu tìm kiếm Hiệu phân bổ tài nguyên đánh giá thông qua số lượng so với tài nguyên thực LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com cân lưu trữ tài nguyên nút mạng Cuối cùng, cần phải đảm bảo tính sẵn sàng hệ thống trước vấn đề hỏng hóc, bảo trì, hay cập nhật thiết bị Khóa luận đưa giải pháp cụ thể dựa luận điểm Một hệ thống có khả diễn đạt tài nguyên tốt hệ thống INS với việc sử dụng định danh để biểu diễn cặp thuộc tính – giá trị cách có thự tự, theo cấu trúc phân cấp Mỗi mơ tả có sử dụng định danh tương đương với thuộc tính – giá trị Để đảm bảo khả tìm kiếm phân bố hiệu hệ thống đề xuất việc sử dụng mạng ngang hàng có cấu trúc Trong mạng ngang hàng có cấu trúc, thơng điệp định tuyến theo khóa cách hiệu với số hop khoảng O(logN) N số node mạng Các ưu điểm khác mạng đem lại cho hệ thống khả mở rộng, tính sẵn sàng trường hợp xử lý lỗi đảm bảo cân tải nút Tuy nhiên, giải thuật bảng băm phân tán hỗ trợ tìm kiếm xác tài ngun theo khóa tương ứng, hệ thống cần có khả trả lời truy vấn theo dải (partial query) Khóa luận đề xuất việc tìm kiếm theo dải ID, việc thực cách xây dựng cấu trúc lưu trữ dựa dải ID cấp phát mạng ngang hàng phía Việc xây dựng sau, tầng đầu nút root quản lý toàn dải ID, tầng tiếp theo, dải ID chia nhỏ cho nút quản lý, thông tin tài nguyên thực lưu nút Nhờ đó, tìm kiếm đến nút hệ thống ánh xạ đến dải ID mà quản lý, nút khơng phải nút lá, dải ID chứa tồn dải ID nút nhờ việc tìm kiếm dải ID cho kết tập hợp tài nguyên thỏa mãn yêu cầu chứa nút Việc sử dụng dải ID để ánh xạ giúp hệ thống chống chịu tốt với việc hỏng hóc nút mạng, nút mạng rời nút mạng dải ID trả lời kết Để đánh giá hiệu giải pháp đề xuất, khóa luận xây dựng chương trình mơ với số lượng lớn nút mạng ảo tài nguyên ảo Các kết thử nghiệm chứng minh cho hiệu giải pháp đề Khóa luận chia thành năm chương: Chương 1: Giới thiệu tổng quan tầm quan trọng tài nguyên dịch vụ cung cấp tài nguyên, sơ lược hệ thống tìm kiếm tài nguyên mạng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 2: Đề cập đến việc thực hệ thống tìm kiếm tài nguyên mạng ngang hàng có cấu trúc, ưu điểm giới thiệu số hệ thống thực thi Chương 3: Từ hệ thống phương pháp giải trình bày chương trước đưa đánh giá chung mục tiêu phát triển Trên sở đề đạt ý tưởng giải pháp để xây dựng hệ thống chia sẻ tài nguyên Chương 4: Xây dựng chương trình mơ phỏng, bước thực thi chương trình đánh giá từ kết đạt Chương 5: Kết luận, vấn đề nảy sinh hướng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Qua việc sử dụng thuật tốn tìm kiếm ta thấy với truy vấn đến xác tài nguyên cụ thể hệ thống sử dụng hàm multicast mà cần sử dụng khóa kMIN để xác định nút chứa tài nguyên Thêm vào việc nhánh tách từ truy vấn có chiều sâu càng lớn việc tìm kiếm hiệu dải ID ánh xạ bé hơn, với truy vấn mà có chiều sâu nhánh bé dải ID lớn làm cho nút phải tham gia truy vấn tăng lên, nhược điểm giải thuật Tuy nhiên với việc hỗ trợ tốt tìm kiếm theo dải ID, giúp tìm kiếm tài nguyên thỏa mãn partial query độ phức tạp tính tốn tìm kiếm thấp giải thuật có vượt trội so với giải thuật hệ thống khác 3.4 Đánh giá chung giải pháp Mô tả tài nguyên sử dụng hiệu đem lại độ xác cao phân loại tổng hợp tài nguyên Tính diễn tả tốt giúp người dùng hệ thống tùy biến việc diễn tả tài nguyên, việc sử dụng cặp thuộc tính giá trị khác Sử dụng tầng phủ DHT làm tăng khả mở rộng cho hệ thống, hệ thống trở nên dễ cài đặt có tính vững Về tìm kiếm giải pháp với việc tìm kiếm thực chất dựa tìm kiếm khóa qua ánh xạ đến giá trị thật thơng tin Ngoài việc hỗ trợ truy vấn theo dải thực tốt nhờ sử dụng ánh xạ dải ID với tập hợp tài nguyên Với hỗ trợ mạng Chord việc tìm kiếm có độ phức tạp biến thiên theo hàm logarit Khả tìm kiếm nhanh rõ ràng thực cách hiệu Hàm băm phân tán sử dụng giúp cho việc phân bổ tài nguyên nhị phân, thực thêm tài nguyên việc sử dụng hàm băm để tính tốn dải ID chịu trách nhiệm có độ phức tạp thuật tốn log(N).Việc cân tài nút mạng thực tốt nhờ giao thức tầng phủ cộng với việc nút (các nút mô tả tài nguyên) gần tầng root chịu quản lý dải ID rộng chia sẻ tải nhiều số lượng nút mạng nhiều 43 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương Đánh giá hiệu giải pháp mô Để thấy hiệu giải pháp xem xét ưu điểm nó, cần có thống kê, thể hoạt động thực mạng Trên lý thuyết việc thực giải pháp hệ thống thực mang lại đánh giá hiệu Nhưng điều kiện để xây dựng mạng với kích thước lớn khó khăn thực tế , ta lựa chon việc mơ mạng Chương trình bày chương trình mơ phỏng, bước để thực chương trình mơ phỏng, chạy thử, thống kê kết đánh giá Việc mơ đem lại sai khác so với thực tế nên mục đích chương đưa đánh giá sơ bộ, tổng quát 4.1 Môi trường mô Chương trình mơ bao gồm hai phần liệu thực thi Phần liệu bao gồm loại liệu mô thông tin tài nguyên phần mã nguồn chương trình tạo chúng Phần thực thi phần mô tả hoạt động mạng ngang hàng Chord tầng phủ ứng dụng mà ta xây dựng tầng Ngoài có mơ cho mơ hình sở hạ tầng mạng phía tầng vật lý 4.1.1 Xây dựng chương trình mơ Để thực q trình mơ phỏng, trước tiên cần có mơ hình mạng tầng liên kết vật lý hệ thống, thời gian trễ nút mạng bỏ qua hệ thống thực mô việc truy vấn phân bổ tài nguyên ảnh hưởng đến việc lưu trữ tới nút hệ thống, số lượng liệu Chương trình xây dựng topo mạng đơn giản theo điều kiện giả định Vì mạng giả lập với yêu cầu đơn giản, nên điều kiện mang tính quy ước, tham số dựa vào mạng thực tế kinh nghiệm nhóm làm khóa luận Chương trình thực ngôn ngữ C, gồm việc mô giao thức Chord tầng phủ, ứng dụng tìm kiếm tài ngun phía Ứng dụng tìm kiếm bao gồm hàm chức phục vụ việc truy vấn phân bổ tài nguyên Các đối tượng xây dựng để thiết lập giao thức Chord phía bao gồm: 44 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Areas : Đối tượng lưu trữ thông tin miền, tệp chứa miền, thao tác với liệu miền NodeLocation : Lưu thơng tin vị trí nút, xác nút thuộc miền FingerEntry Thể liên kết (entry) bảng định tuyến Thuộc tính idSuccessor với ý nghĩa định danh successor khóa mục tiêu entry xét Node : Mô tả thông tin nút mạng với tên, miền mà nút thuộc về, thời gian trễ nội miền, định danh vịng khơng gian địa Chord, định danh successor predeccessor, cuối bảng định tuyến có kiểu FingerEntry Network : Đối tượng lưu trữ toàn thông tin Node tham gia mạng Chord đồng thời cung cấp hàm để hỗ trợ việc định tuyến mạng Chord, kể đến hàm tiêu biểu birth(), death(), fixFingerTables(), findSuccessor() Ta xây dựng ứng dụng hàm cho InputGenerator : Đối tượng chứa phương thức để tạo tệp liệu mô tả phần Bao gồm liệu file contruct.txt file resource.txt để khởi tạo mơ hình mạng tài nguyên phân bổ mạng Dữ liệu nhắc đến phần Distribution : Đây đối tượng cho phép sinh giá trị theo luật phân bố Pareto nêu 4.1.2 Các tham số mơ Chương trình mơ sử dụng nhiều loại liệu Các liệu mô tài nguyên liệu mô sở mạng tầng vật lý Phần nói đến ý nghĩa tệp liệu, cấu trúc liệu lưu trữ file liệu, việc tạo tệp liệu trình bày cách chi tiết chương Thông tin miền Thông tin miền bao gồm số lượng miền Các nút mạng miễn, ta sử dụng 1.000 nút mô mạng ngang hàng sử dụng giao thức Chord 45 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Các nút mô tả file construct.txt bắt đầu hệ thống thêm nút (máy tính) vào hệ thống Quá trình thêm nút vào hệ thống làm thay đổi bảng định tuyến nút, successor precessor nút giao thức Chord Công việc hệ thống tự động thực Dữ liệu file construct.txt tạo hàm sinh ngẫu nhiên theo luận phân bổ Pareto[11] File construct.txt gồm trường liệu mô tả định danh nút vùng phụ thuộc nút Thông tin tài nguyên Một file liệu khác sử dụng danh sách tài nguyên resource.txt sinh theo phân bổ Zipf[12], số lượng tài nguyên sử dụng 100.000, cặp thuộc tính – giá trị xem phổ biến xuất nhiều lần tài nguyên Tổng số cặp thuộc tính giá trị sử dụng 100.000 cặp sinh ngẫu nhiên Các tài nguyên mô tả định danh tương ứng với thuộc tính giá trị Các tham số cây: Số tầng, gồm từ đến 10 tầng sinh ngẫu nhiên, tầng thuộc tính giá trị phân phổi cho từ cặp thuộc tính – giá trị sinh Các cặp thuộc tính giá trị chọn ưu tiên theo thứ tự tầng gần root cặp thuộc tính giá trị phổ biến Với nút root, số nút root random từ đến Với nút khác cây, số nhánh random từ đến 4, số nhánh nút nút File liệu resource.txt lưu liệu gồm dịng dịng mơ tả nhánh cấu trúc tài nguyên có định dạng bên Định dạng liệu : n a1 v1 a2 v2 … am vm Trong n số thự tự tài nguyên mà nhánh thuộc về, a1, a2,…, am thuộc tính v1, v2, …, vm giá trị lấy từ cặp thuộc tính giá trị sinh 46 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4.2 Đánh giá kết Phần trình bày kết mơ đạt Kết đánh giá tập trung vào tiêu chí Hiệu việc phân bổ tài nguyên, hiệu xử lý truy vấn 4.2.1 Hiệu phân bổ tài nguyên Để thấy hiệu việc phân bổ tài nguyên hệ thống Ta tính tốn việc số lượng thực tài nguyên mà hệ thống phải lưu trữ Và việc thay đổi mô tả chia nhỏ với số nhánh khác Cụ thể ta có thống kê : Số lượng tài nguyên phân bổ vào hệ thống Số lượng tài nguyên lưu trữ nút hệ thống Với tham số đưa vào để đánh giá 100.000 tài nguyên tài nguyên mô tả định danh dạng tài nguyên có tham số giống với phần truy vấn tìm kiếm : Mỗi gồm từ đến 10 tầng, tầng thuộc tính giá trị Bắt đầu root, số nút root random từ đến Tương tự với nút khác số nhánh từ đến 4, số nhánh nút nút Ta thấy nhánh gốc đến nút cho ta giá trị băm khác lưu trữ nơi khác nhau, hình vẽ ta đánh giá dựa tổng số tài nguyên 47 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com T ổ n g s ố tà i n g u y ê n (% ) 100 80 60 40 20