Xây dựng ứng dụng dựa trên mạng ngang hàng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHỊNG NGÀNH CƠNG NGHỆ THƠNG TIN ====== ISO 9001:2000 BÁO CÁO ĐỒ ÁN TỐT NGHIỆP Tên đề tài: Xây dựng ứng dụng dựa mạng ngang hàng Giáo viên hướng dẫn: TS Phạm Hồng Thái CN Lương Việt Nguyên Sinh viên thực : Nguyễn Thị Hoa Lớp: CT 702 Mã số sinh viên: 10401 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com NỘI DUNG CHÍNH I Mục đích đề tài II Kỹ thuật tạo mục cho tài liệu tìm kiếm dựa mục III Giải pháp xây dựng ứng dụng IV Cài đặt chƣơng trình V Kết luận hƣớng phát triển LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com I MỤC ĐÍCH CỦA ĐỀ TÀI  Tìm hiểu mạng ngang hàng  Xây dựng chương trình ứng dụng chia sẻ file mạng ngang hàng theo kiến trúc lai ghép cung cấp khả tìm kiếm theo nội dung tài liệu văn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com II KỸ THUẬT TẠO CHỈ MỤC CHO TÀI LIỆU VÀ TÌM KIẾM DỰA TRÊN CHỈ MỤC Tổ chức mục tìm kiếm  Tìm kiếm cách hiệu file văn  Xâu truy vấn bao gồm tập hợp từ cụm từ  Nhiệm vụ thao tác tìm kiếm trả danh sách file mà nội dung chúng có chứa từ, cụm từ xâu truy vấn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com  Phương pháp thực quét lần file văn lưu lại danh sách thành tố có file, thông tin kèm với thành tố  Các thông tin tổ chức theo cấu trúc liệu riêng gọi mục Tạo mục  Có ba phương pháp chủ yếu để tạo mục dựa việc sử dụng cấu trúc: file đảo ngược, mảng hậu tố file chữ ký  File đảo ngược cấu trúc dùng để tạo mục phương pháp hướng từ LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com  Cấu trúc file đảo ngược bao gồm hai thành phần bản: bảng từ vựng bảng vị trí Hình 1: Tạo mục theo cấu trúc file đảo ngược LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com  Để giảm kích thước lưu trữ bảng vị trí ta dùng kỹ thuật đánh địa khối Hình 2: Tạo mục theo cấu trúc file đảo ngược sử dụng kỹ thuật đánh địa khối LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tìm kiếm dựa mục Thuật tốn tìm kiếm chia làm bước:  Tìm kiếm bảng từ vựng  Thu thập danh sách thơng tin vị trí từ, cụm từ tìm sau bước thơng qua bảng vị trí  Xử lý thơng tin thu thập tạo danh sách kết tìm kiếm LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Xếp hạng kết tìm kiếm  Tiêu chí để xếp kết tìm kiếm độ liên quan kết với truy vấn tìm kiếm người dùng đưa  Bài toán xác định độ liên quan truy vấn q với tài liệu thư viện C cho trước  Thuật toán xác định độ liên quan: Thuật toán TF-IDF(Term Frequency – Inverse Document Frequency) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com  Xét toán đơn giản: truy vấn q gồm tập hợp từ khóa ki Văn D thuộc thư viện C ta có: R(q) = Σ R(ki) (1) * R(q) độ liên quan q với D * R(ki) độ liên quan từ khóa ki với D  Xét phạm vi văn D: Tần suất xuất từ khóa văn tỉ lệ thuận với độ liên quan với văn  Đại lượng tần suất xuất từ khóa ki gọi tf(i) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 4: Hoạt động chế cập nhật mục tìm kiếm dựa mục LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 15 Cấu trúc mục  Các trường thông tin liên quan đến định danh tài liệu: * session_id * document_id  Các trường thông tin liên quan đến việc định vị tài liệu: * IP_address * path  Các trường thông tin liên quan đến việc tìm kiếm nội dung tài liệu: * name * content LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 16 Đánh giá giải pháp  Ưu điểm: * Giúp phân chia công việc cập nhật mục cho hai phía – điểm nút máy chủ tìm kiếm – nhằm bảo đảm khai thác tốt tài nguyên mạng * Theo dõi tồn tài liệu chia sẻ mạng  Nhược điểm: Nguy tải với máy chủ tìm kiếm  Khắc phục: * Nâng cấp khả xử lý mở rộng băng thông đầu vào máy chủ tìm kiếm * Cách giảm tỉ lệ kích thước mục tài liệu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 17 IV CÀI ĐẶT CHƢƠNG TRÌNH Mô tả thƣ viện mã nguồn mở Lucene a Khái quát Lucene Hình 5: Nhiệm vụ, chức thư viện Lucene [8] LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 18  Nhiệm vụ Lucene: * Tạo mục cho tài liệu để xây dựng nên hệ thống mục * Tiếp nhận xâu truy vấn người dùng, thực tìm kiếm dựa hệ thống mục có trả kết b Tổ chức mục logic Lucene  Document  Field  Term LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 19 Xây dựng khai thác mục Lucene Lớp IndexWriter Lớp IndexReader Lớp QueryParser Lớp IndexSearcher Tổ chức chƣơng trình Khối chức Bộ phận triển khai phía máy chủ tìm kiếm bao gồm: * Lớp Server * Lớp ServerThread  Bộ phận triển khai phía điểm nút bao gồm: * Lớp ClientPeer * Lớp Indexer c     a  LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 20 b Khối giao diện ngƣời dùng  Cửa sổ giao diện chương trình (Lớp MainWindow) Hình 6: Cửa sổ giao diện chương trình LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 21 Hình 7: Hộp thoại chọn tài liệu chia sẻ LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 22  Cửa sổ tìm kiếm (Lớp SearchWindow) Hình 8: Cửa sổ giao diện tìm kiếm LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 23 b Khối giao tiếp ngang hàng  Lớp FileServer  Lớp FileServerThread  Lớp FilePeerThread c Sơ đồ lớp chƣơng trình LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 24 V KẾT LUẬN VÀ CÁC HƢỚNG PHÁT TRIỂN Kết luận  Trình bày tổng quan mạng chia sẻ file ngang hàng Một số phương pháp, kỹ thuật tạo mục tìm kiếm dựa mục giới thiệu nhằm mục tiêu áp dụng chúng để xây dựng ứng dụng chia sẻ file ngang hàng có khả tìm kiếm theo nội dung  Giải pháp để xây dựng ứng dụng đề xuất dựa chế cộng tác việc quản lý, cập nhật hệ thống mục máy chủ tìm kiếm điểm nút  Xây dựng chương trình thử nghiệm LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 25 Các hướng phát triển:  Đưa vào kiến thức lĩnh vực xử lý ngôn ngữ tự nhiên sử dụng phương pháp xếp hạng kết tìm kiếm tiên tiến nhằm làm tăng chất lượng tìm kiếm, bám sát yêu cầu người dùng  Tiến hành cài đặt bổ sung số thư viện để hỗ trợ cho chương trình thử nghiệm ban đầu phân tích thêm nhiều định dạng văn (doc, pdf, …), từ mở rộng khả tìm kiếm nhiều loại văn khác  Cải tiến theo hướng tổ chức mạng khơng có mà nhiều máy chủ tìm kiếm kết nối với trao đổi thông tin mục hỗ trợ việc đáp ứng truy vấn Giúp tăng khả mở rộng 26 mạng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÀI LIỆU THAM KHẢO [1] Napster Home Page http://www.napster.com/ [2] Gnutella Development Home Page http://gnutella.wego.com/ [3] Freenet Home Page http://freenet.sourceforge.com/ [4] ICQ Home Page http://www.icq.com/ [5] SETI@ Home Page http://setiathome.ssl.berkely.edu/ [6] Lucene Home Page http://lucene.apache.org/ [7] Beverly Yang and Hector Garcia-Molina, “Comparing Hybrid Peer-toPeer Systems” Stanford University, USA [8] Erik Hatcher and Otis Gospodnetic, “Lucene in Action”, Manning Publications Co, 2005 [9] F.Cuenca-Acuna and T.Nguyen, “Text-based content search and retrieval in ad hoc p2p communities”, Technical Report DCS-TR-483, Rutgers University, 2002 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 27 [10] J Heaps Information Retrieval – Computational and Theoretical Aspects Academic Press, 1978 [11] Juan Ramos, “Using TF-IDF to Determine Word Relevance in Document Queries ”, Department of Computer Science – Rutgers University, 2003 [12] Kian Pokorny, “Peer to Peer Networking and Filesharing”, CSI 490 Senior Semina, 2004 [13] Ramesh Subramanian and Brian D Goodman, “Peer to Peer Computing: The Evolution of a Disruptive Technology”, Idea Group, 2005 [14] R.A Baeza-Yates and B.A Ribeiro-Neto, “Modern Information Retrieval.” ACM Press Series / Addision Wesley, New York, 1999 [15] Songmei Han, Bijit Hore, Ilya Issenin, Sean McCarthy and Shannon Tauro, “HollyShare: Peer-to-Peer File Sharing Application”, Final Report, 2001 [16] Stephanos Androutsellis-Theotokis and Diomidis Spinellis, A Survey of Peer-to-Peer Content Distribution Technologies, ACM Computing Surveys, December 2004 [17] V.Kalogeraki, D.Gunopulos and D Zeinalipour-Yazti, “A local search mechanism for peer-to-peer network”, In Proc Of the 11th International Conference on Information Knowledge Managament, 2002 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 28 Em xin chân thành cảm ơn! LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 29 ... bày tổng quan mạng chia sẻ file ngang hàng Một số phương pháp, kỹ thuật tạo mục tìm kiếm dựa mục giới thiệu nhằm mục tiêu áp dụng chúng để xây dựng ứng dụng chia sẻ file ngang hàng có khả tìm... luanvanchat@agmail.com I MỤC ĐÍCH CỦA ĐỀ TÀI  Tìm hiểu mạng ngang hàng  Xây dựng chương trình ứng dụng chia sẻ file mạng ngang hàng theo kiến trúc lai ghép cung cấp khả tìm kiếm theo nội dung... add luanvanchat@agmail.com 11 III GIẢI PHÁP XÂY DỰNG ỨNG DỤNG Khái quát ý tƣởng Ứng dụng thực chức lớn sau:  Cho phép người dùng điểm nút tham gia vào mạng tiến hành chia sẻ dừng chia sẻ tài liệu