báo cáo đồ án tốt nghiệp xây dựng ứng dụng dựa trên mạng ngang hàng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG NGÀNH CÔNG NGHỆ THÔNG TIN ====== ISO 9001:2000 BÁO CÁO ĐỒ ÁN TỐT NGHIỆP Tên đề tài: Xây dựng ứng dụng dựa trên mạng ngang hàng Giáo viên hướng dẫn: TS. Phạm Hồng Thái CN. Lương Việt Nguyên Sinh viên thực hiện : Nguyễn Thị Hoa Lớp: CT 702 Mã số sinh viên: 10401 NỘI DUNG CHÍNH I. Mục đích của đề tài. II. Kỹ thuật tạo chỉ mục cho tài liệu và tìm kiếm dựa trên chỉ mục . III. Giải pháp xây dựng ứng dụng. IV. Cài đặt chƣơng trình. V. Kết luận và hƣớng phát triển. 1 I. MỤC ĐÍCH CỦA ĐỀ TÀI  Tìm hiểu về mạng ngang hàng.  Xây dựng một chương trình ứng dụng chia sẻ file trong mạng ngang hàng theo kiến trúc lai ghép cung cấp khả năng tìm kiếm theo nội dung đối với các tài liệu thuần văn bản. 2 II. KỸ THUẬT TẠO CHỈ MỤC CHO TÀI LIỆU VÀ TÌM KIẾM DỰA TRÊN CHỈ MỤC 1. Tổ chức chỉ mục tìm kiếm.  Tìm kiếm một cách hiệu quả trên file văn bản.  Xâu truy vấn bao gồm một tập hợp các từ hoặc cụm từ.  Nhiệm vụ của thao tác tìm kiếm là trả về danh sách các file mà nội dung của chúng có chứa các từ, cụm từ trong xâu truy vấn. 3  Phương pháp thực hiện quét một lần trên các file văn bản và lưu lại danh sách các thành tố có trong file, các thông tin đi kèm với mỗi thành tố .  Các thông tin này sẽ được tổ chức theo một cấu trúc dữ liệu riêng và được gọi là chỉ mục. 2. Tạo chỉ mục.  Có ba phương pháp chủ yếu để tạo chỉ mục dựa trên việc sử dụng các cấu trúc: file đảo ngược, mảng hậu tố và file chữ ký.  File đảo ngược là một cấu trúc dùng để tạo chỉ mục bằng phương pháp hướng từ. 4  Cấu trúc file đảo ngược bao gồm hai thành phần cơ bản: bảng từ vựng và bảng vị trí. Hình 1: Tạo chỉ mục theo cấu trúc file đảo ngược. 5  Để giảm kích thước lưu trữ bảng vị trí ta dùng kỹ thuật đánh địa chỉ khối. Hình 2: Tạo chỉ mục theo cấu trúc file đảo ngược sử dụng kỹ thuật đánh địa chỉ khối 6 3. Tìm kiếm dựa trên chỉ mục Thuật toán tìm kiếm chia làm 3 bước:  Tìm kiếm trên bảng từ vựng.  Thu thập danh sách thông tin vị trí của từ, cụm từ tìm được sau bước 1 thông qua bảng vị trí.  Xử lý các thông tin thu thập được và tạo ra danh sách kết quả tìm kiếm. 7 4. Xếp hạng kết quả tìm kiếm  Tiêu chí để sắp xếp kết quả tìm kiếm chính là độ liên quan giữa các kết quả với truy vấn tìm kiếm do người dùng đưa ra.  Bài toán xác định độ liên quan giữa một truy vấn q với các tài liệu trong một thư viện C cho trước.  Thuật toán xác định độ liên quan: Thuật toán TF-IDF(Term Frequency – Inverse Document Frequency) 8  Xét bài toán đơn giản: truy vấn q gồm một tập hợp các từ khóa ki. Văn bản D bất kỳ thuộc thư viện C thì ta có: R(q) = Σ R(ki) (1) * R(q) là độ liên quan của q với D. * R(ki) là độ liên quan của từ khóa ki với D.  Xét trong phạm vi văn bản D: Tần suất xuất hiện của một từ khóa trong văn bản tỉ lệ thuận với độ liên quan của nó với văn bản đó.  Đại lượng tần suất xuất hiện này của từ khóa ki được gọi là tf(i). 9 [...]... b Khối giao tiếp ngang hàng  Lớp FileServer  Lớp FileServerThread  Lớp FilePeerThread c Sơ đồ lớp của chƣơng trình 24 V KẾT LUẬN VÀ CÁC HƢỚNG PHÁT TRIỂN Kết luận  Trình bày tổng quan về mạng chia sẻ file ngang hàng Một số phương pháp, kỹ thuật tạo chỉ mục và tìm kiếm dựa trên chỉ mục cũng đã được giới thiệu nhằm mục tiêu áp dụng chúng để xây dựng một ứng dụng chia sẻ file ngang hàng có khả năng... giảm dần 11 III GIẢI PHÁP XÂY DỰNG ỨNG DỤNG 1 Khái quát ý tƣởng Ứng dụng thực hiện được 3 chức năng lớn sau:  Cho phép người dùng tại các điểm nút khi tham gia vào mạng có thể tiến hành chia sẻ và dừng chia sẻ các tài liệu nằm trên máy của mình  Cho phép người dùng có thể đưa ra những truy vấn để tìm kiếm theo nội dung các tài liệu hiện đang được chia sẻ trên phạm vi toàn mạng  Cho phép người dùng... ngang hàng có khả năng tìm kiếm theo nội dung  Giải pháp để xây dựng một ứng dụng như vậy đã được đề xuất dựa trên cơ chế cộng tác trong việc quản lý, cập nhật hệ thống chỉ mục giữa máy chủ tìm kiếm và các điểm nút  Xây dựng được chương trình thử nghiệm 25 Các hướng phát triển:  Đưa vào các kiến thức trong lĩnh vực xử lý ngôn ngữ tự nhiên và sử dụng các phương pháp xếp hạng kết quả tìm kiếm tiên tiến... dùng tải về các tài liệu được chia sẻ nằm trên một điểm nút khác 12 Hình 3: Luồng thông điệp giữa các thành phần trong mạng 13  Trong khuôn khổ một ứng dụng chia sẻ file ngang hàng, có ba sự kiện xảy ra ở phía các điểm nút đòi hỏi phải tiến hành cập nhật hệ thống chỉ mục là: * Chia sẻ một tài liệu * Dừng chia sẻ một tài liệu * Đăng xuất khỏi hệ thống  Người dùng trên một điểm nút tiến hành cập nhật lại... chức năng của thư viện Lucene [8] 18  Nhiệm vụ của Lucene: * Tạo chỉ mục cho các tài liệu để xây dựng nên hệ thống chỉ mục * Tiếp nhận các xâu truy vấn của người dùng, thực hiện tìm kiếm dựa trên hệ thống chỉ mục đã có và trả về kết quả b Tổ chức chỉ mục logic của Lucene  Document  Field  Term 19 Xây dựng và khai thác chỉ mục trong Lucene Lớp IndexWriter Lớp IndexReader Lớp QueryParser Lớp IndexSearcher... content 16 3 Đánh giá giải pháp  Ưu điểm: * Giúp phân chia công việc cập nhật chỉ mục cho cả hai phía – các điểm nút và máy chủ tìm kiếm – nhằm bảo đảm khai thác tốt hơn tài nguyên của mạng * Theo dõi sự tồn tại của các tài liệu chia sẻ trên mạng  Nhược điểm: Nguy cơ quá tải với máy chủ tìm kiếm  Khắc phục: * Nâng cấp khả năng xử lý và mở rộng băng thông đầu vào của máy chủ tìm kiếm * Cách giảm tỉ... thêm nhiều định dạng văn bản (doc, pdf, …), từ đó mở rộng khả năng tìm kiếm trên nhiều loại văn bản khác nhau  Cải tiến theo hướng tổ chức trong mạng không chỉ có một mà nhiều máy chủ tìm kiếm được kết nối với nhau và trao đổi thông tin chỉ mục cũng như hỗ trợ nhau trong việc đáp ứng các truy vấn Giúp tăng khả năng mở rộng 26 của mạng TÀI LIỆU THAM KHẢO [1] Napster Home Page http://www.napster.com/ [2]... Hoạt động của cơ chế cập nhật chỉ mục và tìm kiếm dựa trên chỉ mục 15 2 Cấu trúc chỉ mục  Các trường thông tin liên quan đến định danh của tài liệu: * session_id * document_id  Các trường thông tin liên quan đến việc định vị tài liệu: * IP_address * path  Các trường thông tin liên quan đến việc tìm kiếm nội dung của tài liệu: * name * content 16 3 Đánh giá giải pháp  Ưu điểm: * Giúp phân chia công... Xét trên pham vi toàn bộ thư viện C: từ khóa k xuất hiện trong càng nhiều văn bản thuộc C thì độ liên quan của nó đến D phải càng nhỏ hay R(k) tỉ lệ nghịch với số văn bản trong C có chứa từ khóa k  Tham số . PHÒNG NGÀNH CÔNG NGHỆ THÔNG TIN ====== ISO 9001:2000 BÁO CÁO ĐỒ ÁN TỐT NGHIỆP Tên đề tài: Xây dựng ứng dụng dựa trên mạng ngang hàng Giáo viên hướng dẫn: TS. Phạm Hồng Thái CN. Lương. kiếm dựa trên chỉ mục . III. Giải pháp xây dựng ứng dụng. IV. Cài đặt chƣơng trình. V. Kết luận và hƣớng phát triển. 1 I. MỤC ĐÍCH CỦA ĐỀ TÀI  Tìm hiểu về mạng ngang hàng.  Xây. 11 III. GIẢI PHÁP XÂY DỰNG ỨNG DỤNG 1. Khái quát ý tƣởng Ứng dụng thực hiện được 3 chức năng lớn sau:  Cho phép người dùng tại các điểm nút khi tham gia vào mạng có thể tiến hành chia