Tìm kiếm văn bản tiếng việt

MỤC L LỜI MỞ ĐẦU PHẦN I CƠ SỞ LÝ THUYẾT .3 I.TIẾNG VIỆT VÀ NGỮ PHÁP TIẾNG VIỆT 1.Tính xác văn tiếng Việt Từ tiếng Việt .4 2.1 Từ đơn_từ ghép 2.2 Từ loại 2.3 Dùng từ cấu tạo ngữ Câu tiếng Việt 3.1 Câu đơn Các đặc điểm tiếng Việt 10 4.1 Đặc điểm tả .11 4.2 Vấn đề đa nghĩa nhập nhằng ngôn ngữ 12 II MỘT SỐ KỸ THUẬT KHAI PHÁ DỮ LIỆU VĂN BẢN .13 Biểu diễn văn 13 Sinh từ ( Term Generation) 14 Lọc từ (Term Filter) 15 Các kỹ thuật khai phá 15 2.1 Khai phá luật kết hợp (Association Rules) 16 2.2 Lập mục tự động (Auto indexing) 17 Phân nhóm văn .18 III MỘT SỐ PHƯƠNG PHÁP TÌM KIẾM VĂN BẢN 20 Tìm hiểu chung hệ thống khai thác thông tin 20 Tìm kiếm văn theo mơ hình khơng gian vectơ 21 2.1 Độ xác độ truy hồi .21 2.2 Bảng tần xuất 23 2.3 Chỉ dẫn ngữ nghĩa tiềm ẩn (Latent Sematic Indexing LSI) 25 2.4.Tìm kiếm tài liệu dùng SVD .32 2.5 TV_Tree 33 2.5.1 Thiết lập TV_Tree 33 2.5.2.Chèn vào TV_Tree 34 2.5.3.Tìm kiếm TV_Tree 36 Tìm kiếm văn theo mơ hình tập thơ dung sai .38 3.1 Khái niệm tập thô không gian dung sai 39 3.2 Mơ hình tập thô dung sai (TRSM) việc khai thác thông tin 41 3.2.1 Không gian dung sai: .41 3.2.2 Giải thuật tìm kiếm văn sử dụng TRSM 44 3.3 Hàm xếp hạng xếp hạng phụ việc đánh giá mức độ xác tài liệu 47 PHẦN II PHƯƠNG ÁN GIẢI QUYẾT VÀ CÀI ĐẶT THỬ NGHIỆM49 I PHƯƠNG ÁN GIẢI QUYẾT 49 II CÀI ĐẶT THỬ NGHIỆM _57 TIỀN XỬ LÝ VĂN BẢN TIẾNG VIỆT .57 1.1 Tổ chức từ điển 57 1.2 Tổ chức sở liệu văn 58 1.3 Xác định từ khoá văn 58 Xử lý liệu để phục vụ cho mơ hình tìm kiếm văn phương pháp tập thô dung sai 60 Tính khơng gian dung sai xấp xỉ xấp xỉ .60 Tìm kiếm văn sử dụng mơ hình tập thô dung sai 68 HƯỚNG PHÁT TRIỂN TRONG TƯƠNG LAI 71 TÀI LIỆU THAM KHẢO 73 MỤC LỤC HÌNHY Hình 1: Mơ hình xác định từ đại diện cho văn 13 Hình 2: Truy vấn văn 21 Hình 3: Thu nhỏ kích thước qua SVD 28 Hình Kiến trúc hệ thống 55 Hình 5: Tổ chức lưu trữ từ điển 57 Hình 6: Sơ đồ lưu trữ sở liệu văn 58 Hình 7:Giao diện ứng dụng tách từ có nghĩa cho văn 59 Hình 8: Giao diện thực tính khơng gian dung sai cho term 65 Hình 9: Giao diện thực tính xấp xỉ cho văn 68 Hình 10: Giao diện phục vụ tìm kiếm văn 69 Đồ án tốt nghiệp Tìm kiếm văn b¶n tiÕng ViƯt LỜI MỞ ĐẦU Chúng ta biết nguồn tài nguyên lưu trữ dạng liệu văn rộng lớn giàu thông tin việc khai thác nguồn liệu chưa đạt hiệu cao Hiện nay, giới có nhiều hệ thống thực cơng việc theo phương pháp khác chưa đạt hiệu tối ưu phần đáp ứng yêu cầu thông tin người sử dụng Mỗi phương pháp khác thể điểm mạnh riêng việc lựa chọn phương pháp phụ thuộc vào mục đích tiêu chí riêng đặt Hiện nay, gia tăng phương tiện truyền thông việc lưu trữ bùng nổ sở liệu lớn làm cho việc tìm kiếm văn trở nên quan trọng hết Chính vậy, việc lựa chọn phương pháp tìm kiếm văn giúp cho người sử dụng tìm kiếm thơng tin cần thiết cách xác hiệu từ nguồn tài liệu văn rộng lớn phục vụ cho mục đích cơng việc đời sống cần thiết Nhận thức tầm quan trọng việc khai thác liệu văn bản, em lựa chọn đề tài: “ Tìm kiếm văn tiếng Việt” Với đề tài em sâu vào nghiên cứu việc tìm kiếm văn tiếng Việt sử dụng lý thuyết tập thô tập thô dung sai (Tolerance Rough Set Model) Đây phương pháp hiệu cho mục đích khai phá liệu tìm kiếm văn tiếng Việt phần giải vấn đề đồng nghĩa tiếng Việt mà từ trước chưa có biện pháp giải tốt cho vấn đề đồng nghĩa Đây đề tài tương đối rộng phức tạp thời gian nghiên cứu không nhiều, hiểu biết lĩnh vực bị hạn chế nên đồ án tốt nghiệp khơng tránh khỏi thiếu sót Em mong nhận đóng góp, bảo thêm thầy bạn đọc để đồ án hồn thiện hữu ích thời gian tới Em xin chân thành cảm ơn TS Nguyễn Kim Anh Cô mở cho em hướng nghiên cứu tìm kiếm văn tiếng Việt đồng thời cô tận tình hướng dẫn em suốt trình làm đồ ỏn Trịnh Đức Cờng Trang Đồ án tốt nghiệp Tìm kiếm văn tiếng Việt anh Lu Anh Tun anh Lê Minh Hiền người tận tình giúp em q trình làm đồ án Tơi xin cảm ơn bạn học khoa đóng góp ý kiến cho tơi để hồn thành đồ án mt cỏch tt hn Trịnh Đức Cờng Trang Đồ án tốt nghiệp Tìm kiếm văn tiếng Việt PHN I CƠ SỞ LÝ THUYẾT I.TIẾNG VIỆT VÀ NGỮ PHÁP TIẾNG VIỆT 1.Tính xác văn tiếng Việt Khi nghiên cứu văn tiếng Việt gặp nhiều khó khăn việc tin học hố phục vụ cho việc khai phá nguồn liệu văn tiếng Việt Một khó khăn ngữ pháp tiếng Việt Để phân tích kiểm tra tính xác văn tiếng Việt, phải tiến hành phân tích từ vựng, phân tích cú pháp, phân tích ngữ nghĩa, phân tích chứng thực Phân tích từ vựng: Q trình nhằm phân tích hình thái từ tạo nên câu từ kiểm tra tính đắn âm tiết từ Phân tích cú pháp: Q trình đưa mơ tả quan hệ vai trị ngữ pháp từ câu đồng thời đưa hình thái câu Đầu vào giai đoạn câu phân tách từ, từ có đặc điểm hình thái định Q trình kiểm tra cú pháp tiến hành phân tích tổ hợp từ đầu vào, dựa luật cú pháp để loại bỏ trường hợp bất quy tắc bước dựng lên cấu trúc cú pháp câu Đầu giai đoạn hình thái câu Các luật cú pháp thường xây dựng theo chế mở, nghĩa sửa đổi, bổ sung hay loại bỏ luật thừa Kết bước phân tích cú pháp phụ thuộc nhiều vào tính xác đầy đủ luật cú pháp Phân tích ngữ nghĩa: Mục đích trình kiểm tra ý nghĩa câu có mâu thuẫn với đoạn hay khơng? Dựa mối quan hệ logic nghĩa cụm từ câu mối quan hệ câu đoạn, hệ thống xác định phần ý nghĩa câu ngữ cảnh đoạn Đầu vào giai đoạn phân tích ngữ nghĩa tập khả phân tích câu thơng tin ngữ nghĩa tất từ Các thực từ thường có nhiều nghĩa nghĩa xác định mối quan hệ giải thích vi cỏc t khỏc cõu Trịnh Đức Cờng Trang Đồ án tốt nghiệp Tìm kiếm văn tiếng ViÖt Một cách tiếp cận nhiều người quan tâm sử dụng logic vị từ để biểu diễn thông tin ngữ nghĩa Thông tin ngữ nghĩa lưu trư giống thông tin cú pháp Các phương pháp lập luận logic dùng để đốn suy luận nhiều thông tin dựa thông tin đầu vào Các thông tin không cần phải phân loại (nhận giá trị hay sai) Mơ hình cấu trúc ngữ pháp câu cấu trúc có đầy đủ nghĩa ngữ pháp thơng báo Có hai cách miêu tả: Miêu tả quan hệ cú pháp từ tổ hợp từ Miêu tả mơ hình hay ý câu Việc miêu tả nhằm cho phép suy đoán ý phận lớn từ từ xác định ý câu Câu thể trọn vẹn tổng phận cấu thành Ý câu tích ý nghĩa yếu tố tham gia với ý nghĩa quan hệ tổng thể cấu trúc câu Từ tổ hợp câu, từ thể phần ý câu Nhưng từ không thiết phải diện câu với nghĩa mà có đóng vai trò đơn vị độc lập cấp độ khác Dựa mơ hình cấu trúc cú pháp câu, ta nhận diện cấu trúc chìm câu (như hành động-chủ thể hành động, hành động - đối tượng hành động…), giúp giải thích ý nghĩa câu vạch tính đa nghĩa chúng Phân tích thực chứng: Quá trình xác định ý nghĩa câu dựa mối quan hệ câu với thực Ý nghĩa thực tế câu phụ thuộc phụ thuộc nhiều vào ý, tứ ngữ cảnh diễn lời nói Do vậy, q trình phân tích thực chứng khó thực máy tính thơng thường, việc phân tích câu dừng mức phân tích phân tích ngữ nghĩa, cịn việc phân tích thực chứng người dùng định Từ tiếng Việt Trong phạm vi cấu tạo từ, phương tiện chủ yếu ngữ pháp kết hợp tiếng Trật tự xếp tiếng có vai trị qua trọng cấu tạo từ Kết hợp phương tiện Có hai phương thức cấu tạo từ chủ yếu láy ghép Láy việc đặt tiếng thành đơi, kề cận nhau, có phối hợp ngữ âm tạo nên nghĩa Còn ghép việc đặt tiếng thành đơi, kề cận nhau, có kết hợp ngữ nghĩa tạo nên nghĩa từ ghộp Trịnh Đức Cờng Trang Đồ án tốt nghiệp Tìm kiếm văn tiếng Việt 2.1 T n_t ghộp Từ tiếng Việt tiếng hay gồm nhiều tiến Hơn nữa, tiếng Việt từ nhiều tiếng ghép tiếng hay từ khác có nghĩa Ví dụ hai từ tiếng từ “đất”, “nước” ghép với thành từ có nghĩa trừu tượng là từ “đất nước” Những từ gọi từ ghép Do tồn từ đơn (là từ tiếng) từ ghép, phải tiến hành nghiên cứu để đề xuất phương án hữu hiệu toán nhận dạng từ câu Khi xem xét từ ghép, thấy có hai loại sau: Từ ghép song song: Mỗi tiếng thường tiếng có nghĩa, dùng từ tiếng, gắn bó với theo quan hệ song song nói chung đổi chỗ cho Trong phối hợp ngữ nghĩa thường có biến đổi nghĩa riêng thành nghĩa hình tượng Ví dụ: Ăn uống, bàn ghế, nhà cửa… Từ ghép phụ: Mỗi tiếng có tiếng có nghĩa, thơng thường có tiếng dùng làm từ cịn tiếng khơng có chức ngữ pháp Tiếng Việt tồn số các từ ghép có nhiều hai tiếng, phát triển từ loại từ ghép phụ, qua chia thành cá phần chính, phần phụ, thuận tiện việc phân tích từ Chính tồn từ ghép (ghép tiếng có nghĩa) nguyên nhân nhập nhằng nghĩa câu Do vậy, để tránh nhập nhằng nghĩa câu, muốn phân tích xử lý văn tiếng Việt cách tốt tốn đặt làm để tách từ câu thật xác TrÞnh Đức Cờng Trang Đồ án tốt nghiệp Tìm kiếm văn tiếng Việt 2.2 T loi Trong ting Vit, từ phân thành nhiều từ loại khác Trong tài liệu “Từ loại danh từ tiếng Việt đại” tác giả Nguyễn Tài Cẩm ta thấy xuất từ loại sau: Danh từ: bàn, ghế, vải vóc, khoa học, kỹ thuật,… Động từ: đi, đứng, nghiên cứu, chăm sóc,… Tính từ: nóng, đẹp, đẹp đẽ, vui vẻ, buồn,… Đại từ: tơi, họ, nó,… Số từ: một, hai, ba,… Loại từ: con, cái,… Quán từ: các, những,… Trạng từ: trên, dưới, trong, ngoài,… Liên từ và, hay, nếu, tuy,… Giới từ: cùng, với, bằng, để,… Phó từ: đã, sẽ, khong, rất,… Trợ từ: nhỉ, nhé, mà,… Tất nhiên việc phân loại có ý nghĩa tương đối, nhiều tài liệu khác có khác cách phân chia theo từ loại Nếu xem xét cách kỹ lưỡng mặt cú pháp, loại từ cịn chia nhỏ Trịnh Đức Cờng Trang Đồ án tốt nghiệp Tìm kiếm văn tiếng Việt 2.3 Dựng t cu to ngữ Ngữ đơn vị ngữ pháp trung gian từ câu Cho nên việc tìm hiểu cấu tạo loại ngữ cần thiết để tìm hiểu cấu tạo câu Qua cấu tạo ngữ, nhận rõ thêm đặc điểm ngữ pháp từ loại Theo “Ngữ pháp tiếng Việt-câu ”của tác giả Hoàng Trọng Hiếu, tiếng Việt có ngữ loại sau: Danh ngữ: Ngữ có danh từ làm trung tâm Động ngữ: Ngữ có động từ làm trung tâm Tính ngữ: Ngữ có tính từ làm trung tâm Giới ngữ: Ngữ bắt đầu giới từ Để xây dựng hệ thống luật cú pháp tốt, ta cần phải chia loại ngữ cách chặt chẽ Và vậy, ta hạn chế số lượng câu sai Chẳng hạn, danh ngữ kết thúc trái (là danh ngữ mà vế trái điểm tận cùng), ta thêm hay bổ sung từ vào đầu để tạo nên danh ngữ Ví dụ “một tốn”; ta khơng thể bổ sung “các”, “những”,… vào trước ngữ Câu tiếng Việt Câu đơn vị dùng từ, hay dùng ngữ mà cấu tạo nên trình tư Xét mặt cấu trúc câu, tiếng Việt có hai loại câu l cõu n v cõu ghộp Trịnh Đức Cờng Trang