Đang tải... (xem toàn văn)
i Số hóa bởi Trung tâm Học liệu – ĐHTN http //www ltc tnu edu vn ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG HOÀNG MINH THỦY NGHIÊN CỨU CÁC PHƢƠNG PHÁP TRÍCH CHỌN THÔNG TIN[.]
i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG - HỒNG MINH THỦY NGHIÊN CỨU CÁC PHƢƠNG PHÁP TRÍCH CHỌN THƠNG TIN VÀ ỨNG DỤNG TRÍCH CHỌN THƠNG TIN DU LỊCH TRONG VĂN BẢN TIẾNG VIỆT Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC GS VŨ ĐỨC THI Thái Nguyên – 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn ii LỜI CAM ĐOAN Tác giả Hoàng Minh Thủy xin cam kết nội dung Luận văn chƣa đƣợc nộp cho chƣơng trình cấp cao học nhƣ chƣơng trình đào tạo cấp khác Ngoài ra, tác giả xin cam kết Luận văn thạc sĩ nỗ lực riêng cá nhân tác giả Các kết quả, phân tích, kết luận Luận văn thạc sĩ (ngồi phần đƣợc trích dẫn) kết làm việc cá nhân tác giả Thái Nguyên, ngày 10 tháng 11 năm 2015 Tác Giả Hoàng Minh Thủy Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn iii LỜI CẢM ƠN Lời em xin gửi lời cảm ơn chân thành đến Các quý thầy cô giáo, Tổ chuyên môn Trƣờng Đại học Công nghệ thông tin Truyền thông - Đại học Thái Nguyên tận tình giảng dạy, truyền đạt kiến thức, kinh nghiệm quý báu suốt thời gian em theo học trƣờng Các kiến thức, kinh nghiệm quý báu Quý thầy cô giáo không giúp cá nhân em hoàn thiện hệ thống kiến thức học tập mà cịn giúp em ứng dụng kiến thức công tác tại đơn vị Đặc biệt, em xin chân thành cảm ơn thầy giáo GS Vũ Đức Thi nhiệt tình tâm huyết việc định hƣớng giúp đỡ em hoàn thành luận văn Ngoài ra, em xin chân thành cảm ơn Ban lãnh đạo cán viên chức Trƣờng Đại học Lâm nghiệp tạo điều kiện cung cấp ý kiến quý báu kiến thức thực tiễn cho em thực luận văn tốt nghiệp Em xin đƣợc bày tỏ tình cảm với gia đình, đồng nghiệp, bạn bè tạo điều kiện để cá nhân em dành thời gian cho khóa học Xin chân thành cảm ơn ngƣời bạn lớp cao học CK13, năm qua luôn động viên, khích lệ hỗ trợ em trình học tập Trong trình thực Luận văn cố gắng hết mình, song chắn luận văn em cịn nhiều thiếu sót Em mong nhận đƣợc bảo vào đóng góp tận tình thầy để luận văn em đƣợc hoàn thiện Thái Nguyên, ngày 10 tháng 11 năm 2015 Tác Giả Hồng Minh Thủy Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn iv MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN iii MỤC LỤC iv DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH .viii MỞ ĐẦU 1.1.Sự cần thiết lựa chọn đề tài 1.2.Mục tiêu đề tài 1.3.Đối tƣợng phạm vi nghiên cứu 1.4.Phƣơng pháp nghiên cứu 1.5.Cấu trúc luận văn Chƣơng TỔNG QUAN VỀ TRÍCH CHỌN THƠNG TIN VÀ BÀI TỐN TRÍCH CHỌN THƠNG TIN DU LỊCH 1.1.Tổng quan trích chọn thơng tin 1.1.1 Bài toán trích chọn thực thể 1.1.2 Bài tốn trích chọn quan hệ .7 1.1.3 Bài tốn trích chọn cụm từ khóa 1.2.Bài tốn trích chọn thơng tin du lịch 1.3.Ý nghĩa tốn trích chọn thơng tin du lịch 10 1.3.1 Ý nghĩa khoa học 10 1.3.2 Ý nghĩa thực tế 10 1.4.Ứng dụng tốn trích chọn thơng tin du lịch 10 1.4.1 Hệ thống tìm kiếm tư vấn du lịch 10 1.4.2 Bài toán dự đoán xu hướng du lịch 11 1.5.Kết luận chƣơng 11 Chƣơng 12 MỘT SỐ PHƢƠNG PHÁP TRÍCH CHỌN THƠNG TIN 12 Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn v 2.1.Trích chọn thơng tin dựa vào DOM 12 2.1.1 Khái niệm DOM 12 2.1.2 Xây dựng DOM 13 2.1.3 Sử dụng DOM để trích chọn thơng tin 14 2.2.Trích chọn thơng tin dựa tập luật 15 2.2.1 Hình thức biểu diễn luật .16 2.2.2 Đặc trưng từ tố (token) .16 2.2.3 Tập luật xác định thực thể đơn 16 2.2.4 Các luật đánh dấu biên thực thể .18 2.2.5 Các luật xác định nhiều thực thể .18 2.2.6 Đánh giá phương pháp tiếp cận dựa luật 19 2.3.Trích chọn thơng tin dựa học máy 19 2.4.Phƣơng pháp kết hợp phân tích mã HTML luật 20 2.5.Kết luận chƣơng 21 Chƣơng 22 BÀI TỐN TRÍCH CHỌN TOUR DU LỊCH TRÊN MỘT SỐ TRANG THÔNG TIN ĐIỆN TỬ TIẾNG VIỆT 22 3.1.Bài tốn trích chọn thơng tin du lịch số trang thông tin điện tử tiếng Việt 22 3.1.1 Phát biểu toán 22 3.1.2 Ý tưởng giải 23 3.2.Phƣơng pháp giải toán 23 3.2.1 Bộ thu thập liệu 25 3.2.2 Bộ lọc liệu 26 3.2.3 Bộ trích chọn tour 27 3.2.4 Bộ trích chọn thuộc tính 29 Chƣơng 38 THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 38 4.1.Bài toán thử nghiệm 38 Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn vi 4.2.Môi trƣờng công cụ thử nghiệm 38 4.2.1 Môi trường thử nghiệm 38 4.2.2 Công cụ phần mềm sử dụng để thử nghiệm .39 4.3.Xây dựng sở liệu 39 4.4.Thử nghiệm quy trình trích chọn tour du lịch 41 4.4.1 Thu thập liệu (Web Crawler) 41 4.4.2 Lọc liệu .44 4.4.3 Trích chọn tour du lịch thuộc tính 46 4.5.Phân tích lỗi 49 4.5.1 Phân tích lỗi lọc liệu .49 4.5.2 Phân tích lỗi q trình trích chọn .51 4.6.Một số ứng dụng kết trích chọn tour du lịch 51 4.6.1 Thống kê theo định danh 52 4.6.2 Thống kê theo giá tour .54 4.6.3 Thống kê theo thời gian 55 4.7.Kết luận chƣơng 57 KẾT LUẬN .58 TÀI LIỆU THAM KHẢO 59 Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn vii DANH MỤC CÁC BẢNG Bảng 1.1 Bảng phân loại thực thể Bảng 4.1 Cấu hình hệ thống thử nghiêm 38 Bảng 4.2 Công cụ phần mềm có sẵn 39 Bảng 4.3 Kết lọc viết chứa thông tin tour du lịch 45 Bảng 4.4 Kết trích chọn tour du lịch trích chọn thuộc tính 47 Bảng 4.5 Bảng thống kê số tour theo địa danh du lịch 52 Bảng 4.6 Bảng thống kê số tour theo giá 54 Bảng 4.7 Bảng thống kê số tour theo thời gian du lịch 56 Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn viii DANH MỤC CÁC HÌNH Hình 2.1 Mơ hình biểu diễn DOM 12 Hình 2.2 Minh họa sử dụng visual cue 14 Hình 2.3 Minh họa DOM dùng mẫu trích chọn 15 Hình 3.1 Mơ hình tốn trích chọn 25 Hình3.2 Mơ hình làm việc thu thập liệu 25 Hình 3.3 Mơ hình làm việc lọc liệu 26 Hình 3.4 Các thơng tin chi tiết tour website Du lịch Dấu Chân 30 Hình 3.5 Các thơng tin chi tiết tour website Du lịch Năm Châu 30 Hình 3.6 Các thông tin chi tiết tour website Du lịch Quốc tế Nét Việt 31 Hình 3.7 Các thơng tin chi tiết tour website Du lịch AMI TOUR 31 Hình 3.8 Các thơng tin chi tiết tour website Du lịch Giấc Mơ Việt 32 Hình 3.9 Các thơng tin chi tiết tour website Du lịch Việt 33 Hình 3.10 Các thông tin chi tiết tour website Du lịch Á Châu 34 Hình 3.11 Mơ hình làm việc trích chọn thuộc tính 35 Hình 4.1 Thu thập liệu từ trang www.dulichnamchau.vn 43 Hình 4.2 Quá trình thu thập liệu từ trang www.dulichnamchau.vn 44 Hình 4.3 Kết lọc viết chứa thông tin tour du lịch 46 Hình 4.4 Kết trích chọn tour du lịch 48 Hình 4.5 Giao diện tra cứu tour du lịch 49 Hình 4.6 Lỗi lọc liệu thông tin dạng lựa chọn 50 Hình 4.7 Lỗi lọc liệu khơng có thơng tin tour du lịch 50 Hình 4.8 Biểu đồ thống kê số tour theo địa danh du lịch 53 Hình 4.9 Biểu đồ thống kê số tour theo giá tiền 55 Hình 4.10 Biểu đồ thống kê số tour theo thời gian 56 Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn MỞ ĐẦU 1.1 Sự cần thiết lựa chọn đề tài Trích chọn thơng tin (IE - Information Extraction) lĩnh vực nghiên cứu quan trọng khai phá liệu văn [3, 4] Trích chọn thơng tin q trình thu thập thơng tin từ nguồn liệu theo nhiều định dạng khác nhau, khơng đồng nhất, chí khơng có định dạng cụ thể, sau chuyển thành dạng đồng Dữ liệu sau trích chọn đƣợc lƣu vào sở liệu để xử lý hay đƣợc sử dụng cho hệ thống khai phá liệu Từ liệu, thơng tin đƣợc trích chọn sử dụng kỹ thuật phân tích, khai phá để khám phá mẫu thơng tin có ích, tiềm ẩn liệu Ngày nay, với phát triển công nghệ thông tin, Tin học dần đƣợc ứng dụng rộng rãi nhiều lĩnh vực nhƣ kinh tế, du lịch, thƣơng mại, y tế, ngân hàng mang lại nhiều lợi ích to lớn Nền kinh tế khơng ngừng phát triển, đời sống văn hố - xã hội ngày đƣợc nâng cao du lịch trở thành nhu cầu thiếu sống ngƣời dân, trang web du lịch hàng loạt thông tin tour du lịch nƣớc ngồi nƣớc Tuy nhiên lƣợng thơng tin tour du lịch Internet vô lớn, gây khó khăn cho ngƣời có nhu cầu du lịch việc lựa chọn địa điểm tham quan, lựa chọn công ty cung cấp dịch vụ,… Do vậy, toán đặt cần phải xây dựng hệ thống tìm kiếm tƣ vấn du lịch, giúp ngƣời dùng lựa chọn đƣợc tour du lịch phù hợp với yêu cầu đề Để có hệ thống tìm kiếm tƣ vấn tốt trƣớc tiên ta phải xây dựng đƣợc tập liệu có độ xác cao Cùng với tốn trích chọn thơng tin du lịch văn tiếng Việt Để tiến đến tìm hiểu đƣợc vấn đề trên, em lựa chọn đề tài “Nghiên cứu phương pháp trích chọn thơng tin ứng dụng trích chọn thơng tin du lịch văn Tiếng Việt” làm luận văn tốt nghiệp Thạc sĩ Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn 1.2 Mục tiêu đề tài Tìm hiểu phƣơng phƣơng pháp trích chọn thơng tin xây dựng mơ hình giải tốn trích chọn thông tin tour du lịch từ trang thông tin điện tử tiếng Việt Internet 1.3 Đối tƣợng phạm vi nghiên cứu Đối tƣợng nghiên cứu đề tài phƣơng pháp tiếp cận giải tốn trích chọn thơng tin văn tiếng Việt trang thông tin điện tử tiếng Việt mạng Internet lĩnh vực du lịch Phạm vi nghiên cứu đề tài tốn trích chọn thông tin tour du lịch số trang thôn tin điện tử tiếng Việt (website) mạng Internet 1.4 Phƣơng pháp nghiên cứu Phƣơng pháp nghiên cứu đề tài nghiên cứu lý thuyết nghiên cứu thực nghiệm Về nghiên cứu lý thuyết, đề tài tổng hợp kết nghiên cứu phƣơng pháp trích chọn thơng tin từ văn tiếng Việt phục vụ phân tích, thống kê, báo cáo, định Về nghiên cứu thực nghiệm, đề tài xây dựng cài đặt, thử nghiệm mơ hình trích chọn thông tin du lịch từ số trang web du lịch tiếng Việt mạng Internet 1.5 Cấu trúc luận văn Cấu trúc luận văn gồm: mở đầu, bốn chƣơng chính, kết luận tài liệu tham khảo Phần mở đầu: Lý chọn đề tài bố cục luận văn Chương 1: Giới thiệu tổng quan tốn trích chọn thơng tin số lĩnh vực nghiên cứu liên quan Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn Chương 2: Trình bày số phƣơng pháp trích chọn thơng tin Trên sở tìm hiểu, luận văn sử dụng số phƣơng pháp tiếp cận để giải toán trích chọn thơng tin du lịch văn tiếng Việt Chương 3: Đƣa mơ hình trích chọn thơng tin du lịch văn tiếng Việt Chương 4: Cài đặt, thử nghiệm mơ hình trích chọn thơng tin du lịch số trang web du lịch tiếng Việt mạng Internet Phần kết luận: Tóm tắt kết đạt đƣợc hƣớng phát triển tiếp đề tài Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn Chƣơng TỔNG QUAN VỀ TRÍCH CHỌN THƠNG TIN VÀ BÀI TỐN TRÍCH CHỌN THƠNG TIN DU LỊCH Chƣơng giới thiệu tổng quan trích chọn thơng tin tốn trích chọn thơng tin du lịch văn tiếng Việt 1.1 Tổng quan trích chọn thơng tin Trích chọn thơng tin lĩnh vực quan trọng khai phá liệu văn bản, đƣợc định nghĩa nhƣ sau: Trích chọn thông tin (IE – Information Extraction) [3, 4] trình lấy thơng tin từ nguồn định dạng khơng đồng chí khơng có định dạng cụ thể dạng văn diễn đạt ngơn ngữ tự nhiên, sau chuyển thành dạng đồng Dữ liệu sau trích chọn đƣợc sử dụng, trình bày trực tiếp cho ngƣời dùng, lƣu vào sở liệu để xử lý sau hay sử dụng cho hệ thống tìm kiếm thơng tin nhƣ liệu qua bƣớc tiền xử lý Từ liệu, thơng tin đƣợc trích chọn ta sử dụng kỹ thuật phân tích, khai thác liệu (Data Mining) để khám phá mẫu thơng tin hữu ích Chẳng hạn việc cấu trúc lại mẫu tin quảng cáo, mẫu tin bán hàng internet giúp hỗ trợ tƣ vấn, định hƣớng ngƣời dùng mua sắm Việc trích chọn cấu trúc lại mẫu tin tìm ngƣời, tìm việc giúp cho q trình phân tích thơng tin nghề nghiệp, xu hƣớng công việc, … hỗ trợ cho ngƣời tìm việc, nhƣ nhà tuyển dụng Trích chọn thơng tin khơng địi hỏi hệ thống phải đọc hiểu nội dung tài liệu văn bản, nhƣng hệ thống phải có khả phân tích tài liệu tìm kiếm thông tin liên quan mà hệ thống mong muốn đƣợc tìm thấy Các kỹ thuật trích chọn thơng tin áp dụng cho tập tài liệu mà cần rút thông tin chính, cần thiết nhƣ kiện liên quan Các kho liệu văn lĩnh vực internet ví dụ điển hình, Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn thông tin tồn nhiều nơi khác nhau, dƣới nhiều định dạng khác Sẽ hữu ích cho khảo sát ứng dụng nhƣ thông tin thuộc lĩnh vực liên quan đƣợc trích chọn, tích hợp lại thành hình thức thống biểu diễn cách có cấu trúc Khi thơng tin internet đƣợc chuyển vào sở liệu có cấu trúc phục vụ cho ứng dụng phân tích khai thác khác Các nghiên cứu liên quan đến trích chọn thơng tin văn tập trung vào: 1) Trích chọn từ khóa (Keyphrase Extraction): Tìm kiếm thuật ngữ có liên quan, thể ngữ nghĩa, nội dung, chủ đề tài liệu hay tập tài liệu 2) Trích chọn thực thể có tên (Named Entity Recognition): Việc trích chọn thực thể có tên tập trung vào phƣơng pháp nhận diện đối tƣợng, thực thể nhƣ: tên ngƣời, tên công ty, tên tổ chức, địa danh, nơi chốn 3) Trích chọn quan hệ (Relationship Extraction): Cần xác định mối quan hệ thực thể nhận biết từ tài liệu Chẳng hạn xác định nơi chốn cho tổ chức, công ty hay nơi làm việc ngƣời [2, 3] 1.1.1 Bài tốn trích chọn thực thể Con ngƣời, thời gian, địa điểm… đối tƣợng văn Mục đích tốn trích chọn thực thể xác định đối tƣợng từ giúp cho ngƣời đọc việc hiểu rõ văn Bài tốn trích chọn thực thể tốn đơn giản tốn trích chọn thơng tin, lại bƣớc nên đƣợc thực trƣớc giải toán phức tạp lĩnh vực Rõ ràng để xác định đƣợc mối quan hệ thực thể ta phải xác định đƣợc đâu thực thể tham gia vào mối quan hệ Bài tốn trích chọn thực thể văn tìm câu trả lời cho câu hỏi: ?, ?, đâu ?, [19] Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn Bảng 1.1 Bảng phân loại thực thể Tên nhãn Ý nghĩa PER Tên ngƣời ORG Tên tổ chức LOC Tên địa danh NUM Số PCT Phần trăm CUR Tiền tệ TIME Ngày tháng, thời gian MISC Những loại thực thể khác ngồi loại O Khơng phải thực thể Ý nghĩa tốn trích chọn thực thể Một hệ thống trích chọn thực thể tốt đƣợc ứng dụng nhiều lĩnh vực khác nhau, cụ thể đƣợc sử dụng để: 1) Hỗ trợ web ngữ nghĩa Web ngữ nghĩa trang Web biểu diễn liệu “thơng minh” (có khả kết hợp, phân lớp khả suy diễn liệu đó) Sự thành cơng Web ngữ nghĩa phụ thuộc vào ontology nhƣ phát triển trang Web đƣợc giải siêu liệu tuân theo ontology Mặc dù lợi ích mà ontology đem lại lớn nhƣng việc xây dựng chúng cách tự động lại khó khăn Vì lý này, cơng cụ trích chọn thơng tin tự động từ trang web để “làm đầy” ontology nhƣ hệ thống trích chọn thực thể cần thiết 2) Xây dựng máy tìm kiếm hƣớng thực thể Ngƣời dùng tìm thấy trang Web nói “Clinton” địa danh Bắc Carolina cách nhanh chóng mà khơng phải duyệt qua hàng trăm trang Web nói tổng thống Bill Clinton 3) Trích chọn thực thể đƣợc xem nhƣ bƣớc tiền xử lý làm đơn giản hóa tốn nhƣ dịch máy, tóm tắt văn Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn 4) Nhƣ đề cập trên, hệ thống trích chọn thực thể đóng vai trị thành phần cho tốn trích chọn thông tin phức tạp 5) Trƣớc đọc tài liệu, ngƣời dùng đọc lƣớt qua tên ngƣời, tên địa danh, tên công ty đƣợc đề cập đến 6) Tự động đánh số cho sách Trong sách, tài liệu phần lớn mục loại thực thể.[2, 3] 1.1.2 Bài tốn trích chọn quan hệ Các nghiên cứu trích chọn thực thể, nhƣ quan hệ đƣợc tổ chức MUC (Message Understanding Conferences) ACE (Automatic Content Extration) đầu tƣ thúc đẩy phát triển Trích chọn quan hệ bắt đầu đƣợc quan tâm từ hội thảo MUC lần thứ năm 1998, từ ngày đƣợc ý đến Trích chọn quan hệ việc xác định mối quan hệ ngữ nghĩa thực thể văn hay câu Chẳng hạn xác định nơi chốn cho tổ chức, công ty hay nơi làm việc ngƣời Ví dụ từ đoạn văn bản: “James Gosling vào làm việc cho Sun Microsystems từ năm 1984 nằm Silicon Valley ” ta nhận diện đƣợc thực thể, loại thực thể quan hệ chúng nhƣ sau: 1) CON NGƢỜI làm việc TỔ CHỨC: nhận diện đƣợc hai thực thể “James Gosling” “Sun Microsystems” Mối quan hệ hai thực thể “làm việc” 2) TỔ CHỨC nằm NƠI CHỐN: nhận diện đƣợc hai thực thể “Sun Microsystems” “Silicon Valley”; mối quan hệ hai thực thể “nằm tại” [14] Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn Ứng dụng Trích chọn quan hệ đƣợc ứng dụng nhiều lĩnh vực khác Lĩnh vực phải nhắc tới việc xây dựng sở tri thức mà điển hình xây dựng Ontology – phần nhân Web ngữ nghĩa Trong lợi ích mà Web ngữ nghĩa đem lại lớn việc xây dựng ontology cách thủ cơng lại khó khăn Giải pháp cho vấn đề kĩ thuật trích chọn thơng tin nói chung trích chọn quan hệ nói riêng để tự động hóa phần q trình xây dựng ontology Trích chọn quan hệ đƣợc sử dụng nhiều hệ thống hỏi đáp Một số hệ thống hỏi đáp đƣợc xây dựng dựa vào việc trích chọn tự động từ, khái niệm mối quan hệ Ngồi ra, trích chọn quan hệ cịn có ứng dụng lĩnh vực xử lý ảnh nhƣ phát ảnh qua đoạn văn (text-to-image generation) Trích chọn quan hệ công cụ đắc lực lĩnh vực cơng nghệ sinh học nhƣ tìm quan hệ bệnh tật - Genes, ảnh hƣởng qua lại protein-protein (Protein-Protein interaction)…[1, 12] 1.1.3 Bài tốn trích chọn cụm từ khóa Cụm từ khóa đƣợc xem thành phần hay dạng siêu liệu (Meta Data) thể nội dung tài liệu văn [18] Mục đích hầu hết nghiên cứu trích chọn cụm từ khóa nhằm tìm kiếm đặc trƣng tốt để mã hóa văn [8, 17, 18] ứng dụng hệ thống phân loại, gom cụm, tóm tắt tìm kiếm văn Tùy vào đặc trƣng ngơn ngữ có phƣơng pháp khác để tìm kiếm cụm từ khóa Hầu hết phƣơng pháp dựa kỹ thuật truyền thống đƣợc dùng xử lý ngôn ngữ tự nhiên nhƣ tiền xử lý văn bản, tách đoạn, tách câu, tách từ, phân tích cú pháp, phân tích ngữ nghĩa, thống kê học máy [18] Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn Ứng dụng 1) Các kho liệu văn lớn nhƣ thƣ viện số phát triển nhanh, điều dẫn đến gia tăng giá trị thơng tin tóm tắt 2) Hỗ trợ ngƣời dùng nhận biết nội dung tài liệu kho tài liệu 3) Ứng dụng truy vấn thông tin, mô tả tài liệu trả từ kết truy vấn Định hƣớng tìm kiếm cho ngƣời dùng 4) Nền tảng cho mục tìm kiếm 5) Là đặc trƣng dùng kỹ thuật phân loại, gom cụm tài liệu [5, 10] 1.2 Bài tốn trích chọn thơng tin du lịch Bài tốn “Trích chọn thơng tin du lịch” phần tốn trích chọn thơng tin, ta sử dụng phƣơng pháp trích chọn miền liệu du lịch Mục tiêu tốn trích chọn thơng tin du lịch văn tiếng Việt trích thơng tin đặc trƣng tour du lịch có viết, chuyển thơng tin dạng có cấu trúc để làm liệu cho việc xây dựng hệ thống tìm kiếm tƣ vấn du lịch Hệ thống tƣ vấn du lịch hệ thống hỗ trợ ngƣời dùng lựa chọn dịch vụ du lịch phù hợp với thân Đồng thời, hệ thống có khả đƣa giải pháp đề nghị tƣơng ứng với yêu cầu cho Hệ thống tƣ vấn du lịch tƣơng tự nhƣ chuyên gia du lịch, hiểu rõ vấn đề chuyên môn nhằm tƣ vấn cho khách hàng chọn lựa dịch vụ Khi sử dụng hệ thống ngƣời khách du lịch nhập vào số tiền dành cho việc du lịch địa danh muốn đến, hệ thống tìm kiếm đƣa tất tour du lịch đáp ứng đƣợc yêu cầu hỗ trợ tƣ vấn cho du khách tour phù hợp Trong phạm vi luận văn, tác giả tập trung vào mục tiêu trích chọn thơng tin đặc trưng tour du lịch từ trang thông tin điện tử tiếng Việt (Website) Internet Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn 10 Chỉ xây dựng đƣợc tập liệu xác, đầy đủ hình thành nên hệ thống tƣ vấn hiệu 1.3 Ý nghĩa tốn trích chọn thông tin du lịch 1.3.1 Ý nghĩa khoa học Đây hƣớng khai phá liệu văn nói chung thơng tin nói riêng, đƣợc nghiên cứu ứng dụng rộng rãi 1.3.2 Ý nghĩa thực tế Bài tốn trích chọn thơng tin du lịch có ý nghĩa lớn thực tế, hầu hết ngƣời muốn du lịch tìm hiểu thông tin Internet, nhƣng giới thiệu tour du lịch, hay địa danh dài, chí khơng có thơng tin cần thiết, mục đích tìm hiểu tour du lịch đâu, xuất phát, thời gian bao lâu, khởi hành vào thời điểm quan trọng giá thành bao nhiêu, toán đáp ứng đƣợc việc trích đầy đủ thông tin mà ngƣời dùng cần biết tour du lịch Từ thơng tin đó, ngƣời dùng định có lựa chọn tour du lịch hay khơng cách nhanh chóng 1.4 Ứng dụng tốn trích chọn thơng tin du lịch 1.4.1 Hệ thống tìm kiếm tư vấn du lịch Hệ thống tìm kiếm tƣ vấn du lịch hệ thống đƣa tất tour du lịch phù hợp với yêu cầu hỗ trợ ngƣời dùng lựa chọn tour du lịch phù hợp Đồng thời, hệ thống cịn có khả đƣa giải pháp đề nghị tƣơng ứng với yêu cầu cho Ví dụ du khách cần chọn tour du lịch, thơng tin mà ngƣời quan tâm đến là: thơng tin tour (giá từ công ty du lịch khác nhau, bao lâu, di chuyển phƣơng tiện gì, khách sạn nào,…), thông tin công ty cung cấp Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn 11 dịch vụ (chế độ khuyến mãi, chất lƣợng dịch vụ, ), v.v Họ phải tốn nhiều thời gian đề tìm kiếm tổng hợp thơng tin để định chọn tour Hệ thống tìm kiếm tƣ vấn dịch vụ giúp trích chọn, tổng hợp thông tin theo yêu cầu đƣa tour phù hợp 1.4.2 Bài toán dự đoán xu hướng du lịch Từ việc đƣa đƣợc thông tin tour du lịch website, ta thống kê đƣợc số tour đến địa điểm du lịch, từ dự đốn đƣợc thông tin sau: địa điểm du lịch đƣợc coi thu hút với du khách, địa điểm du lịch vắng du khách, công ty cung cấp dịch vụ có tour du lịch mạnh gì, tour nƣớc hay nƣớc ngồi, cơng ty có liên kết mạnh với địa điểm du lịch cụ thể hay khơng? Ví dụ sau trích chọn thơng tin tour du lịch, ta thống kê thấy 100 tour có 80 tour đến địa danh liên quan đến biển, ta kết luận du lịch Biển tour hot thời điểm Ví dụ website du lịch, ta thống kê đƣợc tour du lịch miền bắc có tần số xuất nhiều hẳn so với tour du lịch tới vùng miền khác ta dự đốn điểm mạnh cơng ty du lịch tour miền bắc lựa chọn tour du lịch miền bắc công ty đƣợc cung cấp dịch vụ tốt so với tour tới vùng miền khác 1.5 Kết luận chƣơng Trong chƣơng 1, luận văn trình bày khái niệm nghiên cứu tốn trích chọn thơng tin, đồng thời giới thiệu tốn trích chọn thơng tin du lịch, ý nghĩa ứng dụng toán khoa học thực tế Trong chƣơng tiếp theo, luận văn trình bày số phƣơng pháp tiếp cận giải tốn trích chọn thơng tin Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn 12 Chƣơng MỘT SỐ PHƢƠNG PHÁP TRÍCH CHỌN THƠNG TIN Có nhiều phƣơng pháp nhƣ giải thuật đƣợc sử dụng để giải tốn trích chọn thơng tin Chƣơng giới thiệu số phƣơng pháp trích chọn thơng tin phƣơng pháp dựa luật, phƣơng pháp phân tích mã HTML thành DOM, phƣơng pháp trích chọn thông tin dựa học máy phƣơng pháp kết hợp phân tích mã HTML luật Trong phần cuối, luận văn phân tích ƣu điểm, nhƣợc điểm phƣơng pháp trên, từ lựa chọn phƣơng pháp phù hợp cho toán chƣơng 2.1 Trích chọn thơng tin dựa vào DOM 2.1.1 Khái niệm DOM Theo W3C DOM (Document Object Model) giao diện lập trình ứng dụng (API) cho văn HTML hợp lệ văn XML có cấu trúc chặt chẽ Nó định nghĩa cấu trúc logic văn cách thức văn đƣợc truy cập thao tác [20] Dƣới đoạn mã html đơn giản đƣợc biểu diễn dƣới dạng DOM nhƣ sau: Dạng biểu diễn DOM mã HTML HiHello
Link Hình 2.1 Mơ hình biểu diễn DOM Số hóa Trung tâm Học liệu – ĐHTN http://www.ltc.tnu.edu.vn ... tốn trích chọn thơng tin du lịch văn tiếng Việt Để tiến đến tìm hiểu đƣợc vấn đề trên, em lựa chọn đề tài ? ?Nghiên cứu phương pháp trích chọn thơng tin ứng dụng trích chọn thơng tin du lịch văn Tiếng. .. tốn trích chọn thơng tin du lịch Bài tốn ? ?Trích chọn thơng tin du lịch? ?? phần tốn trích chọn thơng tin, ta sử dụng phƣơng pháp trích chọn miền liệu du lịch Mục tiêu tốn trích chọn thơng tin du lịch. .. THƠNG TIN VÀ BÀI TỐN TRÍCH CHỌN THƠNG TIN DU LỊCH Chƣơng giới thiệu tổng quan trích chọn thơng tin tốn trích chọn thơng tin du lịch văn tiếng Việt 1.1 Tổng quan trích chọn thơng tin Trích chọn