Nghiên cứu, xây dựng ứng dụng đọc tin nhanh bằng cách trích rút và tổng hợp thông tin từ các trang web

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGUYỄN THỊ KHUYẾN NGHIÊN CỨU, XÂY DỰNG ỨNG DỤNG ĐỌC TIN NHANH BẰNG CÁCH TRÍCH RÚT VÀ TỔNG HỢP THƠNG TIN TỪ CÁC TRANG WEB LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Đà Nẵng - Năm 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGUYỄN THỊ KHUYẾN NGHIÊN CỨU, XÂY DỰNG ỨNG DỤNG ĐỌC TIN NHANH BẰNG CÁCH TRÍCH RÚT VÀ TỔNG HỢP THƠNG TIN TỪ CÁC TRANG WEB Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Ngƣời hƣớng dẫn khoa học: TS HUỲNH CÔNG PHÁP Đà Nẵng - Năm 2016 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi hướng dẫn trực tiếp thầy TS Huỳnh Công Pháp Các số liệu kết nêu luận văn trung thực chưa công bố cơng trình khác Tác giả NGUYỄN THỊ KHUYẾN MỤC LỤC MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nhiệm vụ 3 Đối tƣợng phạm vi nghiên cứu Phƣơng pháp nghiên cứu Ý nghĩa khoa học thực tiễn đề tài Bố cục luận văn CHƢƠNG CƠ SỞ LÝ THUYẾT 1.1 XỬ LÝ NGÔN NGỮ TỰ NHIÊN 1.1.1 Giới thiệu xử lý ngôn ngữ tự nhiên 1.1.2 Khái niệm ngôn ngữ tự nhiên 1.1.3 Khái niệm xử lý ngôn ngữ tự nhiên 1.2 KHAI PHÁ DỮ LIỆU 12 1.2.1 Định nghĩa khai phá liệu 12 1.2.2 Các dạng liệu khai phá liệu 13 1.2.3 Các hƣớng nghiên cứu khai phá liệu 14 1.2.4 Các ứng dụng khai phá liệu 14 1.3 KHAI PHÁ DỮ LIỆU WEB 15 1.3.1 Khái quát khai phá liệu web 15 1.3.2 Các bƣớc trình khai phá liệu web 16 1.3.3 Các lĩnh vực khai phá liệu web 18 1.3.4 Những khó khăn thuận lợi khai phá liệu web 19 1.4 TỔNG KẾT CHƢƠNG 20 CHƢƠNG GIẢI PHÁP TRÍCH RÚT VÀ TỔNG HỢP THƠNG TIN ĐỂ XÂY DỰNG ỨNG DỤNG ĐỌC TIN NHANH 21 2.1 BÀI TỐN TRÍCH RÚT THƠNG TIN 21 2.1.1 Giới thiệu sơ lƣợc tốn trích rút thơng tin 21 2.1.2 Dữ liệu tốn trích rút thơng tin 24 2.1.3 Hƣớng tiếp cận giải tốn trích rút thơng tin 25 2.1.4 Phân loại hệ thống trích rút thông tin 26 2.2 BÀI TỐN TRÍCH RÚT THƠNG TIN TỪ TRANG WEB 27 2.2.1 Trích rút thơng tin từ trang web dựa cấu trúc DOM 28 2.2.2 Giới thiệu trích rút thơng tin sử dụng biểu thức quy 35 2.3 ÁP DỤNG PHƢƠNG PHÁP TRÍCH RÚT THƠNG TIN ĐỂ XÂY DỰNG ỨNG DỤNG ĐỌC TIN NHANH 37 2.3.1 Các chức ứng dụng đọc tin nhanh 38 2.3.2 Các phƣơng pháp xây dựng trang tin cho ứng dụng 39 2.3.3 Sử dụng DOM để trích rút thông tin cho ứng dụng đọc tin nhanh 41 2.3.4 Giới thiệu thuật tốn trích rút thân văn Body Text Extraction 49 2.3.5 Các giải pháp tổng hợp thông tin cho ứng dụng 50 2.4 TỔNG KẾT CHƢƠNG 51 CHƢƠNG PHÁT TRIỂN ỨNG DỤNG ĐỌC TIN NHANH BẰNG CÁCH TRÍCH RÚT THƠNG TIN TỪ CÁC TRANG WEB 52 3.1 CÀI ĐẶT MÔI TRƢỜNG PHẦN CỨNG VÀ PHẦN MỀM 52 3.1.1 Một số hệ thống đọc tin nhanh đƣợc xây dựng 52 3.1.2 Xây dựng ứng dụng chạy độc lập thiết bị di động 54 3.1.3 Lựa chọn công cụ môi trƣờng lập trình android 55 3.1.4 Cài đặt JDK cấu hình biến mơi trƣờng 56 3.1.5 Cài đặt phần mềm Android Studio 57 3.1.6 Cài đặt máy ảo Genymotion 58 3.1.7 Các công cụ phần mềm khác 62 3.2 CÁC CHỨC NĂNG CƠ BẢN CỦA HỆ THỐNG ĐỌC TIN NHANH 62 3.2.1 Chức tạo tài khoản đăng nhập hệ thống 63 3.2.2 Chức xem thông tin tài khoản 63 3.2.3 Chức cập nhật thông tin tài khoản 63 3.2.4 Chức quản lý trang tin tức 64 3.2.5 Chức đọc tin dựa vào trang tin ngƣời dùng lƣu 64 3.2.6 Chức đọc tin dựa việc ngƣời dùng cung cấp RSS 64 3.2.7 Chức đọc tin mặc định hệ thống 65 3.3 PHÂN TÍCH THIẾT KẾ HỆ THỐNG ĐỌC TIN NHANH 65 3.3.1 Xác định tác nhân ca sử dụng 65 3.3.2 Biểu đồ Use Case 67 3.3.3 Sơ đồ hoạt động ứng dụng đọc tin nhanh 70 3.3.4 Mơ hình thực thể liên kết 74 3.3.5 Thiết kế sở liệu ứng dụng 76 3.4 CÀI ĐẶT VÀ THỬ NGHIỆM ỨNG DỤNG 78 3.4.1 Giao diện trang đăng nhập 78 3.4.2 Giao diện trang đăng ký tài khoán 79 3.4.3 Giao diện trang danh mục chức 80 3.4.4 Giao diện trang thông tin ngƣời dùng 81 3.4.5 Giao diện trang chủ 82 3.4.6 Giao diện trang đọc tin RSS 83 3.4.7 Giao diện chức quản lý trang 84 3.4.8 Giao diện chức đọc tin tức tổng hợp 85 3.5 TỔNG KẾT CHƢƠNG 90 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 91 DANH MỤC TÀI LIỆU THAM KHẢO QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao) PHỤ LỤC DANH MỤC CÁC TỪ VIẾT TẮT Tiếng nƣớc ADV Android Virtual Device CSO Computer Science Ontology DAML DARPA Agent Markup Language DOM Document Object Model DTD Document Type Definition FTP File Transfer Protocol GPRS General Packet Radio Service HTML HyperText Markup Language HTTP The Hypertext Transfer Protocol IE Information Extraction IEEE Institute of Electrical and Electronics Engineers ISBN International Standard Book Number KDD Knowledge Discovery in Database LSI Latent Semantic Indexing NISR National Institute of Standards and Technology RDF Resource Description Framework RDFS Resource Description Framework Schema URL Uniform Resource Locator URI Uniform Resource Identifier XHTML Extensible HyperText Markup Language XML eXtensible Markup Language WWW World Wide Web Tiếng Việt CSDL Cơ sở liệu ĐH Đại học STT Số thứ tự DANH MỤC CÁC BẢNG Số hiệu Tên bảng bảng Trang 2.1 Cấu trúc chi tiết trích rút thơng tin từ trang tin tức 39 2.2 Các phƣơng pháp xây dựng trang tin cho ứng dụng 40 3.1 Yêu cầu phần cứng để cài đặt Android Studio chạy máy ảo 56 3.2 Danh sách phần mềm cần cài đặt để lập trình android 57 3.3 Một số phần mềm sử dụng thực nghiệm 62 3.4 Quan hệ tác nhân ca sử dụng 66 3.5 Các thành phần mơ hình Use Case hệ thống 68 DANH MỤC CÁC HÌNH Số hiệu Tên hình hình Trang 1.1 Cấu trúc nội dung văn web 16 1.2 Các bƣớc trình khai phá liệu web 17 2.1 Bài tốn trích rút thơng tin cho liệu khơng có cấu trúc 22 2.2 Ví dụ tính cấu trúc trang web bán cấu trúc 25 2.3 Dạng biểu diễn DOM mã HTML 28 2.4 Ví dụ xây dựng DOM sử dụng hộp ảo 30 2.5 Mô tả mẫu trích tiêu đề nội dung báo 31 2.6 Các bƣớc trích rút thơng tin dựa cấu trúc DOM 42 2.7 Truy vấn nội dung trang web CSS Selector Queries 43 2.8 Cây DOM để trích rút thông tin bảng xếp hạng 44 2.9 Nội dung trang web thethao247 45 2.10 Cấu trúc HTML trang web thethao247 46 2.11 Thơng tin Bảng Xếp Hạng Bóng Đá trang web thethao247 47 2.12 Cấu trúc mã HTML Bảng Xếp Hạng trang web thethao247 47 3.1 Sơ đồ ứng dụng đọc tin nhanh thiết bị di động 53 3.2 Một số ứng dụng đọc tin tức kho ứng dụng Play Store 55 3.3 Cửa sổ tạo biến môi trƣờng 57 3.4 Cửa sổ cài đặt Plugin Android Studio 59 3.5 Cửa sổ đăng nhập Genymotion 60 3.7 Kết chạy ứng dụng máy ảo 61 3.8 Biểu đồ Use Case hệ thống đọc tin nhanh 67 3.9 Sơ đồ hoạt động đăng ký tài khoản 70 3.10 Sơ đồ hoạt động đăng nhập 71 Số hiệu Tên hình hình Trang 3.11 Sơ đồ hoạt động xem thông tin tài khoản 71 3.12 Sơ đồ hoạt động ngƣời dùng quản lý trang lƣu 71 3.13 Sơ đồ hoạt động ngƣời dùng xem tin từ trang lƣu 72 3.14 Sơ đồ hoạt động ngƣời dùng xem tin mặc định hệ thống 72 3.15 Sơ đồ hoạt động ngƣời dùng xem tin cách cung cấp URL 73 3.16 Sơ đồ hoạt động admin quản lý tài khoản ngƣời dùng 73 3.17 Sơ đồ hoạt động admin quản lý viết mặc định 74 3.18 Mơ hình thực thể liên kết hệ thống 74 3.19 Giao diện trang đăng nhập 79 3.20 Giao diện trang đăng ký tài khoản 80 3.21 Giao diện trang danh mục chức 81 3.22 Giao diện trang thông tin ngƣời dùng 82 3.23 Giao diện trang chủ 82 3.24 Giao diện trang chủ chi tiết 83 3.25 Giao diện trang đọc tin RSS 84 3.26 Giao diện chức quản lý trang 84 3.27 Giao diện chức xem tin tức giá vàng 85 3.28 Giao diện chức xem tin dự báo thời tiết 86 3.29 Giao diện chức xem thông tin tỉ giá ngoại tệ 87 3.30 Giao diện chức xem kết xổ số 87 3.31 Giao diện trang đọc tin tức bảng xếp hạng bóng đá 88 3.32 Trang đọc tin tức lịch thi đấu bóng đá 89 3.33 Trang đọc tin tức kết bóng đá 89 ... Cứu, Xây Dựng Ứng Dụng Đọc Tin Nhanh Bằng Cách Trích Rút Và Tổng Hợp Thông Tin Từ Các Trang Web? ?? Luận văn tập trung nghiên cứu phƣơng pháp trích rút tổng hợp thông tin từ trang web Trên sở xây dựng. .. pháp trích rút thông tin cho ứng dụng đọc tin nhanh Chương 3, “Phát triển ứng dụng đọc tin nhanh cách trích rút thông tin từ trang web? ?? tập trung nghiên cứu phân tích xây dựng kiến trúc tổng. .. GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGUYỄN THỊ KHUYẾN NGHIÊN CỨU, XÂY DỰNG ỨNG DỤNG ĐỌC TIN NHANH BẰNG CÁCH TRÍCH RÚT VÀ TỔNG HỢP THƠNG TIN TỪ CÁC TRANG WEB Chuyên ngành: Hệ thống thông tin Mã