Nghiên cứu về tóm tắt văn bản tự động và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VIẾT HẠNH NGHIÊN CỨU TÓM TẮT VĂN BẢN TỰ ĐỘNG VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI – 2018 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VIẾT HẠNH NGHIÊN CỨU TÓM TẮT VĂN BẢN TỰ ĐỘNG VÀ ỨNG DỤNG Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: TS NGUYỄN VĂN VINH HÀ NỘI - 2018 LỜI CAM ĐOAN Tôi Nguyễn Viết Hạnh, học viên lớp Kỹ Thuật Phần Mềm K22 xin cam đoan báo cáo luận văn đƣợc viết dƣới hƣớng dẫn thầy giáo, tiến sỹ Nguyễn Văn Vinh Tất kết đạt đƣợc luận văn q trình tìm hiểu, nghiên cứu riêng tơi Trong toàn nội dung luận văn, điều đƣợc trình bày kết cá nhân tơi đƣợc tổng hợp từ nhiều nguồn tài liệu khác Các tài liệu tham khảo có xuất xứ rõ ràng đƣợc trích dẫn hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, ngày … tháng …… năm 2018 Ngƣời cam đoan Nguyễn Viết Hạnh LỜI CẢM ƠN Lời đầu tiên, xin bày tỏ cảm ơn chân thành Thầy giáo TS Nguyễn Văn Vinh – giáo viên hƣớng dẫn trực tiếp Thầy Vinh cho gợi ý dẫn quý báu q trình nghiên cứu hồn thiện luận văn thạc sĩ Tôi xin gửi lời cảm ơn tới thầy cô khoa Công nghệ thông tin, trƣờng Đại học Công Nghệ, Đại học Quốc gia Hà Nội hƣớng dẫn, bảo tạo điều kiện cho học tập nghiên cứu trƣờng suốt thời gian qua Tôi xin đƣợc cảm ơn gia đình, ngƣời thân, đồng nghiệp bạn bè quan tâm, động viên, giới thiệu tài liệu hữu ích thời gian học tập nghiên cứu luận văn tốt nghiệp Mặc dù cố gắng hồn thành luận văn nhƣng chắn khơng tránh khỏi sai sót, tơi kính mong nhận đƣợc thông cảm bảo thầy cô bạn Tôi xin chân thành cảm ơn! MỤC LỤC LỜI CAM ĐOAN .3 LỜI CẢM ƠN .4 MỤC LỤC BẢNG CÁC TỪ VIẾT TẮT DANH MỤC HÌNH VẼ .8 MỞ ĐẦU 10 CHƢƠNG 1: KHÁI QT BÀI TỐN TĨM TẮT VĂN BẢN 12 1.1 Bài tốn tóm tắt văn tự động 12 1.2 Các hƣớng tiếp cận tóm tắt văn 12 CHƢƠNG 2: MỘT SỐ NGHIÊN CỨU VỀ TÓM TẮT VĂN BẢN 14 2.1 Tóm tắt văn theo hƣớng trích chọn 14 2.1.1 Phƣơng pháp chủ đề đại diện dựa tần xuất 15 2.1.1.1 Word probability 15 2.1.1.2 Phƣơng pháp TF-IDF 16 2.1.2 Phƣơng pháp đặc trƣng đại diện 16 2.1.2.1 Phƣơng pháp đồ thị cho tóm tắt văn 16 2.1.2.2 Kỹ thuật học máy cho tóm tắt văn 17 2.2 Tóm tắt văn theo hƣớng tóm lƣợc 17 CHƢƠNG 3: MẠNG NƠ RON NHÂN TẠO 19 3.1 Mạng nơ ron nhân tạo ANN 19 3.1.1 Cấu trúc mạng nơ ron nhân tạo 19 3.1.2 Hoạt động mạng ANN 20 3.2 Mạng nơ ron hồi quy RNN 21 3.3 Mạng nơ ron có nhớ LSTM 23 CHƢƠNG 4: XÂY DỰNG HỆ THỐNG TÓM TẮT VĂN BẢN THEO HƢỚNG TÓM LƢỢC 29 4.1 Quy trình tóm tắt theo hƣớng tóm lƣợc sử dụng mạng LSTM 29 4.2 Xây dựng liệu cho tóm tắt văn tiếng Việt .30 4.3 Word Embedding 32 4.3.1 Embedding dựa tần xuất xuất từ 33 4.3.1.1 Count vector 33 4.3.1.2 Phƣơng pháp vector hóa TF-IDF 34 4.3.2 Word2Vec 36 4.3.2.1 CBOW (Continuous Bag of Word) 36 4.3.2.2 Mô hình Skip-gram 38 4.4 Xây dựng mơ hình 41 CHƢƠNG 5: THỬ NGHIỆM VÀ ĐÁNH GIÁ 45 5.1 Môi trƣờng thử nghiệm 45 5.2 Quá trình thử nghiệm .46 5.2.1 Huấn luyện 46 5.2.2 Thử nghiệm 47 5.2.2.1 Thử nghiệm 47 5.2.2.2 Thử nghiệm 51 5.2.2.3 Thử nghiệm 53 5.2.2.4 Thử nghiệm 54 KẾT LUẬN 60 TÀI LIỆU THAM KHẢO 61 BẢNG CÁC TỪ VIẾT TẮT STT Từ viết tắt thuật ngữ Từ/Cụm từ đầy đủ Giải thích Mạng nơ ron nhân tạo đƣợc nghiên cứu từ hệ thống thần kinh ngƣời, giống nhƣ não để xử lý thông tin ANN Artificial Neural Network LSTM Kiến trúc mạng học sâu cải tiến RNN, giải hạn chế mạng RNN với Long-Short Term Memory toán cần xử lý liệu theo thời gian đòi hỏi trạng thái nhớ trung gian NLTK Natural Language Toolkit Một công cụ xử lý ngôn ngữ tự nhiên mạnh môi trƣờng Python RNN Recurrent Neural Network Mạng nơ ron hồi tiếp sử dụng để xử lý thơng tin có tính chuỗi ROUGE Recall Oriented Understudy for Gist Evaluation Phƣơng pháp đánh giá độ xác văn tóm tắt TF-IDF Term Frequency -Inverse Document Frequency Một phƣơng pháp đánh giá độ quan trọng từ văn DANH MỤC HÌNH VẼ Hình 2.1 Mơ hình sequence-to-sequence với chế attention 18 Hình 2.2 Ví dụ văn tóm tắt đƣợc sinh mơ hình pointer-generator networks .18 Hình 3.1 Cấu trúc mạng nơ ron nhân tạo 19 Hình 3.2 Nguyên lý hoạt động mạng ANN 20 Hình 3.3 Đồ thị hàm kích hoạt phổ biến đạo hàm chúng 21 Hình 3.4 Ví dụ tốn dự đoán từ 22 Hình 3.5 Cấu trúc mạng RNN tiêu biểu 22 Hình 3.6 Kiến trúc LSTM .24 Hình 3.7 Kiến trúc mạng LSTM .25 Hình 3.8 Ống nhớ khối LSTM .25 Hình 3.9 Cổng bỏ nhớ LSTM 26 Hình 3.10 LSTM tính tốn giá trị lƣu cell state 26 Hình 3.11 Cập nhật giá trị Cell State .27 Hình 3.12 Đầu khối LSTM 28 Hình 4.1 Mơ hình tốn tóm tắt văn .29 Hình 4.2 Quy trình thực tóm tắt văn tiếng Việt với LSTM 30 Hình 4.3 Thu thập liệu cho tóm tắt văn tiếng Việt 31 Hình 4.4 Ma trận M đƣợc xây dựng theo phƣơng pháp Count vector 34 Hình 4.5 Cách hoạt động CBOW .37 Hình 4.6 Mơ hình Skip-gram 38 Hình 4.7 Kiến trúc mạng mơ hình skip-gram 39 Hình 4.8 Ma trận trọng số lớp ẩn word2vec 40 Hình 4.9 Lớp ẩn hoạt động nhƣ bảng tra cứu 40 Hình 4.10 Tƣơng quan hai từ thực với word2vec 41 Hình 4.11 Mơ hình chuỗi sang chuỗi 41 Hình 4.12 Mơ hình mã hóa-giải mã 42 Hình 4.13 Kiến trúc mơ hình tóm tắt văn tiếng việt sử dụng LSTM 43 Hình 5.1 Minh họa kết word embedding 47 Hình 5.2 Tƣơng quan từ với từ “income” 48 Hình 5.3 Runing Average Loss .48 Hình 5.4 Word2vec cho tập liệu tiếng Việt 51 Hình 5.5 Running Avarage Loss với liệu tiếng Việt .52 Hình 5.6 Running Avarage Loss với liệu 4000 báo tiếng Việt .53 Hình 5.7 So sánh chất lƣợng mơ hình tập liệu tiếng Việt 55 DANH MỤC BẢNG Bảng 4.1 Count matrix M có kích thƣớc 2x6 33 Bảng 4.2 Minh họa phƣơng pháp TF-IDF 35 Bảng 5.1 Đánh giá độ xác tập 11490 báo tiếng Anh 49 Bảng 5.2 So sánh số mơ hình học sâu cho tóm tắt văn tóm lƣợc .50 Bảng 5.3 Đánh giá độ xác tập 316 báo tiếng Việt 52 Bảng 5.4 Đánh giá độ xác tập 500 báo tiếng Việt 54 Bảng 5.5 Thử nghiệm chất lƣợng mơ hình tập liệu tiếng Việt .54 MỞ ĐẦU Với phát triển mạnh mẽ cơng nghệ thơng tin mạng máy tính, lƣợng tài liệu văn khổng lồ đƣợc tạo với nhiều mục đích sử dụng khác khiến cho việc đọc hiểu trích lƣợc thơng tin cần thiết khối tri thức đồ sộ tốn nhiều thời gian chi phí (đặc biệt chi phí cho hạ tầng truyền dẫn thơng tin đáp ứng yêu cầu cho số lƣợng ngày nhiều thiết bị cầm tay) Để tăng hiệu nhƣ dễ dàng việc tiếp nhận thông tin ngƣời dùng, nhiều nghiên cứu khai phá liệu xử lý ngôn ngữ tự nhiên đƣợc thực Một nghiên cứu quan trọng đóng vai trị then chốt tóm tắt văn tự động Bài tốn tóm tắt văn tiếng Việt đƣợc nghiên cứu áp dụng nhiều kỹ thuật nhƣ tiếng Anh; nhiên, tóm tắt văn nói riêng xử lý ngơn ngữ tự nhiên nói chung áp dụng cho tiếng Việt gặp nhiều thách thức Sở dĩ tiếng Việt với đặc trƣng tiếng đơn âm có điệu nên việc tách từ, tách thành phần ngữ nghĩa câu tiếng Việt đòi hỏi xử lý phức tạp so với xử lý câu tiếng Anh, thêm vào đó, khơng có nhiều kho liệu tiếng Việt đƣợc chuẩn hóa công bố Trong luận văn này, tập trung nghiên cứu tóm tắt văn tự động theo hƣớng tóm lƣợc, mơ hình kiến trúc mạng học sâu kỹ thuật xử lý thách thức tóm tắt văn Bố cục luận văn đƣợc tổ chức thành nhƣ sau: Chƣơng 1: Khái quát tốn tóm tắt văn giới thiệu tổng quan tốn tóm tắt văn tự động, định nghĩa hƣớng tiếp cận Chƣơng 2: Một số nghiên cứu tóm tắt văn giới thiệu số phƣơng pháp, kỹ thuật đƣợc nghiên cứu áp dụng cho tốn tóm tắt văn tự động Chƣơng 3: Mạng nơ ron nhân tạo giới thiệu sở lý thuyết cách hoạt động mơ hình kiến trúc từ mạng ANN tới RNN LSTM Chƣơng 4: Xây dựng hệ thống tóm tắt văn theo hƣớng tóm lƣợc trình bày mơ hình tốn tóm tắt văn tự động, quy trình thực giải toán luận văn, xây dựng mơ hình học sâu dựa kiến trúc mạng LSTM áp dụng cho tốn tóm tắt văn