ĐỒ án môn học THỰC tập cơ sở đề tài xây DỰNG ỨNG DỤNG WEBSITE TỔNG hợp và tóm tắt TIN tức

HỌC VIỆN KỸ THUẬT MẬT MÃ KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN MÔN HỌC THỰC TẬP CƠ SỞ ĐỀ TÀI: XÂY DỰNG ỨNG DỤNG WEBSITE TỔNG HỢP VÀ TÓM TẮT TIN TỨC Sinh viên thực hiện: Giảng viên hướng dẫn: TRẦN CAO MINH BÁCH AT150204 VŨ THỊ ÁNH AT150504 TRẦN THỊ DUNG AT150310 Nhóm ThS LÊ ĐỨC THUẬN Hà Nội, 10-2021 LỜI NÓI ĐẦU Ngày nay, với phát triển mạnh mẽ khoa học công nghệ Công nghệ Thơng tin ngành có vị dẫn đầu có vai trị lớn phát triển chung Các ứng dụng cơng nghệ thông tin áp dụng lĩnh vực nghiên cứu khoa học lĩnh vực đời sống Là phần Công nghệ Thông tin, Cơng nghệ web có phát triển mạnh mẽ phổ biến nhanh lợi ích mà mang lại cho cộng đồng lớn Nhận thức nhu cầu tìm hiểu thơng tin, giải trí xã hội, đời hàng loạt website cho mục đích thương mại, giải trí, tin tức Để đáp ứng với việc cập nhật thơng tin hàng ngày, tình hình xã hội, trị, thời website tin tức đời nhu cầu tất yếu Vì thời gian ngày ít, thơng tin lại nhiều Nên đôi khi, bao trọn hết thông tin mà cần Khiến cho việc nắm bắt thơng tin bị hạn chế Do đó, từ vấn đề chúng em vận dụng ngôn ngữ Python, PHP, MySQL công cụ Visual Studio Code để xây dựng ứng dụng Website Tổng hợp Tóm tắt Tin tức Với công nghệ phát triển nay, việc học máy vấn đề khơng cịn q khó khăn, cho phép dạy cho cỗ máy học hỏi tự làm với yêu cầu đề Trong đề tài này, mơ hình học máy mà bọn em muốn sử dụng mơ hình xử lý liệu ngôn ngữ mức độ văn Sau thu thập phân loại, văn xử lý trả kết dạng tin vắn tắt, mang đầy đủ ý nghĩa nội dung tin gốc Trong đó, yếu tố mang tính ảnh hưởng mơ hình hướng đến nhằm xử lý liệu ngôn ngữ tự nhiên NLP Với mơ hình này, thư viện đề cập phần sau, chúng em triển khai phát triển thêm tính phù hợp hơn, tăng độ xác độ tin cậy sử dụng mơ hình Bên cạnh xử lý tin từ văn thành giọng nói, giúp cho người dùng tiện lợi nhiều việc cập nhật tin tức Phát triển xa áp dụng mơ hình vào để phát triển xử lý khối liệu văn lớn như: sách, tài liệu hay loại truyện, tiểu thuyết Phần cho người đọc có hình dung rõ tác phẩm mà muốn trải nghiệm Cũng giúp cho người dùng tiếp cận cách nhanh chóng khái qt vấn đề cần tìm hiểu Nội dung cua đề cương đuơc chia lam 03 phân nhu sau: Chương 1: Tổng quan ngôn ngữ, công cụ hỗ trợ tổng quan đề tài Chương giới thiệu tảng ứng dụng phát triển đề tài chúng em Cách mà bọn em kết nối tạo hệ thống để đem đến tin vắn tắt gọn Bên cạnh định nghĩa nguồn tin Đem lại nhìn khát quát đề tài Chương 2: Áp dụng phương pháp học máy xử lý ngơn ngữ Chương trình bày giải pháp kỹ thuật sử dụng cho đề tài Với đề tài việc thu thập, phân tích rút gọn tin thành tin vắn Việc trọng tâm phải để ý áp dụng thuật toán để xử lý câu chữ, cho sau rút gọn, tin mang lại nội dung ý nghĩa Chương 3: Trình bày trình thực nghiệm đánh giá kết thu thực nghiệm So sánh kết với tập mẫu chọn ban đầu Từ đánh giá cải thiện thuật tốn LỜI CAM ĐOAN Toi la Trân Cao Minh Bach, ma sô sinh vien AT150204, sinh vien lơp AT15B, khoa AT15 Nguơi huơng dân la ThS Lê Đức Thuận Toi xin thay mặt, cam đoan toan bọ nọi dung đuơc trinh bay đô an Xây dựng Website tổng hợp tóm tắt tin tức la kêt qua qua trinh tim hiêu va nghien cưu cua chung toi Cac dư liẹu đuơc neu đô an la hoan toan trung thưc, phan anh đung kêt qua đo đac thưc tê Moi thong tin trich dân đêu tuan thu cac quy đinh vê sơ hưu tri tuẹ; cac tai liẹu tham khao đuơc liẹt ke ro rang Toi xin chiu hoan toan trach nhiẹm vơi nọi dung đuơc viêt đô an Ha Nọi, 10 thang 10 nam 2021 Nguời cam đoan Trần Cao Minh Bách MỤC LỤC DANH MỤC HÌNH VẼ i DANH MỤC BẢNG BIỂU iii CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 Tổng quan ngôn ngữ công cụ hỗ trợ 1.1.1 Tổng quan lập trình Python Laravel 1.1.2 Các công cụ hỗ trợ 1.2 Tổng quan nội dung thông tin sử dụng 1.3 Tổng quan học máy 1.3.1 Giới thiệu học máy 1.3.2 Giới thiệu NLP 1.3.3 Giới thiệu NLTK 1.4 Quy trình xử lý tóm tắt văn 1.5 Tổng quan thuật tốn sử dụng tóm tắt văn 1.5.1 Thuật toán K-Means Clustering 1.5.2 Thuật toán LSA (Latent Semantic Analysis) 1.5.3 Thuật toán TextRank CHƯƠNG THIẾT KẾ VÀ XÂY DỰNG HỆ THỐNG 2.1 Phân tích hệ thống 2.1.1 Biểu đồ phân rã chức 2.1.2 Biểu đồ Use Case tổng quát 10 2.1.3 Xác định actor chức 11 2.1.4 Biểu đồ Use case chi tiết 12 2.1.5 Đặặ̆c tả ca sử dụng 14 2.2 Thiết kế giao diện người dùng 20 2.2.1 Các chức 20 2.2.2 Phân quyền cho User 20 2.2.3 Nội dung trang 20 2.2.4 Cấu trúc website thử nghiệm 21 2.3 Thiết kế hệ thống thu thập tin tức 23 2.3.1 Thu thập liệu 23 2.3.2 Bóc tách & Lọc liệu dạng chuẩn 26 2.4 Thiết kế hệ thống xử lý tóm tắt tin tức 27 2.4.1 Tách câu văn 27 2.4.2 Tách từ câu 27 2.4.3 Sử dụng kỹ thuật chuyển từ thành vector số thực 28 2.4.4 Xây dựng đoạn văn tóm tắt 28 2.5 Xây dựng hệ thống 33 2.5.1 Hệ thống giao diện sử dụng cho người dùng 33 2.5.2 Hệ thống thu thập thông tin 38 2.5.3 Hệ thống tóm tắt văn .40 2.6 Một số hình ảnh thực tế báo sau xử lý 42 Chương 3: KẾT QUẢ THỰC NGHIỆM 45 3.1 Kết chạy hệ thống giao diện người dùng 45 3.1.1 Giao diện người dùng 45 3.1.2 Hệ thống Thu thập thông tin 45 3.1.3 Hệ thống Tóm tắt văn 45 KẾT LUẬN 46 Kết luận chung 46 Hướng phát triển 46 Kiến nghị đề xuất 46 TÀI LIỆU THAM KHẢO .47 PHỤ LỤC 48 Phụ lục Mẫu trang bìa đồ án 48 Phụ lục Mẫu trang bìa phụ đồ án 50 Phụ lục Mẫu nhận xét đồ án 52 DANH MỤC HÌNH VẼ Hình 1: Sơ đồ học máy .2 Hình 2: K-Means Clustering .4 Hình 3: Sơ đồ công thức LSA Hình 4: Sơ đồ đánh giá giá trị thuật toán PageRank Hình 5: Quy trình xử lý TextRank Hình 6: Biểu đồ phân rã chức Hình 7: Biểu đồ Use Case tổng quát .10 Hình 8: Biểu đồ UC User 12 Hình 9: Biểu đồ UC Guest 12 Hình 10: Biểu đồ UC quản lý tin tức 13 Hình 11: Biểu đồ UC quản lý User 13 Hình 12: Trang chủ website 21 Hình 13: Trang hiển thị thơng tin theo nhãn 22 Hình 14: Trang thơng tin chi tiết 22 Hình 15: Mơ hình hệ thống thu thập thông tin .23 Hình 16: Hình ảnh từ báo Tuổi trẻ 24 Hình 17: Hình ảnh từ báo VnExpress .24 Hình 18: Hệ thống xử lý tóm tắt tin tức .27 Hình 19: Các báo có nội dung giống từ nhiều nguồn khác tìm trình hoạt động 28 Hình 20: Các báo có nội dung giống từ nhiều nguồn khác .30 Hình 21: Bài báo trước xử lý 31 Hình 22: Bài báo thu thập thông tin 32 Hình 23: Trang chủ website 33 47 Chương 3: KẾT QUẢ THỰC NGHIỆM Sau hệ thống hoạt động thời gian, trường hợp lỗi khống chế sửa chữa Hệ thống đưa vào sử dụng dạng thử nghiệm cho thành viên nhóm để kiểm tra kết thực nghiệm Và thành viên nhóm rút số kết 3.1 Kết chạy hệ thống giao diện ngườờ̀i dùng Hệ thống chạy 24/7 với thông tin cập nhật kịp thời, trường hợp ngoại lệ sau đọc log chỉnh sửa 3.1.1 Giao diện người dùng Xử lý giao diện người dùng đảm bảo mục tiêu đề Các dạng người dùng liệt kê khâu thiết kế sử dụng hệ thống cách dễ dàng, thao tác không phức tạp, giúp người sử dụng dễ dàng làm quen sử dụng dễ dàng 3.1.2 Hệ thống Thu thập thông tin Hệ thống thu thập nhiều thơng tin tương lai gần, khả lọc thông tin trước đưa liệu phù hợp cho phép hệ thống tóm tắt văn xử lý đảm bảo Khả lọc trùng nguồn báo hay khác nguồn báo hoạt động hiệu Người dùng cuối khơng cần bận tâm nội dung bị trùng lặặ̆p, phải đọc đọc lại gây tốn thời gian 3.1.3 Hệ thống Tóm tắt văn Hệ thống cho vắn tóm tắt với nội dung bao hàm ý văn gốc, cho độ xác dao động khoảng giá trị từ 70% đến 90% tuỳ theo độ dài văn gốc Đảm bảo nội dung văn gốc giữ lại phù hợp với mơ hình đồ án Bên cạnh xử lý văn thành giọng nói nhờ API Zalo, thu kết trả ổn định, lỗi xảy giọng nói dễ nghe, đảm bảo nội dung truyền đạt hoàn toàn, người dùng tiết kiệm thời gian đọc văn 48 KẾT LUẬN Kết luận chung Với kết đạt từ phần giao diện người dùng, đến việc hệ thống thu thập xử lý liệu có nhiều tiềm áp dụng thực tế giúp đồ án nâng cao tính thực tiễn Nhưng khơng thể phủ nhận hệ thống phát triển kế thừa từ nhiều thành phần khác nhau, phần tóm tắt văn kế thừa từ nguồn liệu cộng đồng đóng góp Vì vậy, hệ thống số hạn chế định việc tối ưu giúp hệ thống xử lý tóm tắt nhanh hơn, hệ thống thu thập xử lý dạng xử lý tuần tự, dẫn đến việc hoạt độc lập cịn gặặ̆p khó khăn, liệu trả hệ thống đầu vào hệ thống Khi ấy, việc xử lý song song đa luồng chưa tối ưu để thu hiệu suất mong muốn Trường hợp xấu xảy liệu đầu vào lần cho khởi chạy hệ thống lớn, trung bình với trang báo từ 100 đến 200 viết Cơ sở liệu chưa tồn tại, dẫn đến tất trường hợp phải xét qua trước, làm cho hệ thống thu thập thông tin phải lọc tất liệu thu với độ khó O(n n) Quá trình khiến cho thời gian xử lý tăng lên đáng kể Nhưng sau lần đầu xử lý, thông tin tồn sở liệu chắt lọc loại bỏ theo mẫu thử tồn sở liệu Từ phần giúp cho hệ thống thu thập xử lý thông tin hoạt động tối ưu đảm bảo tốc độ cập nhật thông tin Hướng pháá́t triển Hiện tại, với khả ứng dụng lớn, thành phần cốt lõi hệ thống tóm tắt văn phát triển thành tảng nhằm cho phép người dùng tự tóm tắt văn nhập vào với dạng link báo hoặặ̆c văn cụ thể, với tuỳ chọn tóm tắt theo số câu, loại thuật toán sử dụng để tóm tắt, cho phép xem số độ sai khác văn gốc văn tóm tắt Từ đó, người dùng hài lịng với dịch vụ cung cấp Bên cạnh đó, hệ thống phát triển lại model học máy, với liệu chọn lọc kĩ, nhằm kiểm soát đầu ghi sử dụng trình phân tích thơng tin văn để tóm tắt văn sau Cùng với đó, nhóm tìm cách tối ưu cho trình xử lý văn Như việc tối ưu hoá mã nguồn nhằm giúp hệ thống xử lý đa luồng Từ đó, tiết kiệm phát huy hết hiệu xuất tài nguyên hệ thống sử dụng Kiến nghị đề xuất 49 TÀI LIỆU THAM KHẢO [1] Josef Steinberger, Karel Jeˇzek, “Evaluation Measures For Text Summarization” in Computing and Informatics, Vol 28, 2009, 1001–1026, V 2009-Mar-2 [2] Makbule Gulcin Ozsoy, Ilyas Cicekli, and Ferda Nur Alpaslan, “Text Summarization of Turkish Texts using Latent Semantic Analysis” [3] Josef Steinberger, Karel Ježek, “Using Latent Semantic Analysis in Text Summarization and Summary Evaluation” Comptuer Graphics, Vol 24, No 2, pp 41-50, 1990 [4] Rada Mihalcea and Paul Tarau, “TextRank: Bringing Order into Texts” [5] Van-Hau Nguyen, Minh-Tien Nguyen, Xuan-Hoai Nguyen “VNDS: A Vietnamese Dataset for Summarization” [6] Sukriti Verma and Vagisha Nidhi, “Extractive Summarization using Deep Learning” [7] Sadaoki Furui, “Recent Advances in Automatic Speech Summarization” 50 PHỤ LỤC Phụ lục Mẫu trang bìa đồ áá́n (Xem trang sau) HỌC VIỆN KỸ THUẬT MẬT MÃ KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN MÔN HỌC THỰC TẬP CƠ SỞ Đề tài: XÂY DỰNG WEBSITE TỔNG HỢP VÀ TÓM TẮT TIN TỨC Sinh viên thực hiện: TRẦN CAO MINH BÁC AT150204 VŨ THỊ ÁNH AT150504 TRẦN THỊ DUNG AT150310 Nhóm Giảng viên hướng dẫn: ThS LÊ ĐỨC THUẬN Hà Nội, 10-2021 Phụ lục Mẫu trang bìa phụ đồ áá́n (Xem trang sau) HỌC VIỆN KỸ THUẬT MẬT MÃ KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN MÔN HỌC THỰC TẬP CƠ SỞ Đề tài: XÂY DỰNG WEBSITE TỔNG HỢP VÀ TÓM TẮT TIN TỨC Sinh viên thực hiện: TRẦN CAO MINH AT150204 VŨ THỊ ÁNH AT150504 TRẦN THỊ DUNG AT150310 Nhóm Giảng viên hướng dẫn: ThS LÊ ĐỨC THUẬN Hà Nội, 10-2021 BÁC Phụ lục Mẫu nhận xét đồ áá́n (Xem trang sau) ĐÁNH GIÁ QUYỂN ĐỒ ÁN THỰC TẬP CƠ SỞ (Dùng cho giảng viên hướng dẫn) Tên giảng viên đánh giá: Họ tên Sinh viên: MSSV: Tên đồ án: Chọn cáá́c mức điểm phù hợp cho sinh viên trình bày theo cáá́c tiêu chí đây: Rất (1); Kém (2); Đạt (3); Giỏi (4); Xuất sắc (5) Có kết hợp lý thuyết thực hành (20) Nêu rõ tính cấp thiết quan trọng đề tài, vấn đề giả thuyết (bao gồm mục đích tính phù hợp) phạm vi ứng dụng đồ án Cập nhật kết nghiên cứu gần (trong nước/quốc tế) Nêu rõ chi tiết phương pháp nghiên cứu/giải vấn đề Có kết mơ phỏng/thưc nghiệm trình bày rõ ràng kết đạt 5 5 5 Có khả phân tích đáá́nh giáá́ kết (15) Kế hoạch làm việc rõ ràng bao gồm mục tiêu phương pháp thực dựa kết nghiên cứu lý thuyết cách có hệ thống Kết trình bày cách logic dễ hiểu, tất kết phân tích đánh giá thỏa đáng Trong phần kết luận, tác giả rõ khác biệt (nếu có) kết đạt mục tiêu ban đầu đề đồng thời cung cấp lập luận để đề xuất hướng giải thực tương lai Kỹ viết đồ áá́n (10) Đồ án trình bày mẫu quy định với cấu trúc chương logic đẹp mắt (bảng biểu, hình ảnh rõ ràng, có tiêu đề, đánh số thứ tự giải thích hay đề cập đến đồ án, có lề, dấu cách sau dấu chấm, dấu phẩy v.v), có mở đầu chương kết luận chương, có liệt kê tài liệu tham khảo có trích dẫn quy định Kỹ viết xuất sắc (cấu trúc câu chuẩn, văn phong khoa học, lập luận logic có sở, từ vựng sử dụng phù hợp v.v.) Thành tựu nghiên cứu khoa học (5) (chọn trườờ̀ng hợp) 10a Có báo khoa học đăng hoặặ̆c chấp nhận đăng/đạt giải SVNC khoa học giải cấp Viện trở lên/các giải thưởng khoa học (quốc tế/trong nước) từ giải trở lên/ Có đăng ký phát minh sáng chế Được báo cáo hội đồng cấp Viện hội nghị sinh viên nghiên cứu 10b khoa học không đạt giải từ giải trở lên/Đạt giải khuyến khích kỳ thi quốc gia quốc tế khác chuyên ngành TI contest 10c Khơng có thành tích nghiên cứu khoa học Điểm tổng Điểm tổng quy đổi thang 10 /50 Nhận xét khác (về thái độ tinh thần làm việc sinh viên) Ngày: … / … / 20… Ngườờ̀i nhận xét (Ký ghi rõ họ tên) ... từ cơng việc thực tế tạo hệ thống hồn chỉnh, để áp dụng vào thực tế có tính ứng dụng cao sử dụng website cập nhật tin tức hàng ngày nhanh chóng hiệu iv CHƯƠNG CƠ SỞ LÝ THUYẾT Chương miêu tả tổng. .. thông tin mà cần Khiến cho việc nắm bắt thơng tin bị hạn chế Do đó, từ vấn đề chúng em vận dụng ngôn ngữ Python, PHP, MySQL công cụ Visual Studio Code để xây dựng ứng dụng Website Tổng hợp Tóm tắt. .. thông tin cá nhân, xem tin tức 2.1.4.2 Biểu đồ UC Guest Hình 9: Biểu đồ UC Guest Với người dùng Khách (Guest), họ sử dụng tính xem tin đăng ký tài khoản website 12 2.1.4.3 Biểu đồ UC quản lý tin tức