Nghiên cứu phương pháp học máy để phân loại văn bản tại văn phòng UBND tỉnh quảng ngãi

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM LÊ THANH TRANG NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY ĐỂ PHÂN LOẠI VĂN BẢN TẠI VĂN PHÒNG UBND TỈNH QUẢNG NGÃI LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Đà Nẵng - Năm 2017 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM LÊ THANH TRANG NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY ĐỂ PHÂN LOẠI VĂN BẢN TẠI VĂN PHÒNG UBND TỈNH QUẢNG NGÃI Chuyên ngành: Hệ thống thông tin Mã số: 61.49.01.04 LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Người hướng dẫn khoa học: PGS.TS HUỲNH CÔNG PHÁP Đà Nẵng - Năm 2017 LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu thân Các số liệu, kết trình bày luận văn trung thực Những tư liệu sử dụng luận văn có nguồn gốc trích dẫn rõ ràng, đầy đủ Tác giả luận văn Lê Thanh Trang MỤC LỤC MỞ ĐẦU 1 Lý chọn đề tài Mục đích nghiên cứu Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa khoa học thực tiễn luận văn Nội dung luận văn CHƯƠNG NGHIÊN CỨU TỔNG QUAN 1.1 TỔNG QUAN VỀ HỌC MÁY 1.1.1 Phân loại phương pháp học máy 1.1.2 Các ứng dụng học máy .8 1.2 TỔNG QUAN VỀ PHÂN LỚP DỮ LIỆU 1.2.1 Giới thiệu phân lớp 1.2.2 Các loại phân lớp liệu 1.3 PHÂN LỚP VĂN BẢN 10 1.3.1 Khái niệm 10 1.3.2 Định nghĩa phân lớp văn bản: .11 1.3.3 Mơ hình phân lớp văn 12 1.3.4 Các bước xây dựng phân lớp văn .13 1.3.5 Các bước tiền xử lý liệu 14 1.3.6 Phương pháp tách từ tiếng Việt 14 1.3.7 Loại bỏ từ dừng 15 1.3.8 Phương pháp biểu diễn văn 16 1.4 CÁC CƠNG TRÌNH LIÊN QUAN ĐẾN VẤN ĐỀ XỬ LÝ NGÔN NGỮ TỰ NHIÊN VÀ PHÂN LỚP VĂN BẢN .19 CHƯƠNG ÁP DỤNG MƠ HÌNH HỌC MÁY SUPPORT VECTOR MACHINES (SVM) VÀO PHÂN LOẠI VĂN BẢN TẠI VĂN PHÒNG UBND TỈNH QUẢNG NGÃI 22 2.1 Khái niệm học máy 22 2.2 Bộ phân loại Support Vector Machines (SVM) .22 2.2.1 Siêu phẳng tối ưu 24 2.2.2 Phân lớp mềm 27 2.2.3 Trường hợp phân tách phi tuyến 31 2.2.4 Một số hàm nhân (Kernel) thông dụng 32 2.2.5 SVM đa lớp 33 2.2.6 Các thuật toán huấn luyện 35 2.2.7 Phương pháp tách từ .36 2.2.8 Phương pháp Kiểm tra chéo (cross validation) 36 2.3.9 Các yếu tố tác động đến kết phân loại văn bản: 37 2.4 KẾT CHƯƠNG 37 CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH THỬ NGHIỆM TRONG BÀI TỐN HỌC MÁY CĨ GIÁM SÁT ĐỂ PHÂN LOẠI VĂN BẢN TẠI VĂN PHÒNG UBND TỈNH QUẢNG NGÃI .39 3.1 Ngôn ngữ tiếng Việt 39 3.2 Khái niệm văn quản lý nhà nước 40 3.2.1 Văn quản lý nhà nước 40 3.2.2 Văn quản lý hành nhà nước 40 3.2.3 Phân loại văn quản lý nhà nước 41 3.2.4 Ngơn ngữ văn hành 41 3.2.5 Khung phân loại thống thông tin 42 3.3 Bài toán phân lớp Văn phòng UBND tỉnh Quảng Ngãi 43 3.3.1 Phát biểu toán 43 3.3.2 Phương pháp phân lớp SVM đa lớp 44 3.3.3 Mơ hình SVM đa lớp cho toán phân lớp văn 44 3.4 Xây dựng chương trình thử nghiệm .46 3.4.1 Môi trường thực nghiệm .46 3.3.2 Thư viện nguồn hỗ trợ 46 3.4.3 Dữ liệu chương trình 46 3.4.4 Xây dựng từ điển danh từ 48 3.4.5 Giao diện chương trình 49 3.4.6 Các bước sử dụng chương trình thử nghiệm 49 3.5 Đánh giá kết thực nghiệm 53 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 55 TÀI LIỆU THAM KHẢO QUYẾT ĐỊNH GIAO ĐỀ TÀI (BẢN SAO) DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Ký hiệu Thuật ngữ CNTT Công nghệ thông tin CPU Central Processing Unit CSDL Cở sở liệu CV Corters Vapnik IDF Inverse Document KKT Karush-Kuhn-Tucker KNN K-nearest neighbors (K láng giềng gần nhất) ML Machine Learning NB Naïve Bayes QP Quadratic Programming RBF Radial Basic Function RFC Relative Frequency Count TB Terabyte (thuật ngữ đo lường để dung lượng lưu trữ máy tính) TF Term Frequency TF – IDF Term frequency – inverse document frequency DANH MỤC CÁC BẢNG Số hiệu Tên bảng Trang 3.1 Văn trước qua tách từ 45 3.2 Văn sau qua tách từ 46 3.3 Thiết bị thực nghiệm 46 3.4 Thư viện nguồn hỗ trợ 46 3.5 Dữ liệu học kiểm tra 47 3.6 Tập số lượng liệu huấn luyện 47 3.7 Tập số lượng liệu kiểm thử 48 3.8 Gán nhãn từ loại 48 3.9 Tỷ lệ % phân loại văn 53 DANH MỤC CÁC HÌNH VẼ Số hiệu Tên hình hình Trang 1.1 Mơ hình thuật tốn học máy có giám sát 1.2 Hoạt động phân loại tập tài liệu 10 1.3 Sơ đồ khung hệ thống phân lớp văn 13 1.4 Mô tả bước xây dựng phân lớp 13 1.5 Mơ hình khơng gian vector[27] 19 2.1 Mơ hình SVM 23 2.2 Biểu diễn siêu phẳng lề cực đại cho phân lớp SVM hai lớp 24 2.3 Siêu phẳng tách tuyến tính 25 2.4 Phân lớp mềm 27 2.5 Ánh xạ liệu vào không gian khác với số chiều cao 31 3.1 Mô hình tốn phân lớp văn liệu văn hành 45 3.2 Giao diện chương trình 49 3.3 Dữ liệu từ điển 50 3.4 Dữ liệu gán nhãn 50 3.5 Dữ liệu huấn luyện 51 3.6 Sau chọn xong mục 52 3.7 Kết phân loại văn 52 3.8 Thông số hệ thống chương trình thử nghiệm sử dụng 54 MỞ ĐẦU Lý chọn đề tài Hiện lượng lớn liệu văn có sẵn lĩnh vực khác thu thập, lưu trữ Việc phân loại văn tiến trình xếp tài liệu văn vào nhiều tài liệu vào nhóm chủ đề, để sử dụng vấn đề ngày trở nên cần thiết Vì thế, vấn đề phân lớp dự đoán khâu quan trọng học máy khai phá liệu Một công cụ đánh giá mạnh tinh vi cho tốn phân lớp phi tuyến kỹ thuật Support Vector Machines (SVM) Corters Vapnik giới thiệu vào năm 1995[14] Nhiều ứng dụng xây dựng dựa kỹ thuật SVM hiệu SVM mơ hình xây dựng siêu phẳng tập hợp siêu phẳng không gian nhiều chiều vơ hạn chiều, sử dụng cho phân loại, hồi quy, nhiệm vụ khác Trong nhiều trường hợp, phân chia lớp liệu cách tuyến tính khơng gian ban đầu dùng để mô tả vấn đề Vì vậy, nhiều cần phải ánh xạ điểm liệu không gian ban đầu vào không gian nhiều chiều hơn, để việc phân tính chúng trở nên dễ dàng không gian Gần đây, nhà nghiên cứu thực sử dụng kỹ thuật học máy để kết hợp tự động phân loại tài liệu cách sử dụng tập huấn luyện để thông qua phân loại tới tập đặc trưng tập tài liệu Quy trình học máy khởi tạo một kiểm tra tài liệu mẫu để định tập đặc trưng tối thiểu mà sinh kết phân loại mong muốn Trong giai đoạn huấn luyện giám sát không giám sát Trong hai trường hợp tập phân loại định nghĩa quyền ưu tiên, khơng giống phân nhóm mà định nghĩa phân loại dựa đặc trưng tài liệu thực Các kỹ thuật học không giám sát sử dụng đặc trưng tài liệu huấn luyện giải thuật định phân loại tài liệu thuộc vào Các kỹ thuật học có giám sát sử dụng tập tài liệu huấn luyện mà kết hợp phân loại để định tập đặc trưng tài liệu tạo kết mong muốn ... ? ?Nghiên cứu phương pháp học máy để phân loại văn Văn phòng UBND tỉnh Quảng Ngãi? ?? làm chủ đề nghiên cứu luận văn Mục đích nghiên cứu Nghiên cứu kỹ thuật học máy số giải thuật thường sử dụng học. ..ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM LÊ THANH TRANG NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY ĐỂ PHÂN LOẠI VĂN BẢN TẠI VĂN PHÒNG UBND TỈNH QUẢNG NGÃI Chuyên ngành: Hệ thống thông... nghiệm tốn học máy có giám sát để phân loại văn văn phòng UBND tỉnh Cuối kết luận, định hướng nghiên cứu phát triển luận văn 5 CHƯƠNG NGHIÊN CỨU TỔNG QUAN 1.1 TỔNG QUAN VỀ HỌC MÁY Học máy (Machine