Học nửa giám sát dựa trên đồ thị và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ––––––––––––––––––––––––––––––––––– Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS ĐOÀN VĂN BAN THÁI NGUYÊN - 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn i LỜI CẢM ƠN Trong trình làm luận văn “Học nửa giám sát dựa đồ thị ứng dụng” nhận đƣợc giúp đỡ tận tình cá nhân tập thể Trƣớc hết, xin bày tỏ lòng biết ơn sâu sắc đến thầy giáo PGS.TS Đoàn Văn Ban, ngƣời tận tình hƣớng dẫn, bảo cho suốt trình thực luận văn Xin bày tỏ lòng biết ơn chân thành tới thầy, cô giáo Viện Công nghệ Thông tin nhƣ thầy, cô giáo Trƣờng Đại học Công nghệ Thông tin & Truyền thông Thái Nguyên, đem lại cho kiến thức vô có ích năm học tập trƣờng ngƣời bên cạnh, động viên khuyến khích trình thực đề tài nghiên cứu Tôi xin chân thành cảm ơn! , ngày 10 tháng năm 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI CẢM ƠN i DANH MỤC HÌNH VẼ v LỜI MỞ ĐẦU .1 CHƢƠNG 1: TỔNG QUAN VỀ CÁC PHƢƠNG PHÁP HỌC MÁY 1.1 Giới thiệu học máy 1.2 Các phƣơng pháp học máy 1.2.1 Học có giám sát 1.2.2 Học không giám sát 1.2.3 Học tăng cƣờng 11 1.2.4 Học nửa giám sát 12 1.3 Một số phƣơng pháp học nửa giám sát 14 1.3.1 Phƣơng pháp tự huấn luyện 14 1.3.2 Phƣơng pháp đồng huấn luyện 15 1.3.3 Phƣơng pháp Máy véc tơ hỗ trợ truyền dẫn 18 1.3.4 Phƣơng pháp dựa đồ thị 22 1.4 Kết luận 24 CHƢƠNG 2: PHƢƠNG PHÁP HỌC NỬA GIÁM SÁT DỰA TRÊN ĐỒ THỊ .25 2.1 Giới thiệu 25 2.2 Các loại đồ thị phổ biến sử dụng học nửa giám sát 27 2.2.1 Đồ thị kết nối đầy đủ 27 2.2.2 Đồ thị rời rạc 27 2.2.3 Đồ thị -láng giềng gần 28 2.2.4 Đồ thị -láng giềng gần 28 2.2.5 Đồ thị trọng số exp 29 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 2.3 Các phƣơng pháp xác định khoảng cách điểm liệu 29 2.3.1 Khoảng cách cục bộ, khoảng cách toàn cục trọng số 29 2.3.2 Khoảng cách Hamming 30 2.3.3 Khoảng cách Manhattan cho thuộc tính số học 30 2.3.4 Các hàm khoảng cách cục không đồng 31 2.3.5 Hàm khoảng cách tri thức chuyên gia 31 2.4 Thuật toán lan truyền nhãn đồ thị 32 2.4.1 Ký hiệu 32 2.4.2 Nội dung thuật toán 33 2.4.3 Sự hội tụ thuật toán 34 2.4.4 Phƣơng pháp xác định siêu tham số đồ thị 36 2.4.5 Độ phức tạp thuật toán 38 2.5 Thuật toán học nửa giám sát dựa đồ thị - Mincut 38 2.6 Các trƣờng Gaussian ngẫu nhiên hàm điều hòa 40 2.6.1 Các trƣờng Gaussian ngẫu nhiên 40 2.6.2 Đồ thị Laplacian 42 2.6.3 Các hàm điều hòa 43 2.7 Đánh giá 44 2.8 Kết luận chƣơng 44 CHƢƠNG 3: CÀI ĐẶT VÀ THỬ NGHIỆM THUẬT TOÁN 45 3.1 Mô tả toán 45 3.2 Mô tả liệu đầu vào 45 3.3 Trích chọn đặc trƣng 47 3.4 Cài đặt thử nghiệm 50 Môi trƣờng cài đặt thử nghiệm 50 Các chức chƣơng trình 51 3.5 Kết thực nghiệm đánh giá độ phức tạp 54 3.6 Kết luận 56 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 57 TÀI LIỆU THAM KHẢO 58 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn DANH MỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT Thuật ngữ Viết tắt Ý nghĩa Concept Concept Khái niệm Self-training Self-training Tự huấn luyện Co-training Co-training Đồng huấn luyện Machine learning Machine learning Học máy Supervised learning Supervised learning Học có giám sát Unsupervised learning Unsupervised learning Học không giám sát Reinforcement learning Reinforcement learning Học tăng cƣờng Semi-supervised learning Semi-supervised learning Support vector machine SVM Transductive support TSVM vector machine Học nửa giám sát Máy véc tơ hỗ trợ Máy véc tơ hỗ trợ truyền dẫn Labeled Propagation Labeled Propagation Lan truyền nhãn Graph-based Graph-based Dựa đồ thị Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn DANH MỤC HÌNH VẼ Hình 1.1: Phƣơng pháp phân cụm liệu .9 Hình 1.2: Khung nhìn liệu văn liên kết 17 Hình 1.3: Dữ liệu đƣợc học theo phƣơng pháp Co-training 18 Hình 1.4: Phƣơng pháp Máy véc tơ hỗ trợ 19 Hình 1.5: Phƣơng pháp máy vecto hỗ trợ truyền dẫn .22 Hình 1.6: Minh họa đồ thị đƣợc gán nhãn 23 Hình 2.1: Phƣơng pháp dựa đồ thị .25 Hình 2.2: Đồ thị kết nối đầy đủ 27 Hình 2.3: Đồ thị rời rạc .27 Hình 2.4: Đồ thị -láng giềng gần 28 Hình 2.5: Đồ thị -láng giềng gần .28 Hình 2.6: Trọng số cạnh hai đỉnh đồ thị .29 Hình 2.7: Đồ thị với trọng số cạnh .32 Hình 3.1: Tệp liệu tin nhắn mẫu 45 Hình 3.2: Nội dung tin nhắn đƣợc chuyển thành dạng vector 46 Hình 3.3: Nội dung file liệu dạng vector 47 Hình 3.4: Trích chọn đặc trƣng 48 Hình 3.5: Trích chọn thuộc tính cho file đầu vào chƣơng trình 49 Hình 3.6: Dữ liệu chƣơng trình 49 Hình 3.7: Dữ liệu chƣơng trình mở Notepad 50 Hình 3.8: Giao diện chọn tệp liệu .51 Hình 3.9: Kết lựa chọn phƣơng pháp tự huấn luyện 52 Hình 3.10: Giao diện đồ thị lan truyền nhãn trƣớc thực 53 Hình 3.11: Giao diện đồ thị lan truyền nhãn sau thực .54 Hình 3.12: Kết đồ thị sau đƣợc gán nhãn dạng đồ thị 54 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI MỞ ĐẦU Học máy (Machine learning) ngành khoa học nghiên cứu kĩ thuật, phƣơng pháp cho phép máy tính có khả "học" giống nhƣ ngƣời Hay nói cách khác cụ thể hơn, học máy phƣơng pháp để tạo chƣơng trình máy tính việc phân tích tập liệu, qua máy tính có khả tích lũy đƣợc tri thức thông qua việc học đƣợc khái niệm để định trƣờng hợp tƣơng tự Lĩnh vực học máy truyền thống thƣờng đƣợc chia thành bốn lĩnh vực con, bao gồm: Học có giám sát (Supervised learning), Học không giám sát (Unsupervised learning), Học nửa giám sát (Semi-Supervised learning) Học tăng cƣờng (Reinforcement learning) Học nửa giám sát sử dụng liệu gán nhãn chƣa gán nhãn để huấn luyện - điển hình lƣợng nhỏ liệu có gán nhãn với lƣợng lớn liệu chƣa gán nhãn Học nửa giám sát đứng học không giám sát (không có liệu có nhãn nào) có giám sát (toàn liệu đƣợc gán nhãn) Để gán nhãn liệu cho toán học máy thƣờng đòi hỏi phân loại tay ví dụ huấn luyện Chi phí cho quy trình khiến tập liệu đƣợc gán nhãn hoàn toàn trở nên không khả thi, liệu không Trong tình đó, học nửa giám sát có giá trị thực tiễn lớn lao Chính vậy, học nửa giám sát kết hợp số lƣợng lớn liệu chƣa đƣợc gán nhãn với liệu đƣợc gán nhãn để xây dựng phân lớp tốt Một số phƣơng pháp điển hình lĩnh vực đƣợc kể đến nhƣ: Phƣơng pháp EM với mô hình sinh hỗn hợp (EM with generative mixture models), phƣơng pháp Tự huấn luyện (Self-training), phƣơng pháp Đồng huấn luyện (Co-training), phƣơng pháp máy véc tơ hỗ trợ (Transductive support vector machines) phƣơng pháp Dựa đồ thị (Graph-based) Trong phƣơng pháp học nửa giám sát dựa đồ thị (Graph-based) hƣớng nghiên cứu mở đem lại hiệu lớn Với lý trên, tác giả chọn đề tài “ Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ” làm đề tài nghiên cứu luận văn tốt nghiệp thạc sĩ chuyên ngành Khoa học máy tính Nghiên cứu tổng quan học nửa giám sát số phƣơng pháp học nửa giám sát Nghiên cứu phƣơng pháp học nửa giám sát dựa đồ thị Cài đặt thử nghiệm thuật toán lan truyền nhãn đồ thị thuật toán tự huấn luyện Đối tượng nghiên cứu: Học nửa giám sát Phạm vi nghiên cứu: - Nghiên cứu tổng quan học có giám sát, học không giám sát học nửa giám sát - Các phƣơng pháp học nửa giám sát phổ biến - Phƣơng pháp học nửa giám sát dựa đồ thị (Graph-based) số thuật toán - Cài đặt thử nghiệm thuật toán lan truyền nhãn phƣơng pháp học nửa giám sát dựa đồ thị thuật toán tự huấn luyện Các luận điểm mà luận văn thể đƣợc: Nghiên cứu tổng quan đánh giá phƣơng pháp học nửa giám sát, tập trung vào phƣơng pháp học nửa giám sát dựa đồ thị Tập trung tìm hiểu số thuật toán lĩnh vực học nửa giám sát nhƣ: Phƣơng pháp EM với mô hình sinh hỗn hợp, phƣơng pháp Tự huấn luyện, phƣơng pháp Đồng huấn luyện phƣơng pháp máy véc tơ hỗ trợ Đồng thời tập trung nghiên cứu chi tiết phƣơng pháp dựa đồ thị Cài đặt phần mềm thử nghiệm mô thuật toán lan truyền nhãn thuật toán tự huấn luyện, đánh giá độ phức tạp hai thuật toán Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn - Đọc tài liệu, phân tích, tổng hợp - Thống kê, phân tích liệu - Thực nghiệm đánh giá kết - Kết hợp nghiên cứu lý thuyết, tìm hiểu tình hình ứng dụng, đánh giá khả ứng dụng đề xuất giải pháp Nội dung luận văn gồm 03 chƣơng: Chƣơng 1: Tổng quan phƣơng pháp học máy Chƣơng trình bày tổng quan phƣơng pháp học máy gồm phƣơng pháp Học có giám sát (Supervised learning), Học không giám sát (Unsupervised learning), Học nửa giám sát (Semi-Supervised learning) Chƣơng 2: Phƣơng pháp học nửa giám sát dựa đồ thị Tập trung tìm hiểu số thuật toán lĩnh vực học nửa giám sát nhƣ: Phƣơng pháp EM với mô hình sinh hỗn hợp, phƣơng pháp Tự huấn luyện, phƣơng pháp Đồng huấn luyện phƣơng pháp máy véc tơ hỗ trợ Đồng thời tập trung nghiên cứu chi tiết phƣơng pháp dựa đồ thị Chƣơng 3: Cài đặt thử nghiệm thuật toán Cài đặt thử nghiệm thuật toán tự huấn luyện lan truyền nhãn dựa đồ thị Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn CHƢƠNG 1: TỔNG QUAN VỀ CÁC PHƢƠNG PHÁP HỌC MÁY 1.1 Giới thiệu học máy Học máy (Machine Learning) ngành khoa học nghiên cứu thuật toán cho phép máy tính học đƣợc khái niệm (concept)[7] Có hai loại phƣơng pháp học máy chính: Phƣơng pháp quy nạp: Máy học/phân biệt khái niệm dựa liệu thu thập đƣợc trƣớc Phƣơng pháp cho phép tận dụng đƣợc nguồn liệu nhiều sẵn có Phƣơng pháp suy diễn: Máy học/phân biệt khái niệm dựa vào luật Phƣơng pháp cho phép tận dụng đƣợc kiến thức chuyên ngành để hỗ trợ máy tính Hiện nay, thuật toán cố gắng tận dụng đƣợc ƣu điểm hai phƣơng pháp Các ngành khoa học liên quan đến lĩnh vực học máy điển hình là: Lý thuyết thống kê: kết xác suất thống kê tiền đề cho nhiều phƣơng pháp học máy Đặc biệt, lý thuyết thống kê cho phép ƣớc lƣợng sai số phƣơng pháp học máy Các phƣơng pháp tính: thuật toán học máy thƣờng sử dụng tính toán số thực/số nguyên liệu lớn Trong đó, toán nhƣ: tối ƣu có/không ràng buộc, giải phƣơng trình tuyến tính v.v… đƣợc sử dụng phổ biến Khoa học máy tính: sở để thiết kế thuật toán, đồng thời đánh giá thời gian chạy, nhớ thuật toán học máy Lĩnh vực học máy truyền thống thƣờng đƣợc chia thành bốn lĩnh vực con: Học có giám sát: Máy tính đƣợc xem số mẫu gồm đầu vào đầu tƣơng ứng trƣớc Sau học xong mẫu này, máy tính quan sát đầu vào cho kết Học không giám sát: Máy tính đƣợc xem mẫu đầu ra, sau máy tính phải tự tìm cách phân loại mẫu mẫu Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Hàm điều hòa đƣợc thể vài cách nhìn khác cách nhìn khác cung cấp tập hợp lý luận bổ sung kỹ thuật phong phú cho lĩnh vực học nửa giám sát 2.7 Đánh giá Hầu hết thuật toán học nửa giám sát dựa đồ thị dựa việc học lan truyền, nhƣợc điểm phƣơng pháp dễ dàng mở rộng thêm điểm liệu mà không thuộc tập L∪ U, điểm liệu đƣợc thêm vào đồ thị làm thay đổi cấu trúc đồ thị, dẫn tới chi phí tính toán bị tăng lên Bên cạnh đó, lý có ảnh hƣởng tới chi phí tính toán phụ thuộc vào loại đồ thị xây dựng, sử dụng đồ thị kết nối đầy đủ ta phải tính toán cho tất cạnh nối hai đỉnh 2.8 Kết luận chƣơng Trong chƣơng này, tìm hiểu phƣơng pháp học nửa giám sát dựa đồ thị số thuật toán sử dụng để phục vụ trình học Nghiên cứu thuật toán lan truyền nhãn để học từ liệu gán nhãn chƣa gán nhãn, nhãn đƣợc lan truyền đồ thị thông qua hàm trọng số đỉnh lân cận gán nhãn Đây thuật toán quan trọng với học máy đồ thị Chúng ta nghiên cứu cách xác định siêu tham số để phục vụ trình lan truyền nhãn với thuật toán Cây khung nhỏ Vì đồ thị đầu vào tất thuật toán nên cần xây dựng đồ thị cho phù hợp với yêu cầu toán Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn CHƢƠNG 3: CÀI ĐẶT VÀ THỬ NGHIỆM THUẬT TOÁN 3.1 Mô tả toán Với mục tiêu gán nhãn cho đỉnh đồ thị dựa sở đỉnh có tiến hành xây dựng chƣơng trình nhãn ứng dụng nhằm mô trình thực thuật toán Chƣơng trình ứng dụng cài đặt hai thuật toán học nửa giám sát theo hai phƣơng pháp phƣơng pháp tự huấn luyện với kết hợp liệu gán nhãn, chƣa gán nhãn phƣơng pháp dựa đồ thị để thực việc phân loại tin nhắn rác có tập tin nhắn thông thƣờng 3.2 Mô tả liệu đầu vào Dữ liệu đầu vào chƣơng trình đƣợc lấy ngẫu nhiên với 50 tin nhắn có tin nhắn rác liệu thử nghiệm SMS Spam corpus (nguồn http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/) Mỗi dòng liệu chứa nội dung tin nhắn dƣới dạng text Kết thúc dòng dấu phân cách “phẩy”, sau dấu phẩy tin nhắn đƣợc phân loại thành ham-tin nhắn hợp lệ spam-tin nhắn rác Ví dụ nội dung liệu: Hình 3.1: Tệp liệu tin nhắn mẫu Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Trƣớc tiến hành phân lớp liệu, cần phải xử lý để chuyển đổi liệu định dạng phù hợp Luận văn sử dụng phần mềm Weka (nguồn http://www.cs.waikato.ac.nz/ml/weka/) để thực thao tác tiền xử lý liệu Chi tiết bƣớc xử lý nhƣ sau: Bƣớc 1: Chuyển đổi liệu dạng chuỗi dạng vector: weka xây dựng từ điển từ khóa Sau chuyển đổi, liệu dùng để chuyển đổi bao gồm 148 ghi 100 thuộc tính Hình 3.2 rõ liệu sau đƣợc chuyển đổi Hình 3.2: Nội dung tin nhắn chuyển thành dạng vector Khi liệu dạng vector đƣợc mô tả nhƣ hình sau Các thuộc tính từ nội dung tin nhắn, thuộc tính cột liệu Mỗi tin nhắn đƣợc thể hàng với số 0,1… thể số lần xuất thuộc tính (từ tiếng anh) nội dung tin nhắn nhƣ hình 3.3 Khi ta chỉnh sửa đƣợc nội dung file cần Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Hình 3.3: Nội dung file liệu dạng vector Bƣớc 2: Trích chọn đặc trƣng đƣợc trình bày chi tiết mục 3.3 Bƣớc 3: Thực gán số thứ tự cho đỉnh với đỉnh SMS đƣợc thể dòng liệu gán nhãn trƣớc cho số đỉnh số đỉnh chƣa gán nhãn Bằng cách thêm số nhãn 1,0 (thể nhãn) hay -1 (chƣa gán nhãn) trƣớc phần liệu tin nhắn Bƣớc đƣợc thực chƣơng trình nhằm chuẩn hóa liệu đầu vào cho phù hợp với liệu đầu vào thuật toán 3.3 Trích chọn đặc trƣng Trích chọn đặc trƣng (Feature Selection, Feature Extraction) nhiệm vụ quan trọng giai đoạn tiền xử lý liệu triển khai mô hình khai phá liệu máy học Một vấn đề gặp phải liệu dùng để xây dựng mô hình liệu thƣờng chứa nhiều thông tin không cần thiết (thậm chí gây nhiễu) cho việc xây dựng mô hình Chẳng hạn, liệu gồm hàng trăm thuộc tính dùng để mô tả khách hàng doanh nghiệp đƣợc thu thập, nhiên xây dựng mô Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn hình cần khoảng 50 thuộc tính từ hàng trăm thuộc tính Nếu ta sử dụng tất thuộc tính (hàng trăm) khách hàng để xây dựng mô hình ta cần nhiều CPU, nhiều nhớ trình huấn luyện, chí thuộc tính không cần thiết làm giảm độ xác mô hình gây khó khăn việc phát tri thức Có nhiều phƣơng pháp để trích chọn thuộc tính tốt để huấn luyện mà đảm bảo đƣợc yêu cầu, giúp trình thực thi huấn luyện nhanh Trong trích chọn đặc trƣng văn bản, phƣơng pháp kể đến nhƣ Bag-of-words hay Chỉ số Gain,… luận văn sử dụng phƣơng pháp trích chọn dựa bag-of-words với kỹ thuật loại bỏ từ dừng “stop word” lấy từ gốc “stemming” Sau đặc trƣng phù hợp đƣợc chọn, phân lớp đƣợc đào tạo với tập liệu huấn luyện Quá trình huấn luyện thƣờng đƣợc lặp lặp lại nhiều lần để có đƣợc mô hình tốt Hiệu mô hình phân loại sau đƣợc đánh giá tập liệu kiểm tra chuẩn bị riêng Trong luận văn Wake đƣợc sử dụng để chọn đặc trƣng tốt cách sử dụng tính Attribute Selection với tùy chọn Best First để lọc bỏ tính không thực quan trọng từ giảm số thuộc tính cần xét giúp chƣơng trình thuật toán thực đƣợc nhanh mà đảm bảo số tiêu chí dùng cho phân lớp nhƣ hình sau Hình 3.4: Trích chọn đặc trưng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Từ ta đƣợc file đầu vào cho toán tự huấn luyện lan truyền nhãn với 30 thuộc tính nhƣ hình 3.5 Dữ liệu đầu vào xem sửa cần thiết nhƣ hình 3.5 nhƣ sau: Hình 3.5: Trích chọn thuộc tính cho file đầu vào chương trình Hình 3.6: Dữ liệu chương trình Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Dữ liệu đầu vào thuật toán tập ghi liệu chƣa đƣợc phân lớp Với ghi liệu chứa giá trị thuộc miền rời rạc Hình 3.7: Dữ liệu chương trình mở Notepad Cấu trúc liệu tệp đầu vào mô tả lại nhƣ sau: Đầu tiên thông tin Wake Tiếp theo n dòng thông tin thuộc tính có dạng @ thuộc tính với n số thuộc tính Mỗi dòng tƣơng ứng với giá trị đối tƣợng luận văn dòng thể liệu thuộc tính sms Các giá trị thuộc tính cách dấu “,” 3.4 Cài đặt thử nghiệm Môi trƣờng cài đặt thử nghiệm Chƣơng trình thử nghiệm đƣợc viết ngôn ngữ C#.Net Visual Studio 2010 sử dụng phiên Net Framework 4.0 Dữ liệu chƣơng trình đƣợc lƣu trữ hệ quản trị sở liệu Sql Server 2008 R2 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Các chức chƣơng trình Nhập liệu: Cho phép nhập liệu từ tệp text có cấu trúc nhƣ mô tả mục 3.6 Trƣớc nhập liệu, ngƣời dùng chỉnh sửa phần mềm Wake Để nhập liệu, ngƣời dùng nhấn vào nút “Chọn ”, sau tìm đến tệp liệu lƣu trữ máy tính có đuôi dạng *.arff *.text Sau chọn tệp, liệu đƣợc lấy thông tin cần thiết thuộc tính thực lƣu vào sở liệu hiển thị lên tab “Chi tiết liệu” để phục vụ cho việc thực thuật toán đƣợc dễ dàng Hình 3.8: Giao diện chọn tệp liệu Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Tại giao diện này, cột wi thuộc tính thứ i thuộc tính trích chọn bên ngƣời dùng thực thao tác lựa chọn vào combobox “Chọn phƣơng pháp” Chƣơng trình cho phép lựa chọn phƣơng pháp tự huấn luyện phƣơng pháp lan truyền nhãn Sau lựa chọn, nhấn nút “Thực hiện” Với phƣơng pháp tự huấn luyện, kết hiển thị nhƣ sau: Hình 3.9: Kết lựa chọn phương pháp tự huấn luyện Các tin nhắn thuộc lớp sms spam 11 lại ham Với phƣơng pháp lan truyền nhãn, giao diện hiển thị thông tin ma trận nhãn, ma trận xác suất nhãn, ma trận trọng số cạnh ma trận xác suất Mỗi nút đồ thị SMS Ngoài tab “Đồ thị lan truyền nhãn”, hiển thị đồ thị nhãn với đỉnh hình tròn, đỉnh màu đỏ ứng với trƣờng hợp chƣa gán nhãn, đỉnh xanh ứng với nhãn đỉnh vàng ứng với nhãn đƣờng nối đỉnh Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Trong hình 3.10 ta xem chi tiết ma trận đƣợc tính toán trình lan truyền nhãn nhƣ: ma trận trọng số cạnh W, ma trận xác suất chuyển đổi P, ma trận nhãn YL, ma trận xác suất chuyển nhãn f Hình 3.10: Giao diện đồ thị lan truyền nhãn trước thực Ở giao diện bảng “Nút i” thể SMS thứ i Để thực thuật toán lan truyền nhãn, ngƣời dùng nhấn vào nút “Thực hiện” tab “Phƣơng pháp lan truyền nhãn”, chƣơng trình trả kết đỉnh đƣợc gán nhãn Đồng thời hiển thị ma trận xác suất hội tụ ma trận xác xuất nhãn fu với tin nhắn spam Sau hệ thống thực xong việc lan truyền nhãn, ta xem kết dƣới dạng bảng ma trận xác suất nhạn hội tụ ma trận xác suất nhãn fu nhƣ dƣới dạng đồ thị nhƣ hình 3.11 Màn hình hiển thị thông tin đỉnh nhãn chúng sau đƣợc lan truyền từ đỉnh gán nhãn khác Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Hình 3.11: Giao diện đồ thị lan truyền nhãn sau thực Sau thực thuật toán lan truyền nhãn, đỉnh đƣợc gán nhãn nên không đỉnh màu đỏ (chƣa gán nhãn) nhƣ hình Tại giao diện này, ngƣời dùng nhấn vào nút “Lƣu kết quả” để lƣu lại liệu gán nhãn Kết xuất tệp text 3.5 Kết thực nghiệm đánh giá độ phức tạp 3.5.1 Kết thực nghiệm Hình 3.12: Kết đồ thị sau gán nhãn dạng đồ thị Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Kết thực nghiệm thuật toán thu đƣợc 11 tin nhắn đƣợc phân lớp tin nhắn rác 39 tin nhắn tin nhắn phân lớp sai, tỷ lệ tin nhắn phân lớp đạt 94% 3.5.2 Đánh giá độ phức tạp thuật toán  Với thuật toán tự huấn luyện Dữ liệu đầu vào bao gồm: ℓ: số lƣợng liệu gán nhãn u: số lƣợng liệu chƣa gán nhãn (u ≫ ℓ) n = ℓ + u =50 : tổng số lƣợng liệu Độ phức tạp thuật toán tự huấn luyện dựa việc đánh giá trình lặp bƣớc (xem 1.3.1):  Thuật toán thực số vòng lặp nhiều là: u vòng lặp Trong đó: Vòng lặp thứ có độ phức tạp: O (ℓ) Vòng lặp thứ hai có độ phức tạp là: O (ℓ + 1) Vòng lặp thứ u có độ phức tạp là: O (ℓ+u−1) Do thuật toán có độ phức tạp là: O (ℓ) + O (ℓ +1) + + O (ℓ +u−1) = O(ℓ +u−1) (O (ℓ +u) − O (ℓ))/ = O(ℓ +u−1) O (u) / ≈ O(n2) ≈ O(502)  Với thuật toán lan truyền nhãn Thuật toán lan truyền nhãn đƣợc thực dựa trình tính toán ma trận việc lặp lại để xác định hội tụ thuật toán Đầu vào thuật toán đồ thị, đó: ℓ: số đỉnh gán nhãn u: số đỉnh chƣa gán nhãn (u ≫ ℓ) n = ℓ + u =50: tổng số đỉnh đồ thị Thuật toán thực trình tính toán với độ phức tạp thành phần nhƣ sau: - Quá trình xác định ma trận trọng số W, ma trận xác suất P, ma trận xác suất chuyển nhãn PUU, ma trận xác suất PUL, ma trận nhãn YL, ma trận xác suất nhãn Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn f, có độ phức tạp: O(n2) (1) - Quá trình xác định siêu tham số α dựa thuật toán tìm khung nhỏ nhất, có độ phức tạp: O (n2×log n) (2) - Quá trình lặp để thực việc lan truyền nhãn đƣợc thực m bƣớc lặp (m lớn), đó: việc xác định hội tụ thuật toán dựa trình tính toán định thức ma trận, phép toán nhân ma trận tìm ma trận nghịch đảo, có độ phức tạp: O(n3) Do đó, độ phức tạp trình lặp là: O (m×n3) (3)  Từ (1), (2) (3) suy độ phức tạp thuật toán la truyền nhãn là: O (m×503) 3.6 Kết luận Trong chƣơng này, tác giả cài đặt chƣơng trình thử nghiệm phƣơng pháp tự huấn luyện lan truyền nhãn dựa học nửa giám sát Với thuật toán tự huấn luyện, ứng dụng cho phép ngƣời dùng nhập liệu đầu vào, gán nhãn thông qua trình tự huấn luyện Với thuật toán lan truyền nhãn đồ thị, chƣơng trình cho phép theo dõi kết trình tính toán thông qua ma trận, đồng thời hiển thị kết cách trực quan lên giao diện Chƣơng trình dễ dàng phát triển với nhiều thuộc tính Trong chƣơng này, tác giả chƣơng trình thử nghiệm thuật toán phân lớp áp dụng vào toán phân loại tin nhắn rác Với phƣơng pháp trích chọn đặc trƣng nhƣ trình bày trên, giúp giảm nhiều thời gian thực phân lớp thuật toán Đồng thời, luận văn trình bày chi tiết bƣớc tiền xử lý liệu cho phép khai thác thuật toán phân lớp hiệu Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN  Kết luận : - Trình bày khái quát học có giám sát, học không giám sát học nửa giám sát - Giới thiệu số phƣơng pháp học nửa giám sát phổ biến nhƣ: Self-training, Co-training, TSVM đánh giá ƣu nhƣợc điểm phƣơng pháp - Trình bày phƣơng pháp học nửa giám sát dựa đồ thị số thuật toán nhƣ: Labeled Propagation, Mincut - Đã cài đặt chƣơng trình thử nghiệm thuật toán lan truyền nhãn đồ thị thuật toán tự huấn luyện  Hạn chế Về chƣơng trình ứng dụng: thời gian có hạn nên chƣa có điều kiện xây dựng phần mềm ứng dụng hoàn chỉnh, áp dụng thuật toán vào lĩnh vực đời sống  Hƣớng phát triển Với việc nghiên cứu học nửa giám sát phƣơng pháp học nửa giám sát dựa đồ thị, tiếp tục nghiên cứu sâu hƣớng tìm hiểu phƣơng pháp, thuật toán học nửa giám sát khác để áp dụng lý thuyết nghiên cứu đƣợc nhằm xây dựng phần mềm áp dụng vào thực tiễn Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt [1] TS Nguyễn Tân Ân (2011), Bài giảng mạng noron nhân tạo, Trƣờng Đại học Sƣ phạm Hà Nội, Hà Nội [2] PGS TS Đoàn Văn Ban, ThS Nguyễn Hiền Trinh (2009), Ngôn ngữ hình thức ôtômát, NXB Đại học Thái Nguyên [3] PGS TS Hà Quang Thụy (2011), Bài giảng nhập môn khai phá liệu, Trƣờng Đại học Công nghệ Đại học Quốc gia Hà Nội, Hà Nội Tài liệu tiếng Anh [4] Avirm Blum, Shuchi Chawla (2001), Learning from labeled and Unlabeled Data using Graph Mincuts, Computer Science Department, Carnegie Mellon University, 5000 Forbes Avenue, Pittsburgh, PA15213USA [5] Amarnag Subramanya (2012), Partha Pratim Talukdar, A Tutorial on Graph-based Semi-Supervised Learning Algorithms for NLP, South Korea [6] Matthias Seeger (2001), Learning with labeled and unlabeled data, Technical Report, University of Edinburgh [7] Olivier Chapelle, Bernhard Sch¨olkopf, Alexander Zien (2006), SemiSupervised Learning [8] Partha Pratim Talukdar (July 16, 2010), Experiments in Graph-based SemiSupervised Learning Methods for Class-Instance Acquisition, Search Labs, Microsoft Research Mountain View, CA 94043, Fernando Pereira Google, Inc.Mountain View, CA 94043 [9] Xiaojin Zhu (May 2005), Semi-Supervised Learning with Graphs [10] Zoubin Ghahramani (2012), Graph-based Semi-supervised Learning, Department of Engineering University of Cambridge, UK, La Palma Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn [...]... SVM cho lĩnh vực học nửa giám sát TSVM tìm một cách gán nhãn cho tất cả các dữ liệu chƣa gán nhãn và sự phân chia đồng đều, ví dụ nhƣ lề cực đại đạt đƣợc trên cả dữ liệu đã gán nhãn và dữ liệu chƣa gán nhãn Phƣơng pháp học nửa giám sát dựa trên đồ thị (Graph-based) hiện nay đã thu hút số lƣợng lớn các nhà nghiên cứu Các phƣơng pháp học nửa giám sát dựa trên đồ thị bắt đầu với một đồ thị mà tại đó các... Trƣớc khi đi vào việc học trên đồ thị, đầu tiên ta cần tìm hiểu một số định nghĩa liên quan trong đồ thị Cấu trúc của đồ thị Các thuật toán trong phƣơng pháp học nửa giám sát dựa trên đồ thị hầu nhƣ có tƣ tƣởng giống nhau và điều quan trọng là cần xây dựng đƣợc một đồ thị tốt, hơn là việc sẽ sử dụng thuật toán nào giữa chúng Cho đồ thị G = (V, E) với n đỉnh, V: tập đỉnh, E: tập cạnh Đồ thị G đƣợc thể... mở rộng phƣơng pháp này cho các đồ thị có hƣớng Nhƣợc điểm: - Hiệu suất của thuật toán là tồi nếu đồ thị là tồi - Dễ thay đổi nếu cấu trúc đồ thị và các trọng số cạnh khi có sự thay đổi các đỉnh 1.4 Kết luận Trong chƣơng này, chúng ta đã nghiên cứu tổng quan về học có giám sát, học không giám sát và học nửa giám sát Đồng thời nghiên cứu một số phƣơng pháp học nửa giám sát phổ biến hiện nay nhƣ: Self-training,... loại đồ thị phổ biến có thể sử dụng trong học nửa giám sát Đôi khi các tập dữ liệu mà chúng ta có đƣợc lại bị giới hạn về miền tri thức, đồng thời ta cần có một đồ thị để bắt đầu việc giải quyết vấn đề đó, do vậy, dƣới đây là một số cách phổ biến dùng để xây dựng đồ thị phục vụ cho các thuật toán học nửa giám sát[ 10] 2.2.1 Đồ thị kết nối đầy đủ Hình 2.2: Đồ thị kết nối đầy đủ Đồ thị kết nối đầy đủ là đồ. .. học nửa giám sát đòi hỏi nỗ lực của con ngƣời ít hơn và đƣa ra độ chính xác cao, đó là sự quan tâm lớn cả về lý thuyết và thực hành Để hiểu bản chất của học nửa giám sát, ta sẽ xem xét các khái niệm về học có giám sát, học không giám sát và học tăng cƣờng 1.2 Các phƣơng pháp học máy 1.2.1 Học có giám sát Học có giám sát là một kỹ thuật của ngành học máy nhằm mục đích xây dựng một hàm f từ dữ tập dữ... không giám sát Học không giám sát là một phƣơng pháp của ngành học máy nhằm tìm ra Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn một mô hình phù hợp với các quan sát Nó khác với học có giám sát ở chỗ là đầu ra đúng tƣơng ứng cho mỗi đầu vào là không biết trƣớc Trong học không giám sát, một tập dữ liệu đầu vào đƣợc thu thập Học không giám sát thƣờng đối xử với các đối tƣợng đầu vào nhƣ... nhãn và chƣa đƣợc gán nhãn, và các cạnh (có trọng số) phản ánh sự tƣơng tự của các đỉnh Giả sử, các đỉnh đƣợc kết nối với nhau bởi một cạnh có trọng số lớn thì có khuynh hƣớng có cùng nhãn, các nhãn có thể lan truyền thông qua đồ thị Các giải thuật dựa trên đồ thị đƣợc thừa hƣởng từ lý thuyết quang phổ đồ thị[ 10] 1.2.4.2 Bài toán học nửa giám sát Học nửa giám sát là một trong số các kỹ thuật học máy,... loại đồ thị có thể dùng để xây dựng phục vụ quá trình học Mỗi đồ thị đƣợc xây dựng nên bởi các điểm dữ liệu hay còn gọi là các đối tƣợng dữ liệu, các đối tƣợng dữ liệu này lại đƣợc mô tả theo nhiều chiều khác nhau nhƣ: miền rời rạc, miền liên tục, Trong khi đó, phƣơng pháp học nửa giám sát dựa trên đồ thị phụ thuộc vào khoảng cách giữa các điểm trên đồ thị Do đó, trƣớc khi đi vào các thuật toán học. .. thủ và xác định số nƣớc cờ của đối thủ sẽ đi một cách tức thì Một con rô bốt di động quyết định có nên đi vào một căn phòng mới để tìm kiếm đƣờng về trạm sạc pin của nó Nó đƣa ra quyết định dựa trên việc làm thế nào để có thể tìm đƣợc trạm sạc pin trong quá khứ một cách nhanh chóng và dễ dàng 1.2.4 Học nửa giám sát 1.2.4.1 Tổng quan về học nửa giám sát Ban đầu, học nửa giám sát giả sử có hai lớp và. .. một đồ thị, mục đích của chúng ta là dựa vào các dữ liệu đã gán nhãn, kết hợp với các thuật toán học nửa giám sát dựa trên đồ thị để gán nhãn cho các dữ liệu chƣa có nhãn, thông thƣờng việc gán nhãn này dựa trên tƣ tƣởng các đỉnh gần nhau hơn và đƣợc kết nối bởi cạnh có trọng số cao hơn thì sẽ có nhãn tƣơng tự nhau Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Hình 1.6: Minh họa đồ thị ... cứu: Học nửa giám sát Phạm vi nghiên cứu: - Nghiên cứu tổng quan học có giám sát, học không giám sát học nửa giám sát - Các phƣơng pháp học nửa giám sát phổ biến - Phƣơng pháp học nửa giám sát dựa. .. hiểu chất học nửa giám sát, ta xem xét khái niệm học có giám sát, học không giám sát học tăng cƣờng 1.2 Các phƣơng pháp học máy 1.2.1 Học có giám sát Học có giám sát kỹ thuật ngành học máy nhằm... learning), Học không giám sát (Unsupervised learning), Học nửa giám sát (Semi-Supervised learning) Chƣơng 2: Phƣơng pháp học nửa giám sát dựa đồ thị Tập trung tìm hiểu số thuật toán lĩnh vực học nửa giám