Đặc tính này rất phù hợp cho các ứng dụng mà dữ liệu đến liêntục theo luồng như các giao dịch trong hệ thống chứng khoán hoặc các bộ phân tích dữ liệu nhận được từ cảmbiến môi trường.Tro
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG —————*————— Phạm Xuân Cường PHƯƠNG THỨC HỌC MÁY TRỰC TUYẾN DỰA TRÊN MƠ HÌNH BAYES CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH LUẬN VĂN THẠC SỸ KHOA HỌC CHUYÊN NGÀNH KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC TS Đinh Viết Sang HÀ NỘI 10-2017 170833000612913182564-000a-43d0-9dc5-775eb6bcd44c 1708330006129b89ea37c-e995-40ca-a879-b062d132a4eb 17083300061295a925d88-0d59-49ba-8074-58f20f13b122 PHIẾU GIAO NHIỆM VỤ LUẬN VĂN TỐT NGHIỆP Thông tin học viên Họ tên sinh viên: Phạm Xuân Cường Lớp: Khoa học máy tính Hệ đào tạo: Thạc sỹ Khoa học Thời gian làm LVTN: Từ ngày 06 / 03 / 2017 đến 23 / 10 / 2017 Mục đích nội dung LVTN Nghiên cứu đề xuất giải thuật học máy trực tuyến dựa Bayes Các nhiệm vụ cụ thể Luận văn: • Nghiên cứu phương thức học máy trực tuyến • Đề xuất giải thuật học máy dựa Bayes • Đề xuất giải thuật học máy dựa Hoeffding ma trận ngẫu nhiên • So sánh đánh giá kết thử nghiệm Lời cam đoan học viên: Tôi Phạm Xuân Cường cam kết Luận văn công trình nghiên cứu thân tơi hướng dẫn Tiến sỹ Đinh Viết Sang Các kết nêu luận văn trung thực, chép tồn văn cơng trình khác Hà Nội, ngày 23 tháng 10 năm 2017 Tác giả Luận văn Phạm Xuân Cường Xác nhận GVHD: Hà Nội, ngày 23 tháng 10 năm 2017 Giáo viên hướng dẫn TS Đinh Viết Sang Học viên: Phạm Xuân Cường CB160558 Khóa 2016B Lớp CH KHMT LỜI CẢM ƠN Lời xin chân thành bày tỏ lòng biết ơn sâu sắc tới giảng viên Tiến sỹ Đinh Viết Sang, người đào tạo, định hướng bảo tơi tận tình q trình thực luận văn tốt nghiệp Những lời khuyên phản biện thầy giúp nhận thiếu sót q trình nghiên cứu để hồn thiện luận văn với kết tốt Tôi xin gửi lời cảm ơn sâu sắc tới thành viên nhóm nghiên cứu Đại học Griffith, Australia: giáo sư Alan Wee-chung Liew, anh Nguyễn Tiến Thành, chị Nguyễn Thị Thu Thủy giúp đỡ nhiều đường nghiên cứu học thuật Bên cạnh tơi xin gửi lời cảm ơn tới tất người tin tưởng hỗ trợ dù trực tiếp hay gián tiếp Cuối cùng, xin bày tỏ cảm kích tình u sâu sắc bố mẹ, anh, chị, vợ gái người ủng hộ hỗ trợ vô điều kiện để tơi đạt thành cơng sống Tôi xin đặc biệt gửi lời cảm ơn tới vợ tôi, người thấu hiểu, cảm thông liên tục hỗ trợ tơi q trình thực luân văn Thạc sỹ Hà Nội, ngày 26 tháng 10 năm 2017 Tác giả luận văn Phạm Xuân Cường Học viên: Phạm Xuân Cường CB160558 Khóa 2016B Lớp CH KHMT DANH SÁCH CÁC BÀI BÁO XUẤT BẢN GẦN ĐÂY Thanh T Nguyen, Phuong M Nguyen, Cuong X Pham and Alan W-C Liew, “Heterogeneous Classifier Ensemble with Fuzzy Rule-based Meta Learner”, Information Sciences, 2017 (accepted) Cuong X Pham, Truong D Manh, Sang D Viet, Son Hoang, Thanh T Nguyen, Alan W-C Liew, “Learning from data stream based on Random Projection and Hoeffding Tree classifier”, International Conference on Digital Image Computing: Techniques and Applications (DICTA), 2017 (accepted) Thuy T T Nguyen, Thanh T Nguyen, Cuong X Pham, Alan W-C Liew,“A Novel Online Bayes Classifier” International Conference on Digital Image Computing: Techniques and Applications (DICTA), 2016 Học viên: Phạm Xuân Cường CB160558 Khóa 2016B Lớp CH KHMT Mục lục LỜI CẢM ƠN DANH SÁCH BẢNG DANH SÁCH HÌNH VẼ DANH MỤC TỪ VIẾT TẮT GIỚI THIỆU 10 1.1 Đặt vấn đề 10 1.2 Cấu trúc luận văn 12 1.3 Các ký hiệu toán học 13 TỔNG QUAN CÁC PHƯƠNG PHÁP HỌC TRỰC TUYẾN 15 2.1 Phương pháp học trực tuyến tuyến tính 17 2.2 Phương pháp học trực tuyến dựa phân loại 20 2.3 Phương pháp học trực tuyến Bayes 22 2.4 Phương pháp học trực tuyến tập hợp 24 2.5 Phương pháp đánh giá so sánh 30 2.5.1 Các độ đo hiệu 31 2.5.1.1 Độ xác sai số 31 2.5.1.2 Confusion Matrix 32 2.5.1.3 Độ đo Precision, Recall F1 34 Kiểm định thống kê 36 Các nghiên cứu đề xuất 41 2.6.1 Câu hỏi nghiên cứu mục tiêu 41 2.6.2 Tầm quan trọng nghiên cứu 42 2.5.2 2.6 MƠ HÌNH HỌC ONLINE DỰA TRÊN LÝ THUYẾT BAYES 3.1 Các nghiên cứu liên quan Học viên: Phạm Xuân Cường CB160558 Khóa 2016B Lớp CH KHMT 44 45 3.1.1 Suy diễn biến thiên cho phân phối chuẩn nhiều chiều 45 Mơ hình đề xuất 49 MƠ HÌNH HỌC ONLINE DỰA TRÊN CÂY HOEFFDING VÀ PHÉP CHIẾU NGẪU NHIÊN 54 3.2 4.1 4.2 Các nghiên cứu liên quan 55 4.1.1 Bộ phân loại Hoeffding 55 4.1.2 Các phép chiếu ngẫu nhiên 58 Mơ hình đề xuất 60 THỬ NGHIỆM VÀ ĐÁNH GIÁ 66 5.1 Tập liệu thử nghiệm 66 5.2 Cấu hình thử nghiệm mơ hình phương pháp so sánh 67 5.3 Kết thử nghiệm so sánh 70 5.4 Dữ liệu nhiễu 76 KẾT LUẬN 77 TÀI LIỆU THAM KHẢO 79 Học viên: Phạm Xuân Cường CB160558 Khóa 2016B Lớp CH KHMT Danh sách bảng 1.1 Các ký hiệu toán học 14 2.1 Ví dụ ma trận Confusion 32 5.1 Thông tin tập liệu dùng để đánh giá mơ hình 67 5.2 Trung bình phương sai theo sai số thuật toán đề xuất thuật toán so sánh 71 5.3 Trung bình phương sai theo F1 thuật toán đề xuất thuật toán so sánh 74 Học viên: Phạm Xuân Cường CB160558 Khóa 2016B Lớp CH KHMT Danh sách hình vẽ 1.1 Các đặc điểm BigData 11 2.1 Phân loại phương thức học trực tuyến 15 2.2 Quy trình hoạt động thuật tốn học trực tuyến 16 2.3 Minh họa màu sắc cho confusion matrix chưa chuẩn hóa confusion matrix chuẩn hóa 33 2.4 Đường cong P-R toán phân loại 35 3.1 Mô tả trực quan quy trình hoạt động thuật tốn VIGO với kích thước lô |B| = 53 4.1 Quy trình hoạt động thuật tốn RP Hoeffding 65 5.1 Quy trình thử nghiệm mơ hình đề xuất 69 5.2 Thống kê độ hiệu thuật toán 25 tập liệu 72 5.3 Kết kiểm định thống kê sai số thuật toán RP Hoeffding với thuật toán khác 25 tập liệu 5.4 Kết kiểm định thống kê F1 thuật toán RP Hoeffding thuật toán khác 25 tập liệu 5.5 74 75 Trung bình sai số thuật tốn VIGO thuật toán PA, SCW, AROW 25 tập liệu nhiễu 76 Học viên: Phạm Xuân Cường CB160558 Khóa 2016B Lớp CH KHMT Danh mục từ viết tắt STT Từ viết tắt Ý nghĩa VI Variational Inference VIGO Variational Inference for Gaussian PA Passive Aggressive learning SOP Second-order Perceptron GMM Gaussian Mixture Model SCW Soft Confidence Weighted ALMA Approximate Large Margin Algorithm ROMMA Relaxed Online Maximum Margin Algorithms OGD Online Gradient Descent Học viên: Phạm Xuân Cường CB160558 Khóa 2016B Lớp CH KHMT