Nghiên Cứu Mô Hình Relevance Vector Machine (RVM) Áp Dụng Giải Một Số Bài Toán Thực Tế

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH Lê Quốc Vương NGHIÊN CỨU MƠ HÌNH RELEVANCE VECTOR MACHINE (RVM) ÁP DỤNG GIẢI MỘT SỐ BÀI TOÁN THỰC TẾ LUẬN VĂN THẠC SĨ MÁY TÍNH Thành phố Hồ Chí Minh - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH Lê Quốc Vương NGHIÊN CỨU MƠ HÌNH RELEVANCE VECTOR MACHINE (RVM) ÁP DỤNG GIẢI MỘT SỐ BÀI TỐN THỰC TẾ Chun ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS HUỲNH VĂN ĐỨC Thành phố Hồ Chí Minh - 2018 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân hướng dẫn khoa học TS Huỳnh Văn Đức Các thông tin số liệu luận văn có nguồn gốc rõ ràng, cụ thể, có trích dẫn theo quy định Kết nghiên cứu luận văn hoàn toàn trung thực, khách quan chưa sử dụng hay cơng bố cơng trình nghiên cứu khác TP Hồ Chí Minh, tháng 03 năm 2018 Học viên Lê Quốc Vương LỜI CẢM ƠN Lời đầu tiên, tơi xin bày tỏ lịng biết ơn chân thành sâu sắc đến thầy Huỳnh Văn Đức - giảng viên hướng dẫn luận văn Trong trình tìm hiểu nghiên cứu đề tài, gặp nhiều khó khăn, nhờ Thầy ln động viên, hết lịng hướng dẫn giúp đỡ nên tơi hồn thành luận văn Tôi xin gửi lời cảm ơn chân thành đến quý Thầy/Cô Trường Đại học Sư phạm Thành phố Hồ Chí Minh tận tâm dạy dỗ truyền đạt kiến thức quý báu trình học tập Đồng thời, tơi xin cảm ơn Ban chủ nhiệm khoa Cơng nghệ thơng tin phịng Sau đại học hỗ trợ tạo điều kiện cho thời gian qua Cuối cùng, xin bày tỏ lịng biết ơn sâu sắc đến gia đình động viên giúp đỡ suốt trình học tập thực luận văn TP Hồ Chí Minh, tháng 03 năm 2018 Học viên thực Lê Quốc Vương MỤC LỤC Trang Trang phụ bìa Lời cam đoan Lời cảm ơn Mục lục Danh mục thuật ngữ viết tắt Danh mục bảng Danh mục hình vẽ Chương MỞ ĐẦU 1.1 Đặt vấn đề 1.2 Mục tiêu luận văn 1.3 Nội dung thực .3 1.4 Bố cục luận văn Chương CƠ SỞ LÝ THUYẾT 2.1 Mơ hình Support Vector Machine (SVM) 2.1.1 Ý tưởng SVM 2.1.2 SVM toán phân loại 2.1.2.1 SVM với lề cứng (hard margin) 2.1.2.2 SVM với lề mềm (soft margin) .9 2.1.3 Hàm hạt nhân (kernel function) 11 2.1.4 SVM toán hồi quy 12 2.2 Mơ hình Relevance Vector Machine (RVM) 16 2.2.1 RVM toán hồi quy 16 2.2.2 RVM toán phân loại 18 2.2.3 Một số hàm sở (basis functions) 20 2.3 Chuỗi thời gian (Time Series) 21 2.3.1 Ví dụ khái niệm chuỗi thời gian 21 2.3.2 Các nguyên lý phân rã (decompositions) 23 2.3.3 Dữ liệu tách mùa (seasonally adjusted data) 24 2.3.4 Trung bình di động (Moving average) 24 2.3.5 Phương pháp phân rã cổ điển (classical decomposition) 26 2.3.6 Phương pháp phân rã X-12-ARIMA 27 2.3.7 Phương pháp phân rã STL 29 2.4 Chuỗi ARIMA 30 2.4.1 Nhiễu trắng (white noise) 30 2.4.2 Phép toán quay lui (Backshift) sai phân (Difference) 30 2.4.3 Tính dừng (stationarity) chuỗi thời gian 31 2.4.4 Mơ hình ARIMA 31 2.4.4.1 Mơ hình tự hồi quy (AR – Auto Regressive) 32 2.4.4.2 Mơ hình trung bình di động (MA - Moving Average) 32 2.4.4.3 Mơ hình ARMA (Auto Regressive Moving Average) 33 2.4.4.5 Mơ hình ARIMA (Auto Regressive Integrated Moving Average) .33 2.4.5 Mơ hình SARIMA (Seasonal ARIMA) 33 2.4.6 Phương pháp luận Box - Jenkins 34 Chương PHƯƠNG PHÁP ĐỀ XUẤT 36 3.1 Hạn chế trung bình di động đề xuất phương pháp khắc phục 36 3.1.1 Hạn chế trung bình di động 36 3.1.2 Ứng dụng RVM/SVM vào thuật toán phân rã chuỗi thời gian 37 3.1.3 Đề xuất hướng khắc phục hạn chế trung bình di động 38 3.2 Đề xuất thuật toán phân rã chuỗi thời gian 38 3.2.1 Ý tưởng .38 3.2.2 Thuật toán 39 Chương THỰC NGHIỆM 48 4.1 Quy trình thực nghiệm .48 4.1.1 Dữ liệu 48 4.1.2 Phương pháp thực .49 4.1.3 Độ đo sử dụng để so sánh tính hiệu thuật tốn 50 4.2 Kết thực nghiệm đánh giá .50 4.2.1 Thuật toán phân rã chuỗi thời gian .51 4.2.2 Dự báo thuật toán phân rã 54 Chương TỔNG KẾT .61 5.1 Kết luận 61 5.2 Hướng phát triển 63 TÀI LIỆU THAM KHẢO 64 DANH MỤC THUẬT NGỮ VÀ VIẾT TẮT ACF Auto Correlation Function AR Auto Regressive ARMA Auto Regressive Moving Average ARIMA Auto Regressive Integrated Moving Average KKT Karush Kuhn Tucker RVM Relevance Vector Machine MA Moving Average PACF Partial Auto Correlation Function SARIMA Seasonal Auto Regressive Integrated Moving Average SVM Support Vector Machine DANH MỤC CÁC BẢNG Bảng 3.1 Hệ bất đối xứng 3x3 MA 37 Bảng 3.2 Minh họa tính 3x3 MA có sử dụng hệ bất đối xứng .37 Bảng 3.3 Sai số thuật toán 40 Bảng 3.4 Sai số thuật toán 43 Bảng 3.5 Sai số thuật toán 44 Bảng 3.6 Sai số thuật toán 47 Bảng 4.1 Số lượng mẫu liệu .49 Bảng 4.2 Kết sai số thuật toán phân rã 03 liệu đầu 51 Bảng 4.3 Kết sai số thuật toán phân rã 03 liệu sau 52 Bảng 4.4 Sai số (RMSE) huấn luyện sai số (RMSE) dự báo liệu đầu 55 Bảng 4.5 Sai số (RMSE) huấn luyện sai số (RMSE) dự báo liệu sau .56 DANH MỤC CÁC HÌNH VẼ Hình 2.1 Mơ tả liệu tách tuyến tính khơng gian đặc trưng Z Hình 2.2 Mô tả lề siêu phẳng Hình 2.3 Mô tả biến nới lỏng ξ .9 Hình 2.4 Mơ tả ε - tube 13 Hình 2.5 GDP (USD) Kenya từ năm 1960 21 Hình 2.6 Tỷ lệ thất nghiệp lao động Mỹ 21 Hình 2.7 Dữ liệu tách mùa đơn hàng thiết bị điện (màu đỏ) 24 Hình 2.8 Biểu đồ phương pháp luận Box – Jenkins .35 Hình 3.1 Biểu đồ mơ hình RVM/SVM thuật tốn 40 Hình 3.2 Biểu đồ thành phần sai số thuật tốn mơ hình SVM 41 Hình 3.3 Biểu đồ học thuật toán 42 Hình 3.4 Biểu đồ thành phần sai số mơ hình SVM .43 Hình 3.5 Biểu đồ thuật tốn 44 Hình 3.6 Biểu đồ thành phần sai số mơ hình SVM .45 Hình 3.7 Biểu đồ thuật toán 47 Hình 3.8 Biểu đồ thành phần sai số mơ hình SVM .47 Hình 4.1 Độ lệch chuẩn thuật toán phân rã liệu 53 Hình 4.2 Độ lệch chuẩn thuật toán phân rã liệu 53 Hình 4.3 Độ lệch chuẩn thuật toán phân rã liệu 54 Hình 4.4 Biểu đồ sai số huấn luyện dự báo liệu 1, 2, thuật toán SVM/RVM, S-SVM/RVM, STL-SVM/RVM 57 Hình 4.5 Biểu đồ sai số huấn luyện dự báo liệu thuật toán SVM/RVM, S-SVM/RVM, STL-SVM/RVM 58 Hình 4.6 Biểu đồ sai số huấn luyện dự báo liệu 1, 2, hai thuật toán X12-SVM X12-RVM 59 Hình 4.7 Biểu đồ sai số huấn luyện dự báo liệu hai thuật toán X12-SVM X12-RVM 59 52 Series mean X-12-ARIMA Series sd mean Series sd mean sd -0.02 0.93 0.07 4.77 -0.04 0.40 STL 0.02 1.39 0.00 10.15 -0.01 0.88 ETS 0.11 1.55 -0.08 8.13 0.09 0.76 SVM 0.05 1.95 0.30 8.74 0.22 1.77 -0.04 1.00 0.05 4.30 0.04 0.66 STL-SVM 0.01 1.15 0.09 8.20 0.01 0.91 X12-SVM -0.03 0.96 0.55 4.69 -0.02 0.53 RVM 0.01 2.87 0.03 22.66 0.02 1.73 S-RVM 0.00 1.12 0.27 8.12 -0.04 0.60 STL-RVM 0.00 1.47 0.02 10.73 0.00 0.90 X12-RVM 0.02 1.18 -0.05 6.19 -0.03 0.53 S-SVM Bảng 4.3 Kết sai số thuật toán phân rã 03 liệu sau Khả phân rã thuật toán, để dễ đánh giá luận văn vẽ Hình 4.1, Hình 4.2 Hình 4.3 bên Đường gạch (đường max) gạch (đường min) cột liệu độ lệch chuẩn lớn nhỏ ba thuật toán sở: X-12-ARIMA, STL ETS, từ sau luận văn gọi đường max đường Qua ba hình vẽ trên, cho ta thấy độ lệch chuẩn sai số thuật toán phân rã chuỗi thời gian luận văn đề nghị nằm khoảng đường max đường min, chí cịn đường Tuy nhiên, có thuật tốn mà độ lệch chuẩn sai số nằm đường max cụ thể: - Thuật tốn RVM có sáu liệu nằm đường max , liệu nằm xa đường max; Thuật tốn SVM có năm liệu nằm đường max, có liệu nằm xa đường max, có liệu năm đường max Điều cho thấy thuật toán SVM/RVM phân rã chuỗi liệu thời gian chưa tốt (Hình 4.1, Hình 4.2 Hình 4.3) 53 Hình 4.1 Độ lệch chuẩn thuật toán phân rã liệu Hình 4.2 Độ lệch chuẩn thuật toán phân rã liệu 54 - Các thuật tốn cịn lại có độ lệch chuẩn sai số xấp xỉ đường max min, thuật tốn X12-SVM có sáu đưới đường min, X12-RVM S-SVM có hai đường min, STL-SVM có nằm đường Như vậy, kết thuật toán lại tốt đặc biệt X12-SVM tốt thuật toán sở Nhận xét: Trên sáu liệu thực nghiệm thuật tốn phân rã RVM/SVM chưa tốt, đặt giả thiết chuỗi thời gian kinh tế có phân phối phức tạp nên RVM/SVM khả học phi tuyến tốt chưa bám sát mơ hình liệu 1; Các thuật tốn cịn lại kết xấp xỉ thuật tốn sở; Đặc biệt, thuật toán X12-SVM vượt trội thuật tốn sở Hình 4.3 Độ lệch chuẩn thuật toán phân rã liệu 4.2.2 Dự báo thuật toán phân rã Tiếp theo, mơ hình phân rã trình bày phần 4.2.1, luận văn trình bày kết dự báo mơ hình dựa theo sai số RMSE tập huấn luyện tập dự báo theo Bảng 4.4 Bảng 4.5 Kiểm định giả thiết nghiên cứu thời gian tới 55 Để thuận lợi cho việc đánh giá kết quả, luận văn biểu diễn hai bảng số liệu dạng biểu đồ: Biểu đồ thứ Hình 4.4 Hình 4.5 biểu diễn sai số (RMSE) huấn luyện dự báo cho chuỗi liệu 1, 2, 4, chuỗi liệu 3, với thuật toán SVM/RVM, S-SVM/RVM, STL-SVM/RVM so sánh với ba thuật toán sở; Biểu đồ thứ hai Hình 4.6 Hình 4.7 biểu diễn sai số RMSE huấn luyện dự báo cho chuỗi liệu 1, 2, 4, chuỗi liệu 3, với thuật toán X12-SVM, X12-RVM so sánh với ba thuật toán sở Series Huấn luyện Series Kiểm tra Huấn luyện Series Kiểm tra Huấn luyện Kiểm tra X-12-ARIMA 2.27 1.22 1.82 4.17 9.12 23.77 STL 2.34 2.37 2.54 3.77 17.15 40.75 ETS 2.72 3.62 3.21 3.81 17.23 23.43 SVM 7.75 10.88 8.28 9.36 31.62 175.30 S-SVM 1.08 9.80 2.41 5.73 11.40 155.25 STL-SVM 2.44 3.82 2.28 4.45 15.44 140.69 X12-SVM 1.29 9.68 1.79 2.93 9.43 146.13 11.52 32.08 13.91 8.34 40.21 163.44 S-RVM 2.43 27.51 10.53 5.19 13.57 141.95 STL-RVM 2.45 18.00 2.82 9.75 18.38 71.44 X12-RVM 1.83 13.55 3.45 2.71 12.46 40.00 RVM Bảng 4.4 Sai số (RMSE) huấn luyện sai số (RMSE) dự báo liệu đầu 56 Series Huấn luyện Series Kiểm tra Huấn luyện Series Kiểm tra Huấn luyện Kiểm tra X-12-ARIMA 0.92 1.28 4.77 6.20 0.40 2.69 STL 1.38 3.58 10.14 6.40 0.88 2.28 ETS 1.55 2.31 8.12 6.62 0.77 2.22 SVM 1.95 8.88 8.74 58.27 1.78 4.90 S-SVM 1.00 8.20 4.30 54.93 0.66 3.75 STL-SVM 1.14 7.21 8.19 44.99 0.91 4.11 X12-SVM 0.96 8.38 4.72 52.15 0.53 5.55 RVM 2.86 12.73 22.64 32.65 1.73 6.48 S-RVM 1.12 11.16 8.11 18.52 0.60 6.11 STL-RVM 1.46 7.75 10.72 15.53 0.90 3.85 X12-RVM 1.18 6.69 6.18 6.84 0.53 2.07 Bảng 4.5 Sai số (RMSE) huấn luyện sai số (RMSE) dự báo liệu sau - Thuật tốn SVM/RVM: Sai số huấn luyện có xấp xỉ so với thuật tốn sở, SVM có thêm 5; cịn lại sai số huấn luyện cao đường max Sai số dự báo, có liệu xấp xỉ so với thuật toán sở (đường max 2.69 SVM 4.90 RVM 6.48), cịn lại xa đường max (ví dụ liệu đường max 40.75 SVM 175.30, với RVM 163.44) - Thuật toán S-SVM/S-RVM: Sai số huấn luyện dự báo cải thiện tốt so với thuật tốn SVM/RVM Ví dụ liệu kết dự báo tốt, sai số huấn luyện S-SVM 2.41 nhỏ SVM 8.28 (dưới đường max 2.54), sai số dự báo S-SVM 5.73 nhỏ SVM 9.36 (xấp xỉ đường max 4.17) Trong với liệu kết chưa tốt, sai số huấn luyện S-SVM 11.40 nhỏ SVM 31.62 (trên đường max 17.23), sai số dự báo S-SVM 155.25 nhỏ SVM 175.30 (trên xa đường max 40.75) 57 Hình 4.4 Biểu đồ sai số huấn luyện dự báo liệu 1, 2, thuật toán SVM/RVM, S-SVM/RVM, STL-SVM/RVM - Thuật toán STL-SVM/STL-RVM: Sai số huấn luyện tốt (Hình 4.4 Hình 4.5) xấp xỉ sai số thuật toán sở Sai số dự báo liệu 1, STL-SVM 3.82, 4.45 xấp xỉ đường max tốt STL-RVM 18.00, 9.75; ngược lại liệu 3, STL-SVM 140.69, 44.99 xấu STL-RVM 71.44, 15.53 (đường max 40.75, 6.62); Hai 4, STL-SVM STL-RVM xấp xỉ đường max - Thuật toán X12-SVM/X12-RVM:  Sai số huấn luyện, hai thuật toán tốt xấp xỉ thuật toán sở chí tốt liệu sai số đường 2.17 lớn X12-SVM 1.29 X12-RVM 1.83; liệu hai thuật toán X12-SVM 0.96, X12-RVM 1.18 xấp xỉ đường 0.92  Sai số dự báo, Hình 4.6 Hình 4.7 ta thấy thuật tốn X12-RVM tốt X12-SVM, so sánh với sai số thuật toán sở có hai liệu 1, 58 xa so với đường max, bốn liệu cịn lại thuật tốn X12RVM xấp xỉ sai số thuật toán sở chí thấp đường min, liệu X12-RVM có sai số 2.07 thấp đường 2.22; liệu 3, xấp xỉ với thuật toán sở Đặc biệt, liệu sai số X12-SVM/X12-RVM 2.93 2.71 nằm đường 3.77 (Hình 4.6) Hình 4.5 Biểu đồ sai số huấn luyện dự báo liệu thuật toán SVM/RVM, S-SVM/RVM, STL-SVM/RVM 59 Hình 4.6 Biểu đồ sai số huấn luyện dự báo liệu 1, 2, hai thuật tốn X12-SVM X12-RVM Hình 4.7 Biểu đồ sai số huấn luyện dự báo liệu hai thuật toán X12-SVM X12-RVM 60 Nhận xét: Kết dự báo so với ba thuật toán sở 06 liệu thực nghiệm,  Đối với thuật toán RVM/SVM: Kết dự báo khơng tốt, lý mơ hình phân không tốt nhận xét mục 4.2.1  Đối với thuật toán S-RVM/S-SVM: Kết dự báo cải thiện so với RVM/SVM, giả thiết thuật toán học tiếp thành phần sai số RVM/SVM  Đối với thuật toán X12-RVM/X12-SVM: Kết dự báo X12-RVM cải thiện đáng kể so với S-RVM có 4/6 liệu hội tụ sai số thuật tốn sở (thậm chí có liệu tốt thuật toán sở), giả thiết thuật toán điều chỉnh ngoại lệ liệu 1; Còn X12-SVM kết so với S-SVM cải thiện nhiều (thậm chí có liệu xấu S-SVM) nên kết X12-SVM có 5/6 liệu chưa hội tụ kết thuật toán sở  Đối với thuật toán STL-RVM/STL-SVM: Kết dự báo tốt RVM/SVM S-RVM/S-SVM (do thuật toán sử dụng kết tách mùa thuật toán STL) chưa hội tụ kết thuật toán sở, giả thiết liệu không phù hợp với giả thiết trung bình di động; có STL-SVM có 2/6 liệu hội tụ đường max thuật toán sở, giả thiết liệu phù hợp với mơ hình SVM Việc đánh giá, kiểm định liệu phù hợp với mơ hình trung bình di động, phân loại liệu cần có cơng trình nghiên cứu thêm 61 Chương TỔNG KẾT Chương tổng kết lại vấn đề giải luận văn đồng thời đưa hướng phát triển tương lai 5.1 Kết luận Với mục tiêu đưa mơ hình SVM RVM để giải toán chuỗi thời gian, luận văn nghiên cứu hướng tiếp cận phân rã chuỗi thời gian Luận văn dựa sở phương pháp phân rã chuỗi thời gian X-12-ARIMA STL, đề xuất bốn thuật toán phân rã chuỗi thời gian 𝑦𝑡 sau: Thuật tốn 1: áp dụng mơ hình SVM RVM học trực tiếp liệu phân rã 𝑦𝑡 = 𝑓1 + 𝑒, gọi thuật toán SVM RVM Thuật tốn 2: áp dụng mơ hình SVM học sai số thuật toán 1: 𝑒 = 𝑓2 + 𝑒2 , gọi S-SVM 𝑒 sai số thuật toán học SVM, gọi S-RVM 𝑒 sai số thuật toán học RVM Kết thuật toán phân rã 𝑦𝑡 = 𝑓1 + 𝑓2 + 𝑒2 Thuật toán 3: áp dụng phương phâp STL để phân rã 𝑦𝑡 = 𝑆 + 𝑒, sau học 𝑒 phương pháp SVM RVM phân rã 𝑒 = 𝑓1 + 𝑒2 , gọi STL-SVM phân rã 𝑒 SVM, gọi STL-RVM phân rã 𝑒 RVM Kết thuật toán phân rã 𝑦𝑡 = 𝑓1 + 𝑆 + 𝑒2 Thuật toán 4: Điều chỉnh sai số 𝑒2 thuật toán 2, kết thuật toán phân rã 𝑦𝑡 = 𝑓1′ + 𝑓2′ + 𝑒3 Gọi X12-SVM áp dụng SVM để điều chỉnh, gọi X12-RVM áp dụng RVM để điều chỉnh Luận văn thực nghiệm thuật toán với sáu liệu Bảng 4.1 so sánh kết với ba thuật toán phân rã sở gồm X-12-ARIMA, STL ETS Luận văn thực nghiệm sáu liệu đạt kết ban đầu khả quan: - Với thuật toán 1: Cho kết chưa tốt chưa bám sát liệu, kết ban đầu để phát triển tiếp thuật toán 62 - Với thuật toán 2: Cho kết cải thiện đáng kể so với thuật tốn Về mơ hình phân rã, kết đạt xấp xỉ thuật tốn sở có thuật tốn tốt thuật tốn sở Về dự báo, kết đạt chưa tốt, sáu liệu có hai (3 6) thuật toán gần xấp xỉ đường max - Với thuật tốn 4: Vì kết dự báo thuật tốn đạt chưa tốt nên điều chỉnh sai số thuật tốn để cải thiện kết Về mơ hình phân rã thuật tốn cải thiện tốt thuật toán Về dự báo, X12-SVM kết cải thiện khơng nhiều kể đến liệu kết đạt tốt thuật toán sở, ngược lại liệu kết tệ S-SVM; X12-RVM kết dự báo cải thiện tốt nhiều, sáu liệu có hai (1và 5) kết chưa tốt bốn cịn lại xấp xỉ thuật tốn sở có hai (2 6) tốt thuật toán sở - Với thuật toán 3: Về mơ hình phân rã, thuật tốn xấp xỉ thuật toán sở Về kết dự báo, STL-SVM tốt X12-SVM có hai (1 2) xấp xỉ thuật toán sở; STL-RVM xấu X12-RVM Với liệu chuỗi thời gian đặc biệt liệu kinh tế, có nhiều yếu tố tác động đến liệu, muốn đạt kết tốt ta phải hiểu rõ liệu Luận văn thực nghiệm thuật toán đề xuất sáu liệu mẫu (Bảng 4.1) kết đạt thuật tốn X12-RVM có ý nghĩa thuật tốn STL-SVM kết ban đầu đáng ghi nhận Từ kết thực nghiệm luận văn cho thấy: Việc áp dụng công cụ tin học RVM/SVM thay trung bình di động để giải tốn chuỗi thời gian kinh tế hướng tiếp cận phân rã chuỗi thời khả quan; Thuận lợi sử dụng RVM/SVM khơng cần quan tâm đến mơ hình liệu, điều trung bình di động cịn hạn chế Đóng góp luận văn giới thiệu tiếp cận dùng phương pháp học máy (machine learning) vào liệu phức tạp liệu kinh tế: cách xác định sở tốn bên mơ hình liệu áp dụng thuật toán phù hợp thay Trong trường hợp luận văn, trung bình di động khử thành phần mùa thành phần phi tuyến mà RVM thay có xử lý tốt 63 5.2 Hướng phát triển - Thuật toán X12-SVM cải tiến S-SVM: kết phân rã tốt, chí tốt thuật tốn sở (nhận xét mục 4.2.1), kết dự báo không cải thiện nhiều chí cịn xấu S-SVM, nên cần nghiên cứu để cải tiến bước điều chỉnh sai số thuật toán SVM - Thuật toán X12-RVM cho kết tốt sáu liệu mẫu, cần nghiên cứu tiếp để phân loại lớp liệu phù hợp với thuật toán - Đối với thuật toán STL-SVM bước đầu cho kết khả quan, nên cần nghiên cứu tiếp cách tách mùa trước X-12-ARIMA ETS sau áp dụng mơ hình SVM - Tương tự với phương pháp X-12-ARIMA, phương pháp STL có bước áp dụng trung bình di động, nghiên cứu để đưa RVM/SVM thay bước có tính trung bình di động 64 TÀI LIỆU THAM KHẢO Tiếng Việt Đặng Thị Hằng (2017), Mơ hình hỗn hợp phi tham số cho toán phát bất thường, Luận văn thạc sĩ ngành Khoa học máy tính, Trường Đại học Khoa học Tự nhiên, TP Hồ Chí Minh Vũ Duy Thắng (2011), Các mơ hình chuỗi thời gian tài chính, Luận văn thạc sĩ khoa học, Trường Đại học Khoa học Tự nhiên, Hà Nội Vũ Hữu Tiệp (2017), Support Vector Machine Learning, https://machinelearningcoban.com, truy cập tháng 8/2017 Tiếng Anh Christopher M Bishop (2006), Pattern Recognition and Machine Learning, Springer Christopher M Bishop and Michael E Tipping (2000), Variational Relevance Vector Machines, Proceedings of the 16th Conference on Uncertainty in Articial Intelligence, pp 46-53 Dominique Ladiray and Benoit Quenneville (2001), Seasonal Adjustment with the X-11 Method, Vol 158 of Lecture notes in statistics, Springer – Verlag Douglas C Montgomery, Cheryl L Jennings and Murat Kulahc (2015), Introduction to Time Series analysis and forecasting, second edition, John Wiley & Sons George E P Box and Gwilym M Jenkins, 1976, Times Series Analysis: Forecasting and Control, Holden-Day, San Francisco Guoqiang Sun, Yue Chen, Zhinong Wei, Xiaolu Li, and Kwok W Cheung (2014), Day-Ahead Wind Speed Forecasting Using Relevance Vector Machine, Journal of Applied Mathematics 10 Kyoung-jae Kim (2003), Financial time series forcasting using support vector machines, Neurocomputing volume 55 65 11 Jaoquin Quinõnero – Candela and Lars Kai Hansen (2002), The Time series prediction based on the Relevance Vector Machine with adaptive kernels, IEEE 12 Jaydip Sen and Tamal Datta Chaudhuri (2016), Decomposition of Time Series Data of Stock Makets and its Implications for Prediction – An Application for the Indian Auto Sector, Calcutta Business School (CBS) Journal of Management Practices, Volume 2, pp -19 13 Michael E Tipping (2001), Sparse Bayesian Learning and the Relevance Vector Machine, Journal of Machine Learning Research 1, 211 – 244 14 Nicholas I Sapankevych and Ravi Sankar (2009), Time Series Prediction Using Support Vector Machines: A Survey, IEEE Computational Intelligence Magazine 15 Robert B Cleveland, William S Cleveland, Jean E McRae and Irma Terpenning (1990), STL: A Seasonal - Trend Decomposition Procedure Based on Loess, Journal of Official Statistics Vol No 1, pp 3-73 16 Rob J Hyndman (2010), Moving averages, International Encyclopedia of Statistical Science, pp.866-869, Springer 17 R Samsudin, A Shabri and P Saad (2010), A Comparision of Time Series Forecasting using Support Vector Machine and Artificial Neural Network Model, Asian Network for Scientific Information 18 Steve R Gunn (1998), Support Vector Machines for Classification and Regression, University of Southamton 19 Spyros G Makridakis, Steven C Wheelwright and Rob J Hyndman (1998), Forecasting: Methods and Applications, 3rd Edition, John Wiley & Sons, New York 20 Varun Jain (2011), Time Series Prediction Using Relevance Vector Machine, Department of Electrical Engineering Indian Institute of Technology Roorkee (India) 21 Vladimir N Vapnik (1998), Statistical Learning Theory, Vol 1, Wiley New York 66 22 V Prema and K Uma Rao (2015), Times series decomposition model for accurate wind speed forecast, Renewables wind, water and solar, Vol 2, No 18, pp 1-11 23 Market datasets: https://datamarket.com/data/set/1d9r/, access time 01/2018 24 Rob J Hundman and George Athanasopoulos (2012), Forecasting: principles and practice, second edition at OTexts.org/fpp2/, access time 08/2017 25 PennState Eberly College of Science, Applied Time Series Analysis, https://onlinecourses.science.psu.edu/stat510/, access time 07/2017 26 QuantStart (2015), White Noise and Random Walk in Time Series Analysis, https://www.quantstart.com/articles/White-Noise-and-Random-Walks-inTime-Series-Analysis, access time 01/2018 ... PHẠM TP HỒ CHÍ MINH Lê Quốc Vương NGHIÊN CỨU MƠ HÌNH RELEVANCE VECTOR MACHINE (RVM) ÁP DỤNG GIẢI MỘT SỐ BÀI TOÁN THỰC TẾ Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA... 11 2.1.4 SVM toán hồi quy 12 2.2 Mơ hình Relevance Vector Machine (RVM) 16 2.2.1 RVM toán hồi quy 16 2.2.2 RVM toán phân loại 18 2.2.3 Một số hàm sở (basis functions)... học thuật toán 42 Hình 3.4 Biểu đồ thành phần sai số mơ hình SVM .43 Hình 3.5 Biểu đồ thuật toán 44 Hình 3.6 Biểu đồ thành phần sai số mơ hình SVM .45 Hình 3.7 Biểu