Tìm hiểu một số mô hình khai phá dữ liệu thời gian thực áp dụng vào bài toán dự báo ứng dụng trong phân tích số liệu tài chính

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ PHẠM THỊ THẢO TÌM HIỂU MỘT SỐ MƠ HÌNH KHAI PHÁ DỮ LIỆU THỜI GIAN THỰC ÁP DỤNG VÀO BÀI TỐN DỰ BÁO ỨNG DỤNG TRONG PHÂN TÍCH SỐ LIỆU TÀI CHÍNH LUẬN VĂN THẠC SĨ CƠNG NGHỆ THƠNG TIN HÀ NỘI - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ PHẠM THỊ THẢO TÌM HIỂU MỘT SỐ MƠ HÌNH KHAI PHÁ DỮ LIỆU THỜI GIAN THỰC ÁP DỤNG VÀO BÀI TOÁN DỰ BÁO ỨNG DỤNG TRONG PHÂN TÍCH SỐ LIỆU TÀI CHÍNH Ngành: Cơng nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN HÀ NAM HÀ NỘI – 2015 LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Tìm hiểu số mơ hình khai phá liệu thời gian thực áp dụng vào tốn dự báo ứng dụng phân tích số liệu tài chính" cơng trình nghiên cứu riêng tơi Các số liệu, kết trình bày luận văn hồn tồn trung thực chưa cơng bố cơng trình khác Tơi trích dẫn đầy đủ tài liệu tham khảo, cơng trình nghiên cứu liên quan Ngoại trừ tài liệu tham khảo này, luận văn hoàn toàn nghiên cứu riêng tơi Luận văn hồn thành thời gian học viên Khoa Công nghệ Thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Hà Nội, ngày 25 tháng 05 năm 2015 Học viên Phạm Thị Thảo LỜI CẢM ƠN Lời đầu tiên, tơi xin gửi lời cảm ơn lịng biết ơn sâu sắc tới PGS.TS Nguyễn Hà Nam tận tình hướng dẫn tơi suốt q trình thực luận văn tốt nghiệp Tôi xin trân trọng cảm ơn Thầy, Cơ giáo tận tình dạy, cung cấp cho kiến thức quý báu ln nhiệt tình giúp đỡ, tạo điều kiện thuận lợi suốt q trình tơi học tập trường Đại học Công nghệ Tôi xin gửi lời cảm ơn tới bạn nhóm thầy Nguyễn Hà Nam hướng dẫn sát cánh hỗ trợ cho tơi suốt q trình học tập q trình làm luận văn Cuối cùng, tơi muốn gửi lời cảm ơn tới gia đình, đồng nghiệp bạn bè, người bên cạnh, động viên tạo điều kiện tốt cho suốt trình học tập thực luận văn tốt nghiệp Tôi xin chân thành cảm ơn! MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC BẢNG CÁC TỪ VIẾT TẮT DANH MỤC BẢNG BIỂU DANH MỤC CÁC HÌNH VẼ, BIỂU ĐỒ MỞ ĐẦU Chương MỘT SỐ KIẾN THỨC CƠ BẢN VỀ TÀI CHÍNH 10 1.1 Một số khái niệm tài 10 1.1.1 Phân tích tài 10 1.1.2 Phương pháp phân tích tài 10 1.1.3 Dự báo tình hình tài 12 1.2 Phân tích kỹ thuật dự báo thị trường chứng khốn 12 1.2.1 Thị trường chứng khoán 12 1.2.2 Phân tích kỹ thuật 13 1.3 Kết luận 16 Chương MỘT SỐ MÔ HÌNH TRONG BÀI TỐN DỰ BÁO 17 2.1 Tổng quan khai phá liệu thời gian thực 17 2.2 Phân lớp liệu 19 2.3 Một số mơ hình dùng khai phá liệu thời gian thực 20 2.3.1 Mơ hình mạng nơ-ron nhân tạo (ANN – Artificial Neural Network) 20 2.3.2 Mơ hình máy vector hỗ trợ (SVM) 34 2.4 Mơ hình ARIMA 38 2.4.1 Hàm tự tương quan ACF 38 2.4.2 Hàm tự tương quan phần PACF 39 2.4.3 Quá trình tự hồi quy AR(p) 42 2.4.4 Quá trình trung bình trượt MA(q) 42 2.5 Kết luận 43 Chương PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN 44 3.1 Giới thiệu toán 44 3.2 Xây dựng mơ hình 44 3.3 Thu thập tiền xử lý liệu 46 3.3.1 Thu thập liệu 46 3.3.2 Tiền xử lý liệu 47 3.4 Tổ chức liệu 49 3.5 Huấn luyện mạng 49 3.6 Đánh giá mơ hình dự báo kết 51 3.7 Kết luận 52 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ 53 4.1 Môi trường thực nghiệm 53 4.2 Dữ liệu dùng thực nghiệm 53 4.3 Kết thực nghiệm 57 4.3.1 Kết chạy với mơ hình ANN 57 4.3.2 Kết chạy với mơ hình máy vector hỗ trợ (SVM) 60 4.3.3 Kết chạy với mơ hình ARIMA 65 4.4 So sánh đánh giá kết 66 4.5 Kết luận 69 KẾT LUẬN 70 TÀI LIỆU THAM KHẢO 71 BẢNG CÁC TỪ VIẾT TẮT Viết tắt MA EMA Tên đầyđủ Moving Average Exponential Moving Average RSI Relative Strength Index NN Neural Network ANN Artificial Neural Network SVM Support Vector Machine KDD Knowledge Discorvery and Data Mining PTKT Phân tích kỹ thuật DM Data mining MLP Multi-Layer Perceptron ARIMA Autoregressive integrated moving average DN Doanh nghiệp CK Chứng khốn PTKT Phân tích kỹ thuật DANH MỤC BẢNG BIỂU Bảng 2.1 Các hàm chuyển 25 Bảng 3.1 Tổ chức liệu IBM 46 Bảng 3.2 Tổ chức liệu mơ hình 48 Bảng 4.1 Các trường hợp tham số đầu vào mạng nơ-ron 59 Bảng 4.2 Kết độ xác mơ hình ANN 67 Bảng 4.3 Kết độ xác mơ hình SVM 68 Bảng 4.4 So sánh kết trung bình mơ hình ANN SVM 68 Bảng 4.5 Kết đưa lời khuyên cho người dùng 68 DANH MỤC CÁC HÌNH VẼ, BIỂU ĐỒ Hình 1.1 Biểu đồ dạng đường 14 Hình 1.2 Biểu đồ dạng then chắn 15 Hình 1.3 Kí tự biểu đồ dạng then chắn 15 Hình 1.4 Biểu đồ dạng nến 16 Hình 2.1 Mơ hình khai phá liệu 17 Hình 2.2 Mơ hình nơ-ron sinh học 20 Hình 2.3 Cấu trúc nơ-ron 22 Hình 2.4 Cách tính hàm tổng 23 Hình 2.5 Cấu trúc mạng nơ-ron 24 Hình 2.6 Hàm sigmoid 32 Hình 2.7 Siêu phẳng phân chia liệu theo phương pháp SVM 35 Hình 2.8 Minh họa tốn phân lớp nhị phân phương pháp SVM 36 Hình 2.9 Ví dụ chiều hướng giảm khác [2] 41 Hình 3.1 Mơ hình dự báo đề xuất 45 Hình 3.2 Tạo tập huấn luyện mạng nơ-ron 50 Hình 3.3 Q trình dự đốn mơ hình mạng nơ-ron 52 Hình 4.1 Giá đóng cửa số lượng giao dịch 54 Hình 4.2 Biểu đồ thể tính mùa vụ close volume 54 Hình 4.3 Đồ thị giá đóng cửa MA10, MA20 55 Hình 4.4 Đồ thị biểu diễn giá đóng cửa, MA10 EMA 55 Hình 4.5 Kết dự đốn mơ hình mạng nơ-ron 58 Hình 4.6 Kết dự đốn mơ hình mạng nơ-ron với tham số tối ưu 59 Hình 4.7 Mơ hình mạng nơ-ron với tham số tối ưu theo phương pháp vét cạn 60 Hình 4.8 Kết dự đốn mơ hình SVM 61 Hình 4.9 Mơ hình dự đốn SVM tối ưu theo phương pháp vét cạn 62 Hình 4.10 Sơ đồ trình kết hợp giải thuật GA –SVM 63 Hình 4.11 Kết mơ hình dự đốn SVM tối ưu theo phương pháp GA 64 Hình 4.12 Kết dự đốn mơ hình ARIMA kết hợp phương pháp vét cạn 66 MỞ ĐẦU Dữ liệu tài ln nguồn liệu vơ phong phú giai đoạn Đặc biệt, phát triển mạnh mẽ công nghệ thông tin mạng internet giúp người dễ dàng tiếp cận với kho liệu khổng lồ Tuy nhiên, thực tế, người cần phải biết chắt lọc, chọn lựa thơng tin có ích nhằm phân tích, khai thác, phát tri thức bên liệu cách hiệu Các phương pháp quản trị khai thác liệu thủ công, truyền thống tỏ hiệu trước nhu cầu khai thác phát thông tin giai đoạn Từ đó, kỹ thuật phát tri thức khai phá liệu (KDD – Knowledge Discorvery and Data Mining) đời đem lại hiệu cao vấn đề khai thác phát tri thức, áp dụng nhiều lĩnh vực khác nhau, đặc biệt quản lý vĩ mô kinh doanh mà cụ thể thị trường chứng khoán Việc dự đoán thị trường chứng khoán toán nhiều người quan tâm Sự khơng tuyến tính thị trường kèm theo tác động nhiều yếu tố bên làm ảnh hưởng tới trình thay đổi thị trường chứng khốn Vì vậy, làm để dự đốn xác lên xuống thị trường toán mà nhà đầu tư quan tâm, tìm hiểu, nghiên cứu phân tích Đã có nhiều nghiên cứu giới (trong có Việt Nam) toán dự báo thị trường chứng khoán sử dụng mơ hình khai phá liệu khác Năm 2001, Efstathios Kalyvas phân tích thị trường chứng khốn sử dụng mơ hình mạng nơ-ron đạt kết định Và đây, năm 2007 luận văn thạc sĩ học viên Phạm Thị Hoàng Nhung (ĐHQGHN) nghiên cứu mạng nơ-ron ứng dụng vào dự báo lưu lượng nước đến hồ Hịa Bình với kết dự báo xác lớn 80% Trong khuôn khổ luận văn, tác giả tập trung tìm hiểu nghiên cứu số mơ hình khai phá liệu thời gian thực áp dụng cho tốn phân tích thị trường chứng khốn, cụ thể mơ hình mạng nơ-ron nhân tạo, mơ hình máy vector hỗ trợ mơ hình arima Mục tiêu luận văn áp dụng giải thuật gen di truyền để tối ưu mơ hình mạng nơ-ron mơ hình máy vector hỗ trợ, từ so sánh, đánh giá để tìm mơ hình phù hợp với liệu ban đầu Sau đó, luận văn đưa lời khuyên cho người chơi nên mua, bán hay giữ nguyên cổ phiếu phiên Luận văn trình bày chương sau: Chương 1: Một số khái niệm tài Trong chương này, tác giả giới thiệu số khái niệm tài thị trường chứng khoán Chương luận văn tập trung nghiên cứu số chứng khoán phân tích kỹ thuật ứng dụng dự báo chứng khoán Chương 2: Tổng quan khai phá liệu thời gian thực 57 Đầu tiên, việc phân chia liệu tập train tập test theo tỷ lệ 7:3, tức tập liệu đem training chiếm 70% tập liệu ban đầu Tập liệu đem thử nghiệm mơ hình chiếm 30% tập liệu ban đầu Cụ thể, tập training ngày 02/01/1962 đến ngày 31-12-1999 Tập test ngày 01-01-2000 đến ngày 31/12/2014 ibm.train library(nnet) > nn > ar ar$aic [1] -40040.93 > > ar ar$aic [1] -40041.69 b Kết chạy mơ hình ARIMA với tham số tối ưu phương pháp vét cạn best.order