Tìm hiểu một số mô hình khai phá dữ liệu thời gian thực áp dụng vào bài toán dự báo ứng dụng trong phân tích số liệu tài chính

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ PHẠM THỊ THẢO TÌM HIỂU MỘT SỐ MƠ HÌNH KHAI PHÁ DỮ LIỆU THỜI GIAN THỰC ÁP DỤNG VÀO BÀI TỐN DỰ BÁO ỨNG DỤNG TRONG PHÂN TÍCH SỐ LIỆU TÀI CHÍNH LUẬN VĂN THẠC SĨ CƠNG NGHỆ THƠNG TIN HÀ NỘI - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ PHẠM THỊ THẢO TÌM HIỂU MỘT SỐ MƠ HÌNH KHAI PHÁ DỮ LIỆU THỜI GIAN THỰC ÁP DỤNG VÀO BÀI TOÁN DỰ BÁO ỨNG DỤNG TRONG PHÂN TÍCH SỐ LIỆU TÀI CHÍNH Ngành: Cơng nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN HÀ NAM HÀ NỘI – 2015 LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Tìm hiểu số mơ hình khai phá liệu thời gian thực áp dụng vào tốn dự báo ứng dụng phân tích số liệu tài chính" cơng trình nghiên cứu riêng tơi Các số liệu, kết trình bày luận văn hồn tồn trung thực chưa cơng bố cơng trình khác Tơi trích dẫn đầy đủ tài liệu tham khảo, cơng trình nghiên cứu liên quan Ngoại trừ tài liệu tham khảo này, luận văn hoàn toàn nghiên cứu riêng tơi Luận văn hồn thành thời gian học viên Khoa Công nghệ Thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Hà Nội, ngày 25 tháng 05 năm 2015 Học viên Phạm Thị Thảo LỜI CẢM ƠN Lời đầu tiên, tơi xin gửi lời cảm ơn lịng biết ơn sâu sắc tới PGS.TS Nguyễn Hà Nam tận tình hướng dẫn tơi suốt q trình thực luận văn tốt nghiệp Tôi xin trân trọng cảm ơn Thầy, Cơ giáo tận tình dạy, cung cấp cho kiến thức quý báu ln nhiệt tình giúp đỡ, tạo điều kiện thuận lợi suốt q trình tơi học tập trường Đại học Công nghệ Tôi xin gửi lời cảm ơn tới bạn nhóm thầy Nguyễn Hà Nam hướng dẫn sát cánh hỗ trợ cho tơi suốt q trình học tập q trình làm luận văn Cuối cùng, tơi muốn gửi lời cảm ơn tới gia đình, đồng nghiệp bạn bè, người bên cạnh, động viên tạo điều kiện tốt cho suốt trình học tập thực luận văn tốt nghiệp Tôi xin chân thành cảm ơn! MỤC LỤ LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC BẢNG CÁC TỪ VIẾT TẮT DANH MỤC BẢNG BIỂU DANH MỤC CÁC HÌNH VẼ, BIỂU ĐỒ MỞ ĐẦU Chương MỘT SỐ KIẾN THỨC CƠ BẢN VỀ TÀI CHÍNH 1.1Một số khái niệm tài 1.1.1 Phân tích tà 1.1.2 Phương ph 1.1.3 Dự báo tình 1.2Phân tích kỹ thuật dự báo thị trường chứng kh 1.2.1 Thị trường 1.2.2 Phân tích k 1.3Kết luận Chương MỘT SỐ MÔ HÌNH TRONG BÀI TỐN DỰ BÁO 2.1Tổng quan khai phá liệu thời gian thực 2.2Phân lớp liệu 2.3Một số mơ hình dùng khai phá liệu thời gi 2.3.1 Mơ hình m 2.3.2 Mơ hình m 2.4Mơ hình ARIMA 2.4.1 Hàm tự tươ 2.4.2 Hàm tự tươ 2.4.3 Quá trình tự 2.4.4 Quá trình tr 2.5Kết luận Chương PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN 3.1Giới thiệu toán 3.2Xây dựng mơ hình 3.3Thu thập tiền xử lý liệu 3.3.1Thu thập liệu 3.3.2Tiền xử lý liệ 3.4Tổ chức liệu 3.5Huấn luyện mạng 3.6Đánh giá mơ hình dự báo kết 3.7Kết luận Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ 4.1Môi trường thực nghiệm 4.2Dữ liệu dùng thực nghiệm 4.3Kết thực nghiệm 4.3.1Kết chạy vớ 4.3.2Kết chạy vớ 4.3.3Kết chạy vớ 4.4So sánh đánh giá kết 4.5Kết luận KẾT LUẬN TÀI LIỆU THAM KHẢO Viết tắt MA EMA RSI NN ANN SVM KDD PTKT DM MLP ARIMA DN CK PTKT DANH MỤC BẢNG BIỂU Bảng 2.1 Các hàm chuyển Bảng 3.1 Tổ chức liệu IBM Bảng 3.2 Tổ chức liệu mơ hình Bảng 4.1 Các trường hợp tham số đầu Bảng 4.2 Kết độ xác mơ Bảng 4.3 Kết độ xác mơ Bảng 4.4 So sánh kết trung bình mơ hình ANN SVM Bảng 4.5 Kết đưa lời khuyên cho n DANH MỤC CÁC HÌNH VẼ, BIỂU ĐỒ Hình 1.1 Biểu đồ dạng đường Hình 1.2 Biểu đồ dạng then chắn Hình 1.3 Kí tự biểu đồ dạng then chắn Hình 1.4 Biểu đồ dạng nến Hình 2.1 Mơ hình khai phá liệu Hình 2.2 Mơ hình nơ-ron sinh học Hình 2.3 Cấu trúc nơ-ron Hình 2.4 Cách tính hàm tổng Hình 2.5 Cấu trúc mạng nơ-ron Hình 2.6 Hàm sigmoid Hình 2.7 Siêu phẳng phân chia liệu theo phương pháp SVM Hình 2.8 Minh họa tốn phân lớp nhị phân phương pháp SVM Hình 2.9 Ví dụ chiều hướng giảm khác [2] Hình 3.1 Mơ hình dự báo đề xuất Hình 3.2 Tạo tập huấn luyện mạng nơ-ron Hình 3.3 Q trình dự đốn mơ hình mạng nơ-ron Hình 4.1 Giá đóng cửa số lượng giao dịch Hình 4.2 Biểu đồ thể tính mùa vụ close volume Hình 4.3 Đồ thị giá đóng cửa MA10, MA20 Hình 4.4 Đồ thị biểu diễn giá đóng cửa, MA10 EMA Hình 4.5 Kết dự đốn mơ hình mạng nơ-ron Hình 4.6 Kết dự đốn mơ hình mạng nơ-ron với tham số tối ưu Hình 4.7 Mơ hình mạng nơ-ron với tham số tối ưu theo phương pháp vét cạn Hình 4.8 Kết dự đốn mơ hình SVM Hình 4.9 Mơ hình dự đốn SVM tối ưu theo phương pháp vét cạn Hình 4.10 Sơ đồ trình kết hợp giải thuật GA –SVM Hình 4.11 Kết mơ hình dự đốn SVM tối ưu theo phương pháp GA Hình 4.12 Kết dự đốn mơ hình ARIMA kết hợp phương pháp vét cạn MỞ ĐẦU Dữ liệu tài nguồn liệu vô phong phú giai đoạn Đặc biệt, phát triển mạnh mẽ công nghệ thông tin mạng internet giúp người dễ dàng tiếp cận với kho liệu khổng lồ Tuy nhiên, thực tế, người cần phải biết chắt lọc, chọn lựa thơng tin có ích nhằm phân tích, khai thác, phát tri thức bên liệu cách hiệu Các phương pháp quản trị khai thác liệu thủ công, truyền thống tỏ hiệu trước nhu cầu khai thác phát thơng tin giai đoạn Từ đó, kỹ thuật phát tri thức khai phá liệu (KDD – Knowledge Discorvery and Data Mining) đời đem lại hiệu cao vấn đề khai thác phát tri thức, áp dụng nhiều lĩnh vực khác nhau, đặc biệt quản lý vĩ mô kinh doanh mà cụ thể thị trường chứng khoán Việc dự đoán thị trường chứng khoán toán nhiều người quan tâm Sự khơng tuyến tính thị trường kèm theo tác động nhiều yếu tố bên ngồi làm ảnh hưởng tới q trình thay đổi thị trường chứng khốn Vì vậy, làm để dự đốn xác lên xuống thị trường toán mà nhà đầu tư quan tâm, tìm hiểu, nghiên cứu phân tích Đã có nhiều nghiên cứu giới (trong có Việt Nam) tốn dự báo thị trường chứng khốn sử dụng mơ hình khai phá liệu khác Năm 2001, Efstathios Kalyvas phân tích thị trường chứng khốn sử dụng mơ hình mạng nơ-ron đạt kết định Và đây, năm 2007 luận văn thạc sĩ học viên Phạm Thị Hoàng Nhung (ĐHQGHN) nghiên cứu mạng nơ-ron ứng dụng vào dự báo lưu lượng nước đến hồ Hịa Bình với kết dự báo xác lớn 80% Trong khn khổ luận văn, tác giả tập trung tìm hiểu nghiên cứu số mơ hình khai phá liệu thời gian thực áp dụng cho tốn phân tích thị trường chứng khốn, cụ thể mơ hình mạng nơ-ron nhân tạo, mơ hình máy vector hỗ trợ mơ hình arima Mục tiêu luận văn áp dụng giải thuật gen di truyền để tối ưu mô hình mạng nơ-ron mơ hình máy vector hỗ trợ, từ so sánh, đánh giá để tìm mơ hình phù hợp với liệu ban đầu Sau đó, luận văn đưa lời khuyên cho người chơi nên mua, bán hay giữ nguyên cổ phiếu phiên Luận văn trình bày chương sau: Chương 1: Một số khái niệm tài Trong chương này, tác giả giới thiệu số khái niệm tài thị trường chứng khốn Chương luận văn tập trung nghiên cứu số chứng khốn phân tích kỹ thuật ứng dụng dự báo chứng khoán Chương 2: Tổng quan khai phá liệu thời gian thực 57 Đầu tiên, việc phân chia liệu tập train tập test theo tỷ lệ 7:3, tức tập liệu đem training chiếm 70% tập liệu ban đầu Tập liệu đem thử nghiệm mơ hình chiếm 30% tập liệu ban đầu Cụ thể, tập training ngày 02/01/1962 đến ngày 31-12-1999 Tập test ngày 01-01-2000 đến ngày 31/12/2014 ibm.train library(nnet) > nn > ar ar$aic [1] -40040.93 > > ar ar$aic [1] -40041.69 b Kết chạy mơ hình ARIMA với tham số tối ưu phương pháp vét cạn best.order