DSpace at VNU: Tìm hiểu một số mô hình khai phá dữ liệu thời gian thực ápdụng vào bài toán dự báo ứng dụng trong phân tích số liệu tài chính

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ PHẠM THỊ THẢO TÌM HIỂU MỘT SỐ MƠ HÌNH KHAI PHÁ DỮ LIỆU THỜI GIAN THỰC ÁP DỤNG VÀO BÀI TỐN DỰ BÁO ỨNG DỤNG TRONG PHÂN TÍCH SỐ LIỆU TÀI CHÍNH LUẬN VĂN THẠC SĨ CƠNG NGHỆ THƠNG TIN HÀ NỘI - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CƠNG NGHỆ PHẠM THỊ THẢO TÌM HIỂU MỘT SỐ MƠ HÌNH KHAI PHÁ DỮ LIỆU THỜI GIAN THỰC ÁP DỤNG VÀO BÀI TOÁN DỰ BÁO ỨNG DỤNG TRONG PHÂN TÍCH SỐ LIỆU TÀI CHÍNH Ngành: Cơng nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN HÀ NAM HÀ NỘI – 2015 LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Tìm hiểu số mơ hình khai phá liệu thời gian thực áp dụng vào tốn dự báo ứng dụng phân tích số liệu tài chính" cơng trình nghiên cứu riêng tơi Các số liệu, kết trình bày luận văn hồn tồn trung thực chưa cơng bố cơng trình khác Tơi trích dẫn đầy đủ tài liệu tham khảo, cơng trình nghiên cứu liên quan Ngoại trừ tài liệu tham khảo này, luận văn hoàn toàn nghiên cứu riêng tơi Luận văn hồn thành thời gian học viên Khoa Công nghệ Thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Hà Nội, ngày 25 tháng 05 năm 2015 Học viên Phạm Thị Thảo LỜI CẢM ƠN Lời đầu tiên, tơi xin gửi lời cảm ơn lòng biết ơn sâu sắc tới PGS.TS Nguyễn Hà Nam tận tình hướng dẫn tơi suốt q trình thực luận văn tốt nghiệp Tôi xin trân trọng cảm ơn Thầy, Cơ giáo tận tình dạy, cung cấp cho kiến thức quý báu ln nhiệt tình giúp đỡ, tạo điều kiện thuận lợi suốt q trình tơi học tập trường Đại học Công nghệ Tôi xin gửi lời cảm ơn tới bạn nhóm thầy Nguyễn Hà Nam hướng dẫn sát cánh hỗ trợ cho tơi suốt q trình học tập q trình làm luận văn Cuối cùng, tơi muốn gửi lời cảm ơn tới gia đình, đồng nghiệp bạn bè, người bên cạnh, động viên tạo điều kiện tốt cho suốt trình học tập thực luận văn tốt nghiệp Tôi xin chân thành cảm ơn! MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC BẢNG CÁC TỪ VIẾT TẮT DANH MỤC BẢNG BIỂU DANH MỤC CÁC HÌNH VẼ, BIỂU ĐỒ MỞ ĐẦU Chƣơng MỘT SỐ KIẾN THỨC CƠ BẢN VỀ TÀI CHÍNH 10 1.1 Một số khái niệm tài 10 1.1.1 Phân tích tài 10 1.1.2 Phương pháp phân tích tài 10 1.1.3 Dự báo tình hình tài Error! Bookmark not defined 1.2 Phân tích kỹ thuật dự báo thị trường chứng khoánError! not defined Bookmark 1.2.1 Thị trường chứng khoán Error! Bookmark not defined 1.2.2 Phân tích kỹ thuật Error! Bookmark not defined 1.3 Kết luận Error! Bookmark not defined Chƣơng MỘT SỐ MƠ HÌNH TRONG BÀI TỐN DỰ BÁO Error! Bookmark not defined 2.1 Tổng quan khai phá liệu thời gian thực Error! Bookmark not defined 2.2 Phân lớp liệu Error! Bookmark not defined 2.3 Một số mơ hình dùng khai phá liệu thời gian thựcError! Bookmark not defined 2.3.1 Mơ hình mạng nơ-ron nhân tạo (ANN – Artificial Neural Network)Error! Bookmark not defined 2.3.2 2.4 Mô hình máy vector hỗ trợ (SVM) Error! Bookmark not defined Mơ hình ARIMA Error! Bookmark not defined 2.4.1 Hàm tự tương quan ACF Error! Bookmark not defined 2.4.2 Hàm tự tương quan phần PACF Error! Bookmark not defined 2.4.3 Quá trình tự hồi quy AR(p) Error! Bookmark not defined 4 2.4.4 2.5 Quá trình trung bình trượt MA(q) Error! Bookmark not defined Kết luận Error! Bookmark not defined Chƣơng PHƢƠNG PHÁP GIẢI QUYẾT BÀI TOÁN Error! Bookmark not defined 3.1 Giới thiệu toán Error! Bookmark not defined 3.2 Xây dựng mơ hình Error! Bookmark not defined 3.3 Thu thập tiền xử lý liệu Error! Bookmark not defined 3.3.1 Thu thập liệu Error! Bookmark not defined 3.3.2 Tiền xử lý liệu Error! Bookmark not defined 3.4 Tổ chức liệu Error! Bookmark not defined 3.5 Huấn luyện mạng Error! Bookmark not defined 3.6 Đánh giá mơ hình dự báo kết Error! Bookmark not defined 3.7 Kết luận Error! Bookmark not defined Chƣơng THỰC NGHIỆM VÀ ĐÁNH GIÁ Error! Bookmark not defined 4.1 Môi trường thực nghiệm Error! Bookmark not defined 4.2 Dữ liệu dùng thực nghiệm Error! Bookmark not defined 4.3 Kết thực nghiệm Error! Bookmark not defined 4.3.1 Kết chạy với mơ hình ANN Error! Bookmark not defined 4.3.2 Kết chạy với mơ hình máy vector hỗ trợ (SVM)Error! not defined 4.3.3 Bookmark Kết chạy với mơ hình ARIMA Error! Bookmark not defined 4.4 So sánh đánh giá kết Error! Bookmark not defined 4.5 Kết luận Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 11 BẢNG CÁC TỪ VIẾT TẮT Tên đầyđủ Viết tắt MA EMA Moving Average Exponential Moving Average RSI Relative Strength Index NN Neural Network ANN Artificial Neural Network SVM Support Vector Machine KDD Knowledge Discorvery and Data Mining PTKT Phân tích kỹ thuật DM Data mining MLP Multi-Layer Perceptron ARIMA Autoregressive integrated moving average DN Doanh nghiệp CK Chứng khoán PTKT Phân tích kỹ thuật DANH MỤC BẢNG BIỂU Bảng 2.1 Các hàm chuyển Error! Bookmark not defined Bảng 3.1 Tổ chức liệu IBM Error! Bookmark not defined Bảng 3.2 Tổ chức liệu mơ hình Error! Bookmark not defined Bảng 4.1 Các trường hợp tham số đầu vào mạng nơ-ronError! defined Bookmark not Bảng 4.2 Kết độ xác mơ hình ANN Error! Bookmark not defined Bảng 4.3 Kết độ xác mơ hình SVM Error! Bookmark not defined Bảng 4.4 So sánh kết trung bình mơ hình ANN SVMError! not defined Bookmark Bảng 4.5 Kết đưa lời khuyên cho người dùng Error! Bookmark not defined 8 DANH MỤC CÁC HÌNH VẼ, BIỂU ĐỒ Hình 1.1 Biểu đồ dạng đường Error! Bookmark not defined Hình 1.2 Biểu đồ dạng then chắn Error! Bookmark not defined Hình 1.3 Kí tự biểu đồ dạng then chắn Error! Bookmark not defined Hình 1.4 Biểu đồ dạng nến Error! Bookmark not defined Hình 2.1 Mơ hình khai phá liệu Error! Bookmark not defined Hình 2.2 Mơ hình nơ-ron sinh học Error! Bookmark not defined Hình 2.3 Cấu trúc nơ-ron Error! Bookmark not defined Hình 2.4 Cách tính hàm tổng Error! Bookmark not defined Hình 2.5 Cấu trúc mạng nơ-ron Error! Bookmark not defined Hình 2.6 Hàm sigmoid Error! Bookmark not defined Hình 2.7 Siêu phẳng phân chia liệu theo phương pháp SVMError! Bookmark not defined Hình 2.8 Minh họa tốn phân lớp nhị phân phương pháp SVM Error! Bookmark not defined Hình 2.9 Ví dụ chiều hướng giảm khác [2]Error! defined Bookmark not Hình 3.1 Mơ hình dự báo đề xuất Error! Bookmark not defined Hình 3.2 Tạo tập huấn luyện mạng nơ-ron Error! Bookmark not defined Hình 3.3 Quá trình dự đốn mơ hình mạng nơ-ronError! defined Bookmark not Hình 4.1 Giá đóng cửa số lượng giao dịch Error! Bookmark not defined Hình 4.2 Biểu đồ thể tính mùa vụ close volumeError! defined Bookmark not Hình 4.3 Đồ thị giá đóng cửa MA10, MA20 Error! Bookmark not defined Hình 4.4 Đồ thị biểu diễn giá đóng cửa, MA10 EMAError! defined Bookmark not Hình 4.5 Kết dự đốn mơ hình mạng nơ-ron Error! Bookmark not defined Hình 4.6 Kết dự đốn mơ hình mạng nơ-ron với tham số tối ưu Error! Bookmark not defined Hình 4.7 Mơ hình mạng nơ-ron với tham số tối ưu theo phương pháp vét cạn Error! Bookmark not defined 9 Hình 4.8 Kết dự đốn mơ hình SVM Error! Bookmark not defined Hình 4.9 Mơ hình dự đốn SVM tối ưu theo phương pháp vét cạnError! not defined Hình 4.10 Sơ đồ trình kết hợp giải thuật GA –SVMError! defined Bookmark Bookmark not Hình 4.11 Kết mơ hình dự đốn SVM tối ưu theo phương pháp GA Error! Bookmark not defined Hình 4.12 Kết dự đốn mơ hình ARIMA kết hợp phương pháp vét cạn Error! Bookmark not defined MỞ ĐẦU Dữ liệu tài ln nguồn liệu vô phong phú giai đoạn Đặc biệt, phát triển mạnh mẽ công nghệ thông tin mạng internet giúp người dễ dàng tiếp cận với kho liệu khổng lồ Tuy nhiên, thực tế, người cần phải biết chắt lọc, chọn lựa thông tin có ích nhằm phân tích, khai thác, phát tri thức bên liệu cách hiệu Các phương pháp quản trị khai thác liệu thủ công, truyền thống tỏ hiệu trước nhu cầu khai thác phát thông tin giai đoạn Từ đó, kỹ thuật phát tri thức khai phá liệu (KDD – Knowledge Discorvery and Data Mining) đời đem lại hiệu cao vấn đề khai thác phát tri thức, áp dụng nhiều lĩnh vực khác nhau, đặc biệt quản lý vĩ mô kinh doanh mà cụ thể thị trường chứng khoán Việc dự đoán thị trường chứng khoán toán nhiều người quan tâm Sự khơng tuyến tính thị trường kèm theo tác động nhiều yếu tố bên làm ảnh hưởng tới trình thay đổi thị trường chứng khốn Vì vậy, làm để dự đốn xác lên xuống thị trường toán mà nhà đầu tư quan tâm, tìm hiểu, nghiên cứu phân tích Đã có nhiều nghiên cứu giới (trong có Việt Nam) tốn dự báo thị trường chứng khốn sử dụng mơ hình khai phá liệu khác Năm 2001, Efstathios Kalyvas phân tích thị trường chứng khốn sử dụng mơ hình mạng nơ-ron đạt kết định Và đây, năm 2007 luận văn thạc sĩ học viên Phạm Thị Hoàng Nhung (ĐHQGHN) nghiên cứu mạng nơ-ron ứng dụng vào dự báo lưu lượng nước đến hồ Hòa Bình với kết dự báo xác lớn 80% Trong khn khổ luận văn, tác giả tập trung tìm hiểu nghiên cứu số mơ hình khai phá liệu thời gian thực áp dụng cho tốn phân tích thị trường chứng khốn, cụ thể mơ hình mạng nơ-ron nhân tạo, mơ hình máy vector hỗ trợ 10 mơ hình arima Mục tiêu luận văn áp dụng giải thuật gen di truyền để tối ưu mơ hình mạng nơ-ron mơ hình máy vector hỗ trợ, từ so sánh, đánh giá để tìm mơ hình phù hợp với liệu ban đầu Sau đó, luận văn đưa lời khuyên cho người chơi nên mua, bán hay giữ nguyên cổ phiếu phiên Luận văn trình bày chương sau: Chƣơng 1: Một số khái niệm tài Trong chương này, tác giả giới thiệu số khái niệm tài thị trường chứng khốn Chương luận văn tập trung nghiên cứu số chứng khốn phân tích kỹ thuật ứng dụng dự báo chứng khoán Chƣơng 2: Tổng quan khai phá liệu thời gian thực Chương giới thiệu tổng quan khai phá liệu thời gian thực số mơ hình dùng khai phá liệu mơ hình mạng nơ-ron nhân tạo (ANN), mơ hình máy vector hỗ trợ (SVM) mơ hình Arima Chƣơng 3: Mơ hình dự báo thị trƣờng chứng khốn Chương tập trung vào tìm hiểu mơ hình dự báo thị trường chứng khốn Nội dung chủ yếu lý thuyết tìm hiểu quy trình tốn khai phá liệu áp dụng cho dự báo thị trường chứng khoán như: giới thiệu tốn, xây dựng mơ hình, thu thập tiền xử lý liệu, đánh giá mô hình Chƣơng 4: Thực nghiệm đánh giá Nội dung chủ yếu chương ứng dụng mô hình nghiên cứu để dự báo thị trường chứng khốn Mỗi mơ hình chạy tham số ngẫu nhiên, tham số tối ưu sử dụng phương pháp vét cạn tham số sau tối ưu sử dụng phương pháp học máy (cụ thể phương pháp gen di truyền) Từ so sánh, đánh giá kết đưa lựa chọn mơ hình phù hợp với liệu lời khuyên cho người dùng 11 Chƣơng MỘT SỐ KIẾN THỨC CƠ BẢN VỀ TÀI CHÍNH 1.1 Một số khái niệm tài 1.1.1 Phân tích tài Các hệ thống tài chứa đựng kho liệu khổng lồ, phức tạp Việc phân tích tài nghiệp vụ cần thiết nhằm đánh giá tình hình kinh tế đất nước, ngành, địa phương sở xác định nhu cầu cần thiết xã hội có định hướng thỏa đáng Đối với doanh nghiệp nhà đầu tư việc đánh giá, phân tích hoạt động kinh doanh nhằm nắm bắt tình hình tài chính, kinh doanh doanh nghiệp, giúp họ đưa phương hướng, định đắn hoạt động kinh doanh, giúp doanh nghiệp tồn phát triển theo hướng tốt Vậy Phân tích hoạt động tài doanh nghiệp q trình thu thập, xử lý thơng tin kế tốn, nhằm xem xét, kiểm tra, đối chiếu, so sánh tài hành với q khứ, giúp người sử dụng thơng tin đánh giá tình hình tài DN, đánh giá tiềm năng, hiệu kinh doanh rủi ro tương lai Ý nghĩa việc phân tích tài có giá trị khác tùy thuộc vào mục đích, nhu cầu người sử dụng Đối với chủ doanh nghiệp nhà quản trị doanh nghiệp, mối quan tâm hàng đầu họ tìm kiếm lợi nhuận khả tài trợ Đối với nhà đầu tư mối quan tâm họ yếu tố rủi ro, thời gian hoàn vốn, mức sinh lãi khả toán vốn Một điều chung ta nhận họ quan tâm đến khả tạo dòng tiền, khả sinh lời, khả toán mức sinh lời tối đa Tuy nhiên, để phân tích xác cần có thơng tin đầy đủ, xác để giúp họ có định đắn định đầu tư, cho vay, sản xuất Đây ý nghĩa quan trọng việc phân tích tài doanh nghiệp nói riêng phân tích tình hình tài quốc gia nói chung 1.1.2 Phƣơng pháp phân tích tài Để tiến hành phân tích tài chính, thơng thường người ta sử dụng kết hợp nhiều phương pháp phân tích để đánh giá tình hình doanh nghiệp cách xác thực tối ưu Phương pháp chủ yếu phương pháp so sánh phân tích tỉ lệ [1] Phƣơng pháp so sánh: So sánh phương pháp sử dụng phổ biến phân tích để xác định xu hướng, mức độ biến động tiêu phân tích Vì để tiến hành so sánh phải giải vấn đề bản, cần phải đảm bảo điều kiện đồng để so sánh tiêu tài Như thống khơng gian, thời gian, nội dung, tính 12 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Hồi, N.T., Bình, P.T & Duy, N.K (2009), Dự Báo Phân Tích Dữ Liệu Kinh Tế Tài Chính, NXB Thống Kê [2] Luận văn thạc sĩ Phạm Thị Hoàng Nhung, Ứng dụng mạng nơ-ron dự báo lượng nước hồ Hòa Bình [3] TS Lê Văn Phùng; ThS Quách Xuân Trưởng (2012), Khai phá liệu, NXB Thông tin Truyền thông Tiếng Anh [4] Abhishek Kar (Y8021), Stock Prediction using Artificial Neural Networks [5] D.E Goldberg (1989), Genetic Algorithm in Search, Optimization and Machine Learning, Addison Wesley, Reading, MA [6] Karl Nygren (2004), Stock Prediction – A Neural Network Approach [7] M TIM JONES, Artificial Intelligence- A Systems Approach [8] Rob J Hyndman, 2008, Time series and forecasting in R [9] Stuart J Russell and Peter Norvig, Artificial Intelligence- A moderm Approach – 2nt Edition [10] Vahid Khorani, Nafiseh Forouzideh, Ali Motie Nasrabadi (2011), Artificial Neural Network Weights Optimization Using ICA, GA, ICA-GA and R-ICA-GA: Comparing Performances [11] Wolfgang Karl Härdle, Dedy Dwi Prastyo, Christian Hafner, Support Vectơr Machines with Evolutionary Feature Selection for Default Prediction [12] http://bis.net.vn/ [13] http://vietstock.vn/2012/06/du-bao-thi-truong-chung-khoan-bang-phuong-phapdinh-luong-585-179888.htm [14] http://stackoverflow.com/ [15] http://neuron.eng.wayne.edu/tarek/MITbook/t_contents.html [16] http://www.obitko.com/tutorials/neural-network-prediction/training-set.html [17] http://www.liacc.up.pt/_ltorgo [18] http://www.rdatamining.com/ ... THẢO TÌM HIỂU MỘT SỐ MƠ HÌNH KHAI PHÁ DỮ LIỆU THỜI GIAN THỰC ÁP DỤNG VÀO BÀI TỐN DỰ BÁO ỨNG DỤNG TRONG PHÂN TÍCH SỐ LIỆU TÀI CHÍNH Ngành: Cơng nghệ thơng tin Chun ngành: Hệ thống thông tin Mã số: ... Tìm hiểu số mơ hình khai phá liệu thời gian thực áp dụng vào toán dự báo ứng dụng phân tích số liệu tài chính" cơng trình nghiên cứu riêng Các số liệu, kết trình bày luận văn hồn tồn trung thực. .. quan khai phá liệu thời gian thực Chương giới thiệu tổng quan khai phá liệu thời gian thực số mơ hình dùng khai phá liệu mơ hình mạng nơ-ron nhân tạo (ANN), mơ hình máy vector hỗ trợ (SVM) mơ hình