Ứng dụng khai phá dữ liệu vào dự báo giá mặt hàng trên sang giao dịch

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ KHẢ CHUNG ỨNG DỤNG KHAI PHÁ DỮ LIỆU VÀO DỰ BÁO GIÁ MẶT HÀNG TRÊN SÀN GIAO DỊCH LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN \ HÀ NỘI - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ KHẢ CHUNG ỨNG DỤNG KHAI PHÁ DỮ LIỆU VÀO DỰ BÁO GIÁ MẶT HÀNG TRÊN SÀN GIAO DỊCH Ngành: Công Nghệ Thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60.48.05 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS NGUYỄN TRÍ THÀNH HÀ NỘI - 2015 Lời cảm ơn Em xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS Nguyễn Trí Thành, thầy hƣớng dẫn, dạy tận tình để em hoàn thành luận văn Em xin chân thành cảm ơn thầy, cô giáo khoa Công nghệ thông tin - Trƣờng Đại học Công nghệ - Đại học Quốc gia Hà nội truyền thụ kiến thức cho em suốt trình học tập vừa qua Tác giả xin cảm ơn quan, bạn bè đồng nghiệp, gia đình ngƣời thân chia sẻ, giúp đỡ, động viên, tạo điều kiện thuận lợi để tác giả hoàn thành nhiệm vụ học tập luận văn Hà Nội, ngày 06 tháng 12 năm 2015 Học viên Lê Khả Chung Mục lục Mục lục Danh mục bảng Danh mục hình ảnh MỞ ĐẦU Chƣơng TỔNG QUAN VỀ GIAO DỊCH HÀNG HÓA TƢƠNG LAI Error! Bookmark not defined 1.1 Hàng hóa tƣơng lai Error! Bookmark not defined 1.2 Sàn giao dịch hàng hóa tƣơng lai Error! Bookmark not defined 1.3 Các chủ thể thị trƣờng tƣơng lai Error! Bookmark not defined 1.4 Phân tích kỹ thuật Error! Bookmark not defined 1.4.1 Phân tích điểm kháng cự, hỗ trợ Error! Bookmark not defined 1.4.2 Phân tích xu hƣớng giá Error! Bookmark not defined 1.4.3 Phân tích đƣờng trung bình giá Error! Bookmark not defined 1.5 Đặt vấn đề dự báo giá hàng hóa sàn giao dịchError! defined Chƣơng CƠ SỞ LÝ THUYẾT VỀ MẠNG NƠ RONError! defined Bookmark Bookmark not not 2.1 Lịch sử phát triển mạng nơ ron Error! Bookmark not defined 2.2 Cơ sở sinh học Error! Bookmark not defined 2.3 Cấu tạo nơ ron nhân tạo Error! Bookmark not defined 2.3.1 Cấu tạo nơ ron nhân tạo Error! Bookmark not defined 2.3.2 Hàm truyền Error! Bookmark not defined 2.4 Mô hình mạng nơ ron Error! Bookmark not defined 2.4.1 Mạng truyền thẳng Error! Bookmark not defined 2.4.2 Mạng hồi quy Error! Bookmark not defined 2.5 Huấn luyện mạng Error! Bookmark not defined 2.5.1 Học có giám sát Error! Bookmark not defined 2.5.2 Học không giám sát Error! Bookmark not defined 2.6 Hàm mục tiêu Error! Bookmark not defined 2.7 Thuật toán lan truyền ngƣợc Error! Bookmark not defined 2.8 Lĩnh vực áp dụng Error! Bookmark not defined Chƣơng MÔ HÌNH XỬ LÝ Error! Bookmark not defined 3.1 Mạng nơ ron toán dự báo Error! Bookmark not defined 3.2 Mô hình xử lý Error! Bookmark not defined 3.3 Lựa chọn biến số Error! Bookmark not defined 3.4 Thu thập liệu Error! Bookmark not defined 3.5 Tiền xử lý phân tích liệu Error! Bookmark not defined 3.5.1 Tiền xử lý liệu Error! Bookmark not defined 3.5.2 Phân tích liệu Error! Bookmark not defined 3.6 Phân chia tập liệu Error! Bookmark not defined 3.7 Cấu trúc mạng Error! Bookmark not defined 3.7.1 Số lớp ẩn Error! Bookmark not defined 3.7.2 Số nơ ron lớp ẩn Error! Bookmark not defined 3.7.3 Số nơ ron đầu Error! Bookmark not defined 3.7.4 Hàm truyền Error! Bookmark not defined 3.8 Xác định tiêu trí đánh giá Error! Bookmark not defined 3.9 Huấn luyện mạng Error! Bookmark not defined 3.10 Triển khai Error! Bookmark not defined Chƣơng THỰC NGHIỆM VÀ ĐÁNH GIÁ Error! Bookmark not defined 4.1 Giới thiệu thƣ viện cài đặt nơ ron Error! Bookmark not defined 4.2 Mô hình mạng Error! Bookmark not defined 4.2.1 Các biến số sử dụng cho toán Error! Bookmark not defined 4.2.3 Thu thập liệu Error! Bookmark not defined 4.2.4 Mô hình mạng Error! Bookmark not defined 4.3 Huấn luyện mạng Error! Bookmark not defined 4.4 Đánh giá mô hình mạng Error! Bookmark not defined 4.4.1 So sánh kết mạng với mô hình tƣơng đƣơngError! Bookmark not defined 4.4.2 Đánh giá kết dự đoán Error! Bookmark not defined 4.5 Giới thiệu ứng dụng dự đoán giá Error! Bookmark not defined 4.5.1 Huấn luyện mạng Error! Bookmark not defined 4.5.2 Dự đoán giá Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO PHỤ LỤC Error! Bookmark not defined Danh mục bảng Bảng 1.1: Sự khác hợp đồng kỳ hạn hợp đồng tƣơng lai Error! Bookmark not defined Bảng 1.2: Sàn giao dịch hàng hóa tƣơng lai Error! Bookmark not defined Bảng 2.1: Sơ đồ thuật toán lan truyền ngƣợc Error! Bookmark not defined Bảng 4.1: Bảng biến số sử dụng mạng Error! Bookmark not defined Bảng 4.2: Bảng liệu mẫu tổng hợp từ nguồn tháng 5-KCN13 Error! Bookmark not defined Bảng 4.3: Bảng liệu mẫu giá đóng cửa biến số đƣợc sử dụng tháng 05/2013 Error! Bookmark not defined Bảng 4.4: Kết chạy mạng lớp ẩn Error! Bookmark not defined Bảng 4.5: Kết chạy mạng lớp ẩn Error! Bookmark not defined Bảng 4.6: Kết chạy mạng lớp ẩn Error! Bookmark not defined Bảng 4.7: So sánh mạng point point Error! Bookmark not defined Bảng 4.8: Bảng so sánh mạng point point mã giao dịch Error! Bookmark not defined Bảng 4.9: Kết dự đoán mã giao dịch KCZ13 Error! Bookmark not defined Danh mục hình ảnh Hình 1.1: Biểu đồ OHLC – xác định điểm hỗ trợ, điểm kháng cựError! not defined Bookmark Hình 2: Biểu đồ đƣờng trung bình giá CCZ15 [finance.yahoo.com] Error! Bookmark not defined Hình 2.1: Cấu tạo nơ ron sinh học Error! Bookmark not defined Hình 2.2: Cấu tạo nơ ron mạng Error! Bookmark not defined Hình 2.3: Đồ thị hàm ngƣỡng Error! Bookmark not defined Hình 2.4: Đồ thị hàm vùng tuyến tính Error! Bookmark not defined Hình 2.5: Đồ thị hàm Sigmoid với hệ số 𝑎 tăng dần Error! Bookmark not defined Hình 2.6: Mô hình mạng nơ ron lớp truyền thẳng Error! Bookmark not defined Hình 2.7: Mô hình mạng nơ ron truyền thẳng nhiều lớpError! defined Bookmark not Hình 2.8: Ví dụ mô hình mạng hồi quy truyền thắngError! defined Bookmark not Hình 2.9 Mô hình học có thầy Error! Bookmark not defined Hình 3.1: Các bƣớc để xây dựng mạng nơ ron toán dự báoError! Bookmark not defined Hình 3.2: Các bƣớc xử lý mạng nơ ron toán dự báoError! Bookmark not defined Hình 3.3: Biểu đồ giá đóng cửa mã giao dịch KCZ13Error! defined Bookmark not Hình 3.4: Sử dụng điểm lịch sử liên tiếp để dự đoán Error! Bookmark not defined Hình 3.5: Mô hình tổ chức liệu Error! Bookmark not defined Hình 3.6: Múc độ tƣơng quan Error! Bookmark not defined Hình 4.1: Dữ liệu mã giao dịch KCN13 từ nguồn Error! Bookmark not defined Hình 4.2: Mô hình mạng nơ ron dự báo giá mặt hàng sàn giao dịch Error! Bookmark not defined Hình 4.3: Đồ thị hàm truyền Error! Bookmark not defined Hình 4.4: Đồ thị lỗi qua trình huấn luyện Error! Bookmark not defined Hình 4.5: Kết dự báo giá trị thực mạng point Error! Bookmark not defined Hình 4.6: Kết dự báo giá trị thực mạng point Error! Bookmark not defined Hình 4.7: Biểu đồ tƣơng quan KCZ 13- point Error! Bookmark not defined Hình 4.8: Biểu đồ tƣơng quan KCZ13- point Error! Bookmark not defined Hình 4.9: Dự đoán giá close giao dịch KCN13 Error! Bookmark not defined Hình 4.10: Biểu đồ tƣơng quan dự đoán mã giao dịch KCN13Error! Bookmark not defined Hình 4.11: Giao diện ứng dụng dụ đoán Error! Bookmark not defined Hình 4.12: Giao diện hiển thị biểu đồ lỗi trình huấn luyệnError! Bookmark not defined Hình 4.13: Giao diện ứng dụng kiểm tra dự đoán Error! Bookmark not defined Hình 4.14: Giao diện tab Graph Error! Bookmark not defined MỞ ĐẦU Thị trƣờng giao dịch hàng hóa tƣơng lai thị trƣờng non trẻ Việt Nam Các mặt hàng thuộc lĩnh vực nông sản, kim loại đóng vai trò chủ đạo giao dịch Việt Nam nhƣ: cafe, cacao, đƣờng, sắt thép Giao dịch hàng hóa tƣơng lai đƣợc thực sàn giao dịch giới hợp đồng giao dịch Các hợp đồng giao dịch đƣợc chuẩn hóa loại tài sản, số lƣợng đơn vị tài sản, thể thức toán, kỳ hạn giao dịch, có giá đƣợc thỏa thuận Mỗi hợp đồng giao dịch lệnh mua bán đƣợc đặt sàn Hai lệnh mua bán khớp với làm cho giá thị trƣờng mặt hàng thay đổi Dự đoán, dự báo giá nhu cần cần thiết cho nhà đầu tƣ thị trƣờng Để đƣa định mua bán mặt hàng nhà đầu tƣ thƣờng tiến hành phân tích theo cách riêng Một phƣơng pháp đƣợc áp dụng phổ biến sử dụng phân tích kỹ thuật Với giả định tảng giá phản ánh tất hành động thị trƣờng, có thông tin đƣợc đƣa đƣợc phản ánh giá Bởi nhà đâu tƣ họ thƣờng xuyên quan sát đồ thị giá khối lƣợng khứ để dự đoán xu hƣớng biến động tới thị trƣờng Việc phân tích gặp nhiều hạn chế nhƣ mang tính chủ quan ngƣời phân tích, tốn nhiều thời gian, phát xu hƣớng giá biến động mạnh Yêu cầu đặt cần có gợi ý xác sở khoa học thực tiễn cho nhà đầu tƣ Mạng nơ ron đƣợc ứng dụng nhiều vào toán dự báo Hoạt động theo mô não ngƣời Bằng việc tính toán tƣơng quan liệu đầu vào với kết mong muốn đầu ra, mạng nơ ron mang lại hiệu cao toán yêu cầu phúc tạp tính toán cao Lĩnh vực dự đoán, dự báo mảng mạnh mạng rơ ron Việc sử dụng mạng nơ ron toán khai phá liệu lịch sử để dự đoán giá tƣơng lai mang lại nhiều lợi ích giá trị dự báo Trong nội dung luận văn tác giả trình bày khái quát giao dịch hàng hóa tƣơng lai sàn giao dịch, tổng quan mạng nơ ron, ứng dụng mạng nơ ron vào toán dự báo giá mặt hàng sàn giao dịch Luận văn gồm chƣơng sau: Chƣơng Tổng quan giao dịch hàng hóa tƣơng lai: Trong chƣơng tác giả trình bày khái quát giao dịch hàng hoá tƣơng lai, sàn giao dịch hàng hoá tƣơng lai Một số kỹ thuật thông dụng đƣợc dùng phân tích kỹ thuật, thông qua đặt vấn đề cấp thiết cho toán dự báo giá sàn giao dịch hành hóa tƣơng lai TÀI LIỆU THAM KHẢO Tiếng Việt Các Dealer, Công ty Môi Giới Hàng Hóa Tƣơng Lai Finex Tiếng Anh T Masters(1993), Practical Nearal Network Recipes in C++, Academic Press, New York, J.O Katz (1992), Developing neural network forecasters for trading, Technical Analysis of Stock and Commodities pp.58-70 D Baily and D.M Thompson (1990), Developing neural network application, AI Expect, pp 33-41 5.Simon Haykin, A Comprehensive Foundation McMaster Universtry, Hamilton, Ontario, Canada Rojas, R (1996) Neural Networks: A Systematic Introduction, Springer, Berlin John E.Hanke & Deam W.Wichem, (2005), Busuness Forecasting, 8th Edition, Chapter Hagan M T., Demuth H B., Beale M.(1996), Neural networks design, PWS Publishing Company, Boston, Ma Haykin, S (1994), Neural networks, a comprehensive foundation, Macmillan New York, 10 Rune Aamodt (2010), Using Artificial Neural Networks To Forecast Financial Time Series, Master of Science in Computer Science, Norwegian University of Science and Technology Charpter 2,3,4 11 Hagan, Demuth Beale, De jesus, Neural Network Design (2nd edition), Charpter 2,3 12 Assia Lasfer (2013), Performance analysis of artificial nearal network in forecasting financial time series A Thesis Presented to the Faculty of the American University 13 Iebeling Kaastra and Milton Boyd (1996), Designing a neural network for forecasting financial and economic time series, Neurocomputing, vol 10, no 3, pp 215-236 14 Jakulin, A (2003), Attribute interactions in machine learning Master’s thesis, University of Ljubljana, Faculty of Computer and Information Science 15 Xianjun Ni (2008), Research of Data Mining Based on Neural Networks, World Academy of Science, Engineering and Technology, Charpter III 16 Nelson, M.C and Illingworth, W.T (1991), A Practical Guide to Neural Nets, Reading, MA: Addison-Wesley 17 Adhikari R., and R K Agrawal (2013) A Combination of Artificial Neural Network and Random Walk Models for Financial Time Series Forecasting Neural Computing and Applications 18 Aghababaeyan R., and N TamannaSiddiqui (2011) Forecasting the Tehran Stock Market by Artificial Neural Network International Journal of Advanced Computer Science and Applications, Special Issue on Artificial Intelligence 19 Butler M., and A Daniyal (2009) Multi-objective Optimization with an Evolutionary Artificial Neural Network for Financial Forecasting, Proceedings of the 11th Annual conference on Genetic and evolutionary computation pp 14511457 20 Cerna L., and M Chytry (2005) Supervised Classification of Plant Communities with Artificial Neural Networks, Journal of Vegetation Science 16 pp 407-414 21 Li Deng and Dong Yu (2013), DeepLearning Methods and Applications, Foundations and Trends® in Signal Processing Vol 10 [...]...TÀI LIỆU THAM KHẢO Tiếng Việt 1 Các Dealer, Công ty Môi Giới Hàng Hóa Tƣơng Lai Finex Tiếng Anh 2 T Masters(1993), Practical Nearal Network Recipes in C++, Academic Press, New York, 3 J.O Katz (1992), Developing neural network forecasters