Trong đồ thị trên, đường nét màu đen thể hiện giá thực tế, đường nét màu xanh thể hiện giá dự đốn bằng mơ hình arima với tham số tốt nhất thu được bằng phương pháp vét cạn c=(2,0,0).
4.4 So sánh và đánh giá kết quả
Trong phần này chúng ta sẽ đi đánh giá mơ hình thời gian thực bằng cách lấy mẫu ngẫu nhiên từ các dữ liệu chưa được sắp xếp. Việc sử dụng phương pháp thời gian thực cĩ thể dẫn đến các trường hợp khơng mong muốn như sử dụng mẫu quan sát ở tương lai cho các biến với mục đích huấn luyện, hoặc đánh giá mơ hình dữ liệu trong quá khứ. Để tránh được vấn đề này chúng ta thường chia dữ liệu thời gian thực thành
các cửa sổ thời gian, cĩ được mơ hình huấn luyện với thời gian trong quá khứ và kiểm tra nĩ với khoảng thời gian sau đĩ.
Mục đích chính của bất kì chiến lược đánh giá nào là độ chính xác của mơ hình dự đốn đạt được một giá trị đáng tin cậy nào đĩ. Nếu như sự đánh giá của chúng ta đáng tin cậy, chúng ta cĩ thể hồn tồn cĩ thể tin tưởng rằng giá trị dự đốn sẽ khơng lệch nhiều so với kết quả thực tế khi ta đưa dữ liệu mới vào mơ hình.
Thiết lập thời gian khởi tạo t là thời gian bắt đầu giai đoạn thử nghiệm. Dữ liệu với thời gian trước t dùng để huấn luyện mơ hình dự đốn, cịn dữ liệu cĩ được sau thời điểm t sẽ được sử dụng để kiểm tra mơ hình đĩ. Ta phải thu được mơ hình đánh giá với dữ liệu trước thời điểm t và sau đĩ kiểm tra mơ hình với dữ liệu sau thời điểm
t. Quá trình này được thể hiện rất rõ thơng qua thuật tốn cửa sổ trượt (Sliding
window) đã được mơ tả chi tiết trong chương 3.
Trong quá trình đánh giá người ta đưa ra giới hạn lỗi nhằm đánh giá tính chính xác của mơ hình. Hệ số Theil được đưa ra như trong biểu thức 3.11 để đánh giá độ chính xác của mơ hình được thể hiện trong chương trình như sau:
naive.returns <- c(vnindex.train[nrow(vnindex.train),1], vnindex.test[1:(nrow(vnindex.test)-1),1]) theil <- function(preds,naive,true) {
sqrt(sum((true-preds)^2))/sqrt(sum((true-naive)^2)) }
Kết quả đối với mơ hình ANN sử dụng tối ưu bằng phương pháp vét cạn:
N Theil HitRate PosRate NegRate Perc.Up Perc.Down avg 3142 0.824 0.509 0.516 0.503 0.507 0.493 1990 253 0.735 0.488 0.488 0.487 0.506 0.494 1991 253 0.711 0.494 0.491 0.496 0.486 0.514 1992 254 0.755 0.527 0.530 0.523 0.496 0.504 1993 253 0.713 0.481 0.491 0.471 0.510 0.490 1994 252 0.676 0.519 0.509 0.529 0.500 0.500 1995 252 0.704 0.485 0.488 0.482 0.492 0.508 1996 254 0.715 0.565 0.569 0.559 0.512 0.488
Bảng 4.2 Kết quả độ chính xác đối với mơ hình ANN
Kết quả đối với mơ hình SVM:
N Theil HitRate PosRate NegRate Perc.Up Perc.Down avg 3142 0.816 0.514 0.481 0.547 0.468 0.532 1990 253 0.737 0.550 0.519 0.584 0.474 0.526 1991 253 0.713 0.502 0.439 0.557 0.435 0.565
1992 254 0.756 0.502 0.461 0.538 0.465 0.535 1993 253 0.718 0.506 0.491 0.521 0.506 0.494 1994 252 0.686 0.523 0.517 0.529 0.496 0.504 1995 252 0.713 0.506 0.433 0.589 0.421 0.579 1996 254 0.720 0.540 0.540 0.541 0.496 0.504
Bảng 4.3 Kết quả độ chính xác đối với mơ hình SVM
Với 3142 lần lặp, hai mơ hình trên cho kết quả cho kết quả trung bình như sau:
N Theil HitRate PosRate NegRate Perc.Up Perc.Down ANN 3142 0.824 0.514 0.481 0.547 0.468 0.532 SVM 3142 0.816 0.502 0.226 0.788 0.218 0.782
Bảng 4.4 So sánh kết quả trung bình giữa mơ hình ANN và SVM
Nhìn vào kết quả ta thấy, mơ hình ANN cho độ chính xác cao hơn (82.4%) so với mơ hình SVM (81.6%). Từ bảng trên, ta cũng nhận thấy sự khác nhau giữa độ chính xác ( ) và các chỉ báo hướng giao dịch ( ). Đơi khi vẫn cĩ khả năng độ chính xác tốt ( lớn) lại dẫn đến khả năng giao dịch nhỏ
(HitRate thấp). Tuy nhiên, xét về giá trị trung bình giữa hai mơ hình thì độ chính xác và khả năng giao dịch là cĩ chiều tương đương (Theil lớn, HitRate lớn).
Như vậy, cùng với bộ dữ liệu đầu vào, cùng số bước lặp thì mơ hình ANN cho độ chính xác cao hơn, Ta sẽ tiến hành dự đốn để đưa ra lời khuyên cho người dùng áp dụng mơ hình ANN như sau:
>trading.actions[((trading.actions$Signal=='buy')||(trading.actions$ Signal=='hold')||(trading.actions$Signal=='sell')),][1:50,]
Kết quả dự đốn như sau:
Date Signal 20 1962-01-29 hold 21 1962-01-30 hold 22 1962-01-31 hold 23 1962-02-01 buy 24 1962-02-02 hold 25 1962-02-05 sell 26 1962-02-06 buy 27 1962-02-07 hold 28 1962-02-08 hold
Việc đưa ra tín hiệu mua (buy), bán (sell) hay giữ nguyên (hold) dựa vào giá trị
RSI. Nếu giá trị RSI > 70 thì cổ phiếu sẽ cĩ xu hướng đảo chiều theo chiều giảm giá và lúc này lời khuyên đưa ra cho người dùng là nên bán ra. Ngược lại, nếu RSI <30 thì cổ phiếu sẽ cĩ xu hướng tăng lên và lời khuyên cho người dùng là nên mua vào. Trường hợp RSI nằm trong khoảng từ 30 đến 70 thì lời khuyên đưa ra cho người dùng là giữ nguyên. Cụ thể, từ ngày 29-01-1962 đến ngày 08-02-1962 thì lời khuyên nên bán vào ngày 05-02-1962; nên mua vào các ngày 01-02-1962, 06-02-1962; các ngày cịn lại thì nên giữ nguyên.
Đồ thị thể hiện đường đi của giá đĩng cửa thực tế và giá đĩng cửa dự đốn như sau:
Hình 4.13 Đồ thị giá đĩng cửa thực tế và giá dự đốn
4.5 Kết luận
Như vậy, trong chương 4 của luận văn đã trình bày được kết quả thực nghiệm của các mơ hình mạng nơ-ron, mơ hình máy vector hỗ trợ và mơ hình arima. Kết quả thực nghiệm được tiến hành lần lượt trên bộ tham số ngẫu nhiên, bộ tham số tối ưu theo phương pháp vét cạn trong R và bộ tham số tối ưu bằng giải thuật gen di truyền với hai mơ hình SVM. Từ đĩ đi đánh giá để tìm ra mơ hình phù hợp nhất với tập dữ liệu của bài tốn và dự đốn, đưa ra lời khuyên cho người dùng là nên mua, bán hay giữ nguyên cổ phiếu vào ngày tiếp theo.
KẾT LUẬN Kết quả đạt được:
Từ việc nghiên cứu yêu cầu bài tốn và thực nghiệm trên dữ liệu lịch sử giao dịch giá cổ phiếu, luận văn đã đạt được những kết quả sau:
-Tìm hiểu về thị trường chứng khốn và bài tốn dự báo trong chứng khốn. -Tìm hiểu một số mơ hình khai phá dữ liệu thời gian thực như mơ hình mạng nơ- ron, mơ hình máy vector hỗ trợ, mơ hình ARIMA.
-Tối ưu hĩa mơ hình máy vector hỗ trợ, từ đĩ so sánh đánh giá các mơ hình để tìm ra mơ hình phù hợp nhất cho bộ dữ liệu ban đầu.
-Hỗ trợ người dùng trong việc đưa ra lời khuyên cho người dùng nên mua, bán hay giữ nguyên giá cổ phiếu trong phiên tiếp theo.
Hướng phát triển của luận văn:
Trong thời gian tới, tác giả sẽ tiếp tục xây dựng, hồn thiện hệ thống dự báo chứng khốn nhằm hỗ trợ người dùng trong việc đưa ra lời khuyên chính xác. Thêm vào đĩ, chúng tơi sẽ tiếp tục nghiên cứu các phương pháp học máy dùng trong khai phá dữ liệu và kết hợp với khai phá các dữ liệu trên mạng xã hội như Facebook, các diễn đàn chuyên về chứng khốn nhằm nâng cao kết quả dự báo.
TÀI LIỆU THAM KHẢO Tiếng Việt
[1] Hồi, N.T., Bình, P.T & Duy, N.K. (2009), Dự Báo và Phân Tích Dữ Liệu trong
Kinh Tế và Tài Chính, NXB Thống Kê.
[2] Luận văn thạc sĩ Phạm Thị Hồng Nhung, Ứng dụng mạng nơ-ron trong dự báo lượng nước hồ Hịa Bình.
[3] TS. Lê Văn Phùng; ThS. Quách Xuân Trưởng (2012), Khai phá dữ liệu, NXB
Thơng tin và Truyền thơng. Tiếng Anh
[4] Abhishek Kar (Y8021), Stock Prediction using Artificial Neural Networks
[5] D.E. Goldberg (1989), Genetic Algorithm in Search, Optimization and Machine
Learning, Addison Wesley, Reading, MA.
[6] Karl Nygren (2004), Stock Prediction – A Neural Network Approach [7] M. TIM JONES, Artificial Intelligence- A Systems Approach
[8] Rob J Hyndman, 2008, Time series and forecasting in R
[9] Stuart J. Russell and Peter Norvig, Artificial Intelligence- A moderm Approach – 2nt Edition
[10] Vahid Khorani, Nafiseh Forouzideh, Ali Motie Nasrabadi (2011), Artificial Neural Network Weights Optimization Using ICA, GA, ICA-GA and R-ICA-GA: Comparing Performances
[11] Wolfgang Karl Härdle, Dedy Dwi Prastyo, Christian Hafner, Support Vectơr Machines with Evolutionary Feature Selection for Default Prediction
[12] http://bis.net.vn/ [13] http://vietstock.vn/2012/06/du-bao-thi-truong-chung-khoan-bang-phuong-phap- dinh-luong-585-179888.htm [14] http://stackoverflow.com/ [15] http://neuron.eng.wayne.edu/tarek/MITbook/t_contents.html [16] http://www.obitko.com/tutorials/neural-network-prediction/training-set.html [17] http://www.liacc.up.pt/_ltorgo [18] http://www.rdatamining.com/