Chúng ta thường quan tâm xem xét độ chính xác trong dựđoán xu hướng của thị trường chứng khoán. Ví dụ như giá trị dựđoán của một ngày sau tăng hay giảm. Nhưđã giới thiệu trong mục 3.4.5, chúng ta sử dụng ma trận nhầm lẫn (confusion matrix) để tính cách độđo nhưđộ chính xác (accuracy), misclassification. Ta sử dụng Accuracy để ước lượng độ chính xác của mô hình trong việc dựđoán thị trường chứng khoán là tăng hay giảm. Misclassfication sử dụng cho những dựđoán sai so với dữ liệu thực tế
Trong weka CLI, sau khi huấn luyện mô hình thông qua tập training, chúng ta cung cấp các tập kiểm chứng vào mô hình huấn luyện để xác định Accuracy và
misclassification
Hình 4-8: Lệnh đánh giá dựa trên tập kiểm chứng
Kiểm thử mô hình với 10 bộ dữ liệu kiểm chứng và 10 mô hình đã xây dựng được chúng ta có kết quảđánh giá trên tập kiểm chứng như sau:
-Bộ dữ liệu thứ 1
java weka.classifiers.trees.J48 -l F:\fpt_1.model –T F:\fpt_validation_1.arff
-Bộ dữ liệu thứ 2
java weka.classifiers.trees.J48 –l F:\fpt_2.model –T F:\fpt_validation_2.arff
-….
-Bộ dữ liệu thứ 10
java weka.classifiers.trees.J48 –l F:\fpt_10.model–T F:\fpt_validation_10.arff
51 Tập kiểm chứng Accuracay (%) Misclassification (%) fpt_validation_1 48.6486 51.3514 fpt_validation _2 85.3659 14.6341 fpt_validation _3 90.2439 9.7561 fpt_validation _4 100 0 fpt_validation _5 93.3333 6.6667 fpt_validation _6 93.4783 6.5217 fpt_validation _7 100 0 fpt_validation _8 100 0 fpt_validation _9 79.5455 20.4545 fpt_validation _10 58.6957 41.3043 Kết quả trung bình 84.9311 15.0689 Hình 4-9: Kết quảđánh giá trên tập kiểm chứng
Từ kết quả trên ta thấy rằng, hiệu năng của mô hình cây quyết định không phải là hằng số, nó thay đổi với các bộ dữ liệu khác nhau hay nói cách khác nó thay đổi theo các tháng khác nhau