5. Cấu trúc luận văn
2.1.3. Đánh giá độ chính xác của mô hình hồi quy
Sẽ có nhiều mô hình thu đƣợc khi giải quyết bài toán hồi quy, có mô hình ƣớc lƣợng đúng giá trị kỳ vọng, sai số ít, có mô hình sai số nhiều hơn. Vì vậy, phải có phƣơng pháp đánh giá độ chính xác của mô hình hồi quy. Sau đây là một số phƣơng pháp đánh giá các mô hình hồi quy, trong đó y kí hiệu cho giá trị biến phụ thuộc của dữ liệu mẫu và y’ là giá trị đầu ra của mô hình.
Các chỉ số đánh giá mô hình [17] Max Error (Sai số tối đa):
Đánh giá mô hình bằng sai số lớn nhất gặp phải khi so sánh giá trị dự đoán với giá trị thực trên tất cả các mẫu dữ liệu:
Max error(y y’) max(|yi – y’i|) (2.1)
Mean Squared Error MSE (Sai số trung bình bình phƣơng):
Nếu yi' là giá trị dự đoán của mẫu thứ i, và yi là giá trị thực tƣơng ứng, chỉ số sai số bình phƣơng trung bình (MSE) của tập dữ liệu n mẫu đƣợc định nghĩa là
( ) ∑ ( ) (2.2)
Standard Deviation σ (Độ lệch chuẩn) hay Root Mean Squared Error RMSE (Sai số Căn bậc hai của trung bình bình phƣơng)
√ √ ∑ ( ) (2.3)
MAE (Mean Absolute Error) Sai số trung bình tuyệt đối
∑ | | (2.4)
R Squared : R2 (R bình phƣơng) còn gọi là hệ số xác định (coefficient of determination)
∑ ( )
∑ ( ̅) (2.5)
ở đây ̅ là trung bình của y
∑ ( ̅) gọi là phƣơng sai của y (Variance score)
Adjusted R Squared: (R bình phƣơng điều chỉnh)
( ) ( ) (2.6)
n là số mẫu quan sát k là số mẫu dự đoán luôn nhỏ hơn
Các phƣơng pháp đánh giá mô hình [4] Phƣơng pháp Hold-out
Phƣơng pháp Hold-out phân chia tập dữ liệu thành 3 tập độc lập. Ví dụ, tập huấn luyện (training set) 60%, tập đánh giá (validating set) 20%, tập thử nghiệm (testing set) 20%. Phƣơng pháp này thƣờng đi với các chỉ số sau:
Train error (Sai số huấn luyện)
∑ ‖ ‖ (2.7) p có thể là 1 hoặc 2
Validation error (Sai số đánh giá)
∑ ‖ ‖ (2.8) p có thể là 1 hoặc 2
Test error (Sai số kiểm tra)
∑ ‖ ‖ (2.9)
p có thể là 1 hoặc 2
Hay còn gọi là k-fold Cross validation. Phƣơng pháp này phân chia dữ liệu thành k tập con có cùng kích thƣớc. Tại mỗi vòng lặp sử dụng một tập con là tập thử nghiệm và các tập con còn lại là tập huấn luyện. Giá trị k thƣờng là = 10. Ta có thể dùng một trong hai cách:
Leave-one-out : k=số mẫu trong dữ liệu (dành cho tập dữ liệu nhỏ) Stratified cross-validation : dùng phƣơng pháp lấy mẫu để các lớp
trong từng tập con phân bố nhƣ trên toàn bộ dữ liệu.