- Ước lượng VaR
5. BACK-TESTING.
5.4. Đánh giá tính chính xác của kết quả Backtests:
Một vấn đề của backtests thống kê chuẩn là nó thiên về giá trị p-value ước tính. Sau tất cả, chúng ta chỉ có một đánh giá p-value sẽ như thế nào và xác suất đúng mà chúng ta vẫn luôn tìm kiếm thì vẫn không biết. Điều này dẫn đến một vấn đề rõ ràng là chung ta có thể nhận được một giá trị p-value tồi tệ và nó dẫn đến từ đó những phán đoán sai về mô hình và bác bỏ không đúng một mô hình đúng và chấp nhận không đúng một mô hình sai. Và điều tồi tệ hơn là chúng ta sẽ không bao giờ biết đang làm gì vì giá trị p-value đúng sẽ không được biết.
Giả sử ví dụ mà chúng ta sử dụng các thủ tục Kupiec kiểm định lại mô hình VAR với một tập các P / L quan sát. Thực hiện điều này sẽ cho ta một giá trị
p-value ước tính mà giả định là đúng và trong thủ tục backtest thông thường chúng ta sẽ so sánh gía trị của kiểm định với một khoảng tin cậy tiêu chuẩn ví dụ như 5%, và việc chấp nhận hay bác bỏ mô hình sẽ theo sau đó. Tuy nhiên, vấn đề là chúng ta sẽ chỉ có một giá trị ước tính p-value để sử dụng, và chúng tôi thực sự không biết nó có đủ chính xác để đưa ra một kết luận đáng tin cậy.
Để tránh một kết luận không chính xác, các kiểm định sẽ có ích nếu chúng ta có thể nhận được một số ý tưởng về độ chính xác (hoặc không) của giá trị ước tính p-value và chúng ta có thể làm bởi dữ liệu bootstrapping. Nếu chúng ta có một số lượng lớn các mẫu, chúng ta có thể nhận được một số ý tưởng về sự phân phối của các giá trị p- value ước tính.
Ví dụ: Chúng ta có thể ước tính khoảng tin cậy 95% cho p-value, và điều này
sẽ dẫn đến một trong ba kết luận có thể:
• Trường hợp khoảng tin cậy được ước tính nằm trên giá trị p-value, giá trị mà tại đó mô hình bị bác bỏ (khoảng tin cậy dự kiến là [0.06, 0.35] hoàn toàn nằm trên giá trị 5%). Trong trường hợp này, có thể có ít nhất 95% độ tin cậy là giá trị đúng của p-value thì nằm trên khoảng tới hạn và chúng ta chấp nhận mô hình với độ tin cậy.
• Trường hợp khoảng tin cậy cho giá trị p-value được ước tính nằm dưới giá trị tới hạn p-value (khoảng tin cậy dự kiến có thể từ (0.01, 0.04), và trong trường hợp này có thể tin tưởng ít nhất 95% rằng giá trị đúng của p-value thì nằm dưới khoảng tới hạn, và chúng ta bác bỏ mô hình với độ tin cậy.
• Trường hợp khoảng tin cậy có chứa giá trị tới hạn của p-value cái mà chúng ta bác bỏ mô hình. (khoảng tin cậy dự đoán có thể [0.03, 0.06]), và trong trường hợp này chúng ta không thể 95% độ tin cậy rằng giá trị đúng của p-value nằm trên hay dưới giá trị tới hạn: nói cách khác, chúng ta không thể đi đến một kết luận theo bất cứ cách nào.
Điều này minh họa rằng chúng ta có thể không phải lúc nào cũng đi đến kết luận đi đôi. Thay vì kết luận một mô hình là phù hợp hay không phù hợp, thì kết luận đúng là đôi khi chúng ta không thể kết luân mức độ phù hợp của mô hình.
Tuy nhiên, nếu số liệu nói với chúng ta như vậy, thì như vậy có thể là: tốt hơn hết là không thể kết luận về mức độ phù hợp của mô hình hơn là kết luận về mô hình một cách chắc chắn mà kết quả là sai.