- Ước lượng VaR
5. BACK-TESTING.
5.2.2. Thống kê backtest dựa vào tần suất của Tail-losses:
VaR được tính toán dựa trên một khoảng tin cậy nhất định. Ví dụ với độ tin cậy là 95% thì ta cần quan sát trong 5% còn lại. Nhưng một điều chắc chắn là ta sẽ không chỉ quan sát trong 5% vượt quá sự sai lệch mà có thể là 1 tỷ lệ lớn hơn (6% hoặc 8% chẳng hạn) bởi vì “bad luck”. Trong một số tình huống, nếu tần số
này là quá lớn (là 10% hay 20% …) thì đã có sai sót trong mô hình đó chứ không hẳn là do “bad luck”. Việc quyết định trong tình huống này là vô cùng khó khăn.
Kiểm nghiệm thống kê giúp chúng ta kiểm tra tính chính xác của mô hình rủi ro theo tần số, độ tin cậy, hoặc khoảng thời gian của các ngoại lệ, đó là các khoản lỗ (hay lời) cao hơn VaR trong thời kỳ đó.
Khi chúng ta kiểm định các giả thiết thống kê, chúng ta có thể mắc 2 sai lầm sau:
- Loại 1: Bác bỏ 1 mô hình đúng.
- Loại 2: Chấp nhận mô hình sai.
Thật rõ ràng là trong quản trị rủi ro ta sẽ mất nhiều chi phí hơn nếu như mắc phải sai lầm loại 2. Vì vậy chúng ta nên chấp nhận ngưỡng giới hạn cao để chấp nhận tính hiệu lực của bất kỳ mô hình quản trị rủi ro nào.
Các ngụ ý trong lựa chọn độ tin cậy để tính giá trị VaR là nếu độ tin cậy cao, mức ngoại lệ thấp, và vì vậy rất khó khăn để xác nhận tính hiệu lực của mô hình. Ví dụ nếu ta chọn ở mức 95% chúng ta có thể sẽ quan sát các điểm ngoại lệ nhiều hơn là ở mức 99% và vì vây chúng ta sẽ có 1 kiểm định tốt hơn cho sự chính xác của mô hình. Chúng ta sẽ cùng tìm hiểu một vài kiểm định thống kê dựa trên tần số và thời gian của các trường hợp ngoại lệ phổ biến nhất.
5.2.2.1. Kiểm định Kupiec (kiểm định Failure rate test):
Phương pháp đơn giản nhất để thẩm tra tính chính xác của mô hình là đo lường failure-rate, cái mà cho thấy tỷ lệ (số lần) mà VaR bị vượt quá trong một mẫu xác định. Nếu ta gọi x là số lượng các trường hợp ngoại lệ có thể xảy ra, T là khoảng thời gian quan sát (tính theo ngày hoạt động) - hay còn được gọi là số lượng quan sát P/L. Thì lúc đó, tỷ lệ x/T chính là Failure-rate.
Kiểm định Kupiec (1995) cố gắng xác định xem liệu tần suất các ngoại lệ đã quan sát có phù hợp với tần suất các ngoại lệ kỳ vọng theo mô hình VaR với 1 độ tin cậy cho trước. Theo các giả thiết vô hiệu mà mô hình là đúng thì số lượng
Prob (x | T,p) = x(1-p) T – x
T: Số lương P/L quan sát.
p: tần suất dự đoán của tail-losses (bằng với 1 trừ đi độ tin cậy của VaR) x: là số lượng tail-losses.
Giá trị T, p có thể lấy ra từ kích thước mẫu và mức độ tin cậy của VaR. Còn x có thể lấy ra từ một cặp quan sát được kết hợp của P/L và giá trị VaR mỗi thời kì. Những chuỗi quan sát được kết hợp này có thể là quan sát thực tế (P/L được quan sát với VAR dự báo mỗi thời kì) hay là những mô phỏng lịch sử (P/L mô phỏng lịch sử mà chúng ta quan sát trong danh mục đầu tư được đưa ra, giữ nó trong giai đoạn quan sát, và kết hợp với chuỗi những dự báo VaR).
Ta xem xét các trường hợp sau đây:
Khi p = 0,01 và T = 250 (số ngày hoạt động quan sát được trong 1 năm) và giả sử rằng với 250 ngày hoạt động người ta nhận thấy mô hình sai bắt đầu từ ngoại lệ thứ 5 (nếu có từ 5 trường hợp ngoại lệ thì mô hình sẽ sai). Biểu đồ trên đã thể hiện khi một mô hình là đúng, dưới giả thuyết như vậy, chúng ta sẽ quan sát và thấy có nhiều hơn 4 trường hợp ngoại lệ 10,8% thời gian quan sát. Chính
tỷ lệ 10,8% này thể hiện xác suất của việc phạm vào sai lầm loại một (bác bỏ một mô hình đúng).
Tương tự cho trường hợp mô hình sai nhưng với p = 0,03 thay vì 0,01. Biểu đồ cho ta thấy rằng chúng ta sẽ không bác bỏ một mô hình sai trong quá 12,8% số thời gian. Đây chính là xác suất của việc mắc sai lầm loại 2 (nghĩa là không bác bỏ mô hình sai).
Khi thiết kế một kiểm định thẩm tra, người thiết kế phải đối mặt với một sự cân bằng giữa 2 loại sai lầm. Cho mục đích Backtest, người sử dụng mô hình VaR cần phải cân bằng sai lầm loại 1 và loại 2. Trường hợp lý tưởng nhất khi một người muốn có một tỷ lệ sai lầm loại 1 nhỏ và sau đó có một kiểm định có một tỷ lệ rất thấp sai lầm loại 2, và trường hợp này được gọi là “powerful”.
Xét một ví dụ về kiểm định Kupiec: Giả sử chúng ta có một
mẫu ngẫu nhiên T =1.000 quan sát P/L rút ra từ danh mục đầu tư. Mức độ tin cậy là 95%, và mô hình của chúng ta dự báo rằng chúng ta nên lấy Tp = 50 tail- losses (= 5% x 1000) trong ví dụ này. Với mẫu này, số lượng những quan sát tail- losses x = 55. Kiểm định Kupiec ước tính p- value là 21%, nơi mà sau đó được cho thấy rằng xác suất dự đoán của 55 hoặc vượt quá những mất mát quan sát. Với mức ý nghĩa là 5% chúng ta có thể chấp nhận mô hình.
Nhận xét:
Kiểm định Kupiec đơn giản, không đòi hỏi nhiều thông tin nên dễ thực hiện. Tuy nhiên nó một số nhược điểm: Không chính xác khi cỡ mẫu lớn. Nó chỉ tập trung vào tần suất tail-losses bỏ qua những thông tin giá trị tail-losses theo thời gian (hay kích cỡ của tail-losses).
Ứng dụng phương pháp KUPIEC trong quy tắc BASEL:
Như chúng ta đã biết, để tính toán Backtest, các Ngân hàng cần xem xét giá trị VaR hàng ngày trong hơn một năm (hay 250 ngày giao dịch hay có thể là 252 ngày). Sau đó so sánh giữa giá trị VaR thực tế với giá trị VaR dự đoán. Sự hoàn hảo gần như là một điều gần như không được mong đợi. Nếu mô hình VaR chính xác 95%, thì có thể sẽ có 12,5 giá trị không mong đợi được dự kiến (= 5% x 250).
Phần này sẽ cho thấy các phân tích cụ thể trong các quy tắc Basel cho Backtesting. Khi chúng ta học được rất nhiều từ Basel, thì rất quan trọng để nhận
ra rằng các nhà lãnh đạo điều hành theo các quy định của các tổ chức tài chính. Vì họ không đánh giá hết các yếu tố của các mô hình, phương pháp được thực hiện ở mức rộng hơn. Các nhà lãnh đạo cũng có trách nhiệm xây dựng các quy tắc có thể so sánh thông qua các tổ chức tài chính. Ủy ban Basel muốn mô hình của ngân hàng đúng đến 99%. Nhưng backtest không thể chứng minh một mô hình là chính xác hay không chính xác.
Các quy tắc Basel cho backtest phương pháp mô hình nội bộ được lấy trực tiếp từ kiểm định Failure-rate-test (kiểm định Kupiec). Để thiết kế một phép kiểm định, đầu tiên người ta phải chọn tỷ tệ sai lầm loại 1, đó là xác xuất của việc loại bỏ một mô hình đúng. Khi điều này xảy ra, thường thì ngân hàng phải chịu đựng một “bad luck”, Ngân hàng không nên bị phạt quá mức. Vì vậy người ta nên tiến hành một kiểm định với tỷ lệ mắc sai lầm loại 1 ở một mức thấp, khoảng 5% (tùy thuộc vào chi phí). Điểm mâu thuẫn chính ở đây là chắc chắn các giám sát viên sẽ mắc phải sai lầm loại 2 bởi vì các ngân hàng chủ tâm lừa dối trên các báo cáo VaR của họ.
Chương trình Backtest được tiến hành bằng việc so sánh giá trị VaR trong 250 ngày ở độ tin cậy 99% với khoảng mất mát hàng ngày tương ứng. Sau đó đánh giá mức độ đúng của mô hình bằng việc tính toán số lượng của trường hợp ngoại lệ trong suốt khoảng thời gian đó12.
Trong trường hợp của Backtest basel, giả thiết vô hiệu lực là “Mô hình VaR của ngân hàng chính xác 99%”. Khi đưa ra giả thiết đó, chúng ta có thể sẽ mắc phải 2 sai lầm loại 1 và loại 2. Basel đã rất thông minh khi sử dụng khuôn khổ 3 vùng, cách tốt nhất để thiết lập 1 khoảng tin cậy. Ta cần xem xét 2 vấn đề thực tế:
Đặt ra 1 khuôn khổ để tạo ra một giới hạn ở 5 trường hợp ngoại lệ và bác bỏ một cách đơn giản mô hình đem lại kết quả có 5 trường hợp ngoại lệ. Điều đó dường như là “bar set too low”. Những mô hình tốt sẽ bị loại bỏ 10,8%. (sai lầm loại 1)
Đặt ra một khuôn khổ thay thế tạo ra một giới hạn 10 trường hợp ngoại lệ và chấp nhận một cách dễ dàng mô hình có ít hơn 10 trường hợp ngoại lệ. Điều đó có vẻ như là “bar set too high” (sai lầm loại II).
Để tránh tình trạng khó khăn đó, Basel đã lập ra vùng Vàng từ 5 đến 9 trường hợp ngoại lệ:
Chú thích: Cumulative probability là xác suất của việc thu được nhiều
hơn hoặc ít hơn những trường hợp ngoại lệ khi mô hình là đúng.
• Vùng xanh: Nếu giả định mô hình là đúng thì số lượng mong đợi của trường hợp ngoại lệ là 2,5. Cơ hội của việc chấp nhận sai một mô hình không đúng là rất thấp.
• Vùng vàng: số lượng các trường hợp ngoại lệ quan sát được từ 5 đến 9. Những kết quả này đều có thể từ mô hình đúng hoặc không đúng mặc dù nó giống là từ một mô hình sai hơn. Kết quả Backtest là nguyên nhân làm tăng hệ số K trong trường hợp này và điều đó tùy thuộc vào số lượng các trường hợp ngoại lệ.
• Vùng đỏ: Nó chỉ ra vấn đề rõ ràng với mô hình VaR. Và có 1 xác suất rất nhỏ của việc một mô hình tốt lại có thể cho ra 10 hay nhiều hơn những trường hợp ngoại lệ. Những nhà quản lý nên tăng hệ số nhân K từ 3 đến 4.
Ủy ban Basel đưa ra quyết định có 4 ngoại lệ được chấp nhận, đó là “đèn xanh” cho các ngân hàng. Nếu số ngoại lệ là 5 hoặc lớn hơn, ngân hàng sẽ bị hạ xuống vùng màu vàng hoặc màu đỏ, và phải gánh chịu hình phạt thích đáng nếu nhân tố đa nhân tố K tăng từ 3 lên 4, như hình dưới đây. Khi bị rơi vào vùng màu đỏ, Ngân hàng sẽ chịu một hình phạt tự động.
Trong khung màu vàng, hình phạt tùy thuộc vào các giám sát viên, và phụ thuộc vào nguyên nhân của ngoại lệ. Ủy ban Basel sử dụng các tiêu chí dưới đây:
- Tính toàn vẹn cơ bản của mô hình: hệ thống không thể tính toán được rủi ro của các vị thế hay có vấn đề trong việc tính toán các giá trị tính biến đổi hay sự tương quan. Cũng có thể các biến đổi xảy ra vì các vị thế không được báo cáo đúng, hoặc những sai lầm trong “program code”.
- Tính chính xác của mô hình có thể được nâng lên: các biến đổi xảy ra bởi vì mô hình không đo lường rủi ro với một mức độ chính xác.
- Giao dịch trong ngày: có sự thay đổi vị thế sau khi có kết quả dự đoán giá trị VaR.
- Vận rủi (bad luck): hay sự biến đổi không thể dự đoán trước được của thị trường bởi mô hình. Ví dụ như tính biến động hay sự tương quan có thể rất khác biệt so với những gì dự đoán.
Khi ngoại lệ là do hai nguyên nhân đầu, hình phạt nên áp dụng, với nguyên nhân thứ ba hình phạt nên được xem xét lại. Còn với nguyên nhân thứ tư thì Basel chưa đưa ra hướng dẫn cụ thể nào, trừ việc kỳ vọng là các biến động này xảy ra ít nhất tại một vài thời điểm. Các ngoại lệ này loại bỏ nếu đó là kết quả của các sự việc xảy ra đột ngột và bất ngờ như là thay đổi trong lãi suất, tỷ giá, biến động chính trị và thảm họa tự nhiên. Mặt khác các giám sát ngân hàng muốn giữ tính linh hoạt để điều chỉnh các quy tắc trong những điều kiện bất ngờ cho phù hợp.
Vấn đề nan giải chính của backtest là việc tách rời “bad luck” từ mô hình sai, hoặc cân bằng sai lầm loại 1 với sai lầm loại 2. Một mô hình đúng với mức độ khoảng 99%, và một mô hình sai với mức độ 97%. Với 5 điểm ngoại lệ hoặc hơn, xác suất tích lũy, hay tỷ lệ sai lầm loại 1 là 10.8%. Trong khuôn khổ hiện nay thì một ngân hàng vượt qua 10 nên bị phạt thậm chí với một mô hình đúng (dù tỷ lệ mô hinh đúng trong trường hợp này là rất thấp).
Trong trường hợp tệ hơn, tỷ lệ sai lầm loại 2 cũng rất cao. Giả định là mức độ 97%, các giám sát ngân hàng sẽ chấp nhận 12.8% các ngân hàng có mô hình sai. Và vì vậy khuôn khổ này không quá hiệu lực. Và sự khác nhau giữa 99% hay 97% trong mức VaR mang ý nghĩa kinh tế. Giả định có phân phối chuẩn, một mô hình VaR đúng sẽ lớn hơn 1.237 lần so với VaR báo cáo chính thức. Ví dụ báo cáo không đúng sự thật này cho phép giảm mức vốn 165 tỷ $ cho 10 ngân hàng hàng đầu Mỹ một khoản 39 tỷ $.
Tính không hiệu lực của khuôn khổ này là do lựa chọn độ tin cậy cho VaR quá lớn (99%) làm giảm các ngoại lệ cho một kiểm định tin cậy thay vì xem xét hiệu ứng VaR với độ tin cậy 95% (để đảm bảo lượng vốn không bị tác động, người ta sử dụng hệ số K lớn hơn). Chúng ta phải quyết định chọn số lượng giới hạn của các trường hợp ngoại lệ để có tỷ lệ sai lầm loại 1 tương tự với khuông khổ Basel. Với trung bình 13 trường hợp ngoại lệ 1 năm, chúng ta bác bỏ mô hình nếu số lượng các ngoại lệ vượt quá 17 cái phù hợp với sai lầm loại 1 là 12,5%. Ở đây, chúng ta quản lý tỷ lệ sai lầm để nó gần với 10,8% theo khuông khổ Basel. Nhưng bây giờ, xác suất của sai lầm loại 2 lại quá thấp, chỉ là 7,4%. Vì vậy, sự thay đổi nhỏ trong khoảng tin cậy từ 99% xuống 95% sẽ giảm 1 cách đáng kể xác suất của việc không mắc phải sai lầm cho mô hình.
Một phương pháp khác để tăng tính hiệu lực cho kiểm định này, chúng ta cần tăng số lượng các quan sát. Với T=500 chúng ta chọn số lượng giới hạn các trường hợp ngoại lệ là 8, cho tỷ lệ sai lầm loại 1 là 13,2% và sai lầm loại 2 là 1,7%. Cho cùng một tỷ lệ sai lầm loại 1 như trước đây, nhưng bây giờ chúng ta có tỷ lệ sai lầm loại 2 thấp hơn nhiều, và đó là một sự tiến bộ đáng kể. Với T=1000, chúng ta chọn giới hạn các trường hợp ngoại lệ là 14, tỷ lệ sai lầm loại 1 là 13,4% và sai lầm loại 2 là 0,03%. Việc tăng số lượng các quan sát lên có thể cải tiến đáng kể phép kiểm định. Điểm tiêu cực là chúng ta không có đủ nhiều dữ liệu để tiến hành hay những mô hình có thể đã thay đổi.
5.2.2.2. Kiểm định Christoffersen:
Mô hình Kupiec chỉ tập trung vào tần suất của các trường hợp ngoại lệ mà không quan tâm đến thời gian của các ngoại lệ đó. Mô hình VaR giả định các ngoại lệ nên phân phối độc lập theo thời gian. Nếu các ngoại lệ hợp thành một nhóm và mô hình VaR không thể tính được độ biến thiên P/L theo những điều kiện chắc chắn, điều này có thể ẩn chứa một vấn đề. Kiểm định Conditional Coverage cố gắng giải quyết vấn đề này không chỉ ở tần suất của các trường hợp ngoại lệ mà còn ở khoản thời gian xảy ra các ngoại lệ nữa.
Mô hình Christoffersen’s interval forecast test là một mô hình thuộc dạng Conditional Coverage Test do Christoffersen đề xuất năm 2008. Ông sử dụng khuôn khổ kiểm định Likelihood-Ratio giống như Kupiec nhưng mở rộng kiểm định bao gồm các thống kê mức độc lập của các ngoại lệ.