CHƯƠNG 3: XÂY DỰNG HỆ THỐNG CHẤM ĐIỂM TÍN DỤNG CHO SÀN GIAO DỊCH NGANG HÀNG DCVFINANCE
3.4. So sánh hiệu quả của hệ thống mới với quy trình chấm điểm của công ty
Bản báo cáo bao gồm:
• Thông tin tổng quát của khách vay
• Thông tin bản thân khách vay
• Thông tin liên quan đến tín dụng cá nhân của khách vay
• Điểm công ty chấm, điểm tín dụng máy dự đoán, độ lệch giữa 2 điểm và sai số của thuật toán.
Hình 3. 25: Xây dựng và trích xuất báo cáo từ hệ thống Bước 2: Bản báo cáo điểm tín dụng được download về máy
Bản báo cáo bao gồm thông tin của 322 khách hàng đã xác minh tài khoản trên hệ thống đi kèm các trường thông tin:
• Họ và tên: Được xác minh thông tin thông qua thẻ CCCD, CMND, Hộ chiếu, Bắng lái xe.
• Số điện thoại: Được xác minh bằng phương thức gửi OTP về số điện thoại
• Tuổi: Được xác minh thông qua ngày sinh trên CCCD, CMND, Hộ chiếu, Bắng lái xe.
• Học vấn, Tình trạng cư trú, Công việc hiện tại, Thời gian làm công việc hiện tại, Thời gian gắn bó với doanh nghiệp hiện tại, thu nhập hàng tháng: Được thu thập thông qua báo đài, doanh nghiệp của khách hàng liên kết với công ty.
• Rủi ro nghề nghiệp, thu nhập hàng năm: Tính toán dựa trên các thông tin được cung cấp bởi doanh nghiệp người dùng đang làm việc.
• Số lượng thẻ tín dụng, thời gian mở thẻ tín dụng đầu tiên, số thẻ tín dụng mở trong năm trước. thẻ tín dụng mở gần nhất, số thẻ tín dụng đang hoạt động: Được xác minh thông qua số thẻ tín dụng người dùng thêm trên hệ thống, thông qua ngân hàng liên kết với công ty để kiểm tra thông tin và cán bộ tín dụng kiểm tra tình trạng thẻ của khách hàng.
• Khoản vay đầu tiên, số khoản vay mở trong năm trước, khoản vay gần nhất, số khoản vay chưa thanh toán, tổng nợ phải trả, lần trễ hạn thanh toán gần nhất, số lượng khoản vay hoặc nợ tín dụng quá hạn, tổng dư nợ tín dụng/tổng hạn mức: được các minh trên kho dữ liệu chung của các tổ chức tín dụng phi ngân hàng của Việt Nam và CIC ngân hàng nhà nước Việt Nam.
Hình 3. 26: Báo cáo hiệu quả của thuật toán so với hệ thống MAE: 5.9936
Mức độ sai lệch:
• Xếp hạng AA tăng từ 0 lên 1 người so với điểm thực tế
• Xếp hạng A từ 7 người lên 9 người: tăng 2 người so với thực tế
• Xếp hạng BBB từ 27 người giảm xuống 20 người: giảm 7 người
• Xếp hạng BB từ 81 người lên 85 người: tăng 4 người
• Xếp hạng B từ 110 xuống 102 người: giảm 8 người
• Xếp hạng CCC từ 81 xuống 75 người: giảm 6 người
• Xếp hạng CC từ 16 lên 28 người: tăng 12 người
• Xếp hạng C từ 0 lên 2 người: tăng 2 người Nguyên nhân gây ra sai sót:
- Bộ dữ liệu chưa đủ lớn, như đã thấy bộ dữ liệu sử dụng cho việc lựa chọn thuật toán chứa 30 000 bản ghi trong khi đó bộ dữ liệu thực tế chỉ có hơn 300 bản ghi để tiến hành thực hiện thuật toán.
- Hai phương thức tính toán để đưa ra giá trị cuối cùng là khác nhau, điểm tín dụng của công ty hiện tại là do cán bộ tín dụng chấm, trong khi bài báo cáo sử dụng thuật toán để chấm điểm => Do đó, sai lệch giữa hai phương thức tính toán giữa tính tay và thuật toán là điều không thể tránh khỏi bởi phương thức tính toán của công ty vẫn còn đơn giản và dựa vào 90% chủ quan bản thân. Điều này làm cho doanh nghiệp có khả năng mất đi một số khách hàng tiềm năng trong hệ thống.
- Miền giá trị giữa các hạng quan trọng là nhỏ, ví dụ các hạng AAA, AA, A chỉ là 5 điểm trong khi sai số = 5,9936 => Sai lệch giữa các hạng AAA, AA, A cao hơn rất nhiều các hạng còn lại ví dụ khách hàng số 300 điểm thực tế được 82 xếp hạng BBB sau khi chạy thuật toán được chấm điểm 86 lên hạng A.
Ảnh hưởng của việc sai lệch:
Các sai số của thuật toán dẫn đến một số rủi ro cho doanh nghiệp như sau:
• Đối khách hàng đạt điểm tín dụng từ 85 trở lên (tương đương với khách hàng đạt hạng A trở lên) thuộc nhóm nợ số 1 từ 7 người lên 12 người: tăng 5 người ~ 71% khách hàng được hưởng đãi ngộ tối đa cao hơn thực tế => Gây ra rủi ro cho doanh nghiệp khi không tối ưu hóa được nguồn vốn theo đúng như mong muốn.
• Đối với khách hàng đạt điểm tín dụng từ 60 – 84 (từ hạng B đến hạng BBB) thuộc nhóm nợ số 2 từ 218 giảm xuống 202 người: giảm 16 người ~ 7,3% khách hàng được hưởng đãi ngộ tối đa thấp hơn thực tế => Gây ra ảnh hưởng đến đãi ngộ của 16 khách hàng đạt điều kiện phê duyệt nhưng bị từ chối vì điểm dự đoán.
• Khách hàng mới không bị ảnh hưởng. Điểm tín dụng của khách hàng mới sẽ được giữ nguyên cho đến khi tạo yêu cầu vay đầu tiên trên hệ thống hoặc có chính sách mới của công ty.
Tuy hệ thống vẫn tồn tại sai lệch khá lớn nhưng sai lệch tại xếp hạng từ A trở lên không ảnh hưởng quá nhiều đối với khách hàng vay khi khách hàng vay khi khách hàng không vay tối đa đãi ngộ của bản thân và điểm tín dụng được cập nhật lại thường xuyên theo tháng. Do đó, hệ thống được hỗ trợ phê duyệt các khoản vay AAA, AA, BB còn các khoản vay từ A, BBB, B, C cần cán bộ chấm điểm tín dụng kiểm xoát lại. Còn khách hàng có điểm tín dụng ở mức D được xếp vào danh sách khách hàng từ chối cho vay.
Chính vì vậy, sai lệch giữa các xếp hạng vẫn trong phạm vi khống chế, nhưng vẫn cần cải thiện thuật toán, cán bộ chấm điểm tín dụng cần giám sát điểm tín dụng để phát hiện bất thường trong hệ thống, giảm thiểu rủi ro khi số lượng khách hàng trong hệ thống ngày một nhiều.