Phân tích và dự báo nợ xấu bằng mô hình cây quyết định hồi quy và mô hình logit,probi

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN VĂN ĐỒNG PHÂN TÍCH VÀ DỰ BÁO NỢ XẤU BẰNG MƠ HÌNH CÂY QUYẾT ĐỊNH HỒI QUY VÀ LOGIT/PROBIT LUẬN VĂN THẠC SĨ Hà Nội – năm 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN VĂN ĐỒNG PHÂN TÍCH VÀ DỰ BÁO NỢ XẤU BẰNG MƠ HÌNH CÂY QUYẾT ĐỊNH HỒI QUY VÀ LOGIT/PROBIT LUẬN VĂN THẠC SĨ Chuyên ngành Mã số : Hệ thống thông tin : 60.48.05 Ngƣời hƣớng dẫn khoa học: PGS.TS Đỗ Văn Thành Hà Nội – năm 2014 LỜI CAM ĐOAN Tôi xin cam đoan công trình tơi thực dƣới hƣớng dẫn tận tình PGS.TS Đỗ Văn Thành Các số liệu, kết nêu luận văn trung thực, nội dung luận văn chƣa đƣợc công bố cơng trình khác Hà Nội, ngày tháng năm 2014 Tác giả Trần Văn Đồng Lời cảm ơn Trƣớc hết, em xin bày tỏ lòng biết ơn sâu sắc tới PGS TS Đỗ Văn Thành, ngƣời động viên, giúp đỡ tận tình cung cấp cho tơi kiến thức quý báu để hoàn thành luận văn Em xin chân thành cảm ơn ban chủ nhiệm khoa tồn thể thầy giáo khoa tạo điều kiện giúp đỡ em thời gian học tập nhƣ q trình hồn thành luận văn Em xin chân thành cảm ơn quan tâm, động viên, giúp đỡ tập thể lớp K18 chuyên ngành Hệ Thống Thông Tin nhƣ bạn bè gần xa trình học tập Mặc dù thân em cố gắng để hoàn thành tốt luận văn song lực hạn chế nên luận văn cịn nhiều thiếu sót Vì vậy, em mong nhận đƣợc góp ý chân thành quý thầy cô bạn Em xin chân thành cảm ơn! Hà Nội, ngày Trần Văn Đồng MỤC LỤC PHẦN MỞ ĐẦU I Lý chọn đề tài II Tổng quan tình hình nghiên cứu III Mục đích nghiên cứu IV Phƣơng pháp nghiên cứu V Kết cấu Đề tài VI Kết đạt đƣợc CHƢƠNG I: NỢ XẤU VÀ MỘT SỐ PHƢƠNG PHÁP DỰ BÁO NỢ XẤU I.1 Nợ xấu Tổng quan tín dụng ngân hàng Chính sách tín dụng ngân hàng 10 Kiểm tra tín dụng 12 Chất lƣợng tín dụng ngân hàng 14 Phân tích tín dụng 16 Những biểu bƣớc xử lý nợ có vấn đề 32 I.2 Một số phƣơng pháp dự báo nợ xấu 35 Phƣơng pháp Gaussian 35 Mạng nơron nhân tạo 38 Phân tích hồi quy logistic 39 Cây định 39 Phƣơng pháp CBR 40 CHƢƠNG II: MƠ HÌNH HỒI QUY LOGITS VÀ MƠ HÌNH CÂY QUYẾT ĐỊNH 42 II.1 Mơ hình lơgit 42 Giới thiệu chung mơ hình logit 42 Cơng thức tốn học khái niệm liên quan 43 Đặc điểm mơ hình logit 47 Bộ cơng cụ hỗ trợ xây dựng mơ hình dự báo logit 49 II.2 MƠ HÌNH CÂY QUYẾT ĐỊNH 59 Giới thiệu 59 Một số thuật toán 62 Bộ công cụ xây dựng định 72 CHƢƠNG III: THỰC HÀNH VÀ DỰ BÁO NỢ XẤU 76 III.1 Xây dựng tập liệu phục vụ xây dựng mơ hình dự báo nợ xấu 76 Dữ liệu cần thu thập 76 Thu thập tiền xử lý liệu 77 Tập liệu xây dựng kiểm định mô hình 84 III.2 Xây dựng mơ hình dựa tập liệu dự báo 85 Xây dựng mơ hình theo ngơn ngữ SAS 85 Xây dựng định hồi quy dự báo nợ xấu 92 Dự báo kiểm thử mơ hình 103 TÀI LIỆU THAM KHẢO 107 DANH MỤC BẢNG BIỂU Bảng 1.1: Hạng mục chấm điểm tín dụng ngân hàng Mỹ .26 Bảng 1.2: khung sách tín dụng tiêu dùng theo mơ hình điểm số 27 Bảng 1.3 khung sách tín dụng tiêu dùng theo mơ hình điểm số 31 Bảng 4: Những biểu khoản tín dụng xấu sách tín dụng hiệu 34 Bảng 3.1: kết thủ tục sprint 52 Bảng 3.2: kết thủ tục sprint sử dụng tùy chọn TABULATE 52 Bảng 3.3: kết phép phân tích ví dụ sử dụng logistic phân tích luyện kim 55 Bảng 3.4: hàm liên kết logistic sử dụng phân tích luyện kim 56 Bảng 3.5: Bảng tiêu chuẩn AIC phân tích luyện kim 56 Bảng 3.6: Bảng thống kê xác suất bác bỏ phân tích luyện kim 57 Bảng 3.7: Bảng liệu quan sát thời tiết tuần 59 Bảng 3.8: Một số thuật toán xây dựng định 63 Bảng 3.9: Danh sách bảng nguồn liệu dự báo 79 Bảng 3.10: Danh sách thủ tục làm liệu 84 Bảng 3.11: Danh sách hợp đồng kiểm thƣ mơ hình dự báo .85 Bảng 3.12: Kết dự báo với mơ hình logistic hồi quy 104 Bảng 3.13: Kết dự báo với mơ hình định 105 DANH MỤC ĐỒ THỊ Đồ thị 2.1 Đồ thị biểu diễn hàm biến đổi mơ hình logit 48 Đồ thị 2.2 Đồ thị biểu diễn mơ hình logit 48 DANH MỤC HÌNH ẢNH Hình 2.3: cấu trúc liệu tập liệu SAS 50 Hình 3.1: Biểu diễn luật công cụ khai phá liệu oracle 73 Hình 3.2: Luồng phân tích dự báo công cụ khai phá oracle 93 Hình 3.3: Thành phần liệu đầu vào 93 Hình 3.4: Thành phần áp dụng mơ hình 94 Hình 3.5: Thành phần xây dựng mơ hình 94 Hình 3.6: Các tham số thuật toán phân lớp 94 Hình 3.7: Các trƣờng liệu sử dụng thành phần nhập 95 Hình 3.8: Chi tiết thành phần áp dụng mơ hình 95 Hình 3.9: Thành phần đầu luồng phân tích, dự báo 96 Hình 3.10: Cây mơ hình dự báo nợ xấu 97 PHẦN MỞ ĐẦU I Lý chọn đề tài Tín dụng quan hệ kinh tế hình thành q trình chuyển hóa giá trị dƣới hình thái vật hình thái tiền tệ từ tổ chức sang tổ chức khác hay từ ngƣời sang ngƣời khác Tín dụng lĩnh vực hoạt động ngân hàng thƣơng mại Tuy nhiên, với hình thái chuyển hóa giá trị từ ngân hàng sang tổ chức hay cá nhân phát sinh vấn đề khơng có khả trả nợ Từ dẫn đến khái niệm nợ xấu Làm để sớm nhận biết đƣợc khoản cho vay nợ xấu? Nguyên nhân dẫn đến nợ xấu? xử lý nợ xấu phƣơng pháp hiệu nhất? câu hỏi bản, thƣờng trực cần đƣợc trả lời trình hoạt động ngân hàng Hiện nay, kho liệu tín dụng tổ chức ngân hàng ngày lớn hoạt động tín dụng ngân hàng diễn hàng ngày thông tin liệu đƣợc cập nhật liên tục vào kho liệu Tuy nhiên, việc khai phá tri thức từ kho liệu tín dụng chƣa đƣợc quan tâm mức, phƣơng pháp khai phá tri thức chủ yếu dựa vào lý thuyết thống kê Trong năm gần đây, khai phá liệu (data mining) lên phƣơng pháp hiệu việc tìm kiếm tri thức mới, tiềm ẩn từ tập liệu lớn hỗn tạp Trong kỹ thuật khai phá liệu, mơ hình định đƣợc đánh giá phƣơng pháp đƣợc sử dụng rộng rãi tính hiệu [1, 3, 5] Nhƣ biết định hồi quy dạng mô hình định [2], thƣờng đƣợc sử dụng để phát tri thức khối liệu có yếu tố thời gian kho liệu tín dụng ngân hàng khối liệu có yếu tố thời gian nên cách tự nhiên hy vọng sử dụng mơ hình định hồi quy nhƣ kỹ thuật khai phá liệu phục vụ phân tích dự báo nợ xấu hệ thống ngân hàng Mơ hình Lơgit/Probit [4] dạng mơ hình kinh tế lƣợng với biến phụ thuộc biến lơ gic nên nhận thấy có liên quan với mơ hình định hồi quy, ứng dụng mơ hình phân tích dự báo nơ xấu Đề tài nhằm góp phần trả lời câu hỏi thƣờng trực trình hoạt động ngân hàng việc ứng dụng kỹ thuật mơ hình định hồi quy công nghệ thông tin mô hình lơgit/Probit kinh tế lƣợng để phân tích dự báo nợ xấu hệ thống ngân hàng Nợ xấu vấn đề hóc búa, phức tạp cần đƣợc giải hệ thống ngân hàng nƣớc ta Tỷ số nợ xấu cao nguyên nhân quan trọng hàng đầu gây tƣợng ứ đọng lƣu thơng dịng vốn tín dụng, đình đốn họat động sản xuất kinh doanh doanh nghiệp Việc xây dựng mơ hình phân tích dự báo nợ xấu góp phần nâng cao hiệu hoạt động tín dụng, cải thiện chất lƣợng hoạt động hệ thống ngân hàng góp phần thúc đẩy phát triển kinh tế, xã hội II Tổng quan tình hình nghiên cứu Tín dụng hai nghiệp vụ cốt lõi ngân hàng Bởi ngân hàng có chất tổ chức kinh doanh tiền “Đi vay vay” lợi nhuận có đƣợc thơng qua chênh lệch lãi suất Và từ ta thấy đƣợc hoạt động tín dụng đầu cho hoạt động kinh doanh tiền tệ ngân hàng Hoạt động có nguồn tiền đƣợc lấy từ hoạt động huy động vốn Vai trị hoạt động tín dụng phải cho vay, thu đƣợc lãi từ khoản cho vay nhiệm vụ quan trọng phải thu hồi đƣợc gốc – tức số tiền cho vay Và làm để tiến hành hoạt động tín dụng cách hiệu nhất, khả vốn thấp nhất? Thì trƣớc cho vay, phía ngân hàng cần phải phân tích xem khách hàng ai? Khả tài họ nhƣ nào? Họ vay tiền với mục đích gì? kỳ hạn bao lâu? Số tiền lãi suất bao nhiêu? Và khả không trả đƣợc khách hàng phần trăm? Nếu không trả lời thỏa đáng đƣợc câu hỏi khó để hoạt động tín dụng ngân hàng diễn cách lành mạnh hiệu Từ đó, Phân tích dự báo giữ vai trị quan trọng định mạnh mẽ đến hiệu hoạt động tín dụng Tình hình nghiên cứu ngồi nƣớc Phân tích, dự báo nợ xấu hoạt động tín dụng đƣợc quan tâm nghiên cứu trọng ứng dụng hầu hết ngân hàng nƣớc có kinh tế thị trƣờng phát triển Các phƣơng pháp phân tích dự báo nợ xấu nói chung bao gồm phân tích định tính dự báo định lƣợng Phƣơng pháp định tính thƣờng tập trung trả lời câu hỏi: Có thể tín nhiệm ngƣời xin vay biết họ cách nào? Hợp đồng tín dụng có đƣợc ký kết cách đắn hợp lệ, nhằm bảo vệ đƣợc ngân hàng ngƣời gửi tiền, ngƣời xin vay có khả hồn trả nợ vay mà không cần đến sức ép nào? Trong trƣờng hợp khách hàng khơng trả nợ, liệu ngân hàng thu hồi nợ tài sản hay thu nhập ngƣời vay cách nhanh chóng với chi phí rủi ro thấp? Đối với phƣơng pháp dự báo định lƣợng: Hiện hình thành nhiều phƣơng pháp dự báo nợ xấu khác nhƣ phƣơng pháp dự báo dựa mơ hình điểm số Z [12]; Phƣơng pháp phân tích dự chấm điểm điểm tiêu dùng [12]; Phƣơng pháp xây dựng mơ hình dự báo nợ xấu dựa vào mơ hình Logit/Probit [13]; Phƣơng pháp sử dụng kỹ thuật khai phá liệu nhƣ mạng Nơtron nhân tạo, định [13], … Hiệu dự báo nợ xấu dựa phƣơng pháp/mơ hình dự báo khác nói chung khác nhau, nhƣng chƣa có nghiên cứu thức cho biết phƣơng pháp/mơ hình dự báo phƣơng pháp/mơ hình dự báo biết hiệu để dự báo nợ xấu lĩnh vực ngân hàng Do hoạt động kinh tế nói chung, hoạt động vay vốn ngân hàng nói chung hành vi ngƣời Ngồi yếu tố kinh tế yếu tố tâm lý, văn hóa, thói quen, …cũng ảnh hƣởng lớn đến hành vi Nói nhƣ có nghĩa phƣơng pháp/mơ hình dự báo nợ xấu lĩnh vực ngân hàng đƣợc đánh giá hiệu quốc gia khơng phải nhƣ vậy, chí khơng phù hợp ứng dụng quốc gia khác Vì việc nghiên cứu, thực nghiệm phƣơng pháp/mơ hình dự báo nợ xấu biết tập số liệu thực kinh tế nhằm tìm kiếm phƣơng pháp/mơ hình dự báo nợ xấu phù hợp cho quốc gia hƣớng nghiên cứu, ứng dụng quan trọng đƣợc quan tâm nhà nghiên cứu giới Tình hình nghiên cứu nƣớc Vai trị phân tích dự báo nợ xấu hoạt động ngân hàng ngày đƣợc ngân hàng nhận thức, đƣợc khẳng định nhiều ngân hàng nƣớc quan tâm, đặc biệt bối cảnh nƣớc ta xây dựng kinh tế thị trƣờng, hội nhập quốc tế ngày sâu rộng nợ xấu lĩnh vực kinh tế nhƣ lĩnh vực ngân hàng có xu hƣớng tăng, chƣa đƣợc kiểm soát nhƣ Tuy nhiên nghiên cứu ứng dụng phƣơng pháp/mơ hình dự báo nợ xấu nƣớc ta hạn chế Hiện việc dự báo nợ xấu hợp động tín dụng chủ yếu sử dụng phƣơng pháp phân tích định tính dựa kinh nghiệm, kiến thức ngƣời thẩm tra tín dụng Phƣơng pháp/mơ hình định lƣợng đƣợc ứng dụng ít, chủ yếu phƣơng pháp giản đơn đƣợc thực cá nhân cán tín dụng dừng mức nghiên cứu Phƣơng pháp ứng dụng kỹ thuật định nhƣ mơ hình kinh tế lƣợng (trong đo báo gồm mơ hình logit/probit) để phân tích dự báo nợ xấu lĩnh vực ngân hàng nƣớc ta chủ yếu dừng mức độ nghiên cứu, thực hành tập số liệu nhỏ [14], thiếu tính hệ thống chƣa đƣợc nghiên cứu thực hành tập liệu đủ lớn để phù hợp nhƣ hiệu đích thực phƣơng pháp/mơ hình nên tác dụng nghiên cứu hạn chế Cho đến chƣa có ngân hàng ứng dụng kỹ thuật định nhƣ mơ hình hồi quy logit việc hỗ trợ phân tích dự báo nợ xấu hợp đồng tín dụng Mặc dù phƣơng pháp đƣợc ứng dụng nhiều nơi giới BI Mục đích nghiên cứu Nhằm phục vụ xây dựng hệ thống phân tích dự báo tự động nợ xấu, giúp cho nhân viên phân tích tín dụng phân tín dụng ngân hàng có cộng cụ định lƣợng đánh giá đƣợc tính khả thi hợp đồng cho vay Tính khả thi đƣợc đánh giá dựa tiêu chí nhƣ: lĩnh vực kinh doanh (sản xuất), luồng tiền, lịch sử vay trả, giao dịch tài chính, kinh nghiệm lĩnh vực kinh doanh (sản xuất), số kinh tế liên quan đến sản xuất kinh doanh thời điểm xem xét hợp đồng cho vay, hợp đồng cho vay có tiềm ẩn nguy nợ xấu ngân hàng hay không IV Phƣơng pháp nghiên cứu Sử dụng phƣơng pháp phân tích, tổng hợp khảo cứu phân tích tài liệu; Sử dụng phƣơng pháp mơ hình hóa để xây dựng mơ hình dự báo nợ xấu hệ thống ngân hàng dựa vào mô hình logit; Sử dụng phƣơng pháp khai phá liệu (cụ thể định) để phát tri thức phục vụ phân tích dự báo nợ xấu hệ thống ngân hàng V Kết cấu Đề tài Đề tài gồm chƣơng nội dung Chƣơng I: Nợ xấu số phƣơng pháp dự báo nợ xấu, tập trung trình bầy số khái niệm nội dung liên quan đến nợ xấu lĩnh vực MODEL_APPLY, trƣờng thông tin bảng tƣơng tự nhƣ bảng TRAIN_DATA_GOOD Hình 3.4: Thành phần áp dụng mơ hình Thành phần Model – Tạo mơ hình Ta sử dụng loại mơ hình classification - phân lớp rõ thuật toán Decision Tree Hình 3.5: Thành phần xây dựng mơ hình Khai báo tham số thuật tốn Hình 3.6: Các tham số thuật tốn phân lớp 94 Hình 3.7: Các trƣờng liệu sử dụng thành phần nhập Các trƣờng liệu đƣợc khai báo tab Input Biến dự báo BAGFLG Đồng thời khai xác định input thành phần model loại bỏ trƣờng liệu dƣ thừa: CCYCD Thành phần Apply – áp dụng mơ hình Đây thành phần kết nối tập luật model với tập liệu dự báo Hình 3.8: Chi tiết thành phần áp dụng mơ hình Các trƣờng thơng tin đƣợc đƣa bảng output bao gồm: Kết biến dự báo, Xắc suất kết dự báo, Chi phí chạy kết dự báo 95 Thành phần Output Hình 3.9: Thành phần đầu luồng phân tích, dự báo Bƣớc 2: Chạy Workflow xác định mơ hình định Workflow đƣợc chạy bƣớc cách click chuột phải chọn run Quá trình chạy đƣợc thực từ bƣớc xác định nguồn liệu bƣớc xác định output – đầu Tới bƣớc phân lớp (class buid) có đƣợc tập luật gồm 39 luật Cây mơ hình đƣợc biểu diễn hình 3.9: 96 Hình 3.10: Cây mơ hình dự báo nợ xấu 97 Trong có luật tiêu biểu sau: If AMT