Khai thác và phân tích dữ liệu ngân hàng nhằm phát hiện rủi ro và hỗ trợ ra quyết định trong quản trị

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ PHẠM VĂN THÙY KHAI THÁC VÀ PHÂN TÍCH DỮ LIỆU NGÂN HÀNG NHẰM PHÁT HIỆN RỦI RO VÀ HỖ TRỢ RA QUYẾT ĐỊNH TRONG QUẢN TRỊ Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2014 d ĐẠI HỌC QUỐC GIA HÀ NỘI LỜI ĐOAN TRƯỜNG ĐẠICAM HỌC CƠNG NGHỆ Tơi xin cam đoan kết đạt luận văn sản phẩm riêng cá nhân tôi, không chép lại người khác Trong toàn nội dung luận văn, điều trình bày cá nhân tôi tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp PHẠM VĂN THÙY Tơi xin chịu tồn trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Nội, tháng năm 2014 KHAI THÁC VÀ PHÂNHàTÍCH DỮ 5LIỆU NGÂN HÀNG NHẰM PHÁT HIỆN RỦI RO VÀ HỖ TRỢ RA QUYẾT ĐỊNH TRONG QUẢN TRỊ Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS PHAN XUÂN HIẾU HÀ NỘI - 2014 LỜI CAM ĐOAN Tôi xin cam đoan kết đạt luận văn sản phẩm riêng cá nhân tôi, không chép lại người khác Trong toàn nội dung luận văn, điều trình bày cá nhân tôi tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin chịu tồn trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, tháng năm 2014 LỜI CẢM ƠN Lời cho phép tơi bày tỏ lịng biết ơn sâu sắc cảm ơn chân thành tới TS Phan Xuân Hiếu- Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội - dành nhiều thời gian quí báu để tận tình hướng dẫn, dìu dắt, bảo định hướng cho tơi suốt thời gian hồn thành luận văn Tơi xin bày tỏ lịng biết ơn tới thầy cô giáo Khoa Công nghệ Thông tin Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội truyền đạt kiến thức, kinh nghiệm quý báu suốt thời gian học tập trường Tôi xin gửi lời cảm ơn sâu sắc tới Ban Giám đốc đồng nghiệp Trung tâm công nghệ ngân hàng quốc tế Việt Nam (VIB) tạo điều kiện thuận lợi cho suốt trình học tập thực luận văn Tơi xin chân thành cảm ơn bạn bè gia đình, người thân ln bên khuyến khích, động viên ủng hộ tơi q trình học tập hồn thành luận văn Do thời gian trình độ có hạn nên luận văn tránh khỏi thiếu sót Rất mong nhận đóng góp ý kiến thầy cô giáo, đồng nghiệp, bạn bè, quý vị quan tâm để luận văn hoàn thiện Trân trọng cảm ơn! Hà Nội, tháng năm 2014 Phạm Văn Thùy NỘI DUNG BẢNG TỪ VIẾT TẮT DANH MỤC HÌNH MINH HỌA DANH MỤC BẢNG BIỂU MỞ ĐẦU CHƯƠNG 1: RỦI RO TÍN DỤNG VÀ MƠ HÌNH QUẢN LÝ RỦI RO TÍN DỤNG TẠI NGÂN HÀNG Hoạt động tín dụng Phân loại tín dụng ngân hàng .9 Rủi ro ngân hàng rủi ro tín dụng 3.1 Rủi ro hoạt động ngân hàng: 3.2 Rủi ro tín dụng 10 3.3 Ảnh hưởng rủi ro tín dụng 11 Hiện trạng VIB yêu cầu quản trị rủi ro .12 CHƯƠNG 2: KHAI PHÁ DỮ LIỆU TRONG HỆ THỐNG THÔNG TIN NGÂN HÀNG 14 Khái niệm khai phá liệu 14 1.1 Tại lại khai phá liệu 14 1.2 Định nghĩa khai phá liệu 14 1.3 Các bước khai phá liệu 15 1.4 Các phương pháp khai thác liệu 17 Ứng dụng khai phá liệu ngành tài ngân hàng 18 2.1 Quản trị rủi ro 20 2.2 Phát gian lận 22 2.3 Quản lý danh mục vốn đầu tư 22 2.4 Ứng dụng kinh doanh 23 2.5 Marketing chăm sóc khách hàng 25 CHƯƠNG 3: BÀI TOÁN PHÂN LỚP DỰ BÁO RỦI RO TÍN DỤNG 27 Phát biểu toán 28 Mơ hình phân lớp dự báo rủi ro .29 Phân lớp sử dụng định 31 3.1 Cây định 31 3.2 Ưu nhược điểm định 31 3.3 Quá trình xây dựng định 33 3.4 Thuật toán định .33 3.5 Thuật toán C4.5 35 3.6 Chọn thuộc tính tốt 36 3.7 Chuyển định sang dạng luật dễ hiểu .38 Phân lớp SVM – Support Vector Machine .39 4.1 Phân lớp SVM tuyến tính 41 4.2 Phân lớp SVM phi tuyến .42 4.3 Phân đa lớp SVM 44 CHƯƠNG 4: ỨNG DỤNG KHAI PHÁ DỮ LIỆU PHÁT HIỆN RỦI RO TÍN DỤNG TẠI VIB 46 Hiện trạng VIB 46 1.1 Hệ thống xếp hạng tín dụng CRS 46 1.2 Kho liệu KM 47 Tích hợp liệu vào kho liệu 49 2.1 Thiết kế lược đồ liệu .49 2.2 Load liệu vào kho liệu 50 Phân lớp dự báo rủi ro từ kho liệu VIB 51 3.1 Tiền xử lý liệu 53 3.2 Phân lớp sử dụng định áp dụng thuật toán C4.5 54 3.3 Phân lớp sử dụng thuật toán SVM 57 Đánh giá mô hình 59 CHƯƠNG 5: KẾT LUẬN 62 Luận văn đạt kết sau 62 Hướng tiếp cận tương lai 62 TÀI LIỆU THAM KHẢO 63 BẢNG TỪ VIẾT TẮT KPDL Khai phá liệu XHTD Xếp hạng tín dụng SVM Support Vector Machine CSDL Cơ sở liệu CRS Credit Rating System KDD Knowledge Discovery and Data Mining DW Data Warehouse DANH MỤC HÌNH MINH HỌA Hình 1: Các bước khai phá liệu .15 Hình 2: Các thành phần hệ thống Data mining 16 Hình 3: Khai phá liệu tìm kiếm tri thức từ lượng liệu khổng lồ 19 Hình 4: Ứng dụng data mining ngân hàng 20 Hình 5: Mơ hình phân lớp dự báo rủi ro 29 Hình 6: Quy trình phân lớp 30 Hình 7: Ví dụ định 31 Hình 8: Sự phục thuộc Entropy 37 Hình 9: Siêu phẳng phân tách .40 Hình 10: Khoảng cách từ siêu phẳng đến điểm gần siêu phẳng 40 Hình 11: Tập liệu tách tuyến tính 41 Hình 12: Chuyển đổi không gian hàm nhân 43 Hình 13:Phân đa lớp SVM 44 Hình 14: Quy trình nhập liệu chấm điểm XHTD 47 Hình 15: Kiến trúc DataWarehouse VIB 48 Hình 16: Lược đồ data mart khoản vay 50 Hình 17: Ánh xạ liệu dimension CL_STATUS với liệu nguồn 50 Hình 18: Ánh xạ fact table LOAN với liệu nguồn 51 Hình 19: Tập liệu mẫu 53 Hình 20: Một số số liệu thuộc tính 54 Hình 21: Tỷ lệ mẫu lớp liệu 54 Hình 22: Chọn thuật toán C4.5 .55 Hình 23: Mơ hình xây dựng C4.5 56 Hình 24: Chuyển đổi liệu từ Nominal sang Binary 58 Hình 25: Minh họa kết mơ hình SVM Weka 59 DANH MỤC BẢNG BIỂU Bảng 1: Các trường thông tin khách hàng 52 Bảng 2: Bảng kết xây dựng mơ hình định C4.5 56 Bảng 3: Kết phân lớp C4.5 tập mẫu 56 Bảng 4: Bảng kết xây dựng mơ hình phân lớp SVM .58 Bảng 5: Ma trận kết phân lớp SVM với tập training .59 Bảng 6: Đánh giá mơ hình phân lớp .59 Bảng 7: Các số đánh giá phân lớp C4.5 60 Bảng 8: Các số đánh giá mơ hình phân lớp SVM 61 MỞ ĐẦU Ngày với phát triển mạnh mẽ công nghệ thông tin, với cơng cụ hỗ trợ cho việc tích lũy thơng tin trở lên mạnh mẽ tiện lợi, tạo điều kiện cho doanh nghiệp, tổ chức thu thập sở hữu lượng thông tin khổng lồ từ liệu có cấu trúc đến phi cấu trúc Hàng triệu sở liệu dùng quản trị kinh doanh, quản lý phủ, quản lý liệu khoa học nhiều ứng dụng khác Sự phong phú liệu, thông tin khai thác kịp thời liệu đem lại hiệu hiệu suất công tác quản lý hoạt động kinh doanh doanh nghiệp Nhưng yêu cầu khai thác thông tin địi hỏi cao, người sử dụng thơng tin khơng cần sử dụng liệu mà cần thêm nhiều tri thức, ý nghĩa tiềm ẩn liệu thơng tin để hỗ trợ cho việc định chiến lược kinh doanh… Cho đến năm 90 kỷ trước nhu cầu khai phá liệu thực bùng nổ, theo hàng loạt lĩnh vực tổ chức kho liệu, hệ hỗ trợ định, doanh nghiệp thơng minh, thuật tốn, phân loại, phân lớp … mở hướng phát triển cho việc tổ chức khai thác liệu KPDL bao hàm nhiều hướng tiếp cận Các lĩnh vực áp dụng lĩnh vực chủ yếu thừa kế từ lĩnh vực CSDL, học máy (machine leaning), trí tuệ nhân tạo, lý thuyết thông tin, xác suất thống kê Các toán chủ yếu khai phá liệu phân lớp/ dự đoán, phân cụm (clustering), khai phá luật kết hợp … Lĩnh vực điểm giao thoa nhiều lĩnh vực khác KPDL áp dụng thành cơng vào thị trường tài ngân hàng, chứng khoán, sinh học, y tế, giáo dục, viễn thông.v.v Trong môi trường hoạt động nhiều thử thách, ngân hàng phải gánh chịu rủi ro đáng kể để kiếm lợi nhuận Chính mà đo lường, dự đoán, đánh giá quản trị rủi ro khía cạnh quan trọng ngân hàng Hoạt động tín dụng hoạt động mang lại nguồn thu chủ yếu cho ngân hàng hoạt động tiềm ẩn nhiều rủi ro.Rủi ro tín dụng cho rủi ro lớn ngân hàng thương mại Việt Nam, tổn thất từ rủi ro khơng ảnh hưởng đến an tồn, hiệu quả, uy tín ngân hàng mà cịn ảnh hưởng đến ổn định hệ thống ngân hàng kinh tế đất nước Nhận thấy rủi ro dự báo cách áp dụng công nghệ thông tin vào việckhai thác phân tích liệu từ kho liệu có, tơi chọn hướng nghiên cứu Khai thác phân tích liệu ngân hàng nhằm phát rủi ro hỗ trợ định quản trị cho đề tài luận văn Luận văn xây dựng lý thuyết KPDL nhà khoa học nghiên cứu đồng thời xin trình bày quan điểm ... hình thức kỷ luật theo quy định cho lời cam đoan Nội, tháng năm 2014 KHAI THÁC VÀ PHÂNHàTÍCH DỮ 5LIỆU NGÂN HÀNG NHẰM PHÁT HIỆN RỦI RO VÀ HỖ TRỢ RA QUYẾT ĐỊNH TRONG QUẢN TRỊ Ngành: Công nghệ thông... thường chịu nhiều loại rủi ro khác Trong quản trị ngân hàng đại ngân hàng xếp loại rủi ro thành nhóm để xây dựng máy quản trị: - Rủi ro chiến lược rủi ro phát sinh việc hoạch định chiến lược kinh... tin hữu ích việc quản trị rủi ro hỗ trợ việc định cần thiết 13 CHƯƠNG 2: KHAI PHÁ DỮ LIỆU TRONG HỆ THỐNG THÔNG TIN NGÂN HÀNG Khái niệm khai phá liệu 1.1 Tại lại khai phá liệu Với phát triển công