Phát triển một số phương pháp nhận diện và phân tích rủi ro theo hướng tiếp cận gom cụm mờ

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THƠNG TIN ĐỒN HUẤN PHÁT TRIỂN MỘT SỐ PHƯƠNG PHÁP NHẬN DIỆN VÀ PHÂN TÍCH RỦI RO THEO HƯỚNG TIẾP CẬN GOM CỤM MỜ CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 62 48 01 01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS NGUYỄN ĐÌNH THUÂN PGS TS HỒ BẢO QUỐC PHẢN BIỆN ĐỘC LẬP: PGS TS NGUYỄN ĐỨC DŨNG PGS TS LÊ HỒNG THÁI TP HỒ CHÍ MINH NĂM 2019 LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu thân tơi Các kết nghiên cứu, liệu kết luận luận án trung thực không chép từ nguồn khác hình thức Việc tham khảo nguồn tài liệu thực trích dẫn theo qui định Tp HCM, Ngày 02 tháng 10 năm 2019 Tác giả luận án Đồn Huấn LỜI CẢM ƠN Tơi xin bày tỏ lòng biết ơn sâu sắc đến PGS TS Nguyễn Đình Thuân, PGS TS Hồ Bảo Quốc, Hai thầy tận tình hướng dẫn, định hướng động viên tơi vượt qua khó khăn học thuật để hồn thành luận án Tơi xin chân thành cảm ơn Ban giám hiệu, thầy cô trường Đại học Công nghệ Thông tin - Đại học Quốc gia Tp Hồ Chí Minh, Khoa Khoa học máy tính, Khoa Hệ thống Thơng tin, Phịng Đào tạo Sau Đại học Khoa học Công nghệ giúp đỡ, hỗ trợ tơi q trình nghiên cứu, học tập Trường Tôi gửi lời cảm ơn đến chuyên gia Công ty Chứng khoán Bản Việt (VietCapital) tư vấn lĩnh vực quản lý rủi ro làm sở cho việc nghiên cứu Tôi gửi lời cảm ơn đến Ban Tổng Giám đốc Công ty Hồng Ký cho phép sử dụng tài liệu, liệu từ sở liệu hệ thống phần mềm EnterERP để tiến hành thực nghiệm luận án Kính dâng luận án lên Người cha cố Người mẹ sinh thành dưỡng dục Thân tặng luận án cho vợ, em gia đình tơi thay cho lời cảm ơn động viên, giúp đỡ tơi nhiều thời gian dài nghiên cứu thực luận án Sài gòn, Đầu mùa hè năm 2018 Tác giả luận án Đồn Huấn MỤC LỤC DANH MỤC HÌNH iv DANH MỤC BẢNG vi DANH MỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT viii CHƯƠNG TỔNG QUAN 1.1 Dẫn nhập .1 1.2 Động nghiên cứu .2 1.3 Mục tiêu nghiên cứu .4 1.4 Phạm vi nghiên cứu qui ước 1.5 Đóng góp luận án 1.6 Tầm quan trọng nghiên cứu 1.7 Bố cục luận án CHƯƠNG 2.1 RỦI RO VÀ BÀI TOÁN QUẢN LÝ RỦI RO 10 Rủi ro 10 2.1.1 Sơ lược lịch sử quản lý rủi ro 10 2.1.2 Định nghĩa rủi ro 10 2.2 Bài toán quản lý rủi ro tổ chức, doanh nghiệp 11 2.2.1 Định nghĩa quản lý rủi ro .11 2.2.2 Phân loại rủi ro tổ chức, doanh nghiệp 11 2.2.3 Các tiêu chuẩn quản lý rủi ro .13 2.2.4 Các giai đoạn trình quản lý rủi ro 14 2.2.5 Các kỹ thuật nhận diện rủi ro phân tích rủi ro truyền thống 15 2.3 Bài toán quản lý rủi ro kỹ thuật ngành Khoa học máy tính 17 2.3.1 Phân loại rủi ro nghiên cứu quản lý rủi ro kỹ thuật ngành Khoa học máy tính 17 2.3.2 Tình hình nghiên cứu toán quản lý rủi ro kỹ thuật ngành Khoa học máy tính 18 2.3.3 Tóm tắt số phân tích đánh giá 23 2.4 Tóm lược tổng hợp phương pháp nhận diện phân tích rủi ro .25 2.5 Một số lựa chọn làm sở nghiên cứu luận án 26 2.5.1 Chọn loại rủi ro phù hợp để tiến hành nghiên cứu 26 2.5.2 Chọn giai đoạn phù hợp trình quản lý rủi ro để tiến hành nghiên cứu 27 2.5.3 Chọn kỹ thuật ngành Khoa học máy tính phù hợp cho toán quản lý rủi ro .28 2.6 Kết luận chương 30 CHƯƠNG ĐỀ XUẤT MỘT FRAMEWORK VÀ XÂY DỰNG MỘT SỐ PHƯƠNG PHÁP NHẬN DIỆN VÀ PHÂN TÍCH RỦI RO TIỀM ẨN TRONG DỮ LIỆU 31 3.1 Giới thiệu 31 3.2 Đề xuất lưu đồ nhận diện phân tích rủi ro dựa kỹ thuật khám phá tri thức .32 3.3 Đề xuất framework nhận diện phân tích rủi ro tiềm ẩn liệu 34 3.4 Xây dựng phương pháp nhận diện phân tích rủi ro rõ 35 3.4.1 Xây dựng định nghĩa rủi ro rõ 35 3.4.2 Một ví dụ minh họa hàm xác định rủi ro rõ f(oi) 36 3.4.3 Xây dựng phương pháp nhận diện phân tích rủi ro rõ 37 3.5 Xây dựng phương pháp nhận diện phân tích rủi ro mờ 42 3.5.1 Xây dựng định nghĩa rủi ro mờ 42 3.5.2 Hàm thành viên cho tập rủi ro mờ H 43 3.5.3 Xây dựng phương pháp nhận diện phân tích rủi ro mờ 44 3.6 Kết luận chương 49 CHƯƠNG PHÁT TRIỂN MỘT SỐ THUẬT TOÁN GOM CỤM MỜ HỖ TRỢ CHO VIỆC PHÂN TÍCH RỦI RO 50 4.1 Phát triển thuật toán gom cụm mờ FCM-E 50 4.1.1 Giới thiệu 50 4.1.2 Khảo sát số phương pháp xác định số lượng cụm .51 4.1.3 Một số khái niệm 53 4.1.4 Xây dựng hệ số phân tích 54 4.1.5 Xây dựng thuật toán FCM-E .57 4.1.6 Đánh giá độ phức tạp tính tốn thuật tốn FCM-E .59 4.1.7 Thực nghiệm thuật toán FCM-E 60 4.1.8 So sánh đánh giá số 𝜸 thuật toán FCM-E 64 ii 4.2 Xây dựng độ đo mức độ rủi ro để xếp hạng cụm Phát triển thuật toán gom cụm mờ FCM-R 67 4.2.1 Giới thiệu 67 4.2.2 Xây dựng độ đo xếp hạng rủi ro cụm tích hợp vào thuật toán gom cụm 69 4.2.3 Tích hợp độ đo mức độ rủi ro để xây dựng thuật toán gom cụm mờ FCM-R hỗ trợ phân tích rủi ro 70 4.2.4 Đánh giá độ phức tạp tính tốn thuật toán FCM-R .72 4.2.5 Thực nghiệm thuật toán cải tiến FCM-R 73 4.3 Kết luận chương 73 CHƯƠNG THỰC NGHIỆM CÁC PHƯƠNG PHÁP NHẬN DIỆN VÀ PHÂN TÍCH RỦI RO TIỀM ẨN TRONG DỮ LIỆU 75 5.1 Giới thiệu 75 5.2 Thực nghiệm tập liệu thực doanh nghiệp 75 5.2.1 Thực nghiệm phương pháp nhận diện phân tích rủi ro rõ .75 5.2.2 Thực nghiệm phương pháp nhận diện phân tích rủi ro mờ 85 5.3 Thực nghiệm tập liệu UCI Machine Learning Repository 96 5.4 Kết luận chương .106 CHƯƠNG KẾT LUẬN 107 6.1 Kết luận 107 6.2 Hướng phát triển .110 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CƠNG BỐ 112 TÀI LIỆU THAM KHẢO 114 PHỤ LỤC 1: THƯ XÁC NHẬN CUNG CẤP Ý KIẾN VỀ QUẢN LÝ RỦI RO 121 PHỤ LỤC 2: GIẤY PHÉP SỬ DỤNG DỮ LIỆU 123 iii DANH MỤC HÌNH Hình 2.1 Mơ tả trình quản lý rủi ro theo ISO 31000 [1] 13 Hình 2.2 Mơ tả trình quản lý rủi ro theo COSO 2004 [2] 14 Hình 2.3 Phân loại rủi ro theo tác giả Tsumoto Hong [11] 18 Hình 2.4 Sơ đồ tóm lược tổng hợp phương pháp nhận diện phân tích rủi ro truyền thống kỹ thuật ngành Khoa học máy tính 26 Hình 2.5 Hai mơ hình khai phá liệu [38] 29 Hình 3.1 Lưu đồ nhận diện phân tích rủi ro kỹ thuật khám phá tri thức 33 Hình 3.2 Framework nhận diện phân tích rủi ro tiềm ẩn liệu 34 Hình 3.3 Lưu đồ mô tả việc xây dựng phương pháp nhận diện phân tích rủi ro rõ 40 Hình 3.4 Sơ đồ mơ tả bước thực phương pháp nhận diện phân tích rủi ro rõ 41 Hình 3.5 Lưu đồ mơ tả việc xây dựng phương pháp nhận diện phân tích rủi ro mờ dựa framework đề xuất 47 Hình 3.6 Sơ đồ mô tả bước thực phương pháp nhận diện phân tích rủi ro mờ 48 Hình 4.1 Hình dáng cụm không gian hai chiều 54 Hình 4.2 Thuật tốn FCM-E 58 Hình 4.3 Đồ thị 𝛾(c) tập liệu Iris 61 Hình 4.4 Đồ thị 𝛾(c) tập liệu Wine 62 Hình 4.5 Đồ thị 𝛾(c) tập liệu Breast Cancer Wisconsin 63 Hình 4.6 Đồ thị 𝛾(c) tập liệu normalized Glass 64 Hình 4.7 So sánh kết số 𝛾 phương pháp đề xuất luận án với số đánh giá việc gom cụm Zalik Iris 66 Hình 4.8 So sánh kết số 𝛾 phương pháp đề xuất luận án với số đánh giá việc gom cụm Zalik normalized Glass 67 Hình 4.9 Thuật toán FCM-R 71 Hình 5.1 Cây định với rủi ro tốn cơng nợ phải thu khách hàng 80 iv Hình 5.2 Sơ đồ số  số cụm thích hợp 81 Hình 5.3 Sơ đồ vị trí số cụm thích hợp số VPBMF 85 Hình 5.4 Hàm thành viên dạng hình thang trái 87 Hình 5.5 Sơ đồ vị trí số cụm thích hợp FCM-R 92 Hình 5.6 Sơ đồ vị trí số cụm thích hợp số VPBMF 96 Hình 5.7 Cây định từ tập liệu huấn luyện 99 Hình 5.8 Sơ đồ số  số cụm thích hợp 101 v DANH MỤC BẢNG Bảng 2.1 Bảng phân loại rủi ro theo Jasmin Harvey cộng [24] 12 Bảng 2.2 Các kỹ thuật nhận diện, phân tích đánh giá rủi ro [27] [28] [29] [30] 15 Bảng 2.3 Tóm tắt cơng trình nhận diện phân tích rủi ro kỹ thuật ngành Khoa học máy tính 24 Bảng 3.1 Bảng liệu đối tượng khách hàng với thuộc tính liên quan rủi ro tốn cơng nợ phải thu gán nhãn rủi ro 37 Bảng 3.2 Biến ngôn ngữ, giá trị miền giá trị 44 Bảng 4.1 Bảng thống kê giá trị 𝛾 với tập liệu Iris 60 Bảng 4.2 Trọng số thuộc tính tập liệu Wine 61 Bảng 4.3 Bảng thống kê giá trị 𝛾 với tập liệu Wine 61 Bảng 4.4 Trọng số thuộc tính tập liệu Breast Cancer Wisconsin 62 Bảng 4.5 Bảng thống kê giá trị 𝛾 với tập liệu Breast Cancer Wisconsin 62 Bảng 4.6 Trọng số thuộc tính tập liệu normalized Glass 63 Bảng 4.7 Bảng thống kê giá trị 𝛾 với tập liệu normalized Glass 64 Bảng 4.8 So sánh kết phương pháp đề xuất H Capitaine C Frélicot 65 Bảng 4.9 So sánh kết phương pháp đề xuất 𝛾 Yan M Ye K 66 Bảng 5.1 Tỷ lệ phân lớp kỹ thuật 78 Bảng 5.2 Các cụm khách hàng xếp hạng theo độ đo mức độ rủi ro từ cao đến thấp 83 Bảng 5.3 Kết tính tốn số VPBMF 84 Bảng 5.4 Bảng liệu đối tượng khách hàng với thuộc tính liên quan rủi ro tốn cơng nợ phải thu chưa gán nhãn rủi ro 86 Bảng 5.5 Bảng mô tả biến ngôn ngữ, tập mờ, miền giá trị khoảng cận biên 87 Bảng 5.6 Các đối tượng khách hàng sau xác định mức độ rủi ro lưu vào thuộc tính Risk 91 Bảng 5.7 Các cụm xếp hạng theo độ đo mức độ rủi ro từ cao đến thấp 94 vi Bảng 5.8 Kết tính toán số VPBMF 95 Bảng 5.9 Mô tả thuộc tính tập liệu: default of credit card clients 97 Bảng 5.10 Mơ tả độ xác thuật toán định 100 Bảng 5.11 Các cụm khách hàng xếp hạng theo độ đo mức độ rủi ro từ cao đến thấp 101 Bảng 5.12 Bảng tổng hợp việc phân tích đánh giá rủi ro cụm khách hàng theo độ đo mức độ rủi ro từ cao đến thấp 105 vii ...xây dựng phương pháp nhận diện phân tích rủi ro rõ công bố [CT2], [CT4]  Phương pháp thứ hai phương pháp nhận diện phân tích rủi ro mờ dựa việc tích hợp logic mờ thuật toán gom cụm mờ cải tiến .. .nhận diện phân tích rủi ro mờ cơng bố [CT3][CT5] 3) Phát triển số thuật toán nhằm hỗ trợ cho việc xây dựng số phương pháp nhận diện phân tích rủi ro tiềm ẩn liệu  Phát triển thuật toán gom cụm ... thể phương pháp nhận diện phân tích đối tượng rủi ro rõ phương pháp nhận diện phân tích đối tượng rủi ro mờ 3) Phát triển số thuật toán lĩnh vực khai phá liệu khám phá tri thức thuật toán gom cụm