Ứng dụng khai phá dữ liệu xây dựng hệ thống trợ giúp đánh giá rủi ro trong bảo hiểm tàu cá

Đ IăH CăĐĨăN NG TR NGăĐ IăH CăS ăPH M NGUY NăPH NGăNAM NGăD NGăKHAIăPHỄăD ăLI UăĐ XỂYăD NGăH ăTH NGăTR ăGIÚP ĐỄNHăGIỄăR IăROăTRONGăB OăHI MăTĨUăCỄ LU NăVĔNăTH CăSƾă H ăTH NGăTHỌNGăTINă ĐƠăN ngă- Nĕmă2019 Đ IăH CăĐĨăN NG TR NGăĐ IăH CăS ăPH M NGUY NăPH NGăNAM NGăD NGăKHAIăPHỄăD ăLI UăĐ XỂYăD NGăH ăTH NGăTR ăGIÚP ĐỄNHăGIỄăR IăROăTRONGăB OăHI MăTĨUăCỄ ChuyênăngƠnh:ăH ăth ngăthôngătin Mưăs :ă848.01.04 LU NăVĔNăTH CăSƾă NG IăH NGăD NăKHOAăH C:ă TS NGUY NăTRẦNăQU CăVINH ĐƠăN ng,ănĕmă2019 ii M CL C L IăCAMăĐOAN i M CăL C ii DANH M C CÁC T VI T T T .iv DANH M C CÁC B NG v DANH M C CÁC HÌNH vi M ăĐẦU 1 LỦ chọn đề tƠi M c tiêu nghiên c u Đối t ợng vƠ phạm vi nghiên c u Ph ng pháp nghiên c u K t qu đạt đ ợc ụ nghĩa khoa học vƠ thực tiễn c a lu n văn Bố c c lu n văn .3 CH NGă1.ăNGHIểNăC UăT NGăQUAN 1.1 Tổng quan khai phá liệu 1.1.1 S l ợc khai phá liệu 1.1.2 Các kỹ thu t áp d ng khai phá liệu 1.1.3 Các b ớc xơy dựng hệ thống khai phá liệu .6 1.1.4 ng d ng c a khai phá liệu .7 1.1.5 Khó khăn khai phá liệu 1.2 Phơn lớp khai phá liệu .7 1.2.1 Phơn lớp liệu 1.2.2 Quá trình phơn lớp liệu 1.2.3 Các v n đề liên quan đ n phơn lớp liệu 1.3 Giới thiệu cơy quy t định 12 1.3.1 Giới thiệu chung 12 1.3.2 u điểm c a cơy quy t định 13 1.3.3 Các lu t đ ợc rút từ cơy quy t định 13 1.4 Thu t toán C4.5 14 1.4.1 Giới thiệu 14 1.4.2 Gi i thu t C4.5 xơy dựng cơy quy t định từ xuống 15 1.4.3 Chọn thu c tính phơn loại tốt nh t 17 1.4.4 Entropy đo tính nh t c a t p ví d 17 1.4.5 Tỷ su t lợi ích Gain Ratio .19 1.4.6 Chuyển cơy dạng lu t .20 iii 1.5 Random Forest (rừng ng u nhiên) 21 1.5.1 C s vƠ định nghĩa 21 1.5.2 Tóm tắt gi i thu t 22 1.5.3 Mơ hình phơn lớp với Random Forest 23 1.5.4 ơy dựng cơy ng u nhiên .24 1.5.5 Tạo cơy ng u nhiên 24 1.5.6 Đặc điểm c a Random Forest .24 K T LU N CH NG 25 CH NGă2.ă NGăD NGăCỂYăQUY TăĐ NHăTRONGăCỌNGăTỄC ĐỄNHă GIỄăR IăROăVĨăB IăTH NGăB OăHI MăTĨUăCỄ 26 2.1 Khái quát thị tr ng b o hiểm tƠu cá 26 2.2 Đánh giá r i ro tƠu cá 26 2.2.1 Khái niệm r i ro 26 2.2.2 Khái niệm đánh giá r i ro 27 2.2.3 Phạm vi b o hiểm 27 2.2.4 Quy trình đánh giá r i ro b o hiểm tƠu cá 28 2.2.5 Các y u tố nh h ng đ n r i ro b o hiểm tƠu cá 28 2.3 Phơn tích trạng 28 2.3.1 Chỉ số lĩnh vực kinh doanh b o hiểm tƠu cá .28 2.3.2 Gi i pháp xơy dựng hệ thống trợ giúp đánh giá r i ro b o hiểm tƠu cá 29 2.4 So Sánh k t qu phơn lớp thu t toán C4.5 vƠ Random Forest 30 2.4.1 ng d ng thu t toán C4.5 .30 2.4.2 ng d ng Random Forresst 31 2.4.3 So sánh C4.5 Random Forest 40 K T LU N CH NG 41 CH NGă3.ăXỂYăD NGăVĨăTH ăNGHI Mă NGăD NG 42 3.1 Ch c hệ thống 42 3.1.1 Phân tích yêu cầu 42 3.1.2 Các ch c 45 3.2 Thử nghiệm ng d ng 46 3.3 Đánh giá đ xác 49 K T LU N CH NG 52 K TăLU N 53 DANHăM CăTĨIăLI UăTHAMăKH O 54 QUY TăĐ NHăGIAOăĐ ăTĨIăLU NăVĔNă(B năsao)ă iv DANH M C CÁC T VI T T T Ti ng Vi t CSDL CNTT C s liệu Công nghệ thông tin KPDL MĐSD Khai phá liệu M c đích sử d ng MH STBT Máy học Số tiền bồi th SL Số l ợng TGSD Th i gian sử d ng Ti ngăn ng c CART DBMS Classification and Regression Trees Database Management System KDD OOB Knowledge Discovery in Database Out of Bag v DANH M C CÁC B NG S ăhi uă Tênăb ng b ng Trang 1.1 T p ví d hu n luyện 14 2.1 Số liệu kinh doanh chi nhánh Qu ng Ngưi 29 2.2 Thống kê tình hình bồi th 29 2.3 B ng liệu m u c a 10 khách hƠng 31 2.4 B ng thu c tính ng u nhiên để chia nút 33 2.5 B ng thu c tính c a khách hƠng 33 2.6 B ng liệu bootstrap c a 10 khách hƠng 35 2.7 Entropy(S) phơn theo th i gian sử d ng 36 2.8 Entropy(S) phơn theo M c Đích Sử D ng 37 2.9 Entropy(S) phơn theo th i gian sử d ng 37 2.10 Entropy(S) phơn theo Số Tiền Bồi Th 2.11 Sử d ng phần mềm Weka so sánh đ xác thu t tốn C4.5 Random Forest 40 3.1 Ví d khách hàng cần t v n 48 ng tổn th t ng 38 vi DANH M C CÁC HÌNH S ăhi uă Tên hình hình Trang 1.1 Quá trình khám phá tri th c 1.2 ơy dựng mô hình phơn lớp 1.3 ớc l ợng đ xác 1.4 Phơn lớp liệu 1.5 ớc l ợng đ xác c a mơ hình 10 1.6 Ví d K-fold croos validation - fold 11 1.7 Ví d K-fold croos validation-fold 11 1.8 Ví d K-fold croos validation-fold 12 1.9 Cơy quy t định phơn lớp m c l 13 1.10 M t phần cơy quy t định đ ợc xơy dựng 15 11 Entropy(S) 17 1.12 Cơy quy t định đư đ ợc xơy dựng hoƠn chỉnh 19 1.13 Chuyển cơy quy t định dạng lu t 21 1.14 Mơ hình phơn lớp với Random Forest 23 1.15 Ví d cơy ng u nhiên 24 2.1 Thông số c a thu t toán xơy dựng cơy quy t định C4.5 30 2.2 Tạo bootstrap 32 2.3 C u trúc cơy ng u nhiên 33 2.4 Mơ hình Random Forest với numtree cơy 33 2.5 Mơ hình tổng qt c a Random Forest để phơn lớp 34 2.6 Mô hình cơy phơn lớp tạo với bootstrap 35 2.7 Các thu c tính chọn để chia nút 35 2.8 Ng ỡng thu c tính để chia 36 2.9 Ví d - Cơy phơn lớp với nút chia 38 2.10 Fold với CSDL 1724 b ng ghi c a khách hƠng 39 2.11 Fold với CSDL 1724 b ng ghi c a khách hƠng 39 ng ... khai phá liệu 1.1.1 S l ợc khai phá liệu 1.1.2 Các kỹ thu t áp d ng khai phá liệu 1.1.3 Các b ớc xơy dựng hệ thống khai phá liệu .6 1.1.4 ng d ng c a khai phá liệu. .. ng pháp khai phá liệu vƠ ng d ng ph ng pháp khai phá liệu vƠo dự đốn tính r i ro khai thác b o hiểm nhằm nơng cao hiệu qu kinh doanh đ n vị - ơy dựng hệ thống h trợ đánh giá r i ro cho tƠu cá. .. tác đánh giá vƠ bồi th ng r i ro b o hiểm tƠu cá 2 u t phát từ lỦ đ ợc đồng Ủ c a TS Nguyễn Trần Quốc Vinh, chọn đề tƠi: “ ng d ng khai phá liệu xơy dựng hệ thống trợ giúp đánh giá r i ro b o hiểm