Ứng dụng khai phá tri thức xây dựng hệ thống trợ giúp thẩm định vay vốn tại Ngân hàng Vietcombank Quảng Bình

Header Page of 126 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGUYỄN TRẦN SỸ ỨNG DỤNG KHAI PHÁ TRI THỨC XÂY DỰNG HỆ THỐNG TRỢ GIÚP THẨM ĐỊNH VAY VỐN TẠI NGÂN HÀNG VIETCOMBANK QUẢNG BÌNH Chuyên ngành : Khoa học máy tính Mã số: 60.48.01 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2013 Footer Page of 126 Header Page of 126 Công trình hoàn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: PGS.TS PHAN HUY KHÁNH Phản biện 1: GS.TSKH TRẦN QUỐC CHIẾN Phản biện 2: GS.TS NGUYỄN THANH THỦY Luận văn bảo vệ Hội đồng chấm luận văn tốt nghiệp Thạc sĩ kỹ thuật họp Đại học Đà Nẵng vào ngày 28 tháng 12 năm 2013 * Có thể tìm hiểu luận văn tại: Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng Footer Page of 126 Header Page of 126 MỞ ĐẦU Giới thiệu lý chọn đề tài ph t tri n c a công nghệ thông tin đ mang lại cho nh n loại nhi u tiện lợi gi p giải uy t nh ng công việc tư ng ch ng người không th giải uy t Trong đ , khai ph tri th c s d liệu xu hướng uan trọng c a n n Công nghệ thông tin th giới N c khả ng dụng vào nhi u lớp to n th c t kh c Bước uan c a u trình khai ph tri th c t d liệu, gi p người thu nh ng tri th c h u ích t nh ng s d liệu c c nguồn d liệu khổng lồ khác Một số ng n hàng thương mại, doanh nghiệp tổ ch c th giới đ ng dụng kỹ thuật khai ph tri th c t d liệu vào hoạt động tín dụng đ ph t tri n sản xuất kinh doanh, đ thu nh ng lợi ích to lớn Hiện nay, việc ng dụng công nghệ thông tin nhi u lĩnh v c c a đời sống, kinh t x hội nhi u năm ua đồng nghĩa với lượng d liệu đ c c uan, tổ ch c tín dụng thu thập lưu tr ngày tích luỹ nhi u lên Người ta lưu tr c c d liệu cho n ẩn ch a nh ng gi trị định đ Tuy nhiên, theo thống kê c lượng nhỏ c a nh ng d liệu (khoảng t 20% đ n 25%) ph n tích, số lại người ta không bi t phải làm c th làm với ch ng phải ti p tục thu thập tốn với ý nghĩ lo sợ c c i đ uan trọng đ bị bỏ ua sau c l c cần đ n n Mặt kh c, môi trường cạnh tranh khốc liệt s xuất nhi u nhi u ng n hàng thương mại n n kinh t c chuy n bi n xấu đầy ph c tạp, nhân viên ngân hàng ngày cần c nhi u thông tin với tốc độ nhanh đ trợ gi p việc uy t định ngày c nhi u c u hỏi mang tính chất định tính cần phải Footer Page of 126 Header Page of 126 trả lời d a khối lượng d liệu khổng lồ đ c Việc ng dụng công nghệ thông tin ng n hàng cần thi t, đặc biệt ng dụng khai ph tri th c t d liệu uất ph t t th c t nhu cầu n m b t, trang bị hạ tầng v công nghệ thông tin c a uan, tổ ch c đ đại ho công việc, gi p giải uy t nhanh ch ng, n ng cao hiệu uả d b o x c công việc lĩnh v c kinh doanh, thương mại điện t vấn đ trợ gi p thẩm định vay vốn ng n hàng T lý đ , chọn đ tài: Ứng dụng khai phá tri thức xây dựng hệ thống thẩm định vay vốn Ngân hàng Vietcombank Quảng Bình Đ nghiên c u làm luận văn tốt nghiệp cao học ngành hoa học m y tính Trong đ , tập trung vào nghiên c u kỹ thuật mạng Nơron, p dụng việc khai ph tri th c t d liệu đ giải uy t toán Mục tiêu nhiệm vụ Mục tiêu c a đ tài tìm hi u c c khai ph tri th c lĩnh v c hoạt động thẩm định vay vốn ng n hàng, đặc biệt vấn đ uy t định hoạt động thẩm định tín dụng đạt k t uả Nhiệm vụ c a nghiên c u: (1) Thu thập ph n tích d liệu tri tr c v tình hình kh ch hàng thẩm định; (2) Tìm hi u to n th c t : Thẩm định hoạt động vay vốn ng n hàng; (3) Tìm hi u tổng tổng uan v c c kỷ thuật khai ph tri th c; (4) Tìm hi u s lý thuy t khai ph luật k t hợp, kỷ thuật mạng Nơ-ron; (5) Xây d ng mô hình ph n tích thi t k hệ thống trợ giúp d b o thẩm định vay vốn ng n hàng Đối tượng phạm vi nghiên cứu Đối tượng ch y u đ nghiên c u luật k t hợp kỹ thuật mạng Nơ-ron, c c thuật to n học c a mạng Nơ-ron, đặc biệt thuật Footer Page of 126 Header Page of 126 to n lan truy n ngược (Back propagation algorithm) Ngoài ra, cần phải n m c c kỹ thuật lập trình n n indo Phương pháp nghiên cứu Thu thập, ph n tích c c tài liệu thông tin liên uan đ n đ tài; em xét, l a chọn phương hướng giải uy t vấn đ ; y d ng mô hình theo lý thuy t; Tri n khai x y d ng chương trình ng dụng m y tính; i m tra, th nghiệm đ nh gi k t uả Ý nghĩa khoa học thực tiễn đề tài Ý nghĩa khoa học c a đ tài nghiên c u ph t tri n mô hình khai ph d liệu nhằm d b o độ r i ro việc phê duyệt đơn vay tín dụng c a ng n hàng, d a kỹ thuật mạng Nơ-ron Việc d b o c c k t uả h trợ, trợ gi p cho nhà uản lý việc c c uy t định tối ưu Bố cục lu n v n Luận văn bao gồm c c phần sau: M đ u Chương 1: Nêu tổng uan v khai ph tri th c t d liệu Các kỹ thuật mạng Nơ-ron khai ph d liệu, c c thuật to n mạng Nơron, c c lĩnh v c ng dụng Chương 2: Ph n tích to n iới thiệu to n, nêu lên to n cụ th x y d ng mô hình tổng u t cho to n, giải ph p giải uy t toán Chương 3: y d ng hệ thống trợ gi p thẩm định vay vốn ng n hàng Tạo d liệu mẫu v d liệu đầu vào, d liệu c a tập huấn luyện, tập ki m th , vận hành mạng cho k t uả th nghiệm Trên s đ đưa c c đ nh gi v giải ph p c a đ tài việc ng dụng Footer Page of 126 Header Page of 126 th c ti n c a vấn đ c nh ng so s nh với c c giải ph p kh c t luận c a đ tài v c c mặt làm được, khả ng dụng, nh ng ưu nhược m hướng ph t tri n tương lai CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 GIỚI THIỆU VỀ KHAI PHÁ TRI THỨC Ph t tri th c kh i niệm đời vào nh ng năm cuối c a thập kỷ 80 đ tr thành lĩnh v c nguyên c u rộng r i toàn cầu đời c a ph t tri th c s k t hợp k t uả nguyên c u c a nhi u ngành khoa học kh c lại với như: Quản trị s d liệu, học m y, thống kê … 1.2 ĐỊNH NGHĨA KHAI PHÁ TRI THỨC Th c chất đ u trình tìm ki m nh ng thông tin c s d liệu bị che giấu c c khối d liệu Tri th c đ y c th hi u bi u th c ngôn ng C c ngôn ng thường dùng đ di n tả tri th c việc bi u di n tri th c u trình ph t tri th c t s dư liệu c c khung (frames), c c c y đồ thị, c c luật, c c công th c logic mệnh đ logic t n t cấp Việc khai ph tri th c thường p dụng đ giải uy t loạt nh ng y u cầu phục vụ nh ng mục đích định Vì vậy, u trình ph t tri th c hoạt động tương t c gi a người s dụng chuyên gia ph n tích với c c công cụ tin học 1.3 CÁC GIAI ĐOẠN QUÁ TRÌNH KHAI PHÁ TRI THỨC Qu trình khai ph tri th c, t nh ng s d liệu th c t sau bước c a u trình r t nh ng tri th c C c bước u trình c th lặp lặp lại nhi u lần mô tả theo hình sau: Footer Page of 126 Header Page of 126 Hình thành xác định vấn đề Thu thập tiền xử lý liệu Khai phá liệu, rút tri thức Giải thích kết đánh giá Sử dụng tri thức phát Hình 1.1 đồ mô tả u trình khai ph tri th c 1.4 MÔ HÌNH KHAI PHÁ TRI THỨC Hình 1.2 Mô hình khai ph tri th c Footer Page of 126 Header Page of 126 1.5 KHO DỮ LIỆU (DATA WAREHOUSE) Là c c s d liệu tích hợp, hướng theo c c ch đ định, thi t k đ h trợ cho ch c trợ gi p uy t định, mà m i đơn vị d liệu liên uan đ n khoảng thời gian cụ th ho d liệu thường c dung lượng lớn, thường hàng igabytes hay c tới hàng Terabytes ho d liệu x y d ng đ tiện lợi cho việc truy cập t nhi u nguồn, nhi u ki u d liệu kh c cho c th k t hợp nh ng ng dụng c a c c công nghệ đại v a c th k th a t c c hệ thống đ c t trước D liệu ph t sinh t c c hoạt động hàng ngày thu thập x lý đ phục vụ công việc nghiệp vụ cụ th c a tổ ch c, thường gọi d liệu t c nghiệp hoạt động x lý d liệu gọi xử lý giao dịch trực tuyến (OLPT - On Line Transaction Processing) 1.6 LUẬT KẾT HỢP Nhằm ph t c c Luật k t hợp gi a c c thành phần d liệu s d liệu C c luật k t hợp c th c ch hình th c h a đơn giản Ch ng thích hợp cho việc tạo c c k t uả c d liệu dạng nhị ph n iới hạn c a phương ph p ch c c uan hệ cần phải thưa theo nghĩa không c tập thường xuyên ch a nhi u 15 thuộc tính iải thuật tìm ki m c c luật k t hợp tạo số luật phải với số c c tập phổ bi n n u tập phổ bi n c kích thước phải c tập phổ bi n Thông tin v c c tập phổ bi n s dụng đ ước lượng độ tin cậy c a c c tập luật k t hợp 1.6.1 Lý thuyết lu t kết hợp 1.6.2 Định nghĩa lu t kết hợp Mà c c luật đ u phải thoả m n ngưỡng h trợ tin cậy cụ th Th c vậy, cho tập c c giao dịch D, to n ph t luật Footer Page of 126 Header Page of 126 k t hợp sinh tất c c luật k t hợp mà c độ tin cậy conf lớn độ tin cậy tối thi u mincon độ h trợ sup lớn độ h trợ tối thi u minsup tương ng người dùng x c định hai ph luật k t hợp ph n thành hai to n 1.6.3 Một số tính chất liên quan đến hạng mục phổ biến (frequent itemset) Tính chất 1: Độ h trợ (support) cho tất c c tập (subset) Tính chất 2: N u mục A không c độ h trợ tối thi u D nghĩa support(A)< minsup tập B c a A tập phổ bi n support(B) ≤ support(A) < minsup Tính chất 3: N u mục B mục phổ bi n D, nghĩa support(B) ≥ minsup tập A c a B tập phổ bi n D support(A) ≥ support(B) > minsup 1.6.4 Một số hướng tiếp c n khai phá lu t kết hợp Luật k t hợp nhị ph n (binary association rule boolean association rule); Luật k t hợp c thuộc tính số thuộc tính hạng mục ( uantitative and categorial association rule); Luật k t hợp ti p cận theo hướng tập thô (mining association rules base on rough set): Tìm ki m luật k t hợp d a lý thuy t tập thô 1.6.5 Phát biểu toán phát lu t kết hợp ét ví dụ đối tượng giao dịch cho vay khách hàng đơn vị Tập c c giao dịch ( đ y coi tập c c mục) I = {khá, tốt, trung bình, xấu} số c c đối tượng cho vay giao dịch (|T| = 4), đ T = {1, 2, 3, 4} – ký hiệu c c giao dịch TID 1.6.6 Phát lu t kết hợp dựa hệ thông tin nhị phân Footer Page of 126 Header Page 10 of 126 Hệ thông tin nhị ph n; Tập b o phổ bi n nhị ph n; C c luật k t hợp phổ bi n nhị ph n hệ số tin cậy; C c vectơ b o nhị; phân phép toán; Tích vectơ b o nhị ph n; Độ h trợ c c vectơ b o nhị ph n 1.6.7 Thu t toán phát t p báo lu t kết hợp nhị phân Thuật to n Apriori-Tid có hai pha 1.6.8 Khai phá lu t kết hợp hệ thông tin mờ 1.7 MẠNG NEURON ỹ thuật mạng Nơ-ron kỹ thuật liên uan đ n việc ph t tri n c c cấu tr c to n học với khả học Mạng Nơ-ron c th đưa ý nghĩa t d liệu ph c tạp nhi u chi u ph t xu hướng c a d liệu mà c c kỹ thuật kh c không th th c Mạng Nơ-ron c khả mô hình ho nh ng d liệu ph c tạp nhi u chi u hi d liệu tăng lên, c c kỹ thuật truy n thống kh c c th không giải uy t được, mạng Nơ-ron c khả giải uy t tốt 1.7.1 Khái niệm mạng Nơ-ron 1.7.2 Mạng Nơ-ron truyền thẳng Cấu tr c c a mạng Nơ-ron gồm c c n t, m i n t đ u c trọng số bố trí c c tầng như: Tầng vào; Tầng ẩn;Tầng D liệu vào Tầng vào C c tầng Tầng Hình 1.3: Cầu tr c mạng ẩn Nơ-ron truy n thẳng Footer Page 10 of 126 t uả 10 Header Page 12 of 126 Mạng nút nhập, nút xuất Mạng hai nút nhập Mạng nhiều nút nhập Lan truyền tiến hi luyện mạng, lan truy n ti n s dụng lặp lặp lại t mẫu đ n mẫu kh c cho đ n c c trọng số đạt gi trị thích hợp hi s dụng, lan truy n ti n s dụng lần cho t ng trường hợp nhập vào 1.8.3 Sự chuẩn bị học liệu Học nh ng đặc tính uan trọng c a mạng N c ch u chỉnh trọng số u trình học Trong u trình học, ta cần bi t m c tích c c th c t so s nh với m c tích c c mong muốn đ tính sai số số s dụng đ u chỉnh trọng số c a mạng Trong mô hình mạng Nơ-ron việc x c định sai số kh Phương ph p giảm gradient thường s dụng c c trường hợp Phương ph p xem E mặt l i x c định c c trọng số ua c c bước sau: (1) Chọn m ngẫu nhiên x0 không gian trọng số; (2) Tính độ dốc c a mặt l i x0; (3) Cập nhật c c trọng số theo hướng dốc c a mặt l i; (4) Xem m m x0 mới; (5) Lặp lặp lại u trình t (2) đ n (4) đ n l c đ c c gi trị c a trọng số ti p cận đ n m thấp mặt l i Trọng số nút xuất Trọng số nút ẩn 1.9 MỘT SỐ THUẬT TOÁN ÁP DỤNG TRONG VIỆC HỌC CỦA MẠNG NƠ-RON 1.9.1 Lý thuyết thống kê học 1.9.2 Cực tiểu rủi ro kinh nghiệm Footer Page 12 of 126 11 Header Page 13 of 126 1.9.3 Generalization Theo c ch nhìn c a việc ọc mạng -ron, gọi l i t ng u t 1.9.5 Mạng Nơ-ron truyền thẳng (Feed-Foward Neural Networks) rc ptr n luật a lta b Tri thức a l p Lan truyền ngư c c Radial Basic Fuction Networks Một ki n tr c mạng Nơ-ron phổ bi n kh c s dụng i u mạng gọi mạng radial basic function (RBF) d Mạng v c tơ h tr ch ph n l p Trường hợp phân tuyến liệu Trường hợp không phân tuyến liệu Ph n thủ thu t (kernel trick Chọn lựa tham số kernel Mạng v c tơ h trợ cho việc học c ưu tiên Vấn đề học c ưu tiên Công thức vấn đề Mô hình tiện ích ẩn Mô hình tuyến tính tiện ích ẩn Mô hình phi tuyến tính tiện ích ẩn Ứng dụng kinh tế 1.1 SỰ KẾT HỢP CỦA CÁC KỸ THUẬT C c kỹ thuật khai ph d liệu đ u c nh ng ưu nhược m c a riêng n , chẳng hạn mạng Nơ-ron hiệu uả việc p dụng khai ph d liệu d đo n cho k t uả tốt mà c c kỹ thuật kh c không th làm Tuy nhiên, việc học c a mạng d liệu tốn thời gian, đ , cần c s k t hợp gi a c c kỹ thuật với k t hợp th hình đ y: Footer Page 13 of 126 12 Header Page 14 of 126 Trường hợp ỹ thuật Tập mẫu ỹ thuật iải ph p Đ p ng yêu cầu Hình 1.6: t hợp c c kỹ thuật đ đưa giải ph p Kết lu n chương Như vậy, nhìn vào c c phương ph p giới thiệu trên, ch ng ta thấy c nhi u c c phương ph p khai ph d liệu M i phương ph p c nh ng đặc m riêng phù hợp với lớp c c to n với c c dạng d liệu mi n d liệu định Tổng k t sơ v khai ph d liệu, nguồn gốc ng dụng c a khai ph d liệu Đ tìm hi u r v kỹ thuật khai ph d liệu, Sau giới thiệu c c nét c a lý thuy t thống kê học, ch ng ta đ tìm hi u v định nghĩa mạng Nơ-ron, c c ki u mạng Nơ-ron Đ tìm hi u c c nguyên lý c a việc học mạng Nơ-ron Chương đ đ cập đ n c c thuật to n học thường dùng Đ là: học c tri th c (Perceptron Learning), học lan truy n ngược (Backpropagation Lear) học với hàm b n kính (Radial Basis Function Learning) Qua đ ta thấy mạng nơ-ron có tính chất sau: Là hệ phi n; Là hệ x lý song song; Là hệ nhi u bi n, c nhi u đầu vào/ra tiện dùng u n đối tượng c nhi u bi n số c khả học làm xấp xỉ c c hàm to n học với độ x c tuỳ ý Footer Page 14 of 126 13 Header Page 15 of 126 CHƯƠNG PHÂN TÍCH BÀI TOÁN 2.1 GIỚI THIỆU Ngân hàng Ngân hàng Ngoại thương Quảng Bình th c vào hoạt động t 20/11/2006 V phát tri n tín dụng Vietcombank Quảng Bình áp dụng nhi u biện ph p đ v a tăng trư ng tín dụng, xong nhi u r i ro ph c tạp thẩm định khách hàng doanh nghiệp, đ đ p ng nhu cầu tín dụng c a khách hàng, góp phần đẩy mạnh phát tri n kinh t - xã hội địa bàn v a đảm bảo nâng cao chất lượng tín dụng hiệu Vietcombank Quảng Bình cần có công cụ h trợ bên cạnh nghiệp vụ s dụng kinh nghiệm cần phải có s trợ giúp c a máy tính T đ kh u cho vay kh u trả nợ vay cho ngân hàng đầy đ đ ng thời hạn (D a số liệu có) Bên cạnh đ chất lượng c n tín dụng giảm s t thi u thông tin, thi u tri th c, đ nhận định c a nhi u người kinh doanh hoạt động c c tổ ch c tín dụng (Nợ xấu, khả to n, đối tượng cho vay không đ ng ) Bên cạnh thời đại bùng nổ thông tin Hàng ngày, c n tín dụng ti p nhận nhi u thông tin t nhi u nguồn kh c (T giao ti p, văn bản, thông tin truy n thông, kho d liệu đơn vị) ho d liệu ch a c c thông tin c a c c doanh nghiệp ngày lớn dần Trong đ , việc khai th c tri th c t nh ng kho d liệu đ chưa uan t m đ ng m c Chính kho d liệu phần lớn s dụng đ x y d ng c c b o c o mang tính thống kê Được xem c ch ti p cận việc tìm ki m tri th c t d liệu T nh ng tập d liệu khổng lồ h n tạp, c th tìm nh ng uy luật chưa bi t đ n Footer Page 15 of 126 14 Header Page 16 of 126 đ giải thích h trợ cho nh ng tượng th c t việc thẩm định vay vốn dụng phương ph p khai ph tri th c t d liệu đ d đo n hoạt động thẩm định vay vốn phương ph p nhằm n ng cao chất lượng thẩm định tín dụng c a ng n hàng 2.2 THỐNG KÊ TÌNH HÌNH VAY VỐN THEO NGHÀNH KINH TẾ TRONG NĂM QUA TẠI NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN NGOẠI THƯƠNG QUẢNG BÌNH D a số liệu tình hình vay vốn c a ng n hàng thương mại cổ phần ngoại thương Việt Nam – chi nh nh Quảng Bình, ba năm ua ta thấy s bi n đổi ph c tạp cho vay c a c c thành phần kinh t c s thay đổi rỏ rệt Đ s gia tăng giảm xuống c a c c thành phần kinh t hoạt động tín dụng c chi u hướng tăng mạnh, tăng trư ng tín dụng thấp hay không tăng 2.3 BÀI TOÁN Ng n hàng TMCP tổ ch c tín dụng, th c hiên c c hoạt động kinh doanh ngày Trong đ c hoạt động cho vay, th c xem xét, ki m tra xem xét c c hồ sơ kh ch hàng th nào, d đo n khả hoàn trả vay hay không v c c khoản tín dụng Đ th c vấn đ này, ng n hàng ti n hành thu thập thông tin v n thuộc tín kh ch hàng (Tuổi t c, nơi cư tr , thu nhập, tài sản…) Đ giải uy t to n ng n hàng x c định đơn vay, kh ch hàng vay, hay ngược lại, kh ch hàng, đơn vay không duyệt vay Như vậy, giải uy t to n này, d liệu thu nhập đầu vào thông tin liên uan đ n c nh n tổ ch c, công ty đ ng đơn vay tín dụng, k t uả to n uy t định cho vay không cho vay; thông tin cần x lý c c thông v c nh n, v s h u tài sản th chấp, phương n kinh doanh… Footer Page 16 of 126 15 Header Page 17 of 126 2.4 PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN 2.4.1 Phương pháp thủ công Ng n hàng c c n tín dụng thẩm định kh ch hàng C n tín dụng sẻ ki m tra v tài sản, vay c th chấp, hay phương n kinh doanh, độ tin cậy vay tín chấp c c thông tin (thông tin c c khoản vay tổ ch c kh c, uan công t c, c ch sống uy tín địa phương nơi cư tr , tuổi t c…) Việc ki m tra thông c n tín dụng d a c c thông tin người vay n vào mẫu c sẵn ng n hàng ph t hành (Bao gồm c c thông tin: Ngh nghiệp, ch c vụ, hệ số lương, năm công t c, tuổi t c, giới tính, s c khỏe…) Trên s c c thông tin cụ th c n tín dụng, c n tín dụng đ xuất biệ ph p cụ th cho m i đơn vay 2.4.2 Phương pháp thủ công tin học Đơn vay sau xét duyệt cho vay, c n tín dụng chuy n toàn hồ sơ đầy đ đ thẩm định, đ n phòng Quản lý nợ C n uản lý nợ ng dụng phần m m tin học p dụng hệ thống Ngân hàng TMCP Ngoại Thương Việt Nam Đối với kh ch hàng đ c thông tin hệ thống tin học bước c n uản lý nợ khai b o m vay, l i suất, thông tin ngày trả, chương trình cho vay c a ng n hàng, bao gồm c c bước: B1: Khai báo mã vay; B2: Khai số hợp đồng; B3: Khai báo thời gian trả gốc l i, ngày tất to n; B4: Sau khai báo xong i m so t viên/ Trư ng/Ph phòng ki m tra duyệt, t nh n viên uản lý nợ đ khai b o chuy n ua; B5: Sau khai báo xong trên/ki m tra trên, nh n viên uả lý nợ ti p tục s dụng chương trình hạch to n ti n cho kh ch hàng vào tài khoản nh n Footer Page 17 of 126 16 Header Page 18 of 126 ti n mặt Quy trình tất to n, trả nợ, trả lại s dung chương trình Như vậy, việc ng dụng công nghệ thông tin g p phần giải uy t lương lớn công việc ng n hàng Tuy nhiên, n chưa mang tính toàn vẹn, gi p vài phận nghiệp vụ ng n hàng tăng hiệu su t làm việc lên m c đ , chưa h trợ cho l nh đạo việc uy t định Một lượng d liệu tăng lên nhi u c c biện ph p đ lộ vài nhược m mà nh ng nhược m đ , kỹ thuật kh c c th giải uy t h t s c nhanh ch ng hiệu uả Đ kỹ thuật mạng Nơ-ron 2.4.3 Phương pháp sử dụng K thu t mạng Nơ-ron Việc s dụng c c biện ph p th công hay c c phương ph p truy n thống tốn nhi u thời gian công s c đ kinh doanh ti n tệ hiệu uả không cao, c th không đạt mong muốn T c c kỹ thuật, công nghệ tin học truy n thông, c c nhà khoa học đ nghiên c u, mô hoạt động cấu tr c Việc mô hoạt động c a hàng tỉ Nơ-ron n o người, hoạt động song song đ tăng hiệu uả c a việc x lý lên gấp hàng triệu lần C vậy, giải uy t hiệu uả to n, đ p ng s ph t tri n ngày lớn mạnh c a hệ thống ng n hàng 2.5 SỰ CẦN THIẾT PHẢI S DỤNG KỸ THUẬT MẠNG NƠ - RON C c phương ph p m y tính truy n thống trước đ y s dụng ch tuần t , phép to n x lý xong đ n phép to n kh c ỹ thuật mạng Nơ-ron mô tính cấu tr c c a hệ thống thần kinh n o người Mạng Nơ-ron c th giải uy t lượng d liệu lớn, x lý song song cho k t uả x c giống k t uả x lý c a n o người Footer Page 18 of 126 17 Header Page 19 of 126 Ng n hàng TMCP Ngoại Thương Việt Nam c trụ s Hà Nội, c khoảng 77 chi nh nh cấp I nước tỉnh, thành phố m i chi nh nh cấp I lại c c c phòng giao dịch địa bàn uận, huyện M i ngày, trung bình chi nh nh nhận 50 đơn vay vốn c a c c c nh n, hộ gia đình, công ty, Một c n tín dụng c công suất giải uy t tối đa đơn/1ngày Như vậy, số lượng c n tín dụng c a hệ thống ng n hàng đ nước là: (2.500 50) / = 31.250 c n R ràng rằng, với m y cồng k nh vậy, chưa k c c phận phòng ban kh c hiệu uả kinh doanh giảm r rệt T đ dẫn đ n s c cạnh tranh kém, kh khăn việc u hành ph t tri n đ y chưa đ cập đ n r i ro xảy c n tín dụng, n u thi u c c kinh nghiệm thẩm định mà chấp nhận đơn vay c ch d dàng x c suất r i ro c a việc cho vay không thu hồi vốn tăng lên Đối mặt với khối lượng công việc ngày lớn, đ ng trước s cạnh tranh khốc liệt gi a c c ng n hàng việc lôi cuốn, gi ch n kh ch hàng chất lượng dịch vụ marketting c a mình, không c ch kh c c c ng n hàng phải t vươn lên, tìm biện ph p đ n ng cao chất lượng dịch vụ Trong đ , s làm hài lòng kh ch hàng đảm bảo y u tố thành công kinh doanh giảm thi u c c r i ro nh ng vấn đ then ch t, uan t m hàng đầu c a c c cấp l nh đạo Việc p dụng c c kỹ thuật công nghệ m y tính nhằm tăng suất làm việc, tăng độ bảo mật thông tin kh ch hàng Do đ , việc p dụng c c ng dụng đ d b o thẩm định vay vốn c a c c Footer Page 19 of 126 18 Header Page 20 of 126 ng n hàng Việt Nam hoàn toàn c tính khả thi Đi u c nhi u mặt lợi: Tăng hiệu suất công , Thống v công nghệ Liên doanh, liên k t đ giảm chi phí đầu tư, tăng khả cạnh tranh c c doanh nghiệp, tập đoàn nước Vì vậy, p dụng kỹ thuật mạng Nơ-ron d b o thẩm định vay vốn ng n hàng ch a đ ng ti m to lớn v hiệu uả ng dụng c a n i p tăng cường khả d b o, h trợ đ c l c cho c c cấp l nh đạo ng n hàng uy t định công t c u hành công việc Trong c c chương ti p theo, ch ng ta xem xét c c kh i niệm, ki n th c chung v khai ph d liệu, c c kỹ thuật p dụng khai ph d liệu tìm hi u cặn kẻ v kỹ thuật mạng Nơ-ron, c c thuật to n học, hàm truy n c a kỹ thuật việc cài đặt ng dụng cụ th minh họa cho phần ki n th c đ nghiên c u Kết lu n chương Việc x c định c c yêu cầu đặt c a to n, ta ti n hành ph n tích đưa c c giải ph p đ giải uy t c c yêu cầu c a to n T đ ch ng ta chọn phương ph p tối ưu d a vào kỹ thuật mạng nơron đ giải uy t to n x c định c c vấn đ cần nghiên c u CHƯƠNG XÂY DỰNG HỆ THỐNG TRỢ GIÚP THẨM ĐỊNH VAY VỐN TẠI NGÂN HÀNG Trên s tìm hi u kỹ thuật mạng Nơ-ron đ trình bày, phần này, ch ng ta trình bày giải ph p đ x y d ng mạng Nơ-ron nhằm giải uy t to n đ đặt ra: Trợ giúp thẩm định đ n vay vốn ngân hàng Footer Page 20 of 126 19 Header Page 21 of 126 D a vào s thuật to n lan truy n ngược (Back propagation algorithm), ch ng cải ti n thêm vài bước nhằm đạt c c yêu cầu đ y: dụng thuật to n Lan truy n ngược c cải ti n, k t hợp thêm c c y u tố: – dụng hàm học logic g(u) – Hàm kernel: m rộng cho c c hàm uy t định phi n, tăng số lớp ẩn lên > iảm thời gian học (huấn luyện) c a mạng Tốc độ hội tụ c a mạng nhanh Các bước tổng quát để cài đ t mạng Nơ-ron: (1) Chọn ki n tr c mạng Với bước chọn ki n tr c mạng uy t định thuật to n học k m theo (2) Chọn số lớp ẩn ố lớp ẩn c th 0, 1, 2, 3, (3) Với m i lớp m i lớp ẩn, chọn thuật to n học u ý: Trong số trường hợp, số lượng lớp ẩn c th bị ràng buộc b i việc chọn thuật to n học Việc chọn số lớp ẩn th đường nét rời Với thuật to n số lớp ẩn lớp (4) Tất c c tham số kh c độc lập c th cung cấp vào l c C c tham số c th phụ thuộc vào việc chọn thuật to n học cho mạng ể xây dựng m t ng d ng c c c sau cần thiết: Trước tiên, ta chọn ki n tr c mạng, sau đ chọn ki u x lý c c phần t mạng i n tr c mạng uy t định c ch th c x lý c c phần t k t nối th t uả c a đầu u chỉnh b i việc chọn trọng số u trình k t nối C c bước chọn l a c th t m lược lại sau: Footer Page 21 of 126 20 Header Page 22 of 126 (1) c định nhiệm vụ cần th c c a mạng Nơ-ron ng dụng; (2) Ph n tích d liệu phù hợp cho ng dụng; (3) Chọn c c đầu vào c a ng dụng; (4) lý d liệu c ch thích hợp trước đưa vào mạng; (5) Chọn c c yêu cầu đầu c a mạng, bao gồm việc bổ sung c c x lý c a c c đầu s dụng ng dụng; ( ) Chọn phương ph p học thuật to n học s dụng cho u trình huấn luyện; ( ) c lập c c tham số theo với mạng chọn, bao gồm số phần t x lý m i lớp, ki u x lý c c phần t c c tham số học; (8) Huấn luyện mạng Nơ-ron tập d liệu huấn luyện; ( ) i m tra việc huấn luyện c a mạng tập i m th ; (10) Ph n tích k t uả việc huấn luyện lại c a mạng cài đặt lại c c tham số, c c bước ti n x lý; (11) Tích hợp việc huấn luyện mạng vào ng dụng 3.1 CHỌN MÔI TRƯỜNG CÔNG CỤ D a vào s lý thuy t c a chương to n chương x y d ng chương trình hệ thống trợ giúp thẩm định vay vốn Ngân hàng TMCP Ngoại Thương Quảng Bình Chương trình x y d ng n n tảng Dot.net s d liệu thu thập Ngân hàng TMCP Ngoại Thương Quảng Bình 3.2 TẠO DỮ LIỆU M U CHO ỨNG DỤNG Tất c c thông tin v kh ch hàng vay lưu tr hệ thống tập tin (Trong CSDL SQL, Fox) hệ chương trình giao dịch c a Ngân hàng TMCP Ngoại Thương Quảng Bình Tuy nhiên tất c c thông tin phải lam loại bỏ thông tin dư th a cho việc kha ph d liệu, d liệu tổ ch c lại khai ph theo usy năm t đ p dụng kỷ thuật mạng nơron x y d ng hệ thống trợ gi p d b o độ r i ro hoàn trả nợ c a đơn vay tín dụng Footer Page 22 of 126 21 Header Page 23 of 126 Nh ng thông tin sau cần thi t cho việc khai ph d liệu: Tuổi, hôn nh n, gia đình, ngh nghiệp, thời gian làm việc, tài khoản, s h u nhà, tình trạng tài khoản D liệu bao gồm khoảng 450 – 500 ghi C c ghi bao gồm c c thuộc tính đầu vào như: Tuổi, giới tính, tình trạng hôn nh n, ngh nghiệp, tài khoản, s h u tài sản, c c lần vay tín dụng trước, khả chi trả thuộc tính đầu ra: Độ r i ro c a đơn vay Trong trường hợp th nghiệm này, ch ng s dụng d liệu c a ng dụng gồm (300 ban ghi): Tập d li u đầu vào (300 ản ghi); Tập d li u uấn luy n ( ản ghi ; Tập d li u iểm thử (55 ản ghi ;Tập d li u ết uả Trong đ VLD: ghi huấn luyện ua mạng; TRN: ghi thuộc tập mẫu huấn luyện; T T: ghi thuộc tập mẫu ki m th C c ghi đ y hoàn toàn c th thay đổi tính chất t TRN sang T T ghi c a d liệu đầu vào C c gi trị đ y c th thay đổi tùy theo to n ố lượng mẫu tập huấn luyện ki m th c th thay đổi l c 3.3 CÀI Đ T THUẬT TOÁN Mục tiêu x c định độ r i ro c a việc cho vay c a đơn vay tín dụng Việc x c định độ r i ro d a c c thông tin cung cấp k m theo với đơn vay Việc cho vay khoản ti n hay toàn số ti n c a đơn vay đ việc ph n lớp c a ng dụng mạng Nơ-ron Đ giải uy t vấn đ này, mạng Nơ-ron huấn luyện đ th c việc ph n lớp c ch x c c c đơn vay au mạng Nơ-ron đ huấn luyện, n c th s dụng đ h trợ việc uy t định cho vay toàn phần hay t chối đơn vay theo k t uả mà mạng Nơ-ron đ huấn luyện Footer Page 23 of 126 22 Header Page 24 of 126 D liệu lấy t s d liệu ch a c c thông tin chọn lọc t mẫu đơn vay vốn Trong ng dụng này, thuật to n Lan truy n ngược (Backpropagation algorithm) s dụng đ cài đặt Qu trình giải uy t to n tối ưu gọi lan truy n ngược, n bao hàm việc tính to n l i c a mạng Nơ-ron lan truy n ngược l i thông ua mạng đ cập nhật lại c c trọng số Qu trình bao gồm c c bước sau: Thuật to n huấn luyện cho mẫu tập d liệu huấn luyện; Thuật to n huấn luyện cho tất c c mẫu tập d liệu huấn luyện; Thuật to n tính trọng số cho lớp ra; Thuật to n tính trọng số cho lớp ẩn; Thuật to n cập nhật trọng số 3.3.1 Xử lý mẫu Thu t toán Lan truyền ngược (Trường hợp cho mẫu tập d liệu huấn luyện) 3.3.2 Cài đ t thu t toán lan truyền ngược xử lý t p huấn luyện 3.3.3 C p nh t trọng số Mô tả thuật to n c a lan truy n ngượcn, sau c c trọng số cập nhật, c c mẫu ti p theo s dụng đ tính to n đầu ra, tính to n c c l i, tính to n cập nhật c a c c trọng số Và sau đ , m i trọng số cập Qu trình huấn luyện k t th c l i (hoặc l i bình phương tổng u t l i tập c c gi trị bản) hạ đ n m c đ thấp, hay đạt c c tham số ti n định c a mạng 3.4 HU N LUYỆN KI M TH VÀ KẾT QUẢ D liệu cho c c tập huấn luyện ki m th đ trình bày au chạy th cho chương trình huấn luyện mạng t uả ta c tập d liệu k t uả Footer Page 24 of 126 23 Header Page 25 of 126 Trong th nghiệm này, c c thông tin v d liệu sau: D liệu vào: 300 ghi; D liệu tập mẫu huấn luyện: 180 ghi; D liệu tập mẫu ki m th : ghi; D liệu huấn luyện: 55 ghi t uả huấn luyện mạng cho đ y trường RuiRoTD Trường c hai khả r i ro CA hay TH P 3.5 ĐÁNH GIÁ VỀ GIẢI PHÁP Như vậy, s thuật to n lan truy n ngược, ch ng đ xuất cải ti n thuật to n c ch s dụng hàm logic hàm kernel nhằm đạt c c mục tiêu sau: iảm thời gian học c a mạng Tăng tốc độ hội tụ c a mạng Hơn n a, việc gia tăng số lượng lớp ẩn tăng độ tin cậy c a k t uả d b o Kết lu n chương Trong chương này, ch ng ta đ tìm hi u c c bước cần thi t đ x y d ng ng dụng mạng Nơ-ron Theo đ , ta phải chọn ki n tr c mạng, thuật to n học phù hợp với yêu cầu c a to n Ti p theo chọn số lớp ẩn c a mạng (đi u phụ thuộc vào việc ta chọn thuật to n học nào) Bên cạnh đ , ta x c định hàm truy n cho mạng c c tham số cần thi t kh c Chương trình bày u trình x y d ng ng dụng ng dụng x y d ng s cải ti n thuật to n lan truy n ngược nhằm r t ng n thời gian học c a mạng, tăng tốc độ hội tụ c a mạng m rộng phạm vi p dụng cho c c hàm phi n Bằng kỹ thuật lập trình Dot.net n n tảng indo s, chạy m y đơn, khai th c s d liệu uan hệ m c độ v a phải hệ uản trị ( l erver, Fpxpro) Mục tiêu c a ng dụng nhằm th nghiệm c c ki n th c đ tìm hi u phần lý thuy t Qua đ xem xét khả m rộng c a ng dụng sau Footer Page 25 of 126 24 Header Page 26 of 126 ng dụng đ th cụ th c c nguyên t c lý thuy t đ tri n khai mạng Nơ-ron cho công việc cụ th , đ tìm c c đơn vay tín dụng c th cho vay không cho vay nhằm h trợ l nh đạo việc uy t định KẾT LUẬN VÀ HƯỚNG PHÁT TRI N Luận văn đ trình bày tổng uan c c nét đặc trưng lĩnh v c khai ph tri th c d liệu bao gồm c c vấn đ cần kh m ph tri th c, c c hướng ti p cận nghiên c u tiêu bi u C c kỹ thuật khai ph tri th c d liệu s dụng luận văn tham khảo t nhi u nguồn tài liệu kh c Tuy nhiên, ch ng c nét tương đồng với nhau, th việc c c kỹ thuật đ u cần tập c c trọng số phù hợp kỹ thuật mạng Nơ-ron Kết nghiên cứu lu n v n cho ph p rút kết lu n sau đây: Việc ng dụng kỹ thuật mạng Nơ-ron khai ph d liệu đ n ng cao hiệu c a mô hình, giảm chi phí trao đổi hệ thống C c thuật to n c a mạng Nơ-ron c th p dụng cho nhi u lĩnh v c kinh t , kỹ thuật, văn ho kh c nhau, tùy theo yêu cầu, m c độ c a m i lĩnh v c mà p dụng c c thuật to n, phương ph p kh c cho phù hợp Như vậy, gi p mang lại hiệu uả công việc cao V mặt cài đặt th nghiệm, luận văn giới thiệu kỹ thuật khai phá tri th c t d liệu theo thuật to n lan truy n ngược đ p dụng vào toán trợ gi p thẩm định vay vốn ng n hàng Hướng phát triển: Nghiên c u s u c c thuật to n khai ph d liệu; y d ng c c thuật to n kh c c a kỹ thuật mạng Nơ-ron đ tăng m c độ phạm vi ng dụng c a chương trình; y d ng c c phương ph p, thuật to n kh c theo hướng mô đun thành phần tích hợp vào ng dụng Footer Page 26 of 126 ... thương mại điện t vấn đ trợ gi p thẩm định vay vốn ng n hàng T lý đ , chọn đ tài: Ứng dụng khai phá tri thức xây dựng hệ thống thẩm định vay vốn Ngân hàng Vietcombank Quảng Bình Đ nghiên c u làm... thích h trợ cho nh ng tượng th c t việc thẩm định vay vốn dụng phương ph p khai ph tri th c t d liệu đ d đo n hoạt động thẩm định vay vốn phương ph p nhằm n ng cao chất lượng thẩm định tín dụng. .. 2.1 GIỚI THIỆU Ngân hàng Ngân hàng Ngoại thương Quảng Bình th c vào hoạt động t 20/11/2006 V phát tri n tín dụng Vietcombank Quảng Bình áp dụng nhi u biện ph p đ v a tăng trư ng tín dụng, xong nhi