Học mạng nơron theo mô hình SOM và ứng dụng trong bài toán quản lý khách hàng vay vốn ngân hàng

 Luận văn tốt nghiệp Học mạng nơron theo mô hình SOM ứng dụng tốn quản lý khách hàng vay vốn Ngân hàng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -1- MỤC LỤC MỞ ĐẦU CHƯƠNG MẠNG NƠRON VÀ ỨNG DỤNG TRONG HỌC MÁY 1.1 Mạng nơron 1.1.1 Đơn vị xử lý 1.1.2 Hàm xử lý 1.1.3 Hình trạng mạng 1.2 Mạng nơron khai phá liệu 10 1.2.1 Khai phá liệu 10 1.2.2 Khai phá liệu tài 13 1.3 Các phương pháp học sử dụng mạng nơron 15 1.3.1 Học có giám sát 16 1.3.2 Học không giám sát 19 1.4 Kết luận chương 20 CHƯƠNG THUẬT TOÁN SOM VỚI BÀI TOÁN PHÂN CỤM 21 2.1 Các phương pháp phân cụm 21 2.2 Dùng mạng nơron phân cụm 22 2.2.1 Học ganh đua 22 2.2.2 Thuật toán SOM 24 2.2.3 Sử dụng SOM khai phá liệu 29 2.2.4 SOM với toán phân cụm 31 2.2.5 Các phương pháp phân cụm khác 35 2.3 Một vài ứng dụng SOM 38 2.3.1 Lựa chọn quỹ đầu tư 39 2.3.2 Đánh giá rủi ro tín dụng nước 40 2.4 Kết luận chương 43 CHƯƠNG ỨNG DỤNG MƠ HÌNH SOM TRONG BÀI TOÁN NGÂN HÀNG 45 3.1 Phát biểu toán 45 3.2 Giới thiệu công cụ SOM Toolbox 46 3.3 Cấu trúc chương trình 47 3.3.1 Xây dựng tập liệu 47 3.3.2 Xử lý liệu trước huấn luyện 52 3.3.3 Khởi tạo SOM huấn luyện 52 3.3.4 Mô (trực quan hoá) 56 3.3.5 Phân tích kết 59 3.4 Một số nhận xét 60 3.4.1 Độ phức tạp tính tốn 60 3.4.2 Kết chạy chương trình 63 3.4.3 So sánh với công cụ khác 71 3.5 Kết luận chương 73 KẾT LUẬN 74 TÀI LIỆU THAM KHẢO 75 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -2- MỞ ĐẦU Sự phát triển mạnh mẽ Cơng nghệ nói chung Cơng nghệ thơng tin nói riêng tạo nên nhiều hệ thống thông tin phục vụ việc tự động hoá hoạt động kinh doanh quản lý xã hội Điều tạo dòng liệu khổng lồ trở thành tượng “bùng nổ thông tin” Nhiều hệ quản trị sở liệu mạnh với công cụ phong phú thuận tiện giúp người khai thác có hiệu nguồn tài nguyên liệu lớn nói Bên cạnh chức khai thác sở liệu có tính tác nghiệp, thành công kinh doanh suất hệ thống thông tin mà người ta mong muốn sở liệu đem lại tri thức từ liệu thân liệu Phát tri thức sở liệu (Knowledge Discovery in Databases - KDD) trình hợp liệu từ nhiều hệ thống liệu khác tạo thành kho liệu, phân tích thơng tin để có nhiều tri thức tiềm ẩn có giá trị Trong đó, khai phá liệu (Data Mining) q trình phát tri thức Sử dụng kỹ thuật khái niệm lĩnh vực nghiên cứu từ trước học máy, nhận dạng, thống kê, hồi quy, xếp loại, phân nhóm, đồ thị, mạng nơron, mạng Bayes, sử dụng để khai phá liệu nhằm phát mẫu mới, tương quan mới, xu hướng có ý nghĩa Luận văn với đề tài “Học mạng nơron theo mơ hình SOM ứng dụng toán quản lý khách hàng vay vốn Ngân hàng” khảo sát lĩnh vực khai phá liệu dùng mạng nơron Luận văn tập trung vào phương pháp học mạng nơron có giám sát khơng có giám sát, dùng thuật tốn SOM để giải tốn phân cụm theo mơ hình mạng nơron Phương pháp nghiên cứu luận văn tìm hiểu báo khoa học xuất vài năm gần khai phá liệu dùng mạng nơron áp dụng công cụ SOM ToolBox để giải tốn phân tích liệu khách hàng vay vốn Ngân hàng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -3- Nội dung luận văn gồm có phần mở đầu, ba chương phần kết luận Chương giới thiệu mạng nơron thành phần mạng nơron (mục 1.1), dùng mạng nơron khai phá liệu nói chung liệu tài nói riêng (mục 1.2) phương pháp học sử dụng mạng nơron gồm học có giám sát (mục 1.3.1) với thuật toán BBP (Boosting-Based Perceptron) học khơng có giám sát (mục 1.3.2) Chương trình bày chi tiết việc áp dụng mạng nơron khai phá liệu mà đặc biệt phân cụm liệu (mục 2.1 2.2), có liên quan đến hai thuật tốn học khơng có giám sát thuật toán học ganh đua (mục 2.2.1) thuật toán SOM (2.2.2) Trên sở luận văn giới thiệu số ứng dụng điển hình SOM lĩnh vực tài (mục 2.3) Chương 3, áp dụng SOM để giải tốn phân tích thơng tin khách hàng vay vốn Ngân hàng, gồm việc tìm hiểu quy trình lập hồ sơ khách hàng vay vốn (mục 3.1), tìm hiểu cơng cụ SOM Toolbox (mục 3.2 3.3) để xây dựng chương trình cho tốn nói Và cuối số kết chạy chương trình nhận xét Luận văn thực hướng dẫn khoa học TS Hà Quang Thụy Tôi xin chân thành cảm ơn sâu sắc tới Thầy dẫn tận tình giúp tơi hồn thành luận văn Tơi xin chân thành cảm ơn thầy giáo bạn mơn Các Hệ thống Thơng tin có góp ý hữu ích q trình thực luận văn Tôi vô cảm ơn giúp đỡ động viên khích lệ người thân gia đình tơi, bạn bè đồng nghiệp Ngân hàng VPBank suốt trình thực luận văn Hà nội, tháng 03 năm 2004 Đỗ Cẩm Vân LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -4- CHƯƠNG MẠNG NƠRON VÀ ỨNG DỤNG TRONG HỌC MÁY 1.1 Mạng nơron Bộ não người chứa khoảng 1011 phần tử (được gọi nơron) liên kết chặt chẽ với Đối với nơron, có khoảng 104 liên kết với nơron khác Một nơron cấu tạo thành phần tế bào hình cây, tế bào thân sợi trục thần kinh (axon) Tế bào hình có nhiệm vụ mang tín hiệu điện tới tế bào thân, tế bào thân thực gộp (sum) phân ngưỡng tín hiệu đến Sợi trục thần kinh làm nhiệm vụ đưa tín hiệu từ tế bào thân tới tế bào hình nơron liên kết Hình Nơron sinh học Điểm tiếp xúc sợi trục thần kinh nơron với tế bào hình nơron khác gọi khớp thần kinh (synapse) Sự xếp nơron mức độ mạnh yếu khớp thần kinh q trình hố học phức tạp định, thiết lập chức mạng nơron Khi người sinh ra, phận nơron có sẵn não, cịn phận khác phát triển thơng qua q trình học, q trình xảy việc thiết lập liên kết loại bỏ liên kết cũ nơron Cấu trúc mạng nơron luôn phát triển thay đổi Các thay đổi có khuynh hướng chủ yếu làm tăng hay giảm độ mạnh mối liên kết thông qua khớp thần kinh LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -5- Một phương pháp điển hình giải tốn học máy thiết lập mạng nơron nhân tạo Mạng nơron nhân tạo chưa tiếp cận phức tạp não Tuy nhiên, mô hoạt động học não mà có hai tương quan mạng nơron nhân tạo nơron sinh học Thứ nhất, cấu trúc tạo thành chúng thiết bị tính tốn đơn giản (với mạng nơron sinh học tế bào thân cịn với mạng nhân tạo đơn giản nhiều) liên kết chặt chẽ với Thứ hai, liên kết nơron định chức hoạt động mạng Mạng nơron, xem mơ hình liên kết (connectionist model), mơ hình phân bố song song (parallel-distributed model) có thành phần phân biệt sau đây: 1) Tập đơn vị xử lý; 2) Trạng thái kích hoạt hay đầu đơn vị xử lý; 3) Liên kết đơn vị, liên kết xác định trọng số wji cho ta biết hiệu ứng mà tín hiệu đơn vị j có đơn vị i; 4) Luật lan truyền định cách tính tín hiệu đơn vị từ đầu vào nó; 5) Hàm kích hoạt, xác định mức độ kích hoạt khác dựa mức độ kích hoạt tại; 6) Đơn vị điều chỉnh (độ lệch - bias) đơn vị; 7) Phương pháp thu thập thông tin (luật học – learning rule); 8) Mơi trường hệ thống hoạt động 1.1.1 Đơn vị xử lý Một đơn vị xử lý, gọi nơron hay nút (node), thực cơng việc đơn giản: nhận tín hiệu vào từ đơn vị khác hay nguồn bên ngồi sử dụng chúng để tính tín hiệu lan truyền sang đơn vị khác LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -6- x0 x1 θj w j0 w j1 w jn xn ∑ aj g (a j ) zj n a j = ∑ w ji xi + θ j i =1 z j = g (a j ) Hình Đơn vị xử lý đó: xi : đầu vào đơn vị thứ j, wji : hệ số nối tới đơn vị thứ j, θj : độ lệch đơn vị thứ j, aj : tổng thứ j đầu vào mạng (net input), tương ứng với đơn vị thứ j, zj : đầu đơn vị thứ j, g(x) : hàm kích hoạt Trong mạng nơron có kiểu đơn vị: 1) Các đơn vị đầu vào (input unit), nhận tín hiệu từ bên ngoài; 2) Các đơn vị đầu (output unit), gửi tín hiệu bên ngồi; 3) Các đơn vị ẩn (hidden unit), đầu vào (input) đầu (output) chúng nằm mạng Như thể hình 2, đơn vị j có nhiều đầu vào: x0, x1, x2, , xn, có đầu zj Mỗi đầu vào đơn vị liệu từ bên mạng, đầu đơn vị khác, đầu đơn vị LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -7- 1.1.2 Hàm xử lý 1.1.2.1 Hàm kết hợp Mỗi đơn vị mạng nơron kết hợp tín hiệu đưa vào thơng qua liên kết với đơn vị khác, sinh giá trị gọi net input Hàm thực nhiệm vụ gọi hàm kết hợp, định nghĩa luật lan truyền cụ thể Trong phần lớn mạng nơron, giả sử đơn vị cung cấp đầu vào cho đơn vị mà có liên kết Tổng đầu vào đơn vị j đơn giản tổng theo trọng số đầu riêng lẻ từ đơn vị kết nối tới cộng thêm ngưỡng hay độ lệch θj: n a j = ∑ wij xi + θ j i =1 Trường hợp wji >0, nơron coi trạng thái kích thích Ngược lại wji