Luận văn thạc sĩ VNU UET học mạng nơron theo mô hình SOM và ứng dụng trong bài toán quản lý khách hàng vay vốn ngân hàng

-1- MỤC LỤC MỞ ĐẦU CHƢƠNG MẠNG NƠRON VÀ ỨNG DỤNG TRONG HỌC MÁY 1.1 Mạng nơron 1.1.1 Đơn vị xử lý 1.1.2 Hàm xử lý 1.1.3 Hình trạng mạng 1.2 Mạng nơron khai phá liệu 10 1.2.1 Khai phá liệu 10 1.2.2 Khai phá liệu tài 13 1.3 Các phƣơng pháp học sử dụng mạng nơron 15 1.3.1 Học có giám sát 16 1.3.2 Học không giám sát 19 1.4 Kết luận chƣơng 20 CHƢƠNG THUẬT TOÁN SOM VỚI BÀI TOÁN PHÂN CỤM 21 2.1 Các phƣơng pháp phân cụm 21 2.2 Dùng mạng nơron phân cụm 22 2.2.1 Học ganh đua 22 2.2.2 Thuật toán SOM 24 2.2.3 Sử dụng SOM khai phá liệu 29 2.2.4 SOM với toán phân cụm 31 2.2.5 Các phương pháp phân cụm khác 35 2.3 Một vài ứng dụng SOM 38 2.3.1 Lựa chọn quỹ đầu tư 39 2.3.2 Đánh giá rủi ro tín dụng nước 40 2.4 Kết luận chƣơng 43 CHƢƠNG ỨNG DỤNG MƠ HÌNH SOM TRONG BÀI TOÁN QUẢN LÝ KHÁCH HÀNG VAY VỐN NGÂN HÀNG 45 3.1 Phát biểu toán 45 3.2 Giới thiệu công cụ SOM Toolbox 46 3.3 Cấu trúc chƣơng trình 47 3.3.1 Xây dựng tập liệu 47 3.3.2 Xử lý liệu trước huấn luyện 52 3.3.3 Khởi tạo SOM huấn luyện 52 3.3.4 Mơ (trực quan hố) 56 3.3.5 Phân tích kết 59 3.4 Một số nhận xét 60 3.4.1 Độ phức tạp tính toán 60 3.4.2 Kết chạy chương trình 63 3.4.3 So sánh với công cụ khác 72 3.5 Kết luận chƣơng 74 KẾT LUẬN 75 TÀI LIỆU THAM KHẢO 76 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -2- MỞ ĐẦU Sự phát triển mạnh mẽ Cơng nghệ nói chung Cơng nghệ thơng tin nói riêng tạo nên nhiều hệ thống thơng tin phục vụ việc tự động hoá hoạt động kinh doanh nhƣ quản lý xã hội Điều tạo dòng liệu khổng lồ trở thành tƣợng “bùng nổ thông tin” Nhiều hệ quản trị sở liệu mạnh với công cụ phong phú thuận tiện giúp ngƣời khai thác có hiệu nguồn tài nguyên liệu lớn nói Bên cạnh chức khai thác sở liệu có tính tác nghiệp, thành công kinh doanh suất hệ thống thông tin mà ngƣời ta cịn mong muốn sở liệu đem lại tri thức từ liệu thân liệu Phát tri thức sở liệu (Knowledge Discovery in Databases - KDD) trình hợp liệu từ nhiều hệ thống liệu khác tạo thành kho liệu, phân tích thơng tin để có đƣợc nhiều tri thức tiềm ẩn có giá trị Trong đó, khai phá liệu (Data Mining) q trình phát tri thức Sử dụng kỹ thuật khái niệm lĩnh vực đƣợc nghiên cứu từ trƣớc nhƣ học máy, nhận dạng, thống kê, hồi quy, xếp loại, phân nhóm, đồ thị, mạng nơron, mạng Bayes, đƣợc sử dụng để khai phá liệu nhằm phát mẫu mới, tƣơng quan mới, xu hƣớng có ý nghĩa Luận văn với đề tài “Học mạng nơron theo mơ hình SOM ứng dụng toán quản lý khách hàng vay vốn Ngân hàng” khảo sát lĩnh vực khai phá liệu dùng mạng nơron Luận văn tập trung vào phƣơng pháp học mạng nơron có giám sát khơng có giám sát, dùng thuật toán SOM để giải toán phân cụm theo mơ hình mạng nơron Phƣơng pháp nghiên cứu luận văn tìm hiểu báo khoa học đƣợc xuất vài năm gần khai phá liệu dùng mạng nơron áp dụng công cụ SOM ToolBox để giải tốn phân tích liệu khách hàng vay vốn Ngân hàng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -3- Nội dung luận văn gồm có phần mở đầu, ba chƣơng phần kết luận Chƣơng giới thiệu mạng nơron thành phần mạng nơron (mục 1.1), dùng mạng nơron khai phá liệu nói chung liệu tài nói riêng (mục 1.2) phƣơng pháp học sử dụng mạng nơron gồm học có giám sát (mục 1.3.1) với thuật tốn BBP (Boosting-Based Perceptron) học khơng có giám sát (mục 1.3.2) Chƣơng trình bày chi tiết việc áp dụng mạng nơron khai phá liệu mà đặc biệt phân cụm liệu (mục 2.1 2.2), có liên quan đến hai thuật tốn học khơng có giám sát thuật tốn học ganh đua (mục 2.2.1) thuật toán SOM (2.2.2) Trên sở luận văn giới thiệu số ứng dụng điển hình SOM lĩnh vực tài (mục 2.3) Chƣơng áp dụng SOM để giải tốn phân tích thơng tin khách hàng vay vốn Ngân hàng, gồm việc tìm hiểu quy trình lập hồ sơ khách hàng vay vốn (mục 3.1), tìm hiểu cơng cụ SOM Toolbox (mục 3.2 3.3) để xây dựng chƣơng trình cho tốn nói Và cuối số kết chạy chƣơng trình nhận xét Luận văn đƣợc thực dƣới hƣớng dẫn khoa học TS Hà Quang Thụy Tôi xin chân thành cảm ơn sâu sắc tới Thầy dẫn tận tình giúp tơi hồn thành luận văn Tôi xin chân thành cảm ơn thầy giáo bạn môn Các Hệ thống Thơng tin có góp ý hữu ích q trình thực luận văn Tơi vô cảm ơn giúp đỡ động viên khích lệ ngƣời thân gia đình tơi, bạn bè đồng nghiệp Ngân hàng VPBank suốt trình thực luận văn Hà nội, tháng 03 năm 2004 Đỗ Cẩm Vân LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -4- CHƢƠNG MẠNG NƠRON VÀ ỨNG DỤNG TRONG HỌC MÁY 1.1 Mạng nơron Bộ não ngƣời chứa khoảng 1011 phần tử (đƣợc gọi nơron) liên kết chặt chẽ với Đối với nơron, có khoảng 104 liên kết với nơron khác Một nơron đƣợc cấu tạo thành phần nhƣ tế bào hình cây, tế bào thân sợi trục thần kinh (axon) Tế bào hình có nhiệm vụ mang tín hiệu điện tới tế bào thân, tế bào thân thực gộp (sum) phân ngƣỡng tín hiệu đến Sợi trục thần kinh làm nhiệm vụ đƣa tín hiệu từ tế bào thân tới tế bào hình nơron liên kết x0 x1 xn j w j0 w j1 w jn  aj n a j   w ji xi   j i 1 g (a j ) zj z j  g (a j ) Hình Nơron sinh học Điểm tiếp xúc sợi trục thần kinh nơron với tế bào hình nơron khác đƣợc gọi khớp thần kinh (synapse) Sự xếp nơron mức độ mạnh yếu khớp thần kinh q trình hố học phức tạp định, thiết lập chức mạng nơron Khi ngƣời sinh ra, phận nơron có sẵn não, cịn phận khác đƣợc phát triển thơng qua q trình học, q trình xảy việc thiết lập liên kết loại bỏ liên kết cũ nơron Cấu trúc mạng nơron luôn phát triển thay đổi Các thay đổi có khuynh hƣớng chủ yếu làm tăng hay giảm độ mạnh mối liên kết thông qua khớp thần kinh LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -5- Một phƣơng pháp điển hình giải tốn học máy thiết lập mạng nơron nhân tạo Mạng nơron nhân tạo chƣa tiếp cận đƣợc phức tạp não Tuy nhiên, mô hoạt động học não mà có hai tƣơng quan mạng nơron nhân tạo nơron sinh học Thứ nhất, cấu trúc tạo thành chúng thiết bị tính tốn đơn giản (với mạng nơron sinh học tế bào thân cịn với mạng nhân tạo đơn giản nhiều) đƣợc liên kết chặt chẽ với Thứ hai, liên kết nơron định chức hoạt động mạng Mạng nơron, đƣợc xem nhƣ mơ hình liên kết (connectionist model), mơ hình phân bố song song (parallel-distributed model) có thành phần phân biệt sau đây: 1) Tập đơn vị xử lý; 2) Trạng thái kích hoạt hay đầu đơn vị xử lý; 3) Liên kết đơn vị, liên kết đƣợc xác định trọng số wji cho ta biết hiệu ứng mà tín hiệu đơn vị j có đơn vị i; 4) Luật lan truyền định cách tính tín hiệu đơn vị từ đầu vào nó; 5) Hàm kích hoạt, xác định mức độ kích hoạt khác dựa mức độ kích hoạt tại; 6) Đơn vị điều chỉnh (độ lệch - bias) đơn vị; 7) Phƣơng pháp thu thập thông tin (luật học – learning rule); 8) Môi trƣờng hệ thống hoạt động 1.1.1 Đơn vị xử lý Một đơn vị xử lý, đƣợc gọi nơron hay nút (node), thực công việc đơn giản: nhận tín hiệu vào từ đơn vị khác hay nguồn bên sử dụng chúng để tính tín hiệu đƣợc lan truyền sang đơn vị khác LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -6- x0 x1 j w j0 j w j1 w jn xn  aj n a j   w ji xi   j i 1 g (a j ) zj z j  g (a j ) Hình Đơn vị xử lý đó: xi : đầu vào đơn vị thứ j; wji : hệ số nối tới đơn vị thứ j; j : độ lệch đơn vị thứ j; aj : tổng thứ j đầu vào mạng (net input), tƣơng ứng với đơn vị thứ j; zj : đầu đơn vị thứ j; g(x) : hàm kích hoạt Trong mạng nơron có kiểu đơn vị: 1) Các đơn vị đầu vào (input unit), nhận tín hiệu từ bên ngồi; 2) Các đơn vị đầu (output unit), gửi tín hiệu bên ngoài; 3) Các đơn vị ẩn (hidden unit), đầu vào đầu chúng nằm mạng Nhƣ đƣợc thể hình 2, đơn vị j có nhiều đầu vào: x0, x1, x2, , xn, nhƣng có đầu zj Mỗi đầu vào đơn vị liệu từ bên mạng, đầu đơn vị khác, đầu đơn vị LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -7- 1.1.2 Hàm xử lý 1.1.2.1 Hàm kết hợp Mỗi đơn vị mạng nơron kết hợp tín hiệu đƣa vào thơng qua liên kết với đơn vị khác, sinh giá trị gọi net input Hàm thực nhiệm vụ gọi hàm kết hợp, đƣợc định nghĩa luật lan truyền cụ thể Trong phần lớn mạng nơron, giả sử đơn vị cung cấp đầu vào cho đơn vị mà có liên kết Tổng đầu vào đơn vị j đơn giản tổng theo trọng số đầu riêng lẻ từ đơn vị kết nối tới cộng thêm ngƣỡng hay độ lệch j: n a j   w ji xi   j i 1 Trƣờng hợp wji >0, nơron đƣợc coi trạng thái kích thích Ngƣợc lại wji