Nghiên cứu mạng Nơron và ứng dụng trong thẩm định vay vốn ngân hàng

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG  TRẦN ĐỨC CƢỜNG NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG TRONG THẨM ĐỊNH VAY VỐN NGÂN HÀNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2012 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -ii- LỜI CẢM ƠN Luận văn đƣợc thực hiện tại trƣờng Đại học Công nghệ Thông tin và Truyền Thông – Đại học Thái Nguyên dƣới sự hƣớng dẫn của PGS. TS Ngô Quốc Tạo. Trƣớc hết em xin bày tỏ lòng biết ơn sâu sắc tới thầy Ngô Quốc Tạo, ngƣời đã có những định hƣớng, những kiến thức quý báu, những lời động viên và chỉ bảo giúp em vƣợt qua những khó khăn để tôi hoàn thành tốt luận văn của mình. Em xin đƣợc bày tỏ lòng cảm ơn và sự kính trọng của mình đến các thầy cô giáo Trƣờng Đại học Công nghệ Thông tin và Truyền Thông, Đại học Thái Nguyên, đặc biệt là các thầy cô giáo đã giảng dạy và giúp đỡ em trong suốt quá trình học tập tại trƣờng. Em cũng đặc biệt cảm ơn tới bạn bè lớp Cao học K9, các đồng nghiệp đã luôn động viên, giúp đỡ em trong quá trình học tập và công tác, để em hoàn thành nhiệm vụ đƣợc giao. Bên cạnh đây em cũng xin cảm ơn em Hoàng Thị Thu Hiền và chị Trần Thị Vân Thanh – cán bộ thẩm định tại ngân hàng MaritimeBank đã đã giúp em hoàn thành luận văn này. Nhân dịp này, em cũng xin gửi lời cảm ơn đến gia đình, ngƣời thân, đã tạo điều kiện giúp đỡ, động viên, trợ giúp em về tinh thần trong suốt quá trình học tập. Thái Nguyên, tháng 9 năm 2012 Tác giả Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -iii- Trần Đức Cƣờng LỜI CAM ĐOAN Em xin cam đoan luận văn “Nghiên cứu mạng nơron và ứng dụng trong thẩm định vay vốn Ngân hàng” này là công trình nghiên cứu của riêng em. Các số liệu sử dụng trong luận văn là trung thực. Các kết quả nghiên cứu đƣợc trình bày trong luận văn chƣa từng đƣợc công bố tại bất kỳ công trình nghiên cứu nào khác. Trần Đức Cƣờng Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -iv- MỤC LỤC LỜI CẢM ƠN 1 LỜI CAM ĐOAN iii MỤC LỤC iv DANH MỤC CÁC HÌNH VẼ vii DANH MỤC CÁC BẢNG viii DANH MỤC CÁC BẢNG viii DANH MỤC CÁC TỪ VIẾT TẮT ix MỞ ĐẦU 1 1. Lý do chọn đề tài 1 2. Đối tƣợng và phạm vi nghiên cứu 2 3. Hƣớng nghiên cứu của đề tài 2 4. Phƣơng pháp nghiên cứu 2 5. Ý nghĩa khoa học của đề tài 2 6. Cấu trúc của luận văn 3 CHƢƠNG I:TỔNG QUAN VỀ MẠNG NƠRON 4 1.1. Sơ lƣợc về mạng nơron 4 1.1.1. Lịch sử phát triển 4 1.1.2. Ứng dụng 5 1.1.3. Căn nguyên sinh học 6 1.2. Đơn vị xử lý 8 1.3. Hàm xử lý 9 1.3.1. Hàm kết hợp 9 1.3.2. Hàm kích hoạt (hàm chuyển) 10 1.4. Các hình trạng của mạng 13 1.4.1. Mạng truyền thẳng 13 1.4.2. Mạng hồi quy 13 1.5. Mạng học 14 1.5.1. Học có thầy 14 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -v- 1.5.2. Học không có thầy 15 1.6. Hàm mục tiêu 15 1.7. Mạng nơron truyền thẳng và giải thuật lan truyền ngƣợc 16 1.7.1. Kiến trúc cơ bản 16 1.7.1.1. Mạng truyền thẳng 16 1.7.1.2. Mạng hồi quy 18 1.7.2. Khả năng thể hiện 18 1.7.3. Vấn đề thiết kế cấu trúc mạng 19 1.7.3.1. Số lớp ẩn 19 1.7.3.2. Số đơn vị trong lớp ẩn 20 1.7.4. Thuật toán lan truyền ngƣợc (Back-Propagation) 22 1.7.4.1. Mô tả thuật toán 23 1.7.4.2. Sử dụng thuật toán lan truyền ngƣợc 28 1.7.4.3. Một số biến thể của giải thuật 32 1.7.4.4. Nhận xét 34 CHƢƠNG 2: ỨNG DỤNG MẠNG NƠRON TRONG DỰ BÁO DỮ LIỆU VÀ BÀI TOÁN THẨM ĐỊNH VAY VỐN NGÂN HÀNG 37 2.1. Lý thuyết thẩm định vay vốn ngân hàng 37 2.1.1. Một số khái niệm cơ bản 37 2.1.2. Nguyên tắc vay vốn 37 2.1.3. Điều kiện vay vốn 37 2.1.4. Tầm quan trọng của thẩm định tín dụng 38 2.1.5. Quy trình thẩm định tín dụng 39 2.1.6. Nội dung thẩm định vay vốn tại ngân hàng 39 2.1.6.1. Thẩm định khách hàng vay vốn 40 2.1.6.2. Thẩm định dự án vay vốn 46 2.1.6.3. Thẩm định các biện pháp bảo đảm tiền vay 49 2.2. Sơ lƣợc về lĩnh vực dự báo dữ liệu 51 2.3. Xây dựng chƣơng trình dự báo dữ liệu 52 2.3.1. Lựa chọn các biến 53 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -vi- 2.3.2. Thu thập, phân tích và xử lý dữ liệu 53 2.3.2.1. Kiểu của các biến 54 2.3.2.2. Thu thập dữ liệu 55 2.3.2.3. Phân tích dữ liệu 56 2.3.2.4. Xử lý dữ liệu 57 2.3.3. Phân chia tập dữ liệu 60 2.3.4. Xác định cấu trúc mạng 60 2.3.5. Xác định các tiêu chuẩn đánh giá 61 2.3.6. Huấn luyện mạng 61 2.3.7. Thực thi 62 2.4. Sự cần thiết phải sử dụng mạng nơron 63 CHƢƠNG 3: XÂY DỰNG CHƢƠNG TRÌNH HỖ TRỢ QUYẾT ĐỊNH CHO VAY VỐN TẠI NGÂN HÀNG 65 3.1. Lựa chọn các biến 66 3.2. Thu thập và tiền xử lý dữ liệu 66 3.2.1. Thu thập dữ liệu 66 3.2.2. Tiền xử lý dữ liệu 67 3.3. Phân chia tập dữ liệu 68 3.4. Xác định cấu trúc mạng 68 3.5. Xác định tiêu chuẩn đánh giá và huấn luyện mạng 69 3.5.1. Xác định tiêu chuẩn đánh giá 69 3.5.2. Huấn luyện mạng 69 3.6. Thực thi 71 3.7. Xây dụng chƣơng trình 71 3.8. Một số nhận xét 75 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 78 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -vii- DANH MỤC CÁC HÌNH VẼ Hình 1.1. Đơn vị xử lý (Processing unit) 8 Hình 1.2. Hàm đồng nhất (Identity function) 10 Hình 1.3. Hàm bƣớc nhị phân (Binary step function) 11 Hình 1.4. Hàm Sigmoid 11 Hình 1.5. Hàm sigmoid lƣỡng cực 12 Hình 1.6. Mạng nơron truyền thẳng nhiều lớp 13 (Feed-forward neural network) 13 Hình 1.7. Mạng nơron hồi quy (Recurrent neural network) 14 Hình 1.8. Mạng nơron truyền thẳng nhiều lớp (MLP) 16 Hình 1.9. Một ví dụ của mạng hồi quy 18 Hình 1.10. Xấp xỉ hàm với –2 ≤ x ≤ 2 30 Hình 1.11. Xấp xỉ hàm với –2 ≤ x ≤ 2 30 Hình 2.1. Quy trình thẩm định vay vốn 39 Hình 2.2. Nội dung thẩm định vay vốn 40 Bảng 2.1. Thẩm định vay ngắn hạn 50 Hình 2.3. Xử lý dữ liệu 54 Bảng 3.1. Các dữ liệu đầu vào dạng thô 66 Bảng 3.2. Các dữ liệu đầu vào sau khi tiền xử lý 68 Hình 3.1. Mô hình cấu trúc mạng 69 Hình 3.2 Giao diện chính của chƣơng trình 72 Hình 3.3. Giao diện tạo mạng 72 Hình 3.4. Giao diện huấn luyện mạng 73 Hình 3.5. Giao diện bảng giới thiệu khách hàng 74 Hình 3.6. Giao diện bảng cân đối tài sản 74 Hình 3.7. Giao diện bảng báo cáo kết quả kinh doanh 75 Hình 3.8. Giao diện điều kiện vay vốn của khách hàng 75 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -viii- DANH MỤC CÁC BẢNG Bảng 2.1. Thẩm định vay ngắn hạn 50 Bảng 3.1. Các dữ liệu đầu vào dạng thô 66 Bảng 3.2. Các dữ liệu đầu vào sau khi tiền xử lý 68 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -ix- DANH MỤC CÁC TỪ VIẾT TẮT VLSI: Very Large Scale Integrated-circuit SXKD: Sản xuất kinh doanh HĐKD: Hợp đồng kinh doanh MLP: Multilayer Perceptron LMS: Least Means Square Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -1- MỞ ĐẦU 1. Lý do chọn đề tài Ngân hàng là một trung gian tài chính, một kênh dẫn vốn quan trọng cho toàn bộ nền kinh tế. Hoạt động cho vay là một trong những hoạt động quan trọng nhất không những đối với Ngân hàng, mà còn đối với các doanh nghiệp, tổ chức, cá nhân, hộ gia đình. Các doanh nghiệp cần vốn đầu tƣ để mở rộng sản xuất kinh doanh, các hộ gia đình, các tổ chức cần vốn để phục vụ các nhu cầu cần thiết cho công việc, cuộc sống. Cho vay vốn là một trong những hoạt động mang tính chiến lƣợc, mang lại hiệu quả kinh tế quan trọng nhất đối với các Ngân hàng. Đồng thời, đây cũng là một hoạt động mang tính rủi ro cao. Công tác thẩm định các dự án vay vốn là một trong những hoạt động quyết định công tác cho vay vốn đối với các doanh nghiệp nhằm giảm thiểu các rủi ro một cách tối đa. Chất lƣợng công tác thẩm định dự án vay vốn quyết định công tác cho vay vốn đối với các doanh nghiệp trong các Ngân hàng thƣơng mại. Việc nâng cao chất lƣợng công tác thẩm định dự án vay vốn giúp Ngân hàng tăng cƣờng hiệu quả hoạt động kinh doanh và hội nhập với nền tài chính trong khu vực là vô cùng quan trọng. Hiện nay, với sự phát triển nhƣ vũ bão của ngành Công nghệ thông tin, việc ứng dụng các thành tựu đó vào các hoạt động trong Ngân hàng ngày càng phát triển mạnh mẽ và thu hút đƣợc sự quan tâm của các nhà kinh tế, các nhà phát triển phần mềm, …Các ứng dụng của mạng nơron, đặc biệt là mạng nơron truyền thẳng đa lớp đƣợc chứng minh là khá mạnh và hiệu quả trong các bài toán dự báo, phân tích dữ liệu. Qua quá trình tìm hiểu công tác thẩm định dự án vay đối với các doanh nghiệp tại Ngân hàng Hàng Hải Việt Nam MaritimeBank, em đã quyết định chọn đề tài “Nghiên cứu mạng nơron và ứng dụng trong thẩm định vay vốn Ngân hàng”. Luận văn này với mục đích làm sáng tỏ một số khía cạnh về mạng nơron truyền thẳng đa lớp, thuật toán lan [...]... truyền ngƣợc và ứng dụng chúng trong việc giải quyết bài toán quyết định cho vay vốn đối với doanh nghiệp tại Ngân hàng thƣơng mại 2 Đối tƣợng và phạm vi nghiên cứu  Cách thức thẩm định cho vay vốn của Ngân hàng thƣơng mại cổ phần Hàng Hải Việt Nam Maritime Bank  Mạng nơron là một lĩnh vực rộng lớn và phát triển rất mạnh mẽ, do đó phạm vi nghiên cứu của luận văn tập trung vào việc tìm hiểu mạng nơron truyền... tin, các ứng dụng của mạng nơron đƣợc sử dụng rất rộng rãi, đặc biệt là mạng nơron truyền thẳng đa lớp đƣợc chứng minh là khá mạnh và hiệu quả trong các bài toán dự báo, phân tích dữ liệu Chính vì thế mà việc nghiên vấn đề này giúp cho Ngân hàng có thể hỗ trợ các cán bộ tín dụng thẩm định đƣợc rủi ro trong bài toán cho khách hàng vay vốn, thẩm định đƣợc khả năng có thể trả nợ của các khách hàng nhằm... việc tìm hiểu mạng nơron truyền thẳng và thuật toán lan truyền ngƣợc 3 Hƣớng nghiên cứu của đề tài  Tìm hiểu mô hình của bài toán thẩm định cho vay vốn tại Ngân hàng  Tìm hiểu và nghiên cứu mạng nơron truyền thẳng và thuật toán lan truyền ngƣợc  Tìm hiểu về ngôn ngữ lập trình VB.net ứng dụng mạng nơron truyền thẳng trong dự báo dữ liệu 4 Phƣơng pháp nghiên cứu  Phƣơng pháp liệt kê, đối sánh  Phƣơng... Ngân Hàng Hàng Hải Việt Nam (MaritimeBank) nhƣ cho vay, tín dụng ngân hàng, các loại hình vay vốn Tìm hiều về bài toán dự báo dữ liệu, cách thức và các bƣớc xây dụng một bài toán dự báo dữ liệu và ứng dụng mạng nơron truyền thẳng đa lớp, giải thuật lan truyền ngƣợc vào bài toán Từ đó đƣa ra đƣợc tầm quan trọng và sự cần thiết của việc sử dụng mạng nơron Chƣơng 3: Đƣa ra các bƣớc xây dụng bài toán thẩm. .. về vốn cho ngân hàng Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -3- 6 Cấu trúc của luận văn Luận văn bao gồm 3 chƣơng, với những nội dung sau: Chƣơng 1: Tìm hiểu và giới thiệu tổng quan về mạng nơron, mô hình mạng nơron truyền thẳng đa lớp, thuật toán lan truyền ngƣợc Chƣơng 2: Giới thiệu sơ lƣợc các khái niệm và các khâu trong quy trình thẩm định cho vay vốn tại Ngân. .. các bƣớc xây dụng bài toán thẩm định cho vay vốn ngân hàng áp dụng kỹ thuật mạng nơron truyền thẳng đa lớp và giải thuật lan truyền ngƣợc Giới thiệu chƣơng trình minh họa bài toán Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -4- CHƢƠNG I:TỔNG QUAN VỀ MẠNG NƠRON 1.1 Sơ lƣợc về mạng nơron 1.1.1 Lịch sử phát triển Sự phát triển của mạng nơron trải qua cả quá trình đƣa... huấn luyện cần đƣợc áp dụng để điều chỉnh các tham số của mạng Trong hình 1.8, số nơron ở lớp thứ nhất và lớp thứ hai tƣơng ứng là S1 và S2 Ma trận trọng số đối với các lớp tƣơng ứng là W1 và W2 Có thể thấy sự liên kết giữa các lớp: ở lớp thứ 2, vector đầu vào chính là net output của lớp thứ nhất Tƣơng tự nhƣ vậy, nếu thêm vào các lớp khác nữa vào trong cấu trúc này thì lớp mạng cuối cùng thƣờng là... mạng đạt đến một trạng thái ổn định và các giá trị kích hoạt không thay đổi nữa Trong các ứng dụng khác mà cách chạy động tạo thành đầu ra của mạng thì những sự thay đổi các giá trị kích hoạt là đáng quan tâm Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -14- Hình 1.7 Mạng nơron hồi quy (Recurrent neural network) 1.5 Mạng học Chức năng của một mạng nơron đƣợc quyết định. .. biệt Ông cũng nêu ra một phƣơng pháp học của các nơron nhân tạo - Ứng dụng thực nghiệm đầu tiên của các nơron nhân tạo có đƣợc vào cuối những năm 50 cùng với phát minh của mạng nhận thức (perceptron network) và luật học tƣơng ứng bởi Frank Rosenblatt Mạng này có khả năng nhận dạng các mẫu Điều này đã mở ra rất nhiều hy vọng cho việc nghiên cứu mạng nơron Tuy nhiên nó có hạn chế là chỉ có thể giải quyết... http://www.lrc-tnu.edu.vn -9- aj: đầu vào mạng (net-input) zj: đầu ra của nơron g(x): hàm chuyển (hàm kích hoạt) Trong một mạng nơron có ba kiểu đơn vị: - Các đơn vị đầu vào (Input units), nhận tín hiệu từ bên ngoài - Các đơn vị đầu ra (Output units), gửi dữ liệu ra bên ngoài - Các đơn vị ẩn (Hidden units), tín hiệu vào (input) và ra (output) của nó nằm trong mạng Mỗi đơn vị j có thể có một hoặc nhiều đầu vào: x 0, x1, x2, . văn Nghiên cứu mạng nơron và ứng dụng trong thẩm định vay vốn Ngân hàng này là công trình nghiên cứu của riêng em. Các số liệu sử dụng trong luận văn là trung thực. Các kết quả nghiên cứu. ỨNG DỤNG MẠNG NƠRON TRONG DỰ BÁO DỮ LIỆU VÀ BÀI TOÁN THẨM ĐỊNH VAY VỐN NGÂN HÀNG 37 2.1. Lý thuyết thẩm định vay vốn ngân hàng 37 2.1.1. Một số khái niệm cơ bản 37 2.1.2. Nguyên tắc vay vốn. kiện vay vốn 37 2.1.4. Tầm quan trọng của thẩm định tín dụng 38 2.1.5. Quy trình thẩm định tín dụng 39 2.1.6. Nội dung thẩm định vay vốn tại ngân hàng 39 2.1.6.1. Thẩm định khách hàng vay vốn