Nghiên cứu mạng nơron và ứng dụng trong thẩm định vay vốn ngân hàng

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG  TRẦN ĐỨC CƢỜNG NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG TRONG THẨM ĐỊNH VAY VỐN NGÂN HÀNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2012 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -ii- LỜI CẢM ƠN Luận văn đƣợc thực trƣờng Đại học Công nghệ Thông tin Truyền Thông – Đại học Thái Nguyên dƣới hƣớng dẫn PGS TS Ngô Quốc Tạo Trƣớc hết em xin bày tỏ lòng biết ơn sâu sắc tới thầy Ngơ Quốc Tạo, ngƣời có định hƣớng, kiến thức quý báu, lời động viên bảo giúp em vƣợt qua khó khăn để tơi hồn thành tốt luận văn Em xin đƣợc bày tỏ lịng cảm ơn kính trọng đến thầy giáo Trƣờng Đại học Công nghệ Thông tin Truyền Thông, Đại học Thái Nguyên, đặc biệt thầy cô giáo giảng dạy giúp đỡ em suốt trình học tập trƣờng Em đặc biệt cảm ơn tới bạn bè lớp Cao học K9, đồng nghiệp động viên, giúp đỡ em q trình học tập cơng tác, để em hồn thành nhiệm vụ đƣợc giao Bên cạnh em xin cảm ơn em Hoàng Thị Thu Hiền chị Trần Thị Vân Thanh – cán thẩm định ngân hàng MaritimeBank đã giúp em hoàn thành luận văn Nhân dịp này, em xin gửi lời cảm ơn đến gia đình, ngƣời thân, tạo điều kiện giúp đỡ, động viên, trợ giúp em tinh thần suốt trình học tập Thái Nguyên, tháng năm 2012 Tác giả Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -iii- Trần Đức Cƣờng LỜI CAM ĐOAN Em xin cam đoan luận văn “Nghiên cứu mạng nơron ứng dụng thẩm định vay vốn Ngân hàng” cơng trình nghiên cứu riêng em Các số liệu sử dụng luận văn trung thực Các kết nghiên cứu đƣợc trình bày luận văn chƣa đƣợc cơng bố cơng trình nghiên cứu khác Trần Đức Cƣờng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -iv- MỤC LỤC LỜI CẢM ƠN .1 LỜI CAM ĐOAN iii MỤC LỤC iv DANH MỤC CÁC HÌNH VẼ vii DANH MỤC CÁC BẢNG viii DANH MỤC CÁC BẢNG viii DANH MỤC CÁC TỪ VIẾT TẮT ix MỞ ĐẦU .1 Lý chọn đề tài Đối tƣợng phạm vi nghiên cứu .2 Hƣớng nghiên cứu đề tài Phƣơng pháp nghiên cứu .2 Ý nghĩa khoa học đề tài Cấu trúc luận văn CHƢƠNG I:TỔNG QUAN VỀ MẠNG NƠRON .4 1.1 Sơ lƣợc mạng nơron 1.1.1 Lịch sử phát triển 1.1.2 Ứng dụng 1.1.3 Căn nguyên sinh học 1.2 Đơn vị xử lý .8 1.3 Hàm xử lý 1.3.1 Hàm kết hợp 1.3.2 Hàm kích hoạt (hàm chuyển) 10 1.4 Các hình trạng mạng 13 1.4.1 Mạng truyền thẳng 13 1.4.2 Mạng hồi quy 13 1.5 Mạng học 14 1.5.1 Học có thầy .14 Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn -v- 1.5.2 Học khơng có thầy 15 1.6 Hàm mục tiêu 15 1.7 Mạng nơron truyền thẳng giải thuật lan truyền ngƣợc 16 1.7.1 Kiến trúc 16 1.7.1.1 Mạng truyền thẳng 16 1.7.1.2 Mạng hồi quy 18 1.7.2 Khả thể 18 1.7.3 Vấn đề thiết kế cấu trúc mạng 19 1.7.3.1 Số lớp ẩn 19 1.7.3.2 Số đơn vị lớp ẩn 20 1.7.4 Thuật toán lan truyền ngƣợc (Back-Propagation) 22 1.7.4.1 Mơ tả thuật tốn .23 1.7.4.2 Sử dụng thuật toán lan truyền ngƣợc .28 1.7.4.3 Một số biến thể giải thuật 32 1.7.4.4 Nhận xét 34 CHƢƠNG 2: ỨNG DỤNG MẠNG NƠRON TRONG DỰ BÁO DỮ LIỆU VÀ BÀI TOÁN THẨM ĐỊNH VAY VỐN NGÂN HÀNG 37 2.1 Lý thuyết thẩm định vay vốn ngân hàng 37 2.1.1 Một số khái niệm 37 2.1.2 Nguyên tắc vay vốn 37 2.1.3 Điều kiện vay vốn 37 2.1.4 Tầm quan trọng thẩm định tín dụng 38 2.1.5 Quy trình thẩm định tín dụng 39 2.1.6 Nội dung thẩm định vay vốn ngân hàng 39 2.1.6.1 Thẩm định khách hàng vay vốn .40 2.1.6.2 Thẩm định dự án vay vốn .46 2.1.6.3 Thẩm định biện pháp bảo đảm tiền vay .49 2.2 Sơ lƣợc lĩnh vực dự báo liệu 51 2.3 Xây dựng chƣơng trình dự báo liệu 52 2.3.1 Lựa chọn biến 53 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -vi- 2.3.2 Thu thập, phân tích xử lý liệu .53 2.3.2.1 Kiểu biến .54 2.3.2.2 Thu thập liệu .55 2.3.2.3 Phân tích liệu .56 2.3.2.4 Xử lý liệu 57 2.3.3 Phân chia tập liệu .60 2.3.4 Xác định cấu trúc mạng 60 2.3.5 Xác định tiêu chuẩn đánh giá 61 2.3.6 Huấn luyện mạng 61 2.3.7 Thực thi 62 2.4 Sự cần thiết phải sử dụng mạng nơron 63 CHƢƠNG 3: XÂY DỰNG CHƢƠNG TRÌNH HỖ TRỢ QUYẾT ĐỊNH CHO VAY VỐN TẠI NGÂN HÀNG 65 3.1 Lựa chọn biến 66 3.2 Thu thập tiền xử lý liệu 66 3.2.1 Thu thập liệu 66 3.2.2 Tiền xử lý liệu 67 3.3 Phân chia tập liệu 68 3.4 Xác định cấu trúc mạng 68 3.5 Xác định tiêu chuẩn đánh giá huấn luyện mạng 69 3.5.1 Xác định tiêu chuẩn đánh giá 69 3.5.2 Huấn luyện mạng 69 3.6 Thực thi 71 3.7 Xây dụng chƣơng trình 71 3.8 Một số nhận xét 75 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 78 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -vii- DANH MỤC CÁC HÌNH VẼ Hình 1.1 Đơn vị xử lý (Processing unit) Hình 1.2 Hàm đồng (Identity function) 10 Hình 1.3 Hàm bƣớc nhị phân (Binary step function) .11 Hình 1.4 Hàm Sigmoid 11 Hình 1.5 Hàm sigmoid lƣỡng cực 12 Hình 1.6 Mạng nơron truyền thẳng nhiều lớp 13 (Feed-forward neural network) 13 Hình 1.7 Mạng nơron hồi quy (Recurrent neural network) .14 Hình 1.8 Mạng nơron truyền thẳng nhiều lớp (MLP) 16 Hình 1.9 Một ví dụ mạng hồi quy .18 Hình 1.10 Xấp xỉ hàm với –2 ≤ x ≤ 30 Hình 1.11 Xấp xỉ hàm với –2 ≤ x ≤ 30 Hình 2.1 Quy trình thẩm định vay vốn 39 Hình 2.2 Nội dung thẩm định vay vốn .40 Bảng 2.1 Thẩm định vay ngắn hạn 50 Hình 2.3 Xử lý liệu .54 Bảng 3.1 Các liệu đầu vào dạng thô 66 Bảng 3.2 Các liệu đầu vào sau tiền xử lý 68 Hình 3.1 Mơ hình cấu trúc mạng .69 Hình 3.2 Giao diện chƣơng trình 72 Hình 3.3 Giao diện tạo mạng 72 Hình 3.4 Giao diện huấn luyện mạng 73 Hình 3.5 Giao diện bảng giới thiệu khách hàng .74 Hình 3.6 Giao diện bảng cân đối tài sản 74 Hình 3.7 Giao diện bảng báo cáo kết kinh doanh .75 Hình 3.8 Giao diện điều kiện vay vốn khách hàng 75 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -viii- DANH MỤC CÁC BẢNG Bảng 2.1 Thẩm định vay ngắn hạn 50 Bảng 3.1 Các liệu đầu vào dạng thô 66 Bảng 3.2 Các liệu đầu vào sau tiền xử lý 68 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -ix- DANH MỤC CÁC TỪ VIẾT TẮT VLSI: Very Large Scale Integrated-circuit SXKD: Sản xuất kinh doanh HĐKD: Hợp đồng kinh doanh MLP: Multilayer Perceptron LMS: Least Means Square Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -1- MỞ ĐẦU Lý chọn đề tài Ngân hàng trung gian tài chính, kênh dẫn vốn quan trọng cho toàn kinh tế Hoạt động cho vay hoạt động quan trọng Ngân hàng, mà doanh nghiệp, tổ chức, cá nhân, hộ gia đình Các doanh nghiệp cần vốn đầu tƣ để mở rộng sản xuất kinh doanh, hộ gia đình, tổ chức cần vốn để phục vụ nhu cầu cần thiết cho công việc, sống Cho vay vốn hoạt động mang tính chiến lƣợc, mang lại hiệu kinh tế quan trọng Ngân hàng Đồng thời, hoạt động mang tính rủi ro cao Công tác thẩm định dự án vay vốn hoạt động định công tác cho vay vốn doanh nghiệp nhằm giảm thiểu rủi ro cách tối đa Chất lƣợng công tác thẩm định dự án vay vốn định công tác cho vay vốn doanh nghiệp Ngân hàng thƣơng mại Việc nâng cao chất lƣợng công tác thẩm định dự án vay vốn giúp Ngân hàng tăng cƣờng hiệu hoạt động kinh doanh hội nhập với tài khu vực vô quan trọng Hiện nay, với phát triển nhƣ vũ bão ngành Công nghệ thông tin, việc ứng dụng thành tựu vào hoạt động Ngân hàng ngày phát triển mạnh mẽ thu hút đƣợc quan tâm nhà kinh tế, nhà phát triển phần mềm, …Các ứng dụng mạng nơron, đặc biệt mạng nơron truyền thẳng đa lớp đƣợc chứng minh mạnh hiệu tốn dự báo, phân tích liệu Qua q trình tìm hiểu cơng tác thẩm định dự án vay doanh nghiệp Ngân hàng Hàng Hải Việt Nam MaritimeBank, em định chọn đề tài “Nghiên cứu mạng nơron ứng dụng thẩm định vay vốn Ngân hàng” Luận văn với mục đích làm sáng tỏ số khía cạnh mạng nơron truyền thẳng đa lớp, thuật toán lan Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -66- i) Lựa chọn biến ii) Thu thập xử lý liệu iii) Phân chia tập liệu iv) Xác định cấu trúc mạng v) Xác định tiêu chuẩn đánh giá huấn luyện mạng vi) Thực thi 3.1 Lựa chọn biến Trong chƣơng trình minh hoạ, ta xét đến việc định cho vay vốn hay không nên nhân tố liệu đầu vào mạng bao gồm: Ngành nghề kinh doanh, mã số thuế, giấy phép đăng kí kinh doanh, định bổ nhiệm giám đốc, kế tốn trƣởng, quy mơ, tổng vốn kinh doanh, hệ số toán thời, hệ số toán nhanh, hệ số nợ/vốn chủ sở hữu, hệ số nợ/tổng tài sản, hệ số nợ hạn, tổng thu nhập trƣớc thuế/doanh thu, tổng thu nhập trƣớc thuế/tổng tài sản, tổng thu nhập trƣớc thuế/vốn chủ sở hữu, kỳ thu tiền bình quân, vòng quay hàng tồn kho, hiệu sử dụng tài sản 3.2 Thu thập tiền xử lý liệu 3.2.1 Thu thập liệu Quá trình thu thập liệu Ngân hàng gặp nhiều khó khăn Bởi tại, Ngân hàng lƣu trữ dƣới dạng giấy tờ, tập hồ sơ chƣa có sở liệu tự động để lƣu trữ Tất liệu liệu doanh nghiệp vừa nhỏ, hai ngành xây dựng thƣơng mại đƣợc thu thập từ hồ sơ lƣu trữ vay vốn Tập liệu bao gồm 500 mẫu liệu Các liệu ta quan tâm đƣợc lƣu trữ dạng thô nhƣ sau: Bảng 3.1 Các liệu đầu vào dạng thô Giấy phép kinh doanh Mã số thuế còn còn còn còn hạn hạn hạn hạn hạn hạn hạn hạn hạn có có có có có có có có có Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -67Quyết định bổ nhiệm giám có có có có có có có có có có có có có có có có có có xây xây xây xây xây xây xây xây xây dựng dựng dựng dựng dựng dựng dựng dựng dựng Quy mô Nhỏ Nhỏ Vừa Vừa Nhỏ Vừa Nhỏ Vừa Vừa Thanh toán ngắn hạn 1.0 0.8 1.9 1.9 1.9 1.9 1.0 1.0 1.0 Thanh toán nhanh 0.7 0.4 0.9 0.7 0.4 0.1 0.9 0.4 0.1 Vòng quay hàng tồn kho 3.0 2.5 3.5 3.0 2.5 3.5 2.5 Kỳ thu tiền bình quân 90.0 120.0 60.0 90.0 120.0 150 60.0 120.0 150 Hiệu sử dụng tài sản 2.3 2.0 2.5 2.3 2.0 1.7 2.5 2.0 1.7 Hệ số nợ 60.0 65.0 55 60.0 65.0 70 55 65.0 70 Hệ số nợ/ Vốn chủ sở hữu 100.0 150.0 69 100.0 150.0 233 69 150.0 233 1.0 1.5 1.0 1.5 1.5 7.0 6.0 8.0 7.0 6.0 8.0 6.0 4.5 3.5 6.0 4.5 3.5 2.5 6.0 3.5 2.5 9.0 8.7 9.2 9.0 8.7 8.3 9.2 8.7 8.3 đốc Quyết định bổ nhiệm kế toán trƣởng Ngành Nợ hạn/ Tổng nợ ngân hàng Tỉ suất lợi nhuận/doanh thu Tỉ suất lợi nhuận/vốn vốn sở hữu Tỉ suất lợi nhuận/tổng tài sản 3.2.2 Tiền xử lý liệu Nhìn vào bảng liệu dạng thơ ta thấy: Các biến giấy phép KD, mã số thuế, Quyết định bổ nhiệm GĐ (TGĐ), kế tốn trƣởng, Ngành, quy mơ biến phân loại Ta sử dụng phƣơng pháp mã hoá giá trị biến liên tục Các biến tốn ngắn hạn, tốn nhanh, vịng quay hàng tồn kho, kỳ thu tiền bình quân, hiệu sử dụng tài sản, hệ số nợ, hệ số nợ/Vốn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -68- CSH, nợ hạn, tỉ suất lợi nhuận/Doanh thu thuần, tỉ suất lợi nhuận/Vốn CSH, tỉ suất lợi nhuận/Tổng tài sản biến có thứ tự Giá trị đƣa vào mạng giá trị nhƣ chúng vốn có, ta cần đƣa chúng khoảng [0,1] Ở đây, sử dụng phƣơng pháp Max/Min Sau mã hố ta đƣợc khn dạng dƣới đây: Bảng 3.2 Các liệu đầu vào sau tiền xử lý Giấy phép KD 1 1 1 1 mã số thuế 1 1 1 1 Quyết định bổ nhiệm GĐ(TGĐ) 1 1 1 1 Quyết định bổ nhiệm (KT trƣởng) 1 1 1 1 Ngành 1 1 1 1 Quy mô 1 0 1 0 Thanh toán ngắn hạn 0.1 0.0 0.8 0.8 0.8 0.8 0.1 0.1 0.1 Thanh toán nhanh 0.6 0.3 0.8 0.6 0.3 0.0 0.8 0.3 0.0 Vòng quay hàng tồn kho 0.5 0.3 0.8 0.5 0.3 0.0 0.8 0.3 0.0 Kỳ thu tiền bình quân 0.3 0.5 0.0 0.3 0.5 0.8 0.0 0.5 0.8 Hiệu sử dụng tài sản 0.6 0.3 0.8 0.6 0.3 0.0 0.8 0.3 0.0 Hệ số nợ 0.3 0.5 0.0 0.3 0.5 0.8 0.0 0.5 0.8 Hệ số nợ/ Vốn CSH 0.2 0.4 0.0 0.2 0.4 0.8 0.0 0.4 0.8 Nợ hạn/ Tổng nợ ngân hàng 0.4 0.6 0.0 0.4 0.6 0.8 0.0 0.6 0.8 Tỉ suất lợi nhuận/doanh thu 0.5 0.3 0.8 0.5 0.3 0.0 0.8 0.3 0.0 Tỉ suất lợi nhuận/vốn VSH 0.5 0.2 0.8 0.5 0.2 0.0 0.8 0.2 0.0 Tỉ suất lợi nhuận/tổng tài sản 0.6 0.4 0.8 0.6 0.4 0.0 0.8 0.4 0.0 3.3 Phân chia tập liệu Tổng có 500 mẫu liệu, đƣợc chia làm ba tập: tập huấn luyện (hơn 500 mẫu), tập kiểm tra đƣợc lấy ngẫu nhiêu từ tập huấn luyện (100 mẫu) tập kiểm định gồm 20 mẫu 3.4 Xác định cấu trúc mạng Mạng bao gồm ba lớp: Một lớp vào, lớp ẩn lớp Có đầu – điểm đánh giá tài Số đầu vào cố định, phụ thuộc vào Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -69- nhân tố ảnh hƣởng trên, có 17 đầu vào Số đơn vị lớp ẩn đƣợc xác định cách huấn luyện với mẫu tập huấn luyện Mạng yêu cầu số đơn vị lớp ẩn vừa đủ để học đƣợc đặc trƣng tổng quát mối quan hệ nhân tố đầu vào đầu Mục tiêu sử dụng số đơn vị lớp ẩn tốt, đồng thời trì khả mạng học đƣợc mối quan hệ đầu vào đầu liệu Trong chƣơng trình xây dựng, đơn vị lớp ẩn 30 đơn vị Các hàm kích hoạt đƣợc sử dụng lớp ẩn lớp hàm sigmoid W1,1 n1  a1 v1,1 b1 … X1 W1,30  … n30 n2  a30 v1,30 b2 y Số điểm b30 Hình 3.1 Mơ hình cấu trúc mạng 3.5 Xác định tiêu chuẩn đánh giá huấn luyện mạng 3.5.1 Xác định tiêu chuẩn đánh giá Mạng đƣợc huấn luyện giải thuật lan truyền ngƣợc Hàm đánh giá hàm lỗi trung bình bình phƣơng đƣợc sử dụng: E n t k  y k 2  k 1 Hàm chuyển đơn vị lớp ẩn hàm sigmoid: 1  e  x  f ( x)  f ( x)(1  f ( x)) f ( x)  3.5.2 Huấn luyện mạng Mạng đƣợc huấn luyện giải thuật lan truyền ngƣợc có sử dụng thêm tham số bƣớc đà (anpha) nhằm tăng trình hội tụ mạng Thuật Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -70- toán dựa thuật toán lan truyền ngƣợc chuẩn nhƣng có số cải biến, sau tóm tắt thuật tốn: Đầu vào: Tập mẫu huấn luyện gồm 17 đầu vào đầu Đầu ra: Mạng sau huấn luyện Lan truyền xuôi Bƣớc 1: Đƣa tập mẫu đầu vào, vào mạng {(x1,t1), (x2,t2),…, (xQ,tQ)} Bƣớc 2: Tính giá trị đầu vào, cho nơron lớp ẩn: n j   wij xi  b j ; a j  f n j ; có s nơron lớp vào s i 1 Bƣớc 3: Tính giá trị đầu vào, cho nơron lớp ra: nk   v jk a j  bk ; y k  f nk  ; có m nơron lớp m j 1 Lan truyền ngƣợc Bƣớc 4: Hiệu chỉnh trọng số liên kết dẫn đến lớp ra:  k  t k  y k  f n k 1  f n k  v jk   k y j ; bk    k v jk  v jk  v jk bk  bk  bk Bƣớc 5: Hiệu chỉnh trọng số liên kết dẫn đến lớp ẩn:  k     k v jk  f n k 1  f n k  s  k 1  wij   i x j ; b j    j w jk  w jk  w jk b j  b j  b j Bƣớc 6: Tính sai số gặp phải: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -71- E  E   t k  y k  Q k 1 Bƣớc 7: Nếu sai số đạt mức chấp nhận đƣợc cho trƣớc (0.00001) dừng trình huấn luyện mạng Ngƣợc lại, gán E=0 lặp lại bƣớc cho vòng lặp khác 3.6 Thực thi Bƣớc thực thi thực cần xem xét trƣớc bƣớc thu thập liệu Bởi lẽ việc xác định khả sẵn có liệu, xác định hàm lỗi sử dụng thời gian huấn luyện đặc trƣng môi trƣờng mà mạng triển khai Ngƣời ta thấy mạng nơron có đặc trƣng tính tốn song song, mạng nơron tốt nên cài đặt vi mạch điện tử Tuy nhiên, môi trƣờng máy tính cá nhân lại phù hợp q trình huấn luyện, dễ cài đặt, đồng thời có khả linh hoạt đáp ứng đƣợc nhiều toán Sau cài đặt, triển khai, khả hoạt động mạng nơron giảm theo thời gian nhƣ khơng có bƣớc huấn luyện lại, lẽ đảm bảo đƣợc tham biến đƣợc lựa chọn đóng vai trị định kết mà ta mong muốn theo thời gian Tần số thực huấn luyện lại mạng cần hợp lý cho mạng đạt trạng thái hoạt động tốt 3.7 Xây dụng chƣơng trình Bao gồm ba modul chính: Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn -72- Hình 3.2 Giao diện chƣơng trình Modul mạng nơron Modul tạo mạng với tham số chủ yếu nhƣ sau: Hình 3.3 Giao diện tạo mạng Mạng tạo đƣợc huấn luyện với liệu huấn luyện tham số huấn luyện ngƣời dùng nhập vào: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -73- Hình 3.4 Giao diện huấn luyện mạng Đƣờng đỏ đầu vào mong muốn, đƣờng đen đầu mạng trình huấn luyện Tốc độ, thời gian huấn luyện phụ thuộc hệ số học, hệ số momentum Mạng ngừng huấn luyện tổng số lỗi =59), modul thẩm định vay vốn xem xét phƣơng án kinh doanh khách hàng, tài sản bảo đảm nợ vay để biết đƣợc số tiền Ngân hàng cho khách hàng vay 3.8 Một số nhận xét * Về chƣơng trình: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -76- Chƣơng trình xây dựng đầy đủ bƣớc để xem xét việc vay vốn khách hàng doanh nghiệp Tuy nhiên, thẩm định vay vốn q trình vơ phức tạp, liên quan tới nhiều lĩnh vực, chƣơng trình xem xét góc độ tài chủ yếu, chƣa xem xét sâu thẩm định dự án vay vốn đánh giá tài sản bảo đảm Chƣơng trình cho kết tốt, nhƣng áp dụng đƣợc với doanh nghiệp vừa nhỏ hai ngành thƣơng mại xây dựng * Về mạng nơron: Mạng bị ảnh hƣởng nhiều từ trạng thái khởi đầu tham số Trong trình học, mạng cố gắng điều chỉnh tham số cho tổng bình phƣơng lỗi nhỏ Khả hội tụ mạng phụ thuộc vào tham số khởi đầu, cịn khả tổng qt hố phụ thuộc vào liệu đầu vào Nếu liệu đầu vào q nhiều dẫn đến tình trạng nhiều thời gian huấn luyện khả tổng quát hoá kém, liệu sai số tăng lên Ngoài đặc trƣng liệu, số lần thực điều chỉnh tham số mạng dẫn đến khả tổng quát hoá mạng trình huấn luyện Bởi số chu kỳ mẫu đƣa vào mạng cần đƣợc xem xét phải lớn ngƣỡng Một khả khác mạng rơi vào điểm cực trị địa phƣơng Giải thuật lan truyền ngƣợc lỗi không đảm bảo cho ta điểm cực trị toàn cục Nếu rơi vào điểm cực trị địa phƣơng phải huấn luyện lại mạng, điều làm cho mạng áp dụng đƣợc thực tế toán yêu cầu độ xác cao thời gian tối thiểu Do đó, giải pháp sử dụng hệ số học biến đổi hƣớng để giải vấn đề Ngồi ra, liệu phân bố khơng mẫu khả tổng qt hố khơng tốt Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -77- Mạng có khả đạt đến mạng thái mong muốn mà bỏ qua điểm cực trị Để tránh điều này, không nên sử dụng hệ số học hệ số bƣớc đà lớn Để đảm bảo khả đạt đến điểm cực tiểu, số đơn vị lớp ẩn cần đủ lớn Tuy nhiên, số đơn vị lớp ẩn vƣợt ngƣỡng khả tổng qt hố mạng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -78- KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Trong luận văn này, em xem xét thuộc tính mạng nơron truyền thẳng trình xác định đầu vào, kiến trúc mạng phục vụ cho toán định cho vay vốn Ngân hàng thƣơng mại Em xây dựng chƣơng trình dự báo liệu nhằm áp dụng lí thuyết mạng nơron tìm hiểu Các thí nghiệm cho thấy, đƣợc huấn luyện tốt tập liệu đầy đủ hoàn thiện với tham số đƣợc lựa chọn cẩn thận kết dự báo xác 80% đến 90% Chƣơng trình cung cấp khả lƣu lại tập tham số, trọng số, độ lệch sau lần huấn luyện thành công nạp lại tham số để sử dụng dự báo Thuật tốn lan truyền ngƣợc chuẩn có khả tốt chí với số tốn phức tạp Tuy nhiên, nhiều thời gian huấn luyện, điều chỉnh tham số mạng Điều gây trở ngại cho số toán thực tế Do vậy, thuật toán cải tiến cần đƣợc áp dụng để tăng khả hội tụ mạng huấn luyện Luận văn làm sáng tỏ vấn đề lí thuyết mạng nơron truyền thẳng nhiều lớp, giải thuật lan truyền ngƣợc số cải tiến giải thuật, thực việc phân tích lĩnh vực định cho vay vốn Ngân hàng thƣơng mại Áp dụng lí thuyết mạng nơron vào toán định cho vay vốn Lĩnh vực vay vốn Ngân hàng thƣơng mại lĩnh vực phức tạp, cần nhiều chuyên môn khác (phân tích tài chính, thẩm định dự án, pháp luật, thẩm định tài sản,….), luận văn dừng lại việc định vay vốn dựa việc phân tình hình tài doanh nghiệp chủ yếu chƣa sâu vào thẩm định dự án,…chắc chắn luận văn cịn nhiều Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -79- thiếu sót, mong đƣợc nhận ý kiến đóng góp nhằm hồn thiện thêm luận văn Hƣớng phát triển Tích hợp ứng dụng với chƣơng trình quản lí hồ sơ vay vốn khách hàng, cài đặt theo mơ hình Client – Sever để tăng hiệu quản lí nghiệp vụ cho vay vốn Ngân hàng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -80- TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Tân Ân (2011), Bài giảng mạng nơron, Đại học Sƣ Phạm Hà Nội [2] Lê Hải Khôi, Trần Đức Minh, "Về phương pháp dự báo liệu sử dụng mạng nơron" (2004), Tạp chí Tin học Điều khiển học, 20:2, 111-120 [3] Nguyễn Đình Thúc (2000), Trí tuệ nhân tạo Mạng nơron phương pháp & ứng dụng, Nhà xuất Giáo Dục [4] Nguyễn Năng Phúc (2008), Giáo trình phân tích báo cáo tài chính, NXB Đại học Kinh tế quốc dân [5] Nguyễn Minh Kiều (2008), Thẩm định tín dụng ngân hàng thương mại, NXB Thống kê [6] Nguyễn Minh Kiều (2008), Hướng dẫn thực hành tín dụng Thẩm định tín dụng ngân hàng thương mại, NXB Thống kê Tiếng Anh [7] Hangan M.T., Demuth H.B., Beal M., Neuron networks design, PWS Publishing Company, Boston, Ma, 1996 [8] Haykin, S., Neural networks, a comprehensive foundation, Macmillan New York, Ny 1994 [9] Ooyen A V., Nienhuis B., Improving the Convergence of the Back-Propagation algorithm, Neural Networks, Vol 5, p 465-471, 1992 [10] João A Bastos*, Predicting bank loan recovery rates with neural networks, CEMAPRE, ISEG, Technical University of Lisbon Rua Quelhas 6, 1200 – 781 Lisbon, Portugal, 2010 [11] Ralf Herbrich, Max Keibach, Thore Graepel, Peter Bollmann-Sdorra, Klaus Obermayer – Neural Networks in Economics [12] Dave Anderson and George McNeill (1992), Artificial Neural Networks Technology Prepared by Rome Laboratory RL/C3C Griffiss AFB, NY 13441-5700, Kaman Sciences Corporation 258 Genesse Street Utica, New York 13502-4627 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ... http://www.lrc-tnu.edu.vn -40- Thẩm định hồ sơ vay vốn Thẩm định khách hàng vay vốn Thẩm định dự án vay vốn Thẩm định biện pháp bảo đảm nợ vay Hình 2.2 Nội dung thẩm định vay vốn Nội dung thẩm định vay vốn nhằm hai... 2: ỨNG DỤNG MẠNG NƠRON TRONG DỰ BÁO DỮ LIỆU VÀ BÀI TOÁN THẨM ĐỊNH VAY VỐN NGÂN HÀNG 2.1 Lý thuyết thẩm định vay vốn ngân hàng 2.1.1 Một số khái niệm Tín dụng ngân hàng hay cịn gọi tắt tín dụng. .. thẩm định dự án vay vốn thẩm định biện pháp bảo đảm nợ vay định việc cho vay bao nhiêu, theo phƣơng thức nào? Trong nội dung thẩm định công tác thẩm định khách hàng vay vốn thẩm định dự án vay vốn