Ứng dụng BI (business intelligence) trong bài toán thẩm định tài sản bảo đảm của ngân hàng luận văn ths máy tính 60 48 01

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ CAO THỊ VÂN ANH ỨNG DỤNG BI (BUSINESS INTELLIGENCE) TRONG BÀI TOÁN THẨM ĐỊNH TÀI SẢN BẢO ĐẢM CỦA NGÂN HÀNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội – 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ CAO THỊ VÂN ANH ỨNG DỤNG BI (BUSINESS INTELLIGENCE) TRONG BÀI TOÁN THẨM ĐỊNH TÀI SẢN BẢO ĐẢM CỦA NGÂN HÀNG Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS TS TRƢƠNG NINH THUẬN Hà Nội – 2017 LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn “Ứng dụng BI (Business Intelligence) toán thẩm định tài sản bảo đảm ngân hàng” sản phẩm thực dƣới hƣớng dẫn PGS.TS.Trƣơng Ninh Thuận Tồn điều đƣợc trình bày khóa luận cá nhân, đƣợc tham khảo tổng hợp từ nguồn tài liệu khác Tất tài liệu tham khảo, tổng hợp đƣợc trích dẫn với nguồn gốc rõ ràng Tồn chƣơng trình, mã nguồn tơi thiết kế xây dựng, không chép chƣa đƣợc công bố phƣơng tiện Tôi xin chịu hoàn toàn trách nhiệm lời cam đoan Nếu có điều sai trái, tơi xin chịu hình thức kỷ luật theo qui định Hà Nội, Ngày tháng năm 2017 Ngƣời cam đoan Cao Thị Vân Anh LỜI CẢM ƠN Tôi xin bày tỏ lòng biết ơn sâu sắc đến thầy hƣớng dẫn tơi, PGS.TS Trƣơng Ninh Thuận Thầy giúp tơi có hội để theo đuổi nghiên cứu lĩnh vực u thích Trong suốt q trình thực luận văn, thầy tận tình hƣớng dẫn cho tơi, góp ý cho tơi định hƣớng, đồng thời đƣa lời khun bổ ích để tơi hồn thành luận văn Tiếp đến, xin đƣợc cảm ơn thầy cô giáo giảng dạy trình học tập, thực hành, làm tập, đọc nhận xét luận văn em, giúp em hiểu thấu đáo lĩnh vực mà em nghiên cứu hạn chế cần khắc phục việc học tập, nghiên cứu thực luận văn Xin cảm ơn bạn bè, đồng nghiệp thành viên gia đình tạo điều kiện tốt nhất, động viên, cổ vũ suốt trình học tập làm luận văn tốt nghiệp Hà Nội, Ngày tháng năm 2017 Cao Thị Vân Anh MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC KÍ HIỆU VÀ CHỮ VIẾT TẮT i DANH MỤC HÌNH VẼ iii DANH MỤC BẢNG iii MỞ ĐẦU Lý chọn đề tài Mục tiêu đề tài .1 Đóng góp luận văn Cấu trúc luận văn CHƢƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 Giới thiệu Trí tuệ nghiệp vụ (Business Intelligence) 1.1.1 Khái niệm 1.1.2 Kiến trúc thành phần BI .4 1.2.Giới thiệu Data Warehouse 1.2.1 Khái niệm 1.2.2.Kiến trúc Data Warehouse 10 1.2.3.Xây dựng Data warehouse 11 1.3 Giới thiệu Khai phá liệu (Data mining) 13 1.3.1 Khái niệm 13 1.3.2.Quy trình khai phá liệu 13 1.3.3 Các phƣơng pháp khai phá liệu 15 CHƢƠNG 2: BÀI TOÁN ỨNG DỤNG BI TRONG HỖ TRỢ THẨM ĐỊNH TÀI SẢN BẢO ĐẢM CỦA NGÂN HÀNG 20 2.1 Ứng dụng BI lĩnh vực ngân hàng 20 2.1.1 Công nghệ BI hoạt động ngân hàng 20 2.1.2 Một số ứng dụng BI lĩnh vực ngân hàng 21 2.2 Bài toán thẩm định tài sản bảo đảm hệ thống ngân hàng 22 2.2.1 Giới thiệu thẩm định tài sản bảo đảm 22 2.2.2 Quy trình thẩm định giá tài sản bảo đảm 23 2.2.3 Phƣơng pháp so sánh trực tiếp bƣớc định giá giá trị tài sản 25 CHƢƠNG 3: PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG BI HỖ TRỢ THẨM ĐỊNH TÀI SẢN BẢO ĐẢM TRONG NGÂN HÀNG 27 3.1.Phát biểu toán 27 3.2 Áp dụng thuật toán K-Nearest Neighbors (KNN) thuật tốn hồi quy tuyến tính đa biến định giá 31 3.2.1 Sử dụng thuật toán K-Nearest Neighbors (KNN) để dự đoán giá trị tài sản thẩm định 33 3.2.2 Dự đoán giá trị tài sản qua phƣơng pháp hồi quy tuyến tính đa biến 35 3.2.3 Kết hợp thuật toán KNN hồi quy tuyến tính đa biến 37 3.3 Thiết kế ứng dụng 39 3.3.1 Module ETL 39 3.3.2 Module Thẩm định tài sản 40 3.4 Xây dựng triển khai 56 3.4.1 Xây dựng Database 56 3.4.2 Xây dựng mô hình ứng dụng 60 CHƢƠNG 4: CÀI ĐẶT VÀ KẾT QUẢ 62 4.1.Cài đặt 62 4.2 Kết 63 4.2.1 Chức quản lý thông tin hồ sơ thẩm định 63 4.2.2 Chức Cập nhật thông tin chung hồ sơ 64 4.2.3 Cập nhật thông tin pháp lý hồ sơ 65 4.2.4 Cập nhật thông tin tài sản bảo đảm 66 4.2.5 Cập nhật thông tin kết luận báo cáo thẩm định .67 4.2.6 Thuyết minh giá 68 4.2.7 So sánh kết thực nghiệm Web thẩm định phần mềm Weka 70 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 72 Kết luận 72 Hƣớng phát triển 73 TÀI LIỆU THAM KHẢO 74 PHỤ LỤC 75 BI BĐS CHCC CSDL CVQHKH CVTĐ DW ĐS ĐVKD ETL ESS OLAP OLTP HS RSS SĐT SQL KD KS KNN TĐ TS TSBĐ TSS TSSS TSTĐ TGĐ UBND iii DANH MỤC HÌNH VẼ Hình 1- 1: Các thành phần hệ thống BI [13] Hình 1- 2: Chu kỳ phân tích BI [13] Hình 1- 3: Các pha phát triển hệ thống BI [13] Hình 1- 4: Kiến trúc tính kho liệu [13] 10 Hình 1- 5: Quy trình khai phá liệu[13] 14 Hình 2- 1: Quy trình thẩm định tài sản bào đảm ngân hàng [6] 23 Hình 3- 1: Dữ liệu thẩm định thông tin BĐS 29 Hình 3- 2: Dữ liệu thẩm định BĐS qua tiền xử lý 30 Hình 3- 3: Kết trích chọn thuộc tính sử dụng weka 31 Hình 3- 4:Kết phân tích hồi quy tuyến tính ví dụ thẩm định đất 36 Hình 3- 5: Mơ hình thiết kế ứng dụng thẩm định tài sản bảo đảm 39 Hình 3- 6: Biểu đồ Use Case module Thẩm định tài sản 41 Hình 3- 7:Lƣợc đồ liệu thông tin hồ sơ thẩm định 56 Hình 3- 8: Lƣợc đồ liệu thông tin tài sản BĐS- Đất 58 Hình 3- 9: Lƣợc đồ liệu thông tin báo cáo thẩm định tài sản bảo đảm .59 Hình 3- 10:Mơ hình ứng dụng 60 Hình 4- 1: Chức Quản lý hồ sơ 64 Hình 4- 2: Cập nhật thông tin chung hồ sơ 64 Hình 4- 3: Cập nhật thông tin pháp lý tài sản hồ sơ thẩm định .65 Hình 4- 4: Cập nhật thông tin tài sản bảo đảm - Bất động sản 66 Hình 4- 5: Kết luận báo cáo thẩm định tài sản 67 Hình 4- 6: Thuyết minh giá 69 DANH MỤC BẢNG Bảng 3- 1: Ví dụ số liệu mua bán tài sản đất 32 Bảng 3- 2: Tính tốn xếp giá trị tài sản theo khoảng cách tăng dần 34 Bảng 3- 3: Giá trị tài sản so sánh 37 Bảng 3- 4: So sánh hai phƣơng pháp KNN hồi quy tuyến tính đa biến .37 Bảng 4- 1: Kết thử nghiệm hai phƣơng pháp 70 MỞ ĐẦU Lý chọn đề tài Ngân hàng tổ chức hoạt động mang tính chất lợi nhuận Mọi hoạt động ngân hàng hƣớng tới hiệu kinh tế, tìm cách phân tán giảm thiểu rủi ro Trong hoạt động cho vay cấp tín dụng ngân hàng có biện pháp nhằm đảm bảo cho nguồn vốn ngân hàng sinh lợi nhuận an toàn Tài sản đảm bảo biện pháp Tài sản bảo đảm khách hàng là: nhà đất, sạp chợ, phƣơng tiện, công cụ, hàng hóa Mức tiền khách hàng mong muốn vay định cấp tín dụng có đƣợc chấp nhận hay không thông qua khâu định giá tài sản bảo đảm mà khách hàng có muốn thếchấp Q trình thẩm định giá phải trải qua nhiều bƣớc hồ sơ thẩm định đƣợc luân chuyển qua nhiều phịng ban, vị trí Trong bƣớc thẩm định, việc báo cáo thẩm định giá khâu phức tạp cần phải đƣợc tính tốn cẩn thận Cán thẩm định phải nêu đƣợc giá trị thị trƣờng hay phi thị trƣờng tài sản thẩm định Sau phần lập luận để mức giá cuối cùng, cán thẩm định phải tính tốn tỷ lệ điều chỉnh phù hợp với mục đích thẩm định Sẽ đơn giản có cơng cụ hỗ trợ cán đƣa đƣợc mức giá cho vay dựa hồ sơ thẩm định lịch sử hay từ nguồn liệu đƣợc cập nhật thƣờng xuyên thị trƣờng Xuất phát từ tình hình thực tế đó, luận văn nghiên cứu giải pháp cơng nghệ Trí tuệ nghiệp vụ (Business Intelligence - BI) để giải toán hỗ trợ định giá tài sản bảo đảm ngân hàng Mục tiêu đề tài Trong khuôn khổ luận văn này, nghiên cứu kiến thức Data Warehouse, Data Mining, Trí tuệ nghiệp vụ để thiết kế xây dựng hệ thống thẩm định giá tài sản bảo đảm (TSBĐ) Trong luận văn tập trung vào phƣơng pháp hồi quy BI để giải toán thuyết minh giá cho TSBĐ Hỗ trợ nhân viên thẩm định khai thác liệu lịch sử thẩm định thành công đƣợc lƣu trữ hệ thống ngân hàng trƣớc đó, để tìm đƣợc tài sản so sánh (TSSS) có yếu tố tƣơng đồng với TSTĐ phƣơng pháp K láng giềng gần Và hỗ trợ đƣa định mức giá thẩm định TSBĐ trình ƣớc lƣợng giá trị tài sản từ tập TSSS có yếu tố tƣơng đồng với TSTĐ đƣợc thẩm định trƣớc phƣơng pháp hồi quy tuyến tính đa biến Phần mềm thẩm định tài sản bảo đảm hỗ trợ ngƣời dùng quản lý hồ sơ thẩm định có liên quan đến Xử lý luân chuyển hồ sơ nhanh chóng, xác thơng 74 TÀI LIỆU THAM KHẢO Tiếng Việt Nguyễn Đức Bình (2014), Nghiên cứu xây dựng kho liệu sản phẩm Ngân hàng TMCP Đại Dương dựa tảng hệ quản trị CSDL Oracle 10g, Luận văn Thạc sỹ ngành Công nghệ phần mềm, Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội Bộ tài (2005), Hệ thống tiêu chuẩn thẩm định giá Việt Nam Theo QĐ số 24/2005/QĐ-BTC ngày 18/4/2005 Bộ Tài Damodar N Gujarati (2012), Kinh tế lượng sở -3rd.ed, Chƣơng trình giảng dạy kinh tế Fulbright, Chƣơng 8:Phép phân tích hồi quy đa biến Nguyễn Ngọc Rạng (2013), Phân tích hồi quy tuyến tính đa biến, Bệnh viện đa khoa trung tâm An Giang Ngân hàng TMCP Quốc Dân (2015), Hướng dẫn thẩm định TSBĐ bất động sản Ngân hàng TMCP Quốc Dân Số 169/2015/QĐ-TGĐ Ngân hàng TMCP Quốc Dân (2015), Quy định phân luồng xử lý, thẩm định TSBĐ áp dụng ngân hàng TMCP Quốc Dân Số 77/2015/QĐ-TGĐ Ngân hàng TMCP Quốc Dân (2015), Quy định thẩm định TSBĐ Ngân hàng TMCP Quốc Dân Số 88/2015/QĐ-HDQT Tiếng Anh Claudia Imhoff, Nicholas Galemmo, and Jonathan G Geiger (2003), Mastering 10 11 12 13 14 Data Warehouse Design Relational and Dimensional Indiana: Wiley Publishing, Inc., Indianapolis, Indiana D.J.Hand, W.E.Henley (1996), A K nearest neighbour classifier for assessing consumer credit risk, JStor Nor Mazlina Abu Bakar, Izah Mohd Tahir (2009),Applying Multiple Linear Regression and Neural Network to Predict Bank Performance Malaysia: International Business Research Schneider A, Hommel G, Blettner M (2010),Linear regression analysis: part 14 of a series on evaluation of scientific publications., Dtsch Arztebl Int Silvers, Fon (2008),Building and Maintaining a Data Warehouse Vercellis, Carlo (2009),Business Intelligence: Data Mining and Optimization for Decision Making, Politecnico di Milano, Italy: John Wiley & Sons Ltd Wu X, Kumar V (2009), Top 10 Algorithms in Data Mining, Chapman & Hall/CRC 75 PHỤ LỤC Danh sách tập liệu mẫu phục vụ cho mục đích thử nghiệm: Giá Diện Chiều Chiều tích ngang sâu 3300 50 4.2 11.9 80500 350 16 21.9 280 20 1600 50 12.5 375 75 15 2100 144 4.5 32 1500 54 1500 100 20 350 100 20 1456 52 4.2 12.6 2100 61 10.2 3600 144 18 700 100 20 76 289 100 20 4200 98 19.6 1320 56 14 2100 107 5.1 23.2 37345 1067 20 53.4 1804 41 3.5 11.7 1600 120 15 21183 921 14 65.8 400 130 26 950 80 20 580 100 20 30500 84 21 800 120 20 980 300 16 18.8 850 270 15 18 26100 300 11 27.3 4200 178 12 14.8 77 748 104 14.9 3240 81 4.5 18 2850 60 12 100 130 18200 1300 3100 3360 45 74 54723 107.3 15.3 2236 86 17.2 660 100 20 1320 53.6 10.7 700 100 20 7150 110 28 7150 110 28 2700 90 18 880 64 4.8 13.3 1570 60 12 3700 50 10 78 15625 625 14 36 1800 125 25 350 100 20 2450 50 10 1380 58.5 4.5 13 460 150 12 12.5 750 200 10 20 640 52 13 880 193 14 48.3 820 50 12.5 110 200 10 40 60000 9200 2200 400 7000 184 23 3600 92 23 3800 88 22 79 570 90 18 3818.2 224.6 6.68 32 1470 53 4.6 11.5 5000 146 7.5 19.5 570 90 18 1610 70 11.7 579 160 32 1425 50 10 3300 153 17 1800 80 20 2579 75.9 12.7 1150 100 20 1500 84 9.3 4350 60.5 12.1 1350 58.8 4.2 14 2115 90 10 80 760 108 18 3400 100 20 4500 90 17 5.3 1915 61 15.3 2700 65 10 6.5 1500 84 16.8 1426 62 12.4 1800 95 19 2500 91 6.5 14 1200 320 10 31 990 110 22 680 100 20 2750 50 12.5 4680 156 5.5 30 5.6 19.7 20 4150 10000 110.3 160 81 10230 66 10 23340 778 30 26 1700 150 10 15 45000 600 20 30 1550 80 12 1700 60.2 4.3 14 2400 66 11 680 125 12 10.4 46812 780.2 10 50 1200 90 18 4000 150 30 1060 50.3 10.1 1400 50 10 31840 79.6 19.9 485 64 5.3 12.1 32700 218 8.5 25.6 ... 2: BÀI TOÁN ỨNG DỤNG BI TRONG HỖ TRỢ THẨM ĐỊNH TÀI SẢN BẢO ĐẢM CỦA NGÂN HÀNG Chƣơng trình bày số ứng dụng BI lĩnh vực ngân hàng Các khái niệm thẩm định tài sản bảo đảm, quy trình thẩm định phƣơng... Chƣơng 2 :Bài toán ứng dụng BI hỗ trợ thẩm định tài sản bảo đảmcủa ngân hàng Chƣơng trình bày tổng quan toán thẩm định tài sản bảo? ?ảm ngân hàng Giới thiệu giải pháp trí tuệ nghiệp vụ ứng dụng lĩnh... số ứng dụng BI lĩnh vực ngân hàng 21 2.2 Bài toán thẩm định tài sản bảo đảm hệ thống ngân hàng 22 2.2.1 Giới thiệu thẩm định tài sản bảo đảm 22 2.2.2 Quy trình thẩm định giá tài