Nội dung luận văn được tác giả trình bày bằng các nghiên cứu kiến thức về Data Warehouse, Data Mining, Trí tuệ nghiệp vụ để thiết kế và xây dựng một hệ thống thẩm định giá tài sản bảo đảm. Trong đó luận văn sẽ tập trung vào các phương pháp hồi quy trong BI để giải quyết bài toán thuyết minh giá cho TSBĐ. Dùng phương pháp K láng giềng gần nhất để tìm ra được các TSSS . Và dùng phương pháp hồi quy tuyến tính đa biến hỗ trợ đưa ra quyết định về mức giá thẩm định TSBĐ.
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ CAO THỊ VÂN ANH ỨNG DỤNG BI (BUSINESS INTELLIGENCE) TRONG BÀI TOÁN THẨM ĐỊNH TÀI SẢN BẢO ĐẢM CỦA NGÂN HÀNG Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 TĨM TẮT LUẬN VĂN THẠC SĨ CƠNG NGHỆ THƠNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS TRƯƠNG NINH THUẬN Hà Nội – 2017 MỞ ĐẦU Lý chọn đề tài Ngân hàng tổ chức hoạt động mang tính chất lợi nhuận Mọi hoạt động hướng tới hiệu kinh tế, tìm cách phân tán giảm thiểu rủi ro Trong hoạt động cho vay cấp tín dụng ngân hàng có biện pháp nhằm đảm bảo cho nguồn vốn ngân hàng sinh lợi nhuận an toàn Tài sản đảm bảo biện pháp Tài sản bảo đảm khách hàng là: nhà đất, sạp chợ, phương tiện, cơng cụ, hàng hóa Mức tiền khách hàng mong muốn vay định cấp tín dụng có chấp nhận hay khơng thơng qua khâu định giá tài sản bảo đảm Quá trình thẩm định giá phải trải qua nhiều bước,hồ sơ thẩm định ln chuyển qua nhiều phịng ban Trong việc báo cáo thẩm định giá khâu phức tạp cần phải tính tốn cẩn thận Xuất phát từ tình hình thực tế đó, luận văn nghiên cứu giải pháp cơng nghệ Trí tuệ nghiệp vụ (Business Intelligence - BI) để giải toán hỗ trợ định giá tài sản bảo đảm ngân hàng Mục tiêu đề tài Trong khuôn khổ luận văn này, nghiên cứu kiến thức Data Warehouse, Data Mining, Trí tuệ nghiệp vụ để thiết kế xây dựng hệ thống thẩm định giá tài sản bảo đảm Trong luận văn tập trung vào phương pháp hồi quy BI để giải toán thuyết minh giá cho TSBĐ Dùng phương pháp K láng giềng gần để tìm TSSS Và dùng phương pháp hồi quy tuyến tính đa biến hỗ trợ đưa định mức giá thẩm định TSBĐ Phần mềm thẩm định tài sản bảo đảm hỗ trợ người dùng quản lý hồ sơ thẩm định có liên quan đến Xử lý ln chuyển hồ sơ nhanh chóng, xác thông tin phận hệ thống thẩm định Đặc biệt có ý nghĩa chuyên viên thẩm định chưa có nhiều kinh nghiệm Họ đưa tỷ lệ điều chỉnh giá mức ước lượng giá xác Dựa thơng tin phân tích từ nguồn liệu dồi hệ thống phần mềm… Cấu trúc luận văn Luận văn trình bày theo bố cục sau: - Mở đầu: Giới thiệu đề tài, mục tiêu tổ chức luận văn - Chương 1: Cơ sở lý thuyết Chương giới thiệu tổng quan Business Intelligence, Data Warehouse, Data Mining - Chương 2: Bài toán xây dựng hệ thống BI hỗ trợ thẩm định tài sản bảo đảm ngân hàng - Chương 3: Phân tích thiết kế hệ thống BI hỗ trợ thẩm định tài sản bảo đảm ngân hàng - Chương 4: Cài đặt kết Chương trình bày cách cấu hình, cài đặt kết xây dựng hệ thống thẩm định tài sản bảo đảm - Kết luận hướng phát triển 3 CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 Giới thiệu Trí tuệ nghiệp vụ (Business Intelligence) Trí tuệ nghiệp vụ (BI) giải pháp cơng nghệ khai thác liệu từ nguồn liệu khác nhau, từ hệ thống tác nghiệp khác nhau, thơng qua mơ hình tốn học, kỹ thuật khai phá liệu để xử lý thành thông tin hữu ích nhằm hỗ trợ định kinh doanh hiệu [8] Mỗi phân tích BI theo lĩnh vực ứng dụng riêng, phụ thuộc vào mục tiêu người định phương pháp phân tích có sẵn Tuy nhiên, đưa chu kỳ lý tưởng đặc trưng cho tiến hóa phân tích BI điển hình 1-1, tồn khác biệt dựa đặc thù ngữ cảnh cụ thể Phân tích Nhận Đánh giá Quyết định Hình 1- 1: Chu kỳ phân tích BI [8] - Phân tích: Nhận biết xác vấn đề xảy Người định phải tạo thể ý tưởng tượng phân tích, cách xác định nhân tố liên quan - Nhận thức: Cho phép nhà định hiểu cách sâu rõ ràng vấn đề tại, thường mức độ nhân - Quyết định: Tri thức thu kết pha nhận thức chuyển thành định thứ tự hành động - Đánh giá: Pha thứ tư chu trình BI liên quan đến phép đo hiệu suất đánh giá Các số liệu mở rộng không giới hạn khía cạnh tài mà cịn tính đến số hiệu suất xác định theo phòng ban khác công ty 1.2 Giới thiệu Data Warehouse Data Warehouse (DW) nơi lưu trữ liệu có giá trị cho việc xây dựng kiến trúc BI hệ thống hỗ trợ định Một định nghĩa DW thể toàn hoạt động liên quan đến nhau, tham gia vào việc thiết kế, phát triển sử dụng DW [8] Các kiến trúc tham chiếu kho liệu thể sau [8]: Metadat Cube đa chiều Xuất nhập Dữ liệu hệ thống Kinh doanh Kho liệu Đánh giá hiệu suất Dữ liệu Công cụ ETL Phân tích thăm dị liệu Phân tích chuỗi thời OLAP Hình 1- 2: Kiến trúc tính kho liệu [8] - Kho liệu kết hợp với metadata chứa liệu chức cho phép liệu truy cập, hình tượng hóa cập nhật - Các ứng dụng thu thập liệu từ hệ thống nghiệp vụ, chuẩn hóa liệu dạng liệu đa chiều, nạp vào kho liệu (ELT) công cụ back-end cho phép liệu chiết xuất, chuyển đổi tải vào kho liệu - Các ứng dụng BI hệ thống định front-end, cho phép nhà tri thức thực phân tích trực quan hóa kết 1.3 Giới thiệu Khai phá liệu (Data mining) Các hoạt động khai phá liệu trình lặp lặp lại nhằm phân tích sở liệu lớn, với mục đích khai thác thơng tin tri thức cách xác hữu ích cho việc hỗ trợ định xử lý vấn đề [8] Khai phá liệu thực theo quy trình sau [8]: Hình 1- 3: Quy trình khai phá liệu [8] - Định nghĩa mục tiêu: Các phân tích khai phá liệu thực lĩnh vực ứng dụng định mong đợi để cung cấp tri thức cần thiết cho người định - Thu thập tích hợp dữ: Dữ liệu đến từ nhiều nguồn khác nhau, sở liệu, kho liệu, chí liệu từ nguồn ứng dụng web - Phân tích thăm dị: Một phân tích thăm dị thực với mục đích làm quen với thơng tin có thực cơng việc làm liệu - Lựa chọn thuộc tính: Sự liên quan thuộc tính khác đánh giá mối quan hệ mục tiêu phép phân tích - Phát triển mơ hình xác: Thơng thường việc đào tạo mơ hình thực cách sử dụng mẫu nghi chiết xuất từ tập liệu ban đầu Phần liệu cịn lại đánh giá độ xác dự đốn mơ hình tạo - Dự đốn thơng dịch liệu: Mơ hình chọn số mơ hình tạo suốt giai đoạn phát triển cài đặt sử dụng để đạt mục tiêu xác định ban đầu 6 CHƯƠNG BÀI TOÁN XÂY DỰNG HỆ THỐNG BI HỖ TRỢ THẨM ĐỊNH TÀI SẢN BẢO ĐẢM TRONG NGÂN HÀNG 2.1 Ứng dụng BI lĩnh vực ngân hàng Lĩnh vực tài ln phải thích ứng với áp lực từ tồn cầu hóa, hội nhập, cạnh tranh mạnh mẽ, đổi thị trường sản phẩm, hồn thiện quy trình nghiệp vụ xu hướng phát triển Để đạt thành cơng, tổ chức tài cần phải: - Xem xét khía cạnh liên quan đến khách hàng - Xác định trì khách hàng tiềm - Thu hút khách hàng từ đối thủ cạnh tranh - Đánh giá sản phẩm tổ chức sản xuất cách đắn - Xác định nhu cầu thị trường cho sản phẩm Một số ứng dụng BI lĩnh vực ngân hàng: - Quản trị rủi ro - Bán sản phẩm, dịch vụ tới khách hàng có - Duy trì lượng khách hàng - Phân khúc khách hàng - Đánh giá việc kích hoạt sử dụng sản phẩm dịch vụ 2.2 Bài toán thẩm định tài sản bảo đảm hệ thống ngân hàng 2.2.1 Giới thiệu thẩm định tài sản bảo đảm Theo khoản 7, điều 3, NĐ 163/2006/CP, tài sản bảo đảm (TSBĐ) tài sản thuộc quyền sở hữu bên bảo đảm dùng để bảo đảm thực nghĩa vụ dân bên nhận bảo đảm Thẩm định tài sản bảo đảm việc mà ngân hàng sử dụng công cụ phương tiện kĩ thuật nhằm đánh giá giá trị tài sản bảo đảm mà khách hàng dùng để bảo đảm cho khoản vay [1] 2.2.2 Quy trình thẩm định giá tài sản bảo đảm Quy trình thẩm định giá tài sản bảo đảm mơ tả theo sơ đồ sau [3]: Hình 2- 1: Quy trình thẩm định tài sản bào đảm ngân hàng [3] Diễn giải quy trình thẩm định giá tài sản bảo đảm sau: - Bước 1: Nộp hồ sơ Tài sản bảo đảm - Bước 2: Kiểm tra hồ sơ khách hàng - Bước 3: Phân loại luồng thẩm định tài sản bảo đảm - Bước 4: Lập kiểm soát Giấy đề nghị thẩm định TSBĐ - Bước 5: Tiếp nhận kiểm soát Giấy đề nghị thẩm định TSBĐ - Bước 6: Phân công cán thẩm định TSBĐ - Bước 7: Xem xét HS TSBĐ - Bước 8: Bổ sung thông tin HS TSBĐ thiếu - Bước 9: Thẩm định TSBĐ, lập Báo cáo thẩm định - Bước 10: Ký duyệt Báo cáo thẩm định/ Phiếu phê duyệt giá trị TSBĐ - Bước 11: Chuyển Báo cáo thẩm định/ Phiếu phê duyệt giá trị TSBĐ ĐVKD - Bước 12: Nhận kết lưu hồ sơ 8 2.3.3 Phương pháp so sánh trực tiếp bước định giá giá trị tài sản Phương pháp so sánh trực tiếp phương pháp thẩm định giá dựa sở phân tích mức giá tài sản tương tự với tài sản cần định giá giao dịch thành công mua, bán thị trường vào thời điểm thẩm định giá Các bước thực áp dụng phương pháp so sánh sau [4]: - Bước 1: Nghiên cứu thị trường để có thơng tin giá giao dịch, giá niêm yết giá chào bán yếu tố so sánh tài sản tương tự với tài sản cần định giá - Bước 2: Thu thập, kiểm tra thông tin, số liệu yếu tố so sánh từ tài sản loại tương tự ,đã giao dịch thành công mua, bán thị trường - Bước 3: Lựa chọn đơn vị so sánh chuẩn xây dựng bảng phân tích, so sánh đơn vị so sánh chuẩn - Bước 4: Phân tích, xác định yếu tố khác biệt TSSS tài sản cần định giá từ thực điều chỉnh giá TSSS - Bước 5: Phân tích tổng hợp mức giá dẫn TSSS, rút mức giá dẫn đại diện để ước tính xác định mức giá tài sản cần thẩm định 9 CHƯƠNG 3: PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG BI HỖ TRỢ THẨM ĐỊNH TÀI SẢN BẢO ĐẢM TRONG NGÂN HÀNG 3.1 Phát biểu tốn Trong phương pháp so sánh quy trình thẩm định Cần xác định yếu tố ảnh hưởng đến giá trị tài sản thẩm định - Nhà ở, đất ở: Tình trạng pháp lý,các điều khoản tài chính,thời hạn giao đất, địa điểm, địa thế, hình dáng, chiều rộng mặt tiền, chiều sâu lô đất, hướng, quy hoạch, đặc điểm tài sản đất - Cửa hàng, chợ, siêu thị, khu thương mại:Giá bán, thuê, vị trí, khả sinh lời, thời gian kinh doanh, chiều rộng, điều kiện bán… - Hàng hóa: Chất lượng, tình trạng bảo quản, lô hàng nguồn gốc xuất xứ, chiều dài, chiều rộng, độ dày, hình thức đóng gói… - Xe: Giấy tờ pháp lý, tên xe đánh giá,dung tích động cơ, nhiên liệu, số chỗ ngồi/Tải trọng, nước sản xuất, số km chạy… Khi sử dụng phương pháp so sánh lập báo cáo thẩm định tài sản, chuyên viên thẩm định cần xác định TSSS gần tương đồng với TSTĐ xác định giá trị tài sản bảo đảm dựa tỷ lệ điều chỉnh giá yếu tố so sánh 3.2 Áp dụng thuật toán K-Nearest Neighbors (KNN) thuật tốn hồi quy tuyến tính đa biến định giá Luận văn kết hợp KNN hồi quy tuyến tính đa biến vào tốn ước lượng giá tài sản phương pháp so sánh: - Sau có thơng tin yếu tố cần quan tâm tài sản Sử dụng phương pháp K láng giềng để xác định k tài sản có nhiều yếu tố gần giống với tài sản cần thẩm định Sau chọn tài sản gần giống k tài sản vừa tìm - Với tập k tài sản vừa tìm ta có tập liệu khơng có nhiễu Sử dụng phương pháp hồi quy tuyến tính đa biến để lập phương trình hồi quy Mỗi biến yếu tố cần so sánh Các hệ số hồi quy tìm tương đương với tỷ lệ điều chỉnh giá tài sản Nó tăng giảm 10 - Áp dụng mơ hình hồi quy vừa tìm để tính giá trị ước lượng tài sản so sánh Giá trị trung bình tài sản so sánh giá trị tài sản thẩm định Như vậy, với kết hợp hai phương pháp toán định giá tài sản thẩm định gần giải bước phương pháp so sánh thực tế mà nhân viên thẩm định cần phải thực 3.3 Thiết kế ứng dụng Theo mô tả tốn thẩm định tài sản trình bày mục Hệ thống hỗ trợ thẩm định tài sản bảo đảm ngân hàng thiết kế thành hai module: Module ETL module thẩm định tài sản bảo đảm Hệ thống thẩm định giá Module ETL Service phân tích file báo cáo Trích xuất từ CSDL thẩm định Module Thẩm định tài sản Quản lý hồ sơ TĐ Lập hồ sơ TĐ Tạo báo cáo TĐ Hình 3- 1: Mơ hình thiết kế ứng dụng thẩm định tài sản bảo đảm 3.3.1 Module ETL Nhóm chức ETL (Extract, Transform and Load) thực việc trích rút, chuyển đổi nạp liệu vào kho liệu ứng dụng: - Xây dựng core service để đọc file báo cáo thẩm định Các file báo cáo thẩm định gửi từ ngân hàng liệu chi nhánh ngân hàng Từ file liệu báo cáo ngân hàng mua từ đối tác, ngân hàng khác - Ngoài chương trình cho phép người dùng phân tích file báo cáo thẩm định người dùng thu thập vào Database, thông qua chức import thêm trực tiếp từ form nhập liệu - Tiền xử lý liệu: Dữ liệu đọc từ file trích xuất, tiền xử lý để thỏa mãn với cấu trúc sở liệu xây dựng kho liệu - Xây dựng job định kỳ ETL liệu báo cáo thẩm định hồn thành chương trình Thẩm định tài sản 11 3.3.2 Module Thẩm định tài sản Biểu đồ Use-Case tổng quát module Thẩm định tài sản: Hình 3- 2: Biểu đồ Use Case module Thẩm định tài sản Chứa tính liên quan đến quy trình thẩm định giá Trong module bao gồm nhóm chức sau: Lập hồ sơ thẩm định giá, Tạo báo cáo thẩm định, Quản lý hồ sơ Đối với loại tài sản khác có thuộc tính đưa để định giá khác nhau, phương pháp định giá sử dụng khác Vì hồ sơ thẩm định giá báo cáo thẩm định khác theo loại tài sản Như vậy, tài sản bảo đảm dùng để định giá bao gồm: Bất động sản đất, hộ, sạp chợ, hàng hóa, xe, máy móc thiết bị… 3.4 Triển khai 3.4.1 Xây dựng Database Thông tin chung hồ sơ thẩm định: 12 Hình 3- 3: Lược đồ liệu thông tin hồ sơ thẩm định Thông tin tài sản bảo đảm Bất Động Sản - Đất: Hình 3-4: Lược đồ liệu thơng tin tài sản BĐS- Đất 13 Thông tin báo cáo thẩm định tài sản bảo đảm Hình 3- 5: Lược đồ liệu thông tin báo cáo thẩm định tài sản bảo đảm 14 CHƯƠNG 4: CÀI ĐẶT VÀ KẾT QUẢ 4.1 Cài đặt Hệ thống yêu cầu cài đặt server: - Server cài đặt ứng dụng: CPU: 2.5 GHz, RAM: 2GB, HD: 50GB Hệ điều hành Linux, Server JBoss 4.2, Cài đặt jdk 1.7 - Server cài đặt database: CPU: 2.5 GHz, RAM: 8GB, HD: 1TB Hệ điều hành Linux, Oracle 12c 4.2 Kết 4.2.1 Chức quản lý thông tin hồ sơ thẩm định Chức cho phép người dùng quản lý hồ sơ thẩm định quyền quản lý Hình 4- 1: Chức Quản lý hồ sơ 4.2.2 Chức Cập nhật thông tin chung hồ sơ Khi chuyên viên thẩm định muốn tạo hồ sơ thẩm định tài sản Chuyên viên lựa chọn Thêm hồ sơ Bước đầu chuyên viên cần phải nhập thông tin chung hồ sơ 15 Hình 4- 2: Cập nhật thơng tin chung hồ sơ 4.2.3 Cập nhật thông tin pháp lý hồ sơ Sau bước cập nhật thông tin chung hồ sơ Chuyên viên cần khai báo đầy đủ thông tin pháp lý liên quan đến tài sản hồ sơ thẩm định 16 Hình 4- 3: Cập nhật thông tin pháp lý tài sản hồ sơ thẩm định 4.2.4 Cập nhật thông tin tài sản bảo đảm Chức yêu cầu chuyên viên cập nhật thông tin tài sản bảo đảm cần thẩm định hồ sơ 17 Hình 4- 4: Cập nhật thông tin tài sản bảo đảm - Bất động sản 4.2.5 Thuyết minh giá Chức hỗ trợ người dùng định giá cho tài sản Với yếu tố người dùng nhập vào để tìm kiếm Hệ thống vận dụng thuật toán KNN để xác định tập liệu: tài sản so sánh có yếu tố tương đồng với tài sản cần thẩm định tất tài sản có yêu tố tương đồng với thông tin người dùng nhập vào Hiển thị trực quan dạng biểu đồ bảng biểu giúp người dùng dễ đối sánh 18 theo dõi Ngoài ra, hệ thống tự động xây dựng mơ hình hồi quy tuyến tính đa biến với yếu tố cần quan tâm tài sản, tập liệu vừa tìm thuật tốn KNN Hình 4-5: Thuyết minh giá 19 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Luận văn thực nghiên cứu, thử nghiệm giải pháp công nghệ BI áp dụng vào toán hỗ trợ định thẩm định tài sản bảo đảm tai ngân hàng NBC nhằm mục đích xác định giá trị tài sản thẩm định cách xác tin cậy hơn, giảm thiểu thời gian thực báo cáo định giá tài sản, từ giúp khâu thẩm định đơn giản nhanh chóng Về mặt lý thuyết - Nghiên cứu sở lý thuyết kiến trúc Data warehouse - Nghiên cứu sở lý thuyết data mining số thuật toán áp dụng toán thẩm định: K láng giềng gần với phép tính khoảng cách Euclidean Hồi quy tuyến tính đa biến - Tìm hiểu giải pháp trí tuệ nghiệp vụ BI ứng dụng lĩnh vực tài ngân hàng - Phân tích trạng nghiệp vụ toán thẩm định tài sản bảo đảm ngân hàng NBC Về mặt thực nghiệm - Để xuất ứng dụng giải pháp BI vào việc khai thác liệu thẩm định tài sản bảo đảm ngân hàng liên ngân hàng, liệu mua bán tài sản thi trường, để giải toán hỗ trợ định giá cho tài sản đảm bảo trình thẩm định duyệt hồ sơ vay tiền, tín dụng Hướng tiếp cận giải tốn kết hợp thuật toán K láng giềng gần với phương pháp hồi quy tuyến tính để đưa mơ hình tốn học tính tốn giá trị tài sản dựa hệ số điều chỉnh giá yếu tố tài sản - Thiết kế xây dựng kho liệu hồ sơ thẩm định tài sản - Lập trình thuật tốn KNN mơ hình quy tuyến tính đa biến phục vụ mục đích hỗ trợ định giá trị tài sản đảm bảo - Xây dựng ETL để thu thập trích xuất thơng tin từ nguồn liệu hệ thống ngân hàng 20 - Thiết kế xây dựng ứng dụng Web thẩm định tài sản với loại tài sản Bất Động Sản - Đất để thử nghiệm giải pháp Hướng phát triển Kết nghiên cứu luận văn bước đầu giải pháp để ngân hàng NBC nâng cao chất lượng thẩm định tài sản Trong thời gian tới, để phát triển giải pháp hoàn thiện với mong muốn hỗ trợ tồn diện quy trình nghiệp vụ thẩm định tài sản, học viên định hướng triển khai số công việc sau: - Nghiên cứu cải tiến thuật tốn tìm K tài sản so sánh cách hiệu thời gian thay thuật toán Euclidean - Nghiên cứu áp dụng phương pháp dự báo mang lại kết ước tính cho giá trị TSTĐ cách xác hơn, phù hợp với hầu hết kiểu liệu đầu vào khác như: Các thuật toán định, mạng nerual… Hoặc kết hợp nhiều thuật toán khác để mang lại hiệu dự đoán - Xây dựng hoàn chỉnh ứng dụng với loại tài sản khác Bất động sản Đất - Bổ sung thêm tính báo cáo thơng minh để hỗ trợ công tác điều hành, tác nghiệp cán nghiệp vụ quản lý ... tốn thẩm định tài sản bảo đảm ngân hàng NBC Về mặt thực nghiệm - Để xuất ứng dụng giải pháp BI vào việc khai thác liệu thẩm định tài sản bảo đảm ngân hàng liên ngân hàng, liệu mua bán tài sản. .. định tài sản bảo đảm Theo khoản 7, điều 3, NĐ 163/2006/CP, tài sản bảo đảm (TSBĐ) tài sản thuộc quyền sở hữu bên bảo đảm dùng để bảo đảm thực nghĩa vụ dân bên nhận bảo đảm Thẩm định tài sản bảo đảm. .. sử dụng để đạt mục tiêu xác định ban đầu 6 CHƯƠNG BÀI TOÁN XÂY DỰNG HỆ THỐNG BI HỖ TRỢ THẨM ĐỊNH TÀI SẢN BẢO ĐẢM TRONG NGÂN HÀNG 2.1 Ứng dụng BI lĩnh vực ngân hàng Lĩnh vực tài ln phải thích ứng