Ứng dụng công nghệ kho dữ liệu trong công tác quản lý nguồn vốn tại ngân hàng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ––––––––––oOo–––––––––– TẠ LIÊN DUNG ĐỀ TÀI ỨNG DỤNG CÔNG NGHỆ KHO DỮ LIỆU TRONG CÔNG TÁC QUẢN LÝ NGUỒN VỐN TẠI NGÂN HÀNG Chuyên ngành: Công nghệ thông tin Mã số: 1.01.10 LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học: PGS.TS Nguyễn Đình Hố HÀ NỘI 2007 Kho liệu chuyển vốn Nội BIDV MỤC LỤC LỜI CÁM ƠN CHƢƠNG TỔNG QUAN VỀ KHO DỮ LIỆU I KHÁI NIỆM CHUNG VỀ KHO DỮ LIỆU Hệ thống sở liệu xử lý giao dịch (OLTP) Hệ thống Kho liệu Chợ liệu (Data Mart) 12 Kiến trúc Kho liệu 13 II CÁC THÀNH PHẦN CỦA KHO DỮ LIỆU 14 Rút trích liệu (ETL – Extract Transformation Loading) 15 a Trích liệu - Extract 16 b Chuyển đổi liệu - Transform 16 c Nạp liệu (Load) 17 d Làm liệu 18 Tổng hợp, phân tích liệu tạo Kho liệu OLAP 20 a Dạng nhiều chiều (Multidimensional) - MOLAP 21 b Dạng quan hệ (relational) - ROLAP 21 c Dạng lai (Hybird) - HOLAP 21 Phân phối liệu lƣu trữ (báo cáo) tới ngƣời sử dụng 22 Mơ hình khái niệm công cụ đầu cuối 23 a Mơ hình khái niệm 23 b Các công cụ đầu cuối 24 Các phƣơng pháp thiết kế sở liệu 26 CHƢƠNG CẤU TRÚC CỦA KHO DỮ LIỆU TẠI BIDV 29 I HỆ ĐIỀU HÀNH VÀ CƠ SỞ DỮ LIỆU NGUỒN: 29 Dữ liệu tập trung: 29 Giao dịch online: 30 Batchrun offline 30 II HỆ THỐNG KHO DỮ LIỆU 31 Mơ hình kho liệu BIDV 31 Cách thức hoạt động kho liệu BIDV 33 III CÁC VẤN ĐỀ ĐANG TỒN TẠI CỦA KHO DỮ LIỆU TẠI BIDV 35 Rút trích liệu (ETL) 35 Kho liệu OLAP 36 Các vấn đề phân phối báo cáo tới ngƣời sử dụng cuối 36 Mô hình ngân hàng 37 Hệ thống thông tin Hội sở BIDV 38 Sự cần thiết kho liệu ngân hàng 39 CHƢƠNG YÊU CẦU CHUNG CỦA HỆ THỐNG CHUYỂN VỐN NỘI BỘ 40 I YÊU CẦU CHUNG 40 II GIẢI THÍCH MỘT SỐ TỪ NGỮ ĐƢỢC SỬ DỤNG TRONG TÀI LIỆU 41 III CÁC YÊU CẦU CỤ THỂ: 42 Tạ Liên Dung - K10T3 Kho liệu chuyển vốn Nội BIDV Kỳ hạn chuyển vốn 42 Giá chuyển vốn: 43 Đồng tiền giao dịch: 44 Thu nhập: 44 Đánh giá hiệu đơn vị kinh doanh: 45 Điều chỉnh chi phí: 47 Điều chỉnh thu nhập 49 CHƢƠNG PHÂN TÍCH THIẾT KẾ HỆ THỐNG CHUYỂN VỐN NỘI BỘ 51 I SƠ ĐỒ LUỒNG DỮ LIỆU 51 II MÔ TẢ HOẠT ĐỘNG CỦA HỆ THỐNG 53 III MÔ TẢ CÁC BẢNG DỮ LIỆU THỰC THỂ CỦA CƠ SỞ DỮ LIỆU SQL - KHO DỮ LIỆU 54 Atmftpday 54 Atmftpday_R 55 Amtftpmonth 56 Contract_ftp 57 Cdmast_FTP 57 DDmast_Ftp 58 Glmast_ftp 59 Lnmast_ftp 59 kiemtralechPH_GL 60 10 Thunhapftp 61 11 Ssfxhs 61 12 Zbranch 61 13 zcurtyp 62 14 Zftpday 62 15 Zftpmat 62 16 Zftpmat_R 63 17 Zgl0 63 18 Zgl1 63 19 Zgl2 64 20 Zgl3 64 21 Zgl4 64 22 Zgltncp 64 23 Zngayhethong 65 24 Zprod0 65 25 Zprod1 65 26 Zprod2 66 27 Zprod3 66 28 Zprod4 66 IV MÔ TẢ PACKAGE CỦA CHƢƠNG TRÌNH 67 V MÔ TẢ CÁC KHỐI OLAP 67 FTPday_08: 67 Tạ Liên Dung - K10T3 Kho liệu chuyển vốn Nội BIDV FTPday_TH 69 FTPMonth 70 TNCP 71 GL_POS 72 Ktralech 73 VI CHƢƠNG TRÌNH BÁO CÁO ĐỊNH GIÁ CHUYỂN VỐN NỘI BỘ 75 VII CHƢƠNG TRÌNH THAM SỐ 80 VIII KẾT LUẬN 81 Tạ Liên Dung - K10T3 Kho liệu chuyển vốn Nội BIDV CHƢƠNG TỔNG QUAN VỀ KHO DỮ LIỆU I KHÁI NIỆM CHUNG VỀ KHO DỮ LIỆU Máy tính từ đời đóng vai trị vơ quan trọng lịch sử phát triển nhân loại Các máy tính cung cấp cơng cụ tính tốn mạnh, cho phép người giải tốn có số lượng tính tốn khổng lồ mà trước khơng thể thực tay Máy tính góp phần làm đẩy nhanh tốc độ phát triển khoa học kỹ thuật toàn giới Cùng với phát triển vũ bão công nghệ phần cứng lĩnh vực công nghệ thông tin, công nghệ phần mềm có bước tiến dài lĩnh vực quản lý liệu Ban đầu xuất CSDL quan hệ chạy máy để bàn DBASE, ACCESS, FOXPRO, SQL Server , tạo điều kiện vô thuận lợi cho nguời phát triển Dường máy tính chương trình giải hầu hết vấn đề lĩnh vực quản lý Tuy nhiên, thực tế, công ty, tổ chức muốn thành công thị trường, việc tổ chức bán hàng tốt (giao dịch đơn giản, thuận tiện cho người mua người quản lý bán hàng ), người lãnh đạo công ty phải nắm thực chất trình diễn đơn vị mơi trường kinh doanh mà đơn vị hoạt động để đưa định điều hành đắn, kịp thời Các hệ phần mềm kế toán, lập kế hoạch, giao dịch khách hàng, lập hố đơn tự động thực chức giao dịch đơn vị kinh doanh Chính lý hệ thống có tên cổ điển hệ thống xử lý giao dịch (OLTP- online transaction processing) Hệ thống sở liệu xử lý giao dịch (OLTP) Hệ thống OLTP cho phép giao dịch thay đổi liệu bảng (thông qua lệnh insert, update, delete, join ) trình xử lý Hệ thống cho phép nhiều ứng dụng truy cập liệu thời điểm Các ứng dụng client bao gồm tất loại ứng dụng ngân hàng, bán vé trực tuyến, bán vé hàng không, tốn cước phí Sử dụng hệ thống OLTP có ưu điểm sau: Tạ Liên Dung - K10T3 Kho liệu chuyển vốn Nội BIDV - Xử lý chuyển tác tương tác - Dễ bảo trì khống chế liệu thừa - Thiết lập liệu quan hệ trọn vẹn - Tính hiệu cao - Giảm thời gian giao dịch khách hàng Các CSDL hệ OLTP thường thiết kế thoả mãn 3NF (Third Normal Form) tốt Đặc điểm hệ thống OLTP lưu trữ liệu "thơ", có nghĩa mức độ tổng quát, trừu tượng liệu thấp Nói cách khác OLPT có ích để tìm trả lời câu truy vấn dạng: Tổng sản lượng sản phẩm X công ty bán tháng đầu năm, mặt hàng bán chạy địa phương Y tháng vừa qua Trong nhà quản lý mức cao công ty quan tâm đến câu hỏi loại Điều họ cần ý câu hỏi trừu tượng như: Tiêu thụ A B giảm, thay đổi 3%-5% giá sản phẩm A khu vực B, tình trạng tiêu thụ thay đổi tháng cuối năm sao? Các hệ thống OLTP trả lời tốt câu hỏi dạng công cụ hệ CSDL quan hệ để tìm đáp án cho câu hỏi dạng không đơn giản Những yếu tố cản trở việc sử dụng liệu hệ thống OLPT việc phân tích liệu là: + Các số liệu mức chi tiết + Các số liệu phân bố hệ thống khác nhau, có thủ tục truy cập khác CSDL hoàn toàn khác + Các số liệu không cập nhập chu kỳ dẫn đến đồng + Việc tổ chức truy cập từ nhiều bảng liệu khác có ảnh hưởng xấu tới hiệu suất hệ thống mục đích hệ thống nhằm phục vụ giao dịch trực tuyến Trong môi trường thừa thãi số liệu, nhà phân tích khơng thể tìm cho thơng tin cần thiết nhằm có hiểu biết thấu đáo trình Tạ Liên Dung - K10T3 Kho liệu chuyển vốn Nội BIDV xảy xung quanh Tình trạng số liệu chi tiết khơng có liên kết với số liệu phản ánh trình tương đối độc lập thực thể lý trực tiếp dẫn đến khủng hoảng Vì vậy, người ta đưa giải pháp tích hợp hệ thống OLTP để tạo hệ thống chứa đầy đủ thơng tin Tuy nhiên giải pháp có hai nhược điểm lớn: - Phải liên kết hệ thống có xuất xứ khác phần cứng phần mềm hệ thống Các chương trình cần có thống định nghĩa liệu phương pháp biểu diễn liệu Vấn đề phức tạp chí hệ thống có thiết kế phân tích tốt hồn tồn khơng khả thi hệ thống mô tả - Việc truy vấn để tạo báo cáo thường xuyên phải khoá nhiều bảng, cản trở truy xuất nhân viên khai thác trình làm việc hàng ngày làm ảnh hưởng trực tiếp đến khách hàng Với phát triển vũ bão ngành công nghệ, nhu cầu sử dụng sở liệu thay đổi nhiều, từ việc quản lý, phân tích liệu truyền thống tiến tới nhu cầu phân tích xử lý liệu trực tuyến, nhu cầu hỗ trợ định Vào năm 90 kỷ trước, B.Inmon đề xướng giải pháp kỹ thuật gọi Data Warehoushing - kỹ thuật xây dựng kho liệu Data Warehouse hay DWH (kho liệu) định nghĩa tập hợp phương tiện cho phép hình dung liệu cách tổng thể, hướng đối tượng để giúp cho việc phân tích định Những người đưa ý tưởng DWH xác định tiến hành phân tích trực tiếp liệu hệ xử lý giao dịch không hiệu Các liệu từ vài OLTP biến đổi sau đưa vào nguồn liệu DWH Quá trình gọi đưa liệu vào DWH, gồm cơng đoạn sau: + Làm (Bỏ liệu không cần thiết chuyên dụng) + Liên kết số liệu (Tính trước số liệu tích, tổng, trung bình ) Tạ Liên Dung - K10T3 Kho liệu chuyển vốn Nội BIDV + Biến đổi liệu: số liệu biến đổi thành dạng thích hợp, tổ chức lại phù hợp với DWH + Tích hợp số liệu từ nguồn khác + Đồng hoá số liệu thời điểm xác định DWH hệ thống liệu chuẩn bị để xây dựng hệ hỗ trợ định (DSS-Decision Support Systems) hệ phân tích trực tuyến (OLAP-Online Analysis Processing) liệu DWH thoả mãn tính chất tồn vẹn có liên kết nội tại: Mặc dù liệu cung cấp từ nhiều OLTP, chúng liên kết thống quy tắc đặt tên, đơn vị đo, hệ thống thuộc tính chung Điều có giá trị đặc biệt xí nghiệp vận hành lúc vài hệ thống, liệu biểu diễn đơn vị khác (ví dụ cách biểu diễn ngày, tháng khác biểu diễn logic khác nhau) Các số quan trọng có tổng số, giá trị trung bình giai đoạn khác nhau, trung bình cộng biểu diễn đa dạng hệ khác Khi đưa số liệu vào DWH, số không tương thích chuyển đổi, tránh lỗi tiềm tàng hệ thống Kho liệu xử lý phân tích trực tuyến (OLAP) yếu tố cần thiết hệ hỗ trợ định, trở thành tâm điểm ý ngành công nghiệp sở liệu Rất nhiều dịch vụ, sản phẩm thương mại tất hệ quản trị sở liệu hỗ trợ lĩnh vực Hệ hỗ trợ định đặt số yêu cầu khác biệt cho công nghệ sở liệu so với ứng dụng xử lý giao dịch trực tuyến truyền thống Hệ thống Kho liệu Một kho liệu tập hợp liệu ổn định, hướng đối tượng, tích hợp biến thiên theo thời gian, dược sử dụng chủ yếu việc định có tổ chức Kho liệu cài đặt độc lập so với sở liệu thao tác ban đầu hỗ trợ q trình xử lý phân tích trực tuyến (OLAP), thế, yêu cầu hiệu chức khác biệt so với yêu cầu ứng dụng xử lý giao dịch trực tuyến (OLTP) truyền thống sở liệu tương tác Các đặc tính kho liệu thơng thường là: Tạ Liên Dung - K10T3 Kho liệu chuyển vốn Nội BIDV Hướng chủ đề: Các hệ thống OLTP chứa hàng trăm Gbyte số liệu, nhiên số liệu hồn tồn vơ ích việc phân tích trực tuyến (VD: Địa chỉ, ID khách hàng ) Các liệu kiểu thường không đưa vào DWH để hạn chế liệu cần xem xét xuống mức tối thiểu bảo đảm thông tin theo SA (vùng chủ đề- Subject area) Một vùng chủ đề chủ đề tách từ tập hợp lớn chủ đề mà người sử dụng quan tâm công việc kinh doanh, (Ví dụ khách hàng, thời gian hay sản phẩm) Số liệu có tính lịch sử: Các hệ OLTP thường bao quát khoảng thời gian không lớn chúng lưu trữ theo chu kỳ Ngược lại DWH, liệu hàng chục năm lưu trữ nhằm phát liên hệ yếu tố ảnh hưởng đến tiêu cần quan tâm thời gian dài Số liệu để đọc: Dữ liệu đưa vào DWH để đọc, việc sửa liệu không tiến hành điều dẫn đến phá vỡ tồn vẹn Thơng thường người ta khơng u cầu giảm thời gian đưa liệu vào DWH xuống mức tối thiểu, cần tối ưu hoá DWH cho truy vấn phục vụ cho việc phân tích đạt tốc độ tốt Các sơ đồ quan hệ tạo Index hợp lý tạo sẵn liệu kết hợp Số liệu không biến động: Thông tin DW tải vào sau liệu hệ thống điều hành cho cũ Không biến động thể chỗ: Dữ liệu lưu trữ lâu dài kho liệu Mặc dù có thêm liệu nhập vào liệu cũ kho khơng bị xố, điều cho phép cung cấp thông tin khoảng thời gian dài, cung cấp đủ số liệu cần thiết cho mơ hình nghiệp vụ phân tích, dự báo Các ứng dụng OLTP tiêu biểu thường tự động hoá tác vụ xử lý liệu văn phòng, chẳng hạn nhập đơn đặt hàng giao dịch ngân hàng Các tác vụ thao tác lặp lặp lại ngày cách có tổ chức Các tác vụ thường giao dịch có cấu trúc lặp lại, ngắn gọn, bản, phân lập Các giao dịch yêu cầu liệu chi tiết, cập nhật, đồng thời đọc cập nhật số ghi truy cập đặc biệt qua khố chúng Các sở liệu tương tác thường có kích cỡ khoảng hồng trăm megabytes vài gigabytes Tính ổn định khả khôi phục lại sở liệu có giới hạn, việc tối đa hố thông lượng giao dịch việc đo Tạ Liên Dung - K10T3 10 Kho liệu chuyển vốn Nội BIDV lường hiệu then chốt Do đó, sở liệu thiết kế để phản ánh ngữ nghĩa quản trị ứng dụng tri thức và, đặc biệt là, để tối thiểu hoá xung đột đồng thời Trái ngược với ứng dụng OLTP, kho liệu thiết kế cho mục đích hỗ trợ định Các liệu hợp nhất, tổng hợp lịch sử quan trọng ghi độc lập, chi tiết Vì kho liệu chứa liệu đồng nhất, lấy từ số sở liệu thao tác, qua giai đoạn thời gian dài, chúng xếp để chứa khối lượng liệu lớn sở liệu thao tác thông thường Các kho liệu doanh nghiệp xây dựng để chứa tới hàng trăm gigabyte hàng terabyte liệu Khối lượng công việc thường truy vấn ad hoc, truy vấn phức tạp (các truy vấn truy cập tới vài triệu ghi thực nhiều thao tác quét, kết nối tập hợp) Thông lượng truy vấn thời gian đáp ứng kho liệu quan trọng nhiều so với thông lượng giao dịch Để làm cho cơng việc phân tích hình dung liệu trở nên dễ dàng hơn, liệu kho thường có mơ hình nhiều chiều Ví dụ, kho liệu bán hàng, thời gian bán hàng, người bán, sản phẩm số chiều liệu Thơng thường, chiều phân thành cấp độ; thời gian bán hàng tổ chức dạng cấp độ ngày - tháng - quý - năm, sản phẩm tổ chức dạng sản phẩm - danh mục - công nghiệp Nếu ta cố gắng thực thi truy vấn xử lý phân tích trực tuyến (OLAP) phức tạp sở liệu thao tác kết thu hiệu suất thấp (thời gian trả lời truy vấn lâu), chí khơng thể chấp nhận Hơn nữa, việc hỗ trợ định địi hỏi liệu khơng có từ sở liệu thao tác, ví dụ như, để hiểu xu hướng đưa tiên đốn u cầu phải có liệu lịch sử, đó, sở liệu tương tác lưu liệu Việc hỗ trợ định thường đòi hỏi liệu hợp từ nhiều nguồn liệu hỗn tạp: nguồn liệu nguồn liệu mở rộng số sở liệu tương tác Các nguồn khác có chất lượng liệu khác nhau, sử dụng đại diện, mã hoá định dạng trái ngược với Ngoài ra, việc hỗ trợ mơ hình liệu nhiều chiều thao tác OLAP (mở rộng mức độ tổ hợp, thu nhỏ mức độ tổ hợp mở rộng chi tiết) yêu cầu cách tổ chức liệu, phương pháp truy cập liệu Tạ Liên Dung - K10T3 11 ... Nội BIDV - Các nguồn liệu: Các nguồn liệu sở liệu thao tác, nguồn khác - Thành phần lưu trữ liệu: Sau liệu rút trích nạp vào kho liệu, đặt thành phần lưu trữ liệu - OLAP Engine: Dữ liệu tổng hợp... thác liệu Chợ liệu Các nguồn liệu Lƣu trữ liệu OLAP Engine Các công cụ đầu cuối Hình Kiến trúc kho liệu Các thành phần kho liệu thể Hình bao gồm: Tạ Liên Dung - K10T3 13 Kho liệu chuyển vốn Nội... sách làm liệu thiết lập người quản trị kho liệu, dựa yêu cầu người sử dụng khác nguồn liệu khác Tạ Liên Dung - K10T3 18 Kho liệu chuyển vốn Nội BIDV Các kỹ thuật làm liệu dựa đặc thù liệu nguồn