Luận văn thạc sĩ VNU UET ứng dụng công nghệ kho dữ liệu trong công tác quản lý nguồn vốn tại ngân hàng

TỔNG QUAN VỀ KHO DỮ LIỆU

KHÁI NIỆM CHUNG VỀ KHO DỮ LIỆU

Máy tính từ khi ra đời đã đóng vai trò vô cùng quan trọng trong lịch sử phát triển của nhân loại Các máy tính cung cấp những công cụ tính toán mạnh, cho phép con người giải được các bài toán có số lượng tính toán khổng lồ mà trước đó không thể thực hiện được bằng tay Máy tính cũng góp phần làm đẩy nhanh tốc độ phát triển của nền khoa học kỹ thuật trên toàn thế giới

Cùng với sự phát triển như vũ bão của công nghệ phần cứng trong lĩnh vực công nghệ thông tin, công nghệ phần mềm cũng có những bước tiến dài trong lĩnh vực quản lý dữ liệu Ban đầu là sự xuất hiện của những CSDL quan hệ chạy trên các máy để bàn như DBASE, ACCESS, FOXPRO, SQL Server , tạo điều kiện vô cùng thuận lợi cho nguời phát triển Dường như máy tính và những chương trình của nó đã giải quyết được hầu hết các vấn đề trong lĩnh vực quản lý Tuy nhiên, trong thực tế, các công ty, tổ chức muốn thành công trên thị trường, ngoài việc tổ chức bán hàng tốt (giao dịch đơn giản, thuận tiện cho người mua và người quản lý bán hàng ), người lãnh đạo công ty phải nắm được thực chất các quá trình diễn ra trong đơn vị mình và trong môi trường kinh doanh mà đơn vị đó hoạt động để đưa ra các quyết định điều hành đúng đắn, kịp thời

Các hệ phần mềm kế toán, lập kế hoạch, giao dịch khách hàng, lập hoá đơn mới chỉ có thể tự động thực hiện các chức năng giao dịch cơ bản của một đơn vị kinh doanh Chính vì lý do đó những hệ thống này có một cái tên cổ điển là hệ thống xử lý giao dịch (OLTP- online transaction processing)

1 Hệ thống cơ sở dữ liệu xử lý giao dịch (OLTP)

Hệ thống OLTP cho phép các giao dịch thay đổi dữ liệu trong bảng (thông qua các lệnh insert, update, delete, join ) trong quá trình xử lý Hệ thống cho phép nhiều ứng dụng cùng truy cập dữ liệu tại một thời điểm

Các ứng dụng trên client bao gồm tất cả các loại ứng dụng như ngân hàng, bán vé trực tuyến, bán vé hàng không, thanh toán cước phí Sử dụng hệ thống OLTP có các ưu điểm sau:

Kho dữ liệu chuyển vốn Nội bộ tại BIDV

- Xử lý các chuyển tác tương tác

- Dễ bảo trì và khống chế dữ liệu thừa

- Thiết lập dữ liệu quan hệ trọn vẹn

- Giảm thời gian giao dịch của khách hàng

Các CSDL trong các hệ OLTP thường được thiết kế thoả mãn 3NF (Third Normal Form) hoặc tốt hơn Đặc điểm của hệ thống OLTP là nó lưu trữ các dữ liệu "thô", có nghĩa là mức độ tổng quát, trừu tượng của dữ liệu này rất thấp Nói cách khác OLPT rất có ích để tìm trả lời những câu truy vấn dạng: Tổng sản lượng sản phẩm X do công ty bán được trong 6 tháng đầu năm, mặt hàng nào bán chạy nhất tại địa phương Y trong tháng vừa qua Trong khi đó các nhà quản lý ở mức cao của công ty rất ít khi quan tâm đến những câu hỏi loại đó Điều họ cần chú ý là những câu hỏi trừu tượng hơn như: Tiêu thụ A tại B đang giảm, nếu thay đổi 3%-5% giá của sản phẩm A tại khu vực B, tình trạng tiêu thụ sẽ thay đổi ra sao trong 6 tháng cuối năm và tại sao?

Các hệ thống OLTP hiện nay trả lời rất tốt câu hỏi dạng 1 bằng các công cụ của hệ CSDL quan hệ nhưng để tìm đáp án cho những câu hỏi dạng 2 là không đơn giản Những yếu tố căn bản cản trở việc sử dụng dữ liệu của các hệ thống OLPT trong việc phân tích dữ liệu là:

+ Các số liệu ở mức quá chi tiết

+ Các số liệu được phân bố ở những hệ thống khác nhau, có các thủ tục truy cập khác nhau và ở những CSDL hoàn toàn khác nhau

+ Các số liệu không được cập nhập cùng một chu kỳ dẫn đến sự mất đồng bộ

+ Việc tổ chức truy cập từ rất nhiều bảng dữ liệu khác nhau có ảnh hưởng rất xấu tới hiệu suất của các hệ thống vì mục đích của các hệ thống này là nhằm phục vụ các giao dịch trực tuyến

Trong môi trường thừa thãi số liệu, nhà phân tích không thể tìm ra cho mình thông tin cần thiết nhằm có được sự hiểu biết thấu đáo về những quá trình

Kho dữ liệu chuyển vốn Nội bộ tại BIDV xảy ra xung quanh Tình trạng số liệu quá chi tiết và không có được sự liên kết với nhau của các số liệu phản ánh các quá trình tương đối độc lập của một thực thể là lý do trực tiếp dẫn đến sự khủng hoảng này

Vì vậy, người ta đã đưa ra giải pháp tích hợp các hệ thống OLTP để tạo ra một hệ thống chứa đầy đủ thông tin Tuy nhiên giải pháp này có hai nhược điểm lớn:

- Phải liên kết các hệ thống có xuất xứ khác nhau về phần cứng và phần mềm hệ thống Các chương trình cần có sự thống nhất về định nghĩa dữ liệu cũng như phương pháp biểu diễn dữ liệu Vấn đề này rất phức tạp thậm chí đối với các hệ thống có thiết kế phân tích tốt và hoàn toàn không khả thi đối với những hệ thống được mô tả kém

- Việc truy vấn để tạo báo cáo thường xuyên phải khoá rất nhiều bảng, cản trở sự truy xuất của nhân viên khai thác trong quá trình làm việc hàng ngày và làm ảnh hưởng trực tiếp đến khách hàng

Với sự phát triển như vũ bão của các ngành công nghệ, nhu cầu sử dụng cơ sở dữ liệu hiện nay cũng đã thay đổi rất nhiều, từ việc quản lý, phân tích dữ liệu truyền thống tiến tới nhu cầu phân tích xử lý dữ liệu trực tuyến, nhất là nhu cầu hỗ trợ quyết định

Vào những năm 90 của thế kỷ trước, B.Inmon đề xướng một giải pháp kỹ thuật gọi là Data Warehoushing - kỹ thuật xây dựng các kho dữ liệu Data Warehouse hay DWH (kho dữ liệu) được định nghĩa như một tập hợp các phương tiện cho phép hình dung dữ liệu một cách tổng thể, hướng đối tượng để giúp cho việc phân tích và ra quyết định

CÁC THÀNH PHẦN CỦA KHO DỮ LIỆU

Hình 1 thể hiện cấu trúc cơ bản của kho dữ liệu, ở phần này, tôi xin trình bày cụ thể các thành phần, các tiến trình cơ bản của kho dữ liệu

1 Rút trích dữ liệu (ETL – Extract Transformation Loading)

Tiến trình ETL trong kho dữ liệu gồm có 3 bước chính: trích dữ liệu từ các nguồn dữ liệu bên ngoài (Extract), chuyển đổi nó cho phù hợp với yêu cầu của công việc (Transform), sự chuyển đổi này có nhiều mức độ khác nhau và không cố định (ultimately), và cuối cùng là nạp dữ liệu vào nơi chứa cuối cùng - chẳng hạn kho dữ liệu (Load)

Hình 2 Module rút trích dữ liệu

ETL phần cốt lõi của kho dữ liệu, nó cho phép lấy dữ liệu từ các nguồn khác nhau như tệp excel, tệp *.dbf, tệp *.mdb… theo các tiêu chí cần thiết để đưa về một chuẩn chung Module Rút trích dữ liệu được mô tả trong Hình 2

Mỗi kho dữ liệu của các hãng khác nhau có một công cụ ETL riêng, đặc thù của hãng đó, nhưng dù có đặc thù như thế nào đi chăng nữa thì ETL phải đáp ứng được các yêu cầu sau:

- Lấy được dữ liệu từ mọi định dạng khác nhau

- Đưa dữ liệu về định dạng chung

- Dễ dàng chỉnh sửa hoặc bổ sung các tiêu chí lấy dữ liệu

Thực vậy, hai tiêu chí đầu là bắt buộc đối với tất cả các công cụ ETL, nếu không thoả mãn được hai tiêu chí này, dữ liệu trong kho sẽ không đầy đủ, không đáp ứng được các tiêu chí do người sử dụng đặt ra, do đó kho dữ liệu sẽ không thể tồn tại Tiêu chí thứ ba có tính chất định tính, do đó, tùy theo nhà cung cấp, mỗi công cụ ETL cho phép mức độ chỉnh sửa hoặc bổ sung các tiêu chí lấy dữ

Cơ sở dữ liệu DB2

Cơ sở dữ liệu ORACLE

Tầng Rút trích dữ liệu (ETL)

Kho dữ liệu chuyển vốn Nội bộ tại BIDV liệu khác nhau đối với người sử dụng Tuy nhiên, để có thể chỉnh sửa hoặc bổ sung các tiêu chí này, người sử dụng cũng phải nắm vững nghiệp vụ và phải được đào tạo kỹ về các cấu trúc logic của công cụ ETL

Module ETL là cấu phần quan trọng trong mô hình Kho dữ liệu, sự tối ưu hoá module này giúp cho các báo cáo của kho dữ liệu có thông tin đúng đắn, không bị dư thừa dữ liệu, tốc độ xử lý của kho ổn định, thời gian xử lý ngắn

Ta sẽ đi sâu phân tích các cấu phần của ETL a Trích dữ liệu - Extract

Cấu phần đầu tiên của ETL là trích dữ liệu từ các nguồn dữ liệu khác nhau

Hầu hết các kho dữ liệu đều phải lấy dữ liệu từ nhiều nguồn dữ liệu có định dạng hoặc tổ chức khác nhau Hầu hết các nguồn dữ liệu thông thường đều ở dạng cơ sở dữ liệu quan hệ hoặc các cơ sở dữ liệu "phẳng" (không có quan hệ giữa các bản ghi và các bảng) còn gọi là flat files database, nhưng cũng có thể chứa các cấu trúc cơ sở dữ liệu như IMS hoặc các cấu trúc dữ liệu khác chẳng hạn như VSAM hoặc ISAM Quá trình trích dữ liệu sẽ chuyển đổi dữ liệu từ các nguồn trên thành một định dạng chung để sử dụng trong quá trình chuyển đổi dữ liệu (transformation) b Chuyển đổi dữ liệu - Transform

Quá trình chuyển đổi dữ liệu áp dụng một loạt các quy tắc hoặc các hàm cho các dữ liệu đã được trích ở bước trước, sau đó nó chuyển dữ liệu trên cho quá trình nạp dữ liệu tới đích định trước, trong thực tế, quá trình chuyển đổi chính là quá trình làm sạch dữ liệu Một số nguồn dữ liệu không đòi hỏi hoặc đòi hỏi rất ít thao tác của dữ liệu Trong các trường hợp khác, để đáp ứng các yêu cầu về mặt kỹ thuật hoặc nghiệp vụ thì quá trình chuyển đổi dữ liệu có thể thực hiện các tác vụ sau:

- Chỉ chọn một số cột nhất định, hoặc không chọn các cột null cho quá trình nạp

- Chuyển đổi mã hoá các giá trị (ví dụ: trong dữ liệu nguồn, ở cột giới tính, người ta sử dụng 1 đại diện cho nam, 2 đại diện cho nữ, nhưng trong kho dữ liệu người tại lại sử dụng M cho giới tính nam, F cho giới tính nữ), quá trình này gọi

Kho dữ liệu chuyển vốn Nội bộ tại BIDV là tự động làm sạch dữ liệu Trong suốt quá trình ETL, không có sự can thiệp làm sạch dữ liệu thủ công

- Mã hoá các giá trị ở dạng "tự do" (nhập text) Chuyển các giá trị tự do này về các giá trị quy định

- Tạo ra các giá trị tính toán dựa trên các trường có sẵn, ví dụ thành tiền đơn giá x số lượng

- Liên kết các dữ liệu với nhau từ các nguồn VD: trong Excel có các trường giá trị được tính toán bằng các công thức lookup, merge thì phải tính lại các giá trị thực của trường đó

- Tính tổng của các dòng dữ liệu (vd: tính tổng doanh số của mỗi nhân viên bán hàng, )

- Tạo ra các giá trị khoá surrogate - khoá này là giá trị định danh duy nhất của các thực thể mô hình hoặc các đối tượng trong CSDL

- Chuyển đổi dữ liệu theo chiều ngang hoặc dọc

- Tách dữ liệu từ một cột thành nhiều cột (Vd: họ tên tách rời thành họ, họ đệm, tên )

- Ngoài ra, quá trình chuyển đổi dữ liệu có thể áp dụng một hoặc tổ hợp các quy tắc chuẩn hoá dữ liệu trên để chuyển đổi dữ liệu cho phù hợp c Nạp dữ liệu (Load)

Sau khi rút trích, làm sạch và chuyển đổi, dữ liệu phải được nạp vào kho dữ liệu Quá trình này có thể cần phải có một tiến trình tiền xử lý: kiểm tra tính ràng buộc toàn vẹn, sắp xếp, tính tổng và các tính toán khác để xây dựng các bảng kết quả tính toán được lưu trữ trong kho dữ liệu; xây dựng chỉ mục và các đường dẫn truy cập khác; và phân nhỏ thành nhiều vùng lưu trữ đích Tiêu biểu là các ứng dụng nạp theo lô được sử dụng cho mục đích này Ngoài ra, để đưa dữ liệu vào trong kho, một ứng dụng nạp phải cho phép quản trị hệ thống theo dõi trạng thái, hủy, treo và tiếp tục tiến trình nạp, đồng thời cho phép khởi động lại tiến trình nếu bị lỗi mà không mất toàn vẹn dữ liệu

Kho dữ liệu chuyển vốn Nội bộ tại BIDV Ứng dụng nạp của kho dữ liệu phải đối đầu với lượng dữ liệu rất lớn (lớn hơn nhiều so với dữ liệu của cơ sở dữ liệu thao tác) Chỉ có một khoảng thời gian nhỏ (thường là về đêm) để nạp dữ liệu, thường là vào ban đêm, khi kho dữ liệu offline để làm mới dữ liệu Việc nạp dữ liệu liên tiếp có thể mất nhiều thời gian, ví dụ như nạp một terabyte dữ liệu có thể mất hàng tuần hoặc hàng tháng!

CẤU TRÚC CỦA KHO DỮ LIỆU TẠI BIDV

HỆ ĐIỀU HÀNH VÀ CƠ SỞ DỮ LIỆU NGUỒN

Do BIDV là một hệ thống ngân hàng thương mại quốc doanh lớn, có chi nhánh trải đều trên khắp các tỉnh, thành trong cả nước, số lượng khách hàng của BIDV trên 1 triệu khách hàng Số lượng tài khoản được mở tại BIDV vào khoảng hơn 3 triệu tài khoản nên lượng dữ liệu hàng ngày phát sinh rất lớn

Năm 2003, BIDV cùng với một số ngân hàng thương mại của Việt Nam như Vietcom Bank, ACB đầu tư mua hệ thống ứng dụng tin học chuyên nghiệp dành cho ngân hàng của Mỹ do công ty SilverLake Global - Malaysia làm đại lý phân phối tại Châu Á Với sự phát triển của công nghệ thông tin tại thời điểm đó, hệ thống ứng dụng SIBS là một trong những giải pháp hàng đầu trên thế giới về dữ liệu tập trung đối với ứng dụng trong ngân hàng

Chương trình sử dụng hệ cơ sở dữ liệu DB2, ngôn ngữ lập trình RPG được xây dựng trên hệ điều hành AS400 chuyên dụng với dòng máy chủ Iseries Với công nghệ lúc bấy giờ, hệ thống SIBS có các đặc điểm như sau:

1 Dữ liệu tập trung: Đây chính là ưu điểm lớn nhất của hệ thống SIBS so với các hệ thống ứng dụng phần mềm ngân hàng tính từ thời điểm trước đến năm 2003 Với mô hình trước đây, dữ liệu hoạt động của ngân hàng bị xé lẻ, do từng đơn vị thành viên (chi nhánh) của ngân hàng quản lý Hội sở chính của ngân hàng khi muốn ra quyết định quan trọng liên quan đến các mặt kinh doanh, chính sách, đều phải yêu cầu chi nhánh lập báo cáo và gửi lên trung ương Điều này gây tốn kém về nhân lực, thời gian, tiền bạc để tạo báo cáo, tổng hợp báo cáo cả tại chi nhánh của ngân hàng lẫn tại hội sở chính Ngoài ra do dữ liệu không tập trung nên chất lượng báo cáo cũng bị ảnh hưởng, số liệu cung cấp không được chính xác

Tất cả các điều trên đã gây ra một sự khó khăn lớn về quản lý, dẫn đến chậm trễ khi ra các quyết định kinh doanh, các chính sách quan trọng đối với lãnh đạo ngân hàng BIDV, đồng thời ảnh hưởng lớn đến chiến lược kinh doanh,

Kho dữ liệu chuyển vốn Nội bộ tại BIDV sự phát triển của ngân hàng cũng như ảnh hưởng tới sức cạnh tranh của BIDV đối với các ngân hàng khác

Sau khi đầu tư hệ thống SIBS, đến năm 2005, khi BIDV triển khai thành công hệ thống SIBS trên toàn bộ các chi nhánh, đơn vị thành viên của mình, nhược điểm về dữ liệu phân tán đã được khắc phục

Một trong những đặc điểm ưu việt của hệ thống SIBS là giao dịch online

Tính năng này cho phép cập nhật tức thời những thay đổi mang tính chất giao dịch vào tài khoản của khách hàng Nó giúp kiểm soát dữ liệu khách hàng chặt chẽ, kịp thời hơn và cũng giúp cho giao dịch viên đạt được độ an toàn cao khi thanh toán Ngoài ra tính năng giao dịch online cùng với dữ liệu tập trung đã cung cấp cho khách hàng những dịch vụ thuận tiện, giúp BIDV mở rộng các dịch vụ cung cấp cho khách hàng

Thực vậy, trước đây, khi sử dụng hệ thống chương trình phân tán, khách hàng đến mở tài khoản tại chi nhánh nào thì đều phải đến chi nhánh đó giao dịch Lý do là khi khách hàng sang chi nhánh khác cùng hệ thống, giao dịch viên tại chi nhánh đó không thể kiểm soát được số liệu về tài khoản cũng như các giao dịch trước đó của khách hàng Điều này gây bất tiện, phiền toái cho khách hàng Ngoài ra đối với các trường hợp rửa tiền, các trường hợp tội phạm về tài chính, giao dịch viên tại các chi nhánh không thể kiểm soát được bởi vì họ chỉ có thể kiểm soát số liệu của khách hàng tại chi nhánh mình mà thôi

Sau khi hệ thống SIBS đi vào hoạt động, mỗi khách hàng của BIDV có một số nhận dạng riêng gọi là số CIF Các khách hàng có thể mở tài khoản tại một hoặc nhiều chi nhánh trong hệ thống BIDV dựa trên số CIF của mình Bây giờ, các giao dịch, số tiền trong các tài khoản của khách hàng có thể được thẩm định tại bất kỳ đơn vị nào trong hệ thống BIDV Điều này giúp khách hàng thuận tiện trong giao dịch, BIDV mở rộng dịch vụ của mình và giúp cho ngân hàng kiểm soát dễ dàng các tình trạng rửa tiền, tội phạm tài chính

Do các đặc thù riêng của ngành ngân hàng, các khoản tự động phát sinh trên tài khoản khách hàng ví dụ phát sinh lãi, thu nợ tự động phải được thực

Kho dữ liệu chuyển vốn Nội bộ tại BIDV hiện một cách tự động bằng chương trình theo ngày Điều này có nghĩa rằng ngày nào hệ thống cũng phải tự động cập nhật rất nhiều bút toán trên hệ thống tài khoản của khách hàng cũng như trên hệ thống tài khoản kế toán của ngân hàng

Do công nghệ lúc bấy giờ, hệ thống SIBS đưa ra giải pháp chạy batchrun hàng ngày, nghĩa là sau khi kết thúc giao dịch vào lúc 4h, giao dịch viên tại BIDV phải kiểm quỹ, thực hiện các quy trình quy định, in và chấm báo cáo, cuối cùng là kết thúc ngày cho hệ thống SIBS Đến 9h tối, sau khi đảm bảo tất cả các chi nhánh đã đóng chương trình, hệ thống sẽ được chạy batchrun để thực hiện các bút toán tự động đã nêu ở trên

Nếu xét về khía cạnh này, hệ thống SIBS không phải là hệ thống giao dịch online vì vẫn có thời điểm chạy batchrun cuối ngày (8 tiếng) Tại thời điểm này, các giao dịch trên hệ thống là không thể - trừ hệ thống ATM chạy ở chế độ riêng.

HỆ THỐNG KHO DỮ LIỆU

1 Mô hình kho dữ liệu của BIDV

Hình 4 Mô hình kho dữ liệu của BIDV

Hình 4 mô tả mô hình kho dữ liệu của BIDV, mô hình này thể hiện khá rõ ràng các cấu phần của một kho dữ liệu

Nhìn chung, kho dữ liệu của BIDV cũng có 3 cấu phần chính như các kho dữ liệu khác: ETL, tổng hợp, phân tích dữ liệu và tạo kho dữ liệu OLAP, phân phối báo cáo tới người sử dụng cuối Ngoài ra, kho dữ liệu của BIDV còn có các cấu phần khác để phù hợp với tình hình thực tế của đơn vị mình, đó là các cấu phần cơ sở dữ liệu tạm thời (staging database), kho dữ liệu quan hệ (Relational datawarehouse)

* Cơ sở dữ liệu trung gian: Như đã trình bày ở mục Hệ điều hành và cơ sở dữ liệu nguồn, BIDV sử dụng hệ thống phần mềm giao dịch ngân hàng trên cơ sở dữ liệu DB2 tích hợp với hệ điều hành AS400, ngoài ra còn một số hệ thống giao dịch đơn lẻ khác sử dụng MS SQL Trong khi đó, kho dữ liệu của BIDV lại dựa trên công nghệ MS-SQL của Windows vì vậy cần phải có một cơ sở dữ liệu trung gian để lưu trữ dữ liệu sau khi trích rút dữ liệu Với các hệ quản trị cơ sở dữ liệu đang sử dụng tại BIDV, tiện nhất là sử dụng một trong 2 hệ quản trị cơ sở dữ liệu, hoặc là MS SQL hoặc là DB2 để làm cơ sở dữ liệu trung gian Do lượng dữ liệu được lấy để nạp vào kho dữ liệu chủ yếu là dữ liệu từ cơ sở dữ liệu DB2 (100 GB) lớn hơn rất nhiều so với lượng dữ liệu được lấy từ các cơ sở dữ liệu SQL (5 GB) nên cơ sở dữ liệu trung gian được lựa chọn là DB2

Một lý do khác để lựa chọn DB2 làm cơ sở dữ liệu trung gian là với lượng dữ liệu lớn như trên, hiệu năng xử lý của máy chủ Windows sẽ thấp hơn rất nhiều so với hiệu năng xử lý của máy chủ AS400 Ngoài ra dung lượng lưu trữ của máy chủ AS400 cũng cao hơn rất nhiều so với dung lượng lưu trữ của máy chủ Windows

* Kho dữ liệu quan hệ: Sau khi được rút trích vào cơ sở dữ liệu trung gian, module tổng hợp và phân tích sẽ xử lý dữ liệu và đưa vào kho dữ liệu quan hệ

Việc xây dựng kho dữ liệu quan hệ là tiền đề để xây dựng kho dữ liệu OLAP

Kho dữ liệu quan hệ chứa các bảng yếu tố (fact table) và các bảng dimesion (dimension tables) Các bảng này được liên kết thông qua các khoá chính (primary key) và khoá ngoài (foreign key) Kho dữ liệu OLAP sẽ lấy thông tin từ các bảng trên để tạo thành các báo cáo nhiều chiều (OLAP cube) Do lượng

Kho dữ liệu chuyển vốn Nội bộ tại BIDV dữ liệu được lưu trữ trên kho dữ liệu quan hệ khá lớn (khoảng 100 GB) nên kho dữ liệu quan hệ cũng được đặt trên cơ sở dữ liệu DB2

Một đặc điểm nữa của kho dữ liệu đang sử dụng tại BIDV là sử dụng môi trường MS SQL để thực hiện các quá trình ETL cũng như quá trình tổng hợp, phân tích dữ liệu và tạo kho dữ liệu OLAP

2 Cách thức hoạt động của kho dữ liệu tại BIDV

Hình 6 Sơ đồ luồng dữ liệu của kho dữ liệu BIDV Quá trình nạp dữ liệu vào kho dữ liệu bao gồm các bước như sau:

- ETL: Quá trình ETL sẽ thực hiện rút trích dữ liệu từ hai nguồn dữ liệu:

DB2 và MS SQL Sau khi thực hiện chuẩn hoá dữ liệu theo các quy tắc trong bước Transformation, dữ liệu được nạp vào cơ sở dữ liệu trung gian (staging database) Thực tế, quá trình rút trích dữ liệu chỉ lấy một số trường dữ liệu cần thiết để tạo báo cáo cuối cùng chứ không lấy toàn bộ dữ liệu trên hai cơ sở dữ liệu DB2 và MS SQL

- Quá trình tiếp theo sẽ lấy dữ liệu từ cơ sở dữ liệu trung gian (staging database), tổng hợp và phân tích dữ liệu theo các đặc tả người sử dụng sau đó đẩy dữ liệu cuối cùng vào kho dữ liệu quan hệ Tại kho dữ liệu quan hệ, dữ liệu được chia làm 2 dạng bảng: bảng yếu tố (fact table) đây là bảng dữ liệu chính

Kho dữ liệu chuyển vốn Nội bộ tại BIDV chứa các dữ liệu cơ bản trong báo cáo nhiều chiều, dạng thứ hai là bảng dữ liệu chiều (dimension table) đây là bảng dữ liệu chứa các thông tin về các chiều của báo cáo nhiều chiều Hai bảng này được liên kết với nhau thông qua khoá chính trên bảng dimension và khoá ngoại trên bảng yếu tố Dạng bảng cuối cùng trong kho dữ liệu quan hệ là bảng lịch sử (hist table)

Do đặc thù yêu cầu báo cáo của ngân hàng là dữ liệu thay đổi theo từng ngày, Kho dữ liệu tại BIDV được thiết kế để nạp dữ liệu theo ngày Lượng dữ liệu được nạp hàng ngày khá lớn, do đó, nếu thiết kế bảng fact theo kiểu ghi đè (overwriting) thì thời gian cũng như tài nguyên máy chủ phải tiêu tốn cho công việc nạp dữ liệu hàng ngày là rất lớn Vì lý do đó, Kho dữ liệu tại BIDV được thiết kế để nạp dữ liệu hàng ngày theo kiểu bổ sung (appending), và dữ liệu đầy đủ sẽ được lưu trữ trong bảng lịch sử (hist table), dữ liệu một ngày sẽ được lưu trong bảng yếu tố (fact table), dữ liệu trong bảng yếu tố sẽ được append vào bảng lịch sử

Quá trình tổng hợp, phân tích dữ liệu và tạo kho dữ liệu OLAP sử dụng công cụ Analysis Managerment của Microsoft SQL 2000 để thực hiện việc tạo báo cáo nhiều chiều (OLAP cube) dựa trên các bảng dữ liệu trong kho dữ liệu quan hệ Dữ liệu được đưa vào kho dữ liệu OLAP cũng sử dụng cơ chế append

- Dữ liệu trong kho dữ liệu OLAP sẽ được phân phối tới người sử dụng cuối cùng thông qua hệ thống chương trình phân phối báo cáo Các báo cáo được đưa ở dạng pivot table reports của excel, nguồn dữ liệu của các báo cáo này là các OLAP cube Đặc điểm của cách phân phối báo cáo này là:

+ Cho phép xoay chiều và tạo các báo cáo theo nhiều dạng khác nhau như dạng bảng ngang (horizontal), bảng dọc (vertical), bảng kết hợp (across), cũng như các dạng đồ thị khác nhau

+ Cung cấp các công cụ thực hiện các thao tác với dữ liệu như: Drill (phân tích dữ liệu theo chiều sâu), Slice (cắt lát dữ liệu), Dice (phân tích theo ô) và xoay chiều dữ liệu (Graphical Pivot)

+ Khá tiện lợi với người sử dụng + Cho phép phân quyền người sử dụng thông qua các tài khoản truy cập của Hệ điều hành Windows

CÁC VẤN ĐỀ ĐANG TỒN TẠI CỦA KHO DỮ LIỆU TẠI BIDV

Do kho dữ liệu của BIDV được xây dựng trên cơ sở MS SQL 2000 nên có một số hạn chế nhất định trong quá trình khai thác, sử dụng, mà lý do chủ yếu là về phần công nghệ Quả thực vậy, MS SQL 2000 là một hệ quản trị cơ sở dữ liệu sử dụng chủ yếu cho các doanh nghiệp vừa và nhỏ, khả năng của MS SQL

2000 không đáp ứng được mô hình của một doanh nghiệp có quy mô lớn như BIDV Các vấn đề gặp phải ở đây là:

1 Rút trích dữ liệu (ETL)

Rút trích dữ liệu là một khâu đóng vai trò quan trọng trong hệ thống kho dữ liệu Tại BIDV, cấu phần ETL được xây dựng trên MS SQL 2000, sử dụng các dts của SQL để thực hiện trích dữ liệu Ưu điểm của phương pháp này là khá đơn giản khi thiết kế, code dễ hiểu, khá rõ ràng vì dts của SQL hỗ trợ đồ hoạ, rất dễ sử dụng và maintain Tuy vậy nhược điểm của phương pháp này là chậm, tốn tài nguyên máy chủ Quả vậy, với nguồn dữ liệu được lưu trữ trên DB2 của hệ điều hành AS400, các dts của

MS SQL 2000 phải gọi câu lệnh xử lý trên máy chủ Windows NT sau đó nạp lại dữ liệu vào cơ sở dữ liệu trung gian trên AS400 Phương pháp này rõ ràng tốn tài nguyên cả của hệ thống AS400 lẫn tài nguyên của hệ thống Windows NT, tốn thời gian hơn nhiều so với việc sử dụng các câu lệnh RPG của AS400 để thực hiện quá trình ETL

Do hệ thống kho dữ liệu của BIDV được đặt cùng trên máy chủ chính xử lý giao dịch của toàn ngành, phương pháp này yêu cầu luôn phải quản trị chặt chẽ hai hệ thống máy chủ, thực hiện dọn dẹp dữ liệu rất thường xuyên

Trên thực tế, tại BIDV đã xảy ra hiện tượng kho dữ liệu không thể hoạt động trong khoảng gần 1 năm, khi lượng dữ liệu tăng dần theo thời gian Khi đó thời gian nạp dữ liệu hàng ngày của kho dữ liệu lên đến 10 tiếng, không đáp ứng được nhu cầu lấy báo cáo của nghiệp vụ

Một bất cập nữa của kho dữ liệu tại BIDV là hệ thống kho dữ liệu OLAP

Do yêu cầu của nghiệp vụ ngân hàng, thiết kế ban đầu của kho dữ liệu tại BIDV là báo cáo ngày phải lưu trong 2 tháng, báo cáo tháng phải lưu trong 2 năm Tuy nhiên, sau khi cơ cấu lại ngân hàng, hệ thống các đơn vị thành viên của BIDV được mở rộng, khối lượng báo cáo phải lưu là quá lớn, do đó hệ thống OLAP gặp phải một số trục trặc sau:

- Dữ liệu khi quá 5 GB thì không thể achive được

- Rất tốn tài nguyên bộ nhớ của Windows NT

3 Các vấn đề về phân phối báo cáo tới người sử dụng cuối

Hệ thống kho dữ liệu hiện tại của BIDV có module phân phối báo cáo tới người sử dụng cuối rất kém Cụ thể là hệ thống này tạo một loạt các báo cáo Excel dạng pivot table trên máy chủ kho dữ liệu OLAP (windows NT), shared các file này ở dạng chỉ đọc (read - only) sau đó phân quyền cho người sử dụng cuối thông qua giao diện module phân phối báo cáo để mở các file báo cáo đã tạo sẵn trên

Nhược điểm của phương pháp này là tất cả các máy tính của người sử dụng cuối phải tạo ra cùng một user có password giống hệt user và password của hệ điều hành đã được tạo sẵn trên máy chủ kho dữ liệu OLAP Các máy trạm của người sử dụng cuối đều phải cài đặt chương trình và phải sử dụng Microsoft Office 2003

IV TẦM QUAN TRỌNG VÀ SỰ CẦN THIẾT CỦA KHO DỮ LIỆU TRONG NGÂN HÀNG

Hình 1 Mô hình chung của ngân hàng Để hiểu rõ hơn sự phức tạp trong công tác báo cáo và điều hành, quản lý ngân hàng, tôi xin trình bày sơ lược về mô hình của ngành ngân hàng Ngành ngân hàng nói chung và Ngân hàng Đầu tư và Phát triển Việt Nam nói riêng đều được xây dựng trên mô hình phân cấp hình bông tuyết Đơn vị quản lý, điều hành trung tâm gọi là Hội Sở chính, mỗi Hội Sở chính có các đơn vị thành viên trực thuộc, mỗi đơn vị thành viên trực thuộc này có thể có các đơn vị trực thuộc khác nhỏ hơn và là Hội sở chính của các đơn vị thành viên nhỏ này Hội sở chính chịu trách nhiệm quản lý, điều hành hoạt động của các đơn vị thành viên nhỏ đồng thời phải chịu sự quản lý, điều hành của Hội sở chính cấp trên quản lý trực tiếp Để tránh nhầm lẫn, ta gọi Hội sở chính của các đơn vị thành viên trực thuộc trung ương là Chi nhánh Mô hình ngân hàng có thể được thể hiện theo sơ đồ được thể hiện trong Hình 1

Các phòng, Ban trực thuộc HSC Các chi nhánh cấp 1 Các công ty, đơn vị trực thuộc HSC

Các phòng, tổ quản lý trực thuộc chi nhánh cấp 1

Các phòng giao dịch (PGD)

Các phòng, tổ quản lý trực thuộc PGD

Các phòng, tổ quản lý trực thuộc

2 Hệ thống thông tin tại Hội sở chính của BIDV

Trước năm 2005 khi BIDV, cũng như các ngân hàng khác tại Việt Nam, sử dụng hệ thống chương trình phần mềm phân tán IBS để lưu trữ cơ sở dữ liệu về thông tin khách hàng, tài khoản khách hàng phục vụ công tác giao dịch phân tán tại các chi nhánh riêng biệt Nguồn dữ liệu tại Hội sở chính được các Chi nhánh cung cấp và tổng hợp lại dựa trên hệ thống tài khoản kế toán tổng hợp toàn ngành Với các yêu cầu khác khi cần có số liệu chi tiết về các hoạt động chủ chốt của Ngân hàng như các hoạt động tín dụng, huy động, nguồn vốn, cũng như các thông tin về khách hàng của BIDV… Hội sở chính phải yêu cầu các chi nhánh gửi số liệu theo đường công văn để tổng hợp

Với hệ thống các chi nhánh và đơn vị thành viên trải rộng trên khắp toàn quốc lên tới hơn 130 chi nhánh và các đơn vị thành viên, BIDV đã phải rất tốn công sức, thời gian và tiền bạc để lập báo cáo điều hành cũng như báo cáo tình trạng hoạt động, kinh doanh của mình Điều này dẫn đên việc số liệu cung cấp không kịp thời, thiếu tính nhất quán và mất rất nhiều thời gian, độ tin cậy của các thông tin không cao Việc ra quyết định điều hành, các chiến lược kinh doanh cũng như các hoạt động đẩy mạnh dịch vụ của BIDV là hết sức khó khăn, không kịp thời, chưa đáp ứng được tính cạnh tranh tức thời với các ngân hàng khác

Kể từ tháng 10 năm 2005 với việc triển khai thành công dự án hiện đại hoá, sử dụng chương trình tập trung SIBS để thực hiện dữ liệu tập trung tại Hội sở chính, Ngân hàng Đầu tư và Phát triển Việt Nam đã hình thành nên một nền móng công nghệ cơ bản và cốt lõi cho một hệ thống ngân hàng hiện đại và đa năng để phát triển các sản phẩm dịch vụ có chất lượng công nghệ cao, tiến tới trình độ của các ngân hàng trong khu vực Toàn bộ dữ liệu của tất cả các hoạt động của khối các chi nhánh được tập trung tại Trung tâm xử lý thông tin, đây là một điều kiện hết sức thuận lợi cho việc khai thác và sử dụng nguồn dữ liệu phục vụ cho công tác quản trị điều hành các cấp Dữ liệu được đảm bảo an toàn, đúng đắn và duy nhất Ngoài ra hệ thống cũng giảm thiểu rủi ro về dữ liệu cho các đơn vị thành viên, giảm bớt khối lượng công việc báo cáo cũng như nhân sự làm báo cáo tại các đơn vị thành viên, tăng hiệu quả hoạt động kinh doanh trong toàn ngân hàng BIDV

3 Sự cần thiết của kho dữ liệu trong ngân hàng

Như đã nói ở hai phần trước, do BIDV là một ngân hàng lớn, có các đơn vị thành viên trải rộng trên toàn quốc, công tác quản lý, điều hành BIDV là rất khó khăn, phức tạp Ngoài ra, để đảm bảo được việc ra các quyết định điều hành là đúng đắn và kịp thời, lãnh đạo các cấp của BIDV cần lấy được các thông tin từ việc hoạt động kinh doanh của đơn vị mình đúng lúc, chính xác, bất kể thời điểm nào Để làm được việc trên, việc xây dựng kho dữ liệu chứa tất cả các thông tin của hệ thống tại các thời điểm từ quá khứ đến nay là điều vô cùng cần thiết và cấp bách

Hơn nữa, tuy có hệ thống SIBS quản lý dữ liệu tập trung tại trung ương nhưng hệ thống này mới chỉ xử lý được các giao dịch chính của Ngân hàng như các hoạt động kinh doanh chứ chưa quản lý được hết các hoạt động nội tại của Ngân hàng ví dụ như quản lý tài sản, quản lý nhân sự, quản lý ấn chỉ Chính vì vậy, BIDV vẫn sử dụng các chương trình khác song song với hệ thống SIBS

Các luồng dữ liệu từ các chương trình này là hoàn toàn không giống nhau về cấu trúc, do đó kho dữ liệu tập trung cần phải được xây dựng sao cho chứa được tất cả các dữ liệu từ các nguồn khác nhau

YÊU CẦU CHUNG CỦA HỆ THỐNG CHUYỂN VỐN NỘI BỘ

YÊU CẦU CHUNG

Mục đích của chương trình Định giá chuyển vốn nội bộ là xác định chi phí đối với Tài sản Có và thu nhập đối với Tài sản Nợ của các đơn vị kinh doanh thông qua hệ thống định giá chuyển vốn nội bộ áp dụng trong kỳ Cơ chế này được áp dụng để điều chỉnh chi phí và thu nhập cho toàn bộ các đơn vị kinh doanh trong nội bộ ngân hàng BIDV bao gồm các chi nhánh, đơn vị trực thuộc và bộ phận thực hiện nghiệp vụ kinh doanh tiền tệ (Phân hệ Treasury) tại Hội sở chính Chương trình áp dụng trên tất cả các khoản mục vốn thuộc bảng tổng kết tài sản nội bảng của các đơn vị kinh doanh trong hệ thống ngân hàng BIDV

Do đặc điểm của ngành ngân hàng là kinh doanh tiền tệ, nên việc phân tích, đánh giá các thông tin về nguồn vốn của ngân hàng là rất quan trọng, nó góp phần then chốt trong việc ra các quyết định, các chiến lược, chính sách kinh doanh của các cấp lãnh đạo trong ngân hàng Các yêu cầu của bài toán đặt ra là:

- Thể hiện rõ ràng số liệu Tài sản có, Tài sản nợ của từng chi nhánh theo các sản phẩm khác nhau (huy động vốn, cho vay vốn, nội bảng, chuyển tiền, tài trợ thương mại, ngân quỹ), theo các kỳ hạn chuyển vốn khác nhau (không áp FTP, không kỳ hạn, 1 tuần, 2 tuần ), theo loại tiền tệ (VNĐ, EUR, USD ) và chi tiết theo hệ thống tài khoản nội bảng

- Các báo cáo phải thể hiện được dữ liệu biến đổi theo các kỳ báo cáo (ngày, tháng), ngoài ra phải thể hiện được số liệu điều chỉnh thu nhập chi phí, lãi suất bình quân, thu nhập chi phí của các đơn vị

- Dữ liệu phải lưu được tối thiểu là 3 năm

Khi nhìn vào các dữ liệu trên, các cấp lãnh đạo trong ngành ngân hàng có thể thấy ngay tình hình kinh doanh tại từng chi nhánh, lượng tiền tệ huy động được hoặc đang kinh doanh tại chi nhánh có hiệu quả không, từ đó đưa ra các quyết định điều chuyển vốn cho hợp lý (điều chuyển vốn từ chi nhánh làm tốt công tác huy động nhưng khả năng cho vay thấp sang các chi nhánh có khả năng

Kho dữ liệu chuyển vốn Nội bộ tại BIDV cho vay tốt nhưng không huy động được) Khi xem số liệu lịch sử, các cấp lãnh đạo có thể biết được tình hình phát triển của một chi nhánh và có thể đưa ra các sách lược kinh doanh cần thiết để đẩy mạnh hoạt động của chi nhánh đó.

GIẢI THÍCH MỘT SỐ TỪ NGỮ ĐƢỢC SỬ DỤNG TRONG TÀI LIỆU

Định giá chuyển vốn: là cơ chế xác định thu nhập hoặc chi phí đối với các bên có liên quan trong quá trình luân chuyển vốn nội bộ nhằm xác định mức độ đóng góp về lợi nhuận của từng đơn vị kinh doanh trong kết quả hoạt động kinh doanh của ngân hàng

Trung tâm vốn (gọi tắt là Trung tâm): là bộ phận chịu trách nhiệm về việc điều hành vốn toàn ngành theo yêu cầu của Hội đồng Quản lý Tài sản Nợ - Có trong năm kế hoạch và theo sự phân công, điều hành của Ban Tổng giám đốc Đơn vị kinh doanh: là bộ phận có quan hệ trực tiếp với khách hàng trong quá trình huy động vốn và sử dụng vốn (tín dụng) Đơn vị kinh doanh bao gồm các chi nhánh và các bộ phận ban, phòng trực tiếp thực hiện nghiệp vụ kinh doanh tại Hội sở chính (đơn vị có thu)

Kỳ xác định thu nhập/ chi phí: là khoảng thời gian tính toán thu nhập hoặc chi phí đối với các giao dịch vốn thuộc đối tượng đã nêu ở trên (Hiện tại BIDV áp dụng kỳ xác định thu nhập là 1 tháng.)

Kỳ hạn danh nghĩa: là kỳ hạn gốc của giao dịch vốn tính từ ngày hiệu lực đến ngày giá trị theo thoả thuận giữa ngân hàng và khách hàng tại ngày hiệu lực của giao dịch đó

Kỳ hạn thực tế: là kỳ hạn tồn tại thực tế của giao dịch vốn được tính từ ngày hiệu lực đến ngày kết thúc giao dịch

Kỳ hạn định giá lại: là thời điểm gần nhất mà tài sản Nợ hoặc Có sẽ thay đổi lãi suất trong tương lai do lãi suất thị trường thay đổi hoặc do tài sản đáo hạn

Số dư bình quân: là số dư của khoản mục Tài sản Nợ hoặc Có được xác định theo phương pháp bình quân số học trong kỳ xác định thu nhập hoặc chi phí

Giá chuyển vốn nội bộ (gọi tắt là FTP): là lãi suất do Trung tâm công bố cho từng thời kỳ đối với việc "mua vốn" hoặc "bán vốn" giữa Trung tâm với các đơn vị kinh doanh

Giá mua: là giá Trung tâm áp dụng cho các khoản mục Tài sản Nợ của đơn vị kinh doanh

Giá bán: là giá Trung tâm áp dụng cho các khoản mục Tài sản Có của đơn vị kinh doanh

Chi phí: là số tiền Trung tâm "thu" được từ việc "bán" vốn cho các đơn vị kinh doanh

Thu nhập: là số tiền Trung tâm "trả" cho các đơn vị kinh doanh do việc

"mua" vốn của các đơn vị này

Thu nhập ròng từ lãi (NII - Net Interest Income): là chênh lệch giữa thu nhập từ lãi trừ đi chi phí trả lãi trong kỳ của đơn vị kinh doanh

Thu nhập ròng (NI - Net Income): là thu nhập ròng từ hoạt động kinh doanh chung của đơn vị kinh doanh

Mức đóng góp của đơn vị kinh doanh (NC - Net Contribution): là lợi nhuận của đơn vị kinh doanh trong k

Cho vay theo mục tiêu chỉ định của Hội sở chính (gọi là cho vay theo chỉ tiêu): là những khoản đơn vị kinh donah thực hiện cho vay đối với khách hàng theo các mục tiêu như Cho vay theo Kế hoạch Nhà nước, theo các chương trình, cam kết của Hội sở chính, cho vay tài trợ ủy thác mà lãi suất cho vay được quy định theo các mục đích cụ thể (không theo lãi suất thị trường)

Huy động theo chỉ tiêu được giao của Hội sở chính (gọi là huy động theo chỉ tiêu): là những khoản vốn đơn vị kinh doanh thực hiện huy động từ khách hàng theo chỉ tiêu được giao từ Hội sở chính với lãi suất được quy định cụ thể theo từng đợt phát hành.

CÁC YÊU CẦU CỤ THỂ

Kho dữ liệu chuyển vốn Nội bộ tại BIDV Đối với những giao dịch vốn xác định được ngày đến hạn ngay từ khi thực hiện giao dịch: kỳ hạn danh nghĩa của giao dịch vốn được xác định bằng khoảng thời gian tính từ ngày giá trị đến ngày đến hạn thanh toán của giao dịch đó theo cam kết giữa ngân hàng và khách hàng Đối với những giao dịch vốn không xác định được ngày đến hạn khi thực hiện giao dịch, Trung tâm định nghĩa kỳ hạn căn cứ theo tính chất hoạt động của giao dịch

Kỳ hạn định nghĩa của giao dịch là mức kỳ hạn mà theo đó kỳ hạn danh nghĩa của các giao dịch vốn được quy về các khoảng thời gian để làm căn cứ áp dụng mức giá chuyển vốn

Tại một mức kỳ hạn nhất định, giá chuyển vốn áp dụng cho các giao dịch bán vốn (hoặc mua vốn) là như nhau đối với các đơn vị kinh doanh

Các kỳ hạn định nghĩa do Hội sở chính xác định và đưa ra trong thông báo giá chuyển vốn áp dụng trong từng thời kỳ

Giá chuyển vốn được xác định dựa trên các yếu tố sau:

- Loại giao dịch: là giao dịch "mua vốn" hay "bán vốn"

- Đồng tiền giao dịch: VND, USD, EUR, khác

- Kỳ hạn chuyển vốn: là kỳ hạn được định nghĩa theo quy định của BIDV

Giá chuyển vốn (FTP) được xác định căn cứ theo mặt bằng lãi suất thị trường được điều chỉnh theo mức độ rủi ro của hoạt động kinh doanh nhằm đảm bảo tỷ lệ thu nhập cận biên nhất định cho đơn vị kinh doanh

FTP = IR + NIM Trong đó:

+ FTP: Giá chuyển vốn + IR: Lãi suất huy động của kỳ hạn tương ứng

+ NIM: Lãi cận biên của giao dịch, cụ thể:

Trường hợp Trung tâm "mua vốn": NIM = 30 - 50% NIMmin

Trường hợp Trung tâm "bán vốn": NIM = 40 - 60% NIMmin

+ NIMmin là chênh lệch tối thiểu giữa lãi suất huy động và lãi suất cho vay do Tổng giám đốc quy định trong từng thời kỳ

Giá chuyển vốn được thông báo định kỳ hàng tháng và có thể đột xuất biến động theo biến động của thị trường

Tất cả các đồng tiền giao dịch phát sinh trong bảng cân đối kế toán nội bảng đều được sử dụng là đồng tiền tính toán bao gồm VND và ngoại tệ

Trong báo cáo thu nhập chi phí, tất cả các loại ngoại tệ được quy đổi sang VND theo tỷ giá hạch toán tại ngày làm việc cuối kỳ

* Giá trị của thu nhập (hoặc chi phí) của giao dịch vốn trong kỳ được tính theo công thức:

+ FTPA: Giá trị thu nhập vốn (FTPTN) hoặc chi phí vốn (FTPCF) trong kỳ của giao dịch vốn

+ Balij: Số dư cuối ngày làm việc thứ i của giao dịch j + FTPij: Giá chuyển vốn của ngày làm việc thứ i của giao dịch j

* Tỷ lệ thu nhập/chi phí:

Tỷ lệ thu nhập hoặc chi phí của đơn vị kinh doanh trong kỳ được xác định bằng thu nhập hoặc chi phí trong kỳ chia cho số dư bình quân trong kỳ của Tài sản Nợ hoặc Tài sản Có của đơn vị kinh doanh đó

+ FTPA: giá trị thu nhập (FTPTN) hoặc chi phí (FTPCF) trong kỳ của đơn vị kinh doanh

+ FTPR: tỷ lệ thu nhập hoặc chi phí trong kỳ của đơn vị kinh doanh

+ BalAVR: số dư bình quân của Tài sản Nợ hoặc Tài sản Có trong kỳ của đơn vị kinh doanh

5 Đánh giá hiệu quả của đơn vị kinh doanh:

* Thu nhập ròng từ lãi:

Giá trị thu nhập ròng từ lãi của đơn vị kinh doanh được xác định bằng thu nhập từ lãi trừ chi phí trả lãi trong kỳ theo công thức sau:

+ NII (Net interest income): là thu nhập ròng từ lãi

+ TNL: thu nhập từ lãi, bao gồm lãi thu từ khách hàng (II - interest income) và thu nhập từ việc vốn điều chuyển (FTPTN) cho Trung tâm trong kỳ

+ CFL: chi phí trả lãi, được xác định bằng lãi trả cho khách hàng (IE - interest expense) cộng chi phí từ việc sử dụng vốn điều chuyển (FTPCF) của Trung tâm trong kỳ

Tỷ lệ thu nhập ròng từ lãi được xác định bằng giá trị thu nhập ròng từ lãi chia cho tổng Tài sản Có và Tài sản Nợ bình quân trong kỳ của đơn vị kinh doanh

+ NIM (Net Interest Margin): là tỷ lệ thu nhập ròng từ lãi + NII: là giá trị thu nhập ròng từ lãi

+ (TSN+TSC): tổng giá trị Tài sản Nợ và Tài sản Có bình quân trong kỳ

* Thu nhập trước khi phân bổ (NI)

Giá trị thu nhập trước khi phân bổ của đơn vị kinh doanh được xác định bằng thu nhập ròng từ lãi cộng thu nhập khác ngoài lãi trừ chi phí hoạt động phát sinh tại đơn vị kinh doanh đó, xác định theo công thức sau đây:

+ NI: là giá trị thu nhập trước khi phân bổ

+ TNO: các nguồn thu khác ngoài lãi + CFO: Chi phí hoạt động

Tỷ lệ thu nhập trước khi phân bổ được xác định bằng giá trị thu nhập ròng chia cho tổng TSC và TSN bình quân trong kỳ của đơn vị kinh doanh

+ NM (Net Margin): là tỷ lệ thu nhập ròng trong kỳ của đơn vị kinh doanh

+ NI: là giá trị thu nhập ròng trong kỳ của đơn vị kinh doanh

+ (TSC + TSN): Tổng giá trị Tài sản Có và Tài sản Nợ bình quân trong kỳ

* Thu nhập sau khi phân bổ:

Giá trị thu nhập sau khi phân bổ của đơn vị kinh doanh được xác định bằng thu nhập trước khi phân bổ giảm trừ chi phí được phân bổ từ Trung tâm, được xác định theo công thức sau đây:

NC = NI - CFPB Trong đó:

+ NC (Net Contribution): giá trị thu nhập sau khi phân bổ + NI: là giá trị thu nhập trước khi phân bổ

+ CFPB: Chi phí được phân bổ từ Trung tâm trong kỳ

Tỷ lệ thu nhập sau khi phân bổ được xác định bằng giá trị thu nhập sau khi phân bổ chia cho tổng TSC và TSN bình quân trong kỳ của đơn vị kinh doanh

+ NCR: là tỷ lệ thu nhập sau khi phân bổ

+ NC: là giá trị thu nhập sau khi phân bổ + (TSC + TSN): Tổng giá trị Tài sản Có và Tài sản Nợ bình quân trong kỳ

* Điều chỉnh chi phí chuyển vốn:

Chi phí chuyển vốn của Trung tâm đối với đơn vị kinh doanh được điều chỉnh (giảm) đối với dư nợ cho vay theo chỉ tiêu theo công thức sau:

+ FTPCP: Chi phí đã được điều chỉnh do thực hiện cho vay theo chỉ tiêu

+ Abal: là dư nợ bình quân của cho vay theo chỉ tiêu trong kỳ

+ FTPAC: là tỷ lệ điều chỉnh tương ứng với loại hình cho vay, do Trung tâm xác định đảm bảo thu nhập cận biên tối thiểu cho đơn vị sử dụng vốn

* Tỷ lệ điều chỉnh FTP AC :

PHÂN TÍCH THIẾT KẾ HỆ THỐNG CHUYỂN VỐN NỘI BỘ

SƠ ĐỒ LUỒNG DỮ LIỆU

Như bài toán đã được phát biểu trong Chương I, ta nhận thấy các thực thể của bài toán bao gồm: Dữ liệu nguồn (lấy từ hai nguồn chính là tín dụng (cho vay) và huy độn vốn (tiền gửi)), Trung tâm vốn, các đơn vị kinh doanh

Hàng tháng, Trung tâm vốn thông báo bảng giá chuyển vốn trong tháng

Hàng ngày, các đơn vị kinh doanh sẽ thực hiện công tác tín dụng và huy động vốn Các thông tin về công tác tín dụng và huy động vốn tại từng đơn vị kinh doanh sẽ được đưa vào hệ thống dữ liệu nguồn trên máy chủ AS400 Hàng ngày hệ thống chương trình chuyển vốn nội bộ (FTP) phải lấy thông tin cần thiết từ dữ liệu nguồn, dựa trên bảng giá chuyển vốn do Trung tâm vốn thông báo hàng tháng (kỳ kinh doanh) để thực hiện tính toán và nạp dữ liệu vào kho dữ liệu chuyển vốn nội bộ Các đơn vị kinh doanh, Trung tâm vốn sẽ khai thác thông tin từ kho dữ liệu để đối chiếu số liệu và lấy báo cáo kinh doanh

Luồng dữ liệu của bài toán được mô tả như hình sau:

Hệ thống chuyển vốn nội bộ

Các đơn vị kinh doanh

Hệ thống giao dịch NH AS400

1 Thông báo bảng giá chuyển vốn trong kỳ kinh doanh (01 tháng)

2 Thực hiện các giao dịch huy động vốn và tín dụng (ngày)

3 Trích dữ liệu từ hệ thống dữ liệu nguồn, đƣa vào kho dữ liệu FTP (ngày)

4, 5 Khai thác kho dữ liệu FTP

Hình Sơ đồ luồng dữ liệu của hệ thống Chuyển vốn nội bộ

Trên thực tế, công việc giao dịch huy động vốn và tín dụng hàng ngày của các đơn vị kinh doanh nằm trong hệ thống giao dịch nội bộ ngân hàng nên ở đây, ta chỉ tập trung vào hệ thống chuyển vốn nội bộ

Ta có thể phân tích mô hình trên chi tiết hơn như sau:

Khai thác dữ liệu Thông báo giá FTP

Rút trích dữ liệu ETL

Kho dữ liệu trung gian (SQL)

Chương trình phân phối dữ liệu

Phân tích, tổng hợp dữ liệu

Theo mô hình trên, ta thấy Hệ thống Báo cáo chuyển vốn nội bộ (FTP) bao gồm 3 phần:

- Các package lấy dữ liệu từ dữ liệu nguồn, xử lý và tạo dữ liệu báo cáo chuyển vốn nội bộ

- Chương trình Báo cáo điều chuyển vốn nội bộ lấy dữ liệu báo cáo, tạo các báo cáo động theo dữ liệu đã có, ứng dụng web

- Chương trình tham số cho phép Trung tâm vốn nhập các tham số về giá chuyển vốn (FTP)

Về tổng quan, toàn bộ hoạt động của hệ thống chuyển vốn nội bộ có thể hình dung theo sơ đồ sau:

MÔ TẢ HOẠT ĐỘNG CỦA HỆ THỐNG

Nguồn dữ liệu của chương trình được lấy từ AS400 (các phân hệ Tín dụng, Huy động vốn, Kế toán) và SQL (phân hệ Ngân quỹ - Treasury)

Máy chủ SQL Server TW

Tables DTS Packages Cubes Web service

Sau khi hệ thống AS400 batchrun cuối ngày, package lấy dữ liệu từ AS400 sẽ lấy các trường dữ liệu trong các bảng dữ liệu cần thiết và lưu trữ tại máy chủ SQL Sau đó, package chương trình sẽ xử lý các dữ liệu đầu vào (ETL) và tạo các dữ liệu báo cáo, lưu trữ chúng trong một bảng nhiều chiều (cube) Các gói chương trình được thực hiện hàng ngày

Người sử dụng sẽ thông qua chương trình Báo cáo điều chuyển vốn nội bộ, sử dụng các dữ liệu được lưu trữ trong cube để tạo các báo cáo theo ý muốn.

MÔ TẢ CÁC BẢNG DỮ LIỆU THỰC THỂ CỦA CƠ SỞ DỮ LIỆU

Cơ sở dữ liệu SQL Server trên máy chủ SQL có tên là Data với các bảng dữ liệu chi tiết dưới đây:

Mô tả/ diễn giải: Lưu trữ số liệu điều chuyển vốn hàng ngày

Hàng ngày dữ liệu được trích từ hệ thống dữ liệu cốt lõi tại hệ thống SIBS qua quá trình tính toán và tổng hợp được lưu trữ tại đây để phục vụ cho việc hiển thị báo cáo hàng ngày và số liệu tổng hợp vào ngày cuối tháng Số liệu cập nhật hàng ngày, lưu số hiệu tổng hợp theo các nhóm về kỳ hạn FTP, loại sản phẩm, tài khoản kế toán

Bảng Atmftpday được xây dựng với chức năng làm bảng yếu tố (fact table) của khối OLAP FTPday08 Ngoài ra, do bảng amtftpday chứa dữ liệu đầy đủ về ngày (trường date_tx), loại tài khoản (trường actyp) nên nó cũng chính là bảng dữ liệu chiều (dimension table) đối với chiều ngày tháng và ACTYPE

Colum Name Data Type Length Allow

Desc date_tx smalldatetime 4 0 Ngày FTP

ACTYPE Char 2 0 Loại Tài khoản

BRN Decimal 5 0 Mã chi nhánh

[GROUP] Decimal 5 1 Nhóm GL sum_CBAL Decimal 9 1 Số dư

AmtFtp Decimal 9 1 Số dư FTP ftpmat_id Char 4 0 Kỳ hạn FTP

AvgFTPRate Decimal 9 1 Lãi suất FTP bình quân

CURTYP Char 4 0 Loại tiền tệ

Prod0_id Char 20 1 Loại sản phẩm curtyp_FTP char 3 1 Loại tiền tệ FTP taisan char 1 1 Loại Tài sản (Nợ/có) acctgl char 19 1 Tài khoản hạch toán kế toán

[Charge Rate] decimal 9 1 FTP charge

[Credit Rate] decimal 9 1 FTP Credit

[FTP Charge Amt] decimal 9 1 FTP charge Amount [FTP Credit Amt] decimal 9 1 FTP Credit Amount

[Liab Bal] decimal 9 1 Số dư tài sản nợ

[Asset Bal] decimal 9 1 Số dư tài sản có Laicongdon decimal 9 1 Dùng cho việc tính lãi suất bình quân

Mô tả/diễn giải: Lưu trữ dữ liệu tính toán về FTP hàng ngày cho các khoản điều chỉnh (tiền gửi rút trước hạn, các khoản vay theo kế hoạch nhà nước, vay chỉ định, tài trợ uỷ thác…) Số liệu cập nhật hàng ngày

Bảng amtftpday_r được thiết kế làm bảng dữ liệu yếu tố của khối OLAP FTPday_TH, và là bảng dữ liệu chiều Ky han FTP rut truoc han, và chiều Ngay FTP_RTH

Desc date_tx smalldatetime 4 0 Ngày FTP

ACTYPE char 2 0 Loại Tài khoản

BRN decimal 5 0 Mã chi nhánh

[GROUP] decimal 5 1 Nhóm GL sum_CBAL decimal 9 1 Số dư

AmtFtp decimal 9 1 Số dư FTP ftpmat_id char 4 0 Kỳ hạn FTP

AvgFTPRate decimal 9 1 Lãi suất FTP bình quân

CURTYP char 4 0 Loại tiền tệ

Prod0_id char 20 1 Loại sản phẩm curtyp_FTP char 3 1 Loại tiền tệ FTP

Taisan char 1 1 Loại Tài sản (Nợ/có)

Acctgl char 19 1 Tài khoản hạch toán kế toán

[Charge Rate] decimal 9 1 FTP charge

[Credit Rate] decimal 9 1 FTP Credit

[FTP Charge Amt] decimal 9 1 FTP charge Amount [FTP Credit Amt] decimal 9 1 FTP Credit Amount

[Liab Bal] decimal 9 1 Số dư tài sản nợ

[Asset Bal] decimal 9 1 Số dư tài sản có

Code char 3 Mã điều chỉnh

Mô tả/diễn giải: Lưu trữ dữ liệu tính toán về FTP hàng tháng

Sau khi số liệu được cập nhật vào AmtFTPday Số liệu cộng dồn theo tháng sẽ được cập nhật vào đây Số liệu cập nhật hàng ngày, lưu số hiệu tổng hợp theo các nhóm về kỳ hạn FTP, loại sản phẩm, tài khoản kế toán

Bảng Amtftpmonth được thiết kế là bảng dữ liệu yếu tố của khối OLAP FTPMONTH, và là bảng dữ liệu chiều Time for FTPMonth

Desc thang int 4 1 Tháng FTP nam int 4 1 Năm FTP

ACTYPE char 2 0 Loại tài khoản

BRN decimal 5 0 Mã chi nhánh ftpmat_id char 4 1 Kỳ hạn FTP

AggLiabBal decimal 9 1 Số dư MTD tài sản nợ AggAssetBal decimal 9 1 Số dư MTD tài sản có AvgLiabBal decimal 9 1 Số dư AVG tài sản nợ AvgAssetBal decimal 9 1 Số dư AVG tài sản có amtcreditFTP decimal 9 1 FTP credit amount amtchargeftp decimal 9 1 FTP charge amount

Prod0_id char 20 1 Loại sản phẩm acctgl char 19 1 Tài khoản GL

FTPAvgLiabBal decimal 9 1 FTP credit amount trung bình FTPAvgAssetBal decimal 9 1 FTP charge amount trung bình

Mô tả/diễn giải: Dữ liệu chi tiết theo tài khoản lấy từ Phân hệ Ngân quỹ

File chỉ lưu trữ số liệu của một ngày tính toán FTP hiện tại

Colum Name Data Type Length Allow Null Desc brn varchar 3 1 Mã chi nhánh open_date smalldatetime 4 1 Ngày thiết lập tài khoản matdt smalldatetime 4 1 Ngày đến hạn của tài khoản rate decimal 9 0 Lãi suất curtyp char 3 0 Loại tiền tệ

Prod0_id varchar 7 1 Mã sản phẩm cbal decimal 9 0 Số dư termday int 4 1 Kỳ hạn rate_ftp decimal 9 1 Lãi suất FTP taisan varchar 1 1 Loại tài sản actype varchar 1 1 Loại Tài khoản (TR)

FTPmat_id varchar 4 1 Kỳ hạn FTP curtyp_FTP varchar 3 1 Loại tiền tệ FTP ngay_ftp smalldatetime 4 1 Ngày áp dụng FTP date_tx smalldatetime 4 1 Ngày tính FTP acctgl char 19 1 Tài khoản kế toán

Mô tả/diễn giải: Dữ liệu chi tiết theo tài khoản lấy từ Phân hệ Tiền gửi có kỳ hạn File chỉ lưu trữ số liệu của một ngày tính toán FTP hiện tại

ACCTNO decimal 9 0 Số tài khoản

BRN decimal 5 0 Mã Chi nhánh

OPEN_DATE smalldatetime 4 0 Ngày tạo tài khoản

MATDT smalldatetime 4 0 Ngày đến hạn

CDTCOD char 1 0 Mã kỳ hạn

FTPMat_id char 4 1 Kỳ hạn FTP termday int 4 1 Số ngày áp FTP ngay_ftp smalldatetime 4 1 Ngày áp FTP

Prod0_ID char 20 1 Mã sản phẩm

CURTYP_FTP char 4 1 Tiền tệ FTP rate_FTP decimal 9 1 Lãi suất FTP date_tx smalldatetime 4 1 Ngày tính FTP acctgl char 19 1 Tài khoản FTP

Mô tả/diễn giải: Dữ liệu chi tiết theo tài khoản lấy từ Phân hệ Tiền gửi không kỳ hạn File chỉ lưu trữ số liệu của một ngày tính toán FTP hiện tại

Colum Name Data Type Length Allow Null Desc

ACCTNO decimal 9 0 Số tài khoản

ACTYPE char 1 0 Loại Tài khoản (DD)

SCCODE char 10 0 Mã sản phẩm

DDGRUP decimal 5 0 Nhóm tài khoản GL

RATE decimal 9 0 Lãi suất huy động

DDCTYP char 4 0 Loại tiền tệ date_tx smalldatetime 4 1 Ngày tính FTP branch char 3 1 Mã chi nhánh ngay_ftp smalldatetime 4 1 Ngày áp dụng FTP

FTPMat_id char 4 1 Kỳ hạn FTP

Rate_FTP decimal 9 1 Lãi suất FTP

Prod0_id char 20 1 Mã sản phẩm curtyp_FTP char 3 1 Loại tiền tệ FTP acctgl char 19 1 Tài khoản kế toán status char 1 1 Mã tình trạng

Mô tả/diễn giải: Dữ liệu chi tiết theo tài khoản lấy từ Phân hệ Kế toán tổng hợp File chỉ lưu trữ số liệu của một ngày tính toán FTP hiện tại

Colum Name Data Type Length Allow Null Desc

BRANCH decimal 5 0 Mã chi nhánh

ACCTGL decimal 9 0 Số hiệu tài khoản

ACTYPE char 2 0 Loại tài khoản (GL)

CURBAL decimal 9 0 Số dư curtyp_ftp char 4 1 Loại tiền tệ FTP rate_FTP decimal 9 1 Lãi suất FTP

FTPmat_id char 10 1 Kỳ hạn F TP

Prod0_id char 15 1 Mã sản phẩm

FTP_type char 1 1 Loại FTP date_tx smalldatetime 4 1 Ngày tính FTP ngay_FTP smalldatetime 4 1 Ngày áp dụng FTP taisan char 1 1 Loại tài sản cramtd decimal 9 1 Phát sinh có dramtd decimal 9 1 Phát sinh nợ

Mô tả/diễn giải: Dữ liệu chi tiết theo tài khoản lấy từ Phân hệ Tín dụng

File chỉ lưu trữ số liệu của một ngày tính toán FTP hiện tại

BRN decimal 5 0 Mã chi nhánh

ACCTNO decimal 9 0 Số Tài khoản

STATUS decimal 5 0 Mã tình trạng

TYPE char 10 0 Loại sản phẩm

OPEN_DATE smalldatetime 4 1 Ngày thiết lập

MATDT smalldatetime 4 1 Ngày dến hạn

GIAI_NGAN smalldatetime 4 1 Ngày giải ngân NGAY_FTP smalldatetime 4 1 Ngày áp dụng FTP

NREVDT decimal 5 0 Ngày định giá tiếp theo

NGAYDINHGIA2 smalldatetime 4 1 Ngày định giá lại

PRVDAY decimal 5 0 Ngày định giá trước

RATE decimal 9 0 Lãi suất khoản vay

RRTERM decimal 5 0 Kỳ hạn định giá lại

RRCODE char 1 0 Mã Kỳ hạn định giá lại

KYHAN decimal 5 0 Kỳ hạn khoản vay

TMCODE char 1 0 Mã kỳ hạn khoản vay (D/M)

FTP_TYPE varchar 1 0 Loại FTP (cố định/thả nổi) date_tx smalldatetime 4 1 Ngày tính FTP prod0_id char 30 1 Mã sản phẩm curtyp_ftp char 3 1 Loại tiền tệ FTP

Termday int 4 1 Số ngày tính FTP

FTPmat_id char 5 1 Kỳ hạn FTP rate_ftp decimal 9 1 Lãi suất FTP

Acctgl char 19 1 Tài khoản GL

Pcaccno decimal 9 1 Tài khoản đồn tài trợ

Mô tả/diễn giải: Kiểm tra số dư theo tài khoản GL giữa các phân hệ DD,

CD, LN, TR với GL Đây là bảng dữ liệu yếu tố của khối OLAP Ktralech và là bảng dữ liệu chiều TimeL của khối Ktralech

Colum Name Data Type Length Allow Null Desc date_tx smalldatetime 4 1 Ngày kiểm tra actype char 2 1 Loại TK brn char 3 1 Chi nhánh curtyp char 3 1 Tiền tệ acctgl char 19 1 Tài khoản cbal_PH decimal 9 1 Số dư phân hệ cbal_gl decimal 9 1 Số dư kế toán

Mô tả/diễn giải: Bảng thu nhập và chi phí FTP, đây là bảng dữ liệu yếu tố của khối TNCP và là bảng dữ liệu chiều Time For TNCP

Colum Name Data Type Length Allow Null Desc thang int 4 1 Tháng FTP nam int 4 1 Năm FTP

MÔ TẢ PACKAGE CỦA CHƯƠNG TRÌNH

Hình trên là sơ đồ package của hệ thống Điều chuyển vốn nội bộ Package này thực hiện nhiệm vụ rút trích dữ liệu từ các nguồn dữ liệu như AS400 (đối với dữ liệu huy động vốn, dữ liệu tín dụng, dữ liệu kế toán), SQL 2000 (dữ liệu ngân quỹ) đưa vào cơ sở dữ liệu data (đã được mô tả ở bước trước) Đồng thời nó còn thực thi các gói dữ liệu phân tích và tổng hợp dữ liệu và đẩy vào các cơ sở dữ liệu OLAP (các khối màu vàng) Việc nạp dữ liệu này được thực hiện hàng ngày.

MÔ TẢ CÁC KHỐI OLAP

Kho dữ liệu OLAP của hệ thống Điều chuyển vốn Nội bộ tại BIDV sử dụng MS Analysis Manager 2000 đi kèm với hệ quản trị cơ sở dữ liệu SQL

2000 Kho dữ liệu OLAP bao gồm các khối dữ liệu OLAP sau:

Lưu trữ và xử lý số liệu chuyển vốn cho các báo cáo hàng ngày

Khối FTPday_08 bao gồm các thành phần sau:

Bảng yếu tố: amtftpday, amtftpday_Q1, amtftpday_Q2, amtftpday_Q3

Các bảng dữ liệu chiều: zgl0, zgl1, zgl2, zgl3, zgl4, zftpmat, zbranch, zprod0, zprod1, zprod2, zprod3, zprod4, zcurtyp

Các chiều dữ liệu: ACtype, GL Account, KyhanFTP, MaCN, Tiente, Product1, Time FTPday

Các thước đo: FTP Charge Amt, FTP Credit Amt, Liab Bal, Asset Bal, Sum Cbal, Laicongdon1, Laicongdon2, Charge Rate, Credit Rate

Các thành phần tính toán: Tỉ lệ % (Credit/Liab Bal), Ti le % (Charge/Asset Bal), Chenh lech No Co, Lai suat binh quan (Liability), FTP rate (Credit), FTP rate (charge), Lai suat binh quan (Asset)

Khối FTPday_08 chứa dữ liệu rất lớn (khoảng 1 triệu bản ghi/ ngày) và phải lưu trữ dữ liệu trong vòng 3 đến 5 năm (36 triệu bản ghi đến 60 triệu bản ghi) Nếu ta lưu dữ liệu vào một bảng yếu tố thì bảng này sẽ rất lớn và việc xử lý cũng như nạp dữ liệu hàng ngày vào kho sẽ rất mất thời gian và tài nguyên máy chủ (bộ nhớ, dung lượng CPU) Để giải quyết vấn đề này, tôi chia bảng yếu tố ra thành nhiều bảng yếu tố nhỏ, mỗi bảng chứa dữ liệu của 3 tháng (1 quý) và chia khối FTPday_08 thành nhiều khối nhỏ, mỗi khối nhỏ lấy dữ liệu từ một bảng yếu tố nhỏ Các khối nhỏ hoàn toàn trong suốt với người sử dụng, điều này có nghĩa là người sử dụng khai thác dữ liệu của khối FTPday_08 vẫn thấy đầy đủ dữ liệu lịch sử, nhưng trên thực tế, tiến trình nạp dữ liệu vào kho chỉ thực hiện trên khối nhỏ của quý hiện tại Phương pháp này giúp tiến trình nạp dữ liệu hàng ngày tốn ít thời gian và tài nguyên máy chủ hơn phương pháp cũ (thực tế cho thấy, thời gian xử lý nạp dữ liệu giảm hơn 50% từ 4 giờ xuống còn 1 giờ 50 phút.) Với phương pháp này, vướng mắc về độ lớn của khối dữ liệu OLAP và thời gian xử lý nạp dữ liệu của kho dữ liệu tại BIDV do Silverlake cung cấp đã được xử lý

Lưu trữ và xử lý dữ liệu của các báo cáo điều chỉnh thu nhập và chi phí:

Khối FTPday_TH bao gồm các thành phần sau:

Các bảng dữ liệu chiều: zgl0, zgl1, zgl2, zgl3, zgl4, zftpmat, zftpmat_r, zbranch, zprod0, zprod1, zprod2, zprod3, zprod4, zcurtyp, ztanggiam

Các chiều dữ liệu: Ky han FTP, Ky han FTP rut truoc han, Ma CN, Tiente, Product1, Ngay FTP_RTH, Tang giam

Các thước đo: Sum Cbal, Amt Ftp, Amt FTP TH Các thành phần tính toán: Khau tru

Lưu trữ và xử lý dữ liệu của các báo cáo tháng:

Khối FTPMonth bao gồm các thành phần sau:

Các bảng dữ liệu chiều: zgl0, zgl1, zgl2, zgl3, zgl4, zftpmat, zbranch, zprod0, zprod1, zprod2, zprod3, zprod4, zcurtyp

Các chiều dữ liệu: Ky han FTP, Ma CN, GL Account, Tiente, Product1, Ac_type, Time for FTPMonth

Các thước đo: Agg Liab Bal, Agg Asset Bal, Avg liab Bal, Avg Asset Bal, Amtcredit Ftp, AmtchargeFTP, FTPavg Liab Bal, Ftpavg Asset Bal

Các thành phần tính toán: Ftp Charge/Asset, FTP Credit/Liab, FTP Charge/Asset1, Ftp Credit/Liab1

Lưu trữ và xử lý dữ liệu của các báo cáo về thu nhập và chi phí Khối TNCP bao gồm các thành phần sau:

Bảng yếu tố: ThunhapFTP Các bảng dữ liệu chiều: zGLTNCP, zcurtyp, zbranch Các chiều dữ liệu: Thu nhap chi phi, tien te, Ma CN, Time For TNCP Các thước đo: So du, Quy doi

Các thành phần tính toán: Thu nhap rong tu lai

Lưu trữ báo cáo điều chỉnh thu nhập/ chi phí - hạch toán GL Khối GL_POS bao gồm các thành phần sau:

Bảng yếu tố: GL_POS Các bảng dữ liệu chiều: zcurtyp, zbranch Các chiều dữ liệu: tien te, Ma CN, Time For GL_POS

Các thước đo: Ftp Charge Amt, Quynof, FTP Credit Amt, Quycof, Quyno, Quyco, Dieuchinh, Assetbal, Liabbal, Dieuchinh Q

Các thành phần tính toán: FTP thuc te, FTP thuc te quy doi

Lưu trữ báo cáo chấm số liệu - cho phép kiểm tra chênh lệch giữa các phân hệ so với GL Khối Ktralech bao gồm các thành phần sau:

Bảng yếu tố: kiemtralechPH_GL Các bảng dữ liệu chiều: zcurtyp, zbranch Các chiều dữ liệu: tien te, Ma CN, TimeL, TKL Các thước đo: Cbal PH, Cbal GL, ChenhLech Các thành phần tính toán: FTP thuc te, FTP thu te quy doi

Trong các sơ đồ của cơ sở dữ liệu OLAP, cụ thể là các cube đã được trình bày ở trên, ta nhận thấy các bảng màu vàng chính là các bảng yếu tố (fact table), đây là bảng chứa dữ liệu cơ bản của cơ sở dữ liệu OLAP, các bảng tham chiếu đến chiều dữ liệu (dimension tables) là các bảng còn lại, các bảng này được liên kết với bảng yếu tố bằng các mối liên hệ dựa trên khoá chính nằm trên bảng dimension, khoá phụ nằm trên bảng yếu tố Số lượng các bảng dimension phụ thuộc vào số lượng chiều dữ liệu mà cube được định nghĩa

CHƯƠNG TRÌNH BÁO CÁO ĐỊNH GIÁ CHUYỂN VỐN NỘI BỘ 75 VII CHƯƠNG TRÌNH THAM SỐ

Chương trình phân bổ dữ liệu tới người sử dụng cuối thông qua trình duyệt Web với giao diện chương trình như dưới đây: Để sử dụng được chương trình này, người sử dụng phải có máy trạm được cài đặt các chương trình sau:

- Trình duyệt Internet Explorer 5.01 Service Pack 2 (SP2) và

- Microsoft Office 2003 Web Components Ứng dụng web này đã khắc phục được một trong những nhược điểm của hệ thống kho dữ liệu tại BIDV, đó là việc phân phối báo cáo tới người sử dụng một cách tiện dụng nhất

Thực vậy, để truy cập được ứng dụng web và lấy số liệu báo cáo, người sử dụng chỉ cần có một máy tính để bàn có cấu hình đủ để cài đặt hai thành phần nói trên Có thể nói mọi máy tính hiện đang được sử dụng tại BIDV đều đáp ứng yêu cầu này Ngoài ra, ứng dụng web cho phép người sử dụng tạo các báo cáo

Kho dữ liệu chuyển vốn Nội bộ tại BIDV động dựa trên các số liệu có sẵn trên cơ sở dữ liệu OLAP mà hệ thống Điều chuyển vốn nội bộ cung cấp, nó cho phép người sử dụng xem báo cáo trên tất cả các chiều mà cơ sở dữ liệu OLAP đã định nghĩa Người dùng có thể tạo tùy biến báo cáo, có thể xuất báo cáo ra dạng Excel để sử dụng

Một ưu điểm nữa của chương trình là cho phép phân quyền cho người sử dụng theo chiều dữ liệu và đến mức độ mà người quản trị chương trình cho phép Cụ thể là, cho phép mỗi đơn vị thành viên chỉ có thể nhìn thấy dữ liệu của đơn vị mình mà không được phép nhìn thấy dữ liệu của đơn vị khác Ưu điểm này giúp chương trình có tính bảo mật cao

Khi chọn một loại báo cáo, chương trình sẽ yêu cầu người sử dụng nhập user và password như màn hình sau:

Khi người sử dụng nhập user, password vào, chương trình sẽ kiểm tra tính hợp lệ của user và password, nếu đúng, chương trình sẽ hiển thị báo cáo như màn hình sau:

Nếu user và password không hợp lệ, chương trình sẽ hiển thị thông báo lỗi

Ngoài việc cung cấp các loại báo cáo cho người sử dụng, chương trình có một mục giới thiệu tổng quan về chương trình, chức năng này cho phép người quản trị hệ thống đưa các thông tin cần thiết lên mạng dưới dạng các đường link

Kho dữ liệu chuyển vốn Nội bộ tại BIDV văn bản Chức năng này cho phép thông tin nhanh tới người sử dụng về các thay đổi, cơ chế … liên quan tới điều chuyển vốn Màn hình này có dạng như sau:

Chương trình cũng cung cấp các file dữ liệu gốc, giúp các đơn vị kinh doanh có thể tự kiểm tra, đối chiếu số liệu tại đơn vị mình so với số liệu trên chương trình Để sử dụng được file dữ liệu này, người sử dụng nhấn vào đường link để download số liệu về máy tính của mình Màn hình Kiểm tra số liệu được thể hiện như hình sau:

Chức năng Hỗ trợ kỹ thuật hướng dẫn người sử dụng cách thức cài đặt và cấu hình máy tính của mình để có thể truy cập được chương trình Báo cáo

Chuyển vốn nội bộ Chức năng này cũng cung cấp các công cụ hỗ trợ việc cài đặt chương trình Màn hình Hỗ trợ kỹ thuật được thể hiện như hình sau:

Chương trình cũng cung cấp một diễn đàn giúp cho người sử dụng và người điều hành chương trình trao đổi thông tin một cách nhanh chóng và tiện lợi Đây là một cách hỗ trợ người sử dụng rất hiệu quả trong mô hình của BIDV

Forum này giống như hình sau:

Thông thường, người sử dụng có thể đọc các thông tin trên diễn đàn để biết các thông báo, tin tức mới nhất về chương trình Khi muốn post bài lên để thắc

Kho dữ liệu chuyển vốn Nội bộ tại BIDV mắc, chia sẻ kinh nghiệm, người sử dụng phải đăng nhập vào diễn đàn bằng user và mật khẩu được cấp

VII CHƯƠNG TRÌNH THAM SỐ Đây là một chương trình nhỏ, cho phép người sử dụng nhập bảng giá điều chuyển vốn Chương trình này chỉ được sử dụng và quản trị tại Trung tâm vốn

KẾT LUẬN

Việc đưa mô hình kho dữ liệu vào áp dụng cho hệ thống chuyển vốn nội bộ tại BIDV giúp cho chương trình có chức năng tạo báo cáo động rất linh hoạt, mô hình này đang được sử dụng tại BIDV và nhận được đánh giá cao từ phía người sử dụng tại các chi nhánh và sự quan tâm cao của ban lãnh đạo BIDV

Mô hình hệ thống Chuyển vốn nội bộ đã giúp BIDV phần nào loại bỏ được các thủ tục báo cáo giấy tờ tốn thời gian và công sức Giúp người sử dụng có thể tạo và khai thác được các báo cáo động một cách hiệu quả và linh hoạt

Hệ thống Chuyển vốn nội bộ đã khắc phục được các nhược điểm của kho dữ liệu cũ tại BIDV như: khai báo được riêng từng user đăng nhập chương trình cho mỗi người sử dụng, không phải sử dụng chung một user để truy cập các chương trình báo cáo dạng file Excel trên máy chủ phân phối dữ liệu như trong phân hệ kho dữ liệu của BIDV Hệ thống cũng đã xây dựng được chương trình phân phối báo cáo tới người sử dụng khá tiện lợi, cho phép phân quyền cho người sử dụng theo các mức khác nhau và bảo mật theo cơ chế bảo mật của Windows

Với việc ứng dụng công nghệ kho dữ liệu, hệ thống Chuyển vốn nội bộ góp phần tạo nên một hệ thống báo cáo động linh hoạt, giúp BIDV phần nào giảm bớt thời gian, công sức tạo, gửi các báo cáo giữa các cấp, các đơn vị liên quan

Góp phần giúp các cấp lãnh đạo BIDV ra quyết định kinh doanh chính xác, đúng đắn, kịp thời Hệ thống Chuyển vốn nội bộ đã khẳng định được vai trò, vị trí và tầm quan trọng của ngành công nghệ thông tin trong lĩnh vực tài chính, ngân hàng hiện đại.

Tiêu đề	Ứng Dụng Công Nghệ Kho Dữ Liệu Trong Công Tác Quản Lý Nguồn Vốn Tại Ngân Hàng
Tác giả	Tạ Liên Dung
Người hướng dẫn	PGS.TS Nguyễn Đình Hoá
Trường học	Đại học Quốc gia Hà Nội
Chuyên ngành	Công nghệ thông tin
Thể loại	luận văn thạc sĩ
Năm xuất bản	2007
Thành phố	Hà Nội

Định dạng
Số trang	81
Dung lượng	2,25 MB