Hình 2.4 là mơ hình tổng qt của kho dữ liệu cải tiến phục vụ cho hệ thống báo cáo của ngân hàng MSB bao gồm:
- Hệ thống nguồn dữ liệu: Core Banking SIBS, hệ thống quản lý thẻ Way4, hệ thống quản lý rủi ro Kondor, ...
Khóa luận tốt nghiệp Nghiên cứu cải tiến mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam
- Khu vực Staging lưu trữ dữ liệu thô được tổng hợp từ các nguồn khác nhau thơng
qua các cơng cụ trích lọc dữ liệu IBM Data Stage
- Khu vực DWH: SOR là linh hồn của kho dữ liệu bao gồm tầng automic và summary được thiết kế theo chuẩn IBM DataStage.
+ Khu vực DWH MSB gồm các DataMarts lập các báo cáo phân tích dữ liệu theo chủ đề sử dụng hệ thống khai thác và phân phối báo cáo tập trung IBM Cognos.
+ Khu vực DWH TT35 lập các báo cáo theo chuẩn báo cáo gửi về NHNN sử dụng hệ thống cổng giao tiếp thông tin NHNN
Mơ hình kho dữ liệu cải tiến hoạt động như sau:
Hình 2.5: Mơ hình hoạt động của kho dữ liệu cải tiến
Luồng xử lý dữ liệu trong hệ thống:
(1) : Xử lý dữ liệu từ nguồn đưa vào khu vực Staging:
Xử lý dữ liệu thô từ các nguồn (Core Banking, Kondor Plus, Way4, ....) vào bảng Today.
Chạy lệnh Minus để so sánh dữ liệu thay đổi giữa bảng Today và bảng PreData. Cập nhật dữ liệu vào bảng Minus Data trong khu vực Staging.
(2) : Thực hiện ETL (Trích xuất - Chuyển đổi - Truyền tải) dữ liệu từ Staging sang kho dữ liệu DWH:
Kết hợp các nguồn dữ liệu trên và các tham số dữ liệu trên các bảng tham số để tổng hợp dữ liệu chỉ tiêu và biểu mẫu tự động.
(3) : Lưu lịch sử dữ liệu tổng hợp:
Dữ liệu chỉ tiêu và biểu mẫu tự động sau khi tổng hợp được lưu version mới nhất tại bảng C_ITEM_DATA và lưu các version cũ trong C_ITEM_DATA_HIS.
____________Source_________________________Target______________ Description ____________ETL___________ Sourc
e Table Name___________Schema________Table Name_______ Mode Description_______
Silverla ke
SVPARPV51.GLINT3 STAGING SI-PAR-GLINT3 Đâu GL lưu thơng tin định khốn cho khoán vay__________________Replac e Silverla
ke
SVPARPV51 .GLINTl STAGING________ SI-PAR-GLINT1 Đâu GL lưu thơng tin định khốn cho khốn vay__________________Replac e Silverla
ke
SVPARPV51.GLACCT STAGING________ SI-PAR-GLACCT Thơng tin tài khoán GL nội bộ (Chart of Account)_________________Replac e Silverla
ke
SVDATPV51.GLMAST STAGING________ SI-DAT-GLMAST Báng dữ liệu số dư kế toán__________________________________Replac e Silverla
ke
SVHIS PV51.GLHIST STAGING________SI-HIS-GLHIST Báng Iich sử giao dịch GL___________________________________ Replac e Silverla
ke SVDATPV51.GLSTRN STAGING________SI-DAT-GLSTRN Báng lịch sử giao dịch GL trong một ngày_______________________ Replace Silverla
ke SVDATPV51.GLPAR1 STAGING________SI-DAT-GLPAR1 Replace
Silverla
ke SVPARPV51.GLEXCH STAGING________SI-PAR-GLEXCH Currency Exchange________________________________________ Replace Silverla
ke SVPARPV51.GLPAR5 STAGING________SI-PAR-GLPAR5 Tham so GL Group________________________________________Replace
Khóa luận tốt nghiệp Nghiên cứu cải tiên mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam
(4) : Đẩy dữ liệu báo cáo:
Dữ liệu chỉ tiêu và biểu mẫu tự động sau khi tổng hợp được đẩy sang chương trình TT35 để nghiệp vụ vào xử lý và tạo file gửi NHNN.
2.2.2 Q trình trích xuất, chuyển đổi, truyền tải dữ liệu (ETL) trong kho
dữ liệu
Thiết kế và triển khai quy trình ETL sẽ là bước phức tạp nhất trong tiến trình xây dựng kho dữ liệu tập trung. Quy trình bao gồm “Trích xuất, chuyển đổi, truyền tải” dữ liệu từ các hệ thống tác nghiệp gốc vào trong kho dữ liệu tập trung và từ kho dữ liệu tập trung qua các kho dữ liêu cục bộ. Mỗi lần kho dữ liệu thêm một ứng dụng hoặc một CSDL mới, quy trình ETL sẽ phải được bổ sung và ngày càng phức tạp hơn. Vì sự cần thiết phải phối hợp rất chặt chẽ các quy trình ETL, do đó sẽ chỉ nên sử dụng một cơng cụ ETL duy nhất để vận hành hệ thống kho dữ liệu. Vì vậy, chức năng và chất lượng quy trình ETL sẽ là chìa khóa thành cơng trong việc xây dựng kho dữ liệu tập trung của ngân hàng.
Mục đích của quy trình ETL là để hỗ trợ các quy trình trích xuất dữ liệu từ nguồn dữ liệu hỗn tạp, chuyển đổi các dữ liệu này thành các dữ liệu chất lượng cao, truyền tải dữ liệu đã được chuyển đổi và lưu trữ vào kho dữ liệu tập trung cũng như các kho dữ liệu chủ đề, giúp cho việc truy cập dễ dàng hơn.
Hình 2.6: Mơ hình ETL dữ liệu trong DWH TT35
Dữ liệu thô từ các nguồn (Core Banking, Kondor Plus, Way4, .... ) lấy trên STAGING được đẩy về bảng tương ứng trên CIRCULAR qua ETL.
Khóa luận tốt nghiệp Nghiên cứu cải tiên mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam
2.2.2.1 Trích xuất dữ liệu (Data Extraction) (ETL chuẩn bị/ ETL Staging)
Bước đầu tiên trong quy trình ETL là chiết xuất dữ liệu nhằm chọn lựa, thu thập và kết hợp dữ liệu từ nhiều nguồn dữ liệu đa dạng và phức tạp vào trong kho dữ liệu tạm thời trước khi làm sạch và chuyển đổi. Dữ liệu được chiết xuất gồm dữ liệu có cấu trúc và dữ liệu không cấu trúc được lấy từ nhiều nguồn dữ liệu trong và ngoài ngân hàng.
Các nguồn dữ liệu có cấu trúc bao gồm: Các hệ tác nghiệp như hệ thống Core
Banking, quản lý ngân quỹ (treasury), quản lý nội bộ và nguồn nhân lực, quản lý thẻ, hệ thống chuyển tiền. Các hệ quản lý các kênh phân phối như Contact center, Internet Banking, Mobile banking... các hệ thống báo cáo kết quả hoạt động kinh doanh. Các thông tin mua hoặc thuê từ các tổ chức tài chính như: trung tâm Thơng tin ứng dụng (CIC: credit information center), PCB (công ty Thông tin Tín dụng Việt Nam)..
Các nguồn dữ liệu không cấu trúc bao gồm: thông tin và báo cáo từ các chi nhánh, các
văn bản và báo cáo nội bộ, các nguồn thơng tin và tin tức ngồi ngân hàng.
Dữ liệu từ nguồn dữ liệu sẽ được tổng hợp vào cuối ngày và tự động cập nhật qua các Job của công cụ DataStage vào khu vực Staging vào sáng hơm sau.
Ví dụ các giao dịch kế toán được lưu trữ trong nguồn dữ liệu với đầu tên “SVPARPV51.” Khi chuyển vào Staging sẽ được đổi đầu tên “SI_PAR”
Hình 2.7: Quy ước đặt tên khi chuyển đổi dữ liệu từ nguồn dữ liệu vào Staging
Hình 2.8: Các job trong Data Stage thực hiện trích xuất dữ liệu vào Staging
Khóa luận tốt nghiệp Nghiên cứu cải tiến mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam
Sau khi trích xuất dữ liệu từ nguồn vào Staging, hệ thống tiếp tục việc chuyển đổi dữ liệu và sẵn sàng truyển tải dữ liệu vào DWH.
2.2.2.2 Chuyển đổi dữ liệu (Data Transformation)
Bước “chuyển đổi” dữ liệu là bước quan trọng nhất, có thể chiếm tới 80% của cả quy trình ETL. Dữ liệu cho một DWH đến từ nhiều nguồn khác nhau. Nếu khai thác dữ liệu cho kho dữ liệu đặt ra những thách thức lớn, việc chuyển đổi dữ liệu sẽ tạo ra nhiều thách thức lớn hơn. Một yếu tố khác trong kho dữ liệu là nguồn dữ liệu không chỉ là nguồn dữ liệu cố định ban đầu mà dữ liệu tiếp tục nhận thay đổi đang diễn ra từ các hệ thống nguồn. Bất kỳ chuyển đổi nào mà hệ thống đã thiết lập cho dữ liệu ban đầu cũng sẽ được điều chỉnh cho các phiên bản đang diễn ra.
Các kỹ thuật được áp dụng trong bước chuyển đổi dữ liệu để đảm bảo chất lượng dữ liệu: Đồng dạng/ đồng bộ dữ liệu (reformatting) - dữ liệu gốc thuộc nhiều ứng dụng tác nghiệp khác nhau cần được định dạng lại cho đồng bộ. Chỉnh hợp/ đối chiếu dữ liệu (reconcilement) - dữ liệu gốc dữ thừa, trùng hợp cần được đối chiếu để chỉnh sửa lại cho nhất quán và phù hợp. Làm sạch dữ liệu (cleansing) - dữ liệu từ các ứng dụng tác nghiệp gốc có thể thiếu chính xác và cần được kiểm tra, chỉnh sửa và làm sạch theo đúng các quy tắc nghiệp vụ. Tổng hợp dữ liệu (aggregation) - phần lớn dữ liệu sẽ cần được tổng hợp (summaried) để phù hợp với cấu trúc đa chiều của kho dữ liệu phục vụ cho nhu cầu truy xuất và báo cáo.
Khi chức năng chuyển đổi dữ liệu kết thúc, các dữ liệu được tích hợp đã được làm sạch, chuẩn hóa, và được tổng hợp. Bây giờ hệ thống đã sẵn sàng tải dữ liệu vào từng bộ dữ liệu trong kho dữ liệu.
2.2.2.3 Truyền tải dữ liệu (Data Load)
Khi hệ thống đã hoàn tất việc thiết kế và xây dựng kho dữ liệu và bắt đầu sử dụng lần đầu tiên để thực hiện việc tải dữ liệu ban đầu vào kho lưu trữ dữ liệu. Hệ thống di chuyển số lượng lớn dữ liệu tốn khá nhiều thời gian. Khi kho dữ liệu bắt đầu hoạt động, hệ thống tiếp tục cập nhật liên tục các thay đổi đối với dữ liệu nguồn, chuyển đổi các bản sửa đổi dữ liệu trong DWH.
Máy chu divh Il
Khóa luận tốt nghiệp Nghiên cứu cải tiến mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam
Hình 2.9: Kiểu dữ liệu thơng dụng được chuyển vào kho dữ liệu
2.2.2.4 Hệ thống thực hiện trích xuất, chuyển đổi, truyền tải dữ liệu IBM
DataStage
Hệ thống tích hợp dữ liệu IBM DataStage thuộc một trong các công cụ trong bộ IBM Information Server. IBM DataStage làm nhiệm vụ chính là thực hiện trích xuất, chuyển đổi, truyền tải dữ liệu (ETL). Một số đặc trưng cơ bản của DataStage giúp cho quá trình ETL dữ liệu được thực hiện một cách hiệu quả nhất trong quá trình chuyển đổi vào kho dữ liệu. Về cơ bản, IBM Data Stage có khả năng thực hiện các chức năng sau:
- Cơng cụ này có khả năng thu thập dữ liệu từ các nguồn dữ liệu kể cả có cấu trúc và
khơng có cấu trúc: các tập tin văn bản, cấu trúc dữ liệu phức tạp trong XML, các hệ
thống Hoạch định tài nguyên doanh nghiệp (ERP), và CSDL (DB2, SQL Server, Oracle..), kết nối với các công cụ đồng bộ dữ liệu thời gian thực như Change Data
Capture, kết nối với các kiến trúc hướng dịch vụ (SOA).
- Cho phép giải quyết các vấn đề liên quan đến xử lý khối lượng dữ liệu lớn với hiệu
năng cao bằng cách tận dụng khả năng xử lý song song của nền tảng phần cứng, triển khai được trên các nền tảng máy chủ lớn (Mainframe).
Nguyễn Thị Phương Linh - Lớp HTTTB.K16
Khóa luận tốt nghiệp Nghiên cứu cải tiến mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam - Dễ dàng cho việc mở rộng mô hình triển khai dữ liệu khi dữ liệu ngày càng lớn và
số lượng job xử lý dữ liệu tăng lên.
Hệ thống DataStage dễ dàng thực hiện việc thiết kế các “Flow jobs” theo các cơ chế khác nhau tùy theo năng lực của hệ thống nguồn và đích cụ thể:
❖ Việc chuyển đổi dữ liệu được thực hiện ở máy chủ nguồn.
Mủy chú πjjιιι⅛n
τriςtι xụat (Extract) Chuyên đơi (Transform)
Hình 2.10: Mơ hình xử lý theo ET-L
Hình 2.11: Mơ hình xử lý theo EL-T
❖ Việc chuyển đổi dữ liệu được thực hiện độc lập tại các máy chủ cài ETL, đây chính là một trong điểm nổi bật của hệ thống DataStage. Hiện tại MSB đang sử dụng mơ hình này nhằm giảm tải được sự ảnh hưởng của quá trình tổng hợp dữ liệu đẩy vào kho dữ liệu tới hệ thống nguồn và hệ thống đích bằng việc thực hiện các tính tốn phức tạp trên hệ thống của máy chủ cài đặt ETL và có khả năng mở rộng theo các mơ hình khác nhau tùy vào nhu cầu xử lý dữ liệu.
Máy chú ngu nồ Máy ch ETLủ Máy chú đích
Trich XU àt (Extract) (Transform)Chuyển đỗi
Truyền tải (Load)
Khóa luận tốt nghiệp Nghiên cứu cải tiến mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam
Hình 2.13: Q trình ETL được thiết kế bằng cơng cụ Data Stage
Sau khi dữ liệu đã được trích xuất, chuyển đổi, và sẵn sàng chuẩn bị chuyển dữ liệu sang kho dữ liệu DWH thì tại đây, kho dữ liệu của MSB sẽ được thiết kế xây dựng 2 DWH chạy song song với nhau. Một DWH xây dựng để phục vụ mục đích lập báo cáo và phân tích tình hình kinh doanh của ngân hàng MSB, một DWH được xây dựng để lập báo cáo định kì theo chuẩn các quy định gửi về NHNN. DWH để lập báo cáo về NHNN không thể xây dựng cùng DWH ngân hàng bởi vì cấu trúc dữ liệu khi lập báo cáo gửi ngân hàng nhà nước khác với báo cáo hoạt động kinh doanh của ngân hàng MSB, nếu xây dựng kết hợp thì có thể làm ảnh hưởng đến dữ liệu khi lập các báo cáo về tình hình kinh doanh của ngân hàng.
2.2.3 Tạo báo cáo gửi NHNN từ DWH 2
Sau khi dữ liệu đã được tổng hợp, chuẩn hóa trong kho dữ liệu, tùy theo nhu cầu và mục đích của ngân hàng thì sẽ cho ra nhiều loại báo cáo khác nhau. Tại MSB, báo cáo được chia ra làm 4 loại chính:
- Báo cáo hoạt động: Là báo cáo tài chính tổng hợp, phản ánh tổng qt tình hình và kết quả kinh doanh trong một kỳ hoạt động của doanh nghiệp và chi tiết cho các hoạt động kinh doanh chính. Nói cách khác, báo cáo kết quả hoạt động kinh doanh là phương tiện trình bày khả năng sinh lời và thực trạng hoạt động kinh doanh của doanh nghiệp.
- Báo cáo tuân thủ: Là báo cáo tài chính tuân theo các quy định, điều lệ, nghị định do
ngân hàng MSB hoặc NHNN ban hành.
- Báo cáo dự báo: Là báo cáo tài chính dự báo trước tình hình kinh doanh hay thị hiếu của khách hàng nhằm mục tiêu vạch ra chiến lược kinh doanh phù hợp.
- Báo cáo quản trị: Với mỗi cấp lãnh đạo thì yêu cầu các loại báo cáo khác nhau. Báo
cáo với cấp trưởng phịng là những báo cáo chi tiết về tình hình kinh doanh của
Khóa luận tốt nghiệp Nghiên cứu cải tiên mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam
tổng quan hơn về tình hình kinh doanh của tồn cơng ty để có cái nhìn khái quát nhằm đưa ra các chiến lược kinh doanh tốt hơn.
Một báo cáo thường có hai phần chính: dữ liệu và ứng dụng.
Đối với báo cáo từ DWH MSB: dữ liệu thì được truy vấn bằng các câu lệnh PL/SQL qua cơng cụ Data Stage và ứng dụng thì được xây dựng bằng công cụ IBM Cognos. Đối với báo cáo DWH TT35: dữ liệu được truy vấn bằng các câu lệnh PL/SQL qua công cụ Data Stage và ứng dụng được xây dựng bằng Hệ thống Cổng giao tiếp thông tin với Ngân hàng nhà nước.
Khóa luận tốt nghiệp Nghiên cứu cải tiến mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam
Hình 2.15: Thiết kế các job lấy dữ liệu trên công cụ Data Stage
Tên ngành Idnh tè
Mã ngành kinh tẻ
Tiền gửi của cá nhân và tổ chức là Người cư trú của Việt Nam
Phát hãnh giày tờ có giã cho Người cư trú của Việt Nam
Bang VND Băng ngoại
tẹ Tồng cộng Băng VND Băng ngoại tệ Tồng cộng lĩ) lĩ) 13) lĩ) H) τ¾ 17) Tống cộng
Khóa luận tốt nghiệp Nghiên cứu cải tiến mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam
Hình 2.17: Cổng giao tiếp thơng tin với Ngân hàng nhà nước
Chương 2 đã trình bày các hệ thống thơng tin tại ngân hàng MSB và mơ hình kho dữ liệu Hub-and-Spoke mà MSB đang sử dụng. Từ đó, khóa luận sẽ đề xuất phương án cải tiến kho dữ liệu để có thể xây dựng hệ thống báo cáo theo chuẩn ngân hàng nhà nước áp dụng cho các tổ chức tín dụng và ngân hàng tại Việt Nam. Trong chương tiếp theo, khóa luận sẽ trình bày báo cáo việc thử nghiệm mơ hình kho dữ liệu cải tiến để lập báo cáo Huy động vốn từ khách hàng theo ngành kinh tế cho ngân hàng MSB.
Khóa luận tốt nghiệp Nghiên cứu cải tiến mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam
CHƯƠNG III: XÂY DỰNG BÁO CÁO HUY ĐỘNG VÓN THEO CHUẢN NHNN DỰA TRÊN KHO DỮ LIỆU NGÂN HÀNG MSB
Chương này sẽ trình bày kết quả xây dựng một hệ thống thử nghiệm cho báo cáo Huy động vốn theo chuẩn NHNN dựa trên mơ hình kho dữ liệu của ngân hàng MSB.
3.1Báo cáo huy động vốn từ khách hàng theo ngành kinh tế
Báo cáo Huy động vốn từ khách hàng theo ngành kinh tế là những báo cáo được trình bày tổng quát, phản ánh một cách tổng hợp nhất về tình hình huy động vốn từ tiền gửi và các giấy tờ có giá của người cư trú tại Việt Nam.
Báo cáo Huy động vốn từ khách hàng theo ngành kinh tế là loại báo cáo tài chính quan trọng của NHTM vì thơng qua các chỉ tiêu của báo cáo này giúp cho lãnh đạo ngân hàng và các cơ quan quản lý, cơ quan thuế, kiểm toán nắm được thực trạng các khoản huy động vốn của từng ngân hàng cũng như tồn bộ hệ thống. Từ đó giúp cho công tác lãnh đạo, điều hành, kiểm tra, kiểm tốn có hiệu quả nhằm giúp các NHTM hồn thành kế hoạch tài chính và kế hoạch nộp ngân sách quốc gia.
Báo cáo huy động vốn từ khách hàng theo ngành kinh tế có biểu mẫu được thiết kế dựa trên khung mẫu biểu số 041-DBTK như sau:
Đơn vị bão cáo: ... Biểu số 041-DBTK
BÁO CÁO HUY ĐỎNG VÓN TỬ KHÁCH HÀNG THEO NGÀNH KINH TÉ
(Tháng... năm...) Đan Vị' tính: Triệu VND
Hình 3.1: Biểu mẫu huy động vốn từ khách hàng theo ngành kinh tế