Kho dữ liệu là một kho lưu trữ dữ liệu riêng biệt. Các hệ thống hoạt động của doanh nghiệp hỗ trợ các hoạt động hằng ngày bằng các ứng dụng xử lý giao dịch trực tuyến. Các nguồn dữ liệu cho các hệ thống hoạt động thường chỉ chứa các dữ liệu hiện tại. Ngược lại, kho dữ liệu thì lưu trữ nhiều dữ liệu lịch sử để phân tích. Hơn nữa, dữ liệu ở kho dữ liệu phải có các cấu trúc thích hợp để phân tích. Trong cơ sở dữ liệu của hệ điều hành, cập nhật dữ liệu xảy ra khi giao dịch xảy ra. Các giao dịch này đã tác động đến cơ sở dữ liệu một cách ngẫu nhiên. Dữ liệu trong cơ sở dữ liệu hoạt động có thể thay đổi theo từng thời điểm.
Khi các bộ phận phân tích kinh doanh muốn sử dụng dữ liệu trong kho dữ liệu để phân tích, họ cần phải biết rằng dữ liệu phải có tính ổn định và nó đại diện cho những bức ảnh chụp nhanh tại các thời điểm cụ thể. Khi họ đang làm việc với dữ liệu, việc lưu trữ dữ liệu không phải ở trạng thái cập nhật liên tục. Vì lý do này, kho dữ liệu là kho dữ liệu "chỉ đọc". Hầu hết các kho dữ liệu sử dụng các hệ thống quản lý cơ sở dữ liệu quan hệ. Nhiều kho dữ liệu cũng sử dụng các hệ thống quản lý cơ sở dữ liệu đa chiều. Dữ liệu được trích ra từ kho dữ liệu được tổng hợp theo nhiều cách khác nhau.
❖DWH của MSB gồm các cấu phần:
- Metadata - siêu dữ liệu (SDL): là thông tin mô tả nội dung của cơ sở dữ liệu
(CSDL). Metadata báo cho người dùng biết thời gian cập nhật sau cùng của dữ liệu, định dạng và mục đích sử dụng của nó. Những thơng tin này có thể hướng dẫn người dùng duyệt qua CSDL và giúp họ hiểu được ý nghĩa và ngữ cảnh của dữ liệu tài chính, các bản ghi về khách hàng và các giao dịch kinh doanh.
CSDM_USERS P K USER_ID DESCRIPTION LNDM_CONTRACT P K CONTRACT REF NO PARENT_REF_ NO LEVEL CSDM_BRANCH P K BRANCH_CODE BRANCH_NAM E LMDM_COLLATERA L_TYPE P COLLATERAL
Khóa luận tốt nghiệp Nghiên cứu cải tiến mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam
- SOR - hệ thống hồ sơ dữ liệu (System of Record): là cấu phần chính của DWH. Dữ liệu trong SOR thường vẫn được lưu trữ dưới dạng chuẩn 3 (3NF). SOR chứa
các dữ liệu đã được làm sạch, được hợp nhất. - Data Marts - kho dữ liệu chủ đề
Data Marts được xem như là tầng trình bày (Presentation) của DWH. Các câu lệnh truy vấn, phân tích sẽ truy cập trực tiếp vào các Data Marts đế lấy dữ liệu cho các báo cáo, Dashboards,... phục vụ cho từng nhu cầu cụ thể của MSB.
Một số phân hệ Datamart của ngân hàng MSB:
+ Phân hệ Tài sản đảm bảo: gồm có các thơng tin về giao dịch, số dư tài sản đảm bảo, bảo hiểm
+ Phân hệ Cho vay: số dư, giao dịch, các khoản đến hạn và trả nợ, hợp đồng tín dụng
+ Phân hệ Tài trợ thương mại: thơng tin về số dư
+ Phân hệ Báo cáo tài chính: thơng tin số dư theo các tiêu chí, giao dịch, liệt kê giao dịch
+ Phân hệ Ngoại tệ: số dư, giao dịch + Phân hệ Tiền gửi: số dư, giao dịch
+ Phân hệ Ngân quỹ: ngoại tệ, hợp đồng tiền gửi
+ Phân hệ Admin: thông tin liệt kê giao dich, thông tin liệt kê tài sản cố định, thông tin các tài khoản
Hiện nay, kho dữ liệu của ngân hàng MSB đang sử dụng phương pháp mơ hình hóa Ralph Kimball (lược đồ hình sao). Sau khi dữ liệu đã được xử lý ETL ở khu vực Staging và chuyển sang khu vực SOR, DWH sẽ chia ra nhiều Datamarts để phục vụ nhu cầu truy vấn và lập báo cáo khác nhau. Các DataMarts sẽ bao gồm bảng dữ kiện (fact) chứa thông tin các giao tác và các bảng chiều (dimension) đóng vai trị như là bảng tham chiếu lấy thông tin.
Nguyễn Thị Phương Linh - Lớp HTTTB.K16
Khóa luận tốt nghiệp Nghiên cứu cải tiến mơ hình kho dữ liệu tại ngân hàng TMCP Hàng Hải Việt Nam
COLLATERAL_T YPE COLLATERALJS ATEGORY CSDM_CURRENCY P K CURRENCY CODE CURRENCY_N AME CSDM_TRANSACTI ON_CODE P K TRAN SK TRAN_CODE DESCRIPTION MODULE LMFT_TRANSACTIO N PK, FK8 TRAN_SK___________ FK1 3 COLLATERAL_ID FK3 BRANCH_CO DE FK4 CURRENCY FK1 2 TYPE_SK FK5 RELATED_R EF_NO FK6 ETL_DATE FK7 CUSTOMER_ NO FK9 DORC_IND FK1 0 GL_CODEACY_AMOU NT LCY_AMOUN FK1 1 USER_IDTRN_REF_N O GLDM_CHART P K GL_CODE DESCRIPTION LMDM_COLLATERA L P K COLLATERAL ID CFDM_CUSTOMER P K CUSTOMER NO CUSTOMER_NAME CSDM_CALENDAR DATE KEY