3.4.4.2. Q trình ETL tại bảng IB_USER_ DIMENSION
Để tích hợp dữ liệu vào kho dữ liệu thì cần phải xây dựng các quy tắc ánh xạ dữ liệu từ nguồn đến đích. Đó là một bảng ánh xạ logic bao gồm đầy đủ thơng tin như tên bảng đích/nguồn, tên cột đích/nguồn, định dạng dữ liệu đích/nguồn, tên bảng, điều kiện xử lý, logic tải dữ liệu, logic chuyển đổi dữ liệu....Được thiết kế để thể hiện rõ quá trình tải dữ liệu từ bảng nguồn tới bảng đích.
Hình 3.35. Mơ hình ánh xạ dữ liệu tại bảng IB_USER_ DIMENSION
Dựa vào bảng ánh xạ logic,job sẽ được thiết kế cho quá trình ETL tại bảng IB_USER_ DIMENSION như sau:
Hình 3.36. Demo quá trình đẩy dữ liệu thành công vào bảng IB_USER_ DIMENSION
Dựa trên công cụ Data stage các mối liên hệ về mặt logic giữa các bảng được thiết kế, mô phỏng một cách vật lý thông qua các tool. Dưới đây em sẽ trình bày logic câu lệnh SQL được thiết kế bên trong các stage.
Hình 3.38. Minh họa 2 thiết kếjob cho bảng bảng IB_USER_ DIMENSION
Hinh 3.39. Minh họa 3 thiết kếjob cho bảng bảng IB_USER_ DIMENSION
❖ Chạy thử dữ liệu xử lý type 2 với Change capture:
- Dữ liệu trên bảng nguồn:
Hình 3.40. Dữ liệu ban đầu trên bảng IB_IDV_REF_USR
STATUS REPORT KX JOB l.SOURCE.STG Generated 2021-05-19 08 18 04 Job start t∣mr∙2021 OS 19 08 18Ol Iob end time «2021 OS 19 08 1804 Job elapsed tιmr∙COOO 01 Job status* 1 (Frrwmed OK)
Stage CUSSESSIONIOG 1001 rows >nput
Stagestartt me∙2O21-CS-19 08 1804. end bme∙2O21-OS 19 08 1804,
-CteMdiOftaaoQ________________—_______________________________
Dữ liệu trên bảng đích:
Hình 3.42. Dữ liệu ban đầu trên bảng đích IB_USER_ DIMENSION
Hình 3.43. Dữ liệu sau khi cập nhật lại tại bảng IB_USER_ DIMENSION
3.4.4.3. Quá trình ETL tại bảng IB_TRNS_DTL_FACT
Hình 3.44. Demo đẩy dữ liệu thành công tại bảng IB_TRNS_DTL_FACT
3.5. Thiết kế sequence job
Sequence job là quy trình chạy nhiều parallel job một cách tuần tự hoặc chạy song song các parallel job. Bằng cách sử sụng sequence ta có thể chạy nhiều job khác nhau giảm thiểu việc thiết kế tất cả các job trên 1 parallel. Có thể tích hợp phân nhánh điều kiện hoặc vòng lặp cho việc chạy job tại đây.
Dựa trên cách hoạt động của sequence job em sẽ thiết kế một sequence job cho chạy toàn bộ tất cả các job đã thiết kế ở các tầng được trình bày tại các mục
3.5.1, 3.5.2, 3.5.3, 3.5.4 và theo cách xử lý gửi thông báo lỗi tại mục 3.1.14.
Sequence job sẽ được thiết kế như sau:
Hình 3.45. Demo sequence job
Khi có một job nào đó chạy fail thì sequence job sẽ gửi báo thông báo job chạy lỗi tại tầng nào. Đồng thời khi tất cả các job chạy thành cơng thì sẽ gửi gmail thơng báo tất cả các job chạy thành công.
4 J Mσotβ*t c∙ifκ∙ Iloiw •’ Ihtf -UUYMi t∏M∏q IhfMar • OuttoOkoWce-COin >ã . : AA ,.,.-,M Unqdunu â WuMwrfagCi
Q Uutien KMc ã
W HNG chi VltI- V SeeihmuItvIwG- â tol
Yeuthich B toe ■ Status Job E-ban ki ng
V Thtf mục Q HOpthtftMn IM Mn nhap > MiK <54 GtfI A MK đi «ơa bé 16 O O Efnai) Ra: S ItfU Inl O Ghi chu Cogrrervglion Hivt lχh SỪ Hdithoai O SB rf> ...
Khac Cuộc hội tho* rirơi
MiCTOioh Team*
etc reportteam@gmaii.com
Slatut Iob E-banking StSiA job DWH ran tai...................................
Tuln ∏iy ANH Holng D>ep
> ịRemmder] Char bao công IJ 401 CH Gih ill anh ch∣ em. Do VJ rt⅛ ∣⅛1 e∏' g MyAnaIytiC*
MyAnaIytK* I Thế Uqng t<5t τ? ⅜J0 SA MyAnaIytirt Ch-Vn phi CiV IhOI quen cùa
TuAn Iníóe
VU Nguyen Arn
ItTC-GOCI Account TFS IJ T1,^O⅛
Dear Tnxing Thi Ma∣ Qtfyrn. Account TF.
V. Ihihthuw-V Itfr? VMI KhOraf ban *)Od>d> W IAnqAl-I
etc repof∏eam<⅛cma∣l com .
14 19.0:.2021 419 SΛ τ* QUiNH IrtfOq Ihr Ma
D testsh
SWbyO
8 XΛ4 y Ilutrtf Q ThtffM V √ QiiHcIon E□ DschuyrfntA V Q Phtailcta V (T) Bao I4 V 9 Hotaitta ••• □
YButhkh 0 UutKn KhM ∙ a<lpc- Status Job E-banking v Thumvc
Q Hộp thu dẻn 187
I? Eir nhâp
KtMC Cuộc hột thojι mđi
Mkiosoft Tetani
x>. Ctt reportteam jĩ gm*1 com
Status Jcb í bank'∙ιg
All job run Ok •••••••—••••■
i,. Didiywstasi Ij--J Vi IOvgtop;Jc .w IdrgAiih
o *m,±i!*∙7'l*∙" ð ⅛ «1 ⅜
TaiMVWIBUSa C-T D -J “7
ĩta QUÝNH 1<umg TN Mta All job run Ok
> Muc đi CM ì Mvc đi XOa bó 17 Θ Email RM O Luu trù C CtM chu Conversation Hút IKhttfHMtho* ≡ a <e ■ O etcreportteampgmtaI com ì
Status Job ỉ banking B19
SA
job DVJH run *tad •••••••••••••••••••••••••_
Q test u>
O ANH HoAng D∣*p
> ∣Remmtfer∣ Khta tɪao COng TĨ 401 CH
Gtf CMar nchiem DosoxuitnBnemg aa MyAnalytict
" MyAnaIyt CS I Thế trang tót τ? ¢10 SA
STATUS RIPCRT FORJOB L.SOURCE.STG
Generated 7021 05 19 08 33 38 Job start time 2021-05-19 08:33:38 lot end bme>2Q21 OS 19 08 33 38 Jcb eapsed time COOC02 Job status* 1 (Finished OK)
Stage CusttSSIONlOG 1001 rows input
Stage start t>me=2021 OS-19 06 33 37. end bme=2021 OS 19 083337. elapsed-COOOOO
I nk DSlink’. 1001 rows
Stage: Trantfθffner.9. 1001 rows input
Stage start Mne=VOVI-OS-19 06 33 37. end Ivne=VQVI-OS 19 083337,
elapsed -OOOOOO
Hinh 3.47. Thông báo gửi gmail chạy thành công
3.6. Demo dữ liệu tại các tầng
3.6.1. Dữ liệu tầng STG- Bảng IBS_CUSSESSIONLOG: - Bảng IBS_CUSSESSIONLOG: Hình 3.48. Dữ liệu bảng IBS_CUSSESSIONLOG - Bảng IBS_BLENTERPRISE: Hình 3.49. Dữ liệu bảng IBS_BLENTERPRISE - Bảng BLCUSTOMER:
t ∏ ∙ Y • • ‰
+ - - • ỉ ɔ
FMW-
COB-DT SRC-
STS- π>JTLF0 LFOTD-PTM USRAOfjmjR-WT CUS-WR OH CUS-TTP LOC-DT OURNACTNS WR-CF- CNrrpIOG XJiOfcMOfr
frfrN BS COSIJTC- XjlOfcMIfcSfcSJ MSJ ιβιoβr? BFSS XBfrTX X ạ
XJIOS
MOfrOfrM BS COSI-STU- XJlfrS-KIfcSfcSS OMBS NX3 F∙l'. XIS X U 52 Sĩ ≡ 202105
KOfrOfrM BS JTCICOSI XJlfrS-KIfcSfcSJ MSN »7J0 (F*$ XMOJOJ 4» 21 X21O5
KOfrOfrM BS OOSIJTU- XJlOfcKIfcSfcSJ XtOJ XSS W XlfctOJl «2 IO L XJlOS
KOfrOfrM BS STDOOSI- XJlfrSIfcSSeSJ M NTJl IJJJX B R XlSOS-M MO JS S X2l∙05∙K
OfrOfrM ∞ OOSIJTC- XJl-OS-KIfcSfcSJ SOSIS JW MB R XPOJOJ ĩ? 41 > XJl-OS-
KOfrOfrM BS COSIJTC- XJlOS-KIfcSfcSJ JSJM SlJX W X X-1203 N
XJl-OS-
KOOOfrM BS COSIJTC- XJlOS-KIfcSfcSS MJSJ 4JX03 Ml R X1004-11 22 IS t XJI-OS-
KOOM-.M BS COSIJTC- XJl-OS-MIfcSkU SMN 40 JUJ R XlJ1104 US X
» XJI-OS-
KOOMM K COSIJTC- XJlOS-MIXSkU JXJJ UiOiJ VAS R XUOJOZ US U C-
3.6.2. Hình 3.50. Dữ liệu bảng IBS_BLCUSTOMER Dữ liệu tầng ODS - Bảng IFS_IB_IDV_REF_USR: Hình 3.51. Dữ liệu bảng IFS_IB_IDV_REF_USR - Bảng IFS_IB_IDV_REF_USR_HIST: Hình 3.52. Dữ liệu bảng IFS_IB_IDV_REF_USR_HIST - Bảng IFS_IB_CUS_NON_IDV_MSTR: Hình 3.53. Dữ liệu bng IFS_IB_CUS_NON_IDV_MSTR - Bng IFS_USR_LGN_DTL:
lunwed" ì ẳ XfKttfr X Xuntfred* × IX RSUfrfrK IIS VSKlWfjm × Table: IFS USR LGN DTL
Hình 3.54. Dữ liệu bảng IFS_USR_LGN_DTL 3.6.3. Dữ liệu tầngDWH - Bảng IB_IDV_REF_USR: Hình 3.55. Dữ liệu bảng IB_IDV_REF_USR - Bảng IB_IDV_REF_USR_HIST: Hình 3.56. Dữ liệu bảng IB_IDV_REF_USR_HIST - Bảng IB_CUS_NON_IDV_MSTR: CUS_NON_ID V_MSTR Hình 3.57. Dữ liệu bảng IB_ - Bảng USR_LGN_DTL:
Hình 3.58. Dữ liệu bảng USR_LGN_DTL 3.6.4. Dữ liệu tầngDM
- Bảng VTG_DIM:
⅛ ZUZl-U 5- W UU: UUiUU ZUZl-Ub-W UyiUUiUZ
24 2021-05-14 00:00:00 2021-05-14 09:00:02 48 2021-05-14 00:00:00 2021-05-14 09:00:02 12 2021-05-14 00:00:00 2021-05-14 09:00:02 36 2021-05-14 00:00:00 2021-05-14 09:00:02 50 2021-05-14 00:00:00 2021-05-14 09:00:02 Hình 3.59. Dữ liệu bảng VTG_DIM - Bảng LGN_TYP_DIM:
Hình 3.60. Dữ liệu bảng LGNTYPDIM
- Bảng IB_TRNS_TIER_DIM:
Hình 3.61. Dữ liệu bảng IB_TRNS_TIER_DIM
Hình 3.62. Dữ liệu bảng IB_USER_DIMENSION
- Bảng IB_TRNS_DTL_FACT:
Hình 3.63. Dữ liệu bảng IB_TRNS_DTL_FACT
3.7. Kết luận chương 3
Chương 3 đã trình bày kiến trúc tổng thể của dự án, quá trình load dữ liệu từ các tầng, quá trình chạy job và gửi thơng báo, cách xử lý SCD type 1,2, giới thiệu các cơng cụ sử dụng và q trình xây dựng chi tiết ETL tại mỗi tầng, cách xử lý dữ liệu tại mỗi tầng. Đồng thời trình bày cách thiết kế sequence job cho dự án.
CHƯƠNG IV: XÂYDựNG BẢO CẢO CHO HỆ THỐNG E-BANKING
4.1. Công cụ IBM Cognos Business Intelligence
Cognos Business Intelligence cung cấp hệ thống báo cáo cho phép Khách hàng khai tác dữ liệu nhiều nguồn khác nhau và phân tích/sử dụng các dữ liệu đó thành các nguồn thơng tin có ý nghĩa nhằm hỗ trợ việc ra quyết định một cách chính xác và hiệu quả. Congos là giải pháp BI dẫn đầu thế giới cho những ứng dụng tạo bản báo cáo, dự báo, các phân tích giả lập và quản lý hiệu năng của doanh nghiệp (balance sc orecard, simulation and Forecasting). Ngồi ra, Cognos BI cịn giúp cho khách hàng lập những kế hoạch chiến lược, hiểu và quản lý được nguồn tài chính và quản lý được các hoạt động kinh doanh của doanh nghiệp [4].
Các chức năng của Cognos:
- Báo cáo và Phân tích: Sẵn sàng tạo mọi loại báo cáo phục vụ cho mọi đối tượng người dùng, đáp ứng toàn bộ các nhu cầu về báo cáo, giao diện thay đổi theo mức độ được phân quyền của người dùng, phân tích khối lượng lớn dữ liệu bao qt tồn bộ hoạt động kinh doanh [4].
- Đo lường, đánh giá hiệu quả hoạt động: Kết nối hành động thực tế với chiến lược thông qua các metric, bản đồ chiến lược để điều chỉnh việc lập kế hoạch phục vụ quản trị hoạt động kinh doanh tổng thể [4].
- Dashboards: Mang lại cái nhìn tổng quát về hoạt động kinh doanh thông qua các báo cáo, bản đồ, biểu đồ, scorecards giúp rút ngắn thời gian chờ đợi ra quyết định [4].
- Quản trị sự kiện: Với mỗi sự kiện từ khi bắt đầu cho tới khi hồn thành, cơng cụ giúp đảm bảo mọi thành viên và hệ thống đều thực hiện các thao tác cần thiết và đúng thời điểm [4].
4.2. Thiết kế báo cáo và biểu mẫu
Dựa trên dữ liệu tại DTM thông qua công cụ cognos em sẽ xây dựng một số báo cáo được dựng trên yêu cầu nghiệp vụ và template của ngân hàng đưa ra.
Báo cáo phân tích E-baking theo thời gian găn bó với ngân hàng
Đối với báo cáo phân tích E-baking theo thời gian găn bó với ngân hàng người dùng có thể xem tổng số lượng khách hàng, tổng giá trị giao dịch, tổng số lần giao dịch của mỗi chỉ tiêu thời gian găn bó của khách hàng. Thơng qua báo cáo người dùng có thể nhận thấy các sự thay đổi về giá trị mỗi lần giao dịch, số lần giao dịch của khách hàng. Liệu các khách có đang tiếp tục gia tăng thời gian găn bó sử dụng dịch vụ khơng?
BÁO CÁO PHÂN TÍCH E-BANKING THEO THỜI GIAN GAN BÓ VỚI NGÂN HÀNG
Hình 4.1. Báo cáo phân tích theo thời gian găn bó với ngân hàng
Báo cáo giá trị giao dịch trong quý 1:
Báo cáo sẽ thể hiện giá trị giao dịch của mỗi loại khách hàng, theo nhóm tuổi, theo chi nhánh, theo mã khách hàng, theo loại dịch vụ, giá trị giao dịch nằm trong khoảng nào là cao nhất.
BÁO CÁO GIÁ TRI GIAO D|CH QUỶ 1
KẾT LUẬN
Sau q trình nghiên cứu, bài khóa luận “Xây dựng quy trình tích hợp dữ liệu ETL và xuất báo cáo cho hệ thống E-banking tại Ngân hàng TMCP Công Thương Việt Nam” đã xây dựng quá trình ETL đổ dữ liệu từ hệ thống nguồn lên DTM và thiết kế các báo cáo, biểu mẫu phục vụ cho q trình ra quyết định. Thơng qua việc xây dựng kho dữ liệu đã giải quyết những hạn chế của việc khai thác dữ liệu từ CSDL tác nghiệp, sử dụng dữ liệu từ nhiều nguồn khác nhau và tối ưu hóa được hệ thống báo cáo của ngân hàng. Kết quả đạt được sau khi thực hiện bài toán như sau:
- Từ những kiến thức đã được trao dồi trên học viện áp dụng vào thiết kế quy trình ETL luồng dữ liệu cho hệ thống E-banking.
- Xuất báo cáo từ dữ liệu tại tầng DTM thông qua công cụ cognos hỗ trợ cho việc phân tích và ra quyết định quản trị.
- Hiểu biết thêm về các nghiệp vụ trong ngân hàng, tiếp cận gần hơn với thực tế bài tốn cho cơng việc sau này.
- Biết sử dụng các công cụ ETL, công cụ báo cáo được sử dụng phổ biến như IBM InfoSphere DataStage, IBM Cognos Analytics.
Đề tài còn một số hạn chế như sau:
- Kết quả báo cáo đạt được chưa thể thể hiện hết các dữ liệu cần phân tích, đáp ứng đủ nhu cầu của nhà quản trị.
- Do dữ liệu ngân hàng phải được bảo mật nên tại đây em khơng thể hiện ra tồn bộ dữ liệu, dữ liệu lên báo cáo có thể chưa chính xác như thực tế.
Hướng phát triển trong tương lai
- Tối ưu hiệu suất các job trên tool Datastage, tối ưu hóa các câu lệnh SQL cải thiện tốc độ truy cập, trích xuất, tải dữ liệu hơn
- Xuất ra nhiều báo cáo linh động, trực quan hơn, có giá trị phân tích, so sánh, dự báo cho người dùng
- Tạo điều kiện kiểm tra xem job có đúng thực sự chạy thành cơng hay khơng
Trương Thị Mai Quỳnh - K20HTTTA 7
TÀI LIỆU THAM KHẢO
[1] K. N. Q. L. T. Chính, “Kỹ Năng Quản Lý Tài Chính,” 1 8 2020. [Trực tuyến]. Available: https://kynangquanlytaichinh.com.vn/ngan-hang-vietinbank/. [2] W. H. Inmon, Database Data Warehousing Guide, US, 2010.
[3] J. C. Ralph Kimball, The Data Warehouse ETL Toolkit, US, 2004.
[4] G. P. P. Tích, "Giải pháp Phân tích và dự báo Business Intelligence," 20 12 2015. [Online]. Available: https://cmcsoft.com/giai-phap-phan-tich-va-du- bao.html.
[5] IBM, IBM Documentation, US, 2007.