CHƯƠNG 1 : TỔNG QUAN VỀ BÀI TOÁN
2.1. Quy trình lấy dữ liệu trong hệ thống xử lý giám sát trực tuyến của Ngân hàng
2.1.2. Quy trình ETL
ETL (Extract Transform Load) là quá trình dùng để thu thập dữ liệu từ nhiều hệ thống nguồn khác nhau (tất cả các dữ liệu này đều ở dạng thơ) sau đó biến đổi dữ liệu và cuối cùng nạp dữ liệu đã được xử lý vào hệ thống kho dữ liệu để phục vụ cho mục đích của kho dữ liệu. Nó đơn giản là 1 q trình 3 bước: Trích xuất (Extract), Biến đổi (Transform) và Tải (Load).
Công cụ ETL xử lý lấy file JSON đưa về bảng tạm thông qua phương thức API GET. Sau đó cơng cụ tiếp tục xử lý dữ liệu theo các yêu cầu nghiệp vụ phục vụ cho việc làm báo cáo tổng hợp và báo cáo phân tích.
Các job tự động được thiết lập trên cơng cụ ETL:
- Job Get_Daily:
+ Tổng quan: Các job lấy dữ liệu về trong thời gian một ngày từ 00h00’00” đến 23h59’59” với các tham số cho trước.
+ Loại: Sequence Job
+ Cách thức hoạt động: Chạy vào 01h00’00” hàng ngày và lấy dữ liệu của ngày hơm trước
+ Nội dung:
• Job Get_Daily truyền các tham số STARTTIME, ENDTIME, TAG_CD vào job GET_PROBLEM, job này sẽ chạy song song với nhau và lấy dữ liệu đổ về database.
• STARTTIME, ENDTIME được chuyển đổi sang dạng Unix time và truyền vào các job.
Hình 4. Job GetDaily - Job ProblemFeed:
+ Loại: Parallel Job
+ Cách thức hoạt động: Chạy khi job GET_DAILY chạy.
Khố luận tơt nghiệp
+ Nội dung:
• Job ProblemFeed lấy dữ liệu về database theo các TAG_CD được truyền vào từ job GET_DAILY và theo 4 khoảng thời gian trong một ngày.
■ Từ 0h00’00” đến 5h59’59”
■ Từ 6h00’00” đến 11h59’59”
■ Từ 12h00’00” đến 17h59’59”
■ Từ 18h00’00” đến 23h59’59”
• JobProblemFeed lấy dữ liệu về đổ vào 4 bảng: TAGINFO, EVENTS, PROBLEM., PRO_EVENTSEVERITY
Hình 5. Job ProblemFeed