Chuyên ngành bigdata xây dựng luồng tích hợp dữ liệu cho ngân hàng tmcp quân đội bằng công cụ oracle data integrator (odi)

BỘ KẾ HOẠCH VÀ ĐẦU TƯ HỌC VIỆN CHÍNH SÁCH VÀ PHÁT TRIỂN - - KHÓA LUẬN TỐT NGHIỆP ĐỀ TÀI: XÂY DỰNG LUỒNG TÍCH HỢP DỮ LIỆU CHO NGÂN HÀNG TMCP QUÂN ĐỘI BẰNG CÔNG CỤ ORACLE DATA INTEGRATOR (ODI) Đơn vị thực tập: Công ty TNHH Giải pháp Phân tích liệu Insight Data Giảng viên hướng dẫn : Ths Đỗ Thế Dương Sinh viên thực : Lê Trí Thành Mã sinh viên : 7103101343 Khóa : 10 Khoa : Kinh Tế Số Chuyên ngành : BigData HÀ NỘI – THÁNG 4/2023 LỜI CẢM ƠN Trong thời gian làm báo cáo khóa luận, em nhận nhiều giúp đỡ, đóng góp ý kiến bảo nhiệt tình thầy ThS.Đỗ Thế Dương, Giảng viên Khoa Kinh Tế Số - Học Viện Chính Sách Phát Triển Em xin gửi lời cảm ơn chân thành đến thầy hướng dẫn, bảo em thời gian vừa qua Em xin bày tỏ trân trọng lòng biết ơn thầy cố vấn học tập TS Đàm Thanh Tú Trong q trình học tập rèn luyện, thầy ln động viên, giúp đỡ để em tự tin vững bước chặng đường dài phía trước Thầy giúp em hiểu sâu sắc thấu đáo lĩnh vực mà nghiên cứu để vận dụng kiến thức cách hiệu vào cơng tác Xin cảm ơn bạn bè, đồng nghiệp gia đình tạo điều kiện tốt nhất, giúp đỡ, động viên, ủng hộ cổ vũ em suốt trình học tập nghiên cứu để hồn thành tốt khóa luận tốt nghiệp Sinh viên (đã ký) Lê Trí Thành MỤC LỤC LỜI CẢM ƠN DANH MỤC TỪ VIẾT TẮT DANH MỤC HÌNH ẢNH DANH MỤC BẢNG BIỂU Tính cấp thiết đề tài Mục đích nghiên cứu Đối tượng phạm vi .9 Phương pháp nghiên cứu Kết cấu khóa luận .9 CHƯƠNG I : CƠ SỞ LÝ THUYẾT .10 1.1 Tổng quan Kho Dữ liệu (Data Warehouse) 10 1.1.1 Lịch sử hình thành 10 1.1.2 Data Warehouse ? 11 1.1.3 Đặc điểm kho liệu 12 1.1.4 Các Lĩnh vực ứng dụng Data Warehouse .13 1.1.5 Thành phần kho liệu Data Warehouse .14 1.2 ETL Dữ liệu xây dựng Kho Dữ liệu 19 1.2.1 Khái niệm ETL 19 1.2.2 Quá trình ETL .19 1.2.3 Vai trò ETL liệu 20 1.2.4 Phương pháp ELT Dữ liệu 21 1.2.5 Phân biệt hai phương pháp tổng hợp liệu ETL ELT 23 CHƯƠNG II : HỆ THỐNG VẬN HÀNH TRONG NGÂN HÀNG VÀ GIỚI THIỆU CÔNG CỤ SỬ DỤNG 26 2.1 Quy trình vận hành dự án .26 2.2 Công cụ sử dụng 27 2.2.1 Công cụ ELT liệu .27 2.2.2 Công cụ SQL Developer 32 2.2.3 Ngôn ngữ PL/SQL 33 CHƯƠNG III: XÂY DỰNG BÁO CÁO NGÂN HÀNG NHÀ NƯỚC VÀ TRIỂN KHAI LUỒNG TÍCH HỢP DỮ LIỆU 44 3.1 Cài đặt công cụ .44 3.1.1 Cài đặt công cụ SQL Developer 44 3.1.2 Cài đặt ODI – Oracle Data Integrator 49 3.2 Mơ hình triển khai 58 3.2.1 Các bảng liệu 59 3.2.2 Yêu cầu dự án 59 3.3 Đề xuất giải pháp thực yêu cầu .59 3.4 Code PL/SQL .60 3.5 Xây dựng luồng ETL 62 3.5.1 Các bước xây dựng luồng ETL liệu 62 3.5.2 Giải thích luồng ETL .75 3.5.3 Đóng gói Code bàn giao 77 KẾT LUẬN 81 TÀI LIỆU THAM KHẢO 82 DANH MỤC TỪ VIẾT TẮT STT Từ viết tắt Định nghĩa tiếng anh Tiếng việt Ngân hàng nhà nước Thương mại cổ phần Database Cơ sở liệu Business Intelligence Kinh doanh thông minh Extract, Tranform, Loading Trích xuất, chuẩn hóa, tải Online Analytical Processing Xử lý phân tích trực tuyến Online Transaction Processing Xử lý tác nghiệp trực tuyến Structured Query Language Ngôn ngữ truy vấn cấu trúc Procedural Language extensions for Ngôn ngữ lập trình hướng SQL thủ tục Business Requirement Document Tài liệu yêu cầu nghiệp vụ Tài liệu đặc điểm yêu cầu kỹ Systems Requirement specification thuật hệ thống Kiểm thử chấp nhận người User Acceptance Testing dùng System Integration Test Kiểm tra tích hợp hệ thống Data Definition Language Ngơn ngữ định nghĩa liệu Data Manipulation Language Ngôn ngữ thao tác liệu Service Level Agreement thỏa thuận mức độ dịch vụ Người chịu trách nghiệm Quality Assurance Tester kiểm thử phần mềm Chuyên viên phân tích kinh Business Analyst doanh NHNN TMCP CSDL BI ETL OLAP OLTP SQL PL/SQL 10 BRD 11 SRS 12 UAT 13 14 15 16 SIT DDL DML SLA 17 QA/Tester 18 BA 19 SOA Service Oriented Architecture kiến trúc định hướng dich vụ 20 DEV Deverloper Lập trình viên 21 RDBMS Relational Database Management System Hệ quản trị sở liệu quan hệ DANH MỤC HÌNH ẢNH Hình 1.1 Data Warehouse 11 Hình 1.2 Lĩnh vực ứng dựng Kho Dữ Liệu 13 Hình 1.3 Thành phần Kho Dữ liệu – Data Warehouse 14 Hình 1.4 ETL liệu Data Warehouse 15 Hình 1.5 ETL Dữ Liệu Data WareHouse 19 Hình 1.6 Phương pháp ETL 23 Hình 1.7 Phương pháp ELT 23 Hình 2.1 Quy trình vận hành dự án Ngân Hàng 26 Hình 2.2 Cơng cụ ODI 27 Hình 2.3 Kiến Trúc ODI 29 Hình 2.4 Các thành phần ODI Studio 30 Hình 2.5 Cơng cụ Oracle SQL Developer 32 Hình 2.6 Cấu tạo ngôn ngữ PL/SQL 33 Hình 2.7 Mơi trường thực thi PL/SQL 34 Hình 2.8 Lợi ích PL/SQL 34 Hình 2.9 Các khối lệnh PL/SQL 36 Hình 2.10 Tạo Function 40 Hình 2.11 Biên dịch chương trình 40 Hình 2.12 Chạy kiểm thử chương trình 40 Hình 2.13 Nơi lưu trữ Subprogram 41 Hình 2.14 Sửa lỗi 41 Hình 2.15 Kiểu liệu số 42 Hình 2.16 Kiểu liệu Text 42 Hình 2.17 Kiểu Date/time 42 Hình 2.18 Kiểu liệu cột (%TYPE) 42 Hình 2.19 Ví dụ khai báo kiểu liệu cột 42 Hình 2.20 Kiểu liệu dịng (%rowtype) 43 Hình 2.21 Ví dụ khai báo kiểu liệu %ROWTYPE 43 Hình 2.22 Câu lệnh DBMS_OUTPUT.PUT_LINE()” 43 Hình 3.1 Truy cập trang web để tải cơng cụ 44 Hình 3.2 Download SQL Developer 45 Hình 3.3 Đăng nhập tài khoản Oracle 45 Hình 3.4 Khởi chạy Oracle SQL Developer 46 Hình 3.5 Màn hình khởi chạy 46 Hình 3.6 Giao diện Oracle SQL Developer 46 Hình 3.7 Mơ hình kết nối với Oracle Database 47 Hình 3.8 Tạo kết nối với Oracle 47 Hình 3.9 Nhập thơng tin kết nối 48 Hình 3.10 Link tải Oracle ODI 12c 49 Hình 3.11 Giải nén file JDK 49 Hình 3.12 Cài Java 50 Hình 3.13 Chọn môi trường Developments Tools 50 Hình 3.14 Mơi trường cài đặt 51 Hình 3.15 Java cài đặt 51 Hình 3.16 Cài đặt thành công Java 52 Hình 3.17 Giải nén file 52 Hình 3.18 Copy đường dẫn 52 Hình 3.19 Command 52 Hình 3.20 Nhập lệnh Cd dán đường dẫn vừa chép 53 Hình 3.21 Tải Java vào ODI 53 Hình 3.22 Chương trình Java ODI khởi chạy 53 Hình 3.23 Cửa sổ cài đặt ODI 53 Hình 3.24 Bắt đầu cài đặt Oracle Data Integrator - ODI 54 Hình 3.25 Chọn Next để tiếp tục 54 Hình 3.26 Kiểm tra thủ tục cài thành công 55 Hình 3.27 Bắt đầu cài ODI 55 Hình 3.28 Các tính file lưu trữ cài đặt 56 Hình 3.29 Hồn tất cài đặt ODI 56 Hình 3.30 Copy file msvcr100.dll vào thư mục bin 57 Hình 3.31 Mở ODI 57 Hình 3.32 ODI cài đặt thành công 57 Hình 3.33 Báo cáo phân loại tài sản - Mapping 61 Hình 3.34 Bảng nguồn sử dụng làm báo cáo 61 Hình 3.35 Thơng tin bảng đích 61 Hình 3.36 Code PL/SQL 62 Hình 3.37 Biến V_SYS_DATE 63 Hình 3.38 Thực tạo biến V_JOB_NAME 63 Hình 3.39 Biến V_JOB_NAME 63 Hình 3.40 Tạo biến V_BUSINESS_DATE 64 Hình 3.41 Biến V_BUSINESS_DATE 64 Hình 3.42 Tạo biến V_CHECK_RUN_JOB 65 Hình 3.43 Biến V_CHECK_RUN_JOB 65 Hình 3.44 Tạo biến so sánh V_CHECK_RUN_JOB 66 Hình 3.45 Biến So sánh với V_CHECK_RUN_JOB 66 Hình 3.46 Biến khởi tạo vịng lặp 67 Hình 3.47 Biến khởi tạo vịng lặp 67 Hình 3.48 Câu query biến 67 Hình 3.49 PRC_INSERT_LOG 68 Hình 3.50 PRC_UPDATE_SOURCE_FAIL 68 Hình 3.51 PRC_UPDATE_LOG_FAIL 69 Hình 3.52 PRC_ UPDATE_LOG_SUCCESS 69 Hình 3.53 Vị trí Procedure luồng ETL 69 Hình 3.54 Function F_CHECK_SOURCE_FLAG 70 Hình 3.55 F_CHECK_SOURCE_FLAG 70 Hình 3.56 Biến F_CHECK_SOURCE_FLAG 70 Hình 3.57 Cơng cụ OdiSleep – chế delay vịng lặp 71 Hình 3.58 Điều chỉnh thời gian sleep 71 Hình 3.59 Manage your Google Account 72 Hình 3.60 App passwords 72 Hình 3.61 App passwords 72 Hình 3.62 OdiSendMail -Gửi mail tự động 73 Hình 3.63 Cấu hình OdiSendMail 73 Hình 3.64 odi.conf 74 Hình 3.65 Edit with Notepad++ 74 Hình 3.66 Thêm config Starter TLS 74 Hình 3.67 odi.conf 75 Hình 3.68 odi -clean -initialize 75 Hình 3.69 Tồn lng ETL liệu cho BC NHNN xây ODI 75 Hình 3.70 Các khối luồng ETL 76 Hình 3.71 Export 78 Hình 3.72 Smart Export 78 Hình 3.73 Kết thu sau phân tích 79 Hình 3.74 Kéo thả project mong muốn export 79 Hình 3.75 Đợi kết 79 Hình 3.76 Kết hồn thành Export 80 DANH MỤC BẢNG BIỂU Bảng 1.1 So Sánh Kho Dữ Liệu Cơ Sở Dữ Liệu 18 Bảng 1.2 Phân biệt ETL ELT 23 Bảng 3.1 Các bảng liệu nguồn 59 Bảng 3.2 Bảng Dữ Liệu Đích 59 MỞ ĐẦU Tính cấp thiết đề tài Sự bùng nổ liệu khiến nhiều doanh nghiệp nước phải đối mặt với hàng loạt hạn chế việc xử lý thông tin, dẫn đến khả đưa định bị chậm trễ trì hỗn Điều lâu dài chắn ảnh hưởng không nhỏ đến hiệu doanh nghiệp Dữ liệu lưu trữ từ nhiều nguồn, nhiều định dạng khác liệu tăng lên theo tích tắc, doanh nghiệp muốn tồn thời đại cần phải quản lý nguồn liệu có phát triển xử lý cách hiệu Nhận thấy tầm quan trọng tập đồn cơng nghệ hàng đầu giới tạo công cụ hỗ trợ giúp doanh nghiệp tổng hợp, xử lý từ nhiều nguồn; nhiều định dạng khác Oracle, Microsolf, Google, IBM, … để từ giúp họ khai thác tiềm Dữ liệu thứ mà ví “ Mỏ dầu kỷ 21” Để giúp người đọc hay doanh nghiệp khả năng, ứng dụng công cụ tích hợp liệu mà thuật ngữ gọi ETL (Extract, Tranform, Load), em tiến hành sử dụng công cụ nhà Oracle Oracle Data Integrator viết tắt ODI kết hợp ngôn ngữ PL/SQL phát triển Oracle để xây dựng báo cáo Ngân Hàng Nhà Nước cho Ngân Hàng Thương Mại Cổ Phần Quân Đội Mục đích nghiên cứu Mục tiêu báo cáo ứng dụng phần mềm Oracle Data Integrator (ODI) để xây dựng luồng ETL liệu kết hợp Code PL/SQL để xây dựng báo cáo phân loại tài sản có cam kết ngoại bảng Ngân hàng TMCP Quân Đội nhằm đề xuất giải pháp cần thiết để nâng cao lực quản trị liệu cải thiện hiệu suất làm việc ngân hàng Từ mục tiêu đó, nhiệm vụ nghiên cứu xác định là: - Tìm hiểu (phân tích) kết nghiệp vụ Ngân hàng thương mại cổ phần Quân Đội – MB - Đưa biện pháp để nâng cao lực quản trị liệu cải thiện tốc độ đưa báo cáo ngân hàng Đối tượng phạm vi Đối tượng nghiên cứu - Báo Cáo Phân Loại Tài Sản Có Cam Kết Ngoại Bảng - Cơng cụ Oracle Data Integrator (ODI) - Ngôn ngữ PL/SQL Phạm vi nghiên cứu - Phân tích liệu Ngân hàng thương mại cổ phần Quân Đội - Dữ liệu báo cáo từ năm 2021-2022 Phương pháp nghiên cứu Phương pháp thu thập, tổng hợp, phân tích so sánh liệu nhằm làm rõ vấn đề nghiên cứu, kết hợp tham khảo kết nghiên cứu cơng trình liên quan Kết cấu khóa luận Ngồi phần mở đầu, kết luận, mục lục, phụ lục danh mục tài liệu tham khảo, nội dung nghiên cứu khóa luận gồm chương: Chương Cơ sở lý thuyết Nội dung chương trình bày tổng quan Data Warehouse ETL kho liệu liệu gồm định nghĩa, đặc tính, mơ hình liệu kho liệu, lợi ích, ứng dụng trình ETL liệu Chương Hệ thống vận hành ngân hàng giới thiệu công cụ sử dụng Nội dung chương trình bày cách vận hành dự án thực tế ngân hàng công cụ sử dụng dự án bao gồm quy trình vận hành, tài liệu nội bộ, cơng cụ tích hợp liệu, ngơn ngữ lập trình PL/SQL Chương Xây dựng báo cáo Ngân hàng Nhà nước triển khai luồng tích hợp liệu Nội dung chương trình bày cách thức triển khai xây dựng luồng tích hợp liệu bao gồm bước thực Code, tạo biến, đóng gói bàn giao dự án PRC_UPDATE_LOG_FAIL PRC_ UPDATE_LOG_SUCCESS - Giải thích: hệ thống ngân hàng, job etl chạy ln ln có chế để giám sát job (xem tình trạng job fail, bị treo hay chạy thành công) - Procedure insert dòng log với tên job, ngày business_date trạng thái “Processing” vào bảng log ETL_SYS_LOGS - Thực hiện: tạo task procedure, task câu lệnh code để insert log job vào bảng ETL_SYS_LOGS Hình 3.49 PRC_INSERT_LOG - Procedure ghi trạng thái log “Check_source_fail” vào bảng log ETL_SYS_LOGS - Thực hiện: tạo task procedure, task câu lệnh code để thực yêu cầu Hình 3.50 PRC_UPDATE_SOURCE_FAIL 68 - Procedure update trạng thái log từ “Processing” sang “Task_process_fail” job chạy thất bại - Thực hiện: tạo task procedure, task câu lệnh code để thực yêu cầu Hình 3.51 PRC_UPDATE_LOG_FAIL - Procedure update trạng thái log từ “Processing” sang “Job_success” job chạy thành công - Thực hiện: tạo task procedure, task câu lệnh code để thực u cầu Hình 3.52 PRC_ UPDATE_LOG_SUCCESS - Vị trí procedure luồng ETL Hình 3.53 Vị trí Procedure luồng ETL Bước 8: Tạo biến check tất bảng nguồn trả FLAG (có giá trị 1) so sánh FLAG với 69 - Giải thích: tạo biến ODI, biến trả giá trị cho biết thông tin sau check bảng nguồn, ví dụ: giá trị biến tức bảng source ready, giá trị biến bảng source bị thiếu - Thực hiện: Trong SQL Developer, tạo function với tên F_CHECK_SOURCE_FLAG thực việc check bảng source xem tất source có data hết hay chưa, gợi ý code hình dưới: Hình 3.54 Function F_CHECK_SOURCE_FLAG Trong ODI, tạo biến đặt tên V_check_source_flag để gọi thực thi function F_CHECK_SOURCE_FLAG Hình 3.55 F_CHECK_SOURCE_FLAG Vị trí biến check_source_flag luồng ETL: Hình 3.56 Biến F_CHECK_SOURCE_FLAG 70 Bước 9: Thiết lập chế delay (sleep khoảng thời gian) vịng lặp Giải thích: chế delay vòng lặp, cho phép delay khoảng thời gian trước thực vòng lặp Thực hiện: Kéo thả công cụ OdiSleep Toolbox vào Package Hình 3.57 Cơng cụ OdiSleep – chế delay vòng lặp - Điều chỉnh tham số thời gian sleep theo u cầu tốn Hình 3.58 Điều chỉnh thời gian sleep Bước 10: Thiết lập chế gửi mail cảnh báo trường hợp thiếu liệu bảng source Lấy app password authentication từ Google account https://myaccount.google.com/u/2/apppasswords Lấy Password for App Authentication từ tài khoản Gmail 71 Trong trình duyệt Chrome click vào tài khoản Google, click vào Manage your Google Account – Quản lý tài khoản Google bạn Hình 3.59 Manage your Google Account - Vào mục Security -> App passwords Hình 3.60 App passwords - Trong Select App chọn Mail, Select device chọn Windows Computer - Click vào Generate để lấy mã app passwords authentication Hình 3.61 App passwords Cấu hình OdiSendMail - Trong Toolbox tìm đến tool OdiSendMail 72 Hình 3.62 OdiSendMail -Gửi mail tự động - Cấu hình thơng số ODISendMail hình dưới, cụ thể: Mail Server: nhập smtp.gmail.com Port: nhập 587 Protocol: nhập smtp Use Authentication: chọn Yes Authentication Mechanisms: chọn LOGIN Username for Authentication: nhập email người gửi Password for Authentication: (Dán mã lấy App Passwords) Hình 3.63 Cấu hình OdiSendMail Chỉnh sửa file config ODI - Truy cập đường dẫn C:\Oracle\Middleware\Oracle_Home\odi\studio\bin 73 - Tìm tới file odi.conf Hình 3.64 odi.conf - Chuột phải chọn Edit with Notepad++ để tiến hành chỉnh sửa file config Hình 3.65 Edit with Notepad++ - Thêm config Starter TLS vào cuối file odi.conf (thêm dòng đây) AddVMOption -Dmail.smtp.starttls.enable=true AddVMOption -Dmail.smtp.ssl.protocols=TLSv1.2 AddVMOption -Dmail.smtp.ssl.trust=* Hình 3.66 Thêm config Starter TLS - Tìm vào thư mục chứa file odi.conf sau gõ cmd vào địa để mở cửa sổ lệnh cmd 74 Hình 3.67 odi.conf - Trong cửa sổ cmd gõ lệnh: odi -clean -initialize Hình 3.68 odi -clean -initialize - Đợi ODI khởi động thành công, vào package chứa ODI sendmail tạo tiến hành Run package - Check inbox email để xem thành cơng chưa 3.5.2 Giải thích luồng ETL Hình 3.69 Tồn luông ETL liệu cho BC NHNN xây ODI Xây dựng luồng ETL tổng hợp liệu cho báo cáo sử dụng công cụ ODI Luồng ETL xây dựng phải đáp ứng tiêu chí hệ thơng báo cáo ngân hàng, là: - Cơ chế Check Source trước chạy luồng ETL liệu Nghĩa phải xây dựng chế để kiểm tra tất bảng sử dụng để xây dựng lên báo cáo (hay còn gọi bảng nguồn) Nếu tất bảng nguồn có liệu luồng ETL phép chạy 75 - Cơ chế giám sát luồng ETL chạy : Đây chế xây dựng để kiểm soát luồng ETL chạy ODI, sau xây dựng xong chế kiểm sốt luồng ETL chạy (bị lỗi, bị treo hay chạy thành cơng) Giải thích khối luồng ETL: Hình 3.70 Các khối luồng ETL Khối 1: Là phần kiểm tra biến ban đầu để tiến hành chạy Job, bao gồm: - Biến ngày chạy job ETL - Biến job_name chứa tên Job ETL - Biến ngày chạy báo cáo Business_date -Biến kiểm tratrạng thái chạy job ETL bảng ETL_SYS_LOG Khối 2, Khối Khối 7: Procedure – thủ tục code thiết lập kiểm soát trạng thái job ETL: - Khối 2: chứa Procedure – thủ tục thực việc Insert – chèn ghi log vào bảng ETL_SYS_LOG với trạng thái log PROCESSING - Khối 4: Chứa Procdure – thủ tục thực việc Update trạng thái ghi log job ETL bảng ETL_SYS_LOG từ PROCESSING sang CHECK_SOURCE_FAIL - Khối 7: Chứa Procedure thực việc Update trạng thái ghi log Job ETL + Procedure thứ thực Update trạng thái ghi job ETL bảng ETL_SYS_LOG từ PROCESSING sang TASKS_SOURCE_FAIL trường hợp job ETL chạy bị lỗi 76 + Procedure thứ thực Update trạng thái ghi job ETL bảng ETL_SYS_LOG từ PROCESSING sang TASKS_SOURCE_SUCCESS trường hợp job ETL chạy thành công Khối : Là phần check_source để kiểm tra tất bảng nguồn đủ liệu để chạy chưa, bao gồm: - Biến khối lệnh kiểm tra trạng thái tất bảng nguồn đủ liệu hay chưa - Biến vòng lặp - Cơ chế ODISleep Khối 5: Là chế bắn gửi Email cho đơn vị liên quan trường hợp kiểm tra thiếu liệu bảng nguồn Khối 6: Là Procedure chứa code SQL theo logic nghiệp vụ để xây dựng lên báo cáo 3.5.3 Đóng gói Code bàn giao Đóng gói ODI Đóng gói code bàn giao: DDL tạo bảng đích, Procedure/Package Database, ODI Job Để bàn giao cơng việc cho bên khách hàng, cần phải đóng gói cơng việc làm lại cách nhỏ gọn tiện cho việc cài đặt, di chuyển, vận hành sau này: - Đóng gói code ODI: xuất toàn liệu project, mapping, code procedure, datamodel, cấu hình topology sử dụng vào file xml, file zip - Với ODI, khuyên sử dụng tính Smart Export and Import để export project thông tin cấu hình liên quan - Smart Export: để thực Smart Export ODI, thực theo bước sau: + Select Export từ Menu Designer, Topology, Security Operator Navigator 77 Hình 3.71 Export + Select Smart Export → OK Hình 3.72 Smart Export + Điền thơng tin sau: Export name: tên cho lần xuất (mặc định SmartExport.xml) Export as zip file: Xuất dạng tệp zip Export key: Đặt key để mã hóa liệu (phần cài đặt tùy chọn) Encoding: định dạng mã hóa (để mặc định) + Kéo thả project muốn export vào 78 Hình 3.73 Kết thu sau phân tích Hình 3.74 Kéo thả project mong muốn export + Select Export → Đợi kết Hình 3.75 Đợi kết + Kết hoàn thành Export 79 Hình 3.76 Kết hồn thành Export Q trình đóng gói dự án ODI hồn thành đem bàn giao cho khách hàng Bước cuối dự án hoàn tất, chờ đợi phản hồi từ phía khách hàng để hệ thống cải thiện dự án nâng cấp tốt Có thể nói cơng cụ Oracle Data Integrator tiện lợi đóng gói bàn giao dự án tiện lợi, nhanh chóng hiệu Chính có nhiều điểm vượt trội nên cơng cụ nhiều tập đoàn, doanh nghiệp lớn tin cậy sử dụng để quản trị liệu cải thiện hiệu suất cơng việc 80 KẾT LUẬN Nhận thấy mạnh mẽ công cụ Oracle Data Integrator nên em lựa chọn để giải yêu cầu từ phía Ngân hàng TMCP Quân Đội Oracle Data Integrator phù hợp tình mà doanh nghiệp cần tích hợp liệu đến hệ thống / công nghệ / môi trường khác để lên lịch số tác vụ Em sử dụng để quản lý tệp hệ điều hành khác nhau, để thực thủ tục ngôn ngữ PL/SQL để đọc ghi liệu từ đến công nghệ Oracle em xác nhận hiệu suất ln tốt Kiến trúc trích xuất, tải, chuyển đổi (E-LT) Oracle Data Integrator tận dụng công cụ RDBMS khác để xử lý chuyển đổi liệu – cách tiếp cận tối ưu hóa hiệu suất, khả mở rộng giảm chi phí giải pháp tổng thể Giải pháp đề xuất giải yêu cầu MB Bank dựa hệ thống sử dụng Ngân hàng Việt Nam Thịnh Vượng – VP Bank từ năm 2017 đến Giải pháp chứng minh hiệu sử dụng, mang lại cho ngân hàng hiệu suất xử lý báo cáo xác, nhanh chóng tiện lợi Tương lai tích hợp liệu ELT ln đầy hứa hẹn, với cơng nghệ học máy trí tuệ nhân tạo tích hợp vào quy trình Khi doanh nghiệp tiếp tục nắm bắt công nghệ này, nhu cầu tích hợp liệu ELT hiệu hiệu tăng lên Vì Cơng ty TNHH Giải pháp phân tích liệu Insight Data ln đối tác đáng tin cậy doanh nghiệp mong muốn có nhu cầu tăng trưởng mạnh mẽ nhờ vào khai thác tiềm liệu cơng nghệ đại Đi trước đón đầu xu công nghệ, lợi yếu tố quan trọng mà Inda mang lại cho đối tác lựa chọn giải pháp công ty để giúp họ thân Inda đứng vững thời đại ln ln có đổi biến đổi ngày mà gọi “ Chuyển Đổi Số” 81 TÀI LIỆU THAM KHẢO [1] Oracle SQL Developer User's Guide, 2006-2022, Oracle Corporation [2] Oracle Data Integrator 12c New Features Overview, 2018, Oracle Corporation [3] Oracle Data Integrator Best Practices for a Data Warehouse, 2010, An Oracle White Paper [4] Oracle Data Integrator Best Practices for a Data Warehouse, 2008, ODI Product Management [5] Oracle Documention Online [Online] URL: https://docs.oracle.com/javadb/10.8.3.0/ref/rrefsqlj29026.html [6] Oracle PL/SQL Stored Procedure & Functions with Examples [Online] URL: https://www.guru99.com/subprograms-procedures-functions-pl-sql.html [7] TS.Phạm Mạnh Hùng, TS.Nguyễn Thanh Nhà ThS.Vương Linh Nhâm (2021), “Quản trị liệu ngân hàng Kinh Tế Số”,Tạp chí Thị trường Tài Tiền tệ số tháng 3/2021 [Online] URL: https://thitruongtaichinhtiente.vn/quan-tri-du-lieu-ngan-hang-trong-nen-kinh-teso-37730.html [8] VinBigData, “Đường dẫn liệu ETL ELT: Đâu khác biệt bản?”,ngày đăng: 9/11/2021- ngày cập nhật: 13/01/2022 [Online] URL: https://vinbigdata.com/duong-dan-du-lieu-etl-va-elt-dau-la-khac-biet-co-ban/ [9] Các viết Indaacademy.vn [Online] [10] Các tài liệu nội khác 82