Giao diện Log Event Detail

Một phần của tài liệu Quá trình ETL trong xây dựng kho dữ liệu cho hệ thống xử lý giám sát trực tuyến của NHTMCP ngoại thương việt nam khoá luận tốt nghiệp 604 (Trang 81 - 84)

Khóa luận tốt nghiệp

KẾT LUẬN CHƯƠNG 3

Chương này trình bày “QUÁ TRÌNH ETL TRONG XÂY DỰNG KHO DỮ LIỆU

CHO HỆ THỐNG XỬ LÝ GIÁM SÁT TRỰC TUYẾN CỦA NGÂN HÀNG

THƯƠNG

MẠI CỔ PHẦN NGOẠI THƯƠNG VIỆT NAM”, bắt đầu từ việc trích xuất dữ liệu từ hệ thống Dynatrace. Từ mơ hình dữ liệu chúng ta xây dựng các Jobs để tiến hành trích xuất dữ liệu hàng ngày, hàng giờ. Dữ liệu được chuyển đổi và load vào kho dữ liệu của hệ thống giám sát trực tuyến. Ngồi ra, chương này cịn nghiên cứu thêm về Multiple Job Compile nhằm mục đích kiểm sốt các Jobs trước khi gửi sang hệ thống bên Ngân hàng để chạy. Bên cạnh đó, chương này cịn tìm hiểu về SMTP Server dùng để gửi Email

tự động về cho quản lý khi có bất kỳ thay đổi hay biến động nào xảy ra trong q trình chạy các Jobs.

Khóa luận tốt nghiệp

KẾT LUẬN

Qua quá trình đào tạo và thực tập tại Cơng ty Cổ phần Hệ thống Công nghệ ETC, em đã được trau dồi rất nhiều kiến thức quý báu. Quá trình đào tạo và thực tập đã giúp em có thể học hỏi và tích lũy thêm rất nhiều những kiến thức bổ ích để có thể hồn thành

khóa luận tốt nghiệp và phục vụ cho cơng việc trong tương lai của mình. Được làm việc

trong một môi trường chuyên nghiệp và năng động của ETC, em đã có thêm được rất nhiều kinh nghiệm quý báu như kỹ năng làm việc nhóm, kỹ năng giao tiếp, kỹ năng tìm hiểu và đọc tài liệu...

Từ hoạt động đào tạo thực tiễn, em đã xác định được bài tốn nghiên cứu cho khóa luận tốt nghiệp là: “QUÁ TRÌNH ETL TRONG XÂY DỰNG KHO DỮ LIỆU CHO HỆ

THỐNG XỬ LÝ GIÁM SÁT TRỰC TUYẾN CỦA NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN NGOẠI THƯƠNG VIỆT NAM”. Trong khóa luận tốt nghiệp này, em đã đạt

được một số kết quả như sau:

- Nghiên cứu nền tảng về Oracle SQL Developer, công cụ IBM InfoSphere DataStage, tổng quan về quá trình ETL trong xây dựng kho dữ liệu

- Xây dựng các job để trích xuất dữ liệu từ nhiều nguồn, xử lý và đổ vào kho dữ liệu. - Biết cách khai thác, trích xuất dữ liệu từ các nguồn khác nhau trên công cụ IBM InfoSphere DataStage

- Đề tài đã giải quyết các vấn đề cơ bản của bài toán đã đặt ra

Do thời gian và năng lực còn hạn chế nên đề tài vẫn còn những vấn đề sau:

- Các thơng số và hình ảnh của bài được thay đổi để đảm bảo tính bảo mật của ngân hàng và đơn vị thực tập

- Dữ liệu đưa vào xây dựng báo cáo là dữ liệu giả lập

Trong thời gian tới, em đặt ra hướng phát triển cho đề tài như sau:

- Nghiên cứu cách trích xuất dữ liệu trên cơng cụ IBM InfoSphere DataStage sao cho kết quả nạp dữ liệu được nhanh nhất

- Tiếp tục nghiên cứu và phát triển để cải thiện quá trình ETL nhằm tăng hiệu quả khai

thác dữ liệu

Khóa luận tốt nghiệp

TÀI LIỆU THAM KHẢO

[1] Công ty Hệ thống Công nghệ ETC, “Trang chủ Công ty Hệ thống Công nghệ ETC, Lịch sử phát triển,” 2017. [Trực tuyến]. Available: http://www.etc.vn/ve-

chung-toi/lich-su-phat-trien/. [Đã truy cập 14 03 2020].

[2] Công ty Hệ thống Công nghệ ETC, "Trang chủ Công ty Hệ thống Công nghệ ETC, Định hướng chiến lược," 2017. [Online]. Available: http://www.etc.vn/ve-

chung-toi/dinh-huong-chien-luoc/. [Accessed 14 03 2020].

[3] Ngân hàng Thương mại Cổ phần Ngoại thương Việt Nam, "Trang chủ Ngân hàng Thương mại Cổ phần Ngoại thương Việt Nam, Quá trình hình thành và phát triển,"

19 05 2019. [Online]. Available:

https://portal.vietcombank.com.vn/About/LSPT/Pages/Qua-trinh-hinh-thanh-va- phat-trien.aspx?devicechannel=default. [Accessed 14 03 2020].

[4] Y, Ích, “Kho dữ liệu (Data Warehousing),” 16 04 2020. [Trực tuyến]. Available:

https://vietnambiz.vn/kho-du-lieu-data-warehousing-la-gi-phan-biet-kho-du- lieu-va-co-so-du-lieu-20200416135805599.htm. [Đã truy cập 01 05 2020].

[5] John Wiley & Sons, Building a Data Warehouse, 2002.

[6] Nguyễn Hữu Xn, “Mơ hình kho dữ liệu,” 17 01 2013. [Trực tuyến]. Available:

https://baigiang.violet.vn/present/mo-hinh-kho-du-lieu-8771843.html. [Đã truy

cập 25 04 2020].

[7] Lujn-Moraa, Juan Trujillo and Sergio, A UML Based Approach for Modeling ETL Processes in Data Warehouses, Dept. de Lenguajes y Sistemas Inform'ticosa Universidad de Alicante (Spain)., 2003.

[8] The Data Warehouse ETL Toolkit Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data, Ralph Kimball, Joe Casertar, 2004.

[9] Nguyên, Nguyễn Anh, “Nghiên cứu quy trình ETL trong kho dữ liệu ứng dụng vào hệ thống dữ liệu kinh doanh trong doanh nghiệp viễn thông,” Luận văn Thạc sĩ, Học viện Công nghệ Bưu chính Viễn thơng, 2012.

Lê Huy Hồng - 19A4040064 Page | 66

Khóa luận tốt nghiệp

[10] "Trang chủ IBM Knowledge Center, InfoSphere DataStage and QualityStage," 21

12 2017. [Online]. Available:

https://www.ibm.eom/support/knowledgecenter/SSZJPZ_11.7.0/com.ibm.swg.i

m.iis.ds.parjob.dev.doc/topics/g_deeref_Parallel_Jobs_General_Information.htm l. [Accessed 20 04 2020].

[11] "Getting Started with Oracle SQL Developer," 17 01 2018. [Online]. Available:

https://www.oracle.com/database/technologies/getstarted-sql-developer.html.

[Accessed 29 04 2020].

Một phần của tài liệu Quá trình ETL trong xây dựng kho dữ liệu cho hệ thống xử lý giám sát trực tuyến của NHTMCP ngoại thương việt nam khoá luận tốt nghiệp 604 (Trang 81 - 84)

Tải bản đầy đủ (DOCX)

(84 trang)
w