HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC Q TRÌNH ETL TRONG XÂY DỰNG KHO DỮ LIỆU CHO HỆ THỐNG XỬ LÝ GIÁM SÁT TRỰC TUYẾN CỦA NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN NGOẠI THƯƠNG VIỆT NAM LÊ HUY HOÀNG HÀ NỘI, NĂM 2020 HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THƠNG TIN QUẢN LÝ KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC QUÁ TRÌNH ETL TRONG XÂY DỰNG KHO DỮ LIỆU CHO HỆ THỐNG XỬ LÝ GIÁM SÁT TRỰC TUYẾN CỦA NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN NGOẠI THƯƠNG VIỆT NAM Giáo viên hướng dẫn: ThS Nguyễn Dương Hùng Sinh viên thực hiện: Lê Huy Hoàng Mã sinh viên: 19A4040064 Lớp: K19HTTTA Khóa: Hệ thống Thơng tin Quản lý Hệ: Đại học quy Hà Nội, tháng 6/2020 Khóa luận tốt nghiệp LỜI CẢM ƠN Được phân công thầy cô khoa Hệ thống thông tin quản lý, Học viện Ngân hàng, sau tháng thực tập em hồn thành báo cáo Khố luận tốt nghiệp Để có đủ kiến thức hồn thành đề tài chuyên đề tốt nghiệp cách hoàn chỉnh, bên cạnh nỗ lực cố gắng thân cịn có giảng dạy tận tình thầy giáo trường, đặc biệt thầy cô Khoa Hệ thống thông tin quản lý Em xin chân thành cảm ơn thầy cô truyền đạt cho em kiến thức bổ ích suốt năm học tập trường Em xin bày tỏ lòng biết ơn sâu sắc đến thầy giáo - ThS Nguyễn Dương Hùng, người hướng dẫn cho em suốt thời gian thực tập Thầy không ngần ngại dẫn em, định hướng cho em để em hoàn thành tốt nhiệm vụ Em xin cảm ơn công ty Cổ phần Hệ thống Công nghệ ETC giúp đỡ em suốt thời gian em thực tập công ty Các anh chị dành thời gian hướng dẫn tạo điều kiện tốt để em hồn thành báo cáo tốt nghiệp Tuy nhiên kiến thức chuyên ngành hạn chế thân thiếu nhiều kinh nghiệm thực tiễn nên nội dung báo cáo tránh khỏi thiếu sót, em mong nhận góp ý, bảo thêm thầy cô để báo cáo hoàn thiện Một lần xin gửi đến thầy cô, anh chị công ty ETC lời cảm ơn chân thành nhất! Sinh viên thực Lê Huy Hoàng Lê Huy Hoàng - 19A4040064 Page | i Khóa luận tốt nghiệp LỜI CAM KẾT Em xin cam đoan báo cáo: "QUÁ TRÌNH ETL TRONG XÂY DỰNG KHO DỮ LIỆU CHO HỆ THỐNG XỬ LÝ GIÁM SÁT TRỰC TUYẾN CỦA NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN NGOẠI THƯƠNG VIỆT NAM" sản phẩm nghiên cứu em Trong toàn nội dung báo cáo, điều em trình bày có tham khảo từ nhiều nguồn tài liệu Tất tài liệu trích dẫn rõ ràng hợp pháp Em xin hoàn toàn chịu trách nhiệm báo cáo tốt nghiệp Sinh viên thực Lê Huy Hồng Lê Huy Hồng - 19A4040064 Page | ii Khóa luận tốt nghiệp NHẬN XÉT (Của quan thực tập) mặt: Ý thức chấp hành nội quy, thái độ làm việc sinh viên nơi thực tập; Tiến độ, kết thực cơng việc giao; Tính thực tiễn, ứng dụng đề tài Sau trình thực tập công ty Cổ phần Hệ thống Công nghệ ETC sinh viên Lê Huy Hồng, chúng tơi có số nhận xét sau: - Sinh viên Lê Huy Hồng có ý thức chấp hành nghiêm túc nội quy, nề nếp mà cơng ty đặt - Có tinh thần học hỏi, tìm hiểu hoạt động tổ chức cơng ty, phục vụ cho khóa luận tốt nghiệp - Có ý thức cơng việc, có tinh thần, trách nhiệm cao, hịa đồng với người, hồn thành tốt công việc giao Hà Nội, ngày 08 tháng 06 năm 2020 Người nhận xét (Ký tên, đóng dấu) Lê Huy Hồng - 19A4040064 Page | iii Khóa luận tốt nghiệp NHẬN XÉT (Của giáo viên hướng dẫn) mặt: Mục đích đề tài; Tính thời ứng dụng đề tài; Bố cục hình thức trình bầy đề tài; Ket thực đề tài; Ý thức, thái độ sinh viên trình thực đề tài Kết luận : Hà Nội, ngày 09 tháng 06 năm 2020 Giáo viên hướng dẫn (Ký tên) ThS Nguyễn Dương Hùng Lê Huy Hồng - 19A4040064 Page | iv Khóa luận tốt nghiệp MỤC LỤC MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ BÀI TOÁN .3 1.1 Giới thiệu đơn vị thực tập 1.1.1 Quá trình hình thành phát triển 1.1.2 Định hướng phát triển 1.1.3 Bộ máy tổ chức 1.1.4 Các sản phẩm dịch vụ doanh nghiệp 1.2 Giới thiệu sơ lược Ngân hàng TMCP Ngoại thương Việt Nam .10 1.3 Giới thiệu tốn q trình ETL xây dựng kho liệu cho hệ thống xử lý giám sát trực tuyến 11 1.3.1 Lý lựa chọn toán 11 1.3.2 Dữ liệu toán 12 1.3.3 Ý nghĩa thực tế toán 12 1.3.4 Phạm vi thực toán 12 Kết luận chương 13 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT ĐỂ THỰC HIỆN ĐỀ TÀI 14 2.1 Tổng quan kho liệu 14 2.1.1 Khái niệm kho liệu 14 2.1.2 Đặc trưng kho liệu 15 2.1.3 Mơ hình kho liệu 16 2.1.4 Mục đích kho liệu 19 2.2 Quá trình ETL xây dựng kho liệu .19 2.2.1 Khái niệm ETL .19 2.2.2 Vị trí tầm quan trọng ETL kho liệu 19 2.2.3 Các thành phần ETL 20 2.2.4 Quá trình xử lý liệu 21 2.2.5 Yêu cầu trình ETL 23 Lê Huy Hồng - 19A4040064 Page | v STT Khóa Khóa luận luận tốt tốt nghiệp nghiệp Chữ viết tắt Tiếng Anh Nghĩa tiếng Việt 2.2.6 Các yếu tố DANH quan trọngMỤC đối vớiCÁC ETL 24 CHỮ VIET TẮT 2.2.7 Các khó khăn thực ETL 24 2.3 Các công cụ sử dụng 24 2.3.1 Công cụ IBM InfoSphere DataStage 24 2.3.2 Oracle SQL Developer 31 Kết luận chương 32 CHƯƠNG 3: QUÁ TRÌNH ETL TRONG XÂY DỰNG KHO DỮ LIỆU CHO HỆ THỐNG XỬ LÝ GIÁM SÁT TRỰC TUYẾN CỦA NGÂN HÀNG TMCP NGOẠI THƯƠNG VIỆT NAM 33 3.1 Hệ thống giám sát trực tuyến 33 3.1.1 Dynatrace 33 3.1.2 Tính hệ thống 33 3.1.3 Quá trình trích xuất liệu từ hệ thống Dynatrace Oracle 33 3.2 Thiết kế bảng .34 3.2.1 Mơ hình liệu 34 3.2.2 Mô tả ý nghĩa bảng 35 3.2.3 Mô tả ý nghĩa cột 35 3.3 Xây dựng Jobs để xử lý liệu 40 3.3.1 Giới thiệu chung 40 3.3.2 Jobs GET_PROBLEM 42 3.3.3 Job GET_SERVICE 43 3.4 Quá trình chạy Parallel jobs để nạpdữ liệu vào kho 43 3.4.1 Kiểm sốt q trình chạy Parallel Jobs 43 3.4.2 Kiểm tra liệu nạp vào kho 46 3.5 Gửi thông báo Email 47 3.5.1 Thiết lập SMTP cho máy chủ .47 3.5.2 Thiết lập thông số để gửi thông báo 60 KẾT LUẬN 65 TÀI LIỆU THAM KHẢO 66 Lê Huy Hoàng - 19A4040064 Page | vi ETL Extract-Transform-Load Q trình trích xuất, biến đổi tải liệu ELT Extract-Load - Q trình trích xuất, tải biến đổi liệu Data Warehouse Kho liệu DW CNTT Công nghệ thông tin TMCP Thương mại cổ phần TNHH MTV Trách nhiệm hữu hạn thành viên VDI Virtual Desktop Infrastructure Giải pháp ảo hóa hạ tầng máy tính BI Business Intelligence Business Intelligence SMTP Simple Mail Transfer Protocol Simple Mail Transfer Protocol 10 SMS Short Message Service Dịch vụ tin nhắn ngắn 11 IDE Integrated Development Môi trường phát triển tích hợp Environment để làm việc với code 12 EDW Enterprise Warehouse 13 IP Internet Protocol 14 TCP Transmission Protocol Data Dự án Kho liệu doanh nghiệp Địa mạng máy tính Control Giao thức điều khiển truyền vận Khóa luận tốt nghiệp Thiết lập thơng số cho SMTP Server B1: Search/ IIS/ Chọn Internet Information Services (IIS) 6.0 Manager Search Evefywh Internet Information Services (IIS) * 6.0 Manager Internet Information Services (IIS) Hình 41 Giao diện search IIS B2: Chuột phải vào SMTP Virtual Server chọn Properties Hình 42 Giao diện Internet Information Services 6.0 Manager Lê Huy Hồng - 19A4040064 Page | 52 Khóa luận tốt nghiệp B3: Tại tab General, phần IP Address chọn 10.0.3.6 Hình 43 Giao diện Properties tab General B4: Tại tab Access, chọn button Connection Hình 44 Giao diện Properties tab Access Lê Huy Hồng - 19A4040064 Page | 53 Khóa luận tôt nghiệp B5: Chọn Only the list below, chọn button Add Hình 45 Giao diện Connection B6: Tại mục Single computer, nhập IP address 10.0.3.6/ OK Hình 46 Giao diện Computer Lê Huy Hoàng - 19A4040064 Page | 54 Khóa luận tơt nghiệp B7: OK Hình 47 Giao diện Connection B8: Trở tab Access, chọn button Relay Hình 48 Giao diện Properties tab Access Lê Huy Hồng - 19A4040064 Page | 55 Khóa luận tốt nghiệp B9: Cũng thực tương tự để cấp quyền cho IP 10.0.3.6 Hình 49 Giao diện Relay Restrictions B10: Chuyển sang tab Delivery/ chọn button Advanced Hình 50 Giao diện Properties tab Delivery Lê Huy Hoàng - 19A4040064 Page | 56 Khóa luận tốt nghiệp B11: Ơ Smart host điền server SMTP để gửi, với Gmail Google smtp.gmail.com, với Outlook smtp.live.com, với Office 365 smtp.office365.com/ Chọn OK Hình 51 Giao diện Advanced Delivery B12: Chọn button Outbound Security Hình 52 Giao diện Properties tab Delivery Lê Huy Hồng - 19A4040064 Page | 57 Khóa luận tôt nghiệp B13: Chọn Basic Authentication/ Nhập tài khoản mật tương ứng với server SMTP vừa chọn trên/ Tích chọn TLS Encryption/ OK Hình 53 Giao diện Outbound Security B14: Chọn Outbound Connections Hình 54 Giao diện Properties tab Delivery Lê Huy Hoàng - 19A4040064 Page | 58 Khóa Khóaluận luậntốt tốtnghiệp nghiệp B15:Thiết Sửa TCP thành 587gửi (Với phương 3.5.2 lập Port thông số để thông báothức xác thực Start TLS có cổng 587 cịn SSL hiểu https://domar.com/smtp pop3 server)/ Thiết lậpthìtài465, khoản gửitìm mail vớithêm Gmail Chọn B1: OK.Đăng nhập vào Gmail tài khoản Gmail vừa thiết lập, truy cập vào https: //myaccount.google.com/security#activity tắt xác minh bước Google Tài khoản Q © Bào mật (ɪl Bào m⅜t Đã tim thầy vãn đé bảo mật Bào vệ lãi khoán ban bây giô bâng cách giãi quyẽt cãc vãn đẽ ≡ Tliarih toín v⅛ đảng ký Bào mât tái khoản Đắng nhập vâo Google Mật khấu Sử dụng điện thoại đế đãng nhập Các cách mả cỏ thể xác minh bạn chủ sở hữu tài khoản CAc tùy chọn bây cồ dũng đế đám báo ling bạn chinh Ii ngưíá đăng nhập de lĩẽn hệ võĩ bạn CO hoạt dộng dáng ngõ tá khoăn bộn se điện thoại khôi phục Allow lessHình Secureapps: ON 55 Giao Connections Hình 57 diện Bảo Outbound mật Gmail SigiIingintoGoogIe DeviceactivityS notifications Ệ B16: Chọncập Apply/ B2: Truy vào OK https://myaccount.google.com/lesssecureapps Some apps and devices use less secure sign-in technology, which could leave Bật cho phép ứng dụng an toàn MyAccount your account vulnerable You can turn off access for these apps (which we recommend) or choose to use them despite the risks Sign-in & security Welcome Hình 56 Giao diện Properties tab Delivery Lê Huy Hoàng - 19A4040064 Page | 59 Connected apps & sites Lê Huy Hoàng - 19A4040064 Page | 60 Khóa luận tốt nghiệp Hình 58 Giao diện cho phép truy cập từ ứng dụng an toàn Thiết lập Notification Activity Hình 59 Giao diện Jobs Notification Activity Tại tab General, mục Name thiết lập tên cho activity, mục Description thiết lập mô tả cho activity mục Logging text thiết lập mơ tả cho log activity Hình 60 Giao diện config Notification Activity Lê Huy Hoàng - 19A4040064 Page | 61 Khóa luận tốt nghiệp Tại tab Notification, thiết lập thông số sau: - SMTP Mail server name: Tên server vừa thiết lập địa IP - Senders email address: Tên tài khoản gửi mail thiết lập - Recipients email address: Tên tài khoản người nhận Có thể gửi cho nhiều người ngăn cách dấu cách - Email subject: Chủ đề mail - Attachments: Đính kèm file, gửi nhiều file ngăn cách dấu phảy - Email body: Nội dung email - Tùy chọn Include job status in email: Thông báo trạng thái job mail gửi Hình 61 Thơng số thiết lập Email Sau run job, kiểm tra job log Gmail Lê Huy Hoàng - 19A4040064 Page | 62 Khóa luận tơt nghiệp Hình 62 Giao diện Log Event Detail Lê Huy Hồng - 19A4040064 Page | 63 Khóa luận tốt nghiệp KẾT LUẬN CHƯƠNG Chương trình bày “QUÁ TRÌNH ETL TRONG XÂY DỰNG KHO DỮ LIỆU CHO HỆ THỐNG XỬ LÝ GIÁM SÁT TRỰC TUYẾN CỦA NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN NGOẠI THƯƠNG VIỆT NAM”, việc trích xuất liệu từ hệ thống Dynatrace Từ mơ hình liệu xây dựng Jobs để tiến hành trích xuất liệu hàng ngày, hàng Dữ liệu chuyển đổi load vào kho liệu hệ thống giám sát trực tuyến Ngồi ra, chương cịn nghiên cứu thêm Multiple Job Compile nhằm mục đích kiểm sốt Jobs trước gửi sang hệ thống bên Ngân hàng để chạy Bên cạnh đó, chương cịn tìm hiểu SMTP Server dùng để gửi Email tự động cho quản lý có thay đổi hay biến động xảy trình chạy Jobs Lê Huy Hồng - 19A4040064 Page | 64 Khóa luận tốt nghiệp KẾT LUẬN Qua trình đào tạo thực tập Công ty Cổ phần Hệ thống Công nghệ ETC, em trau dồi nhiều kiến thức quý báu Quá trình đào tạo thực tập giúp em học hỏi tích lũy thêm nhiều kiến thức bổ ích để hồn thành khóa luận tốt nghiệp phục vụ cho cơng việc tương lai Được làm việc môi trường chuyên nghiệp động ETC, em có thêm nhiều kinh nghiệm quý báu kỹ làm việc nhóm, kỹ giao tiếp, kỹ tìm hiểu đọc tài liệu Từ hoạt động đào tạo thực tiễn, em xác định toán nghiên cứu cho khóa luận tốt nghiệp là: “Q TRÌNH ETL TRONG XÂY DỰNG KHO DỮ LIỆU CHO HỆ THỐNG XỬ LÝ GIÁM SÁT TRỰC TUYẾN CỦA NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN NGOẠI THƯƠNG VIỆT NAM” Trong khóa luận tốt nghiệp này, em đạt số kết sau: - Nghiên cứu tảng Oracle SQL Developer, công cụ IBM InfoSphere DataStage, tổng quan trình ETL xây dựng kho liệu - Xây dựng job để trích xuất liệu từ nhiều nguồn, xử lý đổ vào kho liệu - Biết cách khai thác, trích xuất liệu từ nguồn khác công cụ IBM InfoSphere DataStage - Đề tài giải vấn đề toán đặt Do thời gian lực hạn chế nên đề tài vấn đề sau: - Các thơng số hình ảnh thay đổi để đảm bảo tính bảo mật ngân hàng đơn vị thực tập - Dữ liệu đưa vào xây dựng báo cáo liệu giả lập Trong thời gian tới, em đặt hướng phát triển cho đề tài sau: - Nghiên cứu cách trích xuất liệu cơng cụ IBM InfoSphere DataStage cho kết nạp liệu nhanh - Tiếp tục nghiên cứu phát triển để cải thiện trình ETL nhằm tăng hiệu khai thác liệu Lê Huy Hoàng - 19A4040064 Page | 65 Khóa luận tốt nghiệp TÀI LIỆU THAM KHẢO [10] "Trang chủ IBM Knowledge Center, InfoSphere DataStage and QualityStage," 21 [1] Công ty Hệ thống Công nghệ ETC, “Trang chủ Công ty Hệ thống Công nghệ 12 2017 [Online] Available: ETC, Lịch sử phát triển,” 2017 [Trực tuyến] Available: http://www.etc.vn/vehttps://www.ibm.eom/support/knowledgecenter/SSZJPZ_11.7.0/com.ibm.swg.i chung-toi/lich-su-phat-trien/ [Đã truy cập 14 03 2020] m.iis.ds.parjob.dev.doc/topics/g_deeref_Parallel_Jobs_General_Information.htm l [Accessed 20 04 2020] [2] Công ty Hệ thống Công nghệ ETC, "Trang chủ Công ty Hệ thống Công nghệ ETC, Định hướng chiến lược," 2017 [Online] Available: http://www.etc.vn/vechung-toi/dinh-huong-chien-luoc/ [Accessed 14 [11] "Getting Started with Oracle SQL Developer," 1703 012020] 2018 [Online] Available: https://www.oracle.com/database/technologies/getstarted-sql-developer.html [3] Ngân hàng Thương mại Cổ phần Ngoại thương Việt Nam, "Trang chủ Ngân hàng [Accessed 29 04 2020] Thương mại Cổ phần Ngoại thương Việt Nam, Quá trình hình thành phát triển," 19 05 2019 [Online] Available: https://portal.vietcombank.com.vn/About/LSPT/Pages/Qua-trinh-hinh-thanh-vaphat-trien.aspx?devicechannel=default [Accessed 14 03 2020] [4] Y, Ích, “Kho liệu (Data Warehousing),” 16 04 2020 [Trực tuyến] Available: https://vietnambiz.vn/kho-du-lieu-data-warehousing-la-gi-phan-biet-kho-dulieu-va-co-so-du-lieu-20200416135805599.htm [Đã truy cập 01 05 2020] [5] John Wiley & Sons, Building a Data Warehouse, 2002 [6] Nguyễn Hữu Xn, “Mơ hình kho liệu,” 17 01 2013 [Trực tuyến] Available: https://baigiang.violet.vn/present/mo-hinh-kho-du-lieu-8771843.html [Đã truy cập 25 04 2020] [7] Lujn-Moraa, Juan Trujillo and Sergio, A UML Based Approach for Modeling ETL Processes in Data Warehouses, Dept de Lenguajes y Sistemas Inform'ticosa Universidad de Alicante (Spain)., 2003 [8] The Data Warehouse ETL Toolkit Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data, Ralph Kimball, Joe Casertar, 2004 [9] Nguyên, Nguyễn Anh, “Nghiên cứu quy trình ETL kho liệu ứng dụng vào hệ thống liệu kinh doanh doanh nghiệp viễn thông,” Luận văn Thạc sĩ, Học viện Cơng nghệ Bưu Viễn thơng, 2012 Lê Huy Hoàng - 19A4040064 Page | 66 67 ... KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC Q TRÌNH ETL TRONG XÂY DỰNG KHO DỮ LIỆU CHO HỆ THỐNG XỬ LÝ GIÁM SÁT TRỰC TUYẾN CỦA NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN NGOẠI THƯƠNG VIỆT NAM. .. HÀNG KHOA HỆ THỐNG THƠNG TIN QUẢN LÝ KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC QUÁ TRÌNH ETL TRONG XÂY DỰNG KHO DỮ LIỆU CHO HỆ THỐNG XỬ LÝ GIÁM SÁT TRỰC TUYẾN CỦA NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN NGOẠI THƯƠNG VIỆT... Khóa luận tốt nghiệp LỜI CAM KẾT Em xin cam đoan báo cáo: "QUÁ TRÌNH ETL TRONG XÂY DỰNG KHO DỮ LIỆU CHO HỆ THỐNG XỬ LÝ GIÁM SÁT TRỰC TUYẾN CỦA NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN NGOẠI THƯƠNG VIỆT NAM"