Nghiên cứu và xây dựng hệ cơ sở dữ liệu đám mây riêng cho tập đoàn bưu chính viễn thông việt nam VNPT

HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - NGUYỄN THÀNH CHÍ LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2019 HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THƠNG - NGUYỄN THÀNH CHÍ NGHIÊN CỨU VÀ XÂY DỰNG HỆ CƠ SỞ DỮ LIỆU ĐÁM MÂY RIÊNG CHO TẬP ĐỒN BƢU CHÍNH VIỄN THƠNG VIỆT NAM VNPT CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ : 8.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN QUANG HOAN HÀ NỘI – 2019 i LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chƣa đƣợc công bố cơng trình khác TÁC GIẢ LUẬN VĂN Nguyễn Thành Chí ii MỤC LỤC LỜI CAM ĐOAN i MỤC LỤC ii DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT iv DANH MỤC CÁC BẢNG BIỂU vi DANH MỤC CÁC HÌNH VẼ vii MỞ ĐẦU Chƣơng – TỔNG QUAN VỀ HỆ CSDL VÀ ĐTĐM Giới thiệu chƣơng 1.1 Tổng quan điện toán đám mây, dịch vụ điện toán đám mây 1.1.1 Tổng quan điện toán đám mây 1.1.2 Mơ hình dịch vụ điện tốn đám mây 1.1.3 Các mơ hình triển khai điện tốn đám mây 1.2 Tổng quan hệ quản trị sở liệu Oracle 13 1.2.1 Giới thiệu Oracle Database 13 1.2.2 Cấu trúc Oracle 12c 13 1.2.3 Các ƣu điểm Cloud control 17 Kết luận chƣơng 20 Chƣơng – PHÂN TÍCH, ĐÁNH GIÁ HIỆN TRẠNG HỆ THỐNG TẠI TẬP ĐOÀN VNPT 21 Giới thiệu chƣơng 21 2.1 Tình trạng triển khai sở liệu đám mây giới 21 2.2 Hiện trạng hệ thống Tập đoàn VNPT 23 2.2.1 Mơ hình hệ thống 23 2.2.2 Các hệ thống Cơ sở liệu đƣợc sử dụng 25 2.3 Phân tích, thiết kế hệ sở liệu điện toán đám mây riêng .29 2.3.1 Ƣu điểm 29 2.3.2 Nhƣợc điểm 30 iii 2.3.3 Các phƣơng án cải thiện 30 Kết luận chƣơng 32 Chƣơng – XÂY DỰNG HỆ THỐNG CƠ SỞ DỮ LIỆU ĐÁM MÂY RIÊNG TẠI TẬP ĐỒN BƢU CHÍNH VIỄN THƠNG 33 Giới thiệu chƣơng 33 3.1 Giới thiệu 33 3.1.1 Kiến thức chung hệ quản trị sở liệu 33 3.1.2 Một số hệ quản trị sở liệu đƣợc sử dụng Tập đoàn VNPT 35 3.2 Xây dựng hệ thống sở liệu riêng Oracle Cloud Control .35 3.2.1 Các thành phần Oracle Cloud Control 35 3.2.2 Quản trị hệ thống sở liệu sử dụng Oracle Cloud Control 37 3.2.3 Quy trình xây dựng hệ sở liệu đám mây riêng sử dụng phần mềm Oracle Cloud Control 39 3.3 Thực nghiệm đánh giá kết 40 3.3.1 Cài đặt hệ quản trị CSDL tác tử để quản lý 40 3.3.2 Kết thực Tập đoàn VNPT 52 Kết luận chƣơng 55 KẾT LUẬN 56 TÀI LIỆU THAM KHẢO 57 iv DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT Viết tắt Agent CNTT Cloud CSDL DB Datab ĐTĐM Cloud IaaS Infras IBM Intern IDC Intern IEEE Institu Electr LAN Local OEM Oracl RDBMS Relat Syste QTCSDL v PaaS Platfo SaaS Softw SLA Servi SQL Struc TCP Trans TCP/IP Trans Intern UDP User VNPT Vietn Telec VPN Virtua vi DANH MỤC CÁC BẢNG BIỂU Bảng 1: Danh mục sở liệu IDC Nam Thăng Long 25 Bảng 2: Danh mục sở liệu IDC An Đồn 26 Bảng 3: Danh mục sở liệu IDC Tân Thuận 26 vii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Thành phần điện toán đám mây Hình 1.2: Mơ hình dịch vụ điện toán đám mây Hình 1.3: Phần mềm hoạt động nhƣ dịch vụ Hình 1.4: Nền tảng hoạt động nhƣ dịch vụ Hình 1.5: Hạ tầng hoạt động nhƣ dịch vụ Hình 1.6: Mơ hình đám mây công cộng Hình 1.7: Mơ hình đám mây riêng 10 Hình 1.8: Mơ hình đám mây lai 11 Hình 1.9: Mơ hình đám mây cộng đồng 12 Hình 1.10: Cấu trúc Oracle 11g 14 Hình 1.11: Cấu trúc Oracle 12c 15 Hình 1.12: Cấu trúc lƣu trữ Oracle 12c 16 Hình 2.2: Mơ hình hệ thống IDC Nam Thăng Long 24 Hình 2.4: Mơ hình hệ thống IDC An Đồn 24 Hình 2.6: Mơ hình hệ thống IDC Tân Thuận 25 Hình 2.7: Hệ thống theo dõi DB Oracle 27 Hình 2.8: SQL Monitor 27 Hình 2.9: Theo dõi thời lƣợng câu lệnh 28 Hình 2.10: Thời điểm bắt đầu / kết thúc câu lệnh 28 Hình 2.11: Chi tiết câu lệnh SQL 29 Hình 3.1: Các thành phần Oracle Cloud Control 36 Hình 3.2: Tải Oracle Database 12c 41 Hình 3.3: Các file tải 41 Hình 3.4: Cài đặt Windows 42 Hình 3.5: Cài đặt tạo database Oracle 42 Hình 3.6: Các bƣớc cài Oracle Database 12c 43 Hình 3.7: Tạo Windows user 43 Hình 3.8: Cài đặt plugin 44 viii Hình 3.9: Thiết lập nhớ 44 Hình 3.10: Thiết lập mã hóa 45 Hình 3.11: Thiết lập mật cho ngƣời dùng 45 Hình 3.12: Triển khai từ EM12C 46 Hình 3.13: Thêm máy mục tiêu thủ thơng 46 Hình 3.14: Điền hostname/IP, chọn platform 47 Hình 3.15: Tạo Named Credential 47 Hình 3.16: Mở port hệ thống 48 Hình 3.17: Deploy Agent 48 Hình 3.18: Quá trình deploy 49 Hình 3.19: Chạy script root.sh 49 Hình 3.20: Add Targets Using Guided Process 50 Hình 3.21: Nhập tên server vừa deploy agent 50 Hình 3.22: EM12 tìm đối tƣợng chạy server 50 Hình 3.23: Kiểm tra lại thơng tin thêm vào hệ thống 51 Hình 3.24: Kết triển khai tác tử 51 Hình 3.25: Giao diện quản trị cố (Incident Manager) 52 Hình 3.26: Danh sách sở liệu đƣợc quản lý 52 Hình 3.27: Quản trị sở liệu cụ thể 53 Hình 3.28: Quản lý hiệu (Performance) thời gian thực .53 Hình 3.29: Cấp phát sở liệu 54 Hình 3.30: Tính chi phí sở liệu cấp phát 54 44 – Bƣớc này, cài đặt hỏi có tạo Plugin hay khơng, chọn: Create as Container Database Nhập vào tên Plugin Database: pdbdb12c Hình 3.8: Cài đặt plugin – Thiết lập nhớ (nên chọn Automatic): Hình 3.9: Thiết lập nhớ 45 – Để lƣu trữ đƣợc nhiều loại ngôn ngữ (bao gồm tiếng Việt), nên chọn: Character Set: Unicode (AL32UTF8) Hình 3.10: Thiết lập mã hóa – Oracle có vài user quản trị hệ thống (sys, system, ) cần phải đặt mật Chúng ta thiết đặt tất user mật Hình 3.11: Thiết lập mật cho ngƣời dùng 46 Và chờ đợi việc cài đặt thành công – Sau cài đặt thành công EM12c, bƣớc cần thực deploy agent lên database server để monitor Có nhiều cách để deploy agent Ở thực deploy trực tiếp từ EM12c + Đăng nhập vào EM12c, sau chọn Setup -> Add Target -> Add Targets Manually Hình 3.12: Triển khai từ EM12C + Chọn Add Host Targets -> Add Host… Hình 3.13: Thêm máy mục tiêu thủ thông 47 + Chọn Add -> Manually, điền hostname/IP, chọn platform phù hợp Hình 3.14: Điền hostname/IP, chọn platform + Ở phần Named Credential phía dƣới, tạo Named Credential với thông tin user password OS (oracle) Đặt tên ORACLE_LINUX để dễ phân biệt: Hình 3.15: Tạo Named Credential + Điền thƣ mục cài đặt agent server database (/u01/app/oracle/agent), hệ thống tự tạo Instance Directory theo thƣ mục cài đặt + Để deploy agent monitor database server, cần mở port hệ thống nhƣ sau: –> Mở port 22, 3872, 1521 database server cho server EM12c kết nối (port 22 để deploy agent, 3872 để EM12c kết nối với agent, 1521 để EM12c truy cập monitor database instance) 48 –> Mở port 4903 server EM12c cho database server kết nối (để agent dƣới target upload thông tin lên) Hình 3.16: Mở port hệ thống –> Next Review lại thơng tin Sau chọn Deploy Agent Hình 3.17: Deploy Agent + Quá trình deploy diễn Nếu có lỗi xem thơng tin, fix lại chọn Retry 49 Hình 3.18: Quá trình deploy – Credential nhập user oracle Do deploy xong, phải chạy script root.sh thƣ mục /u01/app/oracle/agent/core/12.1.0.5.0/ theo yêu cầu Hình 3.19: Chạy script root.sh – Nhấn Done để hoàn tất deploy agent lên host – Quay lại trang Add Targets Manually, chọn Add Targets Using Guided Process Target Types chọn Oracle Database, Listener & ASM: 50 Hình 3.20: Add Targets Using Guided Process – Nhập tên server vừa deploy agent Next Hình 3.21: Nhập tên server vừa deploy agent – EM12c tìm đối tƣợng chạy server Ở tìm database instance listener dbtest Nhập password cho user dbsnmp, đánh dấu check chọn đối tƣợng Next: Hình 3.22: EM12 tìm đối tƣợng chạy server 51 – Review lại thông tin add vào hệ thống EM12c Hình 3.23: Kiểm tra lại thơng tin thêm vào hệ thống – Kết deploy agent: Hình 3.24: Kết triển khai tác tử 52 3.3.2 Kết thực Tập đoàn VNPT – Giao diện quản lý cố (Incident Manager): Hình 3.25: Giao diện quản trị cố (Incident Manager) – Danh sách sở liệu đƣợc quản lý: Hình 3.26: Danh sách sở liệu đƣợc quản lý 53 – Quản trị sở liệu cụ thể: Hình 3.27: Quản trị sở liệu cụ thể – Quản lý hiệu (Performance) thời gian thực: Hình 3.28: Quản lý hiệu (Performance) thời gian thực 54 Hình 3.29: Cấp phát sở liệu Hình 3.30: Tính chi phí sở liệu cấp phát 55 Kết luận chƣơng Hệ quản trị sở liệu phần mềm hay hệ thống đƣợc thiết kế để quản trị sở liệu Cụ thể, chƣơng trình thuộc loại hỗ trợ khả lƣu trữ, sửa chữa, xóa tìm kiếm thơng tin sở liệu (CSDL) Có nhiều loại hệ quản trị CSDL khác nhau: từ phần mềm nhỏ chạy máy tính cá nhân hệ quản trị phức tạp chạy nhiều siêu máy tính Hiện tại, Tập đoàn VNPT sử dụng hệ QTCSDL Oracle Enterprise 11g, 12c Microsoft SQL Server Các hệ QTCSDL này, nhƣ phân tích chƣơng 2, bị phân tán đặt nhu cầu thiết cần có giải pháp quản trị tập trung Oracle Cloud Control 12c đời để giải nhu cầu cho ngƣời làm quản trị hệ thống Về mặt kiến trúc, Oracle Cloud Control đƣợc xây dựng với thành phần sau: – Oracle Management Agent – Oracle Management Service – Oracle Management Repository – Oracle Management Plug–ins – Enterprise Manager Cloud Control Console Việc cài đặt Oracle Cloud Control, Database nhƣ hệ quản trị sở liệu khơng khó, nhiên cần tn thủ quy trình nhớ thơng số trình cài đặt, giúp cho việc vận hành sau đƣợc thuận tiện 56 KẾT LUẬN Đề tài bao quát đƣợc trạng hệ thống sở liệu Tập Đồn Bƣu Chính Viễn Thơng Việt Nam VNPT, từ đề giải pháp để nâng cao hiệu hoạt động Thông qua việc nghiên cứu, thực luận văn, học viên đạt đƣợc số kết nhƣ sau: - Về mặt lý thuyết: + Hiểu đƣợc kiến trúc điện toán đám mây + Hiểu đƣợc kiến thức hệ quản trị sở liệu sở liệu đám mây + Nắm vững đƣợc thành phần cách triển khai hệ quản trị sở liệu Oracle - Về mặt thực tiễn: + Cải tiến, nâng cao chất lƣợng, thời gian cung cấp dịch vụ VNPT + Xây dựng đƣợc hệ thống sở liệu đám mây riêng sử dụng phần mềm hãng Oracle Bên cạnh đó, học viên nghiên cứu, xây dựng đƣợc hệ thống sở liệu đám may riêng Tập Đồn Bƣu Chính Viễn Thơng Việt Nam VNPT Học viên dự kiến áp dụng kết nghiên cứu, xây dựng vào việc quản lý hệ thống phần mềm Tập Đoàn tƣơng lai 57 TÀI LIỆU THAM KHẢO [1] Ts Phạm Thế Quế (2006), Giáo Trình "Cơ Sở Dữ Liệu", Học Viện Bƣu Chính Viễn Thơng, Hà Nội [2]Chris Ruel and Michael Wessler (2014), "Oracle ® 12c For Dummies ®", John Wiley & Sons, Inc [3]Bob Bryla (2015), "Oracle Database 12c DBA Handbook", McGraw–Hill Education (Publisher) [4] Chapter 3- The Cloud DBA-Oracle: Managing Oracle Database in the Cloud [5] Chapter 1,2,11- Cloud Database Development and Management [6]Chapter 3- Database Cloud Storage: The Essential Guide to Oracle Automatic Storage Management [7]An Architect’s Guide to the Oracle Private Database Cloud [8]Administration Guides: Administrator's Guide; Cloud Control Security Guide; Lifecycle Management Administrator's Guide; Command Line Interface Guide [9] Oracle Enterprise Manager Cloud Control Documentation 12c Release 5: https://docs.oracle.com/cd/E24628_01/ ...HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - NGUYỄN THÀNH CHÍ NGHIÊN CỨU VÀ XÂY DỰNG HỆ CƠ SỞ DỮ LIỆU ĐÁM MÂY RIÊNG CHO TẬP ĐỒN BƢU CHÍNH VIỄN THÔNG VIỆT NAM VNPT CHUYÊN NGÀNH... "Nghiên cứu xây dựng hệ sở liệu đám mây riêng cho tập đồn Bƣu Viễn thông việt nam VNPT" làm đề tài luận văn thạc sĩ Với đặc trƣng cơng việc, học viên nghiên cứu kiến thức điện toán đám mây, sở. .. liệu đám mây riêng Bên cạnh đó, học viên tập trung vào việc nghiên cứu, xây dựng hệ thống sở liệu đám mây riêng sử dụng phần mềm hãng Oracle cho Tập đoàn VNPT, phục vụ trực tiếp cho q trình cơng