(Luận văn) nghiên cứu và xây dựng hệ cơ sở dữ liệu đám mây riêng cho tập đoàn bưu chính viễn thông việt nam vnpt

HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - lu an va NGUYỄN THÀNH CHÍ n p ie gh tn to (Theo định hướng ứng dụng) d oa nl w LUẬN VĂN THẠC SĨ KỸ THUẬT ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va HÀ NỘI - 2019 ac th si HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THƠNG - lu NGUYỄN THÀNH CHÍ an n va p ie gh tn to NGHIÊN CỨU VÀ XÂY DỰNG HỆ CƠ SỞ DỮ LIỆU ĐÁM MÂY RIÊNG CHO TẬP ĐỒN BƢU CHÍNH VIỄN THƠNG VIỆT NAM VNPT oa nl w d CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ : 8.48.01.01 u nf va an lu ll LUẬN VĂN THẠC SĨ KỸ THUẬT m oi (Theo định hướng ứng dụng) z at nh z NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN QUANG HOAN m co l gm @ an Lu HÀ NỘI – 2019 n va ac th si i LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chƣa đƣợc công bố cơng trình khác TÁC GIẢ LUẬN VĂN lu an va n Nguyễn Thành Chí p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si ii MỤC LỤC LỜI CAM ĐOAN i MỤC LỤC ii DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT iv DANH MỤC CÁC BẢNG BIỂU vi DANH MỤC CÁC HÌNH VẼ vii MỞ ĐẦU .1 lu Chƣơng – TỔNG QUAN VỀ HỆ CSDL VÀ ĐTĐM an Giới thiệu chƣơng va n 1.1 Tổng quan điện toán đám mây, dịch vụ điện tốn đám mây 1.1.2 Mơ hình dịch vụ điện toán đám mây gh tn to 1.1.1 Tổng quan điện toán đám mây p ie 1.1.3 Các mơ hình triển khai điện toán đám mây w 1.2 Tổng quan hệ quản trị sở liệu Oracle 13 oa nl 1.2.1 Giới thiệu Oracle Database 13 d 1.2.2 Cấu trúc Oracle 12c 13 lu an 1.2.3 Các ƣu điểm Cloud control 17 u nf va Kết luận chƣơng 20 Chƣơng – PHÂN TÍCH, ĐÁNH GIÁ HIỆN TRẠNG HỆ THỐNG TẠI TẬP ll oi m ĐOÀN VNPT 21 z at nh Giới thiệu chƣơng 21 2.1 Tình trạng triển khai sở liệu đám mây giới 21 z 2.2 Hiện trạng hệ thống Tập đoàn VNPT 23 @ gm 2.2.1 Mơ hình hệ thống 23 l 2.2.2 Các hệ thống Cơ sở liệu đƣợc sử dụng 25 m co 2.3 Phân tích, thiết kế hệ sở liệu điện toán đám mây riêng 29 an Lu 2.3.1 Ƣu điểm 29 2.3.2 Nhƣợc điểm 30 n va ac th si iii 2.3.3 Các phƣơng án cải thiện .30 Kết luận chƣơng 32 Chƣơng – XÂY DỰNG HỆ THỐNG CƠ SỞ DỮ LIỆU ĐÁM MÂY RIÊNG TẠI TẬP ĐỒN BƢU CHÍNH VIỄN THƠNG 33 Giới thiệu chƣơng 33 3.1 Giới thiệu 33 3.1.1 Kiến thức chung hệ quản trị sở liệu .33 3.1.2 Một số hệ quản trị sở liệu đƣợc sử dụng Tập đoàn VNPT 35 3.2 Xây dựng hệ thống sở liệu riêng Oracle Cloud Control .35 lu an 3.2.1 Các thành phần Oracle Cloud Control 35 va 3.2.2 Quản trị hệ thống sở liệu sử dụng Oracle Cloud Control 37 n 3.2.3 Quy trình xây dựng hệ sở liệu đám mây riêng sử dụng phần mềm gh tn to Oracle Cloud Control 39 ie 3.3 Thực nghiệm đánh giá kết 40 p 3.3.1 Cài đặt hệ quản trị CSDL tác tử để quản lý 40 nl w 3.3.2 Kết thực Tập đoàn VNPT .52 d oa Kết luận chƣơng 55 an lu KẾT LUẬN .56 ll u nf va TÀI LIỆU THAM KHẢO 57 oi m z at nh z m co l gm @ an Lu n va ac th si iv DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt lu an Agent Tác tử CNTT Công nghệ Thông tin Cloud Đám mây CSDL Cơ sở Dữ liệu n va Database Cơ Sở Dữ Liệu ĐTĐM Cloud computing Điện toán Đám mây ie gh tn to DB Infrastructure as a service p IaaS w International Business Machines oa nl IBM Internet Data Center IEEE Institute of Electrical and d IDC an lu u nf va Viện kỹ nghệ Điện Điện tử Electronics Engineers ll m Local Area Network Mạng Cục Bộ OEM Oracle Enterprise Manager RDBMS Relational Database Management oi LAN z at nh z gm @ System Hệ Quản Trị Cơ Sở Dữ Liệu Quan Hệ l Quản trị Cơ sở Dữ liệu m co QTCSDL an Lu n va ac th si v PaaS Platform as a Service SaaS Software as a Service SLA Service Level Agreement SQL Structured Query Language TCP Transmission Control Protocol Giao Thức Điều Khiển Truyền Vận lu an TCP/IP Giao Thức Điều Khiển Truyền Internet Protocol Vận / Giao Thức Internet User Datagram Protocol Giao Thức Dữ Liệu Ngƣời Dùng Vietnam Post and Tập đồn Bƣu Viễn Thơng Telecommunication Corporation Việt Nam n va Transmission Control Protocol / gh tn to UDP p ie VNPT nl w Mạng Riêng Ảo Virtual Private Network d oa VPN ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si vi DANH MỤC CÁC BẢNG BIỂU Bảng 1: Danh mục sở liệu IDC Nam Thăng Long 25 Bảng 2: Danh mục sở liệu IDC An Đồn 26 Bảng 3: Danh mục sở liệu IDC Tân Thuận .26 lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si vii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Thành phần điện tốn đám mây Hình 1.2: Mơ hình dịch vụ điện tốn đám mây Hình 1.3: Phần mềm hoạt động nhƣ dịch vụ .6 Hình 1.4: Nền tảng hoạt động nhƣ dịch vụ Hình 1.5: Hạ tầng hoạt động nhƣ dịch vụ Hình 1.6: Mơ hình đám mây cơng cộng Hình 1.7: Mơ hình đám mây riêng 10 Hình 1.8: Mơ hình đám mây lai 11 lu an Hình 1.9: Mơ hình đám mây cộng đồng 12 n va Hình 1.10: Cấu trúc Oracle 11g 14 tn to Hình 1.11: Cấu trúc Oracle 12c 15 gh Hình 1.12: Cấu trúc lƣu trữ Oracle 12c 16 p ie Hình 2.2: Mơ hình hệ thống IDC Nam Thăng Long 24 w Hình 2.4: Mơ hình hệ thống IDC An Đồn 24 oa nl Hình 2.6: Mơ hình hệ thống IDC Tân Thuận .25 Hình 2.7: Hệ thống theo dõi DB Oracle 27 d an lu Hình 2.8: SQL Monitor .27 va Hình 2.9: Theo dõi thời lƣợng câu lệnh .28 ll u nf Hình 2.10: Thời điểm bắt đầu / kết thúc câu lệnh .28 oi m Hình 2.11: Chi tiết câu lệnh SQL 29 z at nh Hình 3.1: Các thành phần Oracle Cloud Control .36 Hình 3.2: Tải Oracle Database 12c 41 z Hình 3.3: Các file tải 41 @ gm Hình 3.4: Cài đặt Windows 42 l Hình 3.5: Cài đặt tạo database Oracle 42 m co Hình 3.6: Các bƣớc cài Oracle Database 12c 43 Hình 3.7: Tạo Windows user 43 an Lu Hình 3.8: Cài đặt plugin 44 n va ac th si viii Hình 3.9: Thiết lập nhớ 44 Hình 3.10: Thiết lập mã hóa 45 Hình 3.11: Thiết lập mật cho ngƣời dùng 45 Hình 3.12: Triển khai từ EM12C 46 Hình 3.13: Thêm máy mục tiêu thủ thông 46 Hình 3.14: Điền hostname/IP, chọn platform 47 Hình 3.15: Tạo Named Credential .47 Hình 3.16: Mở port hệ thống 48 Hình 3.17: Deploy Agent 48 lu an Hình 3.18: Quá trình deploy 49 n va Hình 3.19: Chạy script root.sh 49 Hình 3.21: Nhập tên server vừa deploy agent 50 gh tn to Hình 3.20: Add Targets Using Guided Process 50 p ie Hình 3.22: EM12 tìm đối tƣợng chạy server 50 Hình 3.23: Kiểm tra lại thông tin thêm vào hệ thống 51 nl w Hình 3.24: Kết triển khai tác tử 51 d oa Hình 3.25: Giao diện quản trị cố (Incident Manager) 52 an lu Hình 3.26: Danh sách sở liệu đƣợc quản lý 52 va Hình 3.27: Quản trị sở liệu cụ thể 53 u nf Hình 3.28: Quản lý hiệu (Performance) thời gian thực 53 ll Hình 3.29: Cấp phát sở liệu 54 m oi Hình 3.30: Tính chi phí sở liệu cấp phát 54 z at nh z m co l gm @ an Lu n va ac th si 43 – Cài đặt database: lu an n va gh tn to p ie Hình 3.6: Các bƣớc cài Oracle Database 12c w – Oracle đƣợc cài đặt vào user Windows, mà user phải khơng có d oa nl quyền Administrator, lý bảo mật Chúng ta tạo Windows user ll u nf va an lu oi m z at nh z m co l gm @ an Lu Hình 3.7: Tạo Windows user n va ac th si 44 – Bƣớc này, cài đặt hỏi có tạo Plugin hay không, chọn: Create as Container Database Nhập vào tên Plugin Database: pdbdb12c lu an n va ie gh tn to p Hình 3.8: Cài đặt plugin d oa nl w – Thiết lập nhớ (nên chọn Automatic): ll u nf va an lu oi m z at nh z m co l gm @ an Lu Hình 3.9: Thiết lập nhớ n va ac th si 45 – Để lƣu trữ đƣợc nhiều loại ngôn ngữ (bao gồm tiếng Việt), nên chọn: Character Set: Unicode (AL32UTF8) lu an n va ie gh tn to p Hình 3.10: Thiết lập mã hóa w – Oracle có vài user quản trị hệ thống (sys, system, ) cần phải đặt mật d oa nl Chúng ta thiết đặt tất user mật ll u nf va an lu oi m z at nh z m co l gm @ an Lu Hình 3.11: Thiết lập mật cho ngƣời dùng n va ac th si 46 Và chờ đợi việc cài đặt thành công – Sau cài đặt thành công EM12c, bƣớc cần thực deploy agent lên database server để monitor Có nhiều cách để deploy agent Ở thực deploy trực tiếp từ EM12c + Đăng nhập vào EM12c, sau chọn Setup -> Add Target -> Add Targets Manually lu an n va p ie gh tn to d oa nl w va an lu Hình 3.12: Triển khai từ EM12C u nf ll + Chọn Add Host Targets -> Add Host… oi m z at nh z m co l gm @ an Lu Hình 3.13: Thêm máy mục tiêu thủ thông n va ac th si 47 + Chọn Add -> Manually, điền hostname/IP, chọn platform phù hợp Hình 3.14: Điền hostname/IP, chọn platform + Ở phần Named Credential phía dƣới, tạo Named Credential lu an với thông tin user password OS (oracle) Đặt tên ORACLE_LINUX để dễ va phân biệt: n p ie gh tn to d oa nl w ll u nf va an lu oi m Hình 3.15: Tạo Named Credential z at nh + Điền thƣ mục cài đặt agent server database (/u01/app/oracle/agent), hệ thống tự tạo Instance Directory theo thƣ mục cài đặt z + Để deploy agent monitor database server, cần mở port hệ thống nhƣ @ l gm sau: m co –> Mở port 22, 3872, 1521 database server cho server EM12c kết nối (port 22 để deploy agent, 3872 để EM12c kết nối với agent, 1521 để EM12c truy an Lu cập monitor database instance) n va ac th si 48 –> Mở port 4903 server EM12c cho database server kết nối (để agent dƣới target upload thông tin lên) lu an n va p ie gh tn to d oa nl w u nf va an lu Hình 3.16: Mở port hệ thống ll oi m –> Next Review lại thông tin Sau chọn Deploy Agent z at nh z gm @ Hình 3.17: Deploy Agent + Quá trình deploy diễn Nếu có lỗi xem thơng tin, fix lại chọn m co l Retry an Lu n va ac th si 49 lu an n va tn to – Credential nhập user oracle Do deploy xong, p ie gh Hình 3.18: Quá trình deploy d oa yêu cầu nl w phải chạy script root.sh thƣ mục /u01/app/oracle/agent/core/12.1.0.5.0/ theo ll u nf va an lu oi m z at nh z Hình 3.19: Chạy script root.sh @ gm – Nhấn Done để hoàn tất deploy agent lên host m co l – Quay lại trang Add Targets Manually, chọn Add Targets Using Guided Process Target Types chọn Oracle Database, Listener & ASM: an Lu n va ac th si 50 Hình 3.20: Add Targets Using Guided Process – Nhập tên server vừa deploy agent Next lu an n va p ie gh tn to Hình 3.21: Nhập tên server vừa deploy agent oa nl w – EM12c tìm đối tƣợng chạy server Ở tìm database instance listener dbtest Nhập password cho user dbsnmp, d ll u nf va an lu đánh dấu check chọn đối tƣợng Next: oi m z at nh z m co l gm @ an Lu Hình 3.22: EM12 tìm đối tƣợng chạy server n va ac th si 51 – Review lại thông tin add vào hệ thống EM12c lu an n va to tn Hình 3.23: Kiểm tra lại thông tin thêm vào hệ thống p ie gh – Kết deploy agent: d oa nl w ll u nf va an lu oi m z at nh z gm @ m co l Hình 3.24: Kết triển khai tác tử an Lu n va ac th si 52 3.3.2 Kết thực Tập đoàn VNPT – Giao diện quản lý cố (Incident Manager): lu an n va p ie gh tn to w Hình 3.25: Giao diện quản trị cố (Incident Manager) d oa nl – Danh sách sở liệu đƣợc quản lý: ll u nf va an lu oi m z at nh z m co l gm @ Hình 3.26: Danh sách sở liệu đƣợc quản lý an Lu n va ac th si 53 – Quản trị sở liệu cụ thể: lu an n va to – Quản lý hiệu (Performance) thời gian thực: p ie gh tn Hình 3.27: Quản trị sở liệu cụ thể d oa nl w ll u nf va an lu oi m z at nh z Hình 3.28: Quản lý hiệu (Performance) thời gian thực m co l gm @ an Lu n va ac th si 54 lu an n va gh tn to p ie Hình 3.29: Cấp phát sở liệu d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu Hình 3.30: Tính chi phí sở liệu cấp phát n va ac th si 55 Kết luận chƣơng Hệ quản trị sở liệu phần mềm hay hệ thống đƣợc thiết kế để quản trị sở liệu Cụ thể, chƣơng trình thuộc loại hỗ trợ khả lƣu trữ, sửa chữa, xóa tìm kiếm thơng tin sở liệu (CSDL) Có nhiều loại hệ quản trị CSDL khác nhau: từ phần mềm nhỏ chạy máy tính cá nhân hệ quản trị phức tạp chạy nhiều siêu máy tính Hiện tại, Tập đồn VNPT sử dụng hệ QTCSDL Oracle Enterprise 11g, 12c Microsoft SQL Server Các hệ QTCSDL này, nhƣ phân tích lu chƣơng 2, bị phân tán đặt nhu cầu thiết cần có giải pháp quản trị tập an trung Oracle Cloud Control 12c đời để giải nhu cầu cho ngƣời làm va n quản trị hệ thống to gh tn Về mặt kiến trúc, Oracle Cloud Control đƣợc xây dựng với thành phần sau: p ie w – Oracle Management Agent oa nl – Oracle Management Service d – Oracle Management Repository an lu – Oracle Management Plug–ins va ll u nf – Enterprise Manager Cloud Control Console oi m Việc cài đặt Oracle Cloud Control, Database nhƣ hệ quản trị sở liệu z at nh khơng khó, nhiên cần tn thủ quy trình nhớ thơng số trình cài đặt, giúp cho việc vận hành sau đƣợc thuận tiện z m co l gm @ an Lu n va ac th si 56 KẾT LUẬN Đề tài bao quát đƣợc trạng hệ thống sở liệu Tập Đồn Bƣu Chính Viễn Thơng Việt Nam VNPT, từ đề giải pháp để nâng cao hiệu hoạt động Thông qua việc nghiên cứu, thực luận văn, học viên đạt đƣợc số kết nhƣ sau: - Về mặt lý thuyết: + Hiểu đƣợc kiến trúc điện toán đám mây lu an + Hiểu đƣợc kiến thức hệ quản trị sở liệu sở liệu đám n va mây gh tn to + Nắm vững đƣợc thành phần cách triển khai hệ quản trị sở liệu Oracle p ie - Về mặt thực tiễn: w + Cải tiến, nâng cao chất lƣợng, thời gian cung cấp dịch vụ VNPT d oa nl + Xây dựng đƣợc hệ thống sở liệu đám mây riêng sử dụng phần mềm hãng Oracle lu an Bên cạnh đó, học viên nghiên cứu, xây dựng đƣợc hệ thống sở u nf va liệu đám may riêng Tập Đoàn Bƣu Chính Viễn Thơng Việt Nam VNPT ll Học viên dự kiến áp dụng kết nghiên cứu, xây dựng vào việc quản m oi lý hệ thống phần mềm Tập Đoàn tƣơng lai z at nh z m co l gm @ an Lu n va ac th si 57 TÀI LIỆU THAM KHẢO [1] Ts Phạm Thế Quế (2006), Giáo Trình "Cơ Sở Dữ Liệu", Học Viện Bƣu Chính Viễn Thơng, Hà Nội [2] Chris Ruel and Michael Wessler (2014), "Oracle ® 12c For Dummies ®", John Wiley & Sons, Inc [3] Bob Bryla (2015), "Oracle Database 12c DBA Handbook", McGraw–Hill Education (Publisher) lu an n va [4] Chapter 3- The Cloud DBA-Oracle: Managing Oracle Database in the Cloud [5] Chapter 1,2,11- Cloud Database Development and Management tn to [6] Chapter 3- Database Cloud Storage: The Essential Guide to Oracle Automatic p ie gh Storage Management An Architect’s Guide to the Oracle Private Database Cloud [8] Administration Guides: Administrator's Guide; Cloud Control Security Guide; oa nl w [7] d Lifecycle Management Administrator's Guide; Command Line Interface va an Oracle Enterprise Manager Cloud Control Documentation 12c Release 5: ll u nf [9] lu Guide oi m https://docs.oracle.com/cd/E24628_01/ z at nh z m co l gm @ an Lu n va ac th si