Ứng dụng công nghệ hdp vào việc tối ưu lưu trữ dữ liệu tại tổng công ty mạng lưới lao telecom, tỉnh attapeu nước chdcnd lào

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM VONGVILAI THIDSAMAI ỨNG DỤNG CÔNG NGHỆ HDP VÀO VIỆC TỐI ƯU LƯU TRỮ DỮ LIỆU TẠI TỔNG CÔNG TY MẠNG LƯỚI LAO TELECOM, TỈNH ATTAPEU NƯỚC CHDCND LÀO LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Đà Nẵng – 2023 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM VONGVILAI THIDSAMAI ỨNG DỤNG CÔNG NGHỆ HDP VÀO VIỆC TỐI ƯU LƯU TRỮ DỮ LIỆU TẠI TỔNG CÔNG TY MẠNG LƯỚI LAO TELECOM, TỈNH ATTAPEU NƯỚC CHDCND LÀO Chuyên ngành: Hệ thống thơng tin Mã số: 84.80.104 LUẬN VĂN THẠC SĨ CƠNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: TS Nguyễn Đình Lầu Đà Nẵng – 2023 iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT v DANH MỤC BẢNG vi DANH SÁCH HÌNH VẼ vii MỞ DẦU 1 Lý chọn đề tài Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa khoa học thực tiễn đề tài Kết dự kiến Bố cục luận văn CHƯƠNG ĐẶT VẤN ĐỀ VỀ BÀI TỐN TÍNH CƯỚC ĐANG DÙNG TẠI LAO TELECOM 1.1 Mơ hình, trạng nghiệp vụ hệ thống Lao Billing 1.1.1 Giới thiệu mơ hình hệ thống Lao Billing 1.1.2 Các nghiệp vụ tính cước 1.2 Những tồn hệ thống 13 1.3 Kết chương 14 CHƯƠNG PHÂN TÍCH, LỰA CHỌN VÀ THIẾT KẾ GIẢI PHÁP 15 2.1 Mơ hình giải pháp cũ 15 2.1.1 Mơ hình vật lý hệ thống Billing 15 2.1.2 Mơ hình logic hệ thống Billing 16 2.2 Mơ hình giải pháp hệ thống Billing hồn tồn miễn phí[10] 17 2.3 Mơ hình giải pháp miễn phí kết hợp có phí 21 2.4 So sánh giải pháp miễn phí hồn tồn giải pháp kết hợp có phí 26 2.5 Kết chương 28 CHƯƠNG ỨNG DỤNG CÔNG NGHỆ HORTONWORKS DATA PLATFORM 29 3.1 Hortonworks Data Platform 29 3.2 HDP Data Management 30 3.4 HDP Data Access 31 3.5 HDP Data Governance and Integration 32 3.6 HDP Security 32 3.7 HDP Cluster Operations 33 iv 3.8 Triển khai tùy chọn Hadoop 33 3.9 Cài đặt Hortonworks Sandbox windows sử dụng Oracle VirtualBox 34 3.9.1 Cài đặt Windows cách sử dụng Oracle VirtualBox 34 3.9.2 Import tập tin Sandbox: File-> Import Appliance 35 3.9.3 Cửa sổ Import Virtual Appliance xuất 36 3.9.4 Import Virtual Applicance 36 3.9.5 Màn hình cài đặt thiết bị xuất Bạn phân bổ RAM nhiều so với mặc định để nâng cao hiệu suất 37 3.9.6 Thiết bị Import 38 3.9.7 Mở Sandbox 38 3.9.8 Đợi máy ảo khởi động lên 39 3.9.9 Sử dụng trình duyệt máy chủ để mở URL hiển thị giao diện điều khiển 39 3.10 Kết chương 40 CHƯƠNG ĐÁNH GIÁ THỰC NGHIỆM SO SÁNH GIẢI PHÁP CŨ VÀ GIẢI PHÁP MỚI 41 4.1 Mô hình logic hệ thống thực nghiệm 41 4.2 Phương pháp lấy số liệu thực nghiệm 42 4.3 Phân tích, so sánh số liệu thực nghiệm hai hệ thống 53 4.4 Kết chươmg 57 KẾT LUẬN, KHUYẾN NGHỊ 59 DANH MỤC TÀI LIỆU THAM KHẢO 60 v DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT Indicator Giải nghĩa - Tạm dịch Là số đánh giá công việc, công cụ đo lường nhằm phản ảnh hiệu hoạt động Call Detail Record Structured Query Cơng nghệ thơng tin Chăm sóc khách hàng Cơ sở liệu Bản ghi chi tiết gọi Ngơn ngữ truy vấn có cấu trúc Từ viết tắt Từ gốc KPI Key Performance CNTT CSKH CSDL CDR SQL Language Switch Load Balacing Firewall Bộ chuyển mạch Bộ cân tải Tường lửa vi DANH MỤC BẢNG Số hiệu Tên bảng bảng 2.1 So sánh tính EBS nhà cung cấp dịch vụ Trang 26 2.2 So sánh Database nhà cung cấp dịch vụ 27 4.1 Cấu hình máy chủ 41 4.2 Thơng tin lần chạy 43 4.3 Thông tin chi tiết máy chủ trình chạy chạy script 43 4.4 Script ghi lại tải chi tiết tải máy chủ 44 4.5 Dữ liệu chi tiết tải máy chủ lần chạy thực nghiệm 45 4.6 Thông tin tổng hợp máy chủ chiếm tài nguyên 46 4.7 Số liệu thực nghiệm công nghệ cũ với dung lượng 2G 47 4.8 Số liệu thực nghiệm công nghệ cũ với dung lượng 4G 48 4.9 Số liệu thực nghiệm công nghệ cũ với dung lượng 5G 49 4.10 Số liệu thực nghiệm công nghệ với dung lượng 2G 50 4.11 Số liệu thực nghiệm công nghệ với dung lượng 4G 51 4.12 Số liệu thực nghiệm công nghệ dung lượng 5G 52 55 Hình 4.5 Mối liên hệ thời gian thực nghiệm dung lượng liệu Qua số liệu ta biểu diễn thành phương trình sau: Hệ thống 1: Times = -7.824 + 3.073*Size.of.Folder Hệ thống 2: Times = 10.545 - 2.147*Size.of.Folder Từ phương trình ta thấy hệ thống 1, dung lượng tăng lên 1G thời gian chạy thực nghiệm tăng lên 3.073 phút Đối với hệ thống 2, dung lượng tăng lên 1G thời gian chạy thực nghiệm tăng lên 2.147 phút Từ đối tượng fit chạy lệnh summary để có nhiều thơng tin mối liên hệ thời gian chạy thực nghiệm dung lượng liệu hai hệ thống 56 Hình 4.6 So sánh thời gian import hai hệ thống Theo kết chạy thực nghiệm so sánh từ Hình 4.6 ta có số p=2.2e-16 chứng cho thấy mối liên hệ dung lượng liệu thời gian lần chạy thực nghiệm, mối liên hệ có ý nghĩa thống kê Ngồi mơ hình fit giải thích 99.65% biến thiên sai khác thời gian thực hai hệ thống I II Do có tương tác hai biến Times (hình 4.7) size.of.folder nên cỡ liệu lớn hệ thống II tiết kiệm thời gian Để biểu diễn phân bố số liệu hai hệ thống đồ thị ta dùng hàm scatterplot [2] Trục tung thời gian chạy lần thực nghiệm trục hoành dung lượng liệu chạy thực nghiệm 57 Hình 4.7 Biểu diễn phân bố liệu thực nghiệm hai hệ thống Từ biểu đồ theo Hình 4.7 ta thấy với liệu đầu vào nhỏ thời gian thực nghiệm hai hệ thống không khác nhiều Khi liệu tăng lên số liệu cành chênh lệch Ta thấy dung lượng lên đến 95G thời gian chạy hệ thống thứ hai khoảng 100 phút, với hệ thống thứ tới 300 phút Điều chứng tỏ với công nghệ hệ thống thứ hai đảm bảo hoạt động với liệu lớn, liệu tăng lên lần thời gian chạy tăng lên khoảng lần Trong với hệ thống cũ liệu tăng lên lần thời gian chạy thực nghiệm tăng lên khoảng lần 4.4 Kết chươmg Quá trình đánh giá thực nghiệm thường thực thông qua việc so sánh kết đánh giá số tiêu chí quan trọng giải pháp cũ giải pháp Các kết đo lường số kinh tế, chất lượng sản phẩm, hài lòng khách hàng, số khác liên quan đến mục đích sử dụng giải pháp Khi đánh giá, nên đảm bảo điều kiện đánh giá giống cho giải pháp cũ giải pháp Nên sử dụng phương pháp đánh giá thực tế thử nghiệm để so sánh trực tiếp hiệu giải pháp so với giải pháp cũ 58 Đánh giá thực nghiệm so sánh giải pháp cũ giải pháp phương pháp quan trọng để giúp tổ chức doanh nghiệp cải thiện hoạt động đưa định đắn, hiệu 59 KẾT LUẬN, KHUYẾN NGHỊ Kết luận Trong đề tài, từ kết phân tích so sánh giải pháp cũ giải pháp ta thấy kết giải pháp tốt Thời gian thực import số liệu vào hệ thống nhanh hẳn so với giải pháp cũ Ngoài ra, liệu cước khách hàng ngày lớn, năm tăng 20-30%, áp dụng cơng nghệ cũ giải pháp cũ không đáp ứng nhu cầu thực tế Với công nghệ giải pháp hồn tồn đáp ứng yêu cầu này, công nghệ đời để chuyên dùng cho sở liệu lớn, xử lý liệu lớn thời gian thực Nếu áp dụng giải pháp vào thực tế, với thử nghiệm ta thấy thời gian import giảm tới 3-4 lần Thời gian import nhanh đáp ứng KPI Bộ thông tin truyền thông (thời gian tra cứu gọi kể từ kết thúc gọi 45 phút) liệu ngày lớn với giải pháp cũ có nguy không đáp ứng Công nghệ sử dụng phần nhớ để lưu trữ liệu nên việc truy xuất liệu nhanh hơn, việc phục vụ công chốt sổ cuối tháng nhanh hơn, đảm bảo cung cấp chi tiết cước cho khách hàng theo cam kết vào mùng hai hàng tháng 2.Khuyến nghị Đây giải pháp so mặt kỹ thuật tốt nhiều so với giải pháp cũ, nhanh 3-4 lần Nhưng mặt chi phí lại khơng hồn tồn tốt hơn, số phần mềm cần mua quyền (Mulesoft) Tùy thuộc vào mơ hình triển khai mà chi phí đầu tư khác Ngồi để chạy với mơ hình cần phải chuyển đổi liệu từ hệ thống cũ sang hệ thống mới, việc không đơn giản hệ thống cũ có khoảng 15-20T liệu Để chuyển cần đầu tư hạ tầng hạ tầng tạm để chuyển đổi liệu Như vậy, việc áp dụng giải pháp hay không phụ thuộc vào người quản lý Để hệ thống đảm bảo mặt KPI chuyển dịch sang Big Data đáp ứng với nhu cầu liệu ngày lớn nghiệp vụ viễn thơng việc áp dụng giải pháp hoàn toàn nên thực Giải pháp cũ đáp ứng nhu cầu tăng trưởng liệu vịng 4-5 năm tới Áp dụng cơng nghệ Big Data điều tất yếu phải làm 60 DANH MỤC TÀI LIỆU THAM KHẢO *Tiếng Anh [1] Pokharel, M., Alsadoon, A., & Nguyễn, V T (2022) Deep learning for predicting the onset of type diabetes: enhanced ensemble classifer using modified t-SNE Multimedia Tools and Applications, No:3 (2022), 1-16 [2] D C Montgomery Design and analysis of experiments, 9th edition, Wiley & Sons, No:3 (2017), 1-16 [3] David J Lilja Measuring computer performance: A practitioner guide’s, Cambridge University Press, No:4 (2004), 36-40 [4] R Jain, The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling, Wiley- Interscience, New York, NY, April 1991 [5] Data Analysis and Graphics Using R - An Example Approach - Cambridge University Press, 2003, John Maindonald [6] Introductory Statistics With R - Springer, 2004 - Peter Dalgaard [7] Linear Models with R - Chapman & Hall/CRC, 2004 - Julian Faraway [8] R Graphics (Computer Science and Data Analysis) - Chapman & Hall/CRC, 2005 - Paul Murrell [9] Modern Applied Statistics with S-Plus – Springer, 4th Edition (2003) * Tài liệu Internet [10] Báo cáo Quý KPI chất lượng dịch vụ mạng viễn thông,2019 Ngày truy cập: 22/12/2022 [11] Báo cáo tổng kết chất lượng dịch vụ mạng viễn thơng,2018 Ngày truy cập: 15/10/2022 [12] Quy trình tính cước cho thuê bao di động cố định,2016 Ngày truy cập: 17/11/2022 [13] “ Documentation for Scikit-learn”, URL: https://scikit-learn.org/stable/auto_examples [14] Mitchell, T M (2017) Machine Learning Hà Nội: Nxb Thanh Niên