Nghiên cứu xây dựng mô hình giải pháp mã nguồn mở cloudera phục vụ triển khai ứng dụng big data tại mobifone

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - PHẠM XUÂN LỘC NGHIÊN CỨU XÂY DỰNG MƠ HÌNH GIẢI PHÁP MÃ NGUỒN MỞ CLOUDERA PHỤC VỤ TRIỂN KHAI ỨNG DỤNG BIG DATA TẠI MOBIFONE LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2019 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - PHẠM XUÂN LỘC NGHIÊN CỨU XÂY DỰNG MƠ HÌNH GIẢI PHÁP MÃ NGUỒN MỞ CLOUDERA PHỤC VỤ TRIỂN KHAI ỨNG DỤNG BIG DATA TẠI MOBIFONE CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS HÀ HẢI NAM HÀ NỘI - 2019 i LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tác giả luận văn ký ghi rõ họ tên Phạm Xuân Lộc ii LỜI CẢM ƠN Tơi xin trân trọng cảm ơn tồn thể thầy cô Khoa Quốc tế Đào tạo Sau Đại học – Khoa Công nghệ thông tin – Học viện Cơng nghệ Bưu Viễn thơng tạo điều kiện cho tơi có mơi trường học tập tốt đồng thời truyền đạt cho vốn kiến thức quý báu tư khoa học để phục vụ cho q trình học tập cơng tác Tôi xin gửi lời cảm ơn đến bạn lớp Cao học Hệ thống thông tin M17CQIS01-B khóa 2017- 2019 giúp đỡ tơi suốt thời gian học tập vừa qua Đặc biệt, xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS HÀ HẢI NAM tận tình bảo cho tơi suốt q trình học tập nghiên cứu, giúp tơi có nhận thức đắn kiến thức khoa học, tác phong học tập làm việc Tôi xin gửi lời cảm ơn tới gia đình, đồng nghiệp, người thân động viên, giúp đỡ trình hồn thành luận văn Cuối tơi xin kính chúc thầy tồn thể bạn học viên trường Học viện Cơng nghệ Bưu Viễn thơng sức khỏe dồi dào, đạt thành công đường học tập nghiên cứu khoa học Chúc trường ta sớm trở thành cờ đầu giáo dục nước nhà Quốc tế Xin trân trọng cảm ơn! Hà Nội, ngày tháng năm 2018 Tác giả luận văn Phạm Xuân Lộc iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT v DANH SÁCH BẢNG vii DANH SÁCH HÌNH VẼ viii MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU VỀ BIG DATA VÀ GIẢI PHÁP CLOUDERA ÁP DỤNG XÂY DỰNG BIG DATA Tóm tắt chương 1.1 Định nghĩa “Hệ thống Big Data” 1.2 Xu hướng phát triển công nghệ Big Data 1.2.1 Tình hình phát triển nhu cầu sử dụng công nghệ Big Data tương lai 1.2.2 So sánh, đánh giá giải pháp mã nguồn mở áp dụng cho Big Data 1.3 Giới thiệu Cloudera 11 1.4 Kiến trúc thành phần mã nguồn mở tảng Cloudera 16 1.4.1 Hadoop 18 1.4.2 Hệ quản trị CSDL: HBase 27 1.4.3 Học máy Apache Mahout 28 1.4.4 Tính tốn nhớ, streaming: Apache Spark 29 1.4.5 Truy vấn song song như: Apache Impala 30 1.4.6 Một số Apache dùng để tổ chức lưu trữ, truy vấn liệu Hadoop 31 1.5 Một số case study điển hình triển khai thành công Cloudera 32 CHƯƠNG 2: TRIỂN KHAI XÂY DỰNG HỆ THỐNG CLOUDERA PHỤC VỤ XÂY DỰNG BIG DATA TẠI MOBIFONE 34 Tóm tắt chương 34 2.1 Hiện trạng triển khai áp dụng công nghệ Big Data MobiFone .34 iv 2.1.1 Hiện trạng tài nguyên máy chủ lưu trữ liệu Big Data 34 2.1.2 Hiện trạng cơng nghệ phân tích liệu cho Big Data MobiFone 35 2.2 Nhu cầu áp dụng công nghệ mã nguồn mở cho Big Data MobiFone .37 2.3 Thiết kế hệ thống Cloudera phục vụ xây dựng BIG DATA MobiFone 38 2.3.1 Bài toán triển khai 38 2.3.2 Mơ hình triển khai 40 2.4 Triển khai cài đặt, cấu hình hệ thống 42 2.4.1 Cài đặt JDK 43 2.4.2 Cài đặt Database 43 2.4.3 Cài đặt Cloudera Manager Server 44 2.4.4 Cài đặt Cloudera Manager Agent 44 2.4.5 Cài đặt CDH Manager Service Software 46 2.4.6 Khởi tạo, cấu hình khởi động CDH Managed Services .48 CHƯƠNG 3: KẾT QUẢ ĐẠT ĐƯỢC KHI XÂY DỰNG HỆ THỐNG CLOUDERA TẠI MOBIFONE 49 Tóm tắt chương 49 3.1 Kết xây dựng hệ thống Cloudera MobiFone 49 3.1.1 Quản lý thành phần hệ thống giao diện Cloudera 49 3.1.2 Áp dụng Spark để giải toán phân khúc thuê bao 52 3.2 Kinh nghiệm cài đặt, triển khai hệ thống Cloudera 57 3.2.1 Một số tồn tại, khó khăn triển khai 57 3.2.2 Các giải pháp khắc phục 58 KẾT LUẬN 59 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 60 v DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Chữ viết tắt API CDH CNTT CSDL FIFO HDFS IoT LZO NFC ODBC OS OTT REST RFID SMS vi SPSS SQL VAS WIFI vii DANH SÁCH BẢNG Bảng 1.1: So sánh cloudera Xpress Enterprise 16 Bảng 3.1: Bảng so sánh thành phần giải pháp Cloudera giải pháp IBM 57 47 Việc chọn gói muốn cài đặt thực hồn tồn web : Lựa chọn gói muốn cài đặt, sau cài đặt thành công hiển thị giao diện sau: Hình 2.7: Kết cài đặt apache cloudera home 48 2.4.6 Khởi tạo, cấu hình khởi động CDH Managed Services Thực start thành phần sau cài đặt: Hình 2.8: Khởi tạo cấu hình khởi động CDH 49 CHƯƠNG 3: KẾT QUẢ ĐẠT ĐƯỢC KHI XÂY DỰNG HỆ THỐNG CLOUDERA TẠI MOBIFONE Tóm tắt chương Trong chương 3, mô tả chi tiết kết công việc thực để xây dựng hoàn chỉnh hệ thống Cloudera Trung tâm CNTT MobiFone, từ rút kinh nghiệm việc cài đặt triển khai hệ thống cloudera điểm tồn tại, khó khăn hay giải pháp khắc phục trình triển khai 3.1 Kết xây dựng hệ thống Cloudera MobiFone 3.1.1 Quản lý thành phần hệ thống giao diện Cloudera Hệ thống Cloudera cho phép giám sát toàn hệ thống giao diện trực quan, giúp người dùng kiểm tra trạng thái toàn node cụm, trạng thái thành phần, start, stop thành phần hệ thống Giám sát tải CPU, RAM, ổ cứng, trạng thái server cụm : 50 Đồ thị tải server : Hình 3.1: Giám sát trạng thái server cụm từ cloudera manager 51 Cũng trạng thái tồn cụm : Hình 3.2: Giám sát tổng quan toàn cụm server từ cloudera manager Giao diện cấu hình tham số : Hình 3.3: Các tham số cấu hình từ giao diện cloudera manager 52 Quan sát log chạy hệ thống : Hình 3.4: Kiểm tra log hệ thống cloudera 3.1.2 Áp dụng Spark để giải toán phân khúc thuê bao Để giải toán đưa ra, liệu toán lưu trữ vào Hadoop, sử dụng Spark MLLib để phân tích liệu Hình 3.5: Quy trình xử lý liệu tốn phân khúc thuê bao 53 Quy trình xử lý liệu :  Loại bỏ thuê bao có số tin nhắn