(Luận văn) nghiên cứu xây dựng mô hình giải pháp mã nguồn mở cloudera phục vụ triển khai ứng dụng big data tại mobifone

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - PHẠM XUÂN LỘC lu an n va p ie gh tn to NGHIÊN CỨU XÂY DỰNG MƠ HÌNH GIẢI PHÁP MÃ NGUỒN MỞ CLOUDERA PHỤC VỤ TRIỂN KHAI ỨNG DỤNG BIG DATA TẠI MOBIFONE d oa nl w an lu u nf va LUẬN VĂN THẠC SĨ KỸ THUẬT ll (Theo định hướng ứng dụng) oi m z at nh z m co l gm @ an Lu HÀ NỘI - 2019 n va ac th si HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - PHẠM XUÂN LỘC lu an n va p ie gh tn to NGHIÊN CỨU XÂY DỰNG MƠ HÌNH GIẢI PHÁP MÃ NGUỒN MỞ CLOUDERA PHỤC VỤ TRIỂN KHAI ỨNG DỤNG BIG DATA TẠI MOBIFONE oa nl w CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN d MÃ SỐ: 8.48.01.04 va an lu u nf LUẬN VĂN THẠC SĨ KỸ THUẬT ll (Theo định hướng ứng dụng) oi m z at nh z m co l gm @ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS HÀ HẢI NAM an Lu HÀ NỘI - 2019 n va ac th si i LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tác giả luận văn ký ghi rõ họ tên lu an n va Phạm Xuân Lộc p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si ii LỜI CẢM ƠN Tơi xin trân trọng cảm ơn tồn thể thầy cô Khoa Quốc tế Đào tạo Sau Đại học – Khoa Công nghệ thông tin – Học viện Cơng nghệ Bưu Viễn thơng tạo điều kiện cho tơi có mơi trường học tập tốt đồng thời truyền đạt cho vốn kiến thức quý báu tư khoa học để phục vụ cho q trình học tập cơng tác tơi Tơi xin gửi lời cảm ơn đến bạn lớp Cao học Hệ thống thơng tin M17CQIS01-B khóa 2017- 2019 giúp đỡ suốt thời gian học tập vừa lu an qua Đặc biệt, xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS HÀ HẢI NAM n va tận tình bảo cho tơi suốt trình học tập nghiên cứu, giúp tơi có tn to nhận thức đắn kiến thức khoa học, tác phong học tập làm việc Tôi xin gửi lời cảm ơn tới gia đình, đồng nghiệp, người thân gh p ie động viên, giúp đỡ tơi q trình hồn thành luận văn Cuối tơi xin kính chúc thầy tồn thể bạn học viên trường nl w Học viện Cơng nghệ Bưu Viễn thơng sức khỏe dồi dào, đạt d oa thành công đường học tập nghiên cứu khoa học Chúc trường ta sớm an lu trở thành cờ đầu giáo dục nước nhà Quốc tế va Xin trân trọng cảm ơn! ll u nf Hà Nội, ngày tháng năm 2018 oi m Tác giả luận văn z at nh z Phạm Xuân Lộc m co l gm @ an Lu n va ac th si iii MỤC LỤC LỜI CAM ĐOAN .i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT v DANH SÁCH BẢNG vii DANH SÁCH HÌNH VẼ viii MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU VỀ BIG DATA VÀ GIẢI PHÁP CLOUDERA ÁP lu an DỤNG XÂY DỰNG BIG DATA n va Tóm tắt chương 1.2 Xu hướng phát triển công nghệ Big Data gh tn to 1.1 Định nghĩa “Hệ thống Big Data” .3 p ie 1.2.1 Tình hình phát triển nhu cầu sử dụng công nghệ Big Data tương lai oa nl w 1.2.2 So sánh, đánh giá giải pháp mã nguồn mở áp dụng cho Big Data 1.3 Giới thiệu Cloudera 11 d an lu 1.4 Kiến trúc thành phần mã nguồn mở tảng Cloudera 16 va 1.4.1 Hadoop .18 ll u nf 1.4.2 Hệ quản trị CSDL: HBase .27 oi m 1.4.3 Học máy Apache Mahout 28 z at nh 1.4.4 Tính toán nhớ, streaming: Apache Spark 29 1.4.5 Truy vấn song song như: Apache Impala 30 z 1.4.6 Một số Apache dùng để tổ chức lưu trữ, truy vấn liệu Hadoop 31 @ gm 1.5 Một số case study điển hình triển khai thành cơng Cloudera 32 l CHƯƠNG 2: TRIỂN KHAI XÂY DỰNG HỆ THỐNG CLOUDERA PHỤC m co VỤ XÂY DỰNG BIG DATA TẠI MOBIFONE 34 Tóm tắt chương 34 an Lu 2.1 Hiện trạng triển khai áp dụng công nghệ Big Data MobiFone 34 n va ac th si iv 2.1.1 Hiện trạng tài nguyên máy chủ lưu trữ liệu Big Data 34 2.1.2 Hiện trạng cơng nghệ phân tích liệu cho Big Data MobiFone 35 2.2 Nhu cầu áp dụng công nghệ mã nguồn mở cho Big Data MobiFone .37 2.3 Thiết kế hệ thống Cloudera phục vụ xây dựng BIG DATA MobiFone 38 2.3.1 Bài toán triển khai 38 2.3.2 Mơ hình triển khai 40 2.4 Triển khai cài đặt, cấu hình hệ thống 42 2.4.1 Cài đặt JDK 43 2.4.2 Cài đặt Database 43 lu 2.4.3 Cài đặt Cloudera Manager Server 44 an va 2.4.4 Cài đặt Cloudera Manager Agent 44 n 2.4.5 Cài đặt CDH Manager Service Software 46 gh tn to 2.4.6 Khởi tạo, cấu hình khởi động CDH Managed Services 48 p ie CHƯƠNG 3: KẾT QUẢ ĐẠT ĐƯỢC KHI XÂY DỰNG HỆ THỐNG CLOUDERA TẠI MOBIFONE 49 nl w Tóm tắt chương 49 d oa 3.1 Kết xây dựng hệ thống Cloudera MobiFone .49 an lu 3.1.1 Quản lý thành phần hệ thống giao diện Cloudera .49 va 3.1.2 Áp dụng Spark để giải toán phân khúc thuê bao 52 u nf 3.2 Kinh nghiệm cài đặt, triển khai hệ thống Cloudera 57 ll 3.2.1 Một số tồn tại, khó khăn triển khai 57 m oi 3.2.2 Các giải pháp khắc phục 58 z at nh KẾT LUẬN 59 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 60 z m co l gm @ an Lu n va ac th si v DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Chữ viết tắt Tiếng Anh Tiếng Việt Application Programming API Giao diện lập trình ứng dụng Interface Cloudera Distributed Sản phẩm Cloudera phân phối Hadoop theo phiên hadoop CNTT - Công nghệ thông tin CSDL - Cơ sở liệu FIFO first-in, first-out vào trước-ra trước CDH lu an va Hadoop Distributed File n HDFS Hệ thống lưu trữ file Hadoop gh tn to System Mạng lưới vạn vật kết nối Internet of Things Internet p ie IoT LZO w Near-Field Công nghệ giao tiếp tầm ngắn Communications d oa nl NFC Thuật toán nén liệu Lempel–Ziv–Oberhumer phương pháp truy xuất sở Connectivity liệu chuẩn Hệ điều hành va an OS Open Database u nf lu ODBC Operating system ll oi m Giải pháp cung cấp nội dung cho Transfer Một quy tắc để tạo ứng dụng Web Service gm Radio Frequency Nhận dạng tần số sóng Identification vơ tuyến Short Message Services Dịch vụ tin nhắn ngắn m co l an Lu SMS Representational State Internet @ RFID người sử dụng dựa tảng z REST Over The Top z at nh OTT n va ac th si vi SPSS Statistical Package for the Một phần mềm máy tính phục vụ Social Sciences cơng tác phân tích thống kê Structured Query SQL Ngơn ngữ truy vấn có cấu trúc Language VAS Value Added Services WIFI Wireless Fidelity Dịch vụ Giá trị gia tăng Mạng không dây sử dụng sóng vơ tuyến lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si vii DANH SÁCH BẢNG Bảng 1.1: So sánh cloudera Xpress Enterprise 16 Bảng 3.1: Bảng so sánh thành phần giải pháp Cloudera giải pháp IBM 57 lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si viii DANH SÁCH HÌNH VẼ Hình 1.1: Các loại liệu phổ biến người dùng Hình 1.2: Luồng xử lý liệu lớn Hình 1.3: Mơ hình đốn áp dụng Big Data google dịch cúm 2009 Hình 1.4: Tổng quan thành phần cloudera 17 Hình 1.5: Kiến trúc HDFS 19 Hình 1.6: Luồng đọc liệu HDFS .20 Hình 1.7: Luồng ghi liệu HDFS 21 Hình 1.8: Kiến trúc MapReduce .23 lu an Hình 1.9: Cơ chế hoạt động MapReduce 24 n va Hình 1.10: Giao tiếp JobTracker TaskTracker 25 tn to Hình 1.11: Quá trình thực maptask 26 gh Hình 1.12: Quá trình reduce task 27 p ie Hình 1.13: Cách đọc ghi map-reduce 30 w Hình 1.14: Cách đọc ghi spark 30 oa nl Hình 1.15: Mơ hình kiến trúc tính tốn song song impala 31 Hình 2.1 : Kiến trúc triển khai tổng thể 36 d an lu Hình 2.2: Mơ hình phân khúc khách hàng trả trước PWC 39 va Hình 2.3: Mơ hình logic triển khai Cloudera 41 ll u nf Hình 2.4: Cài đặt cloudera Manager agent 45 oi m Hình 2.5: Cài đặt cloudera theo cụm host từ giao diện .45 z at nh Hình 2.6: Cài đặt gói apache từ giao diện cloudera 46 Hình 2.7: Kết cài đặt apache cloudera home 47 z Hình 2.8: Khởi tạo cấu hình khởi động CDH 48 @ gm Hình 3.1: Giám sát trạng thái server cụm từ cloudera manager .50 l Hình 3.2: Giám sát tổng quan toàn cụm server từ cloudera manager 51 m co Hình 3.3: Các tham số cấu hình từ giao diện cloudera manager 51 Hình 3.4: Kiểm tra log hệ thống cloudera 52 an Lu Hình 3.5: Quy trình xử lý liệu toán phân khúc thuê bao 52 n va ac th si 46 2.4.5 Cài đặt CDH Manager Service Software Thực cài đặt gói mong muốn trên web : lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu Hình 2.6: Cài đặt gói apache từ giao diện cloudera n va ac th si 47 Việc chọn gói muốn cài đặt thực hoàn toàn web : lu an va n Lựa chọn gói muốn cài đặt, sau cài đặt thành công hiển thị giao diện p ie gh tn to sau: d oa nl w ll u nf va an lu oi m z at nh Hình 2.7: Kết cài đặt apache cloudera home z m co l gm @ an Lu n va ac th si 48 2.4.6 Khởi tạo, cấu hình khởi động CDH Managed Services Thực start thành phần sau cài đặt: lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh Hình 2.8: Khởi tạo cấu hình khởi động CDH z m co l gm @ an Lu n va ac th si 49 CHƯƠNG 3: KẾT QUẢ ĐẠT ĐƯỢC KHI XÂY DỰNG HỆ THỐNG CLOUDERA TẠI MOBIFONE Tóm tắt chương Trong chương 3, mô tả chi tiết kết cơng việc thực để xây dựng hồn chỉnh hệ thống Cloudera Trung tâm CNTT MobiFone, từ rút kinh nghiệm việc cài đặt triển khai hệ thống cloudera điểm tồn tại, khó khăn hay giải pháp khắc phục trình triển khai lu Kết xây dựng hệ thống Cloudera MobiFone an 3.1 n va 3.1.1 Quản lý thành phần hệ thống giao diện Cloudera tn to Hệ thống Cloudera cho phép giám sát toàn hệ thống giao diện trực gh quan, giúp người dùng kiểm tra trạng thái toàn node cụm, trạng p ie thái thành phần, start, stop thành phần hệ thống d oa nl w Giám sát tải CPU, RAM, ổ cứng, trạng thái server cụm : ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 50 Đồ thị tải server : lu an n va p ie gh tn to d oa nl w u nf va an lu ll Hình 3.1: Giám sát trạng thái server cụm từ cloudera manager oi m z at nh z m co l gm @ an Lu n va ac th si 51 Cũng trạng thái toàn cụm : lu an n va ie gh tn to p Hình 3.2: Giám sát tổng quan toàn cụm server từ cloudera manager d oa nl w Giao diện cấu hình tham số : ll u nf va an lu oi m z at nh z m co l gm @ Hình 3.3: Các tham số cấu hình từ giao diện cloudera manager an Lu n va ac th si 52 Quan sát log chạy hệ thống : lu an n va to gh tn Hình 3.4: Kiểm tra log hệ thống cloudera Để giải toán đưa ra, liệu toán lưu trữ vào p ie 3.1.2 Áp dụng Spark để giải toán phân khúc thuê bao d oa nl w Hadoop, sử dụng Spark MLLib để phân tích liệu ll u nf va an lu oi m z at nh z m co l gm @ an Lu Hình 3.5: Quy trình xử lý liệu toán phân khúc thuê bao n va ac th si 53 Quy trình xử lý liệu :  Loại bỏ thuê bao có số tin nhắn