(LUẬN văn THẠC sĩ) nghiên cứu ứng dụng công nghệ điện toán đám mây để phân tích dữ liệu lớn trong mạng thông tin di động

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN HỒ QUỐC TRUNG NGHIÊN CỨU ỨNG DỤNG ĐIỆN TOÁN ĐÁM MÂY ĐỂ PHÂN TÍCH DỮ LIỆU LỚN TRONG MẠNG THÔNG TIN DI ĐỘNG LUẬN VĂN THẠC SĨ: KỸ THUẬT VIỄN THƠNG Bình Định - Năm 2019 download by : skknchat@gmail.com BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN HỒ QUỐC TRUNG NGHIÊN CỨU ỨNG DỤNG ĐIỆN TỐN ĐÁM MÂY ĐỂ PHÂN TÍCH DỮ LIỆU LỚN TRONG MẠNG THÔNG TIN DI ĐỘNG Chuyên nghành: Kỹ Thuật Viễn Thơng Mã số: 8520208 Người hướng dẫn: TS HUỲNH CƠNG TÚ download by : skknchat@gmail.com LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Nghiên cứu ứng dụng điện toán đám mây để phân tích Dữ liệu lớn mạng thơng tin di động” tơi tự tìm hiểu nghiên cứu hoàn thành hướng dẫn TS Huỳnh Cơng Tú Tơi xin chịu hồn tồn trách nhiệm lời cam đoan Quy Nhơn, Ngày tháng Học viên download by : skknchat@gmail.com năm 2019 LỜI CẢM ƠN Để hoàn thành đề tài luận văn thạc sĩ hoàn chỉnh, cố gắng thân cịn có hướng dẫn nhiệt tình q Thầy Cô động viên ủng hộ gia đình bạn bè suốt thời gian học tập nghiên cứu thực luận văn thạc sĩ Tôi xin chân thành bày tỏ lòng biết ơn đến thầy TS Huỳnh Cơng Tú, người tận tình hướng dẩn, giúp đỡ tạo điều kiện tốt cho tơi hồn thành luận văn Xin chân thành bày tỏ lịng biết ơn đến q Thầy Cơ Trường Đại học Quy Nhơn quý Thầy Cô giảng dạy tạo điều kiện thuận lợi cho học tập, nghiên cứu thực đề tài luận văn tốt nghiệp Tôi xin chân thành cảm ơn quý Thầy Cô phản biện đóng góp ý kiến, hướng dẩn cho luận văn hồn chỉnh Cuối tơi xin chân thành cảm ơn đến gia đình, anh chị bạn đồng nghiệp bên tôi, động viên tơi nhiều suốt q trình học tập, nghiên cứu thực đề tài luận văn cuối khóa Bình Định, ngày tháng năm 2019 Học viên thực download by : skknchat@gmail.com MỤC LỤC MỞ ĐẦU 1 Lý chọn đề tài: Tổng quan tình hình nghiên cứu đề tài Mục đích nhiệm vụ nghiên cứu Đối tượng phạm vi nghiên cứu 5 Phương pháp nghiên cứu CHƯƠNG I: TỔNG QUAN VỀ ĐIỆN TOÁN ĐÁM MÂY VÀ DỮ LIỆU LỚN 1.1 Điện toán đám mây 1.2 Kiến trúc đặc điểm dịch vụ điện toán đám mây 1.2.1 Kiến trúc điện toán đám mây 1.2.2 Đặc điểm dịch vụ điện toán đám mây 1.3 Mơ hình hoạt động điện toán đám mây 11 1.3.1 Cơ sở hạ tầng dịch vụ (IaaS) 12 1.3.2Nền tảng dịch vụ (Paas) 13 1.3.3 Phần mềm dịch vụ (SaaS) 14 1.4 Mơ hình triển khai điển tốn đám mây 15 1.4.1 Đám mây công cộng (Public Cloud) 15 1.4.2 Đám mây doanh nghiệp (Private Cloud) 17 1.4.3 Đám mây lai (Hybrid Cloud) 17 1.4.4 Đám mây cộng đồng (Community Cloud) 18 1.5 Tổng quan Dữ liệu lớn 18 1.6 Nguồn tạo liệu lớn dạng liệu 23 CHƯƠNG II: CÁC NỀN TẢNG CƠNG NGHỆ PHÂN TÍCH DỮ LIỆU LỚN VÀ VẤN ĐỀ BẢO MẬT 28 2.1 Công nghệ tiền xử lý liệu lớn 28 2.1.1 Tích hợp 28 download by : skknchat@gmail.com 2.1.2 Làm 29 2.1.3 Loại bỏ liệu dư thừa 29 2.2 Phân tích liệu lớn 30 2.3 Một số cơng cụ phân tích liệu lớn 31 2.3.1 Kiến trúc Apache Hadoop 31 2.3.3 Kiến trúc Spark 42 2.4 Ứng dụng điện toán đám mây phân tích liệu lớn 57 2.4.1Trình điều khiển doanh nghiệp: 57 2.4.2 Phân tích liệu lớn dạng dịch vụ (Daaas) 59 2.4.3 Ứng dụng phân tích liệu lớn dạng dịch vụ DAaaS 60 2.4.5 Hạn chế phân tích Dữ liệu lớn dạng dịch vụ DAaaS 65 2.3 Vấn đề bảo mật 66 CHƯƠNG III: CÁC NHÀ CUNG CẤP DỊCH VỤ ĐIỆN TOÁN ĐÁM MÂY 73 3.1 Dịch vụ web Amazon (AWS) 74 3.2 Microsoft Azure 79 3.3 Nền tảng đám mây Google (GCP) 84 CHƯƠNG IV: ỨNG DỤNG ĐIỆN TỐN ĐÁM MÂY PHÂN TÍCH DỮ LIỆU LỚN TRONG MẠNG THÔNG TIN DI ĐỘNG 91 4.1 Nguồn liệu mạng thông tin di động 91 4.2 Các trường hợp ứng dụng Dữ liệu lớn Viễn thông 99 4.3 Ứng dụng điện tốn đám mây để phân tích liệu lớn 99 4.3.1 Thiết lập Google Cloud Môi trường truy vấn lớn 99 4.3.2 Nghiên cứu trường hợp thực tế 101 KẾT LUẬN 106 Những đóng góp luận văn 106 Hướng phát triển luận văn: 106 TÀI LIỆU THAM KHẢO 107 download by : skknchat@gmail.com DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT Viết tắt Diễn giải Dịch nghĩa Application Program Interface Giao diện chương trình ứng dụng Amazon Web Services Dịch vụ Web Amazon Big Data Dữ liệu lớn AaaS Analytics as a service Phân tích dạng dịch vụ BdaaS Big Data as a Service Dữ liệu lớn dịch vụ BI Business Intelligence Kinh doanh thông minh CC Cloud Computing Điện toán đám mây CPU Central Processing Unit Đơn vị xử lý trung tâm CSV Comma Separated Values Giá trị phân cách dấu phẩy DR Disaster Recovery Phục hồi thảm họa EC2 Elastic Compute Cloud Đám mây điện toán đàn hồi EMR Elastic Map Reduce Bản đồ đàn hồi giảm ETL Extract, Transform, Load Trích xuất, chuyển đổi, tải GCP Google Cloud Platform Nền tải đám mây Google GPU Graphics Processing Unit Đơn vị xử lý đồ họa HDD Hard Disk Drive Ổ đĩa cứng IaaS Infrastructure as a Service Cơ sở hạ tầng dịch vụ MS Microsoft Tập đoàn Microsoft AMS Microsoft Azure Điện toán đám mây Azure NIST National Institute of Standards API AWS BD and Technology Viện tiêu chuẩn công nghệ download by : skknchat@gmail.com Opex Operational Expenditure Chi phí hoặt động PaaS Platform as a Service Nền tảng dịch vụ RAM Random Access Memory Bộ nhớ truy cập tạm thời ERP Enterprise Resource Planning RDBMS Relational Database Management Systems S3 Hệ thống hoạch định nguồn lực Doanh nghiệp Hệ thống quản lý quan hệ liệu Simple Storage Service Dịch vụ lưu trữ đơn giản SaaS Software as a Service Phần mềm dịch vụ TED Technology Entertainment Cơng nghệ giải trí AWS Amazon Web Services Dịch vụ Web Amazon VM Virtual Machine Máy ảo MIT Massachusetts Institute of Technology VS Viện công nghệ Massachusetts Virtual Server Máy chủ ảo Dynamic computing resources Nguồn tài ngun tính tốn động Cloud Provider Nhà cung cấp đám mây CCo Cloud Consumer Người tiêu dùng đám mây CCa Cloud Carrier Nhà vận chuyển đám mây CB Cloud Broker Nhà môi giới đám mây CA Cloud Auditor Kiểm toán viên đám mây PaaS Platform as a Service Nền tảng dịch vụ IaaS Infrastructure as a service Cơ sở hạ tầng dịch vụ SaaS Software as a Service Phần mềm dịch vụ DCR CP download by : skknchat@gmail.com VLAN Virtual Local area network Mạng cục ảo ROI Return on Investment Hoàn vốn đầu tư GAE Google App Engine Máy ứng dụng Google PuC Public Cloud Đám mây công cộng PrC Private Cloud Đám mây doanh nghiệp HC Hybrid Cloud Đám mây lai CC Community Cloud Đám mây công cộng DBMS Database Management system Hệ quản lý sở liệu ERP Enterprise Resource Planning Hệ thống hoạch định nguồn lực LHC Large Hadron Conllider Máy gia tốc hạt lớn HD Hight Definition Truyền hình độ nét cao SAS Scandinavian Arlines System Hệ thống kinh doanh hàng không RFID Radio Frequency Identification Công nghệ nhận dạng qua tần số vô tuyến NFC Near - Field Communications Giao thức kết nối tầm gần ELT Extract Transform Load Trích xuất chuyển đổi tải HDFS Hadoop Distributed File System Hệ thống tệp phân tán Hadoop YARN Bộ phận quản lý tài nguyên khác RM Yet-Another-ResourceNegotiator Resource Manager AM Application Master Ứng dụng quản lý NN Node Manager Trình quản lý nút KB Kilobyte KB = 1024 Byte MB Megabyte MG = 1024 KB Quản lý tài nguyên download by : skknchat@gmail.com GB Gigabyte GB = 1024 MB TB Terabyte TG = 1024 GB PB Betabyte PG = 1024 TG EB Exabyte EB = 1024 PG RDBMS SIMR Relational Hệ quản lý sở liệu quan hệ Database Management System Spark In MapReduce Spark MapReduce RDD Resilient Distributed DataSet Bộ phận liệu phân tán đàn hồi SQL Structured Query Language Ngơn ngữ truy vấn có cấu trúc API Application Programming Interface Machine Learning Giao diện lập trình ứng dụng DAG Directed Acyclic Graph Đồ thị theo chu kỳ có hướng MR MapReduce Mơ hình ứng dụng thu nhỏ ML DAaaS Data Analytics as Service Thư viện máy học Phân tích liệu lớn dạng dịch vụ Software As A Service Phần mềm dịch vụ BI Business Intelligence Kinh doanh thông minh IoT Internet of Thing Internet vạn vật IP Internet Protocol Giao thức Internet TPS Intrusion Prevention Systems Hệ thống ngăn ngừa xâm nhập TDS Intrusion Detection Systems Hệ thống phát xâm nhập AWS Amazon Web Service Dịch vụ Web Amazon GCP Google Cloud Platform Điện toán đám mây Google IAM Identily and AccessManagement Quản lý nhận dạng truy cập SaaS download by : skknchat@gmail.com -95- Nguồn lượng Thông tin dung lượng pin/ trạng thái Bảng 1: Loại liệu thu thập MobiTrack từ thiết bị cầm tay  Sản phẩm dịch vụ: Hiệu suất dịch vụ, hành vi thuê bao  Mạng xã hội: Dữ liệu từ Facebook, LikeIn, từ khóa tìm kiếm qua Google Nguồn liệu dành cho nhà khai thác mạng mô tả sau: Chi tiết Nhóm Dữ liệu mạng Dữ liệu kiện mạng CDRs Dữ liệu SMS MMS Dữ liệu Lưu lượng qua mạng Dữ liệu dò (Probes data) Dữ liệu từ thiết bị cầm tay Dữ liệu lỗi kỹ thuật Dữ liệu sản phẩm Dữ liệu danh mục sản phẩm Dữ liệu vòng đời sản phẩm Dữ liệu giá sản phẩm Dữ liệu sử dụng sản phẩm Dữ liệu quản lý phân phối sản phẩm Dữ liệu Tiếp thị Dữ liệu từ thiết bị khách hàng bán hàng Dữ liệu kênh bán hàng Phân nhóm liệu ARPU (Doanh thu trung bình đối tượng) Dữ liệu phản hồi từ tiếp thị sản phẩm Dữ liệu phân khúc thị trường Dữ liệu mẫu sử dụng download by : skknchat@gmail.com -96- Dữ liệu chăm sóc khách hàng Dữ liệu yêu cầu khách hàng Dữ liệu xử lý lỗi: + Thông tin hợp đồng + Loại vấn đề + Thời gian giải đánh giá + Số lần lặp lại Nhật ký trung tâm gọi chăm sóc khách hàng Lý chấm dứt Tính cước CDRs Dữ liệu lưu lượng Dữ liệu lịch sử dử dụng Dữ liệu tài khoản khách hàng Bảng 2: Nguồn liệu tiềm cho nhà khai thác mạng viễn thông 4.2 Các trường hợp ứng dụng Dữ liệu lớn viễn thông  Nâng cao chất lượng mạng lưới: Các nhà khai thác mạng quan tâm đến cải thiện chất lượng mạng trình vận hành cung cấp dịch vụ Đây vấn đề cần quan tâm thường xuyên đặt hàng đầu Với ứng dụng phân tích Dữ liệu lớn, nhà khai thác mạng xác định nhanh cố, phân tích lỗi theo thời gian thực nâng cao hiệu suất cơng việc giảm chi phí cơng tác tối ưu, nâng cao độ hài lòng khách hàng Ví dụ nhà mạng Turkcell (nhà cung cấp dịch vụ di động lớn Thổ Nhĩ Kỳ) sử dụng chương trình ứng dụng Dữ liệu lớn vào công tác khắc phục cố mạng lưới cách thu thập liệu hoạt động mạng qua nhiều nguồn liệu khác sau phân tích nhằm tìm ngun nhân gây lỗi Các nhà quản lý mạng ứng dụng Dữ liệu lớn vào cảnh báo mạng lưới, điều tiết kiệm nhiều thời gian công sức công tác xử lý cố download by : skknchat@gmail.com -97- Một ví dụ khác mạng SON ( Self-organizing network), tự động vận hành điều chỉnh cấu hình thích nghi theo mơi trường yêu cầu truyền dẫn dựa thông tin phân tích từ Dữ liệu lớn Các loại liệu cần thu thập trường hợp ứng dụng liệu thành phần mạng, CDR, liệu định vị, XDR, liệu lưu lượng mạng liệu kiện, cảnh báo… Các liệu thu thập từ nhiều nguồn liệu khác cần phối hợp phân tích theo thời gian thực Thách thức xử lý tối ưu theo thời gian thực yêu cầu xử lý luồng liệu CDR tốc độ cao  Nâng cao chất lượng Marketing số lượng sản phẩm bán ra: Có thể coi ứng dụng cụ thể cần thiết úng dụng phân tích Dữ liệu lớn lĩnh vực viễn thơng Phân tích liệu cho phép nhà mạng tiến hành nhiều chiến dịch tiếp thị thơng minh nhắm vào đối tượng khách hàng có nhu cầu tiềm Điều mang lại tăng trưởng doanh thu không nhỏ Nhà khai thác mạng dựa vào thơng tin phân tích để điều chỉnh chiến lược quảng bá giá sản phẩm nhằm tạo lợi cạnh tranh, tạo hài lịng cho khách hàng Ví dụ Globe Telecom ( nhà cung cấp dịch vụ viễn thơng Philippine) ứng dụng phân tích Dữ liệu lớn nâng cao hiệu chương trình quảng bá sản phẩm lên 600% Các liệu cần dùng trường hợp ứng dụng liệu thông tin thuê bao, liệu định vị, liệu từ mạng xã hội liệu chiến dịch thực trước Trường hợp ứng dụng yêu cầu khả thu thập liệu lớn từ nhiều nguồn khác nhau, khả lưu trữ liệu khả phối hợp liệu với Maketing thơng minh địi hỏi khả sử dụng nhiều loại liệu, kể có cấu trúc phi cấu trúc, phải phân tích mối quan tâm sở download by : skknchat@gmail.com -98- thích khách hàng Phân tích theo thời gian thực quan trọng trường hợp ứng dụng Kỹ nhân tham gia phân tích cần quan tâm  An ninh: Phân tích Dữ liệu lớn cho phép công ty viễn thông phát phân tích lỗi, gian lận với tốc độ cao theo thời gian thực Do hệ thống phản ứng gần với mối đe dọa Ứng dụng giám sát an ninh mạng lưới theo thời gian thực, quản lý thông tin ngăn chặn truy cập tài nguyên trái phép Ví dụ: Elisa Oyj ( công ty viễn thông Phần Lan) cung cấp dịch vụ có tên Elisa Vahti, dịch vụ sử dụng để giám sát an ninh tòa nhà văn phòng thuê bao theo thời gian thực Dịch vụ hoạt động cách so sánh hành vi gọi thuê bao với liệu sử dụng lưu hồ sơ thuê bao trước sử dụng chế phát sai lệch, kỹ thuật phát bất thường, từ nhà quản lý mạng phát nguy Trong trường hợp ứng dụng loại liệu cần sử dụng liệu định vị, XDR, liệu thuê bao Các khả phân tích theo thời gian thực, khả phối hợp liệu khả phân tích tương quan hệ thống yêu cầu  Cải thiện dịch vụ chăm sóc khách hàng: nhà khai thác mạng sử dụng phân tích Dữ liệu lớn để nắm bắt lý thuê bao thực gọi yêu cầu hỗ trợ áp dụng chế tự động để đáp ứng nhu cầu họ nhanh Nâng cao mức độ chăm sóc khách hàng chiến lược quan trọng vấn đề nhận diện thương hiệu, cạnh tranh với đối thủ Ứng dụng phân tích Dữ liệu lớn, nhà mạng giảm thiểu gọi chăm sóc khách hàng nâng cao chất lượng gọi chăm sóc thơng qua nhận diện vấn đề khách hàng theo thời gian thực nhằm đạt cao độ hài lòng khách hàng download by : skknchat@gmail.com -99- Để cải thiện chất lượng chăm sóc khách hàng, số loại liệu cần dùng là: liệu thuê bao, liệu hiệu suất mạng, liệu kiện mạng lưới, liệu lịch sử chăm sóc khách hàng Trường hợp ứng dụng yêu cầu khả xử lý Dữ liệu lớn theo thời gian thực với luồng liệu tốc độ cao  Tính cước: Phân tích Dữ liệu lớn ứng dụng vào cơng việc tính cước cho thuê bao đảm bảo xác tiết kiệm thời gian, công sức so với ứng dụng truyền thống Các liệu cần thiết: Dữ liệu tính cước, liệu thuê bao, XDR CDR Các yêu cầu cho trường hợp ứng dụng phân tích theo thời gian thực, khả phân tích tương quan, khả lưu trữ liệu 4.3 Ứng dụng điện tốn đám mây để phân tích Dữ liệu lớn Trong khuôn khổ luận văn Nền tảng đám mây Google với ưu điểm dể dàng sử dụng, chuyên tính dịch vụ tính tốn, phân tích cao phân tích Dữ liệu lớn, trí tuệ nhân tạo, chi phí thấp lựa chọn để sử dụng phân tích Dữ liệu lớn, chạy Demo cho kết 4.3.1 Thiết lập Google Cloud Môi trường truy vấn lớn Phần giới thiệu cách tạo tài khoản đám mây Google, thiết lập môi trường BigQuery thực số truy vấn liệu có sẵn cơng khai BigQuery Các bước tạo tài khoản đám mây Google: Các bước thực để tạo tài khoản đám mây miễn phí: a Truy cập https://cloud.google.com/ b Nhấp vào tab THỬ MIỄN PHÍ c Đăng ký Gmail d Nhập mật tài khoản Gmail e Dùng thử tảng đám mây miễn phí i Nhập quốc gia khơng chọn theo mặc định download by : skknchat@gmail.com -100- ii Chấp nhận điều khoản dịch vụ f Trang thông tin khách hàng xuất (i) Nhập tất chi tiết tên chi tiết địa (ii) Nhập phương thức toán, tốt chấp nhận thẻ tín dụng g Nhấp vào Bắt đầu dùng thử miễn phí tơi Sau bước này, trang web bảng điều khiển nhà tảng đám mây Google hiển thị bước tạo dự án Tạo dự án Google Cloud Platform, dịch vụ Analytics có tên BigQuery: Có thể truy cập liệu có sẵn cơng khai truy vấn thơng qua truy vấn có cấu trúc ngơn ngữ (SQL) để xem đầu khác tốc độ xử lý liệu Kho liệu BigQuery Truy cập liệu mẫu có sẵn cơng khai BigQuery Datwarhouse: a Bấm vào sản phẩm dịch vụ (trên bên trái) b Trong danh mục sản phẩm Dữ liệu lớn, nhấp vào Truy vấn lớn c Nhấp vào bigquery-public-data-sets Có thể thấy có nhiều nguồn phổ biến Wikipedia, Github v.v có liệu có sẵn thể loại liệu có sẵn cơng khai Duyệt liệu có sẵn công khai chạy số truy vấn với trình chỉnh sửa truy vấn: Sau nhấp vào bảng nào, ví dụ Wikipedia, người ta thấy siêu liệu bảng Siêu liệu đại diện cho thơng tin liệu Trong hình 4.3 bên dưới, thấy chi tiết cột bảng Wikipedia Nhiều bảng mẫu nhìn thấy bảng điều khiển bên trái trang Các bảng truy vấn cách nhấp vào nút nút Bảng truy vấn bên phải bảng điều khiển trang mạng xã hội Web download by : skknchat@gmail.com -101- Hình Tập liệu mẫu Wikipedia BigQuery Trong phần tiếp theo, liệu thực lấy từ liệu có sẵn cơng khai Sau đó, tải lên BigQuery Datwarhouse sau truy vấn thực thi để phân tích Dữ liệu lớn 4.3.2 Nghiên cứu trường hợp thực tế Mục tiêu phần tìm liệu có sẵn cơng khai, tải lên BigQuery Datwarhouse tảng đám mây Google sau chạy truy vấn để tìm kết Để nghiên cứu liệu hoạt động điện thoại di động tạo Bản ghi chi tiết gọi (CDR) tuần thành phố Milan tỉnh Trentino (Ý) sử dụng Dữ liệu lấy từ trang www.kaggle.com định dạng CSV Mỗi người dùng tham gia vào tương tác viễn thông, trạm phát gốc (RBS) định nhà điều hành truyền thơng qua mạng Sau đó, CDR tạo ghi lại thời gian tương tác RBS xử lý Các hoạt động sau có mặt liệu:  SMS nhận download by : skknchat@gmail.com -102-  SMS gửi  gọi đến  gọi  Hoạt động Internet Bài tốn giả định: Mục tiêu tìm thời điểm có nhiều gọi ngày Các bước sau thực để giải tốn giả định: 1) Tìm liệu Sau số nghiên cứu google, trang web có tên www.kaggle.com tìm thấy có nhiều liệu có sẵn cơng khai Có hai bước cần thiết để tải xuống tập liệu: a) Tài khoản đăng nhập tạo id email mật www.kaggle.com b) Với liên kết bên dưới, tệp CSV có tất ghi cho Bộ liệu tải xuống máy tính: https://www.kaggle.com/marcodena/mobile-phone-activity 2) Tải liệu lên BigQuery Datwarhouse Điều bao gồm bước theo trình tự: a) Đăng nhập vào BigQuery URL bên dưới: https://bigquery.cloud.google.com/welcome/mimetic-core-181107 b) Tạo liệu BigQuery Sau đăng nhập vào BigQuery, nhấp vào dự án tơi (Hình 4.4) download by : skknchat@gmail.com -103- Hình 4 Quá trình tạo liệu Sau nhấp vào tùy chọn tạo tập liệu bên cửa sổ hình 4.5 xuất hình Trong Hình 4.5 này, chi tiết ID liệu, vị trí liệu chi tiết hết hạn liệu nhập để tạo liệu BigQuery Trong Hình 4.6, nhiều chi tiết thêm vào để tạo bảng dựa liệu nguồn có sẵn, tức tệp CSV tải lên từ máy tính Trong bảng hàng tiếp theo, tên nhập tạo nút bảng trang nhấp để tạo bảng BigQuery Datwarhouse Đây bước hồn tất quy trình tạo Dataset BigQuery Bước tải lên nguồn liệu BigQuery Datwarhouse Trong Hình 4.6, đường dẫn tệp đưa ra, tải xuống từ www.kaggle.com bước trước phần download by : skknchat@gmail.com -104- Hình Tạo tập liệu BigQuery Hình Tải tệp lên BigQuery Datwarhouse 3) Bảng truy vấn trình soạn thảo download by : skknchat@gmail.com -105- Ở giai đoạn này, bảng sẵn sàng để truy vấn tìm thời điểm có gọi nhiều Điều đạt theo truy vấn hình 4.7 Hình Bảng truy vấn BigQuery Datwarhouse Bộ liệu tạo Kết sử dụng câu lệnh truy vấn liệu tìm kiếm đụợc thời điểm có nhiều gọi Kết luận chương Trong chương trình bày dự án ứng dụng phân tích liệu viễn thơng tảng đám mây Google Ta truy cập vào trang Web www.kaggle.com lấy liệu mẫu có sẵn tệp CSV từ liệu có sẵn cơng khai Kích thước tệp CSV nhỏ khoảng 252 Megabyte Việc tạo tài khoản tảng đám mây Google dễ dàng trình tải lên tệp CSV đơn giản Trong trình tải lên tệp CSV, bảng tạo Kho liệu BigQuery Cuối cùng, truy vấn SQL hiển thị kết phân tích mong muốn download by : skknchat@gmail.com -106- KẾT LUẬN Những đóng góp luận văn Với mục tiêu nghiên cứu điện toán đám mây, Dữ liệu lớn ứng dụng lĩnh vực viễn thông, luận văn nghiên cứu chi tiết tảng điện tốn đám mây để phân tích Dữ liệu lớn Những kết đạt luận văn: + Chứng minh tiềm to lớn tảng điện tốn đám mây phân tích Dữ liệu lớn, đặc biệt ứng dụng ngành Viễn thông + Nêu thuận lợi thách thức việc phân tích Dữ liệu lớn ứng dụng điện tốn đám mây + Phân tích chuỗi giá trị lĩnh vực phân tích Dữ liệu lớn + Xây dựng dự án demo phân tích Dữ liệu lớn gọi di động ứng dụng lĩnh vực viễn thông Hướng phát triển luận văn: + Hồn thiện mơ hình xử lý Dữ liệu lớn thực áp dụng vào liệu thực tế Việt Nam download by : skknchat@gmail.com -107- TÀI LIỆU THAM KHẢO [1] https://en.wikipedia.org/wiki/Big_data 2018 (Truy cập vào 20/06/2018) [2] Jitendra Kumar Jaiswal, 15 Apr 2018 “Cloud Computing for Big Data Analytics Projects” [3] EMC Education Services Data Science & Big Data Analytics Indianapolis : John Wiley & Son [4] Han, H., et al., Toward Scalable Systems for Big Data Analytics: A Technology Tutorial Access, IEEE, 2014 2: p 652-687s, 2015 978-1-11887613-8 [5] Kaisler, S., Armour, F., Espinosa, J A & Money, W., 2013 Big Data: Issues and Challenges Moving Forward Wailea, Maui, HI, s.n., pp 995 - 1004 [6] Madden, S., (2012) From Databases to Big Data Internet Computing, IEEE, 16, pp - [7] McKinsey Global Institute Big data: The next frontier for innovation, competition, and productivity Paper, June 2011 [8]Beyer, M A & Laney, D., 2012 The Importance of 'Big Data': A Definition, s.l.: Gartner [9] John R Mashey (25 April 1998) "Big Data and the Next Wave of InfraStress" (PDF) Slides from invited talk Usenix Retrieved 28 September 2016 [10] Cloud computing for e-governance White paper, IIIT-Hyderabad, January 2010 Available online (13 pages) [11] Madsen, L., Meggelen, J V & Bryant, R., n.d Call Detail Records In: Asterisk: The Definitive Guide 3rd ed s.l.:s.n [12] Malik, O., 2011 Internet of things will have 24 billion devices by 2020 GIGAOM, 13 October download by : skknchat@gmail.com -108- [13] Karikoski, J., 2012 Handset-Based Data Collection Process and Participant Attitudes International Journal of Handheld Computing Research (IJHCR), III(4), pp 1-21 [14] Acker, O., Blockus, A & Pötscher, F., 2013 Benefiting from Big Data: A New Approach for the Telecom Industry, s.l.: Booz & Company [15] Ericsson, 2013 Big Data Analytics, s.l.: Ericsson [16] IBM, 2010 Globe Telecom: Gaining marketing agility with smart promotions, s.l.: s.n [17] Post by: Anh Tú Trần, 2018 Kiến trúc mô hình dịch vụ điện tốn đám mây [Online] Available at: https://tek4.vn/kien-truc-mo-hinh-dich-vu-cua-dientoan-dam-may/ [18] Tstat, n.d [Online] Available at: http://tstat.tlc.polito.it/measure.shtml#log_mm_complete [19] By Christine Taylor, Posted June 27, 2017 Big Data Security [Online] Available at: https://www.datamation.com/big-data/big-data-security.html [20] By Andy Patrizio, Posted January 9, 2019 Cloud Computing Companies [Online] Available at: https://www.datamation.com/cloud-computing/cloudcomputing-companies.html [21] By Cynthia Harvey, Posted May 11, 2017 Amazon Web Services (AWS) [Online] Available at: https://www.datamation.com/cloud-computing/amazonweb-services.html [22] By Cynthia Harvey, Posted May 23, 2017 Microsoft Azure [Online] Availableat at https://www.datamation.com/cloud-computing/microsoft- azure.html [23]By Cynthia Harvey, Posted May,2017 Google Cloud Platform [Online] Available at: https://www.datamation.com/cloud-computing/google-cloud- platform.html download by : skknchat@gmail.com -109- [24] Google app engine http://code.google.com/appengine/ [25] Written by China Telecom 26 June 2019 14:12 Intelligent Transport Networks for the 5G and Cloud Era Catalyzes 5G Business Success [Online] Available at : http://telecoms.com/intelligence/intelligent-transportnetworks-for-the-5g-and-cloud-era-catalyzes-5g-business-success/ download by : skknchat@gmail.com ... Phân tích mối quan hệ điện toán đám mây Dữ liệu lớn, nắm chuỗi giá trị lĩnh vực phân tích Dữ liệu lớn + Ứng dụng cơng nghệ điện tốn đám mây Google để phân tích Dữ liệu lớn mạng thông tin di động. .. LIỆU LỚN TRONG MẠNG THÔNG TIN DI ĐỘNG 91 4.1 Nguồn liệu mạng thông tin di động 91 4.2 Các trường hợp ứng dụng Dữ liệu lớn Viễn thông 99 4.3 Ứng dụng điện tốn đám mây để phân tích. .. phạm vi nghiên cứu - Đối tượng nghiên cứu: Cơng nghệ điện tốn đám mây phân tích Dữ liệu lớn - Phạm vi nghiên cứu: Trong lĩnh vực Mạng thông tin di động Việt Nam Phương pháp nghiên cứu - Phân tích