(Luận văn) nghiên cứu các nền tảng phân tích dữ liệu trong môi trường ảo cho hệ sinh thái internet of things

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN MAI LÊ QUÝ ĐÔN lu an n va NGHIÊN CỨU CÁC NỀN TẢNG PHÂN TÍCH DỮ LIỆU tn to TRONG MÔI TRƢỜNG ẢO CHO HỆ SINH THÁI p ie gh INTERNET OF THINGS oa nl w d LUẬN VĂN THẠC SĨ KỸ THUẬT VIỄN THÔNG ll u nf va an lu oi m z at nh z m co l gm @ an Lu BÌNH ĐỊNH - NĂM 2019 n va ac th si BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN MAI LÊ Q ĐƠN lu NGHIÊN CỨU CÁC NỀN TẢNG PHÂN TÍCH DỮ LIỆU an TRONG MÔI TRƢỜNG ẢO CHO HỆ SINH THÁI va n INTERNET OF THINGS p ie gh tn to oa nl w Chuyên nghành: Kỹ thuật viễn thông d ll u nf va an lu Mã số: 8520208 oi m z at nh Ngƣời hƣớng dẫn: TS HUỲNH CÔNG TÚ z m co l gm @ an Lu n va ac th si LỜI CẢM ƠN Để hồn thành đề tài luận văn thạc sĩ cách hoàn chỉnh, bên cạnh cố gắng thân cịn có hướng dẫn nhiệt tình quý Thầy, động viên ủng hộ gia đình bạn bè suốt thời gian học tập nghiên cứu thực luận văn thạc sĩ Tác giả xin chân thành bày tỏ lòng biết ơn đến thầy TS Huỳnh Công Tú, người hết lòng giúp đỡ tạo điều kiện tốt cho tác giả hoàn lu thành luận văn Xin chân thành bày tỏ lòng biết ơn đến trường Đại học an Quy Nhơn tạo điều kiện thuận lợi cho tác giả suốt trình va n học tập nghiên cứu thực đề tài luận văn to gh tn Cuối tác giả xin chân thành cảm ơn đến gia đình, anh chị ie bạn đồng nghiệp hỗ trợ cho tác giả nhiều suốt trình học p tập, nghiên cứu thực đề tài luận văn thạc sĩ cách hoàn chỉnh nl w Bình Định, ngày 16 tháng năm 2019 d oa Học viên thực u nf va an lu Mai Lê Quý Đôn ll oi m z at nh z m co l gm @ an Lu n va ac th si LỜI CAM ĐOAN Tác giả xin cam đoan kết đề tài: “ Nghiên cứu tảng phân tích liệu môi trường ảo cho hệ sinh thái Internet of Things” cơng trình nghiên cứu cá nhân tác giả chưa công bố công trình nghiên cứu khác thời điểm Bình Định, ngày 16 tháng năm 2019 lu Tác giả luận văn an n va to p ie gh tn Mai Lê Quý Đôn d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si MỤC LỤC MỞ ĐẦU CHƢƠNG 1: TỔNG QUAN VỀ INTERNET OF THINGS (IoT) 1.1 Giới thiệu 1.2 Viễn cảnh Internet of things 11 1.3 IoT công nghệ Internet tương lai liên quan 17 1.3.1 Điện toán đám mây 17 1.3.2 IoT công nghệ ngữ nghĩa (Semantic) 18 lu 1.3.3 Tự chủ 19 an 1.3.4 Cảnh báo nhận thức tình 22 va n 1.4 Tiêu chuẩn giao thức IoT 23 gh tn to 1.4.1 Zigbee 23 ie 1.4.2 Bluetooth 25 p 1.4.3 Wifi Low - Power Wifi (LP - Wifi) 27 oa nl w 1.4.4 Low-Power diện rộng (LPWA) 28 1.4.5 3GPP Cellular: MTC 29 d an lu 1.5 Nghiên cứu 30 u nf va Kết luận chương 33 CHƢƠNG 2: CÁC NỀN TẢNG PHÂN TÍCH DỮ LIỆU 34 ll oi m 2.1 Docker 34 z at nh 2.1.1 Giới thiệu 34 2.1.2 Thành phần Docker 36 z gm @ 2.1.2.1 Dockerfile 36 2.1.2.2 Docker client and server 37 l m co 2.1.2.3 Docker images 38 2.1.2.4 Docker hub 38 an Lu 2.1.2.5 Docker container 39 n va ac th si 2.1.2.6 Hai công cụ Docker 40 2.1.3 Ưu nhược điểm Docker container 40 2.1.4 Docker công nghệ khác 42 2.1.4.1 Virtual machine vs Docker 42 2.1.4.2 Docker vs VM cloud 45 2.2 ELK stack 46 2.2.1 Logstash 47 2.2.1.1 Giới thiệu 47 lu 2.2.1.2 Các tính chung Logstash 48 an 2.2.1.3 Các khái niệm Logstash 48 va n 2.2.1.4 Ưu, nhược điểm Logstash 50 gh tn to 2.2.2 Elasticsearch 50 ie 2.2.2.1 Giới thiệu 50 p 2.2.2.2 Tính Elasticsearch 51 nl w 2.2.2.3 Các khái niệm Elasticsearch 52 d oa 2.2.2.4 Ưu, nhược điểm Elasticsearch 53 an lu 2.2.3 Kibana 54 u nf va 2.2.3.1 Giới thiệu 54 2.2.3.2 Các tính Kibana 54 ll oi m 2.2.3.3 Ưu, nhược điểm Kibana 56 z at nh Kết luận chương 56 CHƢƠNG 3: MƠ HÌNH THỰC NGHIỆM 58 z 3.1 Kiến trúc mơ hình 58 @ l gm 3.2 Thiết lập mơ hình 59 m co 3.2.1 Cài đặt Docker 59 3.2.2 Cài đặt Elasticsearch, Logstash, Kibana 60 an Lu 3.3 Chạy mơ hình 63 n va ac th si 3.4 Kết 65 Kết luận chương 67 KẾT LUẬN 68 TÀI LIỆU THAM KHẢO 69 PHỤ LỤC A 71 PHỤ LỤC B 74 lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si DANH MỤC VIẾT TẮT lu an n va Advanced Packaging Tool AP Access point API Application Programming Interface BLE Bluetooth 4.0 + CI Continuous Integration CE Community Edition CLI Command line interface CPU Central Processing Unit CRM Customer Relationship Management CTI Cyper threat intelligence CSV Comma Seperated Value EC2 Elastic Compute Cloud EE Enterprise Edition p ie gh tn to APT w d Electronic product code lu European Union va an EU oa EPC Elasticsearch, Logstash, Kibana nl ELK HyperText Transfer Protocol Hyper-V Hypervisor IEEE Institute of Electrical and Electronics Engineers IDC International Data Corporation IP Internet Protocol IPFIX Internet Protocol Flow Information Export IoE Internet of Energy IoM Internet of Media IoP Internet of Persons ll u nf HTTP oi m z at nh z m co l gm @ an Lu n va ac th si lu an n va Internet of Services IoT Internet of Things ISTAG Information Society Technologies Advisory Group JVM Java Virtual Machine LACP Link Aggregation Control Protocol LXC Linux Container LMSC LAN/MAN Standards Committee LP-Wifi Low-Power Wifi LPWA Low-power wide-area LPWAN Low-power wide-area network LTE Long Term Evolution M2M Machine-to-Machine MAC Medium Access Control MIT Massachusetts Institute of Technology p ie gh tn to IoS w d Near Field Communications lu NarrowBand IoT va an NB-IOT oa NFC Machine-type communications nl MTC Network Functions Virtualization PHY Physical layer of the OSI model QoS Quality of Service RFID Radio Frequency Identification SAN Storeage Area Network SDN Software Defined Networking SDOs Standards Developing Organizations SDP Service Delivery Platforms SIG Special Interest Group ll u nf NFV oi m z at nh z m co l gm @ an Lu n va ac th si lu an n va Service-level agreement/Software license agreement SOA Service oriented Approach SOCMINT Social media intelligence SPA Single Page Application 3GPP Third Generation Partnership Project TCP Transmission Control Protocol TGah IEEE802.11ah Task Group TSCH Timeslotted Channel Hopping UID User identifier UMTS Universal Mobile Telecommunication System URL Uniform Resource Locator WSNs Wireless Sensor Networks WS&AN Wireless Sensor and Actuator Networks XML Extensible Markup Language p ie gh tn to SLA w Zettabyte d oa nl ZB ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 62 Sau sau số thí nghiệm, tác giả phát thư mục log Openvswitch chứa ghi tập tin gắn kết Logstash container Sau phân tích vấn đề, tác giả phát đăng nhập thư mục (/ var / log / openvswitch) gắn không đọc Logstash Logstash khơng phép đọc Để giải vấn đề này, thực thi tập tin “ start.sh ” tạo (/ home / Docker) để thay đổi cho phép file log openvswitch để đọc trước lệnh Compose bắt đầu (hình 3.2), sau lu Logstash đọc phân tích tập tin log openvswitch an n va sudo chmod a + r /var/log/openvswitch/ovs-vswitchd.log Hình 3.2: Nội dung file start.sh p ie gh tn to sudo Docker-compose up d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 63 pipeline Logstash.conf config Logstash Logstash.yml Dockerfile lu an config n va Elasticsearch.yml tn to Elasticsearch Dockerfile p ie gh /home/Docker Kibana.yml d oa nl w config lu an Kibana Dockerfile ll u nf va m Docker-compose.yml oi z at nh Start.sh z @ l 3.3 Chạy mơ hình gm Hình 3.3: Kiến trúc thƣ mục mơ hình m co Sau cài đặt Docker chương trình hỗ trợ, tác giả bắt đầu chạy (/home/Docker) an Lu mơ hình cách mở thiết bị đầu cuối chọn thư mục Docker n va ac th si 64 $ cd docker Sau tác giả chạy file thực thi start.sh $ /start.sh Khi file start.sh chạy, container Elasticsearch khởi tạo trước tiên, sau container Logstash Kibana chạy sau Để hiển thị container chạy, tác giả mở cửa sổ terminal dùng lệnh: $ sudo docker ps -a lu Tác giả có container chạy: an docker_elasticsearch1, docker_logstash1, docker_kibana1 tương ứng va n với port.(Hình 3.4) p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh Hình 3.4: Các container hoạt động Thông tin Elasticsearch phiên ngày thành lập hiển z gm @ thị cách truy cập Elasticsearch thơng qua trang trình duyệt web truy m co l cập cổng TCP 9200: http://localhost:9200, ta có: an Lu n va ac th si 65 lu an va Hình 3.5: Thơng tin elasticsearch n 3.4 Kết to gh tn Kibana có trách nhiệm để hiển thị liệu phân tích Người dùng có ie thể kết nối với Kibana thơng qua giao thức HTTP Đối với tảng mơ p hình tác giả gắn cổng mặc định 5601 cho Kibana Để mở Kibana người dùng nl w phải đăng nhập vô http://localhost:5601 thứ thiết lập d oa cách xác, tác giả nhìn thấy hình 18 Tác giả xác nhận ll u nf va hình số an lu thiết lập mặc định “Logstash-*” Index nhấn tạo nút để tạo mô oi m z at nh z m co l gm @ an Lu Hình 3.6: Kibana sau truy cập n va ac th si 66 Hình 3.6 hiển thị Kibana sau truy cập Trong phần (số 1) có tìm kiếm bar bên thời gian liệu nhận với trình bày đồ họa, hình 3.7 hiển thị tin nhắn nhận năm phút cuối khung thời gian thay đổi người dùng mong muốn Trong phần trang (số 2) có tin nhắn nhận Logstash lập mục Elasticsearch Phân loại tin nhắn nhận dựa lọc Logstash lu Cột màu xám bên trái (số 3) có tất phân loại thẻ có an thu thập từ liệu nhận dựa lọc Logstash Như chúng va n ta lựa chọn nguồn lực hai loại liệu nội bên mà nhận gh tn to liệu từ IoT thiết bị mạng, tác giả đánh dấu liệu nhận với ie nguồn để sử dụng tính phân tích Kibana để phân biệt p chúng nl w Các liệu IoT nhận thơng qua giao thức TCP với cổng 5000 d oa gắn thẻ với “external”, liệu nội ghi Openvswitch an lu gắn thẻ với “Openvswitch” Nó thể có số thất bại ll u nf va cho lọc grok phân tích nhật ký Openvswitch oi m z at nh z m co l gm @ an Lu Hình 3.7: Giao diện Kibana n va ac th si 67 lu Hình 3.8: Lĩnh vực tags lĩnh vực host an Hình 3.8 cho thấy lĩnh vực thẻ với thống kê loại nguồn lĩnh va n vực máy chủ với thống kê liệu nhận từ máy chủ máy ảo tn to (Openvswitch) host (TCP) với tổng số hồ sơ liệu Bằng cách lựa chọn ie gh có lĩnh vực ví dụ lĩnh vực tags, Kibana hiển thị nhận liệu p với lĩnh vực tags dựa khung thời gian xác định Người dùng có nl w thể thêm loại bỏ nhiều lĩnh vực từ liệu lập mục d oa để hiển thị tin nhắn Ví dụ, tác giả lựa chọn lĩnh vực tags host, sau an lu Kibana hiển thị thơng báo liên quan dựa khung thời gian va chọn (Hình 3.8) Những kết cho thấy lĩnh vực lựa ll u nf chọn ẩn lĩnh vực khác Nhấn nhỏ mũi tên bên trái tin nhắn oi m ẩn lĩnh vực cịn lại cho thơng điệp đặc biệt (Hình 3.8) Người z at nh dùng tìm kiếm từ tất tin nhắn nhận cách sử dụng tìm kiếm phía Kibana có khơng có lựa gm @ Kết luận chƣơng z chọn lĩnh vực m co l Chương giới thiệu mơ hình thực nghiệm sử dụng cơng cụ ELK dựa chương trình ảo hóa Docker Kết sau chạy lệnh Docker an Lu compose, mơ hình hoạt động cho kết tốt n va ac th si 68 KẾT LUẬN Luận văn tập trung nghiên cứu tảng phân tích liệu Docker, Logstash, Elasticsearch, Kibana Xây dựng mơ hình thực nghiệm sử dụng Docker nhằm phân tích, so sánh, đánh giá thông số liệu kết nối mạng Mô hình sử dụng hai thiết bị mạng IoT làm nguồn liệu: Openvswitch dạng nguồn nội (được cài đặt máy ảo) kết nối TCP nguồn bên - Kết đạt luận văn: lu + Nghiên cứu tảng phân tích liệu Docker, Logstash, an + Xây dựng mơ hình thực nghiệm sử dụng ELK stack dựa n va Elasticsearch, Kibana + Tốc độ phân tích liệu nhanh, hiển thị kết tốt giao diện p ie gh tn to Docker Kibana oa nl w + Hệ thống máy ảo hoạt động ổn định, không bị ảnh hưởng lớn từ việc d chạy mơ hình máy ảo an lu - Hạn chế luận văn: u nf va + Các nguồn liệu giả định ll + Chưa làm an ninh bảo mật oi m + Còn hạn chế việc thêm nguồn liệu z at nh + Mô hình cịn đơn giản chưa phát triển nhiều - Hướng phát triển, mở rộng: z gm @ + Nghiên cứu sâu tảng để áp dụng cho mục đích khác nhau: nghiên cứu, phát triển mơ hình, … l m co + Xây dựng mơ hình phức tạp đưa thực tiễn an Lu n va ac th si 69 TÀI LIỆU THAM KHẢO A Tiếng Việt [1] Trần Văn Cường (2015), Luận văn thạc sỹ, Giải pháp tảng cho hệ thống tích hợp liệu lớn khơng đồng nhất, Trường Đại học công nghệ (Đại học Quốc gia Hà Nội) [2] Trần Văn Đoàn (2013), Luận văn thạc sỹ, Cơng nghệ ảo hố ứng dụng, Học viện cơng nghệ bưu viễn thơng [3] Trần Văn Linh (2019), Luận văn thạc sỹ, Nghiên cứu giải pháp tự động lu phát cố hệ thống dựa công nghệ ELK (Elasticsearch, an va Logstash Kibana), Trường Đại học công nghệ (Đại học Quốc gia Hà n Nội) gh tn to [4] Nguyễn Thị Hà Ly (2018), Luận văn thạc sỹ, Nghiên cứu giải pháp giám p ie sát tập trung ứng dụng quản lý hệ thống mạng trường Đại học Hà Nội, Học viện cơng nghệ bưu viễn thơng oa nl w [5] Trần Hải Phương (2015), Luận văn thạc sỹ, Nghiên cứu cơng nghệ ảo hóa d ứng dụng xây dựng hệ thống thông tin doanh nghiệp, Viện Đại học mở Hà Nội an lu [6] Trịnh Minh Phương (2016), Luận văn thạc sỹ, Nghiên cứu ứng dụng IoT cho ll B Tiếng Anh u nf va giám sát môi trường, Trường Đại học công nghệ (Đại học Quốc gia Hà Nội) oi m [7] Aelita Skaržauskienė, Marius Kalinauskas “The future potential of z at nh Internet of Things”, ISSN 2029-7564 (online) SOCIALINĖS TECHNOLOGIJOS SOCIAL TECHNOLOGIES 2012, 2(1), p 102–113 z gm @ [8] Adrian Mouat, Using Docker, Published by O’Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472 l m co [9] Information Society Technologies Advisory Group (2008) Working Group on Web-based Services Industry Version 12, 28th February 2008 an Lu [10] ISTAG, Working Group, 2008 Future Internet Infrastructure, Version 8, n va ac th si 70 23 January 2008 [11] Kais Mekki, Eddy Bajic, Frederic Chaxel, Fernand Meyer A comparative study of LPWAN technologies for large-scale IoT deployment, ICT Express, Volume 5, Issue 1, 2019, Pages 1-7 [12] Luigi Atzori, Antonio Iera, Giacomo Morabito (2010) The Internet of Things: A survey Computer networks [13] Marcin Bajer “Building an IoT Data Hub with Elasticsearch, Logstash and Kibana”, 2017 5th International Conference on Future Internet of lu Things and Cloud Workshops an [14] Mikhail Simonov, Riccardo Zich, Flavia Mazzitelli (2008) RFID, va n energy, and internet of things gh tn to [15] Mark Weiser (1993) Some computer science issues in ubiquitous ie computing CACM, vol 36, issue p [16] Santucci Gérald (2010) The Internet of Things: Between the Revolution oa nl w of the Internet and the Metamorphosis of Objects Forum American Bar Association d an lu [17] Seo, K.-T., Hwang, H.-S., Moon, I.-Y., Kwon, O.-Y., & Kim, B.-J u nf va (2014) Performance Comparison Analysis of Linux Container and Virtual Machine for Building Cloud ll oi m [18] Schroth, C., Janner, T (2007) Web 2.0 and SOA: Converging Concepts z at nh Enabling the Internet of Services IT Professional 3, 36–41 [19] Stephan Haller, Stamatis Karnouskos, Christoph Schroth, (2009) The z Publisher: Springer pp 14-28 l gm @ Internet of Things in an Enterprise Context Volume: 5468, Issue: 1, C Internet m co [20] Xing Zhihao, Zhong Yongfeng (2010) Internet of Things and its future an Lu [21] https://www.elastic.co, Truy cập ngày 20/05/2019 n va ac th si 71 Phụ lục A: Mã nguồn tập tin docker-compose.yml tập tin cấu hình logstash.conf: Bảng A.1: docker-compose.yml lu an n va p ie gh tn to version: '2' services: elasticsearch: build: elasticsearch/ volumes: - /elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml ports: - "9200:9200" - "9300:9300" environment: ES_JAVA_OPTS: "-Xmx256m -Xms256m" networks: - elk logstash: build: logstash/ volumes: - /logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml - /logstash/pipeline:/usr/share/logstash/pipeline - /var/log/openvswitch:/usr/share/logstash/docs ports: - "5000:5000" environment: LS_JAVA_OPTS: "-Xmx256m -Xms256m" networks: - elk depends_on: - elasticsearch kibana: build: kibana/ volumes: - /kibana/config/:/usr/share/kibana/config ports: - "5601:5601" networks: - elk depends_on: - elasticsearch d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ networks: elk: driver: bridge an Lu n va ac th si 72 Bảng A.2: logstash.conf input { tcp { port => 5000 tags => "external" type => "external" } file { path => "/usr/share/logstash/docs/ovs-vswitchd.log" tags => "openvswitch" type => "openvswitch" start_position => "beginning" } } filter { lu an if [type] == "openvswitch" { grok { match => {"message" => "%{YEAR:year}-%{MONTHNUM:month}%{MONTHDAY:day}T%{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second}Z\|% {WORD:number}\|%{WORD:kind}\|%{WORD:Relation}\|%{GREEDYDATA:Message}"} } } n va ie gh tn to p } ## Add your filters / logstash plugins configuration here output { elasticsearch { hosts => "elasticsearch:9200" } } d oa nl w va an lu oi FROM docker.elastic.co/logstash/logstash:5.6.16 z at nh Elasticsearch # https://github.com/elastic/logstash-docker m Logstash Content ll Dockerfile u nf Bảng A.3: Nguồn file ảnh Docker # https://github.com/elastic/elasticsearch-docker FROM docker.elastic.co/elasticsearch/elasticsearch:5.6.16 z # https://github.com/elastic/kibana-docker @ Kibana m co l gm FROM docker.elastic.co/kibana/kibana:5.6.16 an Lu n va ac th si 73 Bảng A.4: logstash.yml ## Default Logstash configuration from Logstash-Docker http.host: "0.0.0.0" path.config: /usr/share/logstash/pipeline ## Disable X-Pack ## see https://www.elastic.co/guide/en/x-pack/current/xpacksettings.html ## https://www.elastic.co/guide/en/x-pack/current/installingxpack.html #xpack-enabling xpack.monitoring.enabled: false Bảng A.5: kibana.yml lu ## Default Kibana configuration from kibana-Docker server.name: kibana server.host: "0" elasticsearch.url: http://elasticsearch:9200 ## Disable X-Pack ## see https://www.elastic.co/guide/en/x-pack/current/xpacksettings.html ## https://www.elastic.co/guide/en/x-pack/current/installingxpack.html an n va p ie gh tn to d oa nl w #xpack-enabling xpack.security.enabled: false xpack.monitoring.enabled: false xpack.ml.enabled: false xpack.graph.enabled: false xpack.reporting.enabled: false ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 74 Phụ lục B: Ảnh chụp hình từ thiết bị đầu cuối sau chạy ELK stack: lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 75 lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 76 lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si