(LUẬN văn THẠC sĩ) nghiên cứu các nền tảng phân tích dữ liệu trong môi trường ảo cho hệ sinh thái internet of things

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN MAI LÊ QUÝ ĐÔN NGHIÊN CỨU CÁC NỀN TẢNG PHÂN TÍCH DỮ LIỆU TRONG MƠI TRƢỜNG ẢO CHO HỆ SINH THÁI INTERNET OF THINGS LUẬN VĂN THẠC SĨ KỸ THUẬT VIỄN THƠNG BÌNH ĐỊNH - NĂM 2019 download by : skknchat@gmail.com BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN MAI LÊ QUÝ ĐÔN NGHIÊN CỨU CÁC NỀN TẢNG PHÂN TÍCH DỮ LIỆU TRONG MƠI TRƢỜNG ẢO CHO HỆ SINH THÁI INTERNET OF THINGS Chuyên nghành: Kỹ thuật viễn thông Mã số: 8520208 Ngƣời hƣớng dẫn: TS HUỲNH CÔNG TÚ download by : skknchat@gmail.com LỜI CẢM ƠN Để hồn thành đề tài luận văn thạc sĩ cách hoàn chỉnh, bên cạnh cố gắng thân cịn có hướng dẫn nhiệt tình quý Thầy, động viên ủng hộ gia đình bạn bè suốt thời gian học tập nghiên cứu thực luận văn thạc sĩ Tác giả xin chân thành bày tỏ lòng biết ơn đến thầy TS Huỳnh Công Tú, người hết lòng giúp đỡ tạo điều kiện tốt cho tác giả hoàn thành luận văn Xin chân thành bày tỏ lòng biết ơn đến trường Đại học Quy Nhơn tạo điều kiện thuận lợi cho tác giả suốt trình học tập nghiên cứu thực đề tài luận văn Cuối tác giả xin chân thành cảm ơn đến gia đình, anh chị bạn đồng nghiệp hỗ trợ cho tác giả nhiều suốt trình học tập, nghiên cứu thực đề tài luận văn thạc sĩ cách hoàn chỉnh Bình Định, ngày 16 tháng năm 2019 Học viên thực Mai Lê Quý Đôn download by : skknchat@gmail.com LỜI CAM ĐOAN Tác giả xin cam đoan kết đề tài: “ Nghiên cứu tảng phân tích liệu mơi trường ảo cho hệ sinh thái Internet of Things” cơng trình nghiên cứu cá nhân tác giả chưa công bố cơng trình nghiên cứu khác thời điểm Bình Định, ngày 16 tháng năm 2019 Tác giả luận văn Mai Lê Quý Đôn download by : skknchat@gmail.com MỤC LỤC MỞ ĐẦU CHƢƠNG 1: TỔNG QUAN VỀ INTERNET OF THINGS (IoT) 1.1 Giới thiệu 1.2 Viễn cảnh Internet of things 11 1.3 IoT công nghệ Internet tương lai liên quan 17 1.3.1 Điện toán đám mây 17 1.3.2 IoT công nghệ ngữ nghĩa (Semantic) 18 1.3.3 Tự chủ 19 1.3.4 Cảnh báo nhận thức tình 22 1.4 Tiêu chuẩn giao thức IoT 23 1.4.1 Zigbee 23 1.4.2 Bluetooth 25 1.4.3 Wifi Low - Power Wifi (LP - Wifi) 27 1.4.4 Low-Power diện rộng (LPWA) 28 1.4.5 3GPP Cellular: MTC 29 1.5 Nghiên cứu 30 Kết luận chương 33 CHƢƠNG 2: CÁC NỀN TẢNG PHÂN TÍCH DỮ LIỆU 34 2.1 Docker 34 2.1.1 Giới thiệu 34 2.1.2 Thành phần Docker 36 2.1.2.1 Dockerfile 36 2.1.2.2 Docker client and server 37 2.1.2.3 Docker images 38 2.1.2.4 Docker hub 38 2.1.2.5 Docker container 39 download by : skknchat@gmail.com 2.1.2.6 Hai công cụ Docker 40 2.1.3 Ưu nhược điểm Docker container 40 2.1.4 Docker công nghệ khác 42 2.1.4.1 Virtual machine vs Docker 42 2.1.4.2 Docker vs VM cloud 45 2.2 ELK stack 46 2.2.1 Logstash 47 2.2.1.1 Giới thiệu 47 2.2.1.2 Các tính chung Logstash 48 2.2.1.3 Các khái niệm Logstash 48 2.2.1.4 Ưu, nhược điểm Logstash 50 2.2.2 Elasticsearch 50 2.2.2.1 Giới thiệu 50 2.2.2.2 Tính Elasticsearch 51 2.2.2.3 Các khái niệm Elasticsearch 52 2.2.2.4 Ưu, nhược điểm Elasticsearch 53 2.2.3 Kibana 54 2.2.3.1 Giới thiệu 54 2.2.3.2 Các tính Kibana 54 2.2.3.3 Ưu, nhược điểm Kibana 56 Kết luận chương 56 CHƢƠNG 3: MƠ HÌNH THỰC NGHIỆM 58 3.1 Kiến trúc mơ hình 58 3.2 Thiết lập mơ hình 59 3.2.1 Cài đặt Docker 59 3.2.2 Cài đặt Elasticsearch, Logstash, Kibana 60 3.3 Chạy mơ hình 63 download by : skknchat@gmail.com 3.4 Kết 65 Kết luận chương 67 KẾT LUẬN 68 TÀI LIỆU THAM KHẢO 69 PHỤ LỤC A 71 PHỤ LỤC B 74 download by : skknchat@gmail.com DANH MỤC VIẾT TẮT APT Advanced Packaging Tool AP Access point API Application Programming Interface BLE Bluetooth 4.0 + CI Continuous Integration CE Community Edition CLI Command line interface CPU Central Processing Unit CRM Customer Relationship Management CTI Cyper threat intelligence CSV Comma Seperated Value EC2 Elastic Compute Cloud EE Enterprise Edition ELK Elasticsearch, Logstash, Kibana EPC Electronic product code EU European Union HTTP HyperText Transfer Protocol Hyper-V Hypervisor IEEE Institute of Electrical and Electronics Engineers IDC International Data Corporation IP Internet Protocol IPFIX Internet Protocol Flow Information Export IoE Internet of Energy IoM Internet of Media IoP Internet of Persons download by : skknchat@gmail.com IoS Internet of Services IoT Internet of Things ISTAG Information Society Technologies Advisory Group JVM Java Virtual Machine LACP Link Aggregation Control Protocol LXC Linux Container LMSC LAN/MAN Standards Committee LP-Wifi Low-Power Wifi LPWA Low-power wide-area LPWAN Low-power wide-area network LTE Long Term Evolution M2M Machine-to-Machine MAC Medium Access Control MIT Massachusetts Institute of Technology MTC Machine-type communications NFC Near Field Communications NB-IOT NarrowBand IoT NFV Network Functions Virtualization PHY Physical layer of the OSI model QoS Quality of Service RFID Radio Frequency Identification SAN Storeage Area Network SDN Software Defined Networking SDOs Standards Developing Organizations SDP Service Delivery Platforms SIG Special Interest Group download by : skknchat@gmail.com SLA Service-level agreement/Software license agreement SOA Service oriented Approach SOCMINT Social media intelligence SPA Single Page Application 3GPP Third Generation Partnership Project TCP Transmission Control Protocol TGah IEEE802.11ah Task Group TSCH Timeslotted Channel Hopping UID User identifier UMTS Universal Mobile Telecommunication System URL Uniform Resource Locator WSNs Wireless Sensor Networks WS&AN Wireless Sensor and Actuator Networks XML Extensible Markup Language ZB Zettabyte download by : skknchat@gmail.com 62 Sau sau số thí nghiệm, tác giả phát thư mục log Openvswitch chứa ghi tập tin gắn kết Logstash container Sau phân tích vấn đề, tác giả phát đăng nhập thư mục (/ var / log / openvswitch) gắn không đọc Logstash Logstash khơng phép đọc Để giải vấn đề này, thực thi tập tin “ start.sh ” tạo (/ home / Docker) để thay đổi cho phép file log openvswitch để đọc trước lệnh Compose bắt đầu (hình 3.2), sau Logstash đọc phân tích tập tin log openvswitch sudo chmod a + r /var/log/openvswitch/ovs-vswitchd.log sudo Docker-compose up Hình 3.2: Nội dung file start.sh download by : skknchat@gmail.com 63 pipeline config Logstash Logstash.conf Logstash.yml Dockerfile config /home/Docker Elasticsearch Elasticsearch.yml Dockerfile config Kibana.yml Kibana Dockerfile Docker-compose.yml Start.sh Hình 3.3: Kiến trúc thƣ mục mơ hình 3.3 Chạy mơ hình Sau cài đặt Docker chương trình hỗ trợ, tác giả bắt đầu chạy mơ hình cách mở thiết bị đầu cuối chọn thư mục Docker (/home/Docker) download by : skknchat@gmail.com 64 $ cd docker Sau tác giả chạy file thực thi start.sh $ /start.sh Khi file start.sh chạy, container Elasticsearch khởi tạo trước tiên, sau container Logstash Kibana chạy sau Để hiển thị container chạy, tác giả mở cửa sổ terminal dùng lệnh: $ sudo docker ps -a Tác giả có container chạy: docker_elasticsearch1, docker_logstash1, docker_kibana1 tương ứng với port.(Hình 3.4) Hình 3.4: Các container hoạt động Thông tin Elasticsearch phiên ngày thành lập hiển thị cách truy cập Elasticsearch thơng qua trang trình duyệt web truy cập cổng TCP 9200: http://localhost:9200, ta có: download by : skknchat@gmail.com 65 Hình 3.5: Thơng tin elasticsearch 3.4 Kết Kibana có trách nhiệm để hiển thị liệu phân tích Người dùng kết nối với Kibana thông qua giao thức HTTP Đối với tảng mơ hình tác giả gắn cổng mặc định 5601 cho Kibana Để mở Kibana người dùng phải đăng nhập vô http://localhost:5601 thứ thiết lập cách xác, tác giả nhìn thấy hình 18 Tác giả xác nhận thiết lập mặc định “Logstash-*” Index nhấn tạo nút để tạo mơ hình số Hình 3.6: Kibana sau truy cập download by : skknchat@gmail.com 66 Hình 3.6 hiển thị Kibana sau truy cập Trong phần (số 1) có tìm kiếm bar bên thời gian liệu nhận với trình bày đồ họa, hình 3.7 hiển thị tin nhắn nhận năm phút cuối khung thời gian thay đổi người dùng mong muốn Trong phần trang (số 2) có tin nhắn nhận Logstash lập mục Elasticsearch Phân loại tin nhắn nhận dựa lọc Logstash Cột màu xám bên trái (số 3) có tất phân loại thẻ có thu thập từ liệu nhận dựa lọc Logstash Như lựa chọn nguồn lực hai loại liệu nội bên mà nhận liệu từ IoT thiết bị mạng, tác giả đánh dấu liệu nhận với nguồn để sử dụng tính phân tích Kibana để phân biệt chúng Các liệu IoT nhận thông qua giao thức TCP với cổng 5000 gắn thẻ với “external”, liệu nội ghi Openvswitch gắn thẻ với “Openvswitch” Nó thể có số thất bại cho lọc grok phân tích nhật ký Openvswitch Hình 3.7: Giao diện Kibana download by : skknchat@gmail.com 67 Hình 3.8: Lĩnh vực tags lĩnh vực host Hình 3.8 cho thấy lĩnh vực thẻ với thống kê loại nguồn lĩnh vực máy chủ với thống kê liệu nhận từ máy chủ máy ảo (Openvswitch) host (TCP) với tổng số hồ sơ liệu Bằng cách lựa chọn có lĩnh vực ví dụ lĩnh vực tags, Kibana hiển thị nhận liệu với lĩnh vực tags dựa khung thời gian xác định Người dùng thêm loại bỏ nhiều lĩnh vực từ liệu lập mục để hiển thị tin nhắn Ví dụ, tác giả lựa chọn lĩnh vực tags host, sau Kibana hiển thị thơng báo liên quan dựa khung thời gian chọn (Hình 3.8) Những kết cho thấy lĩnh vực lựa chọn ẩn lĩnh vực khác Nhấn nhỏ mũi tên bên trái tin nhắn thơi ẩn lĩnh vực cịn lại cho thơng điệp đặc biệt (Hình 3.8) Người dùng tìm kiếm từ tất tin nhắn nhận cách sử dụng tìm kiếm phía Kibana có khơng có lựa chọn lĩnh vực Kết luận chƣơng Chương giới thiệu mơ hình thực nghiệm sử dụng cơng cụ ELK dựa chương trình ảo hóa Docker Kết sau chạy lệnh Docker compose, mơ hình hoạt động cho kết tốt download by : skknchat@gmail.com 68 KẾT LUẬN Luận văn tập trung nghiên cứu tảng phân tích liệu Docker, Logstash, Elasticsearch, Kibana Xây dựng mơ hình thực nghiệm sử dụng Docker nhằm phân tích, so sánh, đánh giá thông số liệu kết nối mạng Mô hình sử dụng hai thiết bị mạng IoT làm nguồn liệu: Openvswitch dạng nguồn nội (được cài đặt máy ảo) kết nối TCP nguồn bên - Kết đạt luận văn: + Nghiên cứu tảng phân tích liệu Docker, Logstash, Elasticsearch, Kibana + Xây dựng mơ hình thực nghiệm sử dụng ELK stack dựa Docker + Tốc độ phân tích liệu nhanh, hiển thị kết tốt giao diện Kibana + Hệ thống máy ảo hoạt động ổn định, không bị ảnh hưởng lớn từ việc chạy mơ hình máy ảo - Hạn chế luận văn: + Các nguồn liệu giả định + Chưa làm an ninh bảo mật + Còn hạn chế việc thêm nguồn liệu + Mơ hình cịn đơn giản chưa phát triển nhiều - Hướng phát triển, mở rộng: + Nghiên cứu sâu tảng để áp dụng cho mục đích khác nhau: nghiên cứu, phát triển mơ hình, … + Xây dựng mơ hình phức tạp đưa thực tiễn download by : skknchat@gmail.com 69 TÀI LIỆU THAM KHẢO A Tiếng Việt [1] Trần Văn Cường (2015), Luận văn thạc sỹ, Giải pháp tảng cho hệ thống tích hợp liệu lớn không đồng nhất, Trường Đại học công nghệ (Đại học Quốc gia Hà Nội) [2] Trần Văn Đồn (2013), Luận văn thạc sỹ, Cơng nghệ ảo hố ứng dụng, Học viện cơng nghệ bưu viễn thông [3] Trần Văn Linh (2019), Luận văn thạc sỹ, Nghiên cứu giải pháp tự động phát cố hệ thống dựa công nghệ ELK (Elasticsearch, Logstash Kibana), Trường Đại học công nghệ (Đại học Quốc gia Hà Nội) [4] Nguyễn Thị Hà Ly (2018), Luận văn thạc sỹ, Nghiên cứu giải pháp giám sát tập trung ứng dụng quản lý hệ thống mạng trường Đại học Hà Nội, Học viện cơng nghệ bưu viễn thông [5] Trần Hải Phương (2015), Luận văn thạc sỹ, Nghiên cứu cơng nghệ ảo hóa ứng dụng xây dựng hệ thống thông tin doanh nghiệp, Viện Đại học mở Hà Nội [6] Trịnh Minh Phương (2016), Luận văn thạc sỹ, Nghiên cứu ứng dụng IoT cho giám sát môi trường, Trường Đại học công nghệ (Đại học Quốc gia Hà Nội) B Tiếng Anh [7] Aelita Skaržauskienė, Marius Kalinauskas “The future potential of Internet of Things”, ISSN 2029-7564 (online) SOCIALINĖS TECHNOLOGIJOS SOCIAL TECHNOLOGIES 2012, 2(1), p 102–113 [8] Adrian Mouat, Using Docker, Published by O’Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472 [9] Information Society Technologies Advisory Group (2008) Working Group on Web-based Services Industry Version 12, 28th February 2008 [10] ISTAG, Working Group, 2008 Future Internet Infrastructure, Version 8, download by : skknchat@gmail.com 70 23 January 2008 [11] Kais Mekki, Eddy Bajic, Frederic Chaxel, Fernand Meyer A comparative study of LPWAN technologies for large-scale IoT deployment, ICT Express, Volume 5, Issue 1, 2019, Pages 1-7 [12] Luigi Atzori, Antonio Iera, Giacomo Morabito (2010) The Internet of Things: A survey Computer networks [13] Marcin Bajer “Building an IoT Data Hub with Elasticsearch, Logstash and Kibana”, 2017 5th International Conference on Future Internet of Things and Cloud Workshops [14] Mikhail Simonov, Riccardo Zich, Flavia Mazzitelli (2008) RFID, energy, and internet of things [15] Mark Weiser (1993) Some computer science issues in ubiquitous computing CACM, vol 36, issue [16] Santucci Gérald (2010) The Internet of Things: Between the Revolution of the Internet and the Metamorphosis of Objects Forum American Bar Association [17] Seo, K.-T., Hwang, H.-S., Moon, I.-Y., Kwon, O.-Y., & Kim, B.-J (2014) Performance Comparison Analysis of Linux Container and Virtual Machine for Building Cloud [18] Schroth, C., Janner, T (2007) Web 2.0 and SOA: Converging Concepts Enabling the Internet of Services IT Professional 3, 36–41 [19] Stephan Haller, Stamatis Karnouskos, Christoph Schroth, (2009) The Internet of Things in an Enterprise Context Volume: 5468, Issue: 1, Publisher: Springer pp 14-28 [20] Xing Zhihao, Zhong Yongfeng (2010) Internet of Things and its future C Internet [21] https://www.elastic.co, Truy cập ngày 20/05/2019 download by : skknchat@gmail.com 71 Phụ lục A: Mã nguồn tập tin docker-compose.yml tập tin cấu hình logstash.conf: Bảng A.1: docker-compose.yml version: '2' services: elasticsearch: build: elasticsearch/ volumes: - /elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml ports: - "9200:9200" - "9300:9300" environment: ES_JAVA_OPTS: "-Xmx256m -Xms256m" networks: - elk logstash: build: logstash/ volumes: - /logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml - /logstash/pipeline:/usr/share/logstash/pipeline - /var/log/openvswitch:/usr/share/logstash/docs ports: - "5000:5000" environment: LS_JAVA_OPTS: "-Xmx256m -Xms256m" networks: - elk depends_on: - elasticsearch kibana: build: kibana/ volumes: - /kibana/config/:/usr/share/kibana/config ports: - "5601:5601" networks: - elk depends_on: - elasticsearch networks: elk: driver: bridge download by : skknchat@gmail.com 72 Bảng A.2: logstash.conf input { tcp { port => 5000 tags => "external" type => "external" } file { path => "/usr/share/logstash/docs/ovs-vswitchd.log" tags => "openvswitch" type => "openvswitch" start_position => "beginning" } } filter { if [type] == "openvswitch" { grok { match => {"message" => "%{YEAR:year}-%{MONTHNUM:month}%{MONTHDAY:day}T%{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second}Z\|% {WORD:number}\|%{WORD:kind}\|%{WORD:Relation}\|%{GREEDYDATA:Message}"} } } } ## Add your filters / logstash plugins configuration here output { elasticsearch { hosts => "elasticsearch:9200" } } Bảng A.3: Nguồn file ảnh Docker Dockerfile Logstash Elasticsearch Kibana Content # https://github.com/elastic/logstash-docker FROM docker.elastic.co/logstash/logstash:5.6.16 # https://github.com/elastic/elasticsearch-docker FROM docker.elastic.co/elasticsearch/elasticsearch:5.6.16 # https://github.com/elastic/kibana-docker FROM docker.elastic.co/kibana/kibana:5.6.16 download by : skknchat@gmail.com 73 Bảng A.4: logstash.yml ## Default Logstash configuration from Logstash-Docker http.host: "0.0.0.0" path.config: /usr/share/logstash/pipeline ## Disable X-Pack ## see https://www.elastic.co/guide/en/x-pack/current/xpacksettings.html ## https://www.elastic.co/guide/en/x-pack/current/installingxpack.html #xpack-enabling xpack.monitoring.enabled: false Bảng A.5: kibana.yml ## Default Kibana configuration from kibana-Docker server.name: kibana server.host: "0" elasticsearch.url: http://elasticsearch:9200 ## Disable X-Pack ## see https://www.elastic.co/guide/en/x-pack/current/xpacksettings.html ## https://www.elastic.co/guide/en/x-pack/current/installingxpack.html #xpack-enabling xpack.security.enabled: false xpack.monitoring.enabled: false xpack.ml.enabled: false xpack.graph.enabled: false xpack.reporting.enabled: false download by : skknchat@gmail.com 74 Phụ lục B: Ảnh chụp hình từ thiết bị đầu cuối sau chạy ELK stack: download by : skknchat@gmail.com 75 download by : skknchat@gmail.com 76 download by : skknchat@gmail.com ... nghiên cứu tảng phân tích liệu phù hợp cho IoT cấp thiết Vì luận văn tác giả chọn chủ đề ? ?Nghiên cứu tảng phân tích liệu môi trường ảo cho hệ sinh thái Internet of Things? ?? làm đề tài nghiên cứu. .. cam đoan kết đề tài: “ Nghiên cứu tảng phân tích liệu môi trường ảo cho hệ sinh thái Internet of Things? ?? cơng trình nghiên cứu cá nhân tác giả chưa công bố cơng trình nghiên cứu khác thời điểm Bình... mạng hệ sinh thái IoT 1.4 Đối tƣợng phạm vi nghiên cứu - Các tảng quản lý phân tích liệu lớn mơi trường ảo cho hệ sinh thái IoT gồm: + Docker + Logstash + Elasticsearch + Kibana - Phân tích liệu