(Luận văn) nghiên cứu các nền tảng phân tích dữ liệu trong môi trường ảo cho hệ sinh thái internet of things

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN MAI LÊ QUÝ ĐÔN a lu n n va NGHIÊN CỨU CÁC NỀN TẢNG PHÂN TÍCH DỮ LIỆU INTERNET OF THINGS p ie gh tn to TRONG MÔI TRƢỜNG ẢO CHO HỆ SINH THÁI oa nl w d LUẬN VĂN THẠC SĨ KỸ THUẬT VIỄN THÔNG a nv a lu ll u nf m tz n oi z m co l gm @ an Lu BÌNH ĐỊNH - NĂM 2019 n va ac th si BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN MAI LÊ QUÝ ĐÔN a lu NGHIÊN CỨU CÁC NỀN TẢNG PHÂN TÍCH DỮ LIỆU n TRONG MƠI TRƢỜNG ẢO CHO HỆ SINH THÁI va n INTERNET OF THINGS p ie gh tn to oa nl w Chuyên nghành: Kỹ thuật viễn thông d a nv a lu Mã số: 8520208 ll u nf m tz n oi Ngƣời hƣớng dẫn: TS HUỲNH CÔNG TÚ z m co l gm @ an Lu n va ac th si LỜI CẢM ƠN Để hồn thành đề tài luận văn thạc sĩ cách hoàn chỉnh, bên cạnh cố gắng thân cịn có hướng dẫn nhiệt tình quý Thầy, động viên ủng hộ gia đình bạn bè suốt thời gian học tập nghiên cứu thực luận văn thạc sĩ Tác giả xin chân thành bày tỏ lịng biết ơn đến thầy TS Huỳnh Cơng Tú, người hết lòng giúp đỡ tạo điều kiện tốt cho tác giả hoàn a lu thành luận văn Xin chân thành bày tỏ lòng biết ơn đến trường Đại học n Quy Nhơn tạo điều kiện thuận lợi cho tác giả suốt trình n va học tập nghiên cứu thực đề tài luận văn p ie gh tn to Cuối tác giả xin chân thành cảm ơn đến gia đình, anh chị bạn đồng nghiệp hỗ trợ cho tác giả nhiều suốt trình học tập, nghiên cứu thực đề tài luận văn thạc sĩ cách hồn chỉnh oa nl w Bình Định, ngày 16 tháng năm 2019 Học viên thực d a nv a lu u nf Mai Lê Quý Đôn ll m tz n oi z m co l gm @ an Lu n va ac th si LỜI CAM ĐOAN Tác giả xin cam đoan kết đề tài: “ Nghiên cứu tảng phân tích liệu mơi trường ảo cho hệ sinh thái Internet of Things” cơng trình nghiên cứu cá nhân tác giả chưa cơng bố cơng trình nghiên cứu khác thời điểm Bình Định, ngày 16 tháng năm 2019 a lu Tác giả luận văn n n va tn to Mai Lê Quý Đôn p ie gh d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th si MỤC LỤC MỞ ĐẦU CHƢƠNG 1: TỔNG QUAN VỀ INTERNET OF THINGS (IoT) 1.1 Giới thiệu 1.2 Viễn cảnh Internet of things 11 1.3 IoT công nghệ Internet tương lai liên quan 17 1.3.1 Điện toán đám mây 17 1.3.2 IoT công nghệ ngữ nghĩa (Semantic) 18 a lu 1.3.3 Tự chủ 19 n 1.3.4 Cảnh báo nhận thức tình 22 n va 1.4 Tiêu chuẩn giao thức IoT 23 tn to 1.4.1 Zigbee 23 p ie gh 1.4.2 Bluetooth 25 1.4.3 Wifi Low - Power Wifi (LP - Wifi) 27 oa nl w 1.4.4 Low-Power diện rộng (LPWA) 28 1.4.5 3GPP Cellular: MTC 29 d a nv a lu 1.5 Nghiên cứu 30 Kết luận chương 33 u nf CHƢƠNG 2: CÁC NỀN TẢNG PHÂN TÍCH DỮ LIỆU 34 ll m 2.1 Docker 34 n oi tz 2.1.1 Giới thiệu 34 2.1.2 Thành phần Docker 36 z gm @ 2.1.2.1 Dockerfile 36 2.1.2.2 Docker client and server 37 l co 2.1.2.3 Docker images 38 m 2.1.2.4 Docker hub 38 Lu an 2.1.2.5 Docker container 39 n va ac th si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 2.1.2.6 Hai công cụ Docker 40 2.1.3 Ưu nhược điểm Docker container 40 2.1.4 Docker công nghệ khác 42 2.1.4.1 Virtual machine vs Docker 42 2.1.4.2 Docker vs VM cloud 45 2.2 ELK stack 46 2.2.1 Logstash 47 2.2.1.1 Giới thiệu 47 a lu 2.2.1.2 Các tính chung Logstash 48 n 2.2.1.3 Các khái niệm Logstash 48 n va 2.2.1.4 Ưu, nhược điểm Logstash 50 tn to 2.2.2 Elasticsearch 50 p ie gh 2.2.2.1 Giới thiệu 50 2.2.2.2 Tính Elasticsearch 51 oa nl w 2.2.2.3 Các khái niệm Elasticsearch 52 2.2.2.4 Ưu, nhược điểm Elasticsearch 53 d a nv a lu 2.2.3 Kibana 54 2.2.3.1 Giới thiệu 54 u nf 2.2.3.2 Các tính Kibana 54 ll m 2.2.3.3 Ưu, nhược điểm Kibana 56 n oi tz Kết luận chương 56 CHƢƠNG 3: MƠ HÌNH THỰC NGHIỆM 58 z 3.1 Kiến trúc mơ hình 58 @ l gm 3.2 Thiết lập mơ hình 59 co 3.2.1 Cài đặt Docker 59 m 3.2.2 Cài đặt Elasticsearch, Logstash, Kibana 60 Lu an 3.3 Chạy mơ hình 63 n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 3.4 Kết 65 Kết luận chương 67 KẾT LUẬN 68 TÀI LIỆU THAM KHẢO 69 PHỤ LỤC A 71 PHỤ LỤC B 74 a lu n n va p ie gh tn to d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an DANH MỤC VIẾT TẮT a lu n n va Advanced Packaging Tool AP Access point API Application Programming Interface BLE Bluetooth 4.0 + CI Continuous Integration CE Community Edition CLI Command line interface CPU Central Processing Unit CRM Customer Relationship Management CTI Cyper threat intelligence CSV Comma Seperated Value p ie gh tn to APT Elastic Compute Cloud EE Enterprise Edition ELK Electronic product code a lu European Union a nv EU Elasticsearch, Logstash, Kibana d EPC oa nl w EC2 HyperText Transfer Protocol Hyper-V Hypervisor IEEE Institute of Electrical and Electronics Engineers IDC International Data Corporation IP Internet Protocol IPFIX Internet Protocol Flow Information Export IoE Internet of Energy IoM Internet of Media IoP Internet of Persons ll u nf HTTP m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an a lu n n va Internet of Services IoT Internet of Things ISTAG Information Society Technologies Advisory Group JVM Java Virtual Machine LACP Link Aggregation Control Protocol LXC Linux Container LMSC LAN/MAN Standards Committee LP-Wifi Low-Power Wifi LPWA Low-power wide-area LPWAN Low-power wide-area network LTE Long Term Evolution M2M Machine-to-Machine p ie gh tn to IoS Medium Access Control MIT Massachusetts Institute of Technology MTC Near Field Communications a lu NarrowBand IoT a nv NB-IOT Machine-type communications d NFC oa nl w MAC Network Functions Virtualization PHY Physical layer of the OSI model QoS Quality of Service RFID Radio Frequency Identification SAN Storeage Area Network SDN Software Defined Networking SDOs Standards Developing Organizations SDP Service Delivery Platforms SIG Special Interest Group ll u nf NFV m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an a lu n n va Service-level agreement/Software license agreement SOA Service oriented Approach SOCMINT Social media intelligence SPA Single Page Application 3GPP Third Generation Partnership Project TCP Transmission Control Protocol TGah IEEE802.11ah Task Group TSCH Timeslotted Channel Hopping UID User identifier UMTS Universal Mobile Telecommunication System URL Uniform Resource Locator WSNs Wireless Sensor Networks p ie gh tn to SLA Wireless Sensor and Actuator Networks XML Extensible Markup Language ZB oa nl w WS&AN Zettabyte d a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 62 Sau sau số thí nghiệm, tác giả phát thư mục log Openvswitch chứa ghi tập tin gắn kết Logstash container Sau phân tích vấn đề, tác giả phát đăng nhập thư mục (/ var / log / openvswitch) gắn khơng đọc Logstash Logstash khơng phép đọc Để giải vấn đề này, thực thi tập tin “ start.sh ” tạo (/ home / Docker) để thay đổi cho phép file log openvswitch để đọc trước lệnh Compose bắt đầu (hình 3.2), sau a lu Logstash đọc phân tích tập tin log openvswitch n n va sudo chmod a + r /var/log/openvswitch/ovs-vswitchd.log Hình 3.2: Nội dung file start.sh p ie gh tn to sudo Docker-compose up d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 63 pipeline Logstash.conf config Logstash Logstash.yml Dockerfile a lu n config n va Elasticsearch.yml tn to Elasticsearch p ie gh /home/Docker Dockerfile Kibana.yml d oa nl w config a lu Kibana a nv Dockerfile ll u nf m Docker-compose.yml tz n oi Start.sh z @ l 3.3 Chạy mơ hình gm Hình 3.3: Kiến trúc thƣ mục mơ hình m co Sau cài đặt Docker chương trình hỗ trợ, tác giả bắt đầu chạy (/home/Docker) an Lu mơ hình cách mở thiết bị đầu cuối chọn thư mục Docker n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 64 $ cd docker Sau tác giả chạy file thực thi start.sh $ /start.sh Khi file start.sh chạy, container Elasticsearch khởi tạo trước tiên, sau container Logstash Kibana chạy sau Để hiển thị container chạy, tác giả mở cửa sổ terminal dùng lệnh: $ sudo docker ps -a a lu Tác giả có container chạy: n docker_elasticsearch1, docker_logstash1, docker_kibana1 tương ứng n va với port.(Hình 3.4) p ie gh tn to d oa nl w a nv a lu ll u nf m n oi tz Hình 3.4: Các container hoạt động Thơng tin Elasticsearch phiên ngày thành lập hiển z gm @ thị cách truy cập Elasticsearch thơng qua trang trình duyệt web truy m co l cập cổng TCP 9200: http://localhost:9200, ta có: an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 65 a lu n Hình 3.5: Thơng tin elasticsearch n va 3.4 Kết p ie gh tn to Kibana có trách nhiệm để hiển thị liệu phân tích Người dùng kết nối với Kibana thông qua giao thức HTTP Đối với tảng mơ hình tác giả gắn cổng mặc định 5601 cho Kibana Để mở Kibana người dùng oa nl w phải đăng nhập vô http://localhost:5601 thứ thiết lập cách xác, tác giả nhìn thấy hình 18 Tác giả xác nhận d hình số a nv a lu thiết lập mặc định “Logstash-*” Index nhấn tạo nút để tạo mô ll u nf m tz n oi z m co l gm @ an Lu Hình 3.6: Kibana sau truy cập n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 66 Hình 3.6 hiển thị Kibana sau truy cập Trong phần (số 1) có tìm kiếm bar bên thời gian liệu nhận với trình bày đồ họa, hình 3.7 hiển thị tin nhắn nhận năm phút cuối khung thời gian thay đổi người dùng mong muốn Trong phần trang (số 2) có tin nhắn nhận Logstash lập mục Elasticsearch Phân loại tin nhắn nhận dựa lọc Logstash a lu Cột màu xám bên trái (số 3) có tất phân loại thẻ có n thu thập từ liệu nhận dựa lọc Logstash Như chúng n va ta lựa chọn nguồn lực hai loại liệu nội bên mà nhận tn to liệu từ IoT thiết bị mạng, tác giả đánh dấu liệu nhận với p ie gh nguồn để sử dụng tính phân tích Kibana để phân biệt chúng oa nl w Các liệu IoT nhận thông qua giao thức TCP với cổng 5000 gắn thẻ với “external”, liệu nội ghi Openvswitch d a nv a lu gắn thẻ với “Openvswitch” Nó thể có số thất bại cho lọc grok phân tích nhật ký Openvswitch ll u nf m tz n oi z m co l gm @ an Lu Hình 3.7: Giao diện Kibana n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 67 a lu Hình 3.8: Lĩnh vực tags lĩnh vực host n Hình 3.8 cho thấy lĩnh vực thẻ với thống kê loại nguồn lĩnh n va vực máy chủ với thống kê liệu nhận từ máy chủ máy ảo tn to (Openvswitch) host (TCP) với tổng số hồ sơ liệu Bằng cách lựa chọn p ie gh có lĩnh vực ví dụ lĩnh vực tags, Kibana hiển thị nhận liệu với lĩnh vực tags dựa khung thời gian xác định Người dùng có oa nl w thể thêm loại bỏ nhiều lĩnh vực từ liệu lập mục để hiển thị tin nhắn Ví dụ, tác giả lựa chọn lĩnh vực tags host, sau d a lu Kibana hiển thị thông báo liên quan dựa khung thời gian a nv chọn (Hình 3.8) Những kết cho thấy lĩnh vực lựa ll u nf chọn ẩn lĩnh vực khác Nhấn nhỏ mũi tên bên trái tin nhắn m thơi ẩn lĩnh vực cịn lại cho thơng điệp đặc biệt (Hình 3.8) Người n oi dùng tìm kiếm từ tất tin nhắn nhận tz cách sử dụng tìm kiếm phía Kibana có khơng có lựa gm @ Kết luận chƣơng z chọn lĩnh vực co l Chương giới thiệu mơ hình thực nghiệm sử dụng cơng cụ ELK m dựa chương trình ảo hóa Docker Kết sau chạy lệnh Docker an Lu compose, mơ hình hoạt động cho kết tốt n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 68 KẾT LUẬN Luận văn tập trung nghiên cứu tảng phân tích liệu Docker, Logstash, Elasticsearch, Kibana Xây dựng mơ hình thực nghiệm sử dụng Docker nhằm phân tích, so sánh, đánh giá thơng số liệu kết nối mạng Mơ hình sử dụng hai thiết bị mạng IoT làm nguồn liệu: Openvswitch dạng nguồn nội (được cài đặt máy ảo) kết nối TCP nguồn bên - Kết đạt luận văn: a lu + Nghiên cứu tảng phân tích liệu Docker, Logstash, n n va Elasticsearch, Kibana tn to + Xây dựng mơ hình thực nghiệm sử dụng ELK stack dựa Docker p ie gh + Tốc độ phân tích liệu nhanh, hiển thị kết tốt giao diện Kibana oa nl w + Hệ thống máy ảo hoạt động ổn định, không bị ảnh hưởng lớn từ việc d chạy mơ hình máy ảo a nv a lu - Hạn chế luận văn: + Các nguồn liệu giả định u nf ll + Chưa làm an ninh bảo mật m + Còn hạn chế việc thêm nguồn liệu n oi - Hướng phát triển, mở rộng: tz + Mơ hình cịn đơn giản chưa phát triển nhiều z gm @ + Nghiên cứu sâu tảng để áp dụng cho mục đích khác nhau: nghiên cứu, phát triển mơ hình, … l m co + Xây dựng mơ hình phức tạp đưa thực tiễn an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 69 TÀI LIỆU THAM KHẢO A Tiếng Việt [1] Trần Văn Cường (2015), Luận văn thạc sỹ, Giải pháp tảng cho hệ thống tích hợp liệu lớn không đồng nhất, Trường Đại học công nghệ (Đại học Quốc gia Hà Nội) [2] Trần Văn Đồn (2013), Luận văn thạc sỹ, Cơng nghệ ảo hố ứng dụng, Học viện cơng nghệ bưu viễn thông [3] Trần Văn Linh (2019), Luận văn thạc sỹ, Nghiên cứu giải pháp tự động a lu phát cố hệ thống dựa công nghệ ELK (Elasticsearch, n Logstash Kibana), Trường Đại học công nghệ (Đại học Quốc gia Hà n va tn to Nội) [4] Nguyễn Thị Hà Ly (2018), Luận văn thạc sỹ, Nghiên cứu giải pháp giám p ie gh sát tập trung ứng dụng quản lý hệ thống mạng trường Đại học Hà Nội, Học viện công nghệ bưu viễn thơng oa nl w [5] Trần Hải Phương (2015), Luận văn thạc sỹ, Nghiên cứu công nghệ ảo hóa d ứng dụng xây dựng hệ thống thơng tin doanh nghiệp, Viện Đại học mở Hà Nội a nv a lu [6] Trịnh Minh Phương (2016), Luận văn thạc sỹ, Nghiên cứu ứng dụng IoT cho giám sát môi trường, Trường Đại học công nghệ (Đại học Quốc gia Hà Nội) ll u nf B Tiếng Anh m [7] Aelita Skaržauskienė, Marius Kalinauskas “The future potential of n oi tz Internet of Things”, ISSN 2029-7564 (online) SOCIALINĖS TECHNOLOGIJOS SOCIAL TECHNOLOGIES 2012, 2(1), p 102–113 z gm @ [8] Adrian Mouat, Using Docker, Published by O’Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472 l co [9] Information Society Technologies Advisory Group (2008) Working m Group on Web-based Services Industry Version 12, 28th February 2008 Lu an [10] ISTAG, Working Group, 2008 Future Internet Infrastructure, Version 8, n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 70 23 January 2008 [11] Kais Mekki, Eddy Bajic, Frederic Chaxel, Fernand Meyer A comparative study of LPWAN technologies for large-scale IoT deployment, ICT Express, Volume 5, Issue 1, 2019, Pages 1-7 [12] Luigi Atzori, Antonio Iera, Giacomo Morabito (2010) The Internet of Things: A survey Computer networks [13] Marcin Bajer “Building an IoT Data Hub with Elasticsearch, Logstash and Kibana”, 2017 5th International Conference on Future Internet of a lu Things and Cloud Workshops n [14] Mikhail Simonov, Riccardo Zich, Flavia Mazzitelli (2008) RFID, va n energy, and internet of things tn to [15] Mark Weiser (1993) Some computer science issues in ubiquitous p ie gh computing CACM, vol 36, issue [16] Santucci Gérald (2010) The Internet of Things: Between the Revolution oa nl w of the Internet and the Metamorphosis of Objects Forum American Bar Association d a nv a lu [17] Seo, K.-T., Hwang, H.-S., Moon, I.-Y., Kwon, O.-Y., & Kim, B.-J (2014) Performance Comparison Analysis of Linux Container and u nf Virtual Machine for Building Cloud ll m [18] Schroth, C., Janner, T (2007) Web 2.0 and SOA: Converging Concepts n oi tz Enabling the Internet of Services IT Professional 3, 36–41 [19] Stephan Haller, Stamatis Karnouskos, Christoph Schroth, (2009) The z Publisher: Springer pp 14-28 l gm @ Internet of Things in an Enterprise Context Volume: 5468, Issue: 1, co [20] Xing Zhihao, Zhong Yongfeng (2010) Internet of Things and its future m C Internet an Lu [21] https://www.elastic.co, Truy cập ngày 20/05/2019 n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 71 Phụ lục A: Mã nguồn tập tin docker-compose.yml tập tin cấu hình logstash.conf: Bảng A.1: docker-compose.yml a lu n n va p ie gh tn to version: '2' services: elasticsearch: build: elasticsearch/ volumes: - /elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml ports: - "9200:9200" - "9300:9300" environment: ES_JAVA_OPTS: "-Xmx256m -Xms256m" networks: - elk logstash: build: logstash/ volumes: - /logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml - /logstash/pipeline:/usr/share/logstash/pipeline - /var/log/openvswitch:/usr/share/logstash/docs ports: - "5000:5000" environment: LS_JAVA_OPTS: "-Xmx256m -Xms256m" networks: - elk depends_on: - elasticsearch kibana: build: kibana/ volumes: - /kibana/config/:/usr/share/kibana/config ports: - "5601:5601" networks: - elk depends_on: - elasticsearch d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ networks: elk: driver: bridge an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 72 Bảng A.2: logstash.conf input { tcp { port => 5000 tags => "external" type => "external" } file { path => "/usr/share/logstash/docs/ovs-vswitchd.log" tags => "openvswitch" type => "openvswitch" start_position => "beginning" } } filter { a lu n n va p ie gh tn to if [type] == "openvswitch" { grok { match => {"message" => "%{YEAR:year}-%{MONTHNUM:month}%{MONTHDAY:day}T%{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second}Z\|% {WORD:number}\|%{WORD:kind}\|%{WORD:Relation}\|%{GREEDYDATA:Message}"} } } d oa nl w } ## Add your filters / logstash plugins configuration here output { elasticsearch { hosts => "elasticsearch:9200" } } a nv a lu n oi FROM docker.elastic.co/logstash/logstash:5.6.16 # https://github.com/elastic/elasticsearch-docker tz Elasticsearch # https://github.com/elastic/logstash-docker m Logstash Content ll Dockerfile u nf Bảng A.3: Nguồn file ảnh Docker FROM docker.elastic.co/elasticsearch/elasticsearch:5.6.16 z # https://github.com/elastic/kibana-docker @ Kibana m co l gm FROM docker.elastic.co/kibana/kibana:5.6.16 an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 73 Bảng A.4: logstash.yml ## Default Logstash configuration from Logstash-Docker http.host: "0.0.0.0" path.config: /usr/share/logstash/pipeline ## Disable X-Pack ## see https://www.elastic.co/guide/en/x-pack/current/xpacksettings.html ## https://www.elastic.co/guide/en/x-pack/current/installingxpack.html #xpack-enabling xpack.monitoring.enabled: false Bảng A.5: kibana.yml a lu ## Default Kibana configuration from kibana-Docker server.name: kibana server.host: "0" elasticsearch.url: http://elasticsearch:9200 ## Disable X-Pack ## see https://www.elastic.co/guide/en/x-pack/current/xpacksettings.html ## https://www.elastic.co/guide/en/x-pack/current/installingxpack.html n n va p ie gh tn to d oa nl w #xpack-enabling xpack.security.enabled: false xpack.monitoring.enabled: false xpack.ml.enabled: false xpack.graph.enabled: false xpack.reporting.enabled: false a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 74 Phụ lục B: Ảnh chụp hình từ thiết bị đầu cuối sau chạy ELK stack: a lu n n va p ie gh tn to d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an 75 a lu n n va p ie gh tn to d oa nl w a nv a lu ll u nf m tz n oi z m co l gm @ an Lu n va ac th Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn si C.vT.Bg.Jy.Lj.Tai lieu Luan vT.Bg.Jy.Lj van Luan an.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Stt.010.Mssv.BKD002ac.email.ninhd.vT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.LjvT.Bg.Jy.Lj.dtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn