Việc thử nghiệm eLMS cần được tiếp tục với các dữ liệu có kích cỡ lớn
eLMS cũng cần được cải tiến việc xử lý hàng đợi (Queue) và việc lưu trữ (Storage) ở mức độ hệ thống lớn hơn rất nhiều.
Cải tiến các thuật toán phân loại dữ liệu, áp dụng một số giải thuật của
KẾT LUẬN
Luận văn đề cập tới vấn đề tích hợp và quản lý tích hợp dữ liệu tập trung, mục đích thu thập và phân tích thời gian thực ở mức mô hình tối ưu hóa. Đây là các vấn đề đang được quan tâm và nghiên cứu nhằm giúp chúng ta khai thác và sử dụng các thông tin nhật ký nhằm thông báo, cảnh báo và dự báo các tình huống mà hệ thống gặp phải.
Về lý thuyết, luận văn đã trình bày tổng quan về nguồn gốc của dữ liệu không đồng nhất, lý giải tại sao cần thiết phải tích hợp dữ liệu tập trung, nêu rõ những khó khăn sẽ gặp phải khi thực hiện hệ thống và cuối cùng là đề xuất giải pháp từ kiến trúc mô hình, lựa chọn công nghệ xây dựng phần mềm quản lý thời gian thực.
Về thử nghiệm, luận văn có thực hiện xây dựng chương trình ở quy mô nhỏ, lắng nghe dữ liệu log ở một vài server khác nhau, thực hiện bước filter/format/tag để đưa về cấu trúc chung của các nguồn log và vận chuyển trực tiếp đến Elasticsearch để lưu trữ, cho phép người dùng tìm kiếm, dự đoán và cung cấp giao diện hiển thị thông tin về tình trạng hệ thống hoạt động.
Trong quá trình thực hiện luận văn tôi đã cố gắng tập trung tìm hiểu các vấn đề cơ bản và cốt lõi nhất của đề tài. Tuy nhiên do trình độ có hạn và thời gian không cho phép nên không tránh có những hạn chế và thiếu sót. Tôi rất mong nhận được sự nhận xét và góp ý của các thầy cô giao, bạn bè, đồng nghiệp và những người quan tâm để hoàn thiện hơn nghiên cứu của mình.
TÀI LIỆU THAM KHẢO
[1] The Logstash Book. Version v1.4.3. Publisher by You Lulu Inc. James Turnbull. 2014
[2] A Gentle Introduction to ROS, chapter 4: Log messages. Publisher by CreateSpace Independent Publishing Platform. Jason M. O’Kane. 2013
[3] Oracle JDBC Logging using java.util.logging, An Oracle White Paper. 2009.
[4] I Heart Logs. Publisher by O'Reilly Media; 1 edition. Jay Kreps. 2014.
[5] System Logging and Log Analysis (AKA: Everything we know and hate about system logging. Marcus J. Ranum. 2014.
[6] Patricio Córdova. Analysis of Real Time Stream Processing Systems Considering Latency. University of Toronto patricio@cs.toronto.edu. 2015
[7] Centralised logging with rsyslog. Peter Matulis. 2009.
[8] Radomır Sohlich, Jakub Janostık, Frantisek Spacek. Centralized logging system based on WebSockets protocol. 13th International Conference on telecommunications and informatics, Istanbul,Turkey. 2014.
[9] Jay Kreps , Neha Narkhede , Jun Rao. Kafka: a Distributed Messaging System for Log Processing. LinkedIn Corp. 2015
[10] Arhs Cerebro Real-Time Engine, Business Analytics For All, http://www.ba4all.be.
[11] Centralized logging architecture series, http://logs101.com.
[12] Tom White. 2009. Hadoop: The Definitive Guide (1st ed.). O'Reilly Media, Inc..
[13] Splunk system, Splunk® Inc. Headquarters, http://www.splunk.com.
[14] Alberto Paro. 2013. Elasticsearch Cookbook. Packt Publishing
[15] MIT College of Engineering University of Pune. Real Time Generalized Log File Management and Analysis using Pattern Matching and Dynamic Clustering. International Journal of Computer Applications (0975 8887) Volume 91 - No. 16, April 2014.
[16] Monitor everything part 3, Logstash Improvements https://ianunruh.com.
[17] Johnvey Hwang. 2009. Splunk, innovation behind. In Proceedings of the Symposium on Computer Human Interaction for the Management of Information Technology (CHiMiT '09). ACM, New York, NY, USA, , pages. DOI=http://dx.doi.org/10.1145/1641587.1814304
[18] Alien Vault, Life Cycle of a Log, 2014, https://www.alienvault.com/doc-repo/usm/security- intelligence/AlienVault_Life_cycle_of_a_log.pdf
[19] Large Scale Log Analytics With Solr, Sematext group, http://blog.sematext.com.
[20] In-stream big data processing, Ilya Katsov, Highly Scalable Blog, https://highlyscalable.wordpress.com.