Cùng với đó, Windows Server 2012 đang ngày càng được sử dụng phổ biến rộng rãi. Và chúng ta rất dễ nhận thấy việc ghi lại mọi hoạt động của hệ thống mang lại nhiều lợi ích vô cùng cần thiết. Tuy nhiên, việc để phân tích được file log đối với nhiều người không phải là chuyện dễ dàng và không phải ai cũng làm được. Mà đặc biệt là đối với Windows Server 2012 hoặc đối với những người chưa thao tác nhiều với việc phân tích hoạt động của một hệ thống. Đây là lý do nhóm chúng em chọn “Triển Khai Phân Tích File Log Trên Windows Server 2012” làm đề tài Đồ án chuyên đề Mạng máy tính.
TRƯỜNG CAO ĐẲNG CÔNG NGHỆ THÔNG TIN HỮU NGHỊ VIỆT – HÀN KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN CHUYÊN ĐỀ NGÀNH: MẠNG MÁY TÍNH Đề Tài: TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 GVHD: Th.S Lê Tự Thanh SVTH: Trần Văn Lợi Huỳnh Thanh Cường Lớp: CCMM07A Khóa học: 2013 – 2016 Đà Nẵng, tháng 06 năm 2016 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 LỜI NÓI ĐẦU Với tốc độ phát triển chóng mặt ngành công nghệ thông tin với nhu cầu lớn từ nhiều người sử dụng, dẫn đến hệ thống máy tính trở nên phức tạp, khó quản lý Nhiều hệ thống nơi, nằm phân tán Các hệ điều hành, ứng dụng, dịch vụ tạo nhiều nguồn khác Lượng liệu khổng lồ không ngừng gia tăng lại không tập trung Vì vậy, cần phải ghi lại hoạt động hệ thống mà Log Thông thường, ghi lưu trữ phân tán thiết bị khác Kiểm tra log theo phương pháp truyền thống đăng nhập vào hệ thống để tìm kiểm tra, tìm kiếm lỗi gây thời gian, hiệu Ngày nay, để giải yêu cầu chúng em sử dụng ELK để phân tích log theo thời gian thực giúp quản lý đăng nhập tập trung, thao tác đơn giản tăng hiệu làm việc Có thể đáp ứng khối lượng lớn liệu gây phân phối lưu trữ xử lý, tìm kiếm văn đầy đủ, đăng nhập khai thác, thách thức trực quan Được xây dựng phần mềm mã nguồn mở Lucene tìm kiếm toàn văn Elasticsearch, có kích thước khổng lồ liệu để hoàn thành việc lập mục phân phối thu hồi, mà cung cấp phân tích tổng hợp số liệu; Logstash đối phó hiệu với nhiều nguồn liệu khác từ thông tin đăng nhập, bảng điều khiển Kibana phân tích kết trực quan Cùng với đó, Windows Server 2012 ngày sử dụng phổ biến rộng rãi Và dễ nhận thấy việc ghi lại hoạt động hệ thống mang lại nhiều lợi ích vô cần thiết Tuy nhiên, việc để phân tích file log nhiều người chuyện dễ dàng làm Mà đặc biệt Windows Server 2012 người chưa thao tác nhiều với việc phân tích hoạt động hệ thống Đây lý nhóm chúng em chọn “Triển Khai Phân Tích File Log Trên Windows Server 2012” làm đề tài Đồ án chuyên đề Mạng máy tính Nhóm chúng em xin gửi lời cảm ơn chân thành đến thầy Ths.Lê Tự Thanh đồng hành, định hướng, hỗ trợ nhiệt tình, với ý kiến đóng góp quý báu thầy giúp nhóm chúng em hoàn thành đồ án chuyên đề SVTH: Trần Văn Lợi_Huỳnh Thanh Cường i TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 MỤC LỤC LỜI NÓI ĐẦU i MỤC LỤC ii DANH MỤC HÌNH ẢNH iii CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 Giới thiệu đề tài 1.1.1 Bối cảnh thực đề tài 1.1.2 Mục đích thực đề tài .1 1.2 Giới thiệu file log 1.2.1 Log FTP 1.2.2 Log Firewall 1.3 Giới thiệu công cụ ELK (Elasticsearch + Logstash + Kibana) 1.3.1 Giới thiệu Elasticsearch 1.3.2 Giới thiệu Logstash 1.3.3 Giới thiệu Kibana 1.4 Yêu cầu hệ thống 1.5 Hướng dẫn cài đặt IIS Windows Server 2012 1.6 Cách lấy file log Windows server 2012 .8 1.6.1 Lấy Log FTP: 1.6.2 Lấy Log Firewall 10 CHƯƠNG 2: TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 12 2.1 Cài đặt công cụ ELK( ElasticSearch + Logstash + Kibana) 12 2.2 Triển khai phân tích file log FTP 24 2.2.1 Cài đặt, cấu hình log FTP .24 2.2.2 Phân tích .25 2.3 Triển khai phân tích file log Firewall 29 2.3.1 Cài đặt, cấu hình log Firewall 29 2.3.2 Phân tích .31 CHƯƠNG 3: KẾT LUẬN .37 3.1 Kết luận chung kết đạt 37 3.2 Đánh giá mức độ hoàn thành 37 SVTH: Trần Văn Lợi_Huỳnh Thanh Cường ii TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 DANH MỤC HÌNH ẢNH Hình 1.1 Nội dung file FTP Hình 1.2 Nội dung file log Firewall Hình 1.3 Các thành phần Logstash Hình 1.4 Kiến trúc ngăn sếp ELK Hình 1.5 Vào phần IIS Windows Server 2012 Hình 1.6 Chọn thông tin log FTP Hình 1.7 Cấu hình đăng nhập vào FTP Hình 1.8 Nội dung log FTP Hình 1.9 Cấu hình Firewall Windows Server 2012 10 Hình 1.10 Kiểm tra thông tin cài đặt 10 Hình 1.11 Nội dung log Firewall 11 Hình 2.1 Thêm cài đặt Java PPA .12 Hình 2.2 Cài đặt Java8 13 Hình 2.3 Nhập khóa GPG Elasticsearch .14 Hình 2.4 Cập nhật liệu 14 Hình 2.5 Cài đặt ElasticSearch 15 Hình 2.6 Mở file cấu hình ElasticSearch 15 Hình 2.7 Gán đại IP Port cho file cấu hình 16 Hình 2.9 Cài đặt Logstash 17 Hình 2.10 Mở file cấu hình Logstash 17 Hình 2.11 Lệnh cài đặt Kibana 18 Hình 2.12 Lệnh mở file cấu hình Kibana 19 Hình 2.13 Nội dung cấu hình 19 Hình 2.14 Cập nhật khởi chạy Kibana .20 Hình 2.15 Cấu hình liệu đầu vào 24 Hình 2.17 Chạy Access Log 25 Hình 2.18 Giao diện Kibana Log FTP 25 Hình 2.19 Top 10 phương thức truy cập FTP nhiều 26 Hình 2.20 Top 10 thời gian có lượt truy cập FTP cao 26 Hình 2.21 Top 20 trạng thái hoạt động FTP 27 Hình 2.22 Top địa IP truy cập FTP nhiều 27 SVTH: Trần Văn Lợi_Huỳnh Thanh Cường iii TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 2.23 Lượt đồ cột thời gian truy cập FTP 28 Hình 2.24 Top địa điểm có địa IP truy cập vào FTP .28 Hình 2.25 Bảng điều khiển nội dung phân tích FTP 29 Hình 2.26 Cấu hình liệu đầu vào 29 Hình 2.27 Chạy file cấu hình Logstash 30 Hình 2.28 Chạy Access log 30 Hình 2.29 Giao diên Kibana phân tích Log Firewall 31 Hình 2.30 Giao thức truy cập Firewall 31 Hình 2.31 Bảng quản lý log Firewall 32 Hình 2.32 Phân tích kích thước Firewall .32 Hình 2.33 TCP_syn_firewall 33 Hình 2.34 Top 10 dst_ip_firewall 33 Hình 2.35 Top 10_s_port_firewall .34 Hình 2.36 Top 10_src_ip_firewall 34 Hình 2.37 Top 20 mốc thời gian xảy kiện Firewall 35 Hình 2.38 Bảng điều khiển Firewall 35 Hình 2.39 Trạng thái phân tích Log Firewall 36 SVTH: Trần Văn Lợi_Huỳnh Thanh Cường iv TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 Giới thiệu đề tài 1.1.1 Bối cảnh thực đề tài Hiện nay, với xu phát triển kỷ lĩnh vực công nghệ thông tin, xâm nhập vào lĩnh vực đời sống người song song với đó, phải quản lý tốt file hệ thống máy chủ web máy chủ proxy để phát kịp thời, ngăn chặn nguy tiềm ẩn từ hoạt động web Trước đó, nhóm chúng em triển khai phân tích file log Web Apache công cụ ELK Tuy nhiên, hệ thống có nhiều loại log khác đòi hỏi nhiều hướng phát triển phù hợp có giá trị thực tế ứng dụng vào thực tiễn Chính thế, chúng em chọn “Triển khai phân tích file log Windows Server 2012” làm đề tài đồ án chuyên đề 1.1.2 Mục đích thực đề tài Triển khai phân tích, đánh giá trạng thái hoạt động quản lý tốt filelog tạo máy chủ có chứa tất thông tin hoạt động máy chủ 1.2 Giới thiệu file log File log tập tin tạo máy chủ web máy chủ proxy có chứa tất thông tin hoạt động máy chủ đó, thông tin người truy cập, thời gian khách viếng thăm, địa IP, liệu truy vấn File log có nhiều tác dụng webmaster phân tích xem người truy cập vào phần trang web nhiều chuyển sang xem mục trang web Log bao gồm ghi hệ thống, ghi ứng dụng, ghi bảo mật Hệ thống vận hành bảo trì, nhà phát triển đăng nhập cho phần cứng máy chủ phần mềm thông tin, lý cho việc kiểm tra lỗi cấu hình lỗi xảy Phân tích log thường hiểu máy chủ, hiệu suất, bảo mật để có biện pháp khắc phục kịp thời 1.2.1 Log FTP FTP (viết tắt File Transfer Protocol dịch “Giao thức truyền tập tin”) Thường dùng để trao đổi tập tin qua mạng lưới truyền thông dùng giao thức TCP/IP (chẳng hạn Internet – mạng ngoại – mạng nội bộ) Hoạt động FTP cần có hai máy tính, máy chủ mộtmáy khách) Máy chủ FTP, dùng chạy phần mềm cung cấp dịch vụ FTP, gọi trình chủ, lắng nghe yêu cầu dịch vụ máy tính khác mạng lưới SVTH: Trần Văn Lợi_Huỳnh Thanh Cường TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Log FTP sau: Hình 1.1 Nội dung file FTP 1.2.2 Log Firewall Windows Firewall log tập tin văn thô xem thông qua trình soạn thảo Notepad trình soạn thảo văn mặc định cho file log Windows Firewall Tùy thuộc vào kích thước giới hạn đặt cho tập tin thời gian kiện xảy hệ thống Log Firewall có nội dung sau: Hình 1.2 Nội dung file log Firewall SVTH: Trần Văn Lợi_Huỳnh Thanh Cường TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 1.3 Giới thiệu công cụ ELK (Elasticsearch + Logstash + Kibana) 1.3.1 Giới thiệu Elasticsearch Elasticsearch công cụ mã nguồn mở tìm kiếm toàn văn phân tích khả mở rộng Nó cho phép bạn lưu trữ, tìm kiếm phân tích khối lượng lớn liệu cách nhanh chóng gần thời gian thực.Nó thường sử dụng công cụ / công nghệ mà quyền hạn ứng dụng có tính tìm kiếm phức tạp yêu cầu Elasticsearch xây dựng công cụ tìm kiếm toàn văn dựa công cụ tìm kiếm Apache Lucene, viết Java Các tính chính: - Phân tích thời gian - Phân phối lưu trữ tập tin theo thời gian thực, lĩnh vực lập mục - Tài liệu định hướng, tất đối tượng tất tài liệu - Tính sẵn sàng cao, dễ dàng mở rộng, hỗ trợ cluster (Cluster), phân mảnh nhân rộng (Shards sao) - Giao diện thân thiện, hỗ trợ cho JSON 1.3.2 Giới thiệu Logstash Logstash công cụ mã nguồn mở cho việc thu thập, phân tích, lưu trữ ghi để sử dụng tương lai Sử dụng ngôn ngữ Jruby Các tính chính: - Bạn truy cập vào liệu - Có thể kết hợp với loạt ứng dụng bên - Hỗ trợ mở rộng đàn hồi Các thành phần chính: - Shipper: gửi liệu đăng nhập - Broker: thu thập liệu, tích hợp mặc định Redis - Dữ liệu Indexer: viết SVTH: Trần Văn Lợi_Huỳnh Thanh Cường TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 1.3 Các thành phần Logstash 1.3.3 Giới thiệu Kibana Kibana công cụ phân tích mã nguồn mở trực quan thiết kể để làm việc với Elasticsearch Kibana có giao diện web sử dụng để tìm kiếm, xem tương tác với liệu lưu trữ ghi mà Logstash lập mục Cho phép bạn tạo chia sẻ nhanh chóng biểu đồ động hiển thị thay đổi để Elasticsearch truy vấn thời gian thực Kibana dựa Apache giấy phép mã nguồn mở, sử dụng ngôn ngữ JavaScript Nó tìm thấy số Elasticsearch, liệu tương tác tạo loạt kích thước bảng FIG Có thể dễ dàng thực phân tích liệu tiên tiến hiển thị liệu bạn loạt biểu đồ, bảng biểu đồ Logstash-forwarder (tên gọi trước Lumberjack) nhiều "shipper" dùng để đẩy log đến server log tập trung, có nhiều tính đặc biệt sau: - Nhẹ dễ sử dụng (viết Go, không cần JVM) - Sử dụng mật mã để truyền liệu đường truyền SVTH: Trần Văn Lợi_Huỳnh Thanh Cường TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Nguyên lý hoạt động bản: Hình 1.4 Kiến trúc ngăn sếp ELK Quá trình thu thập log diễn sau: - Các Shipper( logstash-forwarder,…) từ Client đẩy log đến Broker, sau xử lý xong Broker đưa log vào hàng đợi trước chuyển tiếp đến Logstash - Logstash xử lý tin log vừa chuyển đến lưu trữ dạng JSON document vào ElasticSearch - ElasticSearch có nhiệm vụ lưu trữ tìm kiếm tất liệu - Sau tin Log hiển thị Kibana Web Interface 1.4 Yêu cầu hệ thống Nền tảng thử nghiệm: - Ubuntu Desktop 14.04 - Windows Server 2012 - RAM 4GB - CPU Phần mềm sử dụng: - ElasticSearch - LogStash - Kibana - Và số phần mềm hổ trợ như: Nginx, Logstash-forwarder JDK SVTH: Trần Văn Lợi_Huỳnh Thanh Cường TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Sau tìm đến dòng DOCUMENT_TYPE bỏ ghi thay đổi giá trị thành DOCCUMENT_TYPE: syslog Điều quy định bảng ghi Prospector kiểu syslog Tìm nhận xét phần đầu Logstash bỏ cách xóa dấu # phía trước Cấu hình Filebeat để kết nối với Logstash ELK Server cổng 5044 Thêm vào filebeat.yml dòng lệnh: bulk_max_size: 1024 Tiếp theo, tìm tới phần tls bỏ ghi dòng xác định certificate_authorities thay đổi giá trị sau thay đổi ta được: tls: # List of root certificates for HTTPS server verifications certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"] Lưu lại thoát Khởi động lại Filebeat: $ sudo service filebeat restart $ sudo update-rc.d filebeat defaults 95 10 SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 23 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 2.2 Triển khai phân tích file log FTP 2.2.1 Cài đặt, cấu hình log FTP Hình 2.15 Cấu hình liệu đầu vào Hình 2.16 Chạy file cấu hình Logstash SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 24 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 2.17 Chạy Access Log 2.2.2 Phân tích Hình 2.18 Giao diện Kibana Log FTP SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 25 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 2.19 Top 10 phương thức truy cập FTP nhiều Hình 2.20 Top 10 thời gian có lượt truy cập FTP cao SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 26 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 2.21 Top 20 trạng thái hoạt động FTP Hình 2.22 Top địa IP truy cập FTP nhiều SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 27 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 2.23 Lượt đồ cột thời gian truy cập FTP Hình 2.24 Top địa điểm có địa IP truy cập vào FTP SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 28 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 2.25 Bảng điều khiển nội dung phân tích FTP 2.3 Triển khai phân tích file log Firewall 2.3.1 Cài đặt, cấu hình log Firewall Hình 2.26 Cấu hình liệu đầu vào SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 29 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 2.27 Chạy file cấu hình Logstash Hình 2.28 Chạy Access log SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 30 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 2.3.2 Phân tích Hình 2.29 Giao diên Kibana phân tích Log Firewall Hình 2.30 Giao thức truy cập Firewall SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 31 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 2.31 Bảng quản lý log Firewall Hình 2.32 Phân tích kích thước Firewall SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 32 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 2.33 TCP_syn_firewall Hình 2.34 Top 10 dst_ip_firewall SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 33 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 2.35 Top 10_s_port_firewall Hình 2.36 Top 10_src_ip_firewall SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 34 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 2.37 Top 20 mốc thời gian xảy kiện Firewall Hình 2.38 Bảng điều khiển Firewall SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 35 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 2.39 Trạng thái phân tích Log Firewall SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 36 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 CHƯƠNG 3: KẾT LUẬN 3.1 Kết luận chung kết đạt Qua thời gian nghiên cứu, tìm hiểu nội dung đề tài cho thấy tầm quan trọng việc phân tích, đánh giá hiệu trình hoạt động dịch vụ hệ thống Windows Server 2012.Việc giúp người đánh giá hoạt động hệ thống giúp phát kịp thời mối đe dọa tiềm ẩn xâm nhập làm suy giảm khả hoạt động hệ thống, từ đưa định, giải pháp, cảnh báo kịp thời đảm bảo an toàn cho hệ thống liệu người dùng Do thời gian thực tập có hạn, điều kiện để triển khai đề tài, việc sưu tầm tài liệu kiến thức thân hạn chế Vì vậy, đồ án thực tập tốt nghiệp chúng em chắn nhiều thiếu sót, chưa đạt kết mong muốn Em mong quý thầy cô xem xét, đóng góp ý kiến giúp đỡ nhóm hoàn thiện tốt đề tài 3.2 Đánh giá mức độ hoàn thành Sau thời gian thực hiên đề tài nhóm chúng em tiến hành cài đặt, cấu hình phân tích thành công nội dung số File log hệ thống Windows Server 2012 Cụ thể Log FTP Log Firewall SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 37 ... TRÊN WINDOWS SERVER 2012 Hình 1.11 Nội dung log Firewall SVTH: Trần Văn Lợi_Huỳnh Thanh Cường 11 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 CHƯƠNG 2: TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN... Cường TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 Hình 1.7 Cấu hình đăng nhập vào FTP Hình 1.8 Nội dung log FTP SVTH: Trần Văn Lợi_Huỳnh Thanh Cường TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS. .. 23 TRIỂN KHAI PHÂN TÍCH FILE LOG TRÊN WINDOWS SERVER 2012 2.2 Triển khai phân tích file log FTP 2.2.1 Cài đặt, cấu hình log FTP Hình 2.15 Cấu hình liệu đầu vào Hình 2.16 Chạy file cấu hình Logstash