Phòng chống và điều tra tội phạm máy tính: thu thập và phân tích bằng chứng cứ log file

BAN CƠ YẾU CHÍNH PHỦ HỌC VIỆN KỸ THUẬT MẬT MÃ BÁO CÁO PHÒNG CHỐNG VÀ ĐIỀU TRA TỘI PHẠM MÁY TÍNH ĐỀ TÀI: THU THẬP VÀ PHÂN TÍCH CHỨNG CỨ TỪ LOG FILE Sinh viên thực hiện: Giảng viên hướng dẫn: Trần Văn Quang Đặng Thị Thu Phương Nguyễn Thị Hoài Phạm Thế Phong Nguyễn Mạnh Thắng Khoa ATTT – Học viện Kỹ thuật Mật Mã Hà Nội - 2021 i MỤC LỤC DANH MỤC TỪ VIẾT TẮT iv DANH MỤC BẢNG BIỂU v DANH MỤC HÌNH VẼ vi LỜI NÓI ĐẦU vii CHƯƠNG 1: TỔNG QUAN VỀ THU THẬP VÀ PHÂN TÍCH LOG FILE 1.1 Tổng quan Log file 1.1.1 Một số khái niệm 1.1.2 Tác dụng Log file 1.1.3 Cơ chế ghi Log file 1.2 Thu thập phân tích Log file 1.2.1 Thu thập Log file 1.2.2 Phân tích log file 1.2.3 Log overflow aggregation 1.2.4 Cơng cụ phân tích Log 1.3 Tổng kết chương CHƯƠNG 2: THU THẬP VÀ PHÂN TÍCH LOG FILE 2.1 Windows log file 2.1.1 Windows Event Log 2.1.2 Windows Firewall Log 2.1.3 IIS Log File 2.2 Linux log file 14 2.2.1 Syslog 14 2.2.2 Apache Log 17 2.3 Log file ứng dụng 19 2.3.1 Email Log File 19 2.3.2 Firewall Log File 20 2.2.3 IDS/IPS Log File 21 2.4 Tổng kết chương 22 CHƯƠNG 3: THỰC HIỆN THU THẬP VÀ PHÂN TÍCH LOG FILE 23 ii 3.1 Phân tích log file sử dụng splunk enterprise 23 3.1.1 Mô hình triển khai 23 3.1.2 Các bước thực 23 3.2 Hệ thống quản lý log ELK Stack 32 3.2.1.Mô hình triển khai 32 3.2.2 Quy trình thực 32 3.2.3 Các bước thực 33 3.3 Windows Event Viewer 40 3.3.1 Application log 43 3.3.2 Security log 44 3.3.3 System Log 45 3.4 Tổng kết chương 46 KẾT LUẬN 48 TÀI LIỆU THAM KHẢO 49 PHỤ LỤC 50 iii CSR DANH MỤC TỪ VIẾT TẮT Certificate Signing Request FTP File Transfer Protocol GUI Graphical User Interface HIPAA Federal Health Insurance Portability and Accountability Act IDP Intrusion Detection Prevention IDS Intrusion Detection System IIS Internet Information Services ISA Internet Security Acceleration MTA Mail Transfer Agent PCI DSS Payment Card Indutry Data Security Standard SaaS software-as-a-service SSO Single sign on iv DANH MỤC BẢNG BIỂU Bảng 1: Tên trường ý nghĩa 13 Bảng 2: Bốn mục syslog 14 Bảng 3: Các loại Facility 15 Bảng 4: Các mức độ ưu tiên syslog 16 Bảng 5: Thư mục log ứng dụng quan trọng 17 v DANH MỤC HÌNH VẼ Hình 1: Vị trí Even log Hình 2: Hộp thoại IIS Manager (window Server 20112) 10 Hình 3: Tab Logging hộp thoại IIS Manager 11 Hình 4: Đường dẫn mặc định đến file log window server 2012 12 Hình 5: Một ghi IIS dạng W3C 13 Hình 6: Các tham số lệnh ghi log 17 Hình 7: Phân tích Email 20 Hình 1: Mơ hình thực nghiệm 23 Hình 2: Trang tải Xampp 24 Hình 3: Trang tải DVWA 26 Hình 4: Folder htdocs chứa folder DVWA-master 26 Hình 5: Tệp tin config.inc.php sau cấu hình lại 27 Hình 6: Khởi tạo DVWA 28 Hình 7: Giao diện khởi tạo DVWA thành công 28 Hình 8: Giao diện đăng nhập Splunk 29 Hình 9: Tấn cơng SQL Injection 30 Hình 10: Log file thu sau công SQL Injection 30 Hình 11: Thêm liệu Splunk 31 Hình 12: Màn hình chọn file log 31 Hình 13: Splunk phân tích log file thu 31 Hình 14: Mơ hình triển khai server ELK để quản lý thu thập log 32 Hình 15: Cài đặt Java 33 Hình 16: Trạng tháo hoạt động Elasticsearch 34 Hình 17: Trạng thái hoạt động Kibana sau cài đặt 34 Hình 18: Trang chủ đăng nhập thành cơng 35 Hình 19: Thông báo Config Validation Result 36 Hình 20: Trạng thái hoạt động logstash sau kích hoạt 36 Hình 21: Trạng thái hoạt động filebeat sau cài đặt 37 Hình 22: Cho phép filebeat gửi liệu đến logstash, hiệu hóa gửi liệu đến Elasticsearch 38 Hình 23: Danh sách modules 39 Hình 24: Các log xuất theo thời gian thực 39 Hình 25: Giao diện Event Viewer Windows (win server 2012) 43 Hình 26: Một ghi Application lỗi Event Viewer 44 Hình 27: Giao diện security log windows 44 Hình 28: Một cảnh báo mà system log thu 45 Hình 29: Thiết lập cho security properties 46 vi LỜI NÓI ĐẦU Hiện xuất nhiều loại tội phạm mới, công hệ thống thông tin quốc gia, sở liệu quan tổ chức, ngân hàng, doanh nghiệp, phát tán thông tin gây bạo động, phá hoại, lừa đảo qua mạng Cuộc đấu tranh chống lại loại tội phạm lĩnh vực cơng nghệ thơng tin thường khó khăn đối tượng sử dụng công nghệ để cơng xóa dấu vết Thu thập phân tích log việc cần thực q trình điều tra tội phạm máy tính Log hay cịn gọi nhật ký mục thơng tin hệ điều hành, ứng dụng sinh trình hoạt động Mỗi ghi log thường sinh theo hoạt động, kiện, nên gọi nhật ký kiện (event log) Các nguồn sinh log phổ biến bao gồm thiết bị mạng (như router, firewall…), hệ điều hành, máy chủ dịch vụ (máy chủ web, máy chủ sở liệu, máy chủ DNS, email…) chương trình ứng dụng Mục đích việc thu thập, xử lý phân tích log bao gồm: kiểm tra tuân thủ sách an ninh; kiểm tra tuân thủ vấn đề kiểm toán luật pháp; phục vụ điều tra số; phục vụ phản ứng cố an tồn thơng tin; hiểu hành vi người dùng trực tuyến, sở tối ưu hóa hệ thống cho phục vụ tốt cho người dùng quảng cáo trực tuyến Như vậy, việc xử lý phân tích log có nhiều ứng dụng, đặc biệt điều tra, đảm bảo an toàn thông tin cải thiện chất lượng hệ thống dịch vụ Hiện nay, giới có số tảng công cụ cho thu thập phân tích dạng log Tuy nhiên việc nghiên cứu cần tiếp tục thực Vì nhóm chúng em chọn đề tài “Thu thập phân tích chứng từ Log file” để nghiên cứu tìm hiểu Đề tài bao gồm chương: Chương 1: Tổng quan thu thập phân tích Log file Chương 2: Thu thập phân tích Log file Windows Chương 3: Triển khai thu thập phân tích Log file vii CHƯƠNG 1: TỔNG QUAN VỀ THU THẬP VÀ PHÂN TÍCH LOG FILE 1.1 Tổng quan Log file 1.1.1 Một số khái niệm Log file: máy tính, log file tập tin ghi lại kiện xảy thiết bị phần cứng, hệ điều hành, phần mềm chạy thông điệp người sử dụng khác phần mềm truyền thơng Ví dụ: Log file thiết bị firewall, router, moderm; Log file hệ điều hành Linux, Windows IOS; Log file ứng dụng Web, Mail, Database…; Log file phần mềm truyền thông Logging: hành động lưu giữ tập tin Trong trường hợp đơn giản, thông điệp ghi vào tập tin trình tự theo thời gian Những hành động làm sai lệch tập tin nhật ký phải ngăn chặn mức tối đa Transaction log: tập tin lưu giữ thông điệp liên lạc hệ thống với người sử dụng hệ thống đó, phương pháp thu thập liệu tự động ghi lại kiểu, nội dung thời gian giao dịch thực người từ thiết bị đầu cuối với hệ thống Ví dụ sở liệu Transaction log dãy record lưu trữ thông tin thao tác cập nhật liệu thực lên database Logrotation: để ngăn chặn Log file ngày lớn trở nên cồng kềnh, khó kiểm sốt, hệ thống quay vòng log file (Logrotation) nên cài đặt Hệ thống đưa lệnh để thiết lập tên cho log file mới, file cũ đổi tên cách thay số hậu tố Sự luân phiên cấu hình cho số lượng lớn file log files cũ bị xố ln phiên bắt đầu chạy Ví dụ: Trong /var/log có messages sau: messages, messages.1, messages20071111, messages-20071118, 1.1.2 Tác dụng Log file - Log file ghi lại liên tục thông báo hoạt động hệ thống dịch vụ triển khai hệ thống file tương ứng - Phân tích nguyên nhân gốc rễ vấn đề - Giúp cho việc khắc phục cố nhanh hệ thống gặp vấn đề - Giúp cho việc phát hiện, dự đoán vấn đề xảy hệ thống 1.1.3 Cơ chế ghi Log file 1.1.3.1 Cơ chế độc lập - Các ứng dụng tự ghi nhật ký vào thư mục riêng rẽ Khó theo dõi nhật ký - Nhật ký nhân hệ điều hành ứng dụng - Các ứng dụng khó sử dụng nhật ký - Khó phát ứng dụng có vấn đề 1.1.3.2 Cơ chế tập trung - Các ứng dụng gửi thông báo chung cho ứng dụng chịu trách nhiệm ghi nhật ký - Tùy theo mức độ ứng dụng nhật ký ghi thông tin phù hợp vào nhật ký - Giúp quản trị viên có nhìn chi tiết hệ thống, qua có định hướng tốt hướng giải - Mọi hoạt động hệ thống ghi lại lưu trữ nơi an toàn (log server) nhằm đảm bảo tính tồn vẹn phục vụ cho q trình phân tích điều tra cơng vào hệ thống - Log tập trung kết hợp với ứng dụng thu thập phân tích log khác giúp cho việc phân tích log trở nên thuận lợi hơn, giảm thiểu nguồn nhân lực 1.2 Thu thập phân tích Log file 1.2.1 Thu thập Log file Thu thập Log file trình theo thời gian thực để hiểu ghi tạo máy chủ thiết bị Thành phần nhận nhật ký thông qua tệp văn nhật ký kiện Windows Nó trực tiếp nhận nhật ký thông qua nhật ký hệ thống từ xa, hữu ích cho tường lửa thiết bị khác Mục đích q trình xác định lỗi ứng dụng hệ thống, cấu hình sai, nỗ lực xâm nhập, vi phạm sách vấn đề bảo mật 1.2.2 Phân tích log file Phân tích log file nghệ thuật việc trích dẫn đầy đủ ý nghĩa thông tin đưa kết luận trạng thái an toàn từ ghi thống kê việc sản sinh máy tính Phân tích log file khơng phải ngành khoa học, ngày nay, việc tin tưởng vào kỹ phân tích độc lập trực quan tính chất việc phân tích log chất lượng khái niệm khoa học Các kiện xảy thiết bị khác thời điểm khác tạo nên quan hệ tức thời (xuất thời gian ngắn) Đây lỗ hổng mà kẻ cơng phát hiện, quy tắc hệ thống phát xâm nhập đưa dự báo sai thử quét lỗ hổng hệ thống mạng Các cố gắng kết nối, nắm bắt dịch vụ sai lầm đa dạng hệ thống thường yêu cầu thực thi nhiều việc tạo mối quan hệ với nguồn thông tin khác theo nhiều mức để đạt thơng tin có ý nghĩa đầy đủ Những việc an ninh thông tin điều tra logfile, nhiên hầu hết hacker không để lại dấu vết log dễ dàng bỏ qua hệ thống phát xâm nhập Nếu hành động không bị ghi nhận lại khơng thể phân tích chúng Thêm vào đó, thiết kế hạ tầng cho logging kẻ công biết đến để thao tác logfile chúng bị xóa tất kẻ cơng muốn xóa bỏ dấu vết sau thâm nhập hệ thống Một lần nữa, cho phép kẻ xâm nhập xóa log khơng thể phân tích chúng Nhưng thực tế, log khơng phải lúc có thơng tin chi tiết Nếu log không đủ chi tiết để rút kết luận liệu khơng thể phân tích chúng nhiên việc phân tích log ln phải thực 1.2.3 Log overflow aggregation Thông tin từ log file đa dạng phong phú, nhiên không may mắn nhiều thông tin phức tạp để phân tích Lượng liệu hàng gigabite thông tin thu thập không bất thường công ty lớn, đặc biệt lượng thông tin chuyển dịch mạng log lại Trong tồn nhiều phương pháp để lưu trữ lượng thơng tin đó, việc làm cho chúng trở nên phân tích ứng dụng thiết bị giám sát lại câu chuyện khác Có log nhờ thiết bị thu thập địa điểm làm cho gia tăng tổng thể thông tin thu thập được, nhiên lại đơn giản hóa việc tồn hàng ngày phản hồi kiện đột xuất nhờ vào tốc truy cập log nhanh chóng Việc thống kê hiệu quả, lưu trữ an toàn có khả phân tích thuận tiện việc tập trung log thu Thêm vào đó, việc lưu trữ log cách an tồn bị thay đổi có ích kẻ xâm nhập bị phát dựa chứng cớ log Trong trường hợp này, tài liệu minh chứng cẩn thận chương trình ghi log cần thiết Trong việc tập trung log hệ thống Unix đạt dễ dàng nhờ syslog chuẩn, thay syslog làm việc cách tốt Việc tập trung log giúp hỗ trợ cho nhiều mục đích q trình biên dịch, mặt khác làm cho hệ thống trở nên an toàn Một kẻ xâm nhập cần phải công nhiều server xóa dấu vết Mặt khác, làm cho hệ thống trở nên thuận tiện hơn, người quản trị mạng cần đơn giản kết nối với thiết bị để xem tất logfile từ mạng Tuy vậy, có nhiều vấn đề xảy việc tập trung log, quan trọng phải giải lượng lớn thơng tin log Hình 19: Thơng báo Config Validation Result - Để kích hoạt kiểm tra trạng thái logstash thực câu lệnh: #systemctl enable logstash #systemctl start logstash #systemctl status logstash Hình 20: Trạng thái hoạt động logstash sau kích hoạt Bước 4: Cài đặt Beats/Filebeat Ubuntu Thực việc thu thập file log Server cài đặt nó, cấu hình để gửi tới Logstash Sử dụng lệnh: #sudo apt-get install apt-transport-https #sudo apt update #sudo apt install filebeat 36 Hình 21: Trạng thái hoạt động filebeat sau cài đặt - Cấu hình cho filebeat sử dụng trình soạn thảo vi nano /etc/filebeat/filebeat.yml - File cấu hình /etc/filebeat/filebeat.yml, mở chỉnh sửa nội dung sau: • Tìm đến mục Elasticsearch output comment lại để không gửi log thẳng đến Elasticsearch #output.elasticsearch: # Array of hosts to connect to # hosts: ["localhost:9200"] • Tìm đến Logstash output, bỏ comment để yêu cầu filebeat gửi đến Logstash (địa dùng địa máy centOS:) output.logstash: # The Logstash hosts hosts: ["192.168.220.133:5044"] 37 Hình 22: Cho phép filebeat gửi liệu đến logstash, vơ hiệu hóa gửi liệu đến Elasticsearch - Filebeat có nhiều module tương ứng với loại log thu thập, để xem trạng thái module thực lệnh #filebeat modules list - Sau muốn kích hoạt module thực theo cú pháp, ví dụ kích hoạt system, apache, mysql #filebeat modules enable system #filebeat modules enable apache #filebeat modules enable mysql 38 Hình 23: Danh sách modules 3.2.3.2 Xem log Kibana - Sau cài đặt ELK (một trung tâm quản lý log), nhận log từ server gửi đến Filebeat - Truy cập vào Kibana theo địa IP ELK, nhấn vào phần Discover, chọn mục Index Management Elasticsearch, xuất index có tiền tố filebeat*, index lưu liệu log Filebeat gửi đến Logstash Logstash để chuyển lưu Elasticsearch Hình 24: Các log xuất theo thời gian thực 39 3.2.3.3 Sử dụng Metasploit để công - sử dụng Metasploit khai tác lỗ hổng SSH, thực việc Brute-forcing vào máy ubuntu server thông lỗ hổng SSH Hình 3.25: Metasploit có sẵn kali linux - Thực nmap để lấy cổng dịch vụ mở server câu lệnh #nmap -sV 192.168.220.134 - Xuất cổng hoạt động server, sử dụng SSH để thực công - tìm kiếm kiểu cơng phù hợp Metasploit, cấu hình để thực cơng Brute-forcing vào máy ubuntu server 40 Hình 3.26: Cấu hình phù hợp để thực công - Sau thực cấu hình, gõ lệnh exploit run để thực cơng, Metasploit sử dụng thư viện mật có sẵn để cơng dị qt, dừng lại quét user password xác quét hết thư viện mật 41 Hình 3.27: Q trình dị quét mật diễn - Khi máy kali thực công vào ubuntu sinh log, log ghi lại chuyển vào vào filebeat (thành phần ELK stack), sau log chuyển tiếp đến Logstash để định hình lại đưa vào db Elasticsearch thời gian thực Hình 3.28: Các log sinh q trình máy kali cơng 42 3.3 Windows Event Viewer Event viewer cơng cụ tích hợp Windows cho phép xem lại kiện xảy hệ thống cách chi tiết với nhiều tham số cụ thể như: user, time, computer, services… Các kiện rời rạc lọc lại thành kiện giống giúp lấy thông tin cần thiết cách nhanh Trong Event viewer phân vùng kiện riêng biệt cho ứng dụng, máy chủ cài đặt mặc định có ba phân vùng event viewer: - Application - Security - System Hình 29: Giao diện Event Viewer Windows (win server 2012) 3.3.1 Application log Application log ghi lại kiện ứng dụng khác từ nhà sản xuất khác symantec hay ứng dụng mail…Thường thiết lập application 32 mặc định ứng dụng nên đọc mà khơng thiết lập 43 Hình 3.30: Một ghi Application lỗi Event Viewer 3.3.2 Security log Đây log quan trọng hệ thống, ghi lại tồn thiết lập audit group policy Nhưng thiết lập group policy quan trọng thiết lập giám sát trình login vào hệ thống, truy cập liệu Hình 3.31: Giao diện security log windows 44 3.3.3 System Log System log thiết lập mặc định hệ thống giúp xem lại kiện: Bật, tắt, pause, disable, enable services hệ thống Ví service bật bị lỗi thời điểm ghi lại system log event viewer Hình 3.32: Một cảnh báo mà system log thu Lý người dùng WIN-M3BT2EI3DNH \ Administrator cung cấp cho lần tắt máy tính đột xuất 3.3.4 Log Properties Log properties giúp cấu hình dung lượng file log, cách xoá event cũ nào, tính lọc kiện 45 Hình 3.33: Thiết lập cho security properties Đây thiết lập cho security properties: Với file log tên đâu: %SystemRoot%\System32\Winevt\Logs\Security.evtx Dung lượng tối đa cho file log 20480 KB cấu hình lại to nhỏ hơn, dung lượng file long lớn 20480 KB hệ thống tự xoá kiện cũ theo thuật toán First in First out – (vào trước trước) 3.4 Tổng kết chương Trong chương sử dụng công cụ Splunk Enterprise để phân tích tệp nhật ký ghi lại kiện sảy webserver; Event Viewer tích hợp windows để xem lại kiện xảy hệ thống Triển khai Server ELK để quản lý thu thập log 46 47 KẾT LUẬN 48 TÀI LIỆU THAM KHẢO [1] https://www.sciencedirect.com/topics/computer-science/applicationlog?fbclid=IwAR0iFGvpOKSJ8IBccsTd31LmJbdZYw8VYZVMPxiaCUVP8yt8gi6 HqMJVSd0 [2] https://www.xplg.com/what-is-log-analysis-and-why-do-you-needit/?fbclid=IwAR13ScghDs3F7DlwONAmCTT8RUXRqXvbKJ5CRtbOWve5vyvjmLSlzPozY0 [3] https://www.sciencedirect.com/topics/computer-science/security-eventlog?fbclid=IwAR3rNQeT0CKLqdmQG5liNX2HAsfPYIZ1wDW0gFmsC51VZ8DA8 2DuvPZclqw [4]http://lab.dnict.vn/Resource/Courses/UnZip/149/201745_1/Resources/Dao%20tao %20phan%20tich%20Logfile%20va%20cong%20cu%20phong%20chong%20ATAN TT.pdf?fbclid=IwAR3xJTGxLeu0xFB6BHLH1bRwVDxeKQeTSimXe03own1okDuULICM-EG3XI [5]https://en.ryte.com/wiki/Log_File_Analysis?fbclid=IwAR2UianyTlEy52KfbXLsZ PlYLqjd0U8qfyEvtDVGjyEx0K200iGFJ_3iFpY 49 PHỤ LỤC 50 ... 2: Thu thập phân tích Log file Windows Chương 3: Triển khai thu thập phân tích Log file vii CHƯƠNG 1: TỔNG QUAN VỀ THU THẬP VÀ PHÂN TÍCH LOG FILE 1.1 Tổng quan Log file 1.1.1 Một số khái niệm Log. .. tổng quan Log file thu thập, phân tích log file Biết số kiểu log, ứng dụng chế ghi log file CHƯƠNG 2: THU THẬP VÀ PHÂN TÍCH LOG FILE 2.1 Windows log file 2.1.1 Windows Event Log Event log ghi lại... hiểu cách thu thập phân tích Windows Log, Linux Log, Application Log Biết đặc điểm, vị trí, thông tin số loại log 22 CHƯƠNG 3: THỰC HIỆN THU THẬP VÀ PHÂN TÍCH LOG FILE 3.1 Phân tích log file sử