Nghiên cứu thuật toán máy học ứng dụng trong phát hiện bất thường

HUFI ĐẠI HỌC CÔNG NGHIỆP THỰC PHẨM KHOA CÔNG NGHỆ THƠNG TIN ĐỒ ÁN: Nghiên cứu thuật tốn máy học ứng dụng phát bất thường GVDH:TRẦẦ N Đ ẮẮ C TỐẮT SVTH:Nguyễễ n ThịThu Hà m ssv:2033180113 Đ inh Trương Thanh TuyễẦ n m ssv2033180137 Jens M artensson Insert or D rag and D rop your Im age I TỔNG QUAN II PHÁT HIỆN VÀ CHUẨN ĐOÁN BẤT THƯỜNG TỪ NHẬT KÝ HỆ THỐNG(DEEPLOG) III THỰC NGHIỆM VÀ KẾT QUẢ Jens M artensson TỔNG QUAN • PHÁT HIỆN BẤT THƯỜNG • HỆ THỐNG NHẬT KÝ • MACHINE LEARNING • DEEP LEARNING • MỘT SỐ VÍ DỤ Jens M artensson Insert or D rag and D rop your Im age PHÁT HIỆN BẤT THƯỜNG • ĐỊNH NGHĨA: • Phát bất thường hoạt động theo dõi, phân tích giám sát qt tồn hệ thống để phát mối đe dọa như: gia tăng đột ngột lượng truy cập mức bình thường so với phạm vi liệu khứ • CHỨC NĂNG • Theo dõi nguồn liệu thiết bị, nhật kí, máy chủ, mạng • Dự đoán xác định mối đe dọa • Theo dõi báo cáo hành vi bất thường nguồn khơng thuộc radar • Khai thác người dùng lừa đảo • Phân tích thơng tin máy chủ, người dung… Jens M artensson HỆ THỐNG NHẬT KÝ • ĐỊNH NGHĨA • Hệ thống nhật ký (logs) nơi ghi lại tất hoạt động, trạng thái kiện hệ thống • CHỨC NĂNG • Hệ thống nhật kí giải vấn đề lỗi hiệu suất, mối đe dọa đến an tồn hệ thống, phân tích ngun nhân gốc rễ cảnh báo đến người quản trị hệ thống • PHÁT HIỆN BẤT THƯỜNG VỚI HỆ THỐNG NHẬT KÝ • Việc sử dụng hệ thống nhật ký phát bất thường quan tâm… • Các phương pháp chia thành loại: • dựa PCA tiếp cận qua đếm thông báo nhật ký • dựa khai thác bất biến phương pháp để nắm bắt mẫu đồng xuất nhật ký khác khóa • phương pháp dựa quy trình làm việc để xác định dị thường thực thi luồng logic chương trình Jens M artensson MACHINE LEARNING • ĐỊNH NGHĨA • Máy học nhánh trí tuệ nhân tạo khoa học máy tính sử dụng liệu thuật toán để bắt chước cách người học, cải thiện độ xác • CHỨC NĂNG • Học máy thành phần quan trọng lĩnh vực khoa học liệu phát triển. Thông qua việc sử dụng phương pháp thống kê, thuật toán đào tạo để đưa phân loại dự đoán, khám phá hiểu biết quan trọng dự án khai thác liệu. Những thông tin chi tiết sau thúc đẩy việc đưa định ứng dụng doanh nghiệp, tác động lý tưởng đến số tăng trưởng • PHÂN LOẠI • Phương pháp có giám sát • Phương pháp không giám sát Jens M artensson D EEP LEARN IN G • ĐỊNH NGHĨA • Là nhánh máy học, liên quan đến cấu trúc chức não Sự kết nối nhiều tế bào thần kinh tạo nên Deep Learning • ỨNG DỤNG • Nhận diện giọng nói, hình ảnh, âm thanh, phân tích hình ảnh y tế,… Jens M artensson MỘT SỐ VÍ DỤ • K-Means Clustering • Là phương pháp gom cụm tiếng • K-Nearest-Neighbors (K-NN) • Lưu mẫu liệu tập huấn luyện điểm khơng gian đặc tính • Phân lớp mẫu cách đưa vào phân lớp có phần tử láng giềng gần (nearest neighbor) khơng gian đặc tính • Support Vector Machines (SVM) • SVM dùng cho toán nhị phân • Xét quy mô SVM giải nhiều vấn đề lớn hiển thị quảng cáo, phát giới tính hình ảnh, phân loại hình ảnh có phạm vi rộng (cần sửa đổi SVM cho phù hợp) Jens M artensson PHÁT HIỆN VÀ CHUẨN ĐOÁN BẤT THƯỜNG TỪ NHẬT KÝ HỆ THỐNG (DEEPLOG) • Khái quát • Logparser • Kiến trúc deeplog • Theat model • Phát bất thường (Anomaly detection) • Execution path anomaly • Giá trị tham số bất thường hiệu suất • Cập nhật trực tuyến mơ hình phát bất thường • Workflow Construction from Multi-task Execution • Tách mục nhật ký khỏi nhiều tác vụ • Sử dụng mơ hình phát bất thường deeplog • Sử dụng phương pháp phân nhóm dựa mật độ • Sử dụng mơ hình quy trình làm việc Jens M artensson 10 KHÁI QT • logparser • Phân tích cú pháp mục nhập nhật ký văn tự do, cấu trúc thành dạng có cấu trúc =>mơ hình liệu có cấu trúc • Phân tích nhật ký loại bỏ số lần xáo trộn giá trị tham số mục nhập nhật ký sử dụng khóa nhật ký để phát điểm bất thườngTheat model • Kiến trúc deeplog • ba thành phần chính: mơ hình phát bất thường khóa log, mơ hình phát bất thường giá trị tham số mơ hình quy trình làm việc để chẩn đốn bất thường phát • Theat model • Các lỗi dẫn đến hành vi thực thi sai hệ thống Jens M artensson 11 PHÁT HIỆN BẤT THƯỜNG(Anomaly dectetion) • Execution path anomaly • Mơ tả cách phát bất thường đường dẫn thực thi cách sử dụng chuỗi khóa nhật ký • Giá trị tham số bất thường hiệu xuất • Các vectơ giá trị tham số (đối với khóa nhật ký) tạo thành chuỗi vectơ giá trị tham số chuỗi từ khóa nhật ký khác tạo thành không gian đặc trưng đa chiều quan trọng để giám sát hiệu suất phát bất thường • Cập nhật trực tuyến mơ hình phát bất thường • Dữ liệu train khơng bao gồm tất chức thực thi bình thường có Hành vi hệ thống thay đổi theo thời gian Nên DeepLog cần cập nhật bước trọng số mơ hình LSTM để kết hợp thích ứng với mẫu nhật ký Sử dụng mơ hình phát bất thường deeplog • DeepLog cung cấp chế để người dùng cung cấp phản hồi Jens M artensson 12 Workflow Construction from Multi-task Execution • Tách mục nhật ký khỏi nhiều tác vụ • Tách mục nhật ký cho tác vụ khác tệp nhật ký • xây dựng mơ hình dịng cơng việc cho tác vụ dựa chuỗi khóa nhật ký • đầu vào vấn đề tồn chuỗi khóa nhật ký phân tích cú pháp từ tệp nhật ký thơ đầu tập hợp mơ hình quy trình làm việc • Sử dụng mơ hình phát bất thường deeplog • Tách khóa nhật ký • Input: chuỗi khóa nhật ký • • Output: xác suất tất giá trị khóa nhật ký có Xây dựng mơ hình quy trình làm việc • phân biệt điểm diver gence gây đồng thời (nhiều luồng) nhiệm vụ tác vụ mới, dễ dàng xây dựng mơ hình dịng cơng việc • Sử dụng phương pháp phân nhóm dựa mật độ • • Phân cụm khóa nhật ký dựa mẫu đồng xuất tách khóa thành tác vụ khác tỷ lệ đồng xuất thấp Xây dựng ma trận • Sử dụng mơ hình quy trình làm việc Jens M artensson 13 Q uy trình & dem o Q uy trình: chuẩẩ n bị:-công cụ:python,keras,tensorfl ow ,… -Bộ liệu dataset:HDFS thực hiện: -logparser:càiđặtpy2.7,pip,git,docker,anaconda,… Large Image slide -deeplog:càiđặtpy3.,pytorch,… Jens M artensson 14 Thank You ... • Máy học nhánh trí tuệ nhân tạo khoa học máy tính sử dụng liệu thuật toán để bắt chước cách người học, cải thiện độ xác • CHỨC NĂNG • Học máy thành phần quan trọng lĩnh vực khoa học liệu phát. ..ĐỒ ÁN: Nghiên cứu thuật toán máy học ứng dụng phát bất thường GVDH:TRẦẦ N Đ ẮẮ C TỐẮT SVTH:Nguyễễ n ThịThu Hà m ssv:2033180113... số mục nhập nhật ký sử dụng khóa nhật ký để phát điểm bất thườngTheat model • Kiến trúc deeplog • ba thành phần chính: mơ hình phát bất thường khóa log, mơ hình phát bất thường giá trị tham số