nghiên cứu kỹ thuật máy móc cho hệ thống phát hiện xâm nhập

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN luan van to

Trang 1

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 2

Công trình được hoàn thành tại Trường Đại học Công nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: TS Đặng Quang Vinh

Luận văn thạc sĩ được bảo vệ tại Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày tháng năm

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:

(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)

CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN

Trang 3

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: Võ Thanh Hải MSHV: 17112681 Ngày, tháng, năm sinh: 27/05/1994 Nơi sinh: Long an

Chuyên ngành: Khoa học Máy tính Mã chuyên ngành: 60480101

I TÊN ĐỀ TÀI:

Nghiên cứu kỹ thuật máy học cho hệ thống phát hiện xâm nhập

NHIỆM VỤ VÀ NỘI DUNG:

- Tìm hiểu các kĩ thuật phát hiện xâm nhập hiện tại

- So sánh, đánh giá một số kĩ thuật nhận dạng xâm nhập với tập dataset intrusion detection evaluation dataset - CICIDS 2017

- Nghiên cứu các phương pháp học máy, áp dụng phương pháp học máy vào nhận dạng phát hiện mạng bất thường

- Phân tích kết quả và đưa ra hướng phát triển

II NGÀY GIAO NHIỆM VỤ: 06/09/2019

III NGÀY HOÀN THÀNH NHIỆM VỤ: 15/10/2020

IV NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Đặng Quang Vinh

Tp Hồ Chí Minh, ngày … tháng năm 20

NGƯỜI HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO

TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN

Trang 4

i

LỜICẢMƠN

Để hoàn thành được bài luận văn thạc sĩ này, tôi xin bày tỏ sự cảm kích đặc biệt tới cố vấn của tôi, Tiến sĩ Đặng Quang Vinh - người đã định hướng, trực tiếp dẫn dắt và cố vấn cho tôi trong suốt thời gian thực hiện đề tài nghiên cứu khoa học Tôi xin gửi lời cảm ơn đến thầy bằng tất cả tấm lòng và sự biết ơn của mình

Tôi cũng xin gửi lời cảm ơn chân thành đến thầy Lê Nhật Duy – Phó khoa Công nghệ thông tin đã hướng dẫn và giúp đỡ các biểu mẫu và quy trình hoàn thành đề tài luận văn từ khi bắt đầu đăng ký đề cương đến khi bảo vệ luận văn

Tôi xin trân trọng cảm ơn Phòng quản lý Sau đại học đã giúp đỡ tôi về các thủ tục cần thiết để hoàn thành luận văn

Sau cùng, tôi xin tỏ lòng biết ơn đến Trung tâm điều hành quản trị mạng Tiên Phát – Cơ quan nơi tôi công tác, đã tạo điều kiện về thời gian, công việc để tôi có thể hoàn thành luận văn thạc sĩ

Xin chân thành cảm ơn tất cả mọi người!

Trang 5

ii

TÓMTẮTLUẬNVĂNTHẠCSĨ

Trong cuộc sống hiện nay, mạng Internet đang phát triển vượt bậc và đóng góp vai trò to lớn đối với cuộc sống của con người Internet chi phối đến nhiều khía cạnh của cuộc sống như kinh tế, giáo dục, khoa học xã hội … đặc biệt tác động mạnh mẽ đến thương mại điện tử Người dùng sử dụng các trang website bán hàng, ứng dụng mua bán hay thanh toán qua ví điện tử chứa nhiều rủi ro về bảo mật an toàn thông tin

Trong luận văn này, chúng tôi thực hiện tìm hiểu, đánh giá một số kĩ thuật xâm nhập đối với tập dữ liệu intrusion detection evaluation dataset 2017 Mục tiêu của nghiên cứu này là nghiên cứu một số phương pháp học máy và áp dụng các phương pháp học máy nhận dạng phát hiện mạng bất thường

Sản phẩm đề tài khi hoàn thành sẽ giúp các chúng ta có cái nhìn tổng quan về các phương pháp máy học vào việc nhận dạng phát hiện xâm nhập Trong bài luận văn này, tôi cố gắng tìm hiểu phối hợp các kĩ thuật nhận dạng nhằm tăng khả năng nhận diện, phát hiện được cuộc tấn công với tỉ lệ cao hơn đối với một số tập dữ liệu cụ thể

123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com

Trang 6

iii

LỜICAMĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của bản thân tôi Các kết quả nghiên cứu và các kết luận trong luận văn là trung thực, không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào Việc tham khảo các nguồn tài liệu (nếu có) đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định

Học viên

(Chữ ký)

Võ Thanh Hải

123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com

Trang 7

iv

MỤC LỤC

MỤC LỤC iv

DANH MỤC HÌNH ẢNH vi

DANH MỤC BẢNG BIỂU vii

DANH MỤC TỪ VIẾT TẮT viii

MỞ ĐẦU 1

1 Đặt vấn đề 1

2 Mục tiêu nghiên cứu 1

2.1 Mục tiêu nghiên cứu tổng quát 1

2.2 Mục tiêu nghiên cứu cụ thể 2

3 Đối tượng và phạm vi nghiên cứu 2

3.1 Đối tượng nghiên cứu 2

3.2 Phạm vi nghiên cứu 2

4 Cách tiếp cận và phương pháp nghiên cứu 2

4.1 Cách tiếp cận 2

4.2 Phương pháp nghiên cứu 2

5 Ý nghĩa thực tiễn của đề tài 3

CHƯƠNG 1 TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU VÀ CÁC CÔNG TRÌNH LIÊN QUAN 4

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT VÀ CÔNG TRÌNH LIÊN QUAN 7

2.1 Phát hiện bất thường và các loại tấn công 7

2.1.1 Các phát hiện bất thường 7

2.1.2 Các loại tấn công mạng: 7

2.2 Các thuật toán máy học: 9

2.2.1 Thuật toán Random Forest 10

2.2.2 Thuật toán AdaBoost 16

2.2.3 Thuật toán K-nearest neighbors 20

2.2.4 Thuật toán Naive Bayes 21

2.2.5 Thuật toán QDA (quadratic discriminant analysis) 25

2.2.6 Thuật toán MLP Classifier 28luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 8

v

2.2.7 Thuật toán ID3 31

2.2.8 Thuật toán ID3 32

2.3 Các nghiên cứu liên quan: 34

CHƯƠNG 3 PHƯƠNG PHÁP PHÁT HIỆN XÂM NHẬP VÀ CÁCH TIẾP CẬN BẰNG PHƯƠNG PHÁP HỌC MÁY 38

3.1 Mô hình thử nghiệm 38

3.2 Thực nghiệm 39

3.2.1 Giai đoạn tiền xử lý dữ liệu 39

3.2.2 Tạo dữ liệu huấn luyện và kiểm tra 41

3.2.3 Lựa chọn đặc trưng 42

3.2.4 Triển khai các thuật toán học máy 46

CHƯƠNG 4 KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ 48

4.1 Giới thiệu tập dữ liệu 48

4.2 Yêu cầu phần cứng 54

4.3 Yêu cầu phần mềm 54

4.4 Phương pháp đánh giá hiệu suất 55

4.5 Phân tích đánh giá 56

4.5.1 Phương pháp sử dụng 12 loại tấn công 56

4.5.2 Phương pháp sử dụng hai nhóm chứa luồng tấn công và luồng dữ liệu bình thường 59

KẾT LUẬN VÀ KIẾN NGHỊ 65

TÀI LIỆU THAM KHẢO 67

LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN 72

Trang 9

vi

DANH MỤC HÌNH ẢNH

Hình 1.1 Thể hiện danh mục tấn công của thế giới theo từng loại tấn công 4

Hình 1.2 Thể hiện sự thay đổi trong mục tiêu tấn công trong giai đoạn 2018-2019 5

Hình 2.1 Mối quan hệ giữa bất thường của mạng và tấn công mạng 9

Hình 2.2 Ví dụ về phân tách trong cây quyết định 11

Hình 2.3 Đặc trưng quan trọng tập dữ liệu CICIDS 2017 15

Hình 2.4 Biểu đồ trọng số của công cụ ước tính dưới dạng hàm của tổng sai số có trọng số chuẩn hóa 17

Hình 2.5 Ví dụ về mạng Bayes 23

Hình 2.6 Hai phương pháp để điều chỉnh các đường biên bậc hai 27

Hình 2.7 Một perceptron đơn giản 29

Hình 2.8 Cấu trúc của perceptron nhiều lớp 30

Hình 3.1 Mô hình thực nghiệm hệ thống 38

Hình 3.2 Đồ thị tầm quan trọng của đặc trưng theo nhãn luồng tấn công hoặc luồng bình thường 45

Hình 4.1 So sánh hiệu suất giữa Sharafaldin và luận văn 64

Trang 10

vii

DANH MỤC BẢNG BIỂU

Bảng 3.1 Bảng thể hiện số lượng mẫu theo từng loại tấn công 40

Bảng 3.2 Sự phân bố các đặc trưng và bốn đặc trưng có giá trị quan trọng nhất cho mỗi cuộc tấn công 43

Bảng 3.3 Tầm quan trọng của đặc trưng theo nhãn tấn công hoặc không tấn công 46

Bảng 3.4 Trọng số của đặc trưng theo luồng tấn công hoặc luồng bình thường 47

Bảng 4.1 Bảng dữ liệu data ghi nhận của tập dữ liệu CIC-IDS 2017 48

Bảng 4.2 F-Measure từng loại tấn công 57

Bảng 4.3 Bảng kết quả implement với 18 đặc trưng 60

Bảng 4.4 Thực hiện bộ đặc trưng bằng cách sử dụng Random Forest Regression cho tập dữ liệu 61

Bảng 4.5 Thuật toán máy học được cập nhật đặc trưng 62

Bảng 4.6 F-measure trong việc lựa chọn đặc trưng khác nhau 63

Bảng 4.7 So Sánh hiệu suất đạt được giữa luận văn và [13] 63

Trang 11

viii

DANH MỤC TỪ VIẾT TẮT

CICIDS CICFlowMeter intrusion detection evaluation dataset

CTSVM Clustering Trees based on SVM

DDOS Distributed denial of service

HTTP Hypertext transfer protocol

HTTPS Hypertext transfer protocol secure

QDA Quadratic discriminant analysis

RFCM Rough Fuzzy C-Means

SAMME Stagewise Additive Modeling using a Multi-class Exponential

Trang 12

1

MỞ ĐẦU 1 Đặt vấn đề

Trong cuộc sống hiện nay, mạng Internet đang phát triển vượt bậc và đóng góp vai trò to lớn đối với cuộc sống của con người Internet chi phối đến nhiều khía cạnh của cuộc sống như kinh tế, giáo dục, khoa học xã hội … đặc biệt là tác động mạnh mẽ đến thương mại điện tử Người bán - khách hàng sử dụng các trang website bán hàng, ứng dụng mua bán hay thanh toán qua ví điện tử … chứa nhiều rủi ro về bảo mật an toàn thông tin

Các cuộc tấn công mạng xảy ra thường xuyên, gây nên những tổn thất to lớn về kinh tế, mất an ninh bảo mật cho hệ thống Vì vậy, nhiều hệ thống xây dựng nhằm chống lại những cuộc tấn công từ bên trong lẫn bên ngoài môi trường internet Hệ thống phát hiện xâm nhập( intrusion detection systems - IDS) là một trong những hệ thống cần được nghiên cứu hơn nữa nhằm phát hiện và đưa ra các cảnh báo quan trọng đối với các cuộc tấn công khi xảy ra

Hệ thống phát hiện xâm nhập hoạt động dựa vào nhận dạng các cuộc tấn công đã biết thông qua các mẫu được cài đặt sẵn Tuy nhiên, điểm yếu của hệ thống này là không thể phát hiện mẫu tấn công mới Do đó, hệ thống phát hiện xâm nhập cần phải cập nhật các mẫu liên tục, các dấu hiệu tấn công đối với các cuộc tấn công mới Các giải pháp an ninh mạng cố gắng bảo vệ hệ thống khỏi các cuộc tấn công nhằm đảm bảo ba nguyên tắc sau: tính bảo mật, tính toàn vẹn và tính sẵn sàng

Trong bài luận văn này, tôi cố gắng tìm hiểu phối hợp các kĩ thuật nhận dạng nhằm tăng khả năng nhận diện, phát hiện được cuộc tấn công với tỉ lệ cao hơn đối với một số tập dữ liệu cụ thể

2 Mục tiêu nghiên cứu

2.1 Mục tiêu nghiên cứu tổng quát

Tìm hiểu, so sánh và phân tích các phương pháp hệ thống phát hiện xâm nhập

Trang 13

2

2.2 Mục tiêu nghiên cứu cụ thể

- Lựa chọn tập dữ liệu thích hợp bằng cách nghiên cứu toàn diện về tập dữ liệu phù hợp tương quan như trong môi trường mạng thực tế

- Tìm hiểu các thuật toán phù hợp bằng cách thực hiện nghiên cứu sâu về các thuật toán học máy

- Cài đặt, so sánh, đánh giá các thuật toán và đưa ra phương pháp tối ưu được hệ thống phát hiện xâm nhập với một số tập mẫu cụ thể

3 Đối tượng và phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu

- Không gian: Cài đặt và hiện thực phương pháp trên máy tính

4 Cách tiếp cận và phương pháp nghiên cứu 4.1 Cách tiếp cận

- Tìm hiểu tổng quan về các công trình nghiên cứu có liên quan và các thành tựu, hạn chế đã được hoàn thành trước đây

- So sánh, đánh giá một số kĩ thuật nhận dạng xâm nhập với tập dataset intrusion detection evaluation dataset - CICIDS 2017

4.2 Phương pháp nghiên cứu

- Phương pháp nghiên cứu dựa trên lý thuyết: thu thập, phân tích, xử lý thông tin dựa trên các tài liệu như sách, báo, tạp chí,…đã in ấn hoặc công bố trên internet liên quan đến hệ thống phát hiện xâm nhập IDS

- Phương pháp nghiên cứu dựa trên thực nghiệm: thông qua việc hiện thực giải pháp và vận hành thử nghiệm trên các tập dữ liệu đầu vào có độ tin cậy cao

Trang 14

3

5 Ý nghĩa thực tiễn của đề tài

Hiện nay, nhiều hệ thống phát hiện xâm nhập chỉ nhận dạng được các cuộc tấn công đối với các mẫu dữ liệu đã có sẵn Hệ thống phát hiện xâm nhập chưa có khả năng trong phân tích nhận diện được những cuộc tấn công mới xảy ra, đặc biệt trong giai đoạn hiện nay Do đó, hệ thống phát hiện xâm nhập cần tăng khả năng học và nhận dạng thêm các cuộc tấn công mới phát triển từ các mẫu có sẵn

Đề tài khi hoàn thành sẽ giúp các chúng ta có cách nhìn tổng quan về các cuộc tấn công; thu thập, phân tích các cuộc tấn công dựa trên các thuật toán máy học Luận văn cũng đưa ra đánh giá về độ tin cậy từng đặc trưng để đưa ra quyết định phương pháp, thuật toán phù hợp bằng cách thực hiện nghiên cứu toàn diện về các phương pháp học máy

Trang 15

4

CÁC CÔNG TRÌNH LIÊN QUAN

Trong cuộc sống hiện nay, mạng Internet đang phát triển vượt bậc và mỗi ngày có hàng triệu người giao tiếp với nhau qua môi trường internet [1] [2] Internet chi phối đến nhiều khía cạnh của cuộc sống như kinh tế, giáo dục, khoa học xã hội … đặc biệt là tác động mạnh mẽ đến thương mại điện tử Cùng với sự phát triển này, số lượng các cuộc tấn công được thực hiện trên Internet xu hướng ngày càng tăng và mức độ ngày càng nguy hiểm [3]

Hình 1.1 Thể hiện danh mục tấn công của thế giới theo từng loại tấn công Các loại tấn công ngày càng đa dạng về hình thức [4] và độ nguy hiểm ngày càng lớn theo thống kê của nhà mạng Verizon [5] [6]( theo cập nhật của verizon năm 2020 đến nay số cuộc tấn công ảnh hưởng đến 81 quốc gia, 32.002 cuộc tấn công xảy ra với 3.950 cuộc đánh cắp và vi phạm dữ liệu) Thiệt hại của các cuộc tấn công không chỉ ảnh hưởng lớn đến hoạt động hệ thống còn ảnh hưởng đến chi phí lớn về tiền bạc [7] và ảnh hưởng đến hệ thống trong nhiều lĩnh vực và ngành khác nhau Điển hình như cuộc tấn công ransomware Gandcrab năm 2019 gây ảnh hưởng đến hàng loạt hệ thống

Trang 16

5

đến nhiều công ty và gây ảnh hưởng khoản 2 tỷ đô [8] Hình 1.2 thể hiện mục tiêu tấn công trong giai đoạn 2018 – 2019 [6]

Hình 1.2 Thể hiện sự thay đổi trong mục tiêu tấn công trong giai đoạn 2018-2019

Để chống lại các cuộc tấn công này, chúng ta có thể phát hiện các cuộc tấn công với các biện pháp đảm bảo an toàn thông tin hoặc nhận dạng dựa trên bất thường hoặc nhận dạng thông qua chữ ký Một trong những phương pháp phát hiện tấn công nhằm đảm bảo an toàn dữ liệu thông qua chữ ký [9] Phương pháp phát hiện bất thường thông qua chữ ký là một trong những phương pháp hiệu quả nhưng cơ sở dữ liệu cần được cập nhật liên tục để phát hiện các cuộc tấn công kịp thời Tuy nhiên, khi cơ sở dữ liệu vẫn được cập nhật thường xuyên nhưng lỗ hổng zero-day [10] vẫn ảnh hưởng nghiêm trọng đến hệ thống Ngoài phương pháp dựa trên chữ ký, quá trình phân tích, kiểm tra và kiểm soát luồng dữ liệu mạng nhằm phát hiện hành vi bất thường cũng được đánh giá cao Phương pháp phát hiện hành vi bất thường có khả năng nhận dạng và phát hiện một số cuộc tấn công mới diễn ra chưa từng xuất hiện trước đây Do đó, nó phù hợp trong việc phát hiện các lỗ hổng mới của những cuộc tấn công zero-day [11]

Trong quá trình kiểm soát luồng dữ liệu, để nhận biết được luồng tấn công, chúng ta cần có mẫu dữ liệu tấn công hay luồng dữ liệu bình thường Mẫu dữ liệu tấn công là

Trang 17

6

mẫu dữ liệu có những đặc tính được xác định khác so với mẫu dữ liệu của luồng thông thường [12] Do đó, các mẫu phải được xác định, kiểm tra thông qua một quy tắc cụ thể các giá trị khi kiểm tra so với mẫu dữ liệu phải hợp lệ Quá trình kiểm tra sự bất thường có thể dựa vào ba tiêu chí [12]: một điểm bất thường, ngữ cảnh bất thường, bất thường chung Điểm bất thường xảy ra khi một mẫu dữ liệu khác hoàn toàn so với bộ dữ liệu với những đặc tính chung của bộ dữ liệu đó Với một ngữ cảnh bất thường thì hành vi không theo khuôn mẫu theo các điều kiện nhất định hoặc xảy ra trong các điều kiện nhất định Nếu tất cả dữ liệu bao gồm các dữ liệu tương tự có thuộc tính bất thường so với dữ liệu bình thường thì điều này được gọi là bất thường chung [12]

Trong hệ thống, internet luôn được tăng cường tính bảo mật bằng mã hoá SSL/TLS nhằm mã hoá dữ liệu trên đường truyền [13] Trong quá trình truyền dữ liệu, nếu dữ liệu được mã hoá nên việc quan sát dữ liệu thông qua chữ ký sẽ không hiệu quả Quá trình kiểm soát dữ liệu bất thường phụ thuộc nhiều vào kích thước gói tin trong quá trình truyền, số lượng gói tin truyền trong một đơn vị thời gian cũng như số lượng kết nối trên đơn vị thời gian Do đó, phương pháp phát hiện bất thường là ưu điểm để phát hiện một cách hiệu quả và ngăn chặn được các cuộc tấn công mạng

Trong luận văn này, tôi sẽ thực hiện thực thi các phương pháp học máy nhằm đánh giá được quá trình nhận diện được cuộc tấn công Sau khi thực hiện quá trình nghiên cứu, luận văn này sẽ xây dựng và đóng góp một phần bằng cách phát hiện mạng bất thường nhanh chóng và hiệu quả hơn

Trang 18

7

2.1 Phát hiện bất thường và các loại tấn công

2.1.1 Các phát hiện bất thường

Mẫu bất thường là một mẫu không có những đặc trưng được định nghĩa so với một mẫu dự liệu được định nghĩa trước[12] Quá trình nhận dạng mẫu bất thường trong phát hiện tấn công phải tuân theo các quy tắc cụ thể Các gói tin được cho là bất thường trong một mạng có thể được phân tích dưới 3 loại:

Điểm dữ liệu bất thường: nếu một mẫu dữ liệu khác với toàn bộ dữ liệu về đặc trưng được gọi là điểm bất thường [12]

Ngữ cảnh bất thường: hành vi khác so với mẫu dữ liệu phụ thuộc vào một số điều kiện nhất định [12]

Bất thường chung: nếu một gói tin chứa dữ liệu chứa các thuộc tính bất thường so với mẫu dữ liệu cho trước thì được gọi là sự bất thường chung [12]

Các cuộc tấn công mạng xảy ra vi phạm 3 tiêu chí bảo mật Cuộc tấn công có thể có trong 4 loại sau:

Trang 19

8

Tấn công từ chối dịch vụ: sẽ tấn công vào tài nguyên hệ thống, ngăn chặn truy cập của người dùng sử dụng dịch vụ hợp pháp Ví dụ tấn công từ chối dịch vụ bằng cách gửi một số lượng lớn yêu cầu đến máy chủ web [12] Các cuộc tấn công dos có thể làm ảnh hưởng băng thông và cạn kiệt nguồn tài nguyên hệ thống Trong khi băng thông bị ngẽn bởi một luồng dữ liệu truy cập rất lớn gây ảnh hưởng đến năng lực xử lý của hệ thống, làm tràn bộ nhớ và bộ xử lý của máy chủ[15]

Probe: những cuộc tấn công này nhằm mục đích thu thập thông tin với mục tiêu đã được xác định trước Thông qua cuộc tấn công này, những người tấn công có thể có nhiều thông tin quan trọng như cấu trúc mạng, hệ điều hành sử dụng, các loại đặc trưng của các thiết bị mạng Mặc dù cuộc tấn công này không ảnh hưởng trực tiếp đến hệ thống nhưng rất nguy hiểm vì đây là bước đầu tiên chuẩn bị nhiều vụ tấn công tiếp theo xảy ra có thể gây hại cho hệ thống [12]

U2R: trong loại tấn công này, người tấn công cố gắng giành quyền kiểm soát về quyền tài khoản để truy cập và đánh cắp các nguồn tài nguyên quan trọng Người tấn công có thể sử dụng lỗ hổng hệ thống hay tấn công để chiếm được tài khoản của người quản trị [12]

R2U / R2L: trong cuộc tấn công này, người tấn công xâm nhập vào hệ thống của nạn nhân để có được đặc quyền thực hiện gởi các gói tin từ máy tính nạn nhân Người tấn công có thể sử dụng lỗ hổng hệ thống hoặc tấn công để đạt được đặc quyền này [12]

Trang 20

9

Hình 2.1 Mối quan hệ giữa bất thường của mạng và tấn công mạng

2.2 Các thuật toán máy học:

Học máy được chia thành bốn nhóm theo liệu dữ liệu huấn luyện được gán nhãn hoặc không gán nhãn hoặc huấn luyện theo giám sát hay không: học giám sát, học không giám sát, học tập bán giám sát và học tăng cường

Học có giám sát: trong phương pháp này, dữ liệu huấn luyện đã được phân loại và gán nhãn Ví dụ: tất cả các luồng trong tập dữ liệu chứa thông tin thẻ / nhãn luồng dữ liệu bình thường hoặc nhãn luồng tấn công Ở giai đoạn tiếp theo, giai đoạn thử nghiệm / dự đoán, những nhãn được so với kết quả được tìm thấy bởi thuật toán được tính toán với hiệu suất cao [14] Tuy nhiên, học có giám sát rất tốn kém về bài toán chi phí Ví dụ một số thuật toán như cây quyết định, KNN, Random Forest

Học không giám sát: không thực hiện gán nhãn trong phương pháp này Thuật toán phân chia dữ liệu thành nhóm theo nhiều đặc trưng Phương pháp học không giám sát được sử dụng phổ biến trong các phát hiện bất thường Chi phí của phương pháp này thấp vì nó không yêu cầu gán nhãn vào dữ liệu[14]

Học bán giám sát: phương pháp lai giữa học có giám sát kết hợp với phương pháp học không giám sát Thông thường, một phần rất nhỏ của dữ liệu là nhãn, và phần

Trang 21

Trong luận văn này, các phương pháp học có giám sát sẽ được sử dụng để tận dụng tập dữ liệu tốt Về mặt khác, mục đích đạt được hiệu suất cao mà không bị ảnh hưởng về chi phí Phương pháp học máy được sử dụng gồm Naive Bayes, QDA, Random Forest, ID3, AdaBoost, MLP và K Nearest Neighbours Các thuật toán mô tả như sau:

2.2.1 Thuật toán Random Forest

2.2.1.1 Nguyên tắc cơ bản

Thuật toán random forest [17] là một thuật toán dựa trên mô hình cây quyết định Cây quyết định là một mô hình thực hiện dựa trên quá trình phân cấp quyết định Trong mô hình cây quyết định nhị phân được sử dụng phổ biến trong bài toán phân lớp với mỗi quyết định cho ra hai kết quả Cây quyết định nhị phân thường đơn giản trong quá trình huấn luyện và đưa ra kết quả trực quan Trong cây phân cấp, gốc chứa toàn bộ tập dữ liệu theo công thức như sau:

X = { 𝑥𝑥̅1 , 𝑥𝑥̅2,… 𝑥𝑥̅m} trong đó 𝑥𝑥̅i ∈ Rn

Trong cây quyết định, quá trình thực hiện phân cấp quyết định bằng cách áp dụng bộ lựa chọn:

σi = <I, ti> trong đó i ∈ (1, 𝑛𝑛) và ti ∈ ( min x(i), max x(i))

với chỉ mục đầu tiên của bộ dữ liệu tương ứng với một đặc trưng đầu vào và ti là ngưỡng một giá trị được chọn của từng đặc trưng Ứng dụng của một bộ chọn trong phân tách tại mỗi nút chứa một tập hợp con không trùng nhau trong tập dữ liệu Trong sơ đồ 2.2 , một ví dụ về biểu diễn phương pháp tách dữ liệu tại nút gốc:

Trang 22

11

Hình 2.2 Ví dụ về phân tách trong cây quyết định

Giả sử tập hợp Y có hai tập con được định nghĩa là Y11, Y12 có dữ liệu tương ứng i = 2 lớn hơn ngưỡng ti= 0,6 Quá trình phân tách tiếp tục cho đến khi nút lá chứa các điểm thuộc danh mục các nút yi Điểm mới 𝑥𝑥̅ 𝑗𝑗 có độ phức tạp tính toán O(log M) đi từ nút gốc đến một nút cuối cùng để xác định danh mục của nó Vấn đề cần quan tâm là cách thực hiện phân tách vì không thể chọn được đặc trưng hay ngưỡng không gây ảnh hưởng đến độ cân bằng và độ sâu của cây Do đó, mục tiêu cần tìm ra bộ chọn tối ưu tại mỗi nút để phân loại thành các danh mục rời rạc Một phép đo được áp dụng với tỷ lệ không đồng nhất tại nút cho thấy tạp chất của các mẫu thuộc nhiều danh mục khác nhau, nếu tạp chất bằng 0 thì chỉ một danh mục duy nhất xuất hiện Chúng ta cần tiếp tục tách cho đến khi một lá thuần xuất hiện để tạo kết quả có tạp chất thấp nhất [17]

Nếu có p lớp, danh mục có thể được xác định như sau:

Y = { y1 , y2,… ym} trong đó yi ∈ (1,p)

Một biện pháp xác định tạp chất rất phổ biến là Gini và nó dựa trên phân loại xác suất nếu một điểm dữ liệu được phân loại bằng nhãn ngẫu nhiên được chọn từ phân phối tập hợp nút Nếu tất cả các điểm thuộc về cùng một danh mục, ta chọn ngẫu nhiên bất kỳ đều có một phân loại đúng Độ đo được xác định như sau [17]:

Trang 23

12

Igini(𝑋𝑋𝑘𝑘) = �𝑞𝑞𝑗𝑗=1𝑝𝑝(𝑗𝑗|𝑘𝑘)(1 − 𝑝𝑝(𝑗𝑗|𝑘𝑘))

Tập hợp con được tạo bởi Xk và p(j|k) là tỷ lệ của các điểm dữ liệu thuộc lớp j trên kích thước mẫu Bộ chọn phải được chọn để giảm thiểu tạp chất Gini Một cách tiếp cận phổ biến khác là tạp chất entropy chéo, được định nghĩa như sau [17]:

ICE(𝑋𝑋𝑘𝑘) = �𝑞𝑞𝑗𝑗=1𝑝𝑝(𝑗𝑗|𝑘𝑘)𝑙𝑙𝑙𝑙𝑙𝑙𝑝𝑝(𝑗𝑗|𝑘𝑘))

Sự khác biệt chính giữa tập chất entropy và tạp chất gini là một số các khái niệm lý thuyết Mục tiêu là giảm sự không chắc chắn và được đo bằng entropy chéo Nếu có một phân phối rời rạc và tất cả các điểm dữ liệu thuộc cùng một danh mục, sự lựa chọn ngẫu nhiên có thể mô tả đầy đủ sự phân bố Thông tin thu được sau khi phân tách như sau [17]:

IG(σ) = H(Xparent) – H(Xparent | Xchildren)

2.2.1.2 Random forests và độ lệch phương sai

Random forests cung cấp một công cụ để thay đổi độ lệch phương sai Phương pháp đóng gói bắt đầu với việc lựa chọn người học yếu Bước thứ hai là tạo tập dữ liệu Nc( mẫu bootstrap) D1,D2,…DNC [17]:

Dp = { 𝑥𝑥̅S1 , 𝑥𝑥̅S2,… 𝑥𝑥̅Sm} trong đó 𝑥𝑥̅Sm ~ p ∈ (1,Nc)

Mỗi cây quyết định được huấn luyện bằng cách sử dụng bộ dữ liệu tương ứng một đặc trưng về tạp chất Trong random forest, các phép phân chia lựa không chọn tất cả đặc trưng nhưng chỉ thực hiện ngẫu nhiên với một tập con chứa các đặc trưng nhằm giảm phương sai Cách tiếp cận này làm kém hiệu quả trong quá trình huấn luyện, nhưng cho phép giảm phương sai đáng kể Việc cải thiện bias và tăng ước lượng là kết quả của sự kết hợp của chúng Trên thực tế, khi được huấn luyện với dữ liệu phân bố nơi khác nhau, giá trị trung bình của dự đoán xảy ra khi 𝑁𝑁𝑁𝑁 → ∞ Sau tất cả các mô hình, đại diện hàm 𝑑𝑑𝑖𝑖 ( ̅x ) đã được huấn luyện có kết quả với giá trị trung bình [17]:

Trang 24

13 ŷ =𝑁𝑁1

Trong một số trường hợp, trước khi thực hiện phân tách, ngưỡng ngẫu nhiên n được tính cho mỗi đặc trưng dẫn đến ít tạp chất nhất sẽ được chọn Cách tiếp cận này làm giảm quá trình huấn luyện nhưng đồng thời làm giảm phương sai Trên thực tế, tính ngẫu nhiên làm giảm khả năng của mô hình, buộc phải có một giải pháp tuyến tính Việc lấy mẫu có thay thế dẫn đến các phân bố khác nhau có thể được coi là tăng một phần ngẫu nhiên.Cây quyết định cần được kiểm soát bằng cách thiết lập độ sâu tối đa cho mỗi cây Bằng cách này, độ lệch được giữ trên mức tối thiểu nhưng tập hợp có phương sai nhỏ

Thuật toán random forest [17] hoàn chỉnh như sau: 1 Đặt số cây quyết định Nc

2 Đối với i = 1 đến Nc:

Tạo tập dữ liệu Di lấy mẫu với thay thế từ ban đầu tập dữ liệu X 3 Đặt số lượng đặc trưng cần xem xét trong mỗi Nf phân tách 4 Đặt thước đo tạp chất (ví dụ: tạp chất Gini)

5 Xác định độ sâu tối đa tùy chọn cho mỗi cây

Trang 25

14 6 Đối với i = 1 đến Nc:

a Random forest: huấn luyện cây quyết định 𝑑𝑑𝑖𝑖 (𝑥𝑥 ̅ ) bằng cách sử dụng tập dữ liệu Di và chọn phần tách tốt nhất giữa các đối tượng Nf được lấy mẫu ngẫu nhiên b Cây phụ: huấn luyện cây quyết định 𝑑𝑑𝑖𝑖 (𝑥𝑥 ̅ ) bằng cách sử dụng tập dữ liệu Di, tính toán trước mỗi ngưỡng phân chia n ngẫu nhiên và chọn ngưỡng tạo ra ít tạp chất nhất

7 Xác định một hàm đầu ra lấy trung bình các đầu ra đơn lẻ hoặc sử dụng đa số phiếu bầu

2.2.1.3 Lựa chọn đặc trưng

Một yếu tố quan trọng cần xem xét khi làm việc với cây quyết định thì random forest là tầm quan trọng của đặc trưng, là thước đo tỷ lệ với mức giảm tạp chất mà một đặc điểm cụ thể cho phép chúng ta đạt được Đối với cây quyết định, nó được định nghĩa như sau [17]:

𝐼𝐼𝑎𝑎𝑝𝑝𝑙𝑙𝑎𝑎𝐼𝐼𝑎𝑎𝑛𝑛𝑁𝑁𝐼𝐼(x�(𝑖𝑖)) = �𝑛𝑛(𝑗𝑗)𝑀𝑀 Δ𝐼𝐼𝑗𝑗𝑖𝑖𝑗𝑗

với n(j) biểu thị số lượng mẫu đạt đến nút j (tổng phải được mở rộng cho tất cả các nút nơi đặc trưng được chọn) và 𝛥𝛥𝐼𝐼𝑗𝑗𝑖𝑖 là mức giảm tạp chất đạt được tại nút j sau khi tách bằng cách sử dụng đặc trưng i Trong random forest, tầm quan trọng phải được tính bằng cách lấy trung bình của tất cả các cây [17]:

𝐼𝐼𝑎𝑎𝑝𝑝𝑙𝑙𝑎𝑎𝐼𝐼𝑎𝑎𝑛𝑛𝑁𝑁𝐼𝐼(x�(𝑖𝑖)) = 𝑁𝑁1

𝑐𝑐� �𝑛𝑛(𝑗𝑗)𝑀𝑀 Δ𝐼𝐼𝑗𝑗𝑖𝑖

Sau khi điều chỉnh một mô hình( cây quyết định hoặc random forest), scikit-learning xuất ra vectơ tầm quan trọng của đặc trưng feature_importances_instance Trong biểu đồ sau, có một biểu đồ thể hiện tầm quan trọng của từng đặc trưng theo thứ tự giảm dần:

Trang 26

15

Hình 2.3 Đặc trưng quan trọng tập dữ liệu CICIDS 2017

Sau khi phân tích ý nghĩa của từng thông số trong gói tin, ta thấy kích thước của gói tin, kích thước luồng dữ liệu, tổng kích thước của gói tin quan trọng hơn nhiều so với các thông tin Flow IAT, Flow ITA min hay Fwd ITA global Khi một tập dữ liệu đã chuẩn hóa, độ lớn tỉ lệ thuận với độ quan trọng đặc trưng theo cấu trúc sau [17]:

𝑙𝑙𝑙𝑙𝑙𝑙𝑖𝑖𝐼𝐼(𝑎𝑎) = 𝑎𝑎𝑥𝑥0+ 𝑏𝑏𝑥𝑥1+ 𝑁𝑁

Nếu 𝑥𝑥0, 𝑥𝑥1 ∼ 𝑁𝑁(0, 1) và a >> b, giá trị của x0 đủ mạnh để đẩy giá trị dự đoán lên trên hoặc dưới ngưỡng x1 Tầm quan trọng của đặc trưng trong cây quyết định cho chúng ta thước đo về khả năng của đối tượng để giảm tạp chất và dẫn đến dự đoán cuối cùng

Toàn bộ quá trình quyết định có thể được thể hiện cho một dự đoán dựa trên các đặc trưng đầu vào Vì mô hình đang làm việc với các đặc trưng độc lập về ngữ nghĩa nên có thể giảm kích thước của tập dữ liệu bằng cách loại bỏ tất cả các đặc trưng mà tầm quan trọng của chúng không có tác động cao độ chính xác cuối cùng Quá trình này được gọi là lựa chọn đặc trưng, nên được thực hiện bằng cách sử dụng các kỹ thuật thống kê phức tạp hơn, nhưng khi một bộ phân loại có thể tạo ra chỉ số quan trọng, thì cũng có thể sử dụng một lớp scikit-learning được gọi là SelectFromModel [17] Tầm quan trọng của đặc trưng là một chức năng của một nhiệm vụ cụ thể Một tập dữ liệu lớn sẽ chứa hàng ngàn đặc trưng nhưng trong đó chỉ có một số đặc trưng quan

Trang 27

16

trọng đối với một nhiệm vụ cụ thể và có khả năng loại trừ nếu thay đổi mục tiêu Nếu có nhiều mục tiêu cần dự đoán thì có thể thiết lập liên kết các dự đoán tạo ra các tập dữ liệu huấn luyện cho từng nhiệm vụ Cách tiếp cận này tạo nên đặc trưng quan trọng cho tập dữ liệu, hỗ trợ giảm chi phí tính toán và cải thiện được mô hình [17]

2.2.2 Thuật toán AdaBoost

AdaBoost là một thuật toán do Schapire và Freund đề xuất thực hiện tối đa hóa hiệu quả huấn luyện kém bằng cách sử dụng tăng thích ứng Tập hợp được thực hiện tuần tự và phân phối dữ liệu được tính toán lại ở mỗi bước để tăng trọng số của những điểm đã được phân loại sai và giảm trọng số những phân loại chính xác Trong quá trình huấn luyện buộc phải để tập trung vào nhiều vấn đề hơn đối với những ước tính trước Ngược lại với random forests và phương pháp đóng gói, adaboost không dựa vào tính ngẫu nhiên để giảm phương sai, nâng cao độ chính xác; sự cải thiện chủ yếu dựa trên trọng số, thay vì ngẫu nhiên Phương pháp này hoạt động theo cách xác định với mỗi dữ liệu phân phối mới được chọn với một mục tiêu chính xác [17]

Tập dữ liệu huấn luyện của AdaBoost.M1 [17] được định nghĩa như sau:

Tập trọng số cho phép xác định dữ liệu phân phối ngầm định 𝐷𝐷(𝐼𝐼)(𝑥𝑥̅ ), ban đầu tương đương với bản gốc nhưng có thể dễ dàng xác định lại bằng cách thay đổi giá trị wi Số lượng ước tính, Nc đã được chọn, có thể bắt đầu quá trình huấn luyện Thuật toán có thể được áp dụng cho bất kỳ giai đoạn huấn luyện nào có thể tạo ra các ngưỡng ước tính (trong khi các biến thể được đánh giá thực tế có thể hoạt động với các xác suất, chẳng hạn, thu được thông qua phương pháp chia tỷ lệ Platt) [17]

Trang 28

Trong thực tế, một giới hạn chặn trên được áp dụng để tránh tràn bộ đệm hoặc các phép chia bằng không Thay vào đó, khi 𝜖𝜖(𝐼𝐼)> 0,5, công cụ ước lượng không thể chấp nhận vì nó tệ hơn một phỏng đoán ngẫu nhiên và kết quả sẽ không tốt Để tránh vấn đề này, các triển khai thực phải đảo ngược đầu ra của ước lượng Điều quan trọng là luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 29

18

thuật toán này không nên được áp dụng trực tiếp cho nhiều lớp với các kịch bản bởi vì ngưỡng 0,5 tương ứng với suy đoán ngẫu nhiên chỉ cho các lựa chọn nhị phân Khi số lớp lớn hơn hơn hai, công cụ ước tính ngẫu nhiên xuất ra một lớp với xác suất 1/𝑁𝑁𝑦𝑦 ⁄ (trong đó Ny là số lượng lớp) và do đó, AdaBoost.M1 sẽ phân loại sai cách, mang lại độ chính xác cuối cùng kém (ngưỡng thực phải là 1 – 1/𝑁𝑁𝑦𝑦 , lớn hơn 0,5 khi Ny > 2) [17]

Thuật toán AdaBoost.SAMME (do scikit-learning thực hiện) đã được đề xuất để giải quyết vấn đề này và khai thác sức mạnh của boost trong các kịch bản nhiều lớp Hàm quyết định toàn cục được định nghĩa như sau:

Vì thuật toán này chuyên biệt hóa ở mỗi bước, nên cách thực hành tốt là bắt đầu với một số lượng nhỏ công cụ ước tính (ví dụ: 10 hoặc 20) và tăng số lượng cho đến khi không có cải tiến nào đạt được Một số phương pháp huấn luyện như SVM hoặc cây quyết định là đủ để đạt được độ chính xác cao nhất có thể (giới hạn đối với loại thuật toán này), nhưng trong một số trường hợp khác, số lượng công cụ ước tính có thể vài nghìn Tìm kiếm theo lưới và xác thực chéo lại là những chiến lược tốt duy nhất để lựa chọn đúng Sau mỗi bước đào tạo, cần phải cập nhật trọng số để tạo ra một phân phối được thúc đẩy Điều này đạt được bằng cách sử dụng một hàm mũ (dựa trên đầu ra lưỡng cực {–1, 1}):

𝑤𝑤𝑖𝑖(𝑡𝑡+1) = 𝑤𝑤𝑖𝑖(𝑡𝑡) 𝐼𝐼𝛂𝛂(𝑡𝑡)𝑜𝑜𝑖𝑖 𝐼𝐼𝑎𝑎𝑙𝑙𝑛𝑛𝑙𝑙 đó 𝑙𝑙𝑖𝑖 = � 1 𝑛𝑛ế𝑢𝑢 𝑑𝑑𝑖𝑖(x�𝑖𝑖) ≠ 𝑦𝑦𝑖𝑖

−1 𝑛𝑛ế𝑢𝑢 𝑑𝑑𝑖𝑖(x�𝑖𝑖) = 𝑦𝑦𝑖𝑖luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 30

19

Cho một điểm dữ liệu 𝑥𝑥𝑖𝑖, nếu nó bị phân loại sai, trọng số của nó sẽ tăng lên xem xét trọng số tổng thể của công cụ ước tính Cách tiếp cận này cho phép một vì một bộ phân loại có 𝛼𝛼(𝑡𝑡)cao đã rất chính xác và cao hơn mức độ chú ý là cần thiết để chỉ tập trung vào (một vài) điểm được phân loại sai Ngược lại, nếu 𝛼𝛼(𝑡𝑡) nhỏ, công cụ ước tính phải cải thiện hiệu suất tổng thể và quy trình vượt trọng số phải được áp dụng cho một tập hợp con lớn (do đó, phân phối sẽ không đạt đỉnh xung quanh một vài điểm, nhưng sẽ chỉ phạt tập hợp con nhỏ đã được phân loại chính xác, để ước tính tự do khám phá phần còn lại không gian với cùng một xác suất) [17]

Ngay cả khi không có trong đề xuất ban đầu cũng có thể đưa vào tỷ lệ 𝜂𝜂 nhân số mũ: 𝑤𝑤𝑖𝑖(𝑡𝑡+1) = 𝑤𝑤𝑖𝑖(𝑡𝑡)𝐼𝐼𝜂𝜂𝛼𝛼𝐼𝐼𝑜𝑜𝑖𝑖

Giá trị 𝜂𝜂 = 1 không ảnh hưởng, trong khi giá trị nhỏ hơn làm tăng độ chính xác bằng cách tránh chuyên môn hóa quá sớm Tất nhiên, khi 𝜂𝜂 ≪ 1, số lượng ước tính phải tăng trọng số và điều này có thể dẫn đến giảm hiệu suất đào tạo Đối với cái khác siêu tham số, giá trị phù hợp cho 𝜂𝜂 phải được phát hiện bằng cách sử dụng xác nhận kỹ thuật chéo (cách khác, nếu đó là giá trị duy nhất phải được tinh chỉnh, thì có thể bắt đầu với một và tiếp tục bằng cách giảm giá trị của nó cho đến khi độ chính xác tối đa đạt được) [17]

Thuật toán AdaBoost.M1 [17] hoàn chỉnh như sau: 1 Đặt nó và số lượng bộ ước lượng Nc

2 Đặt các trọng số ban đầu W(1) bằng 1⁄𝑀𝑀 3 Đặt tốc độ học 𝜂𝜂 (ví dụ: 𝜂𝜂 = 1)

4 Đặt phân phối ban đầu D(1) bằng tập dữ liệu X 5 Đối với i = 1 đến Nc:

a Đào tạo công cụ ước lượng thứ 𝑑𝑑𝑖𝑖(𝑥𝑥̅) với phân phối dữ liệu D (i) b Tính tổng lỗi có trọng số chuẩn hóa 𝜖𝜖 (𝑖𝑖):

Nếu 𝜖𝜖 (𝑖𝑖) > 0.5, đảo ngược tất cả các đầu ra của công cụ ước tính c Tính trọng số ước tính 𝛼𝛼(𝑖𝑖)

d Cập nhật trọng số bằng công thức hàm mũ (có hoặc không có tỷ lệ học tập) e Chuẩn hóa trọng lượng

Trang 31

20

6 Tạo công cụ ước lượng toàn cục áp dụng hàm dấu (•) cho trọng số tổng 𝛼𝛼(𝑖𝑖)𝑑𝑑𝑖𝑖(𝑥𝑥) ∀ 𝑖𝑖 ∈ (1, 𝑁𝑁𝑁𝑁)

2.2.3 Thuật toán K-nearest neighbors

KNN là một thuật toán instance-based, một trong những thuật toán có giám sát đơn giản nhất trong thuật toán học máy Khi giai đoạn huấn luyện, thuật toán này không

tham gia huấn luyện (thuật toán là thuật toán học lười - mọi tính toán được thực hiện

khi nó cần dự đoán kết quả của dữ liệu mới) K-nearest neighbor có thể áp dụng được vào cả bài toán phân lớp và hồi quy Ý tưởng chính của thuật toán này trong quá trình phân cụm là tạo dữ liệu pdata và giới hạn tập dữ liệu được phân tán: [17]

Trong đó, khoảng cách sẽ giảm theo p đồng thời hội tụ đến giá trị chênh lệch tuyệt đối lớn nhất với �𝑥𝑥1(𝑗𝑗)− 𝑥𝑥2(𝑗𝑗)� khi 𝑝𝑝 → ∞ Do đó, việc cân đối tất cả các thành phần theo cùng một cách để có metric nhất quán với các giá trị nhỏ của p được ưu tiên Nếu chúng ta xem xét một phân phối chung G của điểm M 𝑥𝑥̅𝑖𝑖 ∈ (0,1)d, một hàm khoảng cách dựa trên định mức Lp, tối đa 𝐷𝐷𝑚𝑚𝑚𝑚𝑚𝑚𝑝𝑝 , tối thiểu 𝐷𝐷𝑚𝑚𝑖𝑖𝑛𝑛𝑝𝑝 giữa hai điểm, 𝑥𝑥̅𝑗𝑗 𝑣𝑣à 𝑥𝑥𝑘𝑘 từ G với gốc 𝑂𝑂 ∈ ℝ𝑑𝑑, chúng ta có bất đẳng thức sau [17]

𝐶𝐶𝑝𝑝 ≤ ≤ (𝑀𝑀 − 1) 𝐶𝐶𝑝𝑝 𝑘𝑘ℎ𝑖𝑖 𝐶𝐶𝑝𝑝 ≥ 0

Thuật toán KNN xác định k mẫu gần nhất với mỗi điểm huấn luyện Khi một mẫu mới được chỉ định, quy trình được lặp lại với hai biến thể khả thi:

- Với giá trị xác định trước k, KNN được tính toán

Trang 32

𝑆𝑆(𝑥𝑥̅1 , 𝑥𝑥̅2) = 𝑓𝑓 �𝑑𝑑𝑝𝑝(𝑥𝑥̅1 , 𝑥𝑥̅2)� = 𝑑𝑑 1

𝑝𝑝(𝑥𝑥̅1 , 𝑥𝑥̅2) 𝑓𝑓𝑙𝑙𝑎𝑎 𝑑𝑑𝑝𝑝(𝑥𝑥̅1 , 𝑥𝑥̅2) ≠ 0

Hai người dùng A và B, được phân loại là hàng xóm, sẽ khác nhau về một số điểm nhưng sẽ chia sẻ một số điểm đặc biệt với nhau Tuy nhiên, chúng ta nên tăng tính đồng nhất bằng cách đề xuất các điểm khác biệt giữa hai người dùng Ví dụ, nếu A thích xe b1 và B thích b2 , chúng ta có thể giới thiệu b1 đến B và b2 đến A Nếu giả thuyết của chúng ta là đúng, sự giống nhau giữa A và B sẽ tăng lên; nếu không, hai người dùng sẽ chuyển sang các cụm khác thể hiện tốt hơn hành vi của nó [17]

2.2.4 Thuật toán Naive Bayes

2.2.4.1 Định lý Bayes và xác suất có điều kiện

Nếu chúng ta có một không gian xác suất Ω và hai sự kiện A và B thì xác suất của A cho trước B được gọi là xác suất có điều kiện và nó được định nghĩa là:

Trang 33

Do đó, vấn đề phân phối xác suất trong một vùng hạn chế nhiều thông tin và entropy thấp vì độ không chắc chắn được giới hạn theo phương sai Giả sử, nếu chúng ta phân phối Gaussian N(0.9 ,0.01), chúng ta sẽ kỳ vọng sẽ đạt cực đại xung quanh giá trị trung bình Trong trường hợp này, điều kiện có khả năng xảy ra hạn chế để thay đổi độ tin cậy trước đó, trừ khi kích thước mẫu là vô cùng lớn Ngược lại, nếu trung bình sau có thể được tìm thấy trong phạm vi (0.6,1.4) nhưng không chắc chắn về giá trị thực thì sử dụng một phân phối có entropy lớn hơn Lựa chọn này ít thông tin vì tất cả các giá trị có cùng xác suất và khả năng xảy ra nhiều hơn để tìm giá trị trung bình phù hợp [17]

2.2.4.2 Mạng Bayes:

Mạng Bayes là một mô hình xác suất được biểu thị bằng một đồ thị xoay chiều trực tiếp G = {V, E}, trong đó các đỉnh là các biến ngẫu nhiên Xi và các cạnh xác định sự phụ thuộc có điều kiện giữa chúng Trong sơ đồ sau, có một ví dụ của một mạng Bayes đơn giản với bốn biến: [17]

Trang 34

23

Hình 2.5 Ví dụ về mạng Bayes

Biến X4 phụ thuộc vào X3 , phụ thuộc vào X1 và X2 Chúng ta cần tính xác suất cận biên P (X1) và P(X2) và điều kiện xác suất P(X3 | X1, X2) và P(X4| X3) Trên thực tế, bằng cách sử dụng quy tắc chuỗi, chúng ta có thể suy ra xác suất chung đầy đủ như: [17] [18]

𝑃𝑃(𝑋𝑋1,𝑋𝑋2,𝑋𝑋3,𝑋𝑋4) = 𝑃𝑃(𝑋𝑋4|𝑋𝑋3)𝑃𝑃(𝑋𝑋3|𝑋𝑋1,𝑋𝑋2)𝑃𝑃(𝑋𝑋2)𝑃𝑃(𝑋𝑋1)

Biểu thức trên cho chúng ta thấy một khái niệm quan trọng về biểu đồ trực tiếp và đồ thị xoay vòng, mỗi biến độc lập có điều kiện với tất cả các biến khác Chúng ta có thể định nghĩa hàm Predecessors(Xi), trả về giá trị của nút bị ảnh hưởng đến Xi Chúng ta có thể đưa ra ví dụ như sau về người tiền nhiệm (X3) = {X1, X2} Chúng ta dùng hàm này để viết biểu thức chung cho xác suất chung của mạng Bayes với N nút như sau: [14]

Trang 35

24

Nếu quy tắc này không được đảm bảo, biểu đồ kết quả có thể chứa các quan hệ không có ích và có thể làm tăng độ phức tạp của mô hình Ví dụ: nếu X4 được gây ra gián tiếp bởi cả X1 và X2, việc thêm các cạnh 𝑋𝑋1 → 𝑋𝑋4 và 𝑋𝑋2 → 𝑋𝑋4 có vẻ tốt sự lựa chọn mô hình Chúng ta biết rằng ảnh hưởng cuối cùng đến X4 được xác định bởi giá trị của X3 có xác suất có điều kiện là X1 và X2 Như vậy, chúng ta có thể tự tin nói rằng 𝑋𝑋1 → 𝑋𝑋4 và 𝑋𝑋2 → 𝑋𝑋4 là các cạnh giả cần được bổ sung [17]

2.2.4.3 Lấy mẫu từ mạng Bayes

Nếu chúng ta thực hiện một suy luận trực tiếp mạng Bayes sẽ khó khăn trong vấn đề tính toán với số lượng biến và biên cao vì xác suất chung có thể trở nên phức tạp và tích phân cần thiết chuẩn hóa phân chia trong mạng Chúng ta cần tính hằng số chuẩn hóa để có được xác suất sau Nếu bước này không khả thi, chúng ta cần tìm các cách tiếp cận để giải quyết vấn đề này Một số phương pháp lấy mẫu đã được đề xuất Trong đoạn này, chúng ta sẽ trình bày cách xác định lấy mẫu xác suất từ một mạng bằng cách sử dụng phương pháp tiếp cận trực tiếp Chúng ta xem xét một mạng đơn giản với hai nút được kết nối X1 - X2 với các bản phân chia sau: [17]

�𝑋𝑋 𝑋𝑋1 ~ 𝑁𝑁(0.1,2)

2 ~ �𝑋𝑋1, 0.5 + �|𝑋𝑋1|�

Chúng ta có thể lấy mẫu trực tiếp để ước tính xác suất chung đầy đủ P (X1, X2) bằng cách sử dụng quy tắc chuỗi đã được giới thiệu trước đó

2.2.4.4 Lấy mẫu trực tiếp

Trong quá trình lấy mẫu trực tiếp, chúng ta ước tính xác suất chung thông qua một chuỗi các mẫu được rút ra từ điều kiện phân tán Nếu chúng ta giả định rằng biểu đồ có cấu trúc tốt (không có các cạnh không cần thiết) thì chúng ta có N biến, thuật toán được tạo thành từ các bước sau: [17]

Bước 1: Khởi tạo biến mẫu Nsamples

Bước 2: Khởi tạo một vectơ S có hình dạng N(N, Nsamples)

Trang 36

2.2.5 Thuật toán QDA (quadratic discriminant analysis)

Lý thuyết phân loại quyết định cho biết các lớp hậu nghiệm Pr(G | X) cần phân loại để tối ưu Giả sử fk(x) là mật độ có điều kiện lớp của X trong lớp G = k và đặt πk là xác suất của lớp k với ∑𝐾𝐾 𝜋𝜋𝑘𝑘 = 1

𝐾𝐾 = 1 Một ứng dụng của định lý Bayes cho chúng ta công thức sau: [19]

𝑃𝑃𝑟𝑟(G = k|X = x) = ∑ 𝑓𝑓𝑓𝑓𝑘𝑘𝑥𝑥𝜋𝜋𝑘𝑘

Chúng ta thấy rằng về khả năng phân loại, có fk(x) tương đương với đại lượng Pr (G = k | X= x)

Trang 37

26

Nhiều kỹ thuật dựa trên các mô hình cho mật độ lớp như sau: [19] - Phân tích phân loại tuyến tính và bậc hai sử dụng mật độ Gaussian; - Sắp xếp linh hoạt hơn đường biên phi tuyến Gaussian

- Ước tính mật độ phi tham số với mật độ lớp cho phép tính hoạt động linh hoạt nhất;

- Mô hình Naive Bayes là một biến thể của trường hợp trước với giả sử rằng mật độ mỗi lớp là sản phẩm của mật độ biên

Giả sử rằng chúng ta lập mô hình mật độ từng lớp dưới dạng Gaussian đa biến:

𝑓𝑓𝑘𝑘(𝑥𝑥) = 1

(2𝜋𝜋)𝑝𝑝�2|∑ 𝑘𝑘|1�2 𝐼𝐼−12(𝑚𝑚−𝜇𝜇𝑘𝑘)𝑇𝑇∑ (𝑚𝑚− 𝜇𝜇− 1𝑘𝑘 𝑘𝑘)

Phân tích phân biệt tuyến tính (LDA) trong trường hợp đặc biệt khi giả sử các lớp có một ma trận phương sai chung Σk = Σ ∀k Khi so sánh hai lớp k và ℓ và khi nhìn vào log-ratio, chúng ta thấy rằng một phương trình tuyến tính theo x Các ma trận phương sai bằng nhau làm cho hệ số chuẩn hóa và số mũ bậc bị xoá Hàm log tuyến tính quyết định ranh giới giữa lớp k - ℓ tập hợp với Pr (G = k | X = x) = Pr (G = ℓ | X = x) là tuyến tính theo x; trong các chiều p một siêu phẳng Nếu chúng ta chia IRp thành các vùng được phân loại là lớp 1, lớp 2, , các vùng này sẽ được phân tách bằng hyperplanes [19]

𝑙𝑙𝑙𝑙𝑙𝑙Pr(𝐺𝐺 = 𝑘𝑘 | 𝑋𝑋 = 𝑥𝑥)Pr(𝐺𝐺 = 𝑙𝑙 | 𝑋𝑋 = 𝑥𝑥) = log

𝑓𝑓𝑠𝑠(𝑥𝑥) + 𝑙𝑙𝑙𝑙𝑙𝑙𝜋𝜋𝑘𝑘

= 𝑙𝑙𝑙𝑙𝑙𝑙𝜋𝜋𝜋𝜋𝑘𝑘

𝑠𝑠 − 12(𝜇𝜇𝑘𝑘+ 𝜇𝜇𝑠𝑠)𝑇𝑇Σ−1(𝜇𝜇𝑘𝑘 − 𝜇𝜇𝑠𝑠) + 𝑥𝑥𝑇𝑇Σ−1(𝜇𝜇𝑘𝑘 − 𝜇𝜇𝑠𝑠) Đường biên quyết định đường phân giác vuông góc của các đoạn thẳng nối các tâm Điều này là trường hợp nếu phương sai Σ là hình cầu σ2I Chúng ta thấy rằng các hàm phân biệt tuyến tính là một mô tả tương đương của quy tắc quyết định, với G (x)= argmaxkδk(x): [19]

𝛿𝛿𝑘𝑘(𝑥𝑥) = 𝑥𝑥𝑇𝑇𝛴𝛴−1𝜇𝜇𝑘𝑘 − 12𝜇𝜇𝑘𝑘𝑇𝑇𝛴𝛴−1𝜇𝜇𝑘𝑘 + 𝑙𝑙𝑙𝑙𝑙𝑙𝜋𝜋𝑘𝑘

Trang 38

Σˆ = � � (𝑥𝑥𝑖𝑖− µˆk)(𝑥𝑥𝑖𝑖 − µˆk)𝑇𝑇/(𝑁𝑁 − 𝐾𝐾)

𝑔𝑔𝑖𝑖 = 𝑘𝑘𝐾𝐾

𝛿𝛿𝑘𝑘(𝑥𝑥) = −1

2𝑙𝑙𝑙𝑙𝑙𝑙|𝛴𝛴𝑘𝑘| −12(𝑥𝑥 − 𝜇𝜇𝑘𝑘)𝑇𝑇𝛴𝛴𝑘𝑘−1(𝑥𝑥 − 𝜇𝜇𝑘𝑘) + 𝑙𝑙𝑙𝑙𝑙𝑙𝜋𝜋𝑘𝑘

Hình 2.6 Hai phương pháp để điều chỉnh các đường biên bậc hai

Ranh giới quyết định giữa mỗi cặp lớp k và ℓ được mô tả bằng một phương trình bậc hai {𝑥𝑥 ∶ 𝛿𝛿𝑘𝑘(𝑥𝑥) = 𝛿𝛿𝑠𝑠(𝑥𝑥)}

Trang 39

28

Hình 2.8 bên trái là hình biên thể hiện quyết định bậc hai cho dữ liệu Hình 2.8 bên phải là hình biên cho phương trình bậc 2 của QDA Ví dụ trên là ba lớp tổ hợp Gaussian và các ranh giới quyết định được xấp xỉ bằng phương trình bậc hai theo x Dưới đây chúng ta minh họa hai cách phổ biến để điều chỉnh các ranh giới bậc hai n Việc sử dụng QDA như được mô tả ở đây, trong khi ô bên trái sử dụng LDA trong không gian đa thức bậc hai năm chiều Sự khác biệt nói chung là nhỏ; QDA là cách tiếp cận được phổ biến với phương pháp LDA là một thay thế [19]

Các ước tính cho QDA tương tự như cho LDA, ngoại trừ ma trận phương sai được ước lượng cho mỗi lớp Khi p lớn có nghĩa là một sự gia tăng đáng kể các thông số Khi quyết định đường biên là các hàm của các mật độ tham số, đếm số lượng các thông số phải được thực hiện cẩn thận Đối với LDA, có tham số (K - 1) × (p + 1), vì chúng ta chỉ cần sự khác biệt 𝛿𝛿𝑘𝑘(𝑥𝑥) − 𝛿𝛿𝐾𝐾(𝑥𝑥) giữa các hàm phân biệt trong đó K là một số lớp được chọn trước và mỗi sự khác biệt yêu cầu tham số p + 1.Tương tự như vậy đối với QDA sẽ có tham số (K - 1) × {p (p + 3) / 2 + 1} Cả LDA và QDA đều hoạt động tốt trên một tập hợp lớn và đa dạng nhiệm vụ phân loại LDA và QDA lại có thành tích tốt như vậy do không có khả năng là dữ liệu xấp xỉ Gaussian, ngoài ra LDA mà các phương sai xấp xỉ bằng nhau Nhiều khả năng một lý do dữ liệu chỉ có thể hỗ trợ các quyết định đường biên đơn giản như tuyến tính hoặc bậc hai, và các ước lượng được cung cấp thông qua các mô hình Gaussian Đây là sự cân bằng phương sai nên chúng ta có thể áp dụng phương sai với độ lệch tuyến tính Đường biên quyết định vì nó có thể được ước tính với phương sai thấp hơn nhiều lựa chọn thay thế [19]

2.2.6 Thuật toán MLP Classifier

Perceptron nhiều lớp (the multilayer perceptron) là một cấu trúc mạng nơron nhân tạo và là một công cụ ước tính phi tham số có thể được sử dụng để phân loại và hồi quy [20]

Trang 40

29

2.2.6.1 Tìm hiểu Perception

Perceptron là phần tử xử lý cơ bản, nó có thể là đầu vào hoặc đầu ra của perceptron khác Với mỗi thông số đầu vào, xj ∈ R, j = 1, …, d là trọng số liên kết hoặc trọng số kết nối thần kinh ( wj ∈ R) Với đầu ra y, là tổng trọng số của đầu vào [20]

𝑦𝑦 = � 𝑤𝑤𝑗𝑗𝑥𝑥𝑗𝑗 + 𝑤𝑤0

Hình 2.7 Một perceptron đơn giản

với xj, j = 1,…d là đơn vị đầu vào, x0 là đơn vị bias có giá trị 1, y là đơn vị đầu ra và wj là trọng số kết nối từ xj [20]

w0 là giá trị chặn để làm cho mô hình tổng quát hơn; trong đó, x0 là trọng lượng đến từ một đơn vị bias đặt biệt Chiều ra của perceptron sẽ có giá trị 𝑦𝑦 = 𝑤𝑤𝑇𝑇𝑥𝑥 với w = [w0,w1,…wd]T và x = [x1, x1, …xd]T là các vector gồm trọng số và đầu vào

2.2.6.2 Multilayer Perceptrons

Một perceptron có một trọng số có thể gần đúng với đầu vào của hàm tuyến tính và không thể giải quyết các vấn đề như XOR, trong đó phân biệt được ước lượng là phi tuyến tính Một perceptron không thể được sử dụng cho hồi quy phi tuyến với hạn chế không áp dụng cho các mạng truyền thẳng cho các lớp trung gian hoặc lớp ẩn giữa các lớp đầu vào và đầu ra Nếu được sử dụng để phân loại, các perceptron đa lớp