nghiên cứu các phương pháp phát hiện iot botnet dựa trên phân tích động và học máy

DANH MỤC TỪ VIẾT TẮT Từ viết tắt Viết đầy đủ Tiếng Anh Viết đầy đủ Tiếng Việt ARM Advanced RISC Machine Bộ xử lý dựa trên kiến trúc RISC Botnet Bots Network Mã độc tấn công thông qua mạn

Trang 1

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOA CÔNG NGHỆ THÔNG TIN 1

Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May

70Monday, June 10, 20244:18:23 PM4:18:23 PM70Monday, June 10, 20244:18:23 PM4:18:23 PM70Monday, June 10, 20244:18:23 PM4:18:23 PM

Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May

Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May

70Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayMonday, June 10, 2024

Trang 2

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOA CÔNG NGHỆ THÔNG TIN 1

Trang 3

LỜI CẢM ƠN

Đối với một sinh viên, đồ án tốt nghiệp là một minh chứng cho những kiến thức đã có được sau năm năm học tập Trong quá trình hoàn thành đồ án tốt nghiệp, ngoài những cố gắng của bản thân, em sẽ không thể hoàn thành tốt được công việc của mình nếu không có hướng dẫn của thầy giáo TS Hoàng Xuân Dậu Thầy đã luôn quan tâm, tận tình chỉ bảo em, cho em rất nhiều kiến thức và dẫn dắt em trong suốt quá trình học tập trên trường cũng như những giai đoạn khó khăn của đồ án

Em cũng xin chân thành cảm ơn các thầy, cô ngành An Toàn Thông Tin, khoa Công Nghệ Thông Tin đã dạy cho em các kiến thức hữu ích và quý giá để em có thể hoàn thành đồ án, cùng toàn bộ các cán bộ nhân viên Học viện Công nghệ Bưu chính Viễn thông Hà Nội vì đã tạo ra một môi trường học tập tốt cho sinh viên

Cuối cùng em xin gửi lời cảm ơn tới gia đình, bạn bè, người thân của em đã luôn bên em, quan tâm, động viên và tạo điều kiện tốt nhất để em có thể hoàn thành đồ án

Với trình độ hiểu biết còn nhiều hạn chế và vốn kiến thức vẫn còn ít ỏi nên trong đồ án của em không tránh khỏi những thiếu sót Em rất mong nhận được sự góp ý của các Thầy, Cô để đồ án của em được hoàn thiện hơn

Em xin chân thành cảm ơn!

Trang 4

NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM

(Của người hướng dẫn)

Trang 5

NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM

(Của người phản biện)

Trang 6

MỤC LỤC

LỜI CẢM ƠN 1

NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM 2

(Của người hướng dẫn) 2

NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM 3

(Của người phản biện) 3

1.1 Tổng quan về thiết bị IoT 10

1.1.1 Khái niệm thiết bị IoT 10

1.1.2 Kiến trúc và cách thức hoạt động của Internet of Things (IoT) 12

1.2 Tổng quan về IoT Botnet 14

1.2.1 Giới thiệu về Botnet 14

1.2.2 Tổng quan về IoT Botnet 18

1.2.3 Cấu trúc và nguyên lý hoạt động của IoT Botnet 21

1.3 Các phương pháp phát hiện IoT Botnet 23

1.3.1 Khái quát về phát hiện IoT Botnet 23

1.3.2 Phát hiện dựa trên phân tích tĩnh 24

1.3.3 Phát hiện dựa trên phân tích động 26

1.3.4 Phát hiện dựa trên phân tích lai 28

2.1.2 Phân loại các giải thuật học máy 32

2.1.3 Một số giải thuật học máy 33

2.1.3.1 Cây quyết định (Decision Tree) 33

2.1.3.2 Rừng ngẫu nhiên (Random Forest) 37 123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 7

2.1.3.3 Nạve Bayes (Nạve Bayes) 40

2.1.3.4 Máy vectơ hỗ trợ (Support Vector Machine) 42

2.2 Mơ hình học máy phát hiện IoT botnet 45

2.2.1 Bộ dữ liệu 46

2.2.2 Kiến trúc mơ hình tổng quan 46

2.2.3 Bộ chuẩn hĩa và tiền xử lý dữ liệu 47

CHƯƠNG 3: THỰC NGHIỆM VÀ ĐÁNH GIÁ 60

3.1 Mơi trường triển khai thực nghiệm 60

3.2 Kết quả thực nghiệm 61

3.2.1 Dữ liệu luồng mạng 61

3.2.2 Dữ liệu sử dụng tài nguyên hệ thống 62

3.3 Đánh giá kết quả thực nghiệm 64

Kết chương 65

KẾT LUẬN 66

DANH MỤC TÀI LIỆU THAM KHẢO 67Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 8

DANH MỤC TỪ VIẾT TẮT

Từ viết tắt Viết đầy đủ (Tiếng Anh) Viết đầy đủ (Tiếng Việt)

ARM Advanced RISC Machine Bộ xử lý dựa trên kiến trúc RISC Botnet Bots Network Mã độc tấn công thông qua mạng

máy tính CART Classification and Regression

Tree

Cây phân loại và hồi quy CPU Central Processing Unit Bộ xử lý trung tâm CFG Control Flow Graph Đồ thị luồng điều khiển

C&C Server Command and Control Server Máy chủ ra lệnh và điều khiển DDoS Distributed Denial of Service

Interlocked Pipeline Stages

Kiến trúc bộ tập lệnh RISC PDoS Permanent Denial of Service

attack

Tấn công từ chối dịch vụ vĩnh viễn

PSI Printable String Information Các chuỗi mang thông tin P2P Peer to Peer network Mạng ngang hàng

RAM Random Access Memory Bộ nhớ trong

RF Random Forest Thuật toán rừng cây ngẫu nhiên SVM Support Vector Machine Máy vectơ hỗ trợ

dịch vụ phân tán (DDoS) SSH Secure Socket Shell Giao thức mạng bảo mật

TCP Transmission Control Protocol Giao thức truyền tải hướng kết nối UDP User Datagram Protocol Giao thức truyền tải hướng không

Trang 9

DANH MỤC HÌNH ẢNH

Hình 1.1: Số lượng thiết bị IoT từ năm 2015 - 2025 12

Hình 1.2: Kiến trúc nền tảng cơ bản của IoT 12

Hình 1.3: Cấu trúc Botnet 15

Hình 1.4: Mô hình mạng hình sao 16

Hình 1.5: Mô hình mạng hình sao đa máy chủ 16

Hình 1.6: Mô hình liên kết dạng phân cấp 17

Hình 1.7: Mô hình ngang hàng 18

Hình 1.8: Vị trí của IoT Botnet trong các loại mã độc 19

Hình 1.9: Mối quan hệ giữa một số mã độc IoT botnet 19

Hình 1.10: Vòng đời của IoT Botnet 20

Hình 1.11: Quy trình lây nhiễm của IoT Botnet 22

Hình 1.12: Phương pháp phát hiện mã độc IoT Botnet 24

Hình 1.13: Các phương pháp phân tích lai 28

Hình 2.1: Quy trình học máy 30

Hình 2.2: Phân loại một vài mô hình học máy phổ biến 31

Hình 2.3: Mô tả chung về cây quyết định 34

Hình 2.4: Sơ đồ cây quyết định 36

Hình 2.5: Mô tả thuật toán Random Forest 38

Hình 2.6: Bài toán minh họa thuật toán Navie Bayes 41

Hình 2.7: Minh hoạ Multinomial Naive Bayes 42

Hình 2.8: Class SVM 43

Hình 2.9: Multi-Class SVM 43

Hình 2.10: Phân tích bài toán SVM 44

Hình 2.11: Mặt phân cách giữa 2 class 45

Hình 2.12: Mô hình tổng quan phát hiện IoT botnet 47

Hình 2.13: Confusion matrix 56

Hình 2.14: Biểu diễn TPR, FNR, FPR, TNR trên confusion matrix 57

Hình 2.15: Minh họa cách tính Precision và Recall 58

Hình 3.1: So sánh độ chính xác giữa các thuật toán học máy trong bộ dữ liệu luồng mạng 62

Hình 3.2: So sánh độ chính xác giữa các thuật toán học máy trong bộ dữ liệu sử dụng tài nguyên hệ thống 64Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 10

DANH MỤC BẢNG BIỂU

Bảng 2.1: Dữ liệu thống kê về đi chơi golf 35

Bảng 2.2: Mơ tả dữ liệu 46

Bảng 2.3: Mơ tả đặc trưng luồng mạng 48

Bảng 2.4: Mơ tả đặc trưng sử dụng tài nguyên hệ thống 49

Bảng 2.5: Đặc trưng dư thừa với dữ liệu luồng mạng 51

Bảng 2.6: Đặc trưng luồng mạng thử nghiệm 51

Bảng 2.7: Đặc trưng dư thừa với dữ liệu sử dụng tài nguyên hệ thống 53

Bảng 2.8: Đặc trưng sử dụng hệ thống thử nghiệm 54

Bảng 3.1: Kết quả dữ liệu luồng mạng sử dụng Cây quyết định 61

Bảng 3.2: Kết quả dữ liệu luồng mạng sử dụng Rừng ngẫu nhiên 61

Bảng 3.3: Kết quả dữ liệu luồng mạng sử dụng Nạve Bayes 61

Bảng 3.4: Kết quả dữ liệu luồng mạng sử dụng Máy vectơ hỗ trợ 62

Bảng 3.5: Kết quả dữ liệu sử dụng tài nguyên hệ thống sử dụng Cây quyết định 63

Bảng 3.6: Kết quả dữ liệu sử dụng tài nguyên hệ thống sử dụng Rừng ngẫu nhiên 63

Bảng 3.7: Kết quả dữ liệu sử dụng tài nguyên hệ thống sử dụng Nạve Bayes 63

Bảng 3.8: Kết quả dữ liệu sử dụng tài nguyên hệ thống sử dụng Máy vectơ hỗ trợ 64Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 11

MỞ ĐẦU

Internet of Things (IoT) đang là một xu thế phát triển mạnh trên toàn cầu Các thiết bị IoT xuất hiện phổ biến và ứng dụng vào hầu hết các lĩnh vực của đời sống, mang lại nhiều lợi ích cho xã hội Đi kèm với đó là các nguy cơ bị khai thác, đánh cắp dữ liệu hay bị sử dụng cho mục đích trái phép do nhận thức chưa đầy đủ và vấn đề bảo mật còn yếu Năm 2016, thế giới ghi nhận kỹ thuật tấn công từ chối dịch vụ mới sử dụng mã độc Mirai để điều khiển một mạng Botnet gồm các thiết bị IoT tấn công vào các công ty lớn của Mỹ và Pháp, với băng thông kỷ lục đến 1,5Tbps Việt Nam là nước có tỷ lệ các cuộc tấn công cao và là nơi xuất phát của các cuộc tấn công sử dụng mã độc Mirai cao nhất trên thế giới Để góp phần đảm bảo an ninh, an toàn hệ thống mạng nói chung và hệ thống mạng thiết bị IoT nói riêng, các phương pháp phát hiện mã độc đều dựa trên hai phương pháp chính là phân tích tĩnh và phân tích động Tuy nhiên, hạn chế lớn của phân tích tĩnh là khó có thể phát hiện sớm được mã độc IoT botnet, trong khi đó phân tích động đem lại hiệu quả và tính chính xác cao hơn Chính vì vậy, đồ án lựa chọn sử dụng phương pháp phân tích động để có thể phát hiện sớm mã độc IoT Botnet

Đồ án này tập trung vào nghiên cứu và ứng dụng các kỹ thuật học máy để xây

dựng mô hình phát hiện sớm IoT Botnet Đề tài lựa chọn “Nghiên cứu phát hiện IoT

botnet dựa trên phân tích động và học máy” bao gồm các nội dung chính sau:

Chương 1: Tổng quan về các thiết bị IoT, kiến trúc và cách thức hoạt động của

IoT, mã độc IoT Botnet và nguyên lý hoạt động của chúng Chương này cũng đề cập đến các phương pháp phát hiện IoT Botnet điển hình là phân tích tĩnh, phân tích động và phân tích lai

Chương 2: Tổng quan về học máy, phân loại và trình bày một số giải thuật học

máy phổ biến như: Cây quyết định, Rừng ngẫu nhiên, Naive Bayes và Máy vectơ hỗ trợ Ngoài ra, chương 2 sẽ giới thiệu bộ dữ liệu, cách chuẩn hóa và tiền xử lý dữ liệu và trích chọn đặc trưng Từ đó, xây dựng mô hình học máy phát hiện IoT Botnet tối ưu nhất và đánh giá bằng các độ đo

Chương 3: Trong chương này, đồ án sẽ trình bày về môi trường triển khai, kết

quả thực nghiệm và đánh giá kết quả trực quan nhất từ việc ứng dụng mô hình học máy xây dựng trong chương 2.

Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 12

CHƯƠNG 1: TỔNG QUAN VỀ IOT BOTNET VÀ CÁC PHƯƠNG PHÁP PHÁT HIỆN

1.1 Tổng quan về thiết bị IoT

1.1.1 Khái niệm thiết bị IoT

Thuật ngữ “Internet of things” (viết tắt là IoT) dạo gần đây xuất hiện khá

nhiều và thu hút không ít sự quan tâm chú ý của thế giới công nghệ Vì sự bùng nổ của IoT trong tương lai sẽ có tác động mạnh mẽ tới cuộc sống, công việc và xã hội loài người Đồng thời, nó đã dẫn đến việc gia tăng rủi ro an ninh mạng do thiếu bảo mật cho các thiết bị IoT [1] Thực tế, Internet of things đã manh nha từ nhiều thập kỷ trước Tuy nhiên mãi đến năm 1999, cụm từ IoT mới được đưa ra bởi Kevin Ashton [2] Ông là một nhà khoa học đã sáng lập ra Trung tâm Auto-ID tại Viện công nghệ Massachusets (MIT - Massachusetts Institute of Technology), nơi thiết lập các quy chuẩn toàn cầu cho RFID (Radio Frequency Idendification - một phương thức giao tiếp không dây dùng sóng radio) cũng như một số loại cảm biến khác Theo định nghĩa của Kevin Ashton, “Internet of Things” là “tập hợp các thiết bị cảm biến và bộ điều khiển nhúng được kết nối thông qua môi trường mạng (có dây và không dây)” Với định nghĩa của Kevin Ashton, thuật ngữ thiết bị “IoT” được sử dụng để chỉ các thiết bị cảm biến và bộ điều khiển nhúng điện tử

Hiện nay có rất nhiều cách giải thích hay khái niệm khác nhau về IoT được đưa ra, trong đó có thể kể đến khái niệm về IoT của Liên minh Viễn thông thế giới (ITU – International Telecommunication Union) [3] đã phần giúp làm sáng tỏ hơn về IoT

Theo ITU thì: “Internet of things là một cơ sở hạ tầng mang tính toàn cầu cho xã hội

thông tin, mang đến những dịch vụ tiên tiến bằng cách kết nối các “đồ vật” (cả vật lý lẫn ảo) dựa trên sự tồn tại của thông tin, dựa trên khả năng tương tác của các thông tin đó và dựa trên các công nghệ truyền thông Thông qua việc khai thác khả năng nhận biết, thu thập xử lý dữ liệu, công nghệ các hệ thống IoT tận dụng mọi thứ để cung cấp dịch vụ cho tất cả các loại ứng dụng khác nhau, đồng thời bảo đảm tính bảo mật và quyền riêng tư.”

Đến năm 2013, từ điển Oxford thêm thuật ngữ “Internet of Things”: “Internet

of Things (danh từ): là sự kết nối thông qua Internet của các thiết bị điện toán nhúng trong các đối tượng hàng ngày cho phép chúng có thể chia sẻ dữ liệu với nhau” Tổ

chức IREC (European Research Cluster on the IoT) cũng đưa ra khái niệm IoT như

sau: “IoT là một kiến trúc toàn cầu động, có khả năng tự cấu hình dựa trên giao thức

truyền thông tương tác tiêu chuẩn, ở đó các đồ vật (gồm cả vật lý và ảo) có khả năng

Trang 13

định danh và các tính chất vật lý và ảo hóa, có giao diện thông minh và kết hợp khéo léo với nhau để hòa vào hệ thống thông tin mạng”

Cũng theo cách tiếp cận này, Oracle có nêu: “IoT (Internet of Things - Vạn vật

kết nối Internet) mô tả mạng lưới các đối tượng vật lý được nhúng với các cảm biến, phần mềm và các công nghệ khác nhằm mục đích kết nối và trao đổi dữ liệu với các thiết bị và hệ thống khác qua Internet Các thiết bị này bao gồm từ các đồ vật gia đình thông thường đến các công cụ công nghiệp tinh vi.” [4]

Nhìn chung vẫn chưa có một khái niệm thống nhất nào về IoT, tuy nhiên các khái niệm của các tổ chức đã đưa ra thì đều cơ bản xoay quanh việc kết nối các đồ vật

qua mạng Internet Chính vì thế, đồ án cho rằng có thể hiểu đơn giản “IoT là nền tảng

bao gồm các “vật” (vật lý và ảo hóa) được tích hợp trên các vật dụng, con người, môi trường và có khả năng kết nối, chia sẻ và xử lý dữ liệu phục vụ các mục đích khác nhau” Trong phạm vi nghiên cứu, đồ án định nghĩa “thiết bị IoT là những “vật” (gồm vật lý và ảo hóa) đa kiến trúc, hạn chế về tài nguyên (có năng lực xử lý thấp, bộ nhớ lưu trữ nhỏ, nguồn điện năng thấp, ) có khả năng kết nối, chia sẻ, truyền tải và xử lý dữ liệu phục vụ các mục đích khác nhau” Thiết bị IoT có những đặc điểm khác biệt

với những công nghệ điện toán truyền thống hiện nay, như:

• Môi trường không được kiểm soát: các thiết bị IoT có tính di động và tự hành cao

• Tính không đồng nhất: các thiết bị IoT sử dụng một cách đa dạng các kiến trúc vi xử lý như: MIPS, ARM, PowerPC, MIPSEL,

• Tài nguyên hạn chế: các thiết bị IoT cũng bị hạn chế về tài nguyên như bộ nhớ thấp, năng lực tính toán nhỏ, năng lượng pin thấp

• Trạng thái động: Trạng thái của các thiết bị IoT thay đổi linh hoạt phụ thuộc vào hoàn cảnh của các thiết bị gồm vị trí, chức năng và tốc độ di chuyển

• Tính kết nối: Thông qua IoT, mọi vật có thể được kết nối, tương tác với cơ sở hạ tầng thông tin và truyền thông toàn cầu thường xuyên và liên tục

Internet của những thiết bị như máy móc và cảm biến dự kiến sẽ tạo ra 79,4 Zettabyte dữ liệu vào năm 2025, được dự đoán bởi IDC (International Data Corporation – Công ty dữ liệu quốc tế) Ngoài ra, IoT sẽ tăng trưởng với tốc độ tăng trưởng kép hàng năm là 28,7% so với năm 2020 đến năm 2025 Theo dự báo của Phòng nghiên cứu Statista (Đức), 75,44 tỷ thiết bị sẽ được kết nối với IoT trên toàn thế giới vào năm 2025 Công nghệ internet IoT là bước quan trọng tiếp theo trong việc biến thế giới thành một nơi kết nối

Trang 14

Hình 1.1: Số lượng thiết bị IoT từ năm 2015 - 2025

1.1.2 Kiến trúc và cách thức hoạt động của Internet of Things (IoT)

Công nghệ Internet of Things (IoT) có rất nhiều ứng dụng và việc sử dụng thiết bị Internet of Things đang phát triển nhanh hơn Tùy thuộc vào các lĩnh vực ứng dụng khác nhau của Internet of Things, nó sẽ hoạt động tương ứng như đã được thiết kế/ phát triển Nhưng IoT không có một kiến trúc làm việc xác định tiêu chuẩn được tuân thủ nghiêm ngặt trên toàn cầu Kiến trúc của IoT phụ thuộc vào chức năng và việc triển khai của nó trong các lĩnh vực khác nhau Tuy nhiên, có một quy trình cơ bản dựa trên đó IoT được xây dựng

Kiến trúc nền tảng cơ bản của IoT gồm 4 giai đoạn sau

Hình 1.2: Kiến trúc nền tảng cơ bản của IoT

Trang 15

Lớp cảm biến (SENSING LAYER)

Lớp cảm biến là nền tảng cho mọi hệ thống IoT, các thiết bị được kết nối có trách nhiệm cung cấp dữ liệu Để nhận các thông số vật lý bên ngoài hoặc bên trong chính đối tượng, các thiết bị cần có các cảm biến Cảm biến có thể được nhúng trong các thiết bị hoặc nằm độc lập để đo lường và thu thập dữ liệu từ xa

Một yếu tố không thể thiếu của lớp này là bộ truyền động Phối hợp chặt chẽ với cảm biến, bộ truyền động có thể biến đổi dữ liệu được tạo bởi các đối tượng thông minh thành hành động vật lý Tất cả những điều này được thực hiện mà không cần sự can thiệp của con người

Các đối tượng được kết nối không chỉ có khả năng giao tiếp hai chiều với các gateway hoặc hệ thống thu thập dữ liệu tương ứng mà còn có thể nhận ra và nói chuyện với nhau để thu thập, chia sẻ thông tin và cộng tác trong thời gian thực Tuy nhiên do các thiết bị sử dụng pin và hoạt động bằng pin, việc đạt được điều này không phải là dễ dàng vì việc giao tiếp như vậy đòi hỏi nhiều về yêu cầu tính toán, tiêu tốn năng lượng và băng thông Do đó, một kiến trúc vững chắc chỉ có thể quản lý thiết bị hiệu quả khi nó sử dụng giao thức truyền thông phù hợp, an toàn và nhẹ

Lớp mạng (NETWORK LAYER)

Mặc dù lớp này hoạt động gần với các cảm biến và bộ truyền động trên các thiết bị nhất định, nhưng nó vẫn là một lớp kiến trúc IoT riêng biệt vì nó rất quan trọng đối với các quy trình thu thập, lọc và chuyển sang cơ sở hạ tầng cạnh và nền tảng đám mây Là trung gian giữa những vật được kết nối với đám mây, các gateway và hệ thống thu thập dữ liệu là điểm kết nối liên kết các lớp còn lại với nhau

Lớp xử lý dữ liệu (DATA PROCESSING LAYER)

Đây là đơn vị xử lý của hệ sinh thái IoT Tại đây, dữ liệu được phân tích và xử lý trước khi gửi đến trung tâm dữ liệu, nơi dữ liệu được truy cập bởi các ứng dụng phần mềm thường được gọi là ứng dụng kinh doanh Đây là nơi dữ liệu được theo dõi và quản lý, các hành động tiếp theo cũng được chuẩn bị tại lớp này Mặc dù không phải là thành phần có ở mọi kiến trúc IoT, các thiết bị phân tích có thể mang lại lợi ích đáng kể cho các dự án IoT quy mô lớn

Lớp ứng dụng (APPLICATION LAYER)

Đây là lớp cuối cùng trong 4 giai đoạn của kiến trúc IoT Trung tâm dữ liệu hoặc đám mây có tác dụng lưu trữ, xử lý và phân tích khối lượng dữ liệu khổng lồ để hiểu sâu hơn bằng cách sử dụng các công cụ phân tích dữ liệu mạnh và các cơ chế học máy Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May

702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 16

1.2 Tổng quan về IoT Botnet

1.2.1 Giới thiệu về Botnet

Nhắc đến Botnet, không có một khái niệm nào được coi là đúng nhất Tìm kiếm trên các trang mạng hay sách báo, có thể trả về hàng trăm kết quả Do đó, để phù hợp với mục đích đề tài, đồ án này đưa ra khái niệm Botnet như sau:

Theo McAfee, Botnet (tên đầy đủ là “Bots network”) dùng để chỉ một mạng

lưới các máy tính bị chi phối và bị điều khiển từ xa bởi một máy tính khác để cùng thực hiện một nhiệm vụ nào đó Botnet là một phần mềm độc hại, đa phần các máy tính đều bị nhiễm bởi một Bot nào đó mà chúng ta không thể nào phát hiện được Máy tính bị nhiễm sẽ bị chi phối bởi một Botmaster hay Bot Header và điều khiển mọi hoạt động của máy tính đang dính mã độc làm cản trở hoạt động, gián đoạn, gây mất nhiều thời gian hoặc giảm năng suất công việc của người dùng thông qua các lệnh điều khiển

tại Command & Control Server (viết tắt là C&C Server) Một hệ thống Botnet từ 1000

đến vài chục nghìn máy tính và được gọi là “Zombie” để chỉ một mạng lưới các máy tính đang bị nhiễm Bot [5]

Các Botnet có đặc điểm chung là rất khó để bị phát hiện Chúng không gây cản trở các hoạt động bình thường của máy tính Chính vì vậy, người dùng thông thường không thể phát hiện ra được Một số loại Botnet còn được thiết kế để tránh bị rà quét bởi các phần mềm an ninh Theo thời gian, các Botnet sẽ có các thiết kế phức tạp hơn, và các phiên bản mới hơn sẽ có thêm các tính năng mới giúp chúng ẩn mình tốt hơn

Cấu trúc Botnet bao gồm các thành phần sau: Botmaster: Người đứng sau điều khiển botnet

C&C Server (Command and Control Server): máy chủ trực tiếp điều khiển và

ra lệnh cho các Bot trong mạng

Bot (hoặc Zombie): là các máy tính bị xâm nhập, bị cài phần mềm độc hại và

chịu sự điều khiển của C&C Server

Trang 17

Hình 1.3: Cấu trúc Botnet

Phân loại mạng Botnet:

Trong quá trình nghiên cứu, có thể phân loại Botnet theo nhiều khía cạnh khác nhau, có thể dựa trên giao thức sử dụng hoặc dựa trên kiến trúc, mô hình mạng Hai cách phân loại này đều có tính hợp lý riêng không thể phủ nhận Tuy nhiên do tính phổ biến, chúng ta sẽ đi sâu vào cách phân loại dựa trên mô hình mạng Botnet Theo khía cạnh này, chúng ta sẽ có 2 loại mạng Botnet là: mạng Botnet tập trung và mạng Botnet phân tán

Mạng Botnet tập trung: Mô hình máy khách – máy chủ (Client - Server)

Trong cấu trúc Client - Server, một mạng cơ bản được thiết lập với một máy chủ, hoạt động như Botmaster Botmaster kiểm soát việc truyền thông tin từ mỗi Client để thiết lập lệnh và điều khiển các thiết bị khách Mô hình Client - Server hoạt động với sự trợ giúp của phần mềm đặc biệt và cho phép Botmaster duy trì quyền kiểm soát Mô hình này có một vài nhược điểm như nó có thể được định vị dễ dàng và chỉ có một điểm kiểm soát Trong mô hình này, nếu máy chủ bị phá hủy, Botnet cũng sẽ không còn tồn tại

Hình 1.4, Hình 1.5, Hình 1.6 dưới đây là các mô hình mạng được thiết lập theo cấu trúc máy khách – máy chủ

Trang 18

Hình 1.4: Mô hình mạng hình sao

Hình 1.5: Mô hình mạng hình sao đa máy chủ

Trang 19

Hình 1.6: Mô hình liên kết dạng phân cấp

Trong mô hình mạng Botnet tập trung các Bot sẽ kết nối tới một số máy chủ C&C nhất định Các bước để một máy tính thông thường trở thành một Bot trong mạng Botnet tập trung gồm:

1 Lây nhiễm mã độc: máy tính bị nhiễm mã độc thông qua hình thức bất kỳ (truy cập website, mở tập tin độc hại trong thư điện tử, cài đặt phần mềm không tin cậy)

2 Gia nhập mạng Bot: sau khi lây nhiễm vào máy tính, mã độc sẽ thực hiện kết nối tới máy chủ điều khiển và biến máy tính trở thành Bot trong mạng Botnet của tin tặc

3 Sau khi có thông tin về Bot mới tin tặc có thể điều khiển Bot thông qua máy chủ C&C

Mạng Botnet phân tán: Mô hình ngang hàng (peer-to-peer)

Để khắc phục nhược điểm của việc dựa vào một máy chủ tập trung, các Botnet đã phát triển Các Botnet mới được kết nối với nhau dưới dạng cấu trúc ngang hàng, không tồn tại C&C Server mà các Bot sẽ đảm nhận luôn vai trò này Trong mô hình Botnet peer-to-peer, mỗi thiết bị được kết nối hoạt động độc lập như một Client và Server, phối hợp với nhau để cập nhật và truyền thông tin qua lại Cấu trúc Botnet peer-to-peer mạnh hơn do không có một nơi điều khiển tập trung duy nhất

Hình 1.7 dưới đây là mô hình mạng được thiết lập theo cấu trúc ngang hàng Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May

702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 20

Hình 1.7: Mô hình ngang hàng

Trong mô hình mạng Botnet P2P, các Bot sẽ không kết nối tới máy chủ C&C để nhận lệnh mà sẽ kết nối Bot láng giềng Các bước để một máy tính thông thường trở thành một Bot trong mạng Botnet P2P gồm:

1 Lây nhiễm mã độc: giống như mạng Botnet tập trung

2 Gia nhập mạng Botnet: sau khi đã lây nhiễm vào máy tính, mã độc cũng thực hiện kết nối máy (Bot) đã gia nhập mạng Botnet và trở thành một Bot 3 Sau khi đã gia nhập vào mạng Botnet, Bot sẽ nhận lệnh của tin tặc thông

qua các Bot láng giềng Đây cũng là điểm khác biệt với mạng Botnet tập trung, thay vì truyền lệnh tới các máy chủ điều khiển tin tặc có thể truyền lệnh tới bất kỳ một Bot thành phần nào trong mạng Botnet

4 Bot này sẽ quảng bá lệnh nhận được từ tin tặc tới tất cả láng giềng của mình Các láng giềng nhận được lệnh lại tiếp tục truyền lệnh tới láng giềng khác tới khi hết một khoảng thời gian cho phép hoặc đến khi phần tử đầu tiên truyền lệnh nhận được lệnh mà nó đã truyền đi

1.2.2 Tổng quan về IoT Botnet

IoT Botnet là mạng lưới các thiết bị được kết nối với Internet vạn vật (IoT), điển hình là bộ định tuyến, đã bị nhiễm mã độc (cụ thể là phần mềm độc hại IoT botnet) và rơi vào tầm kiểm soát của các tác nhân độc hại Phần mềm độc hại này cho phép kẻ tấn công kiểm soát các thiết bị Không giống như các mạng botnet truyền thống, các thiết bị IoT bị lây nhiễm tìm cách phát tán phần mềm độc hại của chúng, Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May

702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 21

liên tục nhắm mục tiêu vào ngày càng nhiều thiết bị Trong khi một mạng Botnet truyền thống có thể bao gồm hàng nghìn hoặc hàng chục nghìn thiết bị, thì một mạng IoT Botnet có quy mô lớn hơn, với hàng trăm nghìn thiết bị bị xâm phạm Trong đồ án này, mã độc IoT Botnet được xem như là mã độc Botnet lây nhiễm trên các thiết bị IoT cho rằng có thể hiểu đơn giản như sau “mã độc IoT Botnet là mã độc Botnet có khả năng tự lây nhiễm trên các thiết bị IoT, bị kết nối và điều khiển bởi tin tặc” Trong đó, đại đa số các thiết bị IoT chạy trên nền tảng biến thể của hệ điều hành Unix Những biến thể đó rất phổ biến bởi chúng chứa nhiều tiện ích phổ biến, và nhiều khả năng của Unix trong một tập tin thực thi Đó cũng là lý do đồ án này chỉ tập trung vào các tập tin thực thi trên Linux, có định dạng phổ biến là ELF (Executable Linkable Format)

Hình 1.8: Vị trí của IoT Botnet trong các loại mã độc

Hình 1.9: Mối quan hệ giữa một số mã độc IoT botnet

Trang 22

Hơn một thập kỷ trước, IoT botnet đầu tiên đã được công nhận Sau đó, nó được phát triển bởi nhiều IoT Botnet đến ngày nay Điển hình là Hydra IoT Botnet xuất hiện vào năm 2008 [6] [7] [8] đã lây nhiễm vào các bộ định tuyến và có khả năng tấn công và phát tán DDoS Mirai, vào năm 2016, là IoT Botnet lớn nhất đã lây nhiễm cho hàng triệu thiết bị và thống trị chúng để thực hiện cuộc tấn công từ chối dịch vụ DDoS lớn nhất từ trước đến nay [6] Năm 2016 cũng chứng kiến sự xuất hiện của một loại Botnet khác cạnh tranh với Mirai, được gọi là Hajime, một IoT Botnet sử dụng mô hình mạng ngang hàng (P2P) [9] Botnet này không để lại bất kỳ hành động phá hoại nào, mã độc chỉ đơn giản đóng một số cổng, ngăn chặn các thiết bị không nhiễm Mirai và các thiết bị tương tự, vì vậy một số người tin rằng nó có vai trò bảo vệ cho các thiết bị Internet of Things Ngoài ra, trong năm 2017, một mạng Botnet IoT có tên là Brickerbot đã xuất hiện nhằm mục đích phá hủy vĩnh viễn các thiết bị thông qua các cuộc tấn công từ chối dịch vụ vĩnh viễn (PDoS) Vào năm 2018, một mạng Botnet IoT mới đã xuất hiện để quét các thiết bị IoT dễ bị tấn công và phát tán phần mềm độc hại

của nó bên trong môi trường IoT Trong “IoT botnet of high wattage devices can

disrupt the power grid” [10], các nhà nghiên cứu đã điều tra một cuộc tấn công tiềm ẩn

trong đó một mạng Botnet sử dụng các thiết bị IoT có công suất điện cao để kiểm soát các yêu cầu và sau đó làm gián đoạn các quy trình của lưới điện Các nhà nghiên cứu đã sử dụng các thiết bị IoT để đảo ngược các cuộc tấn công DDoS, vốn khó theo dõi; họ cũng thảo luận về các khả năng của các cuộc tấn công DDoS Cuối cùng, vào năm 2020, Mukashi [11], một biến thể mới của Mirai và một trong những họ IoT Botnet phần mềm độc hại của nó, đã lợi dụng lỗ hổng CVE-2020-9054 tồn tại trong các thiết bị Zyxel NAS sử dụng ﬁrmware phiên bản 5.21, cho phép mã độc được thực thi trên các máy dễ bị tấn công từ xa

Theo nghiên cứu của Syarif Yusirwan S, Yudi Prayudi và Imam Riadi [12], IoT Botnet thực hiện tấn công ít nhất ba giai đoạn chính (xem Hình 1.10)

Hình 1.10: Vòng đời của IoT Botnet

Trang 23

Giai đoạn 1: Giai đoạn quét

Để xác định vị trí của một thiết bị dễ bị tấn công, một Bot (hoặc mã độc) thực hiện quét và do thám Botmaster quét các thiết bị IoT dễ bị tấn công Một khi tìm được lỗ hổng, nó bắt đầu lây nhiễm thông qua tấn công brute force hoặc bằng cách khai thác lỗ hổng Một khi thiết bị bị xâm phạm, nó sẽ trở thành một Bot và bắt đầu giao tiếp với Botmaster

Giai đoạn 2: Giai đoạn phát tán

Một phiên bản phù hợp của Bot được cài đặt và thực thi dựa trên kiến trúc của thiết bị dễ bị tấn công Thông thường, để tránh nhắm mục tiêu các thiết bị trở thành nạn nhân của bất kỳ phần mềm độc hại tiềm ẩn nào khác và có được quyền kiểm soát hoàn toàn, Bot ngăn chặn quá trình liên kết với dịch vụ liên quan để xóa bất kỳ phần mềm độc hại nào khác trước đó và khóa các cổng cho chính nó Mã độc chọn Bot mới và phát tán để mở rộng mạng IoT Botnet nhanh nhất có thể và vẫn đang chờ lệnh từ Botmaster

Giai đoạn 3: Giai đoạn tấn công

Thực hiện các hoạt động độc hại như DDoS, khai thác tiền điện tử và thư rác Kẻ tấn công bắt đầu cuộc tấn công bằng cách gửi các lệnh thông qua máy chủ chỉ huy và điều khiển đến tất cả các Bot được phân phối để kích hoạt cuộc tấn công Do đó, các Bot bắt đầu cuộc tấn công sau khi nhận được các lệnh giống hệt nhau

1.2.3 Cấu trúc và nguyên lý hoạt động của IoT Botnet

Quy trình IoT Botnet lây nhiễm bao gồm 7 bước được mô tả như Hình 1.11: Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May

702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 24

Hình 1.11: Quy trình lây nhiễm của IoT Botnet

Bước 1: Mã độc dò quét dải địa chỉ IP ngẫu nhiên thông qua TCP cổng 23/2323

để tìm kiếm các thiết bị IoT có lỗ hổng bảo mật để xâm nhập, lây nhiễm mở rộng mạng lưới máy tính Botnet Tuy nhiên, để tránh bị phát hiện và tránh sự chú ý của các cơ quan chính phủ, mã độc IoT thường loại trừ một số dải địa chỉ IP đặc biệt của IANA, hãng HP, Bộ quốc phòng Mỹ, dịch vụ bưu chính Mỹ Sau khi dò quét được thiết bị có khả năng xâm nhập, mã độc IoT tiến hành tấn công vét cạn để truy cập thiết bị Việc vét cạn thường được thực hiện dựa trên tổ hợp các tài khoản mặc định có sẵn được nhúng trong mã nguồn mã độc Ví dụ: admin/admin, admin/123

Bước 2: Sau khi dò quét được thiết bị có khả năng xâm nhập và đã thu thập

được thông tin để xác thực và leo thang đặc quyền trên thiết bị (thông qua giao diện câu lệnh hoặc giao diện đồ họa), thì mã độc sẽ gửi những thông tin đặc trưng của thiết bị về máy chủ Report thông qua các cổng dịch vụ khác (không sử dụng cổng đã dò quét ban đầu), những thông tin đó như địa chỉ IP, giá trị cổng giao thức, kiến trúc thiết bị và tài khoản xác thực

Bước 3: Mã độc nhận lệnh từ C&C để kiểm tra thông tin đặc tả của thiết bị như

địa chỉ IP, kiến trúc phần cứng (MIPS, ARM, PowerPC, …)

Bước 4: Sau khi máy chủ C&C tiếp nhận thông tin đặc tả về thiết bị thì sẽ ra

lệnh cho máy chủ Loader lựa chọn tập tin thực thi mã độc phù hợp

Bước 5: Máy chủ Loader gửi tới thiết bị muốn xâm nhập tập tin mã độc phù

hợp Ngay sau khi tập tin mã độc được tải về và thực thi trên thiết bị thì mã độc sẽ xóa tập tin thực thi và chỉ chạy trong bộ nhớ RAM để tránh bị phát hiện, đồng thời mã độc Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May

702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 25

sẽ tắt các dịch vụ cho phép truy cập từ xa như Telnet, SSH, vô hiệu hóa các chức năng của tường lửa…và tìm kiếm các mã độc khác nhằm diệt chúng để tránh bị ảnh hưởng đến tài nguyên thiết bị Ví dụ: mã độc Mirai sau khi lây nhiễm thành công thiết bị sẽ tìm và diệt các mã độc cạnh tranh như Qbot, Remaiten Việc khởi động lại thiết bị có thế xóa được mã độc Botnet, nhưng việc này chỉ được thực hiện bởi quản trị hệ thống hoặc quản trị mạng Ví dụ, nếu thiết bị lây nhiễm mã độc là các thiết bị định tuyến thì hệ thống mạng sẽ bị gián đoạn khi các thiết bị định tuyến khởi động lại Hơn nữa, hành động này có thể vi phạm chính sách thỏa thuận mức độ phục vụ (SLA – Service Level Agreement) của các dịch vụ có độ sẵn sàng cao

Bước 6 và 7: Thông qua C&C kẻ tấn công có thể ra lệnh cho mã độc thực hiện

các tấn công từ chối dịch vụ phân tán bằng nhiều kỹ thuật như UDP flood, SYN flood, GRE IP flood… tới một mục tiêu cụ thể

1.3 Các phương pháp phát hiện IoT Botnet

1.3.1 Khái quát về phát hiện IoT Botnet

Mối đe dọa từ IoT Botnet là một vấn đề mà Internet of Things (IoT) phải đối mặt, đòi hỏi các phương pháp, kỹ thuật phòng thủ và phản ứng hiệu quả Các phương pháp tiếp cận và công nghệ khác nhau có thể cung cấp các cải tiến trong việc phát hiện các IoT Botnet và cải thiện tính bảo mật tổng thể của hệ sinh thái IoT Mục đích của việc phát hiện sớm mã độc là đưa ra những cảnh báo sớm để có cơ chế ngăn chặn kịp thời trước khi các mã độc thực hiện các hành vi hay chức năng của chúng Chính vì vậy, vai trò của phát hiện mã độc là hết sức quan trọng, chúng ta luôn luôn phải tìm kiếm và phát hiện sự tồn tại của mã độc ngay cả khi chúng không thực thi hay làm bất cứ điều gì

Các phương pháp phát hiện mã độc IoT Botnet có thể chia thành 2 hướng tiếp cận chính như:

Các phương pháp dựa trên chữ ký (signature-based)

Các phương pháp dựa trên chữ ký sử dụng một chuỗi các byte có thể là mã băm, được trích xuất từ mã độc IoT Botnet đã biết như một chữ ký đại diện đặc trưng duy nhất cho mỗi tập tin nhận dạng mã độc Ngoài ra, việc phát hiện mã độc dựa trên chữ ký đem lại khả năng phát hiện đúng cao với các loại mã độc IoT Botnet đã được biết và phân tích Tuy nhiên, việc gia tăng liên tục về số lượng cũng như sự phức tạp của mã độc như mã độc “zero-day” và mã độc “unknown” thì phương pháp dựa trên Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May

702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 26

chữ ký khó có thể phát hiện tốt mã độc khi mà số lượng chữ ký mã độc ngày càng tăng

Các phương pháp dựa trên hành vi (behavior-based)

Phương pháp dựa trên hành vi yêu cầu thực thi các tập tin trong một môi trường có giám sát và các hành vi sẽ được ghi nhận và kiểm tra làm căn cứ để phát hiện mã độc Phương pháp này giúp nhanh chóng hiểu được bản chất hành vi của tập tin Đồng thời nhiều mã độc hiện nay được xây dựng từ cùng mã nguồn thành các biến thể vì vậy cấu trúc tập tin có thể khác nhau nhưng hành vi cơ bản không thay đổi Tuy nhiên hạn chế của phương pháp này nằm ở tốn kém thời gian thực thi và lưu trữ đặc trưng mẫu hành vi

Để khắc phục các vấn đề trên, các nhà nghiên cứu tiếp cận các phương pháp phát hiện mã độc dựa trên học máy Phương pháp dựa trên học máy không sử dụng chữ ký hay hành vi mã độc cụ thể mà nó sử dụng các đặc trưng và các đặc trưng này được xem là thành phần lõi của phát hiện dựa trên học máy Thông qua việc khảo sát có thể thấy, tất cả các hướng tiếp cận trên được nhóm thành 3 phương pháp chính là phân tích tĩnh (static), phân tích động (dynamic) và phân tích lai (hybrid) Hình 1.12 minh họa phân loại các phương pháp phát hiện mã độc IoT botnet hiện nay

Hình 1.12: Phương pháp phát hiện mã độc IoT Botnet

1.3.2 Phát hiện dựa trên phân tích tĩnh

Phân tích tĩnh là phương pháp phân tích các tập tin mà không cần thực thi các tập tin đó để phát hiện mã độc, vì vậy phân tích bằng phương pháp này an toàn hơn nhiều so với việc sử dụng phương pháp phân tích động Quá trình phân tích đòi hỏi xem xét kỹ mã nguồn của tập tin (đã được chuyển sang các định dạng đọc hiểu như mã Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May

702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 27

hợp ngữ assembly), hiểu luồng thực thi thông qua các đoạn mã lệnh Việc thực hiện phân tích tĩnh được thực hiện với một số công cụ hỗ trợ dịch ngược như IDA Pro, radare2, … Các đặc trưng thường được trích xuất từ phân tích tĩnh như thông tin cấu trúc trong tiêu đề tập tin, mã thực thi (Opcode - Operation Code), các chuỗi mang thông tin (PSI - Printable String Information), đồ thị luồng điều khiển (CFG – Control Flow Graph), đồ thị luồng dữ liệu (DFG – Data Flow Graph) …

Phương pháp phát hiện mã độc IoT Botnet sử dụng phương pháp phân tích tĩnh có thể được chia thành hai giai đoạn, đó là phân tích tĩnh cơ bản (Basic Static Analysis) và phân tích tĩnh nâng cao (Advanced Dynamic Analysis) Phân tích tĩnh cơ bản là phương pháp đơn giản và có thể thực hiện một cách nhanh chóng Tuy nhiên phương pháp này lại không có hiệu quả trong việc phân tích những loại mã độc phức tạp và do đó chúng ta có thể bỏ sót những hành vi quan trọng mà mã độc gây ra Phân tích tĩnh nâng cao (Advanced Dynamic Analysis) bao gồm các kỹ thuật reverse-engineering được thực hiện bằng cách tải lên các file thực thi, xem xét các chương trình hướng dẫn để khám phá các chương trình bên trong Phân tích tĩnh nâng cao dựa trên các chuỗi, các thư viện được liên kết cũng như sử dụng trình tháo gỡ IDA để đưa ra các thông tin chính xác về các chương trình được chạy như thế nào Tuy nhiên phương pháp này khó hơn phân tích tĩnh cơ bản rất nhiều và đòi hỏi phải có kiến thức về mảng disassembly, lập trình, và hệ điều hành

Như vậy có thể thấy, phân tích tĩnh đem lại kết quả khả quan trong bảo mật IoT nói chung và phát hiện mã độc IoT nói riêng Tuy nhiên, bên cạnh các ưu điểm thì phân tích tĩnh cũng có những hạn chế, cụ thể như sau:

Ưu điểm:

Tài nguyên tiêu tốn và thời gian thực thi thấp: Trong quá trình phân tích tĩnh, không cần thực thi tập tin nên không bị ảnh hưởng bởi thời gian và tài nguyên tiêu tốn Dễ dàng xây dựng các đặc trưng: Trong phân tích tĩch, cần thực hiện tạo ra mã phân tích (disassembler) bằng cách dịch ngược Việc dịch ngược sẽ chuyển các mã nhị phân thành các chỉ lệnh hợp ngữ tương ứng và sau đó nhóm những chỉ lệnh theo một cách thức mà thông tin có cấu trúc và nội dung về tập tin thực thi như các hàm, các khối mã lệnh cơ sở, luồng điều khiển, luồng dữ liệu

An toàn và dữ liệu độc lập: Ngay khi thông tin phân tách của tập tin thực thi ban đầu được trích xuất và thu thập thì không cần thực thi thêm trên tập tin ban đầu nữa Điều này có nghĩa là trong suốt quá trình phân tích tĩnh, nguy cơ bị ảnh hưởng bởi mã độc hầu như không có

Trang 28

Hạn chế của công nghệ dịch ngược: Phân tích tĩnh phụ thuộc nhiều vào công nghệ dịch ngược Hầu hết các chương trình mã độc đều được viết bằng ngôn ngữ bậc cao, cho nên một thay đổi nhỏ trong mã nguồn cũng dẫn đến thay đổi đáng kể trong mã nhị phân

Kỹ thuật đa hình và mã hóa: mã độc đa hình và mã hóa gây nhiều khó khăn cho phân tích tĩnh

Do đó, theo Andreas Moser [13], phương pháp phân tích tĩnh nên được sử dụng như một phần bổ sung cho phân tích động

1.3.3 Phát hiện dựa trên phân tích động

Kỹ thuật phát hiện mã độc IoT Botnet dựa trên phân tích động là kỹ thuật quyết định một tập tin có bị lây nhiễm hay không thông qua việc thực thi các mã chương trình và quan sát các hành vi của nó Để thực hiện phương pháp này cần phải thiết lập môi trường để mã độc thực thi và các công cụ cho phép quan sát các hành động của chúng như: theo dõi các tiến trình, theo dõi các thông tin về registry, sự thay đổi của các tệp tin, thư mục, theo dõi sự thay đổi của lưu lượng mạng và các kết nối TCP/IP… Tất cả các hành vi của mã độc sẽ được lưu dưới dạng các nhật ký phục vụ cho công việc phân tích sau này Để đảm bảo an toàn hơn, phần mềm độc hại sẽ chạy bên trong máy ảo sẽ không làm hỏng hệ thống máy tính [7]

Phương pháp phát hiện mã độc IoT Botnet sử dụng phương pháp phân tích động có thể được chia thành hai giai đoạn, đó là phân tích động cơ bản và phân tích động nâng cao Phương pháp phân tích động cơ bản (Basic dynamic analysis) sẽ xây dựng một máy ảo được sử dụng như một nơi để thực hiện phân tích tập tin độc hại Môi trường thực thi các tập tin thường là một môi trường mô phỏng (như sandbox) hoặc các thiết bị IoT thực tế (như cài đặt các tác tử) Những thông tin được thu thập như các hành vi mức hệ thống (syscall, giá trị thanh ghi, dữ liệu bộ nhớ), các hành vi mức mạng (dữ liệu luồng mạng pcap) Cũng giống với phân tích tĩnh cơ bản thì phương pháp phân tích động cơ bản thường được sử dụng kể cả với những người không am hiểu về kiến thức lập trình Và phương pháp này cũng không hiệu quả trong việc phân tích các loại mã độc phức tạp Phương pháp phân tích động nâng cao (Advanced dynamic analysis) sẽ tiến hành phân tích sâu hơn phương pháp phân tích động cơ bản như gỡ lỗi tập tin độc hại, phân tích Registry và thực hiện phân tích trên hệ thống windows Mặc dù kỹ thuật này là phương pháp mạnh mẽ trong việc nghiên cứu mã độc nhưng phương pháp này sẽ đặt hệ thống máy tính và hệ thống mạng của chúng ta vào trạng thái nguy hiểm Bên cạnh việc trực quan, dễ nhận thấy những tác động trực tiếp của mã độc tới hệ thống thì phương pháp này vẫn còn có những hạn chế Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May

702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 29

nhất định bởi không phải tất cả các đường dẫn, các mã lệnh đều được thực hiện khi mã độc mới chỉ chạy có một phần

Như vậy có thể thấy, phân tích động đem lại kết quả khả quan trong phát hiện mã độc IoT Botnet, dù có nhiều ưu điểm nhưng phân tích động cũng tồn tại nhiều hạn chế:

Ưu điểm:

Hiệu quả và chính xác: quan sát thực thi cụ thể của một chương trình để quyết định tập tin là mã độc dễ dàng hơn nhiều so với phân tích mã nhị phân Phân tích động thường làm việc với các giá trị thực tế, chính xác khi thực thi tập tin mà không cần phải trừu tượng hoặc xấp xỉ

Thông tin hành vi thực thi: ưu điểm của phân tích động đến từ thực tế là tập tin độc hại thực thi chức năng được thiết kế khi nó bắt đầu và đến khi kết thúc Trong quá trình phân tích động, dữ liệu được thu thập như bộ nhớ cấp phát, các tập tin được ghi, các thanh ghi đã đọc/ghi, các tiến trình đã tạo… có thể trực tiếp được sử dụng để đánh giá các thiệt hại tiềm tàng mà mã độc có thể gây ra

Giải quyết các kỹ thuật gây rối, đóng gói: phân tích động hiệu quả trong việc xử lý mã độc gây rối và đóng gói bởi các đoạn mã đã gây rối và đóng gói không ảnh hưởng đến thông tin hành vi cuối cùng được thu thập trong quá trình thực thi

Hạn chế:

Hạn chế sự quan sát: quá trình phân tích động không thể cung cấp khả năng quan sát tất cả các đường đi thực thi (path execution) có thể cũng như giá trị các biến Chu kỳ thực thi và theo vết phụ thuộc: hạn chế chung của phân tích động là theo vết phụ thuộc bởi các kết quả phân tích động chỉ dựa trên các hành vi mã độc trong một (hoặc một vài) lần thực thi Trong khi đó, nhiều loại mã độc có những điều kiện kích hoạt nhất định mới bộc lộ các hành vi độc hại

Tiêu tốn thời gian và tài nguyên: phân tích động cần thực thi các tập tin trong một môi trường mô phỏng, có kiểm soát trong một khoảng thời gian hoặc cho đến khi quá trình thực thi kết thúc

Giới hạn của môi trường mô phỏng: việc thực thi các tập tin thực thi IoT sẽ gặp vấn đề đa kiến trúc (ví dụ MIPS, ARM, PowerPC, Sparc, …) và sự hạn chế tài nguyên của các thiết bị IoT Do đó, rất khó để cấu hình một môi trường nền tảng thỏa mãn các yêu cầu để các tập tin thực thi IoT có thể thực hiện đầy đủ và chính xác các chức năng Nghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc MayNghien Cuu Cac Phuong Phap Phat Hien Iot Botnet Dua Tren Phan Tich Dong Va Hoc May

702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM702410064:18:23 PM4:18:23 PM

Trang 30

1.3.4 Phát hiện dựa trên phân tích lai

Cả phân tích tĩnh và phân tích động đều có những ưu điểm và hạn chế nhất định Vì thế phân tích lai là sự kết hợp các ưu điểm của cả phân tích tĩnh và phân tích động, trong đó phân tích tĩnh và phân tích động bổ trợ lẫn nhau để nâng cao hiệu quả trong bài toán phát hiện mã độc IoT botnet

Hình 1.13: Các phương pháp phân tích lai

Các phương pháp này có thể phân loại thành 3 cách tiếp cận như Hình 1.13 Những tập tin bị đóng gói (pack) muốn thực thi đúng đắn thì cần phải thực hiện unpack khi tải vào trong bộ nhớ Chính vì thế, việc trích xuất toàn bộ dữ liệu của tập tin khi thực thi trong bộ nhớ ra ngoài sẽ thu được tập tin không bị đóng gói, từ đó phân tích tĩnh được dễ dàng hơn như hình (a) Bên cạnh đó, phương pháp lai có thể sử dụng kết quả từ phân tích tĩnh như một nguồn thông tin bổ trợ cho phân tích động về sau như hình (b) Cuối cùng hình (c) kết hợp đồng thời cả hai kết quả phân tích tĩnh và phân tích động Như vậy có thể thấy, phân tích lai kết hợp các ưu điểm của phân tích tĩnh và phân tích động đem lại kết quả khả quan trong phát hiện mã độc, nhưng việc kết hợp này yêu cầu không gian lưu trữ và tài nguyên tính toán lớn [14]

Kết chương

Như vậy, trong chương 1 đã trình bày một số khái niệm tổng quan về thiết bị IoT, IoT botnet, cấu trúc và nguyên lý hoạt động của IoT Botnet Bên cạnh đó, chương 1 cũng đã đề cập và cung cấp về các phương pháp phát hiện IoT Botnet phổ biến dựa vào phân tích động, phân tích tĩnh và phân tích lai Từ đó, nội dung chương đưa ra được lý do đề xuất cho phương án giải quyết các vấn đề này Nội dung chi tiết phương pháp giải quyết vấn đề được nêu ra tại Chương 2 của đồ án

Trang 31

CHƯƠNG 2: XÂY DỰNG MÔ HÌNH HỌC MÁY CHO PHÁT HIỆN IOT BOTNET

2.1 Tổng quan về học máy và các giải thuật học máy

2.1.1 Tổng quan về học máy

Thời gian gần đây, trí tuệ nhân tạo (AI – Artificial Intelligence) và cụ thể hơn là học máy (Machine Learning) đang nổi lên như một bằng chứng của cách mạng công nghiệp lần thứ tư (lần 1 – Động cơ hơi nước, lần 2 – Năng lượng điện, lần 3 – Công nghệ thông tin) Trí tuệ nhân tạo là một bộ phận của khoa học máy tính nhằm nghiên cứu và phát triển lý thuyết, phương pháp, kỹ thuật và ứng dụng mô phỏng, mở rộng và triển khai trí thông minh của con người [15] Trí tuệ nhân tạo ngày càng len lỏi vào mọi lĩnh vực trong đời sống của chúng ta như xe tự lái của Google và Tesla, hệ thống gợi ý sản phẩm của Amazon, hệ thống trợ lý ảo Siri của Apple, hệ thống gợi ý phim của Netfix chỉ là một trong những ứng dụng AI/Machine Learning

Học máy (Machine Learning - ML) là một tập con của trí tuệ nhân tạo và có liên hệ chặt chẽ với tính toán thống kê, tập trung vào dự đoán bằng cách sử dụng các hệ thống máy tính Theo định nghĩa khác, học máy là khả năng của chương trình máy tính sử dụng kinh nghiệm, quan sát, hoặc dữ liệu trong quá khứ để cải thiện công việc của mình trong tương lai thay vì chỉ thực hiện theo đúng các quy tắc đã được lập trình sẵn [16] Để giải quyết vấn đề số lượng lớn mã độc IoT ngày càng gia tăng, nhiều nhà nghiên cứu và các hãng bảo mật đã hướng tới phát triển các giải pháp tự động phát hiện mã độc IoT botnet Một trong những giải pháp hiệu quả là ứng dụng học máy Học máy liên quan đến việc xây dựng các thuật toán phân lớp có khả năng “học” từ dữ liệu đầu vào và sau đó sử dụng chúng để xử lý các dữ liệu mới Dữ liệu đầu vào ở dạng các đặc trưng của đối tượng đã phân tích Các đặc trưng này có thể là số nguyên hoặc số phẩy động hoặc giá trị logic (‘true’ hoặc ‘false’) …

Quy trình học máy gồm các giai đoạn như sau [17]:

Trang 32

Hình 2.1: Quy trình học máy

Giai đoạn 1: Thu thập dữ liệu (Gathering data)

Quá trình thu thập dữ liệu phụ thuộc vào loại dự án mà chúng ta muốn thực hiện Nếu chúng ta muốn thực hiện một dự án học máy sử dụng dữ liệu thời gian thực, thì chúng ta có thể xây dựng một hệ thống IoT sử dụng dữ liệu cảm biến khác nhau Tập dữ liệu có thể được thu thập từ nhiều nguồn khác nhau như files, cơ sở dữ liệu, cảm biến và nhiều nguồn khác nhưng dữ liệu thu thập được chưa thể sử dụng trực tiếp vào thực hiện quá trình phân tích vì có thể thiếu nhiều dữ liệu, giá trị quá lớn, dữ liệu không được tổ chức rõ ràng hoặc có dữ liệu nhiễu Do đó, để giải quyết vấn đề này giai đoạn Tiền xử lý dữ liệu được thực hiện

Giai đoạn 2: Tiền xử lý dữ liệu (Data pre-processing)

Tiền xử lý dữ liệu là một trong những giai đoạn quan trọng trong học máy, nó giúp xây dựng mô hình học máy chính xác Tiền xử lý dữ liệu là một quá trình làm sạch dữ liệu thô, dữ liệu được thu thập từ nhiều nguồn trong thế giới thực và được chuyển thành một tập dữ liệu sạch để khả thi cho việc phân tích Dữ liệu thô ban đầu có một số đặc điểm như dữ liệu bị thiếu sót, không nhất quán, nhiễu vì vậy dữ liệu này phải được xử lý trước khi đưa vào học máy

Giai đoạn 3: Xây dựng mô hình phù hợp cho loại dữ liệu (Researching model)

Mục tiêu chính của chúng ta là xây dựng mô hình thực hiện tốt nhất dựa trên một số thuật toán phân loại và phân lớp

Phân loại các mô hình học máy phổ biến cùng với các giải thuật đi kèm được mô tả chi tiết trong Hình 2.2 dưới đây

Trang 33

Hình 2.2: Phân loại một vài mô hình học máy phổ biến

Giai đoạn 4: Huấn luyện và kiểm thử mô hình trên dữ liệu (Training and testing model)

Để huấn luyện một mô hình, ban đầu chúng ta chia mô hình thành 03 giai đoạn bao gồm: dữ liệu huấn luyện (training data), dữ liệu xác nhận (validation data) và dữ liệu kiểm thử (testing data) Để huấn luyện bộ phân lớp ta sử dụng tập dữ liệu huấn luyện (training set), để tinh chỉnh các tham số ta sử dụng tập hợp xác nhận (validation set) và sau đó kiểm tra hiệu suất của bộ phân loại chưa biết sử dụng tập dữ liệu kiểm thử (test set) Một lưu ý quan trọng là trong quá trình huấn luyện bộ phân lớp là dữ liệu kiểm thử không được sử dụng để huấn luyện

Giai đoạn 5: Đánh giá (Evaluation)

Đánh giá mô hình là một phần quan trọng trong quy trình phát triển mô hình, nó giúp tìm ra mô hình tốt nhất để đại diện cho dữ liệu của chúng ta và mô hình được chọn sẽ hoạt động tốt như thế nào trong tương lai

Trang 34

2.1.2 Phân loại các giải thuật học máy

Có hai cách phổ biến để phân loại các thuật toán học máy Một là dựa vào phương thức học (learning style) và hai là dựa trên chức năng (function) của thuật toán Theo phương thức học thì các thuật toán học máy được chia làm 4 loại gồm:

Học có giám sát (Supervise learning): Là dạng học máy trong đó cho trước

tập dữ liệu huấn luyện dưới dạng các ví dụ cùng với giá trị đầu ra hay giá trị đích Dựa trên dữ liệu huấn luyện, thuật toán học cần xây dựng mô hình hay hàm đích để dự đoán giá trị đầu ra (giá trị đích) cho các trường hợp mới

• Nếu giá trị đầu ra là rời rạc thì học có giám sát được gọi là phân loại hay phân lớp (classification)

• Nếu đầu ra nhận giá trị liên tục, tức đầu ra là số thực, thì học có giám sát được gọi là hồi quy (regression)

Học không giám sát (Unsupervised learning): Là dạng học máy trong đó các

ví dụ được cung cấp nhưng không có giá trị đầu ra hay giá trị đích

• Thay vì xác định giá trị đích, thuật toán học máy dựa trên độ tương tự giữa các ví dụ để xếp chúng thành những nhóm, mỗi nhóm gồm các ví dụ tương tự nhau Hình thức học không giám sát như vậy gọi là phân cụm (clustering) Ví dụ, chỉ bằng cách quan sát hoặc đo chiều cao của mọi người, dần dần ta học được khái niệm “người cao” và “người thấp”, và có thể xếp mọi người vào hai cụm tương ứng

• Ngoài phân cụm, một dạng học không giám sát phổ biến khác là phát hiện luật kết hợp (association rule) Luật kết hợp có dạng P(A | B), cho thấy xác suất hai tính chất A và B xuất hiện cùng với nhau Ví dụ, qua phân tích dữ liệu mua hàng ở siêu thị, ta có luật P(Bơ | Bánh mỳ) = 80%, có nghĩa là 80% những người mua bánh mỳ cũng mua bơ

Học bán giám sát (Semi-supervised learning): là học với tập dữ liệu huấn

luyện gồm cả dữ liệu đã được gán nhãn và dữ liệu chưa được gán nhãn, trong đó số lượng có nhãn chỉ chiếm một phần nhỏ Tuỳ vào từng mục đích cụ thể, học bán giám sát có thể được áp dụng cho bài toán phân lớp hoặc phân cụm

Học tăng cường (Reinforcement learning): Đối với dạng học này, kinh

nghiệm không được cho trực tiếp dưới dạng đầu vào/đầu ra cho mỗi trạng thái hoặc mỗi hành động Thay vào đó, hệ thống nhận được một giá trị khuyến khích (reward) là kết quả cho một chuỗi hành động nào đó Thuật toán cần học cách hành động để cực đại hóa giá trị khuyến khích

Trang 35

Trong các dạng học máy, học có giám sát là dạng phổ biến, có nhiều thuật toán liên quan và nhiều ứng dụng nhất Phần còn lại của chương sẽ tập trung chủ yếu vào dạng học máy này.

2.1.3 Một số giải thuật học máy

2.1.3.1 Cây quyết định (Decision Tree)

Khái niệm

Thuật toán cây quyết định là một phương pháp được ứng dụng rộng rãi trong thực tế đặc biệt là các lĩnh vực khai phá dữ liệu hay như giải quyết các bài toán phân lớp trong kỹ thuật học máy Cây quyết định thuộc nhóm thuật toán học có giám sát

(Supervised Learning) Học máy dựa trên cây quyết định là một phương pháp xấp xỉ

với hàm mục tiêu có giá trị rời rạc trong đó các hàm học được biểu diễn bởi một cây quyết định Cây quyết định cũng có thể được biểu diễn bởi một tập các luật if - then các luật này khá là gần gũi với tư duy con người Một trong những ưu điểm khác là cây quyết định có thể thực hiện ngay cả với các dữ liệu có chứa nhiễu

Một cây quyết định trong học máy được mô tả bởi:

• Nút đầu tiên trong 1 cây quyết định được gọi là nút gốc

• Mỗi nút trong biểu diễn một thuộc tính hay một đặc trưng cần kiểm tra của dữ liệu mẫu

• Mỗi nhánh đi ra từ một nút thuộc tính biểu diễn giá trị có thể có của biến thuộc tính đó Nếu tất cả mỗi nút đều có 2 nhánh đi ra thì cây quyết định đó được gọi là cây quyết định nhị phân Các cây quyết định mà một nút có nhiều nhánh cũng có thể được đưa về dạng một cây quyết định nhị phân Điều này có thể đạt được vì hầu hết các câu hỏi đều có thể được đưa về dạng câu hỏi đúng sai

• Mỗi nút lá biểu diễn cho một giá trị phân lớp (là giá trị các nhãn trong tập huấn luyện)