nghiên cứu ứng dụng phương pháp svm vào phân nhóm học sinh có khả năng cao vào học tại trường đại học kiên giang

Mặt khác, thí sinh được đăng ký quá nhiều nguyện vọng, nên phần lớn đều tập trung xét tuyển vào trường thuộc mức chất lượng cao trước, nếu không đủ điểm xét tuyển mới xét tiếp các trườ

Trang 1

Mẫu PL1 Mẫu PL1 Mẫu PL1 Mẫu PL1 Mẫu PL1 Mẫu PL1

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 2

Công trình được hoàn thành tại Trường Đại học Công nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: TS Trương Khắc Tùng

Luận văn thạc sĩ được bảo vệ tại Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày 17 tháng 10 năm 2021

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:

1 PGS.TS Huỳnh Trung Hiếu - Chủ tịch Hội đồng 2 TS Lê Thành Sách - Phản biện 1

3 TS Đặng Thị Phúc - Phản biện 2 4 TS Trịnh Tấn Đạt - Ủy viên 5 TS Lê Nhật Duy - Thư ký

(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)

CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN

Trang 3

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: Võ Hoàng Nhân MSHV: 17112911 Ngày, tháng, năm sinh: 10/4/1993 Nơi sinh: Sóc Trăng

Chuyên ngành: Khoa học máy tính Mã chuyên ngành: 60480101

I TÊN ĐỀ TÀI:

Nghiên cứu ứng dụng phương pháp SVM vào phân nhóm học sinh có khả năng cao

vào học tại trường Đại học Kiên Giang NHIỆM VỤ VÀ NỘI DUNG:

- Nghiên cứu các phương pháp phân nhóm dữ liệu - Tiền xử lý dữ thu thập được

- Xây dựng ứng dụng phân nhóm dữ liệu dựa vào thuậ toán SVM - Phân tích kết quả và đưa ra hướng phát triển

II NGÀY GIAO NHIỆM VỤ: 06/09/2019

III NGÀY HOÀN THÀNH NHIỆM VỤ: 17/10/2021

IV NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Trương Khắc Tùng

Tp Hồ Chí Minh, ngày … tháng năm 2021

NGƯỜI HƯỚNG DẪN

TS Trương Khắc Tùng

CHỦ NHIỆM BỘ MÔN ĐÀO TẠO

TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN THÀNH PHỐ HỒ CHÍ MINH

Trang 4

LỜI CẢM ƠN

Để hoàn thành được bài luận văn thạc sĩ này, tôi xin bày tỏ sự cảm kích đặc biệt tới cố vấn của tôi, Tiến sĩ Trương Khắc Tùng - Người đã định hướng, trực tiếp dẫn dắt và cố vấn cho tôi trong suốt thời gian thực hiện đề tài nghiên cứu khoa học Tôi xin gửi lời cảm ơn đến thầy bằng tất cả tấm lòng và sự biết ơn của mình

Tôi cũng xin gửi lời cảm ơn chân thành đến thầy Lê Nhật Duy – Phó khoa Công nghệ thông tin đã hướng dẫn và giúp đỡ các biểu mẫu và quy trình hoàn thành đề tài luận văn từ khi bắt đầu đăng ký đề cương đến khi bảo vệ luận văn

Tôi cũng xin gửi lời cảm ơn chân thành đến thầy Lê Ngọc Sơn – Trưởng phòng Quản lý Sau đại học và tất cả Thầy, Cô ở đây đã giúp đỡ tôi về các thủ tục cần thiết để hoàn thành luận văn

Sau cùng, tôi xin tỏ lòng biết ơn đến Trường Đại học Kiên Giang – Cơ quan nơi tôi công tác, đã tạo điều kiện về thời gian, công việc để tôi có thể hoàn thành luận văn thạc sĩ

Xin chân thành cảm ơn tất cả mọi người!

Trang 5

TÓM TẮT LUẬN VĂN THẠC SĨ

Việc tuyển sinh ở các trường Đại học, Cao đẳng, trung cấp chuyên nghiệp trong thời gian gần đây là vấn đề được Lãnh đạo trường đặc biệt quan tâm Các thay đổi quy định của Bộ giáo dục cũng ảnh hưởng rất nhiều đến hiệu quả tuyển sinh ở các trường Bên cạnh đó số lượng các trường Đại học, Cao đẳng, trung cấp chuyên nghiệp được thành lập ngày càng nhiều vì vậy quá trình tuyển sinh cũng gặp không ít khó khăn, có rất nhiều trường do không tuyển sinh được đã giải tán hoặc sáp nhập vào các trường lớn để duy trì hoạt động Để đối mặt với thực tại trên ở mỗi trường luôn lập các kế hoạch, chiến lược mới, có tính đột phá để hoàn thành chỉ tiêu của Bộ giáo dục giao hàng năm và trường Đại học Kiên Giang là một trong số đó

Trường Đại học Kiên Giang được thành lập theo Quyết định số 758/QĐ/TTg ngày 21/05/2014 của Thủ tướng Chính Phủ trên cơ sở Phân hiệu của Trường Đại Học Nha Trang tại Kiên Giang Hiện tại trường có khoảng 5000 Sinh viên theo học, hàng năm trường được Bộ giáo dục và đào tạo giao chỉ tiêu Tuyển sinh khoảng 1000 Sinh viên Do trường mới thành lập nên quá trình Tuyển sinh cũng gặp rất nhiều khó khăn, đã có nhiều phương án được đưa ra nhưng nhìn chung vẫn chưa được tối ưu

Vì vậy trong đề tài này chúng tôi đề xuất một phương pháp giúp nhà Trường có cái nhìn tổng quát về tình hình Tuyển sinh bằng cách phân nhóm học sinh có khả năng cao vào học tập tại trường Đại học Kiên Giang Để thực hiện việc này chúng tôi sử dụng thuật toán Support Vector Machine (SVM) được cài đặt trên ngôn ngữ Python 3.6 và một số thư viện hỗ trợ khác

123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com

Trang 6

ABSTRACT

Student enrollment for universities, colleges, and professional secondary schools was an issue that the school administrator pay more attention at the moment Beside, the enrollment regulations of the Ministry of Education and Training had changed every year that also significantly affect on enrollment efficiency at schools In addition, the number of universities have been established more and more Therefore, the enrollment process was also fronting many difficulties Many schools were not enroll students that have separated or merged into large schools to maintain operations To face the reality situation, Kien Giang university was one of the universities which always designs breakthrough plans and strategies to fulfill the annual target assigned by the Ministry of Education and Training

Kien Giang University was established under Decision No 758/QD/TTg by the Prime Minister dated May 21, 2014 Currently, Kien Giang University has about 5000 students This university is assigned the target of Enrollment about 1000 students by the Ministry of Education and Training every year Because Kien Giang University has been established for 7 years ago, the admission process also faced many difficulties Although the administrators tried to find many options, the results of the enrollment for their university were not satisfactory

Hence, in this current study, researcher suggested a method to contribute Kien Giang University have an overview of the enrollment situation by grouping students with high possibility to learn at Kien Giang University Researcher used the Support Vector Machine (SVM) algorithm installed on Python 3.6 language and some other support archives

123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com

Trang 7

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của bản thân tôi Các kết quả nghiên cứu và các kết luận trong luận văn là trung thực, không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào Việc tham khảo các nguồn tài liệu (nếu có) đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định

Học viên

Võ Hoàng Nhân

Trang 8

2 Mục tiêu nghiên cứu 2

3 Đối tượng và phạm vi nghiên cứu 2

4 Cách tiếp cận và phương pháp nghiên cứu 3

5 Ý nghĩa thực tiễn của đề tài 3

CHƯƠNG 1 TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU 4

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 6

Phân loại các thuật tốn Machine learning 6

2.1.1 Phân loại dựa trên phương thức học 6

2.1.2 Phân loại dựa trên chức năng 7

Các thuật tốn dùng để phân nhĩm dữ liệu 8

2.2.1 Support Vector Machine (SVM) 8

2.2.2 Máy học Nạve bayes 14

2.2.3 Máy học cây quyết định 17

Thuật tốn Principal Component Analysis 32

Trang 9

LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN 74

Trang 10

DANH MỤC HÌNH ẢNH

Hình 2.1 Ví dụ về bàn cờ vây 7

Hình 2.2 Ví dụ về phân lớp SVM trong khơng gian R2 9

Hình 2.3 Phân lớp tuyến tính với SVM 10

Hình 2.4 SVM phân lớp dữ liệu khơng tách rời 11

Hình 2.12 Dữ liệu liên quan 33

Hình 2.13 Dữ liệu khơng liên quan 33

Hình 2.14 Mean và principal components 34

Hình 2.15 Giao diện Website của thư viện Scikit-learn 35

Hình 2.16 Demo thực tốn phân cụm 36

Hình 2.17 Giao diện Anaconda 38

Hình 2.18 Giao diện Jupiter Notebook 39

Hình 2.19 Python 3.6.3 39

Hình 3.1 Tập dữ liệu sau khi tiền xử lý 42

Hình 3.2 Kết quả trước và sau khi chuẩn hĩa bằng MinMaxScaler 44

Hình 3.3 Kết quả trước và sau khi chuẩn hĩa bằng Normalizer 45

Hình 4.1 Kết quả sau khi huấn luyện mơ hình 53

Hình 4.2 Visualize ma trận confusion_matrix 54

Hình 4.3 Kết quả sau khi huấn luyện mơ hình bằng phương pháp Naive Bayes 55

Hình 4.4 Kết quả sau khi huấn luyện mơ hình bằng phương pháp Cây quyết định 55

Hình 4.5 Kết quả sau khi huấn luyện mơ hình bằng phương pháp kNN 56

Hình 4.6 Kết quả sau khi huấn luyện mơ hình bằng phương pháp Mạng Noron 56

Hình 4.7 Dữ liệu kiểm tra 57

Hình 4.8 Biểu đồ kết quả nhập học thực tế 57

Hình 4.9 Tỷ lệ sinh viên được dự đốn đăng ký nhập học 58

Hình 4.10 Biểu đồ học sinh được dự đốn đăng ký nhập học bằng phương pháp SVM 59

Hình 4.11 Biểu đồ học sinh được dự đốn đăng ký nhập học bằng phương pháp Nạve Bayes 59

Hình 4.9 Biểu đồ học sinh được dự đốn đăng ký nhập học bằng phương pháp Cây quyết định 60

Hình 4.10 Biểu đồ học sinh được dự đốn đăng ký nhập học bằng phương pháp kNN 60

Hình 4.11 Biểu đồ học sinh được dự đốn đăng ký nhập học bằng phương pháp mạng Noron 61

Trang 11

DANH MỤC BẢNG BIỂU

Bảng 2.1 Một số hàm nhân thường dùng 14

Bảng 3.1 Bảng quy ước trường dữ liệu giới tính 40

Bảng 3.2 Bảng quy ước trường dữ liệu hoàn cảnh gia đình 40

Bảng 3.3 Bảng quy ước trường dữ liệu hạnh kiểm 40

Bảng 3.5 Bảng quy ước nhãn 42

Bảng 4.1 Kết quả các lần thử nghiệm bằng phương pháp SVM 49

Bảng 4.2 Kết quả các lần thử nghiệm bằng phương pháp Naive Bayes 49

Bảng 4.3 Kết quả các lần thử nghiệm bằng phương pháp cây quyết định 49

Bảng 4.4 Kết quả các lần thử nghiệm bằng phương pháp kNN 49

Bảng 4.5 Kết quả các lần thử nghiệm bằng phương pháp mạng noron 50

Bảng 4.6 Các thông số của ma trận confusion_matrix 51

Bảng 4.7 Ma trận confusion_matrix 53

Bảng 4.8 Chỉ số precision, recall và f1-score 53

Bảng 4.9 Độ chính xác của các phương pháp 56

Trang 12

DANH MỤC TỪ VIẾT TẮT EM Expectation Maximization

kNN k-Nearest Neighbor

LARS Least-Angle Regression

LASSO Least Absolute Shrinkage and Selection Operator

LDA Linear Discriminant Analysis

LQV Learning Vector Quantization

PCA Principal Component Analysis

SRC Sparse Representation-based classification

SVM Support Vector Machine

Trang 13

MỞ ĐẦU

1 Đặt vấn đề

Việc tuyển sinh ở các trường Đại học, Cao đẳng, trung cấp chuyên nghiệp trong thời gian gần đây là vấn đề được Lãnh đạo trường đặc biệt quan tâm Các thay đổi quy định của Bộ giáo dục cũng ảnh hưởng rất nhiều đến hiệu quả tuyển sinh ở các trường Bên cạnh đó số lượng các trường Đại học, Cao đẳng, trung cấp chuyên nghiệp được thành lập ngày càng nhiều vì vậy quá trình tuyển sinh cũng gặp không ít khó khăn, có rất nhiều trường do không tuyển sinh được đã giải tán hoặc sáp nhập vào các trường lớn để duy trì hoạt động

Trước công tác đổi mới quy chế thi trung học phổ thông quốc gia năm 2020 của Bộ giáo dục và đào tạo thì đòi hỏi công tác tuyển sinh của các trường phải có những thay đổi phù hợp với quy chế này và cả thí sinh cũng phải thích ứng với cách thức nộp hồ sơ vào trường theo quy định mới Tuy nhiên, do những thay đổi liên tục từ Bộ giáo dục và đào tạo trong công tác tổ chức thi tốt nghiệp và đại học những năm gần đây nên việc chiêu sinh đại học, cao đẳng sẽ có những trở ngại ban đầu cho các nhà tuyển sinh, các trường đào tạo trong cách tư vấn tuyển sinh hiệu quả cũng như cho thí sinh và các bậc phụ huynh Mặt khác, họ không thể xác định chính xác được mỗi năm công tác tổ chức thi cử là như thế nào? Mức điểm sàn sẽ thay đổi mạnh hay vẫn giữ nguyên? Phổ điểm mỗi năm mỗi khác nhau cùng điểm thi qua bài thi trắc nghiệm có đảm bảo được tính khách quan cho từng thí sinh…

Để đối mặt với thực tại trên ở mỗi trường luôn lập các kế hoạch, chiến lược mới, có tính đột phá để hoàn thành chỉ tiêu của Bộ giáo dục giao hàng năm và trường Đại học Kiên Giang là một trong số đó

Trường Đại học Kiên Giang được thành lập theo Quyết định số 758/QĐ/TTg ngày 21/05/2014 của Thủ tướng Chính Phủ trên cơ sở Phân hiệu của Trường Đại Học Nha Trang tại Kiên Giang Hiện tại trường có khoảng 4000 Sinh viên theo học, hàng năm trường được Bộ giáo dục và đào tạo giao chỉ tiêu Tuyển sinh khoảng 1000 Sinh viên

Trang 14

Do trường mới thành lập nên quá trình Tuyển sinh cũng gặp rất nhiều khó khăn, đã có nhiều phương án được đưa ra nhưng nhìn chung vẫn chưa được tối ưu

Vì vậy trong đề tài này chúng tôi đề xuất một phương pháp giúp nhà Trường có cái nhìn tổng quát về tình hình Tuyển sinh bằng cách phân lớp học sinh có khả năng cao vào học tập tại trường Đại học Kiên Giang Để thực hiện việc này có thể áp dụng nhiều thuật toán như: Naive Bayes Classification (NBC), Máy học cây quyết định, k-Nearest Neighbors (kNN), mạng Noron và chúng tôi lựa chọn Support Vector Machine (SVM) làm thuật toán chính

2 Mục tiêu nghiên cứu 2.1 Mục tiêu tổng quát

Nghiên cứu phương pháp SVM ứng dùng vào phân lớp học sinh có khả năng cao vào học tại trường Đại học Kiên Giang Góp phần hỗ trợ quá trình tuyển sinh của trường được thực hiện dễ dàng và ít tốn kém hơn,

2.2 Mục tiêu cụ thể

Nghiên cứu giải thuật SVM

Nghiên cứu vai trò ảnh hưởng của các tham số đối với giải thuật SVM

Chọn các thuộc tính từ dữ liệu của học sinh đang học ở các trường trung học phổ thông trong địa bàn tỉnh Kiên Giang làm giá trị đầu vào cho giải thuật SVM

3 Đối tượng và phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu

Các phương pháp máy học SVM

Một số giải thuật metaheuristic dùng tối ưu tham số SVM

3.2 Phạm vi nghiên cứu

Tìm hiểu các phương pháp phân lớp dữ liệu bao gồm cả SVM

Trang 15

Không gian: Cài đặt và hiện thực phương pháp trên máy tính

4 Cách tiếp cận và phương pháp nghiên cứu 4.1 Cách tiếp cận

Tìm hiểu tổng quan về các công trình nghiên cứu có liên quan và các thành tựu, hạn chế đã được hoàn thành trước đây

Nghiên cứu về phương pháp phân lớp bằng thuật toán SVM Cài đặt và hiện thực phương pháp, so sánh các kết quả thu được

4.2 Phương pháp nghiên cứu

Phương pháp nghiên cứu dựa trên lý thuyết: Để giải quyết bài toán phân nhóm trước hết là phải tìm hiểu, thu thập các thông tin cơ sở được giáo viên hướng dẫn cấp, sách điện tử, Internet, và các đề tài nghiên cứu của những người đi trước, sau đó tổng hợp và lập kế hoạch cho những công việc cần phải làm

Phương pháp nghiên cứu dựa trên thực nghiệm: Thu thập dữ liệu mẫu sau đó phân tích dữ liệu, trích chọn đặc trưng, triển khai cài đặt chương trình trên tập dữ liệu đủ lớn và có độ tin cậy

5 Ý nghĩa thực tiễn của đề tài

Hiện nay nhà trường vẫn dựa vào các chỉ số thống kê kết quả tuyển sinh hàng năm để tìm ra các đối tượng học sinh có khả năng vào học đại học, cách này vẫn còn khá chủ quan dễ gây nhầm lẫn dẫn đến kết quả Tuyển sinh không tốt

Sản phẩm khi hoàn thành sẽ giúp nhà Trường tìm đúng các đối tượng có khả năng cao vào học đại học tại trường, từ đó giúp cho công việc Tuyển sinh được thuận lợi, dễ dàng và tiết kiệm hơn

Trang 16

CHƯƠNG 1 TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU

Những năm gần đây, công tác tuyển sinh của hầu hết các trường đại học, cao đẳng và trung cấp trên cả nước có khá nhiều thay đổi do việc đổi mới quy chế của kỳ thi trung học phổ thông quốc gia Chính điều này đã gây nên những khó khăn cho cả bộ phận tuyển sinh của các trường trong công tác quảng bá tuyển sinh và các thí sinh khi phải tuân theo những quy định mới

Trước công tác đổi mới quy chế thi trung học phổ thông quốc gia năm 2020 của Bộ giáo dục và đào tạo thì đòi hỏi công tác tuyển sinh của các trường phải có những thay đổi phù hợp với quy chế này và cả thí sinh cũng phải thích ứng với cách thức nộp hồ sơ vào trường theo quy định mới Tuy nhiên, do những thay đổi liên tục từ Bộ giáo dục và đào tạo trong công tác tổ chức thi tốt nghiệp và đại học những năm gần đây nên việc chiêu sinh đại học, cao đẳng sẽ có những trở ngại ban đầu cho các nhà tuyển sinh, các trường đào tạo trong cách tư vấn tuyển sinh hiệu quả cũng như cho thí sinh và các bậc phụ huynh Mặt khác, họ không thể xác định chính xác được mỗi năm công tác tổ chức thi cử là như thế nào? Mức điểm sàn sẽ thay đổi mạnh hay vẫn giữ nguyên? Phổ điểm mỗi năm mỗi khác nhau cùng điểm thi qua bài thi trắc nghiệm có đảm bảo được tính khách quan cho từng thí sinh…

Nguyên nhân của khó khăn đến từ nhiều yếu tố khách quan lẫn chủ quan, bao gồm: Số lượng thí sinh thực tế tham gia tuyển sinh đại học, cao đẳng hầu như giảm đều qua các năm; Có quá nhiều trường đại học, cao đẳng mới được thành lập gây ra sự phân vâng bối rối cho thí sinh trong việc tiếp nhận quá nhiều kế hoạch quảng bá tuyển sinh khi chọn trường đào tạo; Viêc các trường thuộc “top” trên hạ điểm chuẩn cho từng ngành để đảm bảo đủ chỉ tiêu tuyển sinh cũng gây nhiều khó khăn bất cập cho các trường thuộc “top” dưới

Mặt khác, thí sinh được đăng ký quá nhiều nguyện vọng, nên phần lớn đều tập trung xét tuyển vào trường thuộc mức chất lượng cao trước, nếu không đủ điểm xét tuyển mới xét tiếp các trường hạng dưới; công tác tuyển sinh đại học, cao đẳng cũng thay đổi, các trường bắt đầu bổ sung thêm nhiều hình thức xét tuyển như xét tuyển bằng

Trang 17

học bạ trung học phổ thông…Sinh viên tốt nghiệp đại học, cao đẳng nhưng lại không thể tìm được việc hoặc phải làm trái ngành với mức lương thấp, kèm theo đó là các khoản chi phí cho việc học khá cao khiến các thí sinh chỉ muốn chuyển hướng đi làm ngay sau khi tốt nghiệp cấp trung học phổ thông Bên cạnh đó thì danh tiếng và chất lượng của nhà trường có các quy chế liên kết đào tạo với doanh nghiệp hay không cũng là điều để các thí sinh bận tâm

Trong nghiên cứu này tác giả đưa ra giải pháp công nghệ thông tin để giúp công tác tuyển sinh của Trường Đại học Kiên Giang được tốt hơn, kết quả của nghiên cứu sẽ tìm ra được các bạn học sinh có khả năng cao vào học tại trường Đại học Kiên Giang, từ đó nhà trường sẽ có những định hướng, tiếp cận các đối tượng này để tư vấn cũng như cung cấp thêm thông tin về Trường, các ngành đào tạo, học phí, hình thức học…

Trang 18

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

Phân loại các thuật toán Machine learning

Có hai cách phổ biến phân loại các thuật toán Machine learning Một là dựa trên phương thức học (learning style), hai là dựa trên chức năng (function) (của mỗi thuật toán)

2.1.1 Phân loại dựa trên phương thức học

Theo phương thức học, các thuật toán Machine Learning thường được chia làm 4 nhóm: Supervised learning (học có giám sát), Unsupervised learning (học không giám sát), Semi-supervised lerning (học bán giám sát) và Reinforcement learning Có một số cách phân nhóm không có Semi-supervised learning hoặc Reinforcement learning

2.1.1.1 Supervised Learning (Học có giám sát)

Supervised learning là thuật toán dự đoán đầu ra (outcome) của một dữ liệu mới (new input) dựa trên các cặp (input, outcome) đã biết từ trước Cặp dữ liệu này còn được gọi là (data, label), tức (dữ liệu, nhãn) Supervised learning là nhóm phổ biến nhất trong các thuật toán Machine Learning

2.1.1.2 Unsupervised Learning (Học không giám sát)

Trong thuật toán này, chúng ta không biết được outcome hay nhãn mà chỉ có dữ liệu đầu vào Thuật toán unsupervised learning sẽ dựa vào cấu trúc của dữ liệu để thực hiện một công việc nào đó, ví dụ như phân nhóm (clustering) hoặc giảm số chiều của dữ liệu (dimension reduction) để thuận tiện trong việc lưu trữ và tính toán

2.1.1.3 Semi-Supervised Learning (Học bán giám sát)

Các bài toán khi chúng ta có một lượng lớn dữ liệu nhưng chỉ một phần trong chúng được gán nhãn được gọi là Semi-Supervised Learning Những bài toán thuộc nhóm này nằm giữa hai nhóm được nêu bên trên

Trang 19

2.1.1.4 Reinforcement Learning (Học củng cố)

Reinforcement learning là các bài toán giúp cho một hệ thống tự động xác định hành vi dựa trên hoàn cảnh để đạt được lợi ích cao nhất (maximizing the performance) Hiện tại, Reinforcement learning chủ yếu được áp dụng vào Lý Thuyết Trò Chơi (Game Theory), các thuật toán cần xác định nước đi tiếp theo để đạt được điểm số cao nhất

Hình 2.1 Ví dụ về bàn cờ vây

2.1.2 Phân loại dựa trên chức năng

Dựa vào chức năng của thuật toán có thể chia thành các nhóm sau:

 Regression Algorithms: Linear Regression, Logistic Regression, Stepwise Regression

 Classification Algorithms: Linear Classifier, Support Vector Machine (SVM), Kernel SVM, Sparse Representation-based classification (SRC)

 Instance-based Algorithms: k-Nearest Neighbor (kNN), Learning Vector Quantization (LVQ)

Trang 20

 Regularization Algorithms: Ridge Regression, Least Absolute Shrinkage and Selection Operator (LASSO), Least-Angle Regression (LARS)

 Bayesian Algorithms: Naive Bayes, Gaussian Naive Bayes

 Clustering Algorithms: k-Means clustering, k-Medians, Expectation Maximization (EM)

 Artificial Neural Network Algorithms: Perceptron, Softmax Regression, Multi-layer Perceptron, Back-Propagation

 Dimensionality Reduction Algorithms: Principal Component Analysis (PCA), Linear Discriminant Analysis (LDA)

 Ensemble Algorithms: Boosting, AdaBoost, Random Forest

Trong các thuật toán trên chúng ta đi sâu vào Support Vector Machine (SVM)

Các thuật toán dùng để phân nhóm dữ liệu

2.2.1 Support Vector Machine (SVM)

SVM là phương pháp học máy tiên tiến đang được áp dụng rộng rãi trong lĩnh vực khai phá dữ liệu và thị giác máy tính Phương pháp SVM được Vapnik đề xuất năm 1995, dựa trên lý thuyết học thống kê nên có một nền tảng toán học chặt chẽ đảm bảo kết quả đạt được là tối ưu SVM đã được áp dụng thành công trong rất nhiều ứng dụng như nhận dạng mặt người, phân loại văn bản, nhận dạng chữ viết tay,… Ý tưởng của phương pháp này là chuyển tập dữ liệu mẫu từ không gian ít chiều Rn sang không gian nhiều chiều hơn Rd, sau đó tìm một siêu phẳng (Hyperplane) tối ưu trong Rd để phân chia tập mẫu theo phân lớp của chúng

Trang 21

Hình 2.2 Ví dụ về phân lớp SVM trong không gian R2

Giải thuật máy học SVM là tìm một siêu phẳng tối ưu cho phép chia các điểm dữ liệu thành 2 phần sao cho các điểm cùng một lớp thì nằm cùng phía của siêu phẳng này (bài toán 2 lớp) Đối với bài toán nhiều lớp chúng ta có thể đưa về bài toán 2 lớp bằng kỹ thuật: 1 – tất cả hoặc 1 – 1

Xét tập dữ liệu mẫu có thể tách rời tuyến tính {(x1,y1), (x2,y2), , (xn,yn)} với xi ϵ Rd và yi ϵ {±1} Siêu phẳng tối ưu phân tập dữ liệu này thành hai lớp là siêu phẳng có thể tách rời dữ liệu thành hai lớp riêng biệt với lề (margin) lớn nhất Siêu phẳng trong không gian n chiều được biểu diễn bởi véc tơ pháp tuyến w=[w1, w2, …, wn] và độ lệch b của siêu phẳng so với gốc tọa độ Máy học SVM tìm siêu phẳng (w, b) để phân chia dữ liệu theo cách sau đây

Trang 22

Hình 2.3 Phân lớp tuyến tính với SVM

Việc chia cắt được thực hiện nhờ vào 2 siêu phẳng hỗ trợ song song Siêu phẳng hỗ trợ cho lớp dương (+1) là siêu phẳng mà các phân tử thuộc lớp dương (+1) nằm về bên phải của siêu phẳng này Tương tự, siêu phẳng hỗ trợ cho lớp âm (-1) là siêu phẳng mà các phần tử thuộc lớp âm (-1) nằm về bên trái siêu phẳng này Hai siêu phẳng hỗ trợ song song có thể được viết lại như sau:

xiw  b+1 i có yi   (2.1) 1 xiwb-1 i có y i  1 (2.2)

Kết hợp hai điều kiện trên ta được y w xi( i  b) 1 (2.3)

Khoảng cách giữa 2 siêu phẳng gọi là lề và được tính như sau:

Margin =2

w trong đó w là độ lớn của véc tơ w

Giải thuật SVM tìm siêu phẳng tối ưu bằng cách cực đại hóa lề (tìm khoảng cách xa nhất giữa 2 lớp) Giải thuật SVM đưa đến vấn đề việc giải bài toán quy hoạch toàn phương như sau:

Trang 23

predict x( )sign(w.x b) (2.5)

Nghĩa là khi phần tử x mới đến, tính giá trị biểu thức (w.x – b) Nếu (w.x b ) 0 thì gán nhãn cho x là lớp dương (+1) nếu (w.x – b) < 0 thì gán nhãn cho x là lớp âm (-1)

Hình 2.4 SVM phân lớp dữ liệu không tách rời

Trong trường hợp dữ liệu không tách rời Máy học SVM vẫn có thể xử lý được bằng cách xem xét bất kỳ điểm xi nào nằm sai phía so với siêu phẳng hỗ trợ của nó được xem là lỗi Khoảng cách lỗi được biểu diễn bởi zi >= 0 (với xi nằm đúng phía của siêu phẳng hỗ trợ của nó thì khoảng cách lỗi tương ứng zi = 0, còn ngược lại thì zi > 0 là khoảng cách từ điểm xi đến siêu phẳng hỗ trợ tương ứng của nó) Việc tìm kiếm siêu phẳng tối ưu của giải thuật máy học SVM thực hiện cùng lúc hai mục tiêu là cực

Trang 24

đại hóa lề và cực tiểu hóa lỗi Giải thuật SVM dẫn đến bài toán quy hoạch toàn phương như sau:

Hằng c > 0 sử dụng để điều chỉnh độ rộng lề và lỗi

Lời giải bài toán quy hoạch toàn phương (2.4) hay (2.6) của giải thuật máy học SVM có thể tìm được lời giải tương đương trong bài toán đối ngẫu của chúng Bài toán quy hoạch toàn phương (2.4) có thể viết lại với dạng (3.7), có sử dụng các nhân tử Lagrange như sau:

Trang 25

(2.8)

Bài toán quy hoạch toàn phương (3.4) đưa đến việc tìm với các ràng buộc như (2.7.1) và nhân tử Lagrange , có thể được viết lại thành (2.9)

(2.9)

Với điều kiện:

Tương tự, bài toán quy hoạch toàn phương (2.6) dành cho phân lớp dữ liệu không tách rời cũng có bài toán đối ngẫu là (2.10)

1max( )

 

myi ii

 

myi ii

Trang 26

(2.11)

Mặc dù giải thuật SVM cơ bản giải quyết được bài tốn phân lớp phi tuyến tính, tuy nhiên nếu ta kết hợp SVM với phương pháp hàm nhân (kernel-based method), sẽ cho phép giải quyết mợt số lớn các bài tốn phân lớp phi tuyến Mợt số hàm nhân thường được dùng phổ biến:

Bảng 2.1 Mợt số hàm nhân thường dùng

Đa thức bậc d K(u,v)=(u.v + c)d

Gaussian Radial Basic Function (RBF) K(u,v)=exp(-γ||u-v||2)

2.2.2 Máy học Nạve bayes

2.2.2.1 Định lý Bayes

Vì thuật tốn Nạve Bayes dựa vào định lý Bayes nên trước khi tìm hiểu thuật tốn ta tìm hiểu về định lý Bayes Định lý Bayes cho phép tính xác suất xảy ra của mợt sự kiện A khi biết sự kiện liên quan B đã xảy ra Xác suất này được ký hiệu là P(A|B), đọc là "xác suất của A nếu cĩ B” Đại lượng này được gọi xác suất cĩ điều kiện hay xác suất hậu nghiệm (posterior) vì nĩ được rút ra từ giá trị được cho của B hoặc phụ thuợc vào giá trị đĩ

P(A|B): Xác suất xảy ra A khi B đã xảy ra

P(B|A): Xác suất xảy ra B khi A đã xảy ra Đại lượng này gọi là khả năng (likelihood) xảy ra A khi biết B đã xảy ra

Trang 27

P(A): Xác suất xảy ra A, khơng quan tâm đến B Đây được gọi xác suất tiên nghiệm (prior), nĩ là "tiên nghiệm" theo nghĩa rằng nĩ khơng quan tâm đến bất kỳ thơng tin nào về B

P(B): Xác suất xảy ra B, khơng quan tâm đến A Đại lượng này cịn gọi là hằng số chuẩn hĩa (normalising constant), vì nĩ luơn giống nhau, khơng phụ thuợc vào sự kiện A đang muốn biết

2.2.2.2 Giới thiệu thuật tốn Nạve Bayes

Nạve Bayes (NB) là phương pháp phân loại dựa vào xác suất được sử dụng rợng rãi trong lĩnh vực máy học [Mitchell, 1996] [Joachims, 1997] [Jason, 2001], được sử dụng lần đầu tiên trong lĩnh vực phân loại bởi Maron vào năm 1961 [Maron, 1961] sau đĩ trở nên phổ biến dùng trong nhiều lĩnh vực như trong các cơng cụ tìm kiếm [Rijsbergen et al, 1970], các bợ lọc email [Sahami et al, 1998]…

2.2.2.3 Thuật tốn Nạve Bayes

Thuật tốn Nạve Bayes dựa trên định lý Bayes được phát biểu như sau:

Áp dụng trong bài tốn phân loại, các dữ kiện gồm cĩ: D: tập dữ liệu huấn luyện đã được vector hĩa dưới dạng Ci: phân lớp i, với i = {1,2,…,m}

Các thuợc tính đợc lập điều kiện đơi mợt với nhau Theo định lý Bayes:

Theo tính chất đợc lập điều kiện:

Trang 28

Bước 1: Huấn luyện Nạve Bayes (dựa vào tập dữ liệu), tính và

Bước 2: Phân lớp , ta cần tính xác suất thuợc từng phân lớp khi đã biết trước Xnew Xnew được gán vào lớp cĩ xác suất lớn nhất theo cơng thức

2.2.2.4 Ưu nhược điểm của Nạve Bayes

Ưu điểm

Đơn giản, dễ cài đặt do giả định các thuợc tính là đợc lập

Cĩ thể sử dụng thơng tin quá khứ để dự báo tương lai Khi mợt dự báo xuất hiện trong thực tế, chúng lại được dùng để tính tốn lại mơ hình dự báo cho các phân tích tiếp theo

Suy diễn chính xác dựa trên tập dữ liệu Việc suy diễn trên các mẫu nhỏ cũng tương tự như trên các mẫu lớn Nĩ cĩ thể ước lượng trực tiếp bất kỳ tham số nào mà khơng cần dùng các phương pháp hỗ trợ thêm nào khác

Cung cấp kết quả cĩ thể diễn giải được dễ dàng bằng ngơn ngữ tự nhiên Cĩ thể chạy được cả trong trường hợp mợt số mẫu bị thiếu dữ liệu

Trang 29

Chi phí tính toán khá cao đặc biệt khi có nhiều tham số đầu vào Các kết quả mô phỏng cho thấy kết quả phân phối xác suất hơi khác nhau nếu tập huấn luyện là một tập con của dữ liệu có sẵn và mỗi lần huấn luyện ta lại chọn 1 tập con khác nhau

2.2.3 Máy học cây quyết định

2.2.3.1 Khái niệm cây quyết định

Trong lĩnh vực học máy, cây quyết định (tiếng Anh: decision tree) là một kiểu mô

hình dự báo (predictive model), nghĩa là một ánh xạ từ các quan sát về một sự vật/hiện

tượng tới các kết luận về giá trị mục tiêu của sự vật/hiện tượng

Cây quyết định được xây dựng để hỗ trợ quá trình ra quyết định Cho dữ liệu về các đối tượng gồm các thuộc tính cùng với lớp (classes) của nó, cây quyết định sẽ sinh ra các luật để dự đoán lớp của các đối tượng chưa biết (unseen data) Cây quyết định là một cây phân cấp có cấu trúc được dùng để phân lớp các đối tượng dựa vào dãy các luật (series of rules)

Trong cây quyết định, mỗi nút nhánh thể hiện một sự lựa chọn trong số nhiều sự lựa chọn và mỗi nút lá là sự thể hiện của một quyết định Mỗi một nút trong (internal node) tương ứng với một biến; đường nối giữa nó với nút con của nó thể hiện một giá trị cụ thể cho biến đó Mỗi nút lá đại diện cho giá trị dự đoán của biến mục tiêu, cho trước các giá trị của các biến được biểu diễn bởi đường đi từ nút gốc tới nút lá đó

Trang 30

Kích thước cây: kích thước cây chính là độ phức tạp của 1 cây, theo [Breiman et al (1984)] độ phức tạp của 1 cây thì ảnh hưởng nhiều tới độ chính xác của cây đó, cây càng phức tạp thì độ chính xác càng cao Và độ phức tạp của cây thường được đánh giá qua các chi tiết: tổng số node, tổng số nút lá, độ sâu của cây, số lượng thuộc tính sử dụng

2.2.3.2 Các vấn đề trong khai phá dữ liệu dựa trên cây quyết định

Các vấn đề đặc thù trong khi học hay phân lớp dữ liệu bằng cây quyết định gồm: xác định độ sâu để phát triển cây quyết định, xử lý với những thuộc tính liên tục, chọn phép đo lựa chọn thuộc tính thích hợp, sử dụng tập dữ liệu đào tạo với những giá trị thuộc tính bị thiếu, sử dụng các thuộc tính với những chi phí khác nhau, và cải thiện hiệu năng tính toán

2.2.3.3 Tránh “quá vừa” dữ liệu

Thế nào là “quá vừa” dữ liệu? Có thể hiểu đây là hiện tượng cây quyết định chứa một số đặc trưng riêng của tập dữ liệu đào tạo, nếu lấy chính tập traning data để test lại mô hình phân lớp thì độ chính xác sẽ rất cao, trong khi đối với những dữ liệu tương lai khác nếu sử dụng cây đó lại không đạt được độ chính xác như vậy Quá vừa dữ liệu là một khó khăn đáng kể đối với học bằng cây quyết định và những phương pháp học khác.Đặc biệt khi số lượng ví dụ trong tập dữ liệu đào tạo quá ít, hay có noise trong dữ liệu

Có hai phương pháp tránh “quá vừa” dữ liệu trong cây quyết định:

Dừng phát triển cây sớm hơn bình thường, trước khi đạt tới điểm phân lớp hoàn hảo tập dữ liệu đào tạo Với phương pháp này, một thách thức đặt ra là phải ước lượng chính xác thời điểm dừng phát triển cây

Cho phép cây có thể “quá vừa” dữ liệu, sau đó sẽ cắt, tỉa cây

Mặc dù phương pháp thứ nhất có vẻ trực tiếp hơn, nhưng với phương pháp thứ hai thì cây quyết định được sinh ra được thực nghiệm chứng minh là thành công hơn trong thực tế.Hơn nữa việc cắt tỉa cây quyết định còn giúp tổng quát hóa, và cải thiện

Trang 31

độ chính xác của mô hình phân lớp.Dù thực hiện phương pháp nào thì vấn đề mấu chốt ở đây là tiêu chuẩn nào được sử dụng để xác định kích thước hợp lý của cây cuối cùng

2.2.3.4 Thao tác với thuộc tính liên tục

Việc thao tác với thuộc tính liên tục trên cây quyết định hoàn toàn không đơn giản như với thuộc tính rời rạc

Thuộc tính rời rạc có tập giá trị (domain) xác định từ trước và là tập hợp các giá trị rời rạc Ví dụ loại ô tô là một thuộc tính rời rạc với tập giá trị là: {xe tải, xe khách, xe con,taxi}.Việc phân chia dữ liệu dựa vào phép kiểm tra giá trị của thuộc tính rời rạc được chọn tại một ví dụ cụ thể có thuộc tập giá trị của thuộc tính đó hay không: với Đây là phép kiểm tra logic đơngiản, không tốn nhiều tài nguyên tính toán Trong khi đó, với thuộc tính liên tục (thuộc tính dạng số) thì tập giá trị là không xác định trước Chính vì vậy, trong quá trình phát triển cây, cần sử dụng kiểm tra dạng nhị phân: Với θ là hằng số ngưỡng (threshold) được lần lượt xác định dựa trên từng giá trị riêng biệt hay từng cặp giá trị liền nhau (theo thứ tự đã sắp xếp) của thuộc tính liên tục đang xem xét trong tập dữ liệu đào tạo Điều đó có nghĩa là nếu thuộc tính liên tục A trong tập dữ liệu đào tạo có d giá trị phân biệt thì cần thực hiện lần kiểm tra với để tìm ra ngưỡng tốt nhất tương ứng với thuộc tính đó.Việc xác định giá trị của và tiêu chuẩn tìm tốt nhất tùy vào chiến lược của từng thuật toán

2.2.3.5 Xây dựng cây quyết định

Giải thuật học cây quyết định gồm 2 bước lớn: xây dựng cây (Top-down) (có nhiều thuật toán xây dựng cây như: ID3 [Quin-lan (1986)], C4.5 [Quinlan (1993)],CART [Breiman et al (1984)]), cắt nhánh (Bottom-up) để tránh học vẹt Quá trình xây dựng cây được thực hiện như sau:

Việc xây dựng cây quyết định đƣợc tiến hành một cách đệ qui, lần lượt từ nút gốc xuống tới tận các nút lá Tại mỗi nút hiện hành đang xét, nếu kiểm tra thấy thoả điều

Trang 32

kiện dừng: thuật toán sẽ tạo nút lá Nút này được gán một giá trị của nhãn lớp tùy điều kiện dừng được thỏa mãn Ngược lại, thuật toán tiến hành chọn điểm chia tốt nhất theo một tiêu chí cho trước, phân chia dữ liệu hiện hành theo điều kiện chia này Lưu ý dữ liệu hiện hành không phải hoàn toàn là tập dữ liệu ngay khi bắt đầu thuật toán, có thể là tập dữ liệu đã đƣợc phân chia theo điều kiện chia của nút liền trước đó (nút cha)

Sau bước phân chia trên, thuật toán sẽ lặp qua tất cả các tập con (đã đƣợc chia) và tiến hành gọi đệ qui những bước đầu tiên với dữ liệu chính là các tập con này Quá trình xây dựng cây chủ yếu phụ thuộc vào việc chọn thuộc tính tốt nhất để phân hoạch dữ liệu

Điều kiện dừng:

Quá trình đệ quy xây dựng cây quyết định đƣợc tiếp tục thực hiện cho đến khi gặp một trong các điều kiện dừng:

Mọi các mẫu trong tập huấn luyện đều được phân lớp

Không còn thuộc tính nào có thể dùng để phân chia mẫu nữa Không còn lại mẫu nào tại nút

2.2.3.6 Đánh giá cây quyết định trong khai phá dữ liệu

Ưu điểm: Cây quyết định dễ hiểu Hình ảnh trực quan, quen thuộc, biểu diễn qua mô hình cây

Khả năng thực thi trong những lĩnh vực hướng quy tắc Điều này có nghe có vẻ hiển nhiên, nhưng quy tắc quy nạp nói chung và cây quyết định nói riêng là lựa chọn hoàn hảo cho những lĩnh vực thực sự là các quy tắc Rất nhiều lĩnh vực từ di truyền tới các quá trình công nghiệp thực sự chứa các quy tắc ẩn, không rõ ràng (underlying rules) do khá phức tạp và tối nghĩa bởi những dữ liệu nhiễu (noise) Cây quyết định là một

Trang 33

sự lựa chọn tự nhiên khi chúng ta nghi ngờ sự tồn tại của các quy tắc ẩn, không rõ ràng

Dễ dàng tính toán trong khi phân lớp Mặc dù như chúng ta đã biết, cây quyết định có thể chứa nhiều định dạng, nhưng trong thực tế, các thuật toán sử dụng để tạo ra cây quyết định thường tạo ra những cây với số phân nhánh thấp và các test đơn giản tại từng node Những test điển hình là: so sánh số, xem xét phần tử của một tập hợp, và các phép nối đơn giản Khi thực thi trên máy tính, những test này chuyển thành các toán hàm logic và số nguyên là những toán hạng thực thi nhanh và không đắt Đây là một ưu điểm quan trọng bởi trong môi trường thương mại, các mô hình dự đoán thường được sử dụng để phân lớp hàng triệu thậm trí hàng tỉ bản ghi

Khả năng xử lý với cả thuộc tính liên tục và thuộc tính rời rạc Cây quyết định xử lý “tốt” như nhau với thuộc tính liên tục và thuộc tính rời rạc Tuy rằng với thuộc tính liên tục cần nhiều tài nguyên tính toán hơn Những thuộc tính rời rạc đã từng gây ra những vấn đề với mạng neural và các kỹ thuật thống kê lại thực sự dễ dàng thao tác với các tiêu chuẩn phân chia (splitting criteria) trên cây quyết định: mỗi nhánh tương ứng với từng phân tách tập dữ liệu theo giá trị của thuộc tính được chọn để phát triển tại node đó Các thuộc tính liên tục cũng dễ dàng phân chia bằng việc chọn ra một số gọi là ngưỡng trong tập các giá trị đã sắp xếp của thuộc tính đó Sau khi chọn được ngưỡng tốt nhất, tập dữ liệu phân chia theo test nhị phân của ngưỡng đó

Thể hiện rõ ràng những thuộc tính tốt nhất Các thuật toán xây dựng cây quyết định đưa ra thuộc tính mà phân chia tốt nhất tập dữ liệu đào tạo bắt đầu từ node gốc của cây Từ đó có thể thấy những thuộc tính nào là quan trọng nhất cho việc dự đoán hay phân lớp

Nhược điểm: Mặc dù cây quyết định có những sức mạnh nổi bật trên, nhưng vẫn không tránh khỏi có những điểm yếu đó là:

Cây quyết định không thích hợp lắm với những bài toán với mục tiêu là dự đoán giá trị của thuộc tính liên tục như thu nhập, huyết áp hay lãi xuất ngân hàng… Cây quyết

Trang 34

định cũng khó giải quyết với những dữ liệu thời gian liên tục nếu không bỏ ra nhiều công sức cho việc đặt ra sự biểu diễn dữ liệu theo các mẫu liên tục

Dễ xảy ra lỗi khi có quá nhiều lớp Một số cây quyết định chỉ thao tác với những lớp giá trị nhị phân dạng yes/no hay accept/reject Số khác lại có thể chỉ định các bản ghi vào một số lớp bất kỳ, nhưng dễ xảy ra lỗi khi số ví dụ đào tạo ứng với một lớp là nhỏ Điều này xảy ra càng nhanh hơn với cây mà có nhiều tầng hay có nhiều nhánh trên một node

Chi phí huấn luyện dữ liệu lớn Điều này nghe có vẻ mâu thuẫn với khẳng định ưu điểm của cây quyết định ở trên Nhưng quá trình phát triển cây quyết định đắt về mặt tính toán Vì cây quyết định có rất nhiều node trong trước khi đi đến lá cuối cùng Tại từng node, cần tính một độ đo (hay tiêu chuẩn phân chia) trên từng thuộc tính, với thuộc tính liên tục phải thêm thao tác xắp xếp lại tập dữ liệu theo thứ tự giá trị của thuộc tính đó Sau đó mới có thể chọn được một thuộc tính phát triển và tương ứng là một phân chia tốt nhất Một vài thuật toán sử dụng tổ hợp các thuộc tính kết hợp với nhau có trọng số để phát triển cây quyết định Quá trình cắt cụt cây cũng “đắt” vì nhiều cây con ứng cử phải được tạo ra và so sánh

Mạng Nơ-ron

Mạng nơ-ron nhân tạo (Neural Network - NN) là một mô hình lập trình rất hay lấy cảm hứng từ mạng nơ-ron thần kinh Kết hợp với các kĩ thuật học sâu (Deep Learning - DL), NN đang trở thành một công cụ rất mạnh mẽ mang lại hiệu quả tốt nhất cho nhiều bài toán khó như nhận dạng ảnh, giọng nói hay xử lý ngôn ngữ tự nhiên

2.3.1 Perceptrons

2.3.1.1 Perceptron cơ bản

Một mạng nơ-ron được cấu thành bởi các nơ-ron đơn lẻ được gọi là các perceptron Nên trước tiên ta tìm hiểu xem perceptron là gì rồi tiến tới mô hình của mạng nơ-ron Nơ-ron nhân tạo được lấy cảm hứng từ nơ-ron sinh học như hình mô tả bên dưới:

Trang 35

Hình 2.5 Nơ-ron sinh học

Như hình trên, ta có thể thấy một nơ-ron có thể nhận nhiều đầu vào và cho ra một kết quả duy nhất Mô hình của perceptron cũng tương tự như vậy:

Hình 2.6 Perceptron

Một perceptron sẽ nhận một hoặc nhiều đầu x vào dạng nhị phân và cho ra một kết

quả O dạng nhị phân duy nhất Các đầu vào được điều phối tầm ảnh hưởng bởi các tham số trọng lượng tương ứng w của nó, còn kết quả đầu ra được quyết định dựa vào một ngưỡng quyết định b nào đó:

Trang 36

Ví dụ việc đi học hay không phụ thuộc vào 4 yếu tố sau: 1 Trời có nắng hay không?

2 Có tiền đi học hay không? 3 Tâm trạng vui hay không?

4 Môn học có quan trọng hay không?

Thì ta coi 4 yếu tố đầu vào là x1, x2, x3, x4 và nếu O = 0 thì ta không đi học còn O =

1 thì ta đi học Giả sử mức độ quan trọng của 4 yếu tố trên lần lượt là w1 = 0.05, w2

= 0.5, w3 = 0.2, w4 = 0.25 và chọn ngưỡng b = -0.5 thì ta có thể thấy rằng việc trời

nắng có ảnh hưởng chỉ 5% tới quyết định đi học và việc có tiền đi học ảnh hưởng tới 50% quyết định đi học của ta

Nếu gắn x0 =1 và w0 = b, ta còn có thể viết gọn lại thành:

2.3.1.2 Sigmoid Neurons

Với đầu vào và đầu ra dạng nhị phân, ta rất khó có thể điều chỉnh một lượng nhỏ đầu vào để đầu ra thay đổi chút ít, nên để linh động, ta có thể mở rộng chúng ra cả đoạn [0, 1] Lúc này đầu ra được quyết định bởi một hàm sigmoid σ(wTx) Như các bài trước đã đề cập thì hàm sigmoid có công thức:

Đồ thị của hàm này cũng cân xứng rất đẹp thể hiện được mức độ công bằng của các tham số:

Trang 37

Hình 2.7 Sigmoid Function Đặt z = w⊺ x thì công thức của perceptron lúc này sẽ có dạng:

Tới đây thì ta có thể thấy rằng mỗi sigmoid neuron cũng tương tự như một bộ phân

loại tuyến tính (logistic regression) bởi xác suất P(yi =1∣xi;w)=σ(w⊺x)

Thực ra thì ngoài hàm sigmoid ra, ta còn có thể một số hàm khác như tanh, ReLU để thay thế hàm sigmoid bởi dạng đồ thị của nó cũng tương tự như sigmoid Một cách

tổng quát, hàm perceptron được biểu diễn qua một hàm kích hoạt (activation

function) f(z) như sau:

o = f(z) = f(w⊺x)

Bằng cách biểu diễn như vậy, ta có thể coi neuron sinh học được thể hiện như sau:

Trang 38

Mạng NN là sự kết hợp của của các tầng perceptron hay còn được gọi là perceptron

đa tầng (multilayer perceptron) như hình vẽ bên dưới:

Hình 2.9 Neural Network Một mạng NN sẽ có 3 kiểu tầng:

Trang 39

 Tầng vào (input layer): Là tầng bên trái cùng của mạng thể hiện cho các đầu vào

của mạng

 Tầng ra (output layer): Là tầng bên phải cùng của mạng thể hiện cho các đầu ra

của mạng

 Tầng ẩn (hidden layer): Là tầng nằm giữa tầng vào và tầng ra thể hiện cho việc

suy luận logic của mạng

Lưu ý rằng, một NN chỉ có 1 tầng vào và 1 tầng ra nhưng có thể có nhiều tầng ẩn

Hình 2.10 NN - 2 hidden layer

Trong mạng NN, mỗi nút mạng là một sigmoid nơ-ron nhưng hàm kích hoạt của chúng có thể khác nhau Tuy nhiên trong thực tế người ta thường để chúng cùng dạng với nhau để tính toán cho thuận lợi

Ở mỗi tầng, số lượng các nút mạng (nơ-ron) có thể khác nhau tuỳ thuộc vào bài toán và cách giải quyết Nhưng thường khi làm việc người ta để các tầng ẩn có số lượng nơ-ron bằng nhau Ngoài ra, các nơ-ron ở các tầng thường được liên kết đôi một với nhau tạo thành mạng kết nối đầy đủ (full-connected network) Khi đó ta có thể tính được kích cỡ của mạng dựa vào số tầng và số nơ-ron Ví dụ ở hình trên ta có:

 4 tầng mạng, trong đó có 2 tầng ẩn  3 + 4 ∗ 2 + 1 = 12 nút mạng

 (3 ∗ 4 + 4 ∗ 4 + 4 ∗ 1) + (4 + 4 + 1) = 41 tham số

Trang 40

2.3.3 Lan truyền tiến

Như chúng ta thấy thì tất cả các nốt mạng (nơ-ron) được kết hợp đôi một với nhau theo một chiều duy nhất từ tầng vào tới tầng ra Tức là mỗi nốt ở một tầng nào đó sẽ nhận đầu vào là tất cả các nốt ở tầng trước đó mà không suy luận ngược lại Hay nói cách khác, việc suy luận trong mạng NN là suy luận tiến (feedforward):

Trong đó, n(l) số lượng nút ở tầng l tương ứng và aj(l) là nút mạng thứ j của tầng l

Còn wij(l+1) là tham số trọng lượng của đầu vào aj(l) đối với nút mạng thứ i của tầng l + 1 và bi(l+1) là độ lệch (bias) của nút mạng thứ i của tầng l + 1 Đầu ra của nút

mạng này được biểu diễn bằng ai(l+1) ứng với hàm kích hoạt f (zi ) tương ứng

Riêng với tầng vào, thông thường a(1) cũng chính là các đầu vào x tương ứng của