Đang tải... (xem toàn văn)
BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH VÕ HOÀNG NHÂN NGHIÊN CỨU ỨNG DỤNG PHƯƠNG PHÁP SVM VÀO PHÂN NHÓM HỌC SINH CÓ KHẢ NĂNG CAO VÀO HỌC TẠI TRƯỜNG ĐẠI HỌC KIÊN GIANG Chuyên ngành KHOA HỌC MÁY TÍNH Mã chuyên ngành 60 48 01 01 LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH, NĂM 2021 Mẫu PL1 Mẫu PL1 Mẫu PL1 Mẫu PL1 Mẫu PL1 Mẫu PL1 Công trình được hoàn thành tại Trường Đại học Công nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học TS Trương Khắc Tùng Luận văn thạc sĩ được bảo vệ tại Hô.
BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH VÕ HỒNG NHÂN NGHIÊN CỨU ỨNG DỤNG PHƯƠNG PHÁP SVM VÀO PHÂN NHÓM HỌC SINH CÓ KHẢ NĂNG CAO VÀO HỌC TẠI TRƯỜNG ĐẠI HỌC KIÊN GIANG Chuyên ngành: KHOA HỌC MÁY TÍNH Mã chuyên ngành: 60 48 01 01 LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH, NĂM 2021 Cơng trình hồn thành Trường Đại học Cơng nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: TS Trương Khắc Tùng Luận văn thạc sĩ bảo vệ Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày 17 tháng 10 năm 2021 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS Huỳnh Trung Hiếu - Chủ tịch Hội đồng TS Lê Thành Sách - Phản biện TS Đặng Thị Phúc - Phản biện TS Trịnh Tấn Đạt - Ủy viên TS Lê Nhật Duy - Thư ký (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN BỘ CƠNG THƯƠNG CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP Độc lập - Tự - Hạnh phúc THÀNH PHỐ HỒ CHÍ MINH NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Võ Hoàng Nhân MSHV: 17112911 Ngày, tháng, năm sinh: 10/4/1993 Nơi sinh: Sóc Trăng Chun ngành: Khoa học máy tính Mã chuyên ngành: 60480101 I TÊN ĐỀ TÀI: Nghiên cứu ứng dụng phương pháp SVM vào phân nhóm học sinh có khả cao vào học trường Đại học Kiên Giang NHIỆM VỤ VÀ NỘI DUNG: - Nghiên cứu phương pháp phân nhóm liệu - Tiền xử lý thu thập - Xây dựng ứng dụng phân nhóm liệu dựa vào thuậ tốn SVM - Phân tích kết đưa hướng phát triển II NGÀY GIAO NHIỆM VỤ: 06/09/2019 III NGÀY HOÀN THÀNH NHIỆM VỤ: 17/10/2021 IV NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Trương Khắc Tùng Tp Hồ Chí Minh, ngày … tháng NGƯỜI HƯỚNG DẪN năm 2021 CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TS Trương Khắc Tùng TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN LỜI CẢM ƠN Để hoàn thành luận văn thạc sĩ này, tơi xin bày tỏ cảm kích đặc biệt tới cố vấn tôi, Tiến sĩ Trương Khắc Tùng - Người định hướng, trực tiếp dẫn dắt cố vấn cho suốt thời gian thực đề tài nghiên cứu khoa học Tôi xin gửi lời cảm ơn đến thầy tất tấm lịng biết ơn Tơi xin gửi lời cảm ơn chân thành đến thầy Lê Nhật Duy – Phó khoa Cơng nghệ thơng tin hướng dẫn giúp đỡ biểu mẫu quy trình hoàn thành đề tài luận văn từ bắt đầu đăng ký đề cương đến bảo vệ luận văn Tôi xin gửi lời cảm ơn chân thành đến thầy Lê Ngọc Sơn – Trưởng phòng Quản lý Sau đại học tất Thầy, Cô giúp đỡ thủ tục cần thiết để hồn thành luận văn Sau cùng, tơi xin tỏ lịng biết ơn đến Trường Đại học Kiên Giang – Cơ quan nơi công tác, tạo điều kiện thời gian, cơng việc để tơi hồn thành luận văn thạc sĩ Xin chân thành cảm ơn tất người! i TÓM TẮT LUẬN VĂN THẠC SĨ Việc tuyển sinh trường Đại học, Cao đẳng, trung cấp chuyên nghiệp thời gian gần vấn đề Lãnh đạo trường đặc biệt quan tâm Các thay đổi quy định Bộ giáo dục ảnh hưởng rất nhiều đến hiệu tuyển sinh trường Bên cạnh số lượng trường Đại học, Cao đẳng, trung cấp chuyên nghiệp thành lập ngày nhiều trình tuyển sinh gặp khơng khó khăn, có rất nhiều trường không tuyển sinh giải tán sáp nhập vào trường lớn để trì hoạt đợng Để đối mặt với thực trường lập kế hoạch, chiến lược mới, có tính đợt phá để hồn thành tiêu Bợ giáo dục giao hàng năm trường Đại học Kiên Giang mợt số Trường Đại học Kiên Giang thành lập theo Quyết định số 758/QĐ/TTg ngày 21/05/2014 Thủ tướng Chính Phủ sở Phân hiệu Trường Đại Học Nha Trang Kiên Giang Hiện trường có khoảng 5000 Sinh viên theo học, hàng năm trường Bộ giáo dục đào tạo giao tiêu Tuyển sinh khoảng 1000 Sinh viên Do trường thành lập nên trình Tuyển sinh gặp rất nhiều khó khăn, có nhiều phương án đưa nhìn chung chưa tối ưu Vì đề tài đề xuất một phương pháp giúp nhà Trường có nhìn tổng qt tình hình Tuyển sinh cách phân nhóm học sinh có khả cao vào học tập trường Đại học Kiên Giang Để thực việc chúng tơi sử dụng thuật tốn Support Vector Machine (SVM) cài đặt ngôn ngữ Python 3.6 một số thư viện hỗ trợ khác ii ABSTRACT Student enrollment for universities, colleges, and professional secondary schools was an issue that the school administrator pay more attention at the moment Beside, the enrollment regulations of the Ministry of Education and Training had changed every year that also significantly affect on enrollment efficiency at schools In addition, the number of universities have been established more and more Therefore, the enrollment process was also fronting many difficulties Many schools were not enroll students that have separated or merged into large schools to maintain operations To face the reality situation, Kien Giang university was one of the universities which always designs breakthrough plans and strategies to fulfill the annual target assigned by the Ministry of Education and Training Kien Giang University was established under Decision No 758/QD/TTg by the Prime Minister dated May 21, 2014 Currently, Kien Giang University has about 5000 students This university is assigned the target of Enrollment about 1000 students by the Ministry of Education and Training every year Because Kien Giang University has been established for years ago, the admission process also faced many difficulties Although the administrators tried to find many options, the results of the enrollment for their university were not satisfactory Hence, in this current study, researcher suggested a method to contribute Kien Giang University have an overview of the enrollment situation by grouping students with high possibility to learn at Kien Giang University Researcher used the Support Vector Machine (SVM) algorithm installed on Python 3.6 language and some other support archives iii LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân Các kết nghiên cứu kết luận luận văn trung thực, không chép từ bất kỳ một nguồn bất kỳ hình thức Việc tham khảo nguồn tài liệu (nếu có) thực trích dẫn ghi nguồn tài liệu tham khảo quy định Học viên Võ Hoàng Nhân iv MỤC LỤC LỜI CẢM ƠN i TÓM TẮT LUẬN VĂN THẠC SĨ ii ABSTRACT iii LỜI CAM ĐOAN iv MỤC LỤC v DANH MỤC HÌNH ẢNH vii DANH MỤC BẢNG BIỂU viii DANH MỤC TỪ VIẾT TẮT ix MỞ ĐẦU .1 Đặt vấn đề .1 Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Cách tiếp cận phương pháp nghiên cứu .3 Ý nghĩa thực tiễn đề tài .3 CHƯƠNG TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU .4 CHƯƠNG CƠ SỞ LÝ THUYẾT Phân loại thuật toán Machine learning 2.1.1 Phân loại dựa phương thức học .6 2.1.2 Phân loại dựa chức Các thuật tốn dùng để phân nhóm liệu 2.2.1 Support Vector Machine (SVM) 2.2.2 Máy học Naïve bayes 14 2.2.3 Máy học định 17 Mạng Nơ-ron 22 2.3.1 Perceptrons 22 2.3.2 Kiến trúc mạng NN .26 2.3.3 Lan truyền tiến 28 2.3.4 Học với mạng NN .29 2.3.5 Lan truyền ngược đạo hàm 29 2.3.6 Kết luận .31 Thuật toán Principal Component Analysis .32 v 2.4.1 Mở đầu 32 2.4.2 Dữ liệu .33 Các thư viện hỗ trợ .34 2.5.1 Scikit Learn 34 Giới thiệu cơng cụ lập trình mơi trường vận hành 38 2.6.1 Anaconda Jupiter 38 2.6.2 Môi trường vận hành 39 CHƯƠNG CHUẨN BỊ DỮ LIỆU ĐỂ THỰC NGHIỆM 40 Thu thập liệu 40 Tiền xử lý liệu .40 Chuẩn hóa liệu .42 3.3.1 Normalization .43 3.3.2 Standardization 44 CHƯƠNG THỰC NGHIỆM DỰ ĐOÁN KHẢ NĂNG NHẬP HỌC CỦA HỌC SINH VÀ ĐÁNH GIÁ KẾT QUẢ 46 Thực nghiệm .46 4.1.1 Đọc liệu phân chia liệu 46 4.1.2 Huấn luyện 47 Đánh giá kết 51 KẾT LUẬN VÀ KIẾN NGHỊ 62 TÀI LIỆU THAM KHẢO 63 PHỤ LỤC 66 LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN 74 vi DANH MỤC HÌNH ẢNH Hình 2.1 Ví dụ bàn cờ vây Hình 2.2 Ví dụ phân lớp SVM không gian R2 .9 Hình 2.3 Phân lớp tuyến tính với SVM .10 Hình 2.4 SVM phân lớp liệu khơng tách rời 11 Hình 2.5 Nơ-ron sinh học 23 Hình 2.6 Perceptron .23 Hình 2.7 Sigmoid Function 25 Hình 2.8 Mơ hình Nơ-ron 26 Hình 2.9 Neural Network 26 Hình 2.10 NN - hidden layer 27 Hình 2.11 Chiều liệu 32 Hình 2.12 Dữ liệu liên quan 33 Hình 2.13 Dữ liệu khơng liên quan .33 Hình 2.14 Mean principal components .34 Hình 2.15 Giao diện Website thư viện Scikit-learn 35 Hình 2.16 Demo thực tốn phân cụm 36 Hình 2.17 Giao diện Anaconda 38 Hình 2.18 Giao diện Jupiter Notebook 39 Hình 2.19 Python 3.6.3 39 Hình 3.1 Tập liệu sau tiền xử lý .42 Hình 3.2 Kết trước sau chuẩn hóa MinMaxScaler 44 Hình 3.3 Kết trước sau chuẩn hóa Normalizer 45 Hình 4.1 Kết sau h́n luyện mơ hình 53 Hình 4.2 Visualize ma trận confusion_matrix 54 Hình 4.3 Kết sau h́n luyện mơ hình phương pháp Naive Bayes 55 Hình 4.4 Kết sau h́n luyện mơ hình phương pháp Cây định 55 Hình 4.5 Kết sau h́n luyện mơ hình phương pháp kNN 56 Hình 4.6 Kết sau huấn luyện mơ hình phương pháp Mạng Noron .56 Hình 4.7 Dữ liệu kiểm tra 57 Hình 4.8 Biểu đồ kết nhập học thực tế 57 Hình 4.9 Tỷ lệ sinh viên dự đoán đăng ký nhập học 58 Hình 4.10 Biểu đồ học sinh dự đoán đăng ký nhập học phương pháp SVM 59 Hình 4.11 Biểu đồ học sinh dự đoán đăng ký nhập học phương pháp Naïve Bayes .59 Hình 4.9 Biểu đồ học sinh dự đoán đăng ký nhập học phương pháp Cây định 60 Hình 4.10 Biểu đồ học sinh dự đoán đăng ký nhập học phương pháp kNN 60 Hình 4.11 Biểu đồ học sinh dự đốn đăng ký nhập học phương pháp mạng Noron 61 vii DANH MỤC BẢNG BIỂU Bảng 2.1 Một số hàm nhân thường dùng 14 Bảng 3.1 Bảng quy ước trường liệu giới tính 40 Bảng 3.2 Bảng quy ước trường liệu hoàn cảnh gia đình .40 Bảng 3.3 Bảng quy ước trường liệu hạnh kiểm 40 Bảng 3.5 Bảng quy ước nhãn 42 Bảng 4.1 Kết lần thử nghiệm phương pháp SVM .49 Bảng 4.2 Kết lần thử nghiệm phương pháp Naive Bayes 49 Bảng 4.3 Kết lần thử nghiệm phương pháp định 49 Bảng 4.4 Kết lần thử nghiệm phương pháp kNN .49 Bảng 4.5 Kết lần thử nghiệm phương pháp mạng noron 50 Bảng 4.6 Các thông số ma trận confusion_matrix .51 Bảng 4.7 Ma trận confusion_matrix 53 Bảng 4.8 Chỉ số precision, recall f1-score 53 Bảng 4.9 Đợ xác phương pháp 56 viii DANH MỤC TỪ VIẾT TẮT EM Expectation Maximization kNN k-Nearest Neighbor LARS Least-Angle Regression LASSO Least Absolute Shrinkage and Selection Operator LDA Linear Discriminant Analysis LQV Learning Vector Quantization PCA Principal Component Analysis SRC Sparse Representation-based classification SVM Support Vector Machine ix MỞ ĐẦU Đặt vấn đề Việc tuyển sinh trường Đại học, Cao đẳng, trung cấp chuyên nghiệp thời gian gần vấn đề Lãnh đạo trường đặc biệt quan tâm Các thay đổi quy định Bộ giáo dục ảnh hưởng rất nhiều đến hiệu tuyển sinh trường Bên cạnh số lượng trường Đại học, Cao đẳng, trung cấp chuyên nghiệp thành lập ngày nhiều q trình tuyển sinh gặp khơng khó khăn, có rất nhiều trường khơng tuyển sinh giải tán sáp nhập vào trường lớn để trì hoạt đợng Trước cơng tác đổi quy chế thi trung học phổ thông quốc gia năm 2020 Bợ giáo dục đào tạo địi hỏi cơng tác tuyển sinh trường phải có thay đổi phù hợp với quy chế thí sinh phải thích ứng với cách thức nợp hồ sơ vào trường theo quy định Tuy nhiên, thay đổi liên tục từ Bộ giáo dục đào tạo công tác tổ chức thi tốt nghiệp đại học năm gần nên việc chiêu sinh đại học, cao đẳng có trở ngại ban đầu cho nhà tuyển sinh, trường đào tạo cách tư vấn tuyển sinh hiệu cho thí sinh bậc phụ huynh Mặt khác, họ khơng thể xác định xác năm công tác tổ chức thi cử nào? Mức điểm sàn thay đổi mạnh hay giữ nguyên? Phổ điểm năm khác điểm thi qua thi trắc nghiệm có đảm bảo tính khách quan cho thí sinh… Để đối mặt với thực trường lập kế hoạch, chiến lược mới, có tính đợt phá để hồn thành tiêu Bợ giáo dục giao hàng năm trường Đại học Kiên Giang mợt số Trường Đại học Kiên Giang thành lập theo Quyết định số 758/QĐ/TTg ngày 21/05/2014 Thủ tướng Chính Phủ sở Phân hiệu Trường Đại Học Nha Trang Kiên Giang Hiện trường có khoảng 4000 Sinh viên theo học, hàng năm trường Bộ giáo dục đào tạo giao tiêu Tuyển sinh khoảng 1000 Sinh viên Do trường thành lập nên trình Tuyển sinh gặp rất nhiều khó khăn, có nhiều phương án đưa nhìn chung chưa tối ưu Vì đề tài chúng tơi đề x́t mợt phương pháp giúp nhà Trường có nhìn tổng quát tình hình Tuyển sinh cách phân lớp học sinh có khả cao vào học tập trường Đại học Kiên Giang Để thực việc áp dụng nhiều thuật tốn như: Naive Bayes Classification (NBC), Máy học định, kNearest Neighbors (kNN), mạng Noron lựa chọn Support Vector Machine (SVM) làm thuật tốn Mục tiêu nghiên cứu 2.1 Mục tiêu tổng quát Nghiên cứu phương pháp SVM ứng dùng vào phân lớp học sinh có khả cao vào học trường Đại học Kiên Giang Góp phần hỗ trợ trình tuyển sinh trường thực dễ dàng tốn hơn, 2.2 Mục tiêu cụ thể Nghiên cứu giải thuật SVM Nghiên cứu vai trò ảnh hưởng tham số giải thuật SVM Chọn tḥc tính từ liệu học sinh học trường trung học phổ thông địa bàn tỉnh Kiên Giang làm giá trị đầu vào cho giải thuật SVM Đối tượng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu Các phương pháp máy học SVM Một số giải thuật metaheuristic dùng tối ưu tham số SVM 3.2 Phạm vi nghiên cứu Tìm hiểu phương pháp phân lớp liệu bao gồm SVM Không gian: Cài đặt thực phương pháp máy tính Cách tiếp cận phương pháp nghiên cứu 4.1 Cách tiếp cận Tìm hiểu tổng quan cơng trình nghiên cứu có liên quan thành tựu, hạn chế hoàn thành trước Nghiên cứu phương pháp phân lớp thuật toán SVM Cài đặt thực phương pháp, so sánh kết thu 4.2 Phương pháp nghiên cứu Phương pháp nghiên cứu dựa lý thuyết: Để giải toán phân nhóm trước hết phải tìm hiểu, thu thập thông tin sở giáo viên hướng dẫn cấp, sách điện tử, Internet, đề tài nghiên cứu người trước, sau tổng hợp lập kế hoạch cho công việc cần phải làm Phương pháp nghiên cứu dựa thực nghiệm: Thu thập liệu mẫu sau phân tích liệu, trích chọn đặc trưng, triển khai cài đặt chương trình tập liệu đủ lớn có đợ tin cậy Ý nghĩa thực tiễn đề tài Hiện nhà trường dựa vào số thống kê kết tuyển sinh hàng năm để tìm đối tượng học sinh có khả vào học đại học, cách chủ quan dễ gây nhầm lẫn dẫn đến kết Tuyển sinh không tốt Sản phẩm hoàn thành giúp nhà Trường tìm đối tượng có khả cao vào học đại học trường, từ giúp cho cơng việc Tuyển sinh thuận lợi, dễ dàng tiết kiệm CHƯƠNG TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU Những năm gần đây, công tác tuyển sinh hầu hết trường đại học, cao đẳng trung cấp nước có nhiều thay đổi việc đổi quy chế kỳ thi trung học phổ thơng quốc gia Chính điều gây nên khó khăn cho bợ phận tuyển sinh trường công tác quảng bá tuyển sinh thí sinh phải tuân theo quy định Trước công tác đổi quy chế thi trung học phổ thông quốc gia năm 2020 Bộ giáo dục đào tạo địi hỏi cơng tác tuyển sinh trường phải có thay đổi phù hợp với quy chế thí sinh phải thích ứng với cách thức nợp hồ sơ vào trường theo quy định Tuy nhiên, thay đổi liên tục từ Bộ giáo dục đào tạo công tác tổ chức thi tốt nghiệp đại học năm gần nên việc chiêu sinh đại học, cao đẳng có trở ngại ban đầu cho nhà tuyển sinh, trường đào tạo cách tư vấn tuyển sinh hiệu cho thí sinh bậc phụ huynh Mặt khác, họ khơng thể xác định xác năm công tác tổ chức thi cử nào? Mức điểm sàn thay đổi mạnh hay giữ nguyên? Phổ điểm năm khác điểm thi qua thi trắc nghiệm có đảm bảo tính khách quan cho thí sinh… Nguyên nhân khó khăn đến từ nhiều yếu tố khách quan lẫn chủ quan, bao gồm: Số lượng thí sinh thực tế tham gia tuyển sinh đại học, cao đẳng giảm qua năm; Có nhiều trường đại học, cao đẳng thành lập gây phân bối rối cho thí sinh việc tiếp nhận nhiều kế hoạch quảng bá tuyển sinh chọn trường đào tạo; Viêc trường thuộc “top” hạ điểm chuẩn cho ngành để đảm bảo đủ tiêu tuyển sinh gây nhiều khó khăn bất cập cho trường tḥc “top” Mặt khác, thí sinh đăng ký nhiều nguyện vọng, nên phần lớn tập trung xét tuyển vào trường thuộc mức chất lượng cao trước, không đủ điểm xét tuyển xét tiếp trường hạng dưới; công tác tuyển sinh đại học, cao đẳng thay đổi, trường bắt đầu bổ sung thêm nhiều hình thức xét tuyển xét tuyển học bạ trung học phổ thông…Sinh viên tốt nghiệp đại học, cao đẳng lại khơng thể tìm việc phải làm trái ngành với mức lương thấp, kèm theo khoản chi phí cho việc học cao khiến thí sinh muốn chuyển hướng làm sau tốt nghiệp cấp trung học phổ thơng Bên cạnh danh tiếng chất lượng nhà trường có quy chế liên kết đào tạo với doanh nghiệp hay khơng điều để thí sinh bận tâm Trong nghiên cứu tác giả đưa giải pháp công nghệ thông tin để giúp công tác tuyển sinh Trường Đại học Kiên Giang tốt hơn, kết nghiên cứu tìm bạn học sinh có khả cao vào học trường Đại học Kiên Giang, từ nhà trường có định hướng, tiếp cận đối tượng để tư vấn cung cấp thêm thông tin Trường, ngành đào tạo, học phí, hình thức học… ... I TÊN ĐỀ TÀI: Nghiên cứu ứng dụng phương pháp SVM vào phân nhóm học sinh có khả cao vào học trường Đại học Kiên Giang NHIỆM VỤ VÀ NỘI DUNG: - Nghiên cứu phương pháp phân nhóm liệu - Tiền xử lý... dùng vào phân lớp học sinh có khả cao vào học trường Đại học Kiên Giang Góp phần hỗ trợ trình tuyển sinh trường thực dễ dàng tốn hơn, 2.2 Mục tiêu cụ thể Nghiên cứu giải thuật SVM Nghiên cứu vai... tài đề xuất một phương pháp giúp nhà Trường có nhìn tổng qt tình hình Tuyển sinh cách phân nhóm học sinh có khả cao vào học tập trường Đại học Kiên Giang Để thực việc sử dụng thuật tốn Support