Đề tài ứng dụng kỹ thuật khai phá dữ liệu trong dự báo kết quả họctập của sinh viên

Đề tài : Ứng dụng kỹ thuật khai phá liệu dự báo kết học tập sinh viên Lời nói đầu  Giới thiệu đề tài   Mục lục Đề tài : Ứng dụng kỹ thuật khai phá liệu dự báo kết học tập sinh viên Mục lục Lời nói đầu Chương 1: Giới thiệu toán 1.1: Khai phá liệu giáo dục 1.1.1: Data mining giáo dục gì? 1.1.2 Các cách tiếp cận Data mining liệu giáo dục 1.2 toán trường đại học .6 1.3: phát biểu toán .8 1.3.1: Phạm vi đề tài 1.3.2: Lý chọn đề tài 1.3.3: Mục tiêu đề tài .9 Chương 2: Cơ sở lí thuyết .9 2.1: Tổng quan khai phá liệu 10 2.1.1: Sơ lược khai phá liệu .10 2.1.2: Các toán liên quan đến khai phá liệu 13 2.2: Các kỹ thuật thường sử dụng 15 2.2.1: Hồi Quy tuyến tính ( Linear regression) 15 2.2.2 Mạng nơ ron nhân tạo (ANN) 19 2.3 Các tiêu chí đánh giá độ xác 23 2.3.1 Hệ số tương quan R bình phương ( r square ) (r2) .23 2.3.2 Mean Squared Error ( MSE) 24 2.3.3 Mean Absolute Error ( MAE) 24 Chương Thực nghiệm đánh giá kết .25 3.1: Thu thập xử lý liệu 25 3.1.1: Thu thập liệu 25 3.1.2: Xử lí liệu .29 3.2 Áp dụng kỹ thuật vào mẫu liệu 38 3.2.1 Áp dụng Linear regression 38 3.2.2 Áp dụng ANN 39 3.3 Kết thực nghiệm 39 3.3.1 Kết dùng Linear regression 39 3.3.2 Kết dùng ANN 42 3.4 Đánh giá so sánh 42 Kết luận .42 Lời nói đầu  Ngày nay, trường Đại học Cao đẳng chuyển sang đào tạo theo học chế tín Việc tư vấn học tập nhằm đạt kết học tập cao cho sinh viên đặc biệt quan tâm Đó khó khăn chung cho cấp quản lý Bằng cảm tính suy luận thủ công từ khối liệu khổng lồ, việc đưa tư vấn tốt cho sinh viên trình học khơng phải khả thi Tại Việt Nam, việc nghiên cứu khai phá liệu lĩnh vực giáo dục đào tạo nhà quản lý quan tâm cịn nhiều hạn chế chưa tồn diện Phần lớn trường sử dụng Excel phần mềm quản lý đào tạo theo khuyến cáo Bộ Edusoft để quản lý Sinh viên, quản lý kết học tập Sinh viên Việc nhà quản lý muốn có nhìn tồn cảnh để thống kê kết học tập nhằm đưa phương hướng, đường lối, sách chương trình đào tạo, phương pháp giảng dạy v.v… gặp nhiều khó khăn.Việc khai thác hiệu thông tin liên quan đến sinh viên để giúp kết học tập tốt chưa ý nhiều Thơng thường việc theo dõi sử dụng vào mục đích xem kết hồn tồn làm excel thủ cơng để thống kê Trường Đại học Giao Thông Vận Tải với bề dày nhiều năm, đào tạo số lượng lớn cho đội ngũ Kỹ sư chất lượng Hàng năm, Phòng Đào tạo tư vấn thay đổi chương trình đào tạo cho phù hợp với thực tế Nhưng việc thay đổi mang tính chất chủ quan, cảm tính Dữ liệu đào tạo lưu trữ sử dụng với mục đích tra cứu, báo cáo đơn giản Các liệu khai thác từ phần mềm quản lý sinh viên chưa ứng dụng cho mục đích dự báo kết học tập tốn khai thác liệu chưa ứng dụng Vì vậy, đề tài “Ứng dụng kỹ thuật khai phá liệu dự báo kết học tập sinh viên” sâu vào việc tiến hành khai thác liệu điểm nhằm đưa báo cáo đa chiều, dự đoán kết học tập Sinh viên dựa điểm môn học học kỳ trước Đề tài tiến hành nghiên cứu kỹ thuật phân lớp khai phá liệu, kỹ thuật phân loại hay dự báo để ứng dụng kỹ thuật để xây dựng mơ hình dự đốn kết học tập Sinh viên Từ đó, đánh giá lựa chọn mơ kỹ thuật cho kết dự đoán tốt để ứng dụng dự báo kết học tập cho Sinh viên Chương 1: Giới thiệu toán 1.1: Khai phá liệu giáo dục  Những ngày này, nhiều nghiên cứu khác tiến hành lĩnh vực Data mining Data mining giáo dục lĩnh vực nghiên cứu quan trọng gọi EDM Nó sử dụng nhiều thuật tốn để cải thiện kết giáo dục giải thích quy trình giáo dục để đưa định sau Ở đây, thảo luận số thuật toán Data mining áp dụng cho lĩnh vực liên quan đến giáo dục Các thuật toán sử dụng để khai thác kiến thức từ liệu giáo dục nghiên cứu thuộc tính thêm vào để tăng hiệu suất Việc học ban đầu bắt đầu lớp học dựa mơ hình hành vi, tâm lý xây dựng Mơ hình hành vi phụ thuộc vào thay đổi quan sát hành vi học sinh để xác định kết học tập Các mơ hình tâm lý dựa tham gia hiệu giáo viên vào q trình học tập Trong mơ hình xây dựng, học sinh cần tự học từ nguồn sẵn có khác Theo Siemens, học tập khơng cịn hoạt động nội bộ, lập Nó xem biểu tình mạng lưới nút giúp cải thiện trải nghiệm học tập sinh viên giảm bớt yêu cầu việc đưa vào giảng dạy giáo sư Môi trường học tập thông thường dần thay đổi thành điều kiện học tập dựa vào cộng đồng 1.1.1: Data mining giáo dục gì? EDM viết tắt Data mining giáo dục Nó định nghĩa kỹ thuật tìm kiếm loại liệu cụ thể đến từ hệ thống giáo dục thực kỹ thuật để hiểu học sinh hệ thống tốt EDM q trình chuyển đổi liệu thơ thu từ hệ thống giáo dục thành liệu hữu ích sử dụng để đưa định theo hướng liệu Sự phát triển khai thác phân tích liệu lĩnh vực giáo dục tương đối muộn so với lĩnh vực khác Tuy nhiên, việc Data mining giáo dục qua web thách thức tính cụ thể liệu Trong nhiều loại liệu có khía cạnh tuần tự, việc phân phối thơng tin giáo dục theo thời gian có thuộc tính đặc biệt Các kỹ thuật Data mining giáo dục hiệu tạo loạt tượng liên quan đến việc học tập học sinh tảng trực tuyến đạt độ xác tốt cách qn Có khía cạnh quan trọng cần xem xét để  biện minh cho tiến phi thường liệu giáo dục, vốn phát triển thừa nhận tất liệu quan trọng lưu trữ luồng liệu  Nghiên cứu giáo dục dẫn đến số cải tiến giáo dục Những đổi dựa máy tính thay đổi cách sống học tập Ngày  nay, việc sử dụng thông tin thu thập thông qua tiến hỗ trợ vòng chuyển đổi thứ hai tất lĩnh vực học tập với nhiều thành tựu khác Khai phá liệu kỹ thuật mạnh mẽ với tiềm đáng kinh ngạc để giúp trường học đại học tập trung vào thông tin quan trọng liệu mà họ thu thập hành vi sinh viên người học tiềm Data mining sử dụng cơng cụ để tìm mẫu mối quan hệ chưa biết trước tập liệu khổng lồ Các cơng cụ kết hợp mơ hình thống kê, thuật toán toán học kỹ thuật máy học Các kỹ thuật tìm thấy thơng tin liệu mà truy vấn báo cáo tiết lộ cách hiệu 1.1.2 Các cách tiếp cận Data mining liệu giáo dục Data mining nhánh khoa học máy tính nhằm mục đích khám phá yếu tố mẫu khác để giúp đưa định Mơ hình hình cho nhằm mục đích thiết kế Data mining giáo dục Data mining khuyến khích nhớ thể chế Khai phá liệu, cịn gọi KDD (Khám phá tri thức sở liệu), đề cập đến “Khai thác” trích xuất liệu có kiến thức từ tập liệu khổng lồ Một hệ thống giáo dục thường có sở liệu giáo dục khổng lồ Dữ liệu  bao gồm liệu giáo viên, liệu tài khoản, liệu học sinh, liệu cựu sinh viên, v.v Data mining giáo dục tập trung vào kỹ thuật phát triển để khám phá loại liệu đặc biệt bắt nguồn từ bối cảnh giáo dục Những liệu bắt nguồn từ nhiều nguồn khác nhau, bao gồm liệu từ môi trường lớp học trực diện truyền thống, phần mềm giáo dục trực tuyến, phần mềm giáo dục, v.v Hình 1.1: Tổng quan khai phá liệu giáo dục Các phương pháp Data mining sử dụng để vận hành tập liệu khổng lồ nhằm tìm mẫu mối quan hệ ẩn, điều hữu ích cho nhiều tổ chức việc đưa định dựa liệu Các kỹ thuật thuật toán khác Phân cụm, Phân loại, Hồi quy, Mạng thần kinh, Trí tuệ nhân tạo, Quy tắc kết hợp, Thuật toán di truyền, Cây định, v.v sử dụng để khám phá kiến thức từ cơ  sở liệu 1.2 toán trường đại học Hiện ta thấy nhiều toán liên quan đến ứng dụng liệu học tập sinh viên : Phân tích thống kê: Bài tốn liên quan đến việc phân tích tóm tắt thơng tin từ liệu điểm sinh viên Các thống kê bao điểm trung  bình, phương sai, độ lệch chuẩn phân phối điểm sinh viên Bằng cách áp dụng phương pháp thống kê, bạn hiểu rõ hiệu suất học tập sinh viên phân tích khác biệt nhóm sinh viên Phân tích chuỗi thời gian: Nếu bạn có liệu điểm theo chuỗi thời gian ,  bạn áp dụng phân tích chuỗi thời gian để phát xu hướng, mơ hình dự đoán điểm sinh viên tương lai Các phương pháp phổ biến bao gồm  phân tích dịng chuỗi thời gian , mơ hình hố ARIMA ( Autoregressive Intergrated Moving Average), sử dụng mạng nơ-ron hồi qui (RNN) LSTM ( Long short-term memory) để dự báo điểm Phân loại dự báo: Bài toán liên quan đến việc xây dựng mơ hình để phân loại sinh viên vào nhóm dưaj điểm số biến liên quan khác Có thể dụng thuật tốn học máy ( ví dụ: định, máy vector hỗ trợ (SVM)) để xây dựng mơ hình dự báo kết học tập sinh viên Phân tích định hướng: Bài tốn nhằm phát phân tích mơ hình, qui tắc xu hướng dự liệu điểm sinh viên Có thể áp dụng khai phá liệu khai phá tri thức để tìm quy tắc tiềm ẩn, nhóm sinh viên có đặc điểm tương đồng, yếu tố ảnh hưởng đến kết học tập - Phân tích nhóm phân tích cụm: Bạn áp dụng phân tích nhóm phân tích cụm để phân loại sinh viên vào nhóm có đặc điểm tương tự dựa điểm số Các phương pháp phân tích thành phần (PCA) phân tích cụm (clustering) K-means Hierarchical Clustering sử dụng để phân nhóm liệu điểm sinh viên Dự báo rớt thành cơng: Bài tốn liên quan đến việc dự đoán xác suất rớt thành công sinh viên dựa liệu điểm Bằng cách xây dựng mơ hình dự đốn, bạn xác định yếu tố quan trọng ảnh hưởng đến kết học tập cung cấp gợi ý cho biện pháp can thiệp hỗ trợ sinh viên có nguy rớt - 1.3: phát biểu toán Ứng dụng kỹ thuật khai phá liệu dự báo kết học tập ngày  phổ biến trường cấp trường đại học Để cảnh báo hay tư vấn thật tốt cho học sinh, sinh viên tri thức khai phá từ liệu điểm học sinh, sinh viên vô quan trọng Từ việc chạy thuật tốn hay mơ hình AI để dự báo trước kết học tập sinh viên, từ cảnh báo trước tình trạng học tập cho sinh gia đình để có cách cải thiện kết Khai phá liệu nói chung khai phá liệu giáo dục nói riêng q trình ta tìm tịi tri thức từ thơng tin liệu thô 1.3.1: Phạm vi đề tài Ở nghiên cứu phạm vi khoa công nghệ thông trường đại học Giao Thông Vận Tải Ta thu thập liệu điểm toàn sinh viên khoa cơng nghệ thơng tin từ khố 56 đến khố 60 trường đại học Giao Thông Vận Tải 1.3.2: Lý chọn đề tài Với mục đích tư vấn cảnh báo cho học sinh kết học tập  phân loại, thống kê đánh giá tỉ lệ kết học tập tốt sinh viên để có phương án dạy học tư vấn tuyển sinh khách quan cho lần tuyển sinh 1.3.3: Mục tiêu đề tài Với liệu thu thập phạm vi lí ta đặt mục tiêu sau cho đề tài: Dựa vào kết năm 1,2,3 dự báo kết năm Phân loại tốt nghiệp Đánh giá môn học ảnh hưởng đến học tập Thống kê so sánh kết khố mà khác lộ trình đào tạo kết học tập Chương 2: Cơ sở lí thuyết 2.1: Tổng quan khai phá liệu 2.1.1: Sơ lược khai phá liệu  Data mining số lĩnh vực quan trọng cơng nghệ  Đóng vai trị đặc biệt quan trọng việc phân tích quản lý liệu Trong thời buổi công nghệ ngày phát triển nay, việc áp dụng cơng nghệ thơng tin vào q trình xử lý phân tích liệu điều vơ cần thiết 2.1.1.1: Data Mining gì? Data mining hay hiểu khai phá liệu Đây trình phân loại, xếp tập hợp liệu lớn nhằm xác định mẫu thiết lập mối quan hệ giúp giải vấn đề nhờ trình phân tích liệu Các MCU khai phá liệu cho phép doanh nghiệp có khả dự đốn xu hướng tương lai Quá trình khai phá liệu trình phức tạp, bao gồm kho liệu chuyên sâu công nghệ tính tốn Hơn hết, Data mining khơng bị giới hạn việc trích xuất liệu, mà cịn ứng dụng để chuyển đổi, làm sạch, tích hợp liệu phân tích mẫu Hình File excel tổng hợp dạng tốt nghiệp 28 3.1.2: Xử lí liệu - Tiền xử lí liệu: Ở ta xử lí liệu qua qua bước: Bước 1: Ta xử lí liệu thủ công or code ( thủ công nhanh hơn) dạng đây: 29 Bước 2:    Ta khảo sát mẫu liệu tổng hợp thông tin mẫu sau chuyển đổi bước Thông tin mẫu liệu khóa sau: Khóa 56 (K56):  30 31  Khóa 57 (K57) 32  Khóa 58 (K58) 33  Khóa 59 (K59) 34 35  Khóa 60 (K60) 36 Bước 3: Làm liệu để dùng cho model  Ở để trực quan ta điền liệu khuyết thiếu -1 or tùy ý định 37 3.2 Áp dụng kỹ thuật vào mẫu liệu 3.2.1 Áp dụng Linear regression - K58 : - K59: 38 Ta áp dụng cho mẫu liệu liệu K56-K60 kết 3.2.2 Áp dụng ANN 3.3 Kết thực nghiệm 3.3.1 Kết dùng Linear regression - K58 : 39  Khi chạy thực nghiệm với toán dùng liệu năm đầu để dự đốn cho năm cuối ta có kết sau: - K59:  Ta làm giống với k58 thu kết qua sau: 40 41 3.3.2 Kết dùng ANN 3.4 Đánh giá so sánh - Như nhìn thấy kết cho ta thấy kết dự đoán thấp - Với lượng đầu vào tham số cao số lượng mẫu để train model nên việc cho kết thấp - Qua hai kỹ thuật cho ta thấy việc dùng hồi qui tuyến tính cho kết lạc quan với mẫu dự liệu nghiên cứu - Để đánh giá kỹ thuật tốt cho tốn ta so sánh  bởi lượng liệu cho việc mơ hình học tập tốt - Như ta thấy mẫu tham số ảnh hưởng đến việc học hình quan trọng, tham số ta chưa đánh giá quan trọng ngoại lại nên mơ hình bị xấu Kết luận 42