Đang tải... (xem toàn văn)
ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KINH TẾ LUẬT NHÓM 4 PREDICTING E LEARNING STUDENT PERFORMANCE LỚP HỌC PHẦN 221TK0526 GIẢNG VIÊN HƯỚNG DẪN TS NGUYỄN PHÚC SƠN TP Hồ Chí Minh, Tháng[.]
ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KINH TẾ - LUẬT NHÓM PREDICTING E-LEARNING STUDENT PERFORMANCE LỚP HỌC PHẦN: 221TK0526 GIẢNG VIÊN HƯỚNG DẪN: TS NGUYỄN PHÚC SƠN TP Hồ Chí Minh, Tháng 11 Năm 2022 MỤC LỤC I TỔNG QUAN VỀ ĐỀ TÀI Tóm tắt tình Mục tiêu đề tài II NỘI DUNG CHÍNH .4 Mô tả liệu .4 Mục tiêu – Đo lường mức độ quan trọng tập Mục tiêu – Phương pháp đánh giá kiến thức học sinh tiếp thu .8 III MỞ RỘNG – SO SÁNH MƠ HÌNH 10 KẾT LUẬN 12 TÀI LIỆU THAM KHẢO 13 CHAPTER 10: DỰ ĐOÁN HIỆU SUẤT HỌC TRỰC TUYẾN CỦA SINH VIÊN (PREDICTING E-LEARNING STUDENT PERFOMANCE) I TỔNG QUAN VỀ ĐỀ TÀI Tóm tắt tình Opera Multimedia đơn vị chuyên cung cấp nội dung học tập tảng E-learning cho sinh viên Họ thiết kế khóa học để khắc phục hạn chế khơng gian lẫn thời gian hình thức giáo dục truyền thống Trong báo cáo này, phân tích liệu thu từ 463 sinh viên trải nghiệm khóa học thử nghiệm Đại học Pavia Opera Multimedia kết hợp tính hiệu phương pháp giảng dạy Học viện Anh quốc tính tức thời tảng Elearning Khóa học chia thành ba cấp độ, phù hợp với khung tham chiếu ngôn ngữ chung Châu Âu: Cấp độ tương ứng với trình độ A1 – dành cho người bắt đầu; Cấp độ tương ứng với trình độ A2 – áp dụng cho học sinh tiền trung cấp; Cấp độ bao gồm trình độ B1 – thiết kế cho học sinh trung cấp Mỗi cấp độ có 14 – 15 học, có khóa cuối khóa để sinh viên ơn tập lại kiến thức học Khóa học tập trung vào kỹ năng: nghe, nói, đọc, viết; kỹ nghe đặc biệt trọng Chương trình bao gồm nhiều nội dung kèm với hình ảnh minh họa nhiều tập tương tác Mục tiêu đề tài Bài nghiên cứu giúp sinh viên hiểu rõ thân họ thực phù hợp với phương pháp học tập (trực tuyến, trực tiếp hay qua CD-ROM ) liệu sinh viên khác có trải nghiệm học tập giống họ hay khơng (hiệu hay không hiệu ) sử dụng phương pháp học tập Opera Multimedia cung cấp, từ dễ dàng so sánh đối chiếu lại với kết học tập thân Đồng thời, trường đại học thơng qua q trình tham gia sinh viên tảng để dự đoán chất lượng học tập họ, đặt câu hỏi liệu sinh viên có thật tập trung đạt hiệu học tập với phương pháp học tập khơng? Bên cạnh đó, dựa kết cho ra, thấy mặt tích cực khả quan, thấy phương pháp giúp sinh viên học tập hiệu hơn, hội để nâng cao danh tiếng chất lượng trường Opera Multimedia Ngược lại, kết có vấn đề, thơng qua phân tích, trường nhận khúc mắc khuyết điểm sinh viên để đưa giải đáp giải pháp kịp thời Ngoài ra, việc tổng hợp ý kiến bạn sinh viên phương pháp học tập giúp tìm hướng phát triển đắn định hướng dạy kèm phù hợp Và mục tiêu báo cáo đánh giá tầm quan trọng tập ước tính kiến thức mà sinh viên tiếp thu cá nhân hóa tảng học tập trực tuyến II NỘI DUNG CHÍNH Mô tả liệu Dữ liệu được lấy từ nền tảng học tập điện tử Opera Multimedia của Đại học Pavia Trong đó, khóa học tiếng Anh có 15 cấp độ, cấp độ bao gồm 11 chương (mỗi chương gồm 10 học kiểm tra cuối khóa): đánh giá, đối thoại, thuật ngữ, giới thiệu, nghe 1, nghe 2, phát âm, đọc, sử dụng tiếng Anh, video từ vựng Khóa học chia thành nhiều dạng tập: có đánh giá (phát âm, nghe kiểm tra trình độ) khơng có đánh giá (ngữ pháp) Đối với có đánh giá, thang điểm sẽ từ đến 100; mức điểm để đạt yêu cầu 50 Số điểm này giúp biết lỗ hổng của sinh viên, nhằm đưa giải pháp bù đắp kịp thời để có thể cung cấp cho mỡi sinh viên kiến thức tồn diện Tiếp theo để đánh giá kiến thức mà học sinh tiếp thu được, phân tích liệu dựa kết đạt thông qua tập Kết chia thành cấp độ C (hồn thành), I (khơng hồn thành), F (khơng đạt u cầu), P (đạt yêu cầu) Trong lúc thu thập liệu, loại bỏ 37,203 kết bất thường kết thuộc cấp độ I số 147,432 kết ban đầu Dữ liệu sau xếp thành bảng: Dữ liệu nhân học liên quan đến sinh viên đăng ký khóa học Ngày tháng, thời gian bắt đầu kết thúc cho khóa học mà sinh viên tham gia Cấu trúc trang web học trực tuyến chuyển dịch sở liệu giảng Kết từ kiểm tra cuối khóa theo cấp độ Mục tiêu – Đo lường mức độ quan trọng tập Mục tiêu cung cấp phương pháp đánh giá tầm quan trọng tập dự đoán khả tiếp thu sinh viên Trong phương pháp này, dựa kết học tập để cá nhân hoá trải nghiệm học tập người học bên cạnh cải thiện tảng giáo dục trực tuyến cho khóa học Tiếng Anh Để đạt điều này, trước tiên nên xem xét sử dụng phương pháp thống kê để thể bao quát kết sinh viên Ở nhận thấy phương pháp Kernel (KDE) phù hợp để trình bày liệu thực phân tích mục tiêu Điểm quan trọng áp dụng phương pháp phi tham số để ước tính hàm mật độ xác suất việc chọn băng thông (tốc độ truyền liệu tối đa đường dẫn định) phù hợp Đây việc cân việc thể thông tin liệu vừa tổng quan vừa chi tiết Căn vào liệu thực tế, cần phải so sánh phương pháp Sheather & Jones (1991) phương pháp kiểm chứng chéo để tìm phương pháp có tham số đặc trưng đạt hiệu tối ưu việc ước lượng mật độ xác suất Hình Hình biểu diễn biểu đồ tần suất ước lượng mật độ tương đối cho tập X10702 theo phương pháp kiểm chứng chéo phương pháp Sheather & Jones Hình Ước tính mật độ cho việc đánh giá tập X10702 phương pháp kiểm chứng chéo Hình Ước lượng cho đánh giá X10702 phương pháp Sheather & Jones Bảng So sánh theo cặp không tham số Exercise Exercise p-value X10304 X10307 0.04 X10304 X10402 0.01 X10304 X10406 0.02 X10305 X10406 0.16 X10305 X10504 0.01 X10307 X10402 0.14 X10307 X10406 0.14 X10308 X10504 0.55 X10309 X10403 0.01 X10309 X10602 0.67 X10402 X10403 0.01 X10402 X10602 0.02 X10502 X10503 0.12 X10502 X10702 0.26 Từ việc ứng dụng biểu đồ sau cho kết phù hợp gần với liệu cho Giả sử tầm quan trọng tập đánh giá hình thức so sánh mật độ cặp giá trị với Ở cặp tập đó, cần phải đo lường khác mật độ điểm tương ứng Giả sử với giả thuyết gốc H 0: Hàm mật độ tập f g giống nhau, lấy giá trị p ( p-value) thơng qua quy trình bootstrap để giữ cho h không thay đổi Kết hiển thị Bảng 1, đó, ta thấy nhiều tập có giá trị p nhỏ so với phần lại như: X10304 X10307, X10304 X10402, X10304 X10406, X10305 X10504, X10309 X10403, X10402 X10403, X10402 X10602 Hình So sánh đồ họa tập X10308 X10504 Hình thể so sánh tập X10308 X10504 dựa khoảng tin cậy có nhờ quy trình thống kê Khoảng tin cậy giống với ước tính mật độ nên cần xem xét tương đồng hai tập Do vậy, để giảm chiều mơ hình dự đốn (được mơ tả phần sau) X10308 hay X10504 bị loại bỏ Hình So sánh đồ họa tập X10309 X10403 Mặt khác, Hình thể khác biệt lớn mặt thống kê hai tập X10309 X10403 Điều có nghĩa hai tập quan trọng nên giữ lại mơ hình Mục tiêu – Phương pháp đánh giá kiến thức học sinh tiếp thu Đối với mục tiêu thứ hai dự đoán kiến thức sinh viên tiếp thu sau khóa học Opera Multimedia, so sánh mơ hình hồi quy logistic với mơ hình phi tham số Kết kiểm tra cuối kỳ sinh viên xếp thành biến nhị phân với Y = đạt yêu cầu Y = không đạt yêu cầu Chúng xem xét 10 đánh giá tập biến giải thích, chọn lọc theo phép so sánh ghép cặp phi tham số (so sánh từng cặp dữ liệu với nhau) Bảng cho thấy ước lượng tham số từ hồi quy logistic, đặc biệt có ba tập có ý nghĩa chất lượng đánh giá kiểm tra cuối khóa gồm: X10308 (phát âm), X10309 (nghe) X10702 (hiểu) Bảng Ước lượng cho mơ hình hồi quy logistic Variable GLM logit p-value Intercept -2.3121 0.0001 X10308 0.0396 0.0001 X10309 0.0291 0.0001 X10702 0.0344 0.0001 Bây giờ, so sánh kết Bảng với kỹ thuật phi tham số dựa mơ hình phi tham số Một lý việc sử dụng phương pháp khơng liên quan đến mối quan hệ tiềm ẩn hồi quy tham số chuẩn Những lợi ích việc áp dụng phép tính cộng thêm xấp xỉ chúng tơi gấp đơi Đầu tiên, thuật ngữ phụ gia riêng lẻ ước tính cách sử dụng đơn biến mịn hơn, nên tránh lời nguyền chiều (số lượng biến lớn, khả suy luận từ liệu trở nên thách thức) Thứ hai, ước tính điều khoản riêng lẻ giải thích biến phụ thuộc thay đổi khơng tuyến tính với biến giải thích tương ứng Trên thực tế, mơ hình cộng tổng quát mở rộng phạm vi ứng dụng mô hình tuyến tính tổng qt thơng qua phương pháp làm mịn dữ liệu (phương thức xử lí liệu, thực cách sử dụng thuật toán để loại bỏ nhiễu khỏi liệu Điều cho phép mẫu xu hướng quan trọng trở nên bật) Trong ứng dụng chúng tôi, Bảng cho thấy kết mơ hình phi tham số Đối với q trình ước tính, cách tiếp cận lặp lại sử dụng với thuật toán backfitting Các tập quan trọng X10308 (phát âm), X10309 (nghe), X10601 X10602 (hiểu) So sánh Bảng Bảng lưu ý chúng có điểm chung X10308 X10309 Bảng Ước lượng cho mơ hình phi tham số Spline Chi-squared Degrees of freedom X10308 30.1602 X10309 7.8260 X10601 8.4466 X10602 10.3671 III MỞ RỘNG – SO SÁNH MƠ HÌNH Chúng tơi thực báo cáo ma trận nhầm lẫn để từ Bảng Bảng đưa lựa chọn mơ hình dự đốn tốt mơ hình sản xuất Ma trận nhầm lẫn xem biểu diễn tính chất quy tắc phân lớp hay quy tắc phân biệt Ta thấy phần tử phân loại sai cho lớp Đường chéo cho thấy số lượng quan sát phân loại xác cho lớp, phần tử nằm đường chéo phân loại khơng xác Nếu giả định (rõ ràng ngầm định) phân loại khơng xác có chi phí kiến thức thu được, tính tốn tổng số phân loại sai thước đo hiệu suất Và đây, trường hợp chúng tôi, Bảng cho thấy ma trận nhầm lẫn lý thuyết cho phân loại hai lớp Bảng Ma trận nhầm lẫn lý thuyết Observed/Predicted Event Non-event Event a b Non-event c d Với bối cảnh nghiên cứu chúng tơi, mục ma trận nhầm lẫn có ý nghĩa sau: a số lần dự đoán sinh viên không đạt; b số lần dự đốn sai sinh viên khơng đạt; c số lần dự đoán sai mà sinh viên đạt; d số lần dự đoán mà sinh viên đạt Tiếp theo, Bảng Bảng cho thấy ma trận nhầm lẫn cho hai mơ hình: mơ hình hồi quy logistic mơ hình phi tham số Bảng Ma trận nhầm lẫn cho mơ hình hồi quy logistic P (Y = 0) P (Y = 1) O (Y = 0) 59 22 O (Y = 1) 11 290 Bảng Ma trận nhầm lẫn cho mơ hình phi tham số 10 O (Y = 0) O (Y = 1) P (Y = 0) 67 P (Y = 1) 14 285 Để có số liệu bảng, chúng tơi sử dụng phương pháp kiểm chứng chéo Chúng xây dựng mơ hình mẫu đào tạo so sánh mơ hình mẫu xác định Mẫu đào tạo (70%) mẫu xác định (30%) chọn ngẫu nhiên Từ kết quả, so sánh hai ma trận nhầm lẫn, nhận thấy mô hình phi tham số tốt so với hồi quy logistic, dẫn đến lỗi phân loại sai (Mơ hình phi tham số có 20 lần dự đốn sai mơ hình hồi quy logistic có đến 33 lần) Dựa lỗi phân loại sai, chúng tơi cho mơ hình phi tham số lựa chọn tập cụ thể có độ xác cao liên quan nhiều đến thành tích kiểm tra cuối khóa Bằng chứng thực nghiệm dẫn đến việc dành ý đặc biệt cho tập cụ thể Thơng tin giúp nhà cung cấp liệu cá nhân hóa tảng học tập lập kế hoạch cho hành động dạy kèm cụ thể 11 KẾT LUẬN Trong báo cáo này, chúng tơi phân tích liệu E-learning (học tập trực tuyến) từ trường Đại học Pavia với mục tiêu đo lường, đánh giá tầm quan trọng tập hệ thống ước tính kiến thức mà học sinh tiếp thu Những liệu chúng tơi trích xuất từ nhiều tệp nhật ký tảng E-learning Trong phần thu thập kiểm tra liệu, sử dụng tập hợp thước đo mô tả dựa kỹ thuật phi tham số Tầm quan trọng tập đánh giá cách so sánh cặp giá trị dựa kỹ thuật đánh giá phi tham số Cịn để dự đốn kiến thức thu cho sinh viên, so sánh mơ hình hồi quy logistic cổ điển với mơ hình phi tham số Để chọn mơ hình tốt mơ hình dự đốn trên, chúng tơi sử dụng ma trận nhầm lẫn để phân tích 12 TÀI LIỆU THAM KHẢO Giudici, P and Figini, S., 2009 Applied data mining for business and industry Chichester, West Sussex: Wiley Ly Tuan Anh, 2021 “THỐNG KÊ, PHÂN TÍCH, MƠ HÌNH HĨA DỮ LIỆU”, facebook.com/lytuananh1980, https://www.facebook.com/notes/628545234506514/? paipv=0&eav=AfaHT6mO4l3fBBKZlQzgDk5gvCE5X8EG0J0PLwA2XHnqyJb yqMA0_p5_I2zoO0hhvcA, Truy cập ngày 10/11/2022 Hoang Vy, 2020 “Làm mịn liệu (Data Smoothing) gì? Đặc điểm làm mịn liệu”, Vietnambiz, https://vietnambiz.vn/lam-min-du-lieu-data-smoothing-la-gi-dac-diem-cua-lammin-du-lieu-20200323232709363.htm, Truy cập ngày 7/11/2022 Linh Nghiem, 2019 “Khoa học liệu: Suy luận hay dự đoán?”, https://linhnghiem.org/2019/11/03/khoa-hoc-du-lieu-suy-luan-hay-du-doan/, Truy cập ngày 10/11/2022 13 ... (PREDICTING E- LEARNING STUDENT PERFOMANCE) I TỔNG QUAN VỀ ĐỀ TÀI Tóm tắt tình Opera Multimedia đơn vị chuyên cung cấp nội dung học tập tảng E- learning cho sinh viên Họ thiết kế khóa học để khắc... thức học sinh tiếp thu .8 III MỞ RỘNG – SO SÁNH MƠ HÌNH 10 KẾT LUẬN 12 TÀI LIỆU THAM KHẢO 13 CHAPTER 10: DỰ ĐOÁN HIỆU SUẤT HỌC TRỰC TUYẾN CỦA SINH VIÊN (PREDICTING. .. nghĩa sau: a số lần dự đoán sinh viên khơng đạt; b số lần dự đốn sai sinh viên không đạt; c số lần dự đoán sai mà sinh viên đạt; d số lần dự đoán mà sinh viên đạt Tiếp theo, Bảng Bảng cho thấy