Xác định hành vi học tập thông qua phân tích dữ liệu trên hệ thống học tập trực tuyến

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN HUY XÁC ĐỊNH HÀNH VI HỌC TẬP THƠNG QUA PHÂN TÍCH DỮ LIỆU TRÊN HỆ THỐNG HỌC TẬP TRỰC TUYẾN Chuyên ngành : Khoa học Máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2023 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học 1: TS Lê Thanh Vân (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán hướng dẫn khoa học 2: PGS.TS Huỳnh Tường Nguyên (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : TS Trang Hồng Sơn (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : TS Lê Thị Thủy (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 11 tháng năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) TS Nguyễn Đức Dũng (Chủ tịch) TS Nguyễn Tiến Thịnh (Thư ký) TS Trang Hồng Sơn (Phản biện 1) TS Lê Thị Thủy (Phản biện 2) PGS.TS Huỳnh Tường Nguyên (Ủy viên) Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: TRẦN HUY MSHV: 2170537 Ngày, tháng, năm sinh: 01/04/1999 Nơi sinh: Quảng Ngãi Chuyên ngành: Khoa học Máy tính Mã số : 8480101 I TÊN ĐỀ TÀI: XÁC ĐỊNH HÀNH VI HỌC TẬP THƠNG QUA PHÂN TÍCH DỮ LIỆU TRÊN HỆ THÔNG HỌC TẬP TRỰC TUYẾN DETERMINING LEARNING BEHAVIOR THROUGH DATA ANALYSIS ON AN ONLINE LEARNING SYSTEM II NHIỆM VỤ VÀ NỘI DUNG: - Tìm hiểu kiến thức nghiên cứu liên quan đến việc khai phá phân tích liệu thơng tin thu thập trình dạy học ; - Khảo sát ngân hàng đề lập trình có sẵn triển khai nhiều năm ; - Thực thử nghiệm mơ hình giảng dạy thu thập liệu dạy học thực tế từ khóa học triển khai tảng học tập trực tuyến; - Phân tích liệu thu thập nhằm xác định nhóm người học có lực khác nhau, phân loại hành vi học tập thực hành lập trình xác định mối liên hệ chúng III NGÀY GIAO NHIỆM VỤ: 06/02/2023 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 11/06/2023 V CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): TS Lê Thanh Vân, PGS.TS Huỳnh Tường Nguyên Tp HCM, ngày 10 tháng 07 năm 2023 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) HỘI ĐỒNG NGÀNH (Họ tên chữ ký) TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên chữ ký) Ghi chú: Học viên phải đóng tờ nhiệm vụ vào trang tập thuyết minh LV Lời cảm ơn Để hoàn thành Luận văn Thạc sĩ này, xin bày tỏ cảm kích đặc biệt tới cố vấn tơi, Tiến sĩ Lê Thanh Vân Phó giáo sư Tiến sĩ Huỳnh Tường Nguyên - Những người định hướng, trực tiếp dẫn dắt cố vấn cho suốt thời gian thực đề tài nghiên cứu khoa học Tôi xin gửi lời cảm ơn đến thầy tất lịng biết ơn Xin chân thành cảm ơn tất người! Tp HCM, ngày 10 tháng 08 năm 2023 Học viên Trần Huy i Tóm tắt Luận văn tập trung vào việc triển khai đánh giá mô hình giảng dạy mơi trường học trực tuyến, nhằm thu thập thông tin từ người học để phân tích phân nhóm hành vi học tập họ Bằng cách thu thập liệu từ hệ thống học trực tuyến, giáo viên có nhìn sâu sắc hành vi người học tạo môi trường học tập linh hoạt đa dạng Luận văn bao gồm việc xem xét nghiên cứu có kiểm tra ngân hàng câu hỏi lập trình Nó liên quan đến việc triển khai đánh giá mơ hình lớp học đảo ngược, việc thu thập phân tích liệu hành vi học tập người học Bằng cách hiểu rõ hành vi học tập cá nhân học viên, giáo viên tùy chỉnh phương pháp giảng dạy cho nhóm học viên khác tạo môi trường học tập linh hoạt Các từ khóa: Hành vi học tập, Hệ thống quản lý học tập, Lớp học đảo ngược, Khai phá liệu giáo dục, Phương pháp đánh giá, k-means, OPTICS, Phân loại Naive Bayes ii Abstract This thesis delves into the implementation and evaluation of a novel teaching model in an online learning environment, aimed at collecting learner information to analyze and group their learning behaviors By gathering data from online learning systems, teachers can gain deeper insights into learners’ behaviors and create a more flexible and diverse learning environment The thesis encompasses a review of existing research and an examination of a programming question bank It also involves the implementation, and evaluation of the flipped classroom model, along with the collection and analysis of data on learners’ behaviors By understanding individual learner behaviors, teachers can tailor their instruction to different learner groups and create a dynamic and inclusive learning environment Keywords: Learning behavior, Learning Management System, Flipped classroom, Educational data mining, Assessments, k-means, OPTICS, Naive Bayes Classification iii Lời cam đoan Tơi xin cam đoan cơng trình nghiên cứu riêng hướng dẫn TS Lê Thanh Vân PGS TS Huỳnh Tường Nguyên Nội dung nghiên cứu kết trung thực chưa công bố trước Các nội dung nghiên cứu trình bày đa phần tơi tự tìm hiểu, phân tích tổng hợp Tơi có sử dụng số nhận xét, đánh giá số liệu tác giả khác, quan tổ chức khác Tất có trích dẫn thích nguồn gốc Nếu phát có gian lận nào, tơi xin hồn tồn chịu trách nhiệm, trường Đại học Bách Khoa - ĐHQG Tp.HCM không liên quan đến vi phạm tác quyền, quyền tơi gây q trình thực Tp HCM, ngày 10 tháng 08 năm 2023 Học viên Trần Huy iv Mục lục Giới thiệu 1.1 Động nghiên cứu 1.2 Mục tiêu nghiên cứu 1.3 Đối tượng nghiên cứu 1.4 Giới hạn nghiên cứu 1.5 Phương pháp nghiên cứu 1.6 Ý nghĩa đề tài 1.7 Cấu trúc luận văn Kiến thức tảng 2.1 Các phương pháp giảng dạy đánh giá 2.1.1 Phương pháp giảng dạy thực hành lập trình 2.1.2 Phương pháp lớp học đảo ngược 2.1.3 Các phương pháp đánh giá 2.2 Đánh giá độ khó câu hỏi ngân hàng câu hỏi 2.3 Thu thập, phân tích khai phá liệu giáo dục 2.4 2.3.1 Giải thuật k-means 11 2.3.2 Gom cụm phân loại nhiễu sử dụng DBSCAN OPTICS 11 2.3.3 Thuật toán phân loại Naive Bayes 12 Kết chương 14 Khảo sát ngân hàng câu hỏi lập trình lực người học 15 3.1 Phân loại độ khó cho câu hỏi lập trình dựa lực người học 15 3.1.1 Cơng thức liên quan đến độ khó 15 3.1.2 Nhận xét công thức liên quan đến độ khó 17 3.1.3 Phương pháp tiếp cận 18 3.1.4 Các mơ hình để xác định độ khó câu hỏi 18 3.1.5 Phương pháp gán độ khó cho cụm 19 3.1.6 Kết phân cụm 19 v 3.1.7 3.2 Đánh giá kết phân cụm 22 Phát chủ đề khó ngân hàng câu hỏi 23 3.2.1 Các quan sát 23 3.2.2 Quy trình liên tục cải tiến đề xuất 25 3.2.3 Thiết lập thực nghiệm 28 3.2.4 Kết thảo luận 30 Thiết kế mơ hình giảng dạy xác định hành vi người học 37 4.1 Thiết kế mơ hình giảng dạy 37 4.1.1 Áp dụng lớp học đảo ngược việc giảng dạy lập trình thực hành 37 4.1.2 Thu thập liệu 37 4.1.3 So sánh lớp học truyền thống, lớp học đảo ngược, lớp học đảo ngược khóa học lập trình thực hành 4.1.4 Hiệu việc áp dụng lớp học đảo ngược khóa học lập trình thực hành 41 Phân tích liệu Prelab Inlab 45 Xác định hành vi học tập mơ hình giảng dạy 48 4.2.1 Phân tích hành vi học tập nhóm người học 48 4.2.2 Tiềm dự đoán kết học tập người học từ hành vi thu thập 53 4.1.5 4.2 38 Tổng kết 54 Danh mục cơng trình khoa học 56 Tài liệu tham khảo 61 vi Danh sách bảng 2.1 Các yếu tố liên quan đến việc mơ tả mức độ khó câu hỏi 3.1 Bảng tổng kết công thức liên quan đến độ khó 17 3.2 Bảng thể mức độ ảnh hưởng yếu tố công thức xác định độ khó câu hỏi lập trình 18 3.3 Điểm Silhouette mơ hình 19 3.4 Kết phân loại môn học KTLT 20 3.5 Kết phân loại môn học CTDL> 21 3.6 Độ giống độ tương tự kết phân loại 22 3.7 Nội dung chủ đề 29 3.8 Thông tin tập liệu Lab với 671 người học 29 3.9 Thông tin tập liệu Exam với 634 người học 29 3.10 Kết phân cụm với (min_samples = 3) 31 3.11 Lấy mẫu số sinh viên từ ngoại lệ (xuất nhiều ma trận gom cụm) 36 4.1 Bảng kết điểm lab 38 4.2 Bảng so sánh lớp học truyền thống, lớp học đảo ngược, lớp học đảo ngược khóa học lập trình thực hành 40 4.3 Thời gian sinh viên dành cho học lab 42 4.4 Tỷ lệ nhóm sinh viên đạt kết Inlabs 45 4.5 Phân tích mối tương quan yếu tố Prelab Inlab 47 4.6 Kết phân loại sử dụng Naive Bayes Classification 48 4.7 Kết làm Prelab sinh viên làm ngày 50 4.8 Bảng giao thoa hành vi sinh viên nhiều Prelab theo nhóm 4.9 Early, On Late 51 Bảng thống kê kết sinh viên đặc trưng nhóm Early, On Late 52 vii Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính Bảng 4.6: Kết phân loại sử dụng Naive Bayes Classification Class Precision 0.60 0.00 0.00 0.27 0.85 Recall 0.69 0.00 0.00 0.09 0.94 F1-score 0.64 0.00 0.00 0.14 0.90 Accurracy F1-score Support 77 18 23 32 482 0.81 0.77 Lớp Lớp có precision, recall F1-score 0.00, cho thấy phân loại không đưa dự đốn xác cho lớp Lớp có precision (0.27) recall (0.09) tương đối thấp, dẫn đến F1-score thấp 0.14 Tuy nhiên, Lớp cho thấy hiệu suất xuất sắc với precision (0.85), recall (0.94) F1-score (0.90) cao Điều khớp với việc Lớp Lớp có hỗ trợ cao thứ hai cao tập liệu Học viên luyện tập lập trình thường thực sửa đổi đạt điểm tối đa Điều dẫn đến hầu hết điểm số học viên thuộc vào Lớp Tổng thể, mơ hình dự đốn có độ xác 0.81 F1-score 0.77 4.2 Xác định hành vi học tập mơ hình giảng dạy 4.2.1 Phân tích hành vi học tập nhóm người học Mục trước trình bày mơ hình giảng dạy thực hành đề xuất học viên Với mơ hình giảng dạy này, lớp học tăng cường tương tác giúp sinh viên tích cực q trình giảng dạy Tuy nhiên, liệu mơ hình giảng dạy có đáng thực đáng tin cậy hay không? Để làm rõ độ tin cậy, học viên tiến hành quan sát hành vi học tập người học mô hình giảng dạy đề xuất Luận văn sử dụng cụm từ "hành vi học tập" người học với định nghĩa việc học tập phụ thuộc vào giáo viên, khả giải vấn đề, ảnh hưởng tính cách, hoạt động nhận thức thói quen khác người học [46] Cụ thể, để xem xét thói quen làm người học, học viên quan sát số lượng sinh viên hoàn thành câu hỏi Prelab ngày số lượng sinh viên hoàn thành Prelab ngày Lý học viên chọn quan sát Prelab Prelab có deadline cố định cho toàn sinh viên, Inlab có deadline khơng cố định lớp học có lịch học khác Bên cạnh đó, Prelab tập liệu khơng có deadline cụ thời gian triển khai dài, nên phần tập trung vào việc phân tích liệu Prelab 2, Prelab Prelab Vì số lượng câu hỏi thuộc Prelab lớn (hơn 30 câu hỏi), học viên tập trung quan sát vài câu hỏi thuộc Prelab có nhận xét chung: Các câu hỏi lab có xu hướng biểu đồ gần giống Hình 4.4 biểu diễn phân bố số lượng sinh viên hoàn thành câu hỏi ngày Có thể rút nhận xét sau: Luận văn Thạc sĩ Trang 48/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính • Lượng sinh viên hoàn thành câu hỏi ngày đầu tương đối lớn • Có ngày phân bố lớn hẳn so với ngày lại Điều giải thích ngày hạn chót ban đầu giao cho sinh viên Những ngày sau ngày gia hạn thêm cho sinh viên hoàn thành Prelab (a) Từ câu hỏi thuộc Prelab (b) Từ câu hỏi thuộc Prelab (c) Từ câu hỏi thuộc Prelab Hình 4.4: Histogram số lượng sinh viên hoàn thành câu hỏi ngày Tiếp theo, học viên tiếp tục quan sát số lượng sinh viên hoàn thành Prelab 2, 3, hình 4.5a, 4.5b 4.5c để có nhìn tổng quát phân bố Đáng ý, sinh viên mà học viên quan sát sinh viên thuộc điều kiện biên, cụ thể sinh viên hoàn thành Prelab vòng ngày Việc quan sát sinh viên thuộc điều kiện biên có ý nghĩa Thứ nhất, lab thiết kế để sinh viên giải khoảng giờ, tức sinh viên giải Prelab vịng ngày sinh viên hoàn toàn tập trung vào việc tham gia Prelab Thứ hai, việc quan sát sinh viên làm Prelab ngày tăng độ xác việc đo đạc thời gian thực mà sinh viên bỏ hệ thống LMS Có thể nhận thấy, phân bố số lượng sinh viên hoàn thành Prelab gần tương đồng với quan sát phân bố số lượng sinh viên hoàn thành câu hỏi Prelab Cụ thể, phân bố tập trung phần lớn vào ngày triển khai ngày hạn chót (ở phân bố) (a) Prelab (b) Prelab (c) Prelab Hình 4.5: Histogram số lượng sinh viên hồn thành Prelab ngày Thông qua hai quan sát trên, học viên đề xuất chia tập sinh viên quan sát thành nhóm Nếu Luận văn Thạc sĩ Trang 49/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính người học trì đặc tính nằm nhóm nhiều lab đặc tính trở thành thói quen người học, tức hành vi học tập • Early: Những sinh viên làm lab ngày đầu • In: Những sinh viên làm lab từ ngày thứ trở đến trước ngày hạn chót • On: Những sinh viên làm lab ngày hạn chót • Late: Những sinh viên làm lab sau ngày hạn chót (được gia hạn thêm) Bảng 4.7 mô tả kết làm sinh viên làm ngày Prelab với trường thông tin bao gồm: số lượng sinh viên, điểm số, thời lượng số lần nộp Thông qua bảng 4.7, ta thu quan sát sau Bảng 4.7: Kết làm Prelab sinh viên làm ngày Early In On Late Số lượng 60 63 61 52 Prelab thời lượng điểm (phút) 187 10 206 9.69 265 9.97 183 8.8 Số lần nộp 9.47 9.1 9.23 8.63 Số lượng 76 25 24 24 Prelab thời lượng điểm (phút) 317 9.44 168 8.62 232 9.27 101 5.36 Số lần nộp 10.7 9.76 10.67 6.88 Số lượng 94 57 44 95 Prelab thời lượng điểm (phút) 156 9.58 175 9.25 151 9.57 176 8.9 Số lần nộp 7.18 6.86 7.23 6.86 Đối với Prelab 2, số lượng, số sinh viên nhóm gần giống Về mặt thời lượng, nhóm On nhóm có thời lượng làm lâu Về điểm số, nhóm Early nhóm On đạt điểm gần tuyệt đối (10 9.97), nhóm Late đạt điểm trung bình 8.8 Về số lần nộp, Prelab có số lượng câu hỏi điểm, tức sinh viên phải nộp tối thiểu lần đạt điểm tối đa Nhóm sinh viên Late nộp trung bình 8.63 lần, tức thấp ngưỡng tối thiểu, ám việc sinh viên khơng hồn thành Prelab Hành vi gần với Prelab 3, nhiên có số sai khác Cụ thể, số lượng sinh viên Early tương đối lớn so với nhóm cịn lại, chứng tỏ sinh viên có hứng thú cao phương pháp giảng dạy Tuy nhiên, thời lượng nhóm Early cao vói 317 phút Prelab lab tương đối khó với chủ đề Con trỏ Danh sách liên kết nên việc sinh viên phải bỏ thời gian nhiều cho lab điều hợp lý Điều đáng ý là, sinh viên Late dành 101 phút cho lab Dù vậy, điểm sinh viên Late trung bình đạt 5.36, với số lần nộp 6.88 (số lượng câu hỏi Prelab 10 câu) Điều cho thấy, sinh viên Late có bỏ cần hỗ trợ từ người dạy Cuối cùng, Prelab có tổng số lượng sinh viên làm ngày cao Có khả xảy ra, sinh viên quen với phương pháp giảng dạy, sinh viên có thích thú cao với mơn học dẫn đến làm ngày Về thời lượng, điểm số số lần nộp nhóm tương tự Luận văn Thạc sĩ Trang 50/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính Tóm lại, kết luận rằng, nhóm Early nhóm sinh viên có ý thức học cao có háo hức, mong muốn giải tập Việc quan sát nhóm Early cho ta thấy hành vi học lập trình sinh viên siêng năng, với kì vọng kết tốt Ngược lại, nhóm Late nhóm thụ động q trình học tập, cần phải hỗ trợ thêm từ phía người dạy Việc quan sát nhóm Late cho ta thấy hành vi học lập trình sinh viên cần giúp đỡ Bên cạnh đó, nhóm On nhóm sinh viên thú vị làm việc ngày hạn chót có kết gần giống với nhóm Early Đây nhóm cần quan sát thêm Để làm rõ thêm hành vi nhóm Early, On Late, học viên thực giao thoa hành vi sinh viên lab Cụ thể, học viên xem xét sinh viên có thuộc nhóm Early, On Late nhiều lab Để quan sát được, sinh viên xây dựng bảng giao thoa Early, On Late Một phần kết bảng thể qua bảng 4.8a, 4.8b 4.8c studentID 2052555 2112462 2014289 2113928 2110866 Prelab2 Prelab3 true true true true true true true true true true Prelab4 true true true true true studentID 2111219 2113050 2120050 2113786 2110648 Prelab2 Prelab3 true true true true true true true true true true (a) Early (b) On Prelab4 true false false false false studentID 2114461 2110274 2153976 2112302 2112847 Prelab2 Prelab3 true true true false true false true false true false Prelab4 true true true true true (c) Late Bảng 4.8: Bảng giao thoa hành vi sinh viên nhiều Prelab theo nhóm Early, On Late Với nhóm Early, có 10 sinh viên có hành vi thuộc nhóm Early cho Prelab 18 sinh viên lần thuộc nhóm Early tổng số 45 sinh viên làm ngày cho toàn lab Cịn nhóm On Late, có sinh viên có hành vi thuộc nhóm tương ứng cho Prelab, số sinh viên lớn lần xuất cho On Late sinh viên Ta kết luận điều rằng, khơng có nhiều sinh viên có chủ đích làm lab ngày hạn chót Và bạn thuộc nhóm Early có hành vi bền vững với 10 sinh viên thuộc nhóm Early cho Prelab Để quan sát đặc thù nhóm sinh viên Early, On Late, học viên thực quan sát kết làm sinh viên có số lần xuất nhóm Early, On Late lớn lần thu kết Bảng 4.9 Luận văn Thạc sĩ Trang 51/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính Prelab Số lần nộp Prelab Thời gian Prelab (giờ) Prelab Số lần nộp Prelab Thời gian Prelab (giờ) Prelab Số lần nộp Prelab Thời gian Prelab (giờ) Early 10 9.61 1.5 9.98 11.11 4.8 9.99 7.22 1.25 On 10 9.14 6.2 9.91 10.57 5.6 9.88 7.12 0.5 Late 9.72 10.38 9.6 9.75 1.1 9.39 0.75 Bảng 4.9: Bảng thống kê kết sinh viên đặc trưng nhóm Early, On Late Từ bảng 4.9, ta thu số nhận định sau: • Đối với nhóm Early, điểm sinh viên gần tuyệt đối (>= 9.98) Số lần nộp sinh viên thuộc nhóm Early ln lớn số lượng câu hỏi Prelab Điều cho thấy, sinh viên có thực làm bài, thể qua việc thử làm lại nhiều lần Từ đó, ta xem thời gian làm nhóm Early ngưỡng hợp lý để quan sát • Đối với nhóm On, thấy điểm nhóm tương đối cao (thấp 9.88), với số lần nộp thấp so với nhóm Early Ở Prelab 2, sinh viên thuộc nhóm có thời gian làm lớn với 6.2 Tuy nhiên Prelab kết tương đối Tuy nhiên, Prelab 4, thời gian làm nhóm On có 0.5 Việc sinh viên thuộc nhóm On, tức làm vào ngày hạn chót, có thời gian làm thấp đến điều bất thường Có thể, sinh viên thuộc nhóm On có tham khảo làm từ nhóm Early • Việc tham khảo thể rõ với sinh viên thuộc nhóm Late, mà điểm số họ thấp nhất, ngưỡng điểm Đặc biệt, Prelab 3, Prelab tương đối khó với sinh viên học lập trình, thời gian làm họ có 1.1 so với sinh viên thuộc nhóm Early 4.8 Tương tự với Prelab 0.75 so với 1.25 giờ, điều cho thấy, Prelab Prelab 4, sinh viên nhóm Late có tham khảo kết làm từ sinh viên làm trước Tổng kết lại, dựa phân tích hành vi học tập sinh viên mơ hình dạy học đề xuất, kết luận mơ hình cho thấy độ tin cậy đáng kỳ vọng Qua quan sát tỷ lệ hoàn thành câu hỏi Prelab, phần lớn sinh viên tham gia tích cực với lab ngày đầu vào ngày hạn chót Bên cạnh đó, sinh viên thuộc nhóm trễ hạn chót nhóm sinh viên cần quan tâm vấn đề làm việc hỗ trợ việc học tập Luận văn Thạc sĩ Trang 52/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính 4.2.2 Tiềm dự đoán kết học tập người học từ hành vi thu thập Như mô tả phần Kiến thức tảng, phân tích hành vi người học (learning behavior analysis) nhánh nghiên cứu lớn nghiên cứu Khai phá liệu giáo dục [47] tiến hành nghiên cứu dựa liệu nhằm xác định xem hành vi học tập sinh viên trích xuất trực quan hóa từ nhật ký hoạt động ghi lại Moodle Cụ thể, báo cố gắng xem có tương quan mức độ hoạt động sinh viên môi trường trực tuyến thành tích học tập họ liên quan đến điểm cuối kỳ khơng Trong đó, [48] dự đốn thành công thất bại sinh viên, thực thông tin tương tác sinh viên với tài liệu khóa học báo cáo tự đánh giá sinh viên độ tự tin nội dung môn học Tương tự với ý tưởng này, [49] [50] trích xuất hành vi học tập người học từ khóa học trực tuyến để đánh giá kết học tập họ phát sớm kết khơng mong muốn Theo tìm hiểu học viên, nghiên cứu trước hành vi người học dùng hành vi đặc trưng để đánh giá xác định rõ hành vi cụ thể người học Bên cạnh đó, nghiên cứu phổ biến sử dụng thuật toán gom cụm phân loại Naive Bayes, Bayes Net, SVM, Random Forest [3] Với liệu mà học viên thu thập từ khóa học lập trình trực tuyến, học viên xây dựng mơ hình dự đốn kết học tập dựa vào hành vi học tập người học, cụ thể thói quen phân tích mục trước Ở phía ngược lại, kết học tập luận văn kết việc làm tập lớn học kì mơn học tương ứng Về kết dự kiến, hành vi thu thập từ việc dạy lập trình thực hành cho thấy tương quan với kết học tập người học Từ cho thấy, hành vi mà học viên thu thập từ mơ hình giảng dạy hợp lí hỗ trợ cho người dạy việc định người học Luận văn Thạc sĩ Trang 53/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính Chương Tổng kết Luận văn thạc sĩ tập trung vào việc đề xuất thử nghiệm mơ hình giảng dạy môi trường học trực tuyến để thu thập thơng tin từ người học nhằm phân nhóm phân tích hành vi học tập Luận văn đóng góp vào việc trình bày giá trị mơ hình lớp học đảo ngược việc giảng dạy lập trình thực hành minh họa việc sử dụng liệu thu thập từ hệ thống học trực tuyến để phân nhóm phân tích hành vi học tập người học Kết làm bật tiềm chuyển đổi số lĩnh vực giáo dục, mang lại cho giáo viên nhìn sâu sắc người học cung cấp cho người học môi trường học tập mở nhiều lựa chọn học tập đa dạng Nhìn chung, kết thực toàn Luận văn tổng kết sau: • Tìm hiểu kiến thức nghiên cứu liên quan đến phương pháp lĩnh vực giáo dục bao gồm phương pháp giảng dạy cách thức đánh giá nhằm làm rõ đặc điểm môi trường giáo dục Từ đó, nghiên cứu tảng để tiến hành phân tích khai phá liệu thu thập từ hệ thống học tập trực tuyến nói chung kết học thực hành lập trình nói riêng • Khảo sát ngân hàng câu hỏi lập trình triển khai nhiều năm hai góc nhìn: câu hỏi chủ đề Các cơng thức độ khó câu hỏi việc gom cụm câu hỏi theo mức độ dễ, trung bình, khó thực Bên cạnh đó, học viên tiến hành phát chủ đề khó nhằm gợi ý cho người thầy chủ đề cần phải xem xét để cải tiến cho học kì kết tiếp Kết việc khảo sát ngân hàng câu hỏi lập trình tảng để áp dụng mơ hình giảng dạy thu thập hành vi học tập người học • Dựa ngân hàng câu hỏi điều chỉnh, thực thử nghiệm mô hình giảng dạy lớp học đảo ngược cho việc giảng dạy lập trình thực hành đề xuất phương pháp thu thập xử lý liệu hành vi người học hệ thống học tập trực tuyến Luận văn Thạc sĩ Trang 54/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính • Phân tích liệu thu thập phương pháp thống kê đánh giá tìềm liệu thu thập Kết thu minh chứng cho độ hiệu phương pháp giảng dạy lớp học đảo ngược, phát nhóm người học có lực khác ý nghĩa nhóm Bên cạnh đó, đề xuất phân loại kết học tập người học sử dụng hành vi học tập thu thập Luận văn hỗ trợ người dạy việc xác định hành vi học tập người học hệ thống học tập trực tuyến, cụ thể việc dạy học lập trình Mỗi người học có hành vi phương pháp học tập lập trình khác Nếu xác định hành vi người học người dạy có phương pháp giảng dạy phù hợp nhóm người học Trong tương lai, nghiên cứu tập trung vào việc: • Cải tiến tối ưu hóa mơ hình lớp học đảo ngược cho giảng dạy lập trình thực hành thơng qua quan sát việc thêm tập nhà cho sinh viên luyện tập (tạm gọi Postlab) • Phân tích chi tiết hành vi người học lập trình thơng qua việc thu thập chi tiết hành vi người học lập trình Một số ví dụ kể đến lần thử sai câu hỏi lập trình người học, thời gian đọc hiểu đề người học, v.v • Áp dụng phương pháp khai phá liệu khác tập liệu thu thập học sâu, luật kết hợp Luận văn Thạc sĩ Trang 55/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính Danh mục cơng trình khoa học Tạp chí quốc tế: H Tran, T Vu-Van, H Nguyen-Viet, D Tran, T Nguyen-Tien, and V Le-Thanh, "An efficient approach to measure the difficulty degree of practical programming exercises based on student performances," in REV Journal on Electronics and Communications, vol 11, no 3-4, pp 41-48, Jul.-Dec 2021 Luận văn Thạc sĩ Trang 56/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính Tài liệu tham khảo [1] C Coman et al., “Online teaching and learning in higher education during the coronavirus pandemic: Students’ perspective,” Sustainability, vol 12, no 24, 2020 [Online] Available: https://www.mdpi.com/2071-1050/12/24/10367 [2] Ł Tomczyk et al., “Evaluation of the functionality of a new e-learning platform vs previous experiences in e-learning and the self-assessment of own digital literacy,” Sustainability, vol 12, no 23, 2020 [Online] Available: https://www.mdpi.com/ 2071-1050/12/23/10219 [3] C Romero and S Ventura, “Educational data mining and learning analytics: An updated survey,” WIREs Data Mining and Knowledge Discovery, vol 10, no 3, p e1355, 2020 [Online] Available: https://wires.onlinelibrary.wiley.com/doi/abs/10.1002/widm.1355 [4] A B Zoric, “Benefits of Educational Data Mining,” Journal of International Business Research and Marketing, vol 6, no 1, pp 12–16, November 2020 [Online] Available: https://ideas.repec.org/a/mgs/jibrme/v6y2020i2p12-16.html [5] X Du et al., “Educational data mining: a systematic review of research and emerging trends,” Information Discovery and Delivery, vol 48, no 4, pp 225–236, 2020 [Online] Available: https://doi.org/10.1108/IDD-09-2019-0070 [6] S Sobral, “Flipped classrooms for introductory computer programming courses,” International Journal of Information and Education Technology, vol 11, p 178, 01 2021 [7] G Fesakis et al., “Problem solving by 5–6 years old kindergarten children in a computer programming environment: A case study,” Computers & Education, vol 63, p 87–97, 04 2013 [8] F Kalelioglu, “A new way of teaching programming skills to k-12 students: Code.org,” Computers in Human Behavior, vol 52, pp 200–210, 11 2015 [9] M Green, “Moodle,” Internet: https://moodle.org/, 2021 Luận văn Thạc sĩ Trang 57/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính [10] R Lobb and T Hunt, “Moodle coderunner,” Internet: https://moodle.org/plugins/qtype_ coderunner, 2021 [11] L Abeysekera and P Dawson, “Motivation and cognitive load in the flipped classroom: definition, rationale and a call for research,” Higher Education Research & Development, vol 34, pp 1–14, 11 2014 [12] E Han and K Klein, “Pre-class learning methods for flipped classrooms,” American journal of pharmaceutical education, vol 83, p 6922, 02 2019 [13] A Lubbe et al., Learning through assessment: An approach towards Self-Directed Learning Durbanville, Cape Town, South Africa: AOSIS, 11 2021 [Online] Available: https://library.oapen.org/bitstream/handle/20.500.12657/53901/1/9781776341634.pdf [14] J Gikandi et al., “Online formative assessment in higher education: A review of the literature,” Computers & Education, vol 57, pp 2333–2351, 12 2011 [15] J Gulikers et al., “Aligning formative and summative assessments: A collaborative action research challenging teacher conceptions,” Studies In Educational Evaluation, vol 39, pp 116–124, 06 2013 [16] J Broadbent et al., “How does self-regulated learning influence formative assessment and summative grade? comparing online and blended learners,” The Internet and Higher Education, vol 50, p 100805, 04 2021 [17] D Dixson and F Worrell, “Formative and summative assessment in the classroom,” Theory Into Practice, vol 55, p 14, 03 2016 [18] M Tridane et al., “The impact of formative assessment on the learning process and the unreliability of the mark for the summative evaluation,” Procedia - Social and Behavioral Sciences, vol 197, pp 680–685, 07 2015 [19] B Simon et al., “Can computing academics assess the difficulty of programming examination questions?” in Proceedings of the 12th Koli Calling International Conference on Computing Education Research, ser Koli Calling ’12 New York, NY, USA: Association for Computing Machinery, 2012, p 160–163 [Online] Available: https://doi.org/10.1145/2401796.2401822 [20] V P Mahatme and K K Bhoyar, “Questions categorization in e-learning environment using data mining technique,” International Journal of Information, Control and Computer Sciences, vol 9.0, no 1, jan 2016 [Online] Available: https://doi.org/10.5281/zenodo.1338630 Luận văn Thạc sĩ Trang 58/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính [21] H Chen and P A S Ward, “Predicting student performance using data from an autograding system,” in Proceedings of the 29th Annual International Conference on Computer Science and Software Engineering, ser CASCON ’19 USA: IBM Corp., 2019, p 234–243 [22] S Vamsi et al., “Classifying difficulty levels of programming questions on hackerrank,” pp 301–308, 2020 [23] K A S Awat and M A Ballera, “Applying k-means clustering on questionnaires item bank to improve students’ academic performance,” in 2018 IEEE 10th International Conference on Humanoid, Nanotechnology, Information Technology,Communication and Control, Environment and Management (HNICEM), Baguio City, Philippines, 2018, pp 1–6 [24] C M Intisar and Y Watanobe, “Cluster analysis to estimate the difficulty of programming problems,” in Proceedings of the 3rd International Conference on Applications in Information Technology, ser ICAIT’2018 New York, NY, USA: Association for Computing Machinery, 2018, p 23–28 [Online] Available: https: //doi.org/10.1145/3274856.3274862 [25] B Bakhshinategh et al., “Educational data mining applications and tasks: A survey of the last 10 years,” Education and Information Technologies, vol 23, 01 2018 [26] C Romero and S Ventura, “Data mining in education,” WIREs Data Mining and Knowledge Discovery, vol 3, no 1, pp 12–27, 2013 [Online] Available: https://wires.onlinelibrary.wiley.com/doi/abs/10.1002/widm.1075 [27] D Lemay et al., “Comparison of learning analytics and educational data mining: A topic modeling approach,” Computers and Education: Artificial Intelligence, vol 2, p 100016, 03 2021 [28] H Aldowah et al., “Educational data mining and learning analytics for 21st century higher education: A review and synthesis,” Telematics and Informatics, vol 37, pp 13–49, 2019 [Online] Available: https://www.sciencedirect.com/science/article/pii/ S0736585318304234 [29] J Janssen et al., “Visualization of participation: Does it contribute to successful computersupported collaborative learning?” Computers & Education, vol 49, pp 1037–1065, 12 2007 [30] J.-l Hung and K Zhang, “Revealing online learning behaviors and activity patterns and making predictions with data mining techniques in online teaching,” MERLOT Journal of Online Learning and Teaching, vol 4, no 4, pp 426–437, 2008 Luận văn Thạc sĩ Trang 59/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính [31] C Romero and S Ventura, “Educational data mining: A survey from 1995 to 2005,” Expert Systems with Applications, vol 33, pp 135–146, 07 2007 [32] K Bunkar et al., “Data mining: Prediction for performance improvement of graduate students using classification,” in 2012 Ninth International Conference on Wireless and Optical Communications Networks (WOCN), 2012, pp 1–5 [33] A Peji´c and P S Molcer, “Exploring data mining possibilities on computer based problem solving data,” in 2016 IEEE 14th International Symposium on Intelligent Systems and Informatics (SISY), Subotica, Serbia, 2016, pp 171–176 [34] S Agrawal and J Agrawal, “Survey on anomaly detection using data mining techniques,” Procedia Computer Science, vol 60, pp 708–713, 2015 [35] L Li et al., “Analysis of flight data using clustering techniques for detecting abnormal operations,” Journal of Aerospace information systems, vol 12, no 9, pp 587–598, 2015 [36] T Ali et al., “Critical analysis of dbscan variations,” in 2010 International Conference on Information and Emerging Technologies, Karachi, Pakistan, 2010, pp 1–6 [37] T pandas development team, “pandas-dev/pandas: Pandas,” Feb 2021 [Online] Available: https://doi.org/10.5281/zenodo.4524629 [38] F Pedregosa et al., “Scikit-learn: Machine learning in Python,” Journal of Machine Learning Research, vol 12, pp 2825–2830, 2011 [39] P Rousseeuw, “Silhouettes: A graphical aid to the interpretation and validation of cluster analysis comput appl math 20, 53-65,” Journal of Computational and Applied Mathematics, vol 20, pp 53–65, 11 1987 [40] P J White et al., “Student engagement with a flipped classroom teaching design affects pharmacology examination performance in a manner dependent on question type,” American Journal of Pharmaceutical Education, vol 81, no 9, 2017 [Online] Available: https://www.ajpe.org/content/81/9/5931 [41] F Li et al., “Traditional classroom vs e-learning in higher education: Difference between students’ behavioral engagement,” International Journal of Emerging Technologies in Learning (iJET), vol 9, p 48, 04 2014 [42] S Farhana, “Classification of academic performance for university research evaluation by implementing modified naive bayes algorithm,” Procedia Computer Science, vol 194, pp 224–228, 2021, 18th International Learning & Technology Conference 2021 [Online] Available: https://www.sciencedirect.com/science/article/pii/S1877050921021189 Luận văn Thạc sĩ Trang 60/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính [43] A H Rabie et al., “Expecting individuals’ body reaction to covid-19 based on statistical naăve bayes technique, Pattern Recognition, vol 128, p 108693, 2022 [Online] Available: https://www.sciencedirect.com/science/article/pii/S0031320322001741 [44] R Blanquero et al., Variable selection for naăve bayes classification, Computers & Operations Research, vol 135, p 105456, 2021 [Online] Available: https: //www.sciencedirect.com/science/article/pii/S0305054821002070 [45] M Vishwakarma and N Kesswani, “A new two-phase intrusion detection system with naăve bayes machine learning for data classification and elliptic envelop method for anomaly detection,” Decision Analytics Journal, vol 7, p 100233, 2023 [Online] Available: https://www.sciencedirect.com/science/article/pii/S2772662223000735 [46] D Gamage et al., “Exploring mooc user behaviors beyond platforms,” International Journal of Emerging Technologies in Learning (iJET), vol 15, no 08, p pp 161–179, Apr 2020 [Online] Available: https://online-journals.org/index.php/i-jet/article/view/12493 [47] R Estacio and R Jr, “Analyzing students online learning behavior in blended courses using moodle,” Asian Association of Open Universities Journal, vol 12, pp 52–68, 05 2017 [48] J McCuaig and J Baldwin, “Identifying successful learners from interaction behaviour.” presented at the 5th International Conference on Educational Data Mining (EDM), Chania, Greece, 2012 [49] J Qiu et al., “Modeling and predicting learning behavior in moocs,” in Proceedings of the Ninth ACM International Conference on Web Search and Data Mining, ser WSDM ’16 New York, NY, USA: Association for Computing Machinery, 2016, p 93–102 [Online] Available: https://doi.org/10.1145/2835776.2835842 [50] A F Botelho et al., “Machine-learned or expert-engineered features? exploring feature engineering methods in detectors of student behavior and affect,” The Twelfth International Conference on Educational Data Mining [Online] Available: https: //par.nsf.gov/biblio/10108548 Luận văn Thạc sĩ Trang 61/62 Đại học Quốc gia TP.HCM - Trường Đại Học Bách Khoa Khoa Khoa học Kỹ thuật Máy tính PHẦN LÝ LỊCH TRÍCH NGANG Họ tên: Trần Huy Ngày, tháng, năm sinh: 01/04/1999 Nơi sinh: tỉnh Quảng Ngãi Địa liên lạc: 154/8A Âu Cơ, phường 9, quận Tân Bình, Tp Hồ Chí Minh QUÁ TRÌNH ĐÀO TẠO (Bắt đầu từ Đại học đến nay) 2017 - 2022… Đại học Chính quy, Trường ĐH Bách Khoa - ĐHQG Tp.HCM 2020 - 2023… ……….…Thạc sĩ, Trường ĐH Bách Khoa - ĐHQG Tp.HCM Q TRÌNH CƠNG TÁC (Bắt đầu từ làm đến nay) 03/2022 - tại……… ……… …Đại học Bách Khoa - ĐHQG Tp.HCM Luận văn Thạc sĩ Trang 62/62