Một kỹ thuật đánh giá sự tập trung của sinh viên dựa trên trạng thái đóng mở của mắt

Bài viết này đề xuất một kỹ thuật ước lượng mức độ buồn ngủ dựa trên trạng thái đóng/mở của mắt để đánh giá sự tập trung của sinh viên trong giờ học. Dữ liệu đầu vào của thuật toán được ghi nhận bởi camera trong lớp học và việc phân tích đánh giá được thực hiện trên từng sinh viên trong suốt quá trình học tập.

TNU Journal of Science and Technology 226(07): 254 - 261 A TECHNIQUE OF ASSESSING STUDENT ENGAGEMENT BASED ON EYE CLOSE/OPEN BEHAVIOR Tran Thanh Phuong1, Tran Van Lang1, Do Nang Toan2* 1Lac Hong University, 2Vietnam National University, Hanoi ARTICLE INFO Received: 21/4/2021 Revised: 31/5/2021 Published: 31/5/2021 KEYWORDS Student engagement Eye-Blink Detection Drowsiness Detection Engagement Recognition Human Behavior Analysis ABSTRACT Automated learning analysis is becoming an essential topic in the educational area, which needs systems to monitor the learning process and to measure the students engagement to help for teachers more rational adjustments in teaching strategies and learning environment This paper proposes a technique to estimate the degree of sleepiness base on open/ close state of the eye to assess student concentration during in class Input data for algorithm is captured by the camera in class and the evaluation analysis is performed on each student during learning The technique has been setted up and effective for mediumsized theoretical classes in engineering disciplines MỘT KỸ THUẬT ĐÁNH GIÁ SỰ TẬP TRUNG CỦA SINH VIÊN DỰA TRÊN TRẠNG THÁI ĐÓNG/MỞ CỦA MẮT Trần Thanh Phương1, Trần Văn Lăng1, Đỗ Năng Toàn2* 1Trường Đại học Lạc Hồng, 2Đại học Quốc gia Hà Nội THÔNG TIN BÀI BÁO Ngày nhận bài: 21/4/2021 Ngày hoàn thiện: 31/5/2021 Ngày đăng: 31/5/2021 TỪ KHÓA Sự tham gia sinh viên Phát đóng mở mắt Phát ngủ gật Nhận dạng ý Phân tích hành vi TĨM TẮT Phân tích học tập tự động trở thành chủ đề thiết yếu lĩnh vực giáo dục, cần hệ thống giám sát q trình học tập đo lường mức độ tham gia sinh viên để giúp cho giáo viên có điều chỉnh hợp lý chiến lược giảng dạy môi trường học tập Bài báo đề xuất kỹ thuật ước lượng mức độ buồn ngủ dựa trạng thái đóng/mở mắt để đánh giá tập trung sinh viên học Dữ liệu đầu vào thuật toán ghi nhận camera lớp học việc phân tích đánh giá thực sinh viên suốt trình học tập Kỹ thuật cài đặt thử nghiệm tỏ hiệu lớp học lý thuyết với quy mơ trung bình ngành học kỹ thuật DOI: https://doi.org/10.34238/tnu-jst.4406 * Corresponding author Email: donangtoan@gmail.com http://jst.tnu.edu.vn 254 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 226(07): 254 - 261 Giới thiệu Phân tích tập trung học tập trở thành chủ đề quan trọng cộng đồng giáo dục, cần có hệ thống hiệu để theo dõi trình học tập cung cấp phản hồi cho giáo viên Những tiến gần cảm biến thị giác phương pháp thị giác máy tính cho phép theo dõi tự động hành vi trạng thái cảm xúc người học, đó: (i) Hành vi xác định từ dấu hiệu như: giơ tay phát biểu, tư đầu tư hình thể [1]-[5] (ii) Cảm xúc gồm có: thích thú, mệt mỏi, bối rối,… xác định từ biểu khuôn mặt [6]-[8] Các kết nghiên cứu cho thấy, vấn đề phân tích tập trung sinh viên tham gia học tập đa dạng nhiều nhà nghiên cứu quan tâm chủ yếu tập trung vào phân tích hành vi cảm xúc, như: phân tích biểu cảm xúc khn mặt, phân tích chuyển động mắt, phân tích chuyển động đầu, tư hình thể v.v Những nghiên cứu liên quan đến hành vi, kể đến, Divjak Bischof [9] phân tích dựa vào hành vi chuyển động đầu mắt, Bidwell Fuchs [10] đo lường mức độ tương tác sinh viên hệ thống quan sát tự động hành vi mắt, họ đề xuất đưa danh mục hành vi riêng biệt, phân loại sinh viên "tham gia" "không tham gia" Krithika [11] sử dụng chuyển động mắt đầu để kiểm tra tập trung học sinh tạo cảnh báo mức độ tập trung thấp Những nghiên cứu liên quan đến cảm xúc, kể đến, Turabzadeh cộng [12] dựa nhận dạng cảm xúc khuôn mặt thời gian thực, sử dụng thuật toán mẫu nhị phân cục (Local Binary Point - LBP), Kamath, Biswas Balasubramania [13] sử dụng thuật tốn phát khn mặt Vilola Jones để phân tích hình ảnh đầu vào sau biểu đồ phân định hướng (HOG, Sharma cộng đề xuất hệ thống thời gian thực, dựa biểu cảm xúc khuôn mặt, để kiểm tra tham gia học sinh bối cảnh học tập điện tử, tự động điều chỉnh nội dung theo mức độ tập trung học sinh, cách phân tích cảm xúc học sinh đưa ba mức độ tập trung khác (cao, trung bình thấp) [14] Trong báo này, đề xuất kỹ thuật đánh giá tập trung sinh viên học, kết hợp việc phân tích hành vi cảm xúc với trạng thái cảm xúc đặc biệt “buồn ngủ”, nhờ ước lượng mức độ buồn ngủ dựa trạng thái đóng/mở mắt Phần cịn lại báo thể sau: Phần trình bày số nghiên cứu liên quan Phần kỹ thuật đề xuất Tiếp theo thử nghiệm cuối kết luận kỹ thuật đề xuất Cơ sở lý thuyết thuật toán Mức độ buồn ngủ ước lượng dựa yếu tố khác nhau, chẳng hạn tỷ lệ khung hình thời lượng đóng mắt Ứng với mức độ có biểu hiện, hành vi thời lượng mắt đóng tương ứng Ngồi ra, yếu tố mắt đóng nhanh hay chậm chúng tơi quan tâm xem xét Đối với người thức giấc/tỉnh táo mắt đóng mở nhanh Đối với người tình trạng mệt mỏi, buồn ngủ mắt có xu hướng đóng chậm [15] Hình Thời gian mắt mở đến mắt đóng hồn tồn http://jst.tnu.edu.vn 255 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 226(07): 254 - 261 Trong hình 1, dựa liệu Talking Face1 với máy ảnh ghi hình 24fps, trạng thái mắt đóng hồn tồn xảy frame thứ tư Do thời gian đóng mắt hồn tồn (hình 2) là: 𝑁𝑓𝑟𝑎𝑚𝑒 ∗ 1000 (1) 𝑇𝑒𝑦𝑒_𝑐𝑙𝑜𝑠𝑒𝑑 = 𝑓𝑝𝑠 Trong đó: 𝑁𝑓𝑟𝑎𝑚𝑒 số lượng khung hình tính từ khung có trạng thái mắt mở đến khung có trạng thái mắt đóng hồn tồn (trong trường hợp 4) 𝑓𝑝𝑠 (frames per second) số lượng khung hình giây, giá trị thay đổi tùy vào máy ghi hình (trong trường hợp 24) Nên theo (1), giá trị 𝑇𝑒𝑦𝑒_𝑐𝑙𝑜𝑠𝑒𝑑 = (4 * 1000) / 24  170 ms 𝑇𝑒𝑦𝑒_𝑐𝑙𝑜𝑠𝑒𝑑 Durations Hình Minh họa thời gian mắt mở đến mắt đóng hồn tồn Trước thực ước lượng mức độ buồn ngủ, bước tiền xử lý chúng tơi loại bỏ đoạn video có mắt đóng nhanh (𝑇𝑒𝑦𝑒_𝑐𝑙𝑜𝑠𝑒𝑑 ≤ 170ms) xem cơng thức (1) thời lượng mắt đóng ngắn (duration < 1s), đoạn xem xét tập trung Chúng quan tâm đến đoạn video có mắt đóng chậm (𝑇𝑒𝑦𝑒_𝑐𝑙𝑜𝑠𝑒𝑑 > 170ms) thời lượng mắt đóng dài (duration ≥ 1s) (xem bảng 1) Bảng Sự tương quan mức độ buồn ngủ hành vi [15] Mức độ Thức giấc/Tỉnh táo (Không buồn ngủ): Thời lượng mắt đóng 0.2 EAR < 0.2 AND Duration  [1s, 2s) EAR < 0.2 AND Duration  [2s, 4s) EAR < 0.2 AND Duration ≥ 4s Trong đó, EAR mức độ mở mắt tính tỷ lệ chiều rộng chiều dài hình chữ nhật chứa mắt Áp dụng luật bảng định nghĩa lớp thể mức độ buồn ngủ theo cấp độ từ – hai thuộc tính cần xem xét EAR Duration (s) Dựa vào thông tin trên, xây dựng mơ hình định mức độ buồn ngủ hình - Thức giấc/Tỉnh táo - Hơi buồn ngủ - Ngủ gật Cực kỳ buồn ngủ EAR ? >= 0.2 < 0.2 Duration (s) ?