(LUẬN văn THẠC sĩ) nghiên cứu một số kỹ thuật đánh giá sự tập trung của học sinh dưới sự hỗ trợ của camera

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN VÕ THỊ TRÚC NGHIÊN CỨU MỘT SỐ KỸ THUẬT ĐÁNH GIÁ SỰ TẬP TRUNG CỦA HỌC SINH DƯỚI SỰ HỖ TRỢ CỦA CAMERA Chuyên ngành: Khoa học máy tính Mã số: 8480101 Người hướng dẫn: TS LÊ THỊ KIM NGA download by : skknchat@gmail.com LỜI CAM ĐOAN Tôi xin cam đoan toàn nội dung luận văn với đề tài: “Nghiên cứu số kỹ thuật đánh giá tập trung học sinh hỗ trợ camera” thực hướng dẫn trực tiếp TS Lê Thị Kim Nga - Trường Đại học Quy Nhơn Phần thực nghiệm chương trình tơi tự xây dựng có hướng dẫn giảng viên, có sử dụng số thư viện chuẩn thuật toán tác giả xuất công khai Kết thực nghiệm minh họa luận văn trung thực Nội dung luận văn chưa công bố hay xuất hình thức Các tài liệu tham khảo sử dụng luận văn có nguồn gốc rõ ràng trích dẫn xác, đầy đủ Nếu sai tơi xin hồn tồn chịu trách nhiệm Bình Định, ngày 09 tháng 09 năm 2021 Người cam đoan Võ Thị Trúc download by : skknchat@gmail.com LỜI CẢM ƠN Trong trình nghiên cứu luận văn gặp nhiều khó khăn ln nhận quan tâm giúp đỡ nhiệt tình đầy trách nhiệm giáo viên hướng dẫn, nguồn động lực lớn giúp tơi hồn thành đề tài Xin gửi lời cảm ơn chân thành lòng biết ơn sâu sắc đến quý Thầy (Cô) người nuôi dưỡng chắp cánh ước mơ cho thân đến với đường nghiên cứu khoa học đầy đam mê, đặc biệt TS Lê Thị Kim Nga Trường Đại học Quy Nhơn Với tri thức tâm huyết mình, bảo tận tình chu tơi hồn thành tốt luận văn Bên cạnh tơi xin bày tỏ lòng biết ơn đến cán Giáo viên nhân viên phòng Đào tạo Sau đại học, Ban lãnh đạo Trường Đại học Quy Nhơn tạo điều kiện tốt cho tơi suốt q trình học tập trường Cuối cùng, xin gửi lời cảm ơn chân thành đến người thân gia đình, bạn bè đồng nghiệp quan tâm, động viên giúp đỡ suốt thời gian học tập nghiên cứu Kính chúc q Thầy (Cơ), học viên lớp cao học ngành Khoa học máy tính khóa 22 sức khỏe, hạnh phúc thành đạt Xin chân thành cảm ơn! Bình Định, ngày 09 tháng 09 năm 2021 Học viên Võ Thị Trúc download by : skknchat@gmail.com MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC HÌNH DANH MỤC CÁC BẢNG MỞ ĐẦU 1 Lý chọn đề tài Tổng quan tình hình nghiên cứu đề tài Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Chương TỔNG QUAN VỀ BÀI TOÁN ĐÁNH GIÁ SỰ TẬP TRUNG HỌC TẬP CỦA HỌC SINH DƯỚI SỰ HỖ TRỢ CỦA CAMERA 1.1 Bài toán đánh giá tập trung học sinh hỗ trợ camera 1.1.1 Hệ thống camera giám sát tự động 1.1.2 Dữ liệu video 1.1.3 Một số toán xử lý liệu hệ thống camera 1.1.4 Một số ứng dụng xử lý liệu camera thực tế 10 1.2 Tiếp cận đánh giá tập trung học sinh hỗ trợ camera 18 1.2.1 Giới thiệu 18 1.2.2 Tiêu chí đánh giá tập trung 19 1.2.3 Đánh giá mức độ tập trung học sinh 21 1.2.4 Một số phương pháp đánh giá mức độ tập trung học sinh 21 1.3 Mô hình chung đánh giá tập trung học tập học sinh 22 1.4 Kết luận chương 23 download by : skknchat@gmail.com Chương MỘT SỐ KỸ THUẬT ĐÁNH GIÁ SỰ TẬP TRUNG CỦA HỌC SINH DƯỚI SỰ HỖ TRỢ CỦA CAMERA 23 2.1 Phát khuôn mặt học sinh 24 2.1.1 Trích chọn đặc trưng Haar 24 2.1.2 Tht tốn phát khn mặt Haar Adaboot 27 2.2 Đánh giá tập trung dựa vào biểu cảm khuôn mặt 29 2.2.1 Giới thiệu mơ hình xuất tích cực AAM 30 2.2.2 Thuật toán AAM 30 2.3 Đánh giá dựa vào xác định hướng đầu [2] 40 2.3.1 Xác định hướng đầu ảnh 40 2.3.2 Thuật toán xác định hướng đầu ảnh 43 2.4 Dựa trạng thái đóng/mở mắt 47 2.4.1 Cơ sở lý thuyết thuật toán 47 2.4.2 Kỹ thuật đánh giá tập trung dựa vào đóng mở mắt 50 2.4.3 Thuật tốn đánh giá tập trung dựa đóng/mở mắt 53 2.5 Kết luận chương 54 Chương CHƯƠNG TRÌNH THỬ NGHIỆM 55 3.1 Bài toán đánh giá tập trung học sinh 55 3.2 Phân tích yêu cầu thu thập liệu 55 3.3 Phân tích lựa chọn cơng cụ cài đặt thử nghiệm 56 3.4 Một số kết thử nghiệm 57 3.5 Kết luận chương 61 KẾT LUẬN 62 DANH MỤC TÀI LIỆU THAM KHẢO 64 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (BẢN SAO) download by : skknchat@gmail.com DANH MỤC CÁC TỪ VIẾT TẮT Chữ viết tắt Nội dung AAM Active Appearance Model ASM Active Shape Model EBGM Elastic Bunch Graph Matching LDA Linear Discriminant Analysis PCA Principal Component Analysis PDM Point Distribution Model PM Point Model SGLD Space Gray Level Dependence SVM Support Vector Machine download by : skknchat@gmail.com DANH MỤC CÁC HÌNH Số hiệu Tên hình vẽ hình vẽ Trang 1.1 Ảnh minh họa camera quan sát lớp học 1.2 Mơ hình lắp đặt camera giám sát cho trường học 1.3 Minh họa khung hình 1.4 Camera nhận diện khuôn mặt 11 1.5 Xác định thông tin tội phạm 12 1.6 Tìm người tích 12 1.7 Bảo vệ thực thi pháp luật 13 1.8 Hỗ trợ điều tra pháp y 13 1.9 Chuẩn đoán bệnh 14 1.10 Bảo vệ trường học khỏi mối đe dọa 14 1.11 Theo dõi diện học sinh 15 1.12 Nhận diện khn mặt sịng bạc 15 1.13 Giúp giao dịch diễn an toàn thuận tiện 16 1.14 Giúp xác thực danh tính ATM 16 1.15 Kiểm tra hành lý lên máy bay nhanh 17 1.16 Tìm vật nuôi bị 17 1.17 Nhận diện tài xế cảnh báo giúp lái xe an toàn 18 1.18 Kiểm soát quyền vào khu vực nhạy cảm 18 1.19 Mơ hình chung cho tốn đánh giá tập trung 23 2.1 Đặt trưng Haar-like 24 2.2 Các đặc trưng mở rộng đặc trưng Haar- like sở 24 2.3 Ảnh chia nhỏ tọa độ (x,y) 25 2.4 Tổng giá trị điểm ảnh nằm vùng D 25 download by : skknchat@gmail.com 2.5 Các bước loại khuôn mặt hay không 26 2.6 Kết hợp phận yếu thành phận mạnh 27 2.7 Sơ đồ nhận diện khuôn mặt 27 2.8 Phép biến đổi Similarity 31 2.9 Đối tượng hình dạng kết cấu hình ảnh 35 2.10 Mơ hình pháp tuyến khn mặt 42 2.11 Các tham số 2.12 Mơ hình mặt 43 2.13 Thời gian mắt mở đến đóng hồn tồn 48 2.14 Minh họa thời gian mở mắt đên mắt đóng hồn tồn 48 2.15 Mơ hình ước lượng mức dộ buồn ngủ 50 2.16 Mơ trạng thái q trình học tập 52 Phát trích chon đặc trưng khuôn mặt 58 3.2 Trường hợp học sinh gục đầu 58 3.3 Trường hợp học sinh gục đầu nhẹ, nghiêng quay đầu 59 3.4 Phát học sinh tập trung qua phản ứng bất L f , Ln , Lm , Le thường 42 59 3.5 Hình ảnh học sinh tập trung xa 60 3.6 Trường hợp không phát học sinh tập trung 60 3.7 Trường hợp thông báo tắt chậm học sinh ngẩn đầu 61 download by : skknchat@gmail.com DANH MỤC CÁC BẢNG Số bảng Tên bảng Trang 2.1 Sự tương quan mức độ buồn ngủ hành vi 49 2.2 Mức độ buồn ngủ 50 3.1 Cấu hình tối thiểu để máy tính cài đặt chương trình 57 download by : skknchat@gmail.com MỞ ĐẦU Lý chọn đề tài Trong thời đại cách mạng cơng nghiệp 4.0 mang giới ảo thực xích lại gần với phát triển công nghệ vạn vật kết nối trí tuệ nhân tạo, điện tốn đám mây, thị giác máy tính v.v xóa nhòa ranh giới giúp người, sản phẩm máy móc tự kết nối giao tiếp với Tất thay đổi hoàn toàn giới tương lai không xa Vậy làm để thích nghi với tiến thách thức cách mạng công nghiệp với tình hình diễn biến đại dịch covid diễn nước ta toàn giới? Lĩnh vực giáo dục đóng vai trị quan trọng thay đổi Dịch bệnh Covid-19 diễn biến phức tạp,các biện pháp nâng cao chất lượng giáo dục đưa kết giáo dục bắt đầu việc nâng cao trình độ học sinh Cụ thể, thay đổi tích cực hành vi học sinh giúp giáo viên đạt kết tương đối tốt, chắn có lợi cho trình dạy học Quan sát hiệu suất học sinh môi trường thông minh, chẳng hạn nét mặt, cử giúp giáo viên điều chỉnh phương pháp giảng dạy cách nhận phản hồi nhanh chóng từ tương tác thời gian thực có lợi cho chất lượng giáo dục Với phát triển nhanh chóng khoa học máy tính, đặc biệt lĩnh vực xử lý ảnh thị giác máy, kỹ thuật phát theo dõi đối tượng/ hành động/ hành vi thời gian thực thực tiến vượt bậc Nhận dạng khn mặt, phân tích trạng thái khn mặt, phân tích hành động/ hành vi đối tượng nghiên cứu nhằm hỗ trợ việc đánh giá mức độ tập trung học sinh Đây sở cho nghiên cứu phát triển phương pháp giảng dạy/học tập phù hợp hiệu cho học sinh download by : skknchat@gmail.com 51 Mức độ buồn ngủ ID Mức độ tập trung Thức giấc/ Tỉnh táo Tập trung cao Hơi buồn ngủ Tập trung thấp Ngủ gật Hoàn toàn tập trung Cực kỳ buồn ngủ Do hệ thống phân tích đánh giá tập trung học sinh, nên nhiệm vụ cần thực q trình, có nghĩa hệ thống phải xem xét đánh giá học sinh từ lúc bắt đầu video kết thúc video Không giống hệ thống khác phát ngủ gật lúc lái xe chẳng hạn, phát tài xế tập trung, hệ thống cảnh báo đưa kết luận thời điểm Sở dĩ đặt điều kiện lý do: - Giả sử khung hình 𝑓𝑟𝑎𝑚ei sinh tập trung sang đến khung hình 𝑓𝑟𝑎𝑚𝑒𝑘 học sinh tập trung trở lại Do đó, đánh giá tập trung học sinh dựa vào khung hình khơng phù hợp - Trong q trình học tập, học sinh có nhiều mức độ tập trung thời điểm khác Vì vậy, dựa vào kết phân tích để đánh giá q trình học tập khơng phù hợp - Học sinh tập trung suốt trình học tập, khung hình cuối có hành vi chớp mắt, trường hợp ngược lại Do đó, hệ thống đánh giá dựa vào khung hình cuối thiếu xác Chính vậy, đề xuất mơ hình đánh giá tập trung cách tính tổng thời gian trạng thái (xem bảng 2.2), sau lập tỷ lệ trạng thái so với tổng thời lượng video Trạng thái chiếm tỷ lệ cao định mức độ tham gia người học suốt trình học tập Đây phương pháp đề xuất mang tính chủ quan, nhiên kết từ hệ thống đưa phù hợp với mong muốn đạt Cách đánh giá trình bày chi tiết sau: download by : skknchat@gmail.com 52 Giả sử trình tham gia học tập học sinh mơ hình 4, gồm có nhiều trạng thái xảy thời điểm khác hình (2.16): Hình 16 Mơ trạng thái q trình học tập Trong - 𝑇𝑏𝑒 : Thời gian bắt đầu học - 𝑇𝑒𝑛𝑑 : Thời gian kết thúc học - Thức giấc/Tỉnh táo - Hơi buồn ngủ - Ngủ gật - Cực kỳ buồn ngủ Gọi 𝑡1 tổng thời gian mức độ 𝑡2, 𝑡3, 𝑡4 tổng thời gian tương ứng cho mức độ lại Gọi 𝑟1, 𝑟2, 𝑟3, 𝑟4 tỷ lệ tương ứng mức độ 𝑡1, 𝑡2, 𝑡3, 𝑡4 theo công thức (2.38): t2 t1 r  r1  Tbegin  Tend Tbegin  Tend r3  (2 38) t3 t4 r4  Tbegin  Tend Tbegin  Tend Mức độ tập trung xác định công thức (2.39): TËp trung cao, x=r1   x  MAX (r1, r2 , r3 , r4 )   TËp trung thÊp, x=r2 Hoµn toµn mÊt tËp trung, x=r | r  download by : skknchat@gmail.com (2 39) 53 2.4.3 Thuật toán đánh giá tập trung dựa đóng/mở mắt Algorithm 1: đánh giá mức độ tập trung sinh viên Input: DATA – Video học sinh tham gia lớp học Output: LIST_ THE STUDENT – Danh sách đánh giá mức độ tập trung học sinh Khởi tạo giá trị mảng lưu thời gian đóng/mở mắt học sinh: EBD  {} while not at end of DATA // đọc liệu frame  DATA.get_frame() // trích xuất khung hình faces detect_face(frame) // phát khn mặt khung hình for face_id in faces blink_duration detect_blink(face_id, pre_blink) // phát đóng mở mắt // cập nhật thời gian mức độ buồn ngủ xảy đóng mắt if ≤ blink_duration < then 𝐸𝐵𝐷 𝑓𝑎𝑐𝑒_𝑖𝑑.dg_2 += blink_duration // buồn ngủ else if ≤ blink_duration < then 𝐸𝐵𝐷 𝑓𝑎𝑐𝑒_𝑖𝑑.dg_3 += blink_duration // ngủ gật else if blink_duration ≥ then 𝐸𝐵𝐷 𝑓𝑎𝑐𝑒_𝑖𝑑.dg_4 += blink_duration // buồn ngủ end if end for end while for each data in EBD dg_2 𝑑𝑎𝑡𝑎𝑓𝑎𝑐𝑒_𝑖𝑑.dg_2 // tổng thời gian buồn ngủ dg_3 𝑑𝑎𝑡𝑎𝑓𝑎𝑐𝑒_𝑖𝑑.dg_3 // tổng thời gian ngủ gật dg_4 𝑑𝑎𝑡𝑎𝑓𝑎𝑐𝑒_𝑖𝑑.dg_4 // tổng thời gian buồn ngủ dg_1 = TOTAL_TIME_VIDEO – (dg_2 + dg_3 + dg_4) // bình thường deegree MAX (dg_1, dg_2,dg_3 + dg_4) // tập trungdựa mức độ buồn ngủ caonhất download by : skknchat@gmail.com 54 deegree LIST_ THE STUDENT [data.face_id] Độ phức tạp thuật tốn: - Chi phí xác định thời gian đóng/mở mắt T1 = O(n 2) - Chi phí xác định tập trung : T2 = O(n) - Vậy tổng chi phí thực là: T = T1+T2 = O(n2) [3] Kỹ thuật đánh giá tập trung học sinh dựa vào trạng thái đóng mở mắt để xác định mức độ buồn ngủ, kỹ thuật hiệu qủa tiết học lý thuyết với quy mơ trung bình dành cho học sinh có tư ngồi đầu thẳng hướng nhìn bục giảng 2.5 Kết luận chương Chương 2, luận văn trình bày kỹ thuật phát khuôn mặt Kỹ thuật đánh giá tập trung học sinh dựa vào biểu cảm khuôn mặt thông qua mơ hình xuất tích cực AAM, đánh giá tập trung dựa vào xác định hướng đầu ảnh kỹ thuật đánh giá dựa trạng thái đóng mở mắt cách tính tổng thời gian đóng mở mắt để xác định mức độ buồn ngủ học sinh Phần luận văn cài đặt thử nghiệm kỹ thuật phân tích độ tập trung học sinh dựa vào hướng đầu, cụ thể trạng thái gục đầu học sinh và phân tích đánh giá kết thực nghiệm download by : skknchat@gmail.com 55 Chương CHƯƠNG TRÌNH THỬ NGHIỆM 3.1 Bài tốn đánh giá tập trung học sinh Đánh giá tập trung học sinh lớp học hỗ trợ camera toán quan trọng hệ thống giám sát tự động, nhằm làm sở phân tích đề xuất phương pháp giảng dạy phù hợp với chương trình, nội dung học, đặc biệt em học sinh cấp học nhỏ Các yếu tố phân tích tập trung học sinh trạng thái giục đầu, nghiêng đầu, nhắm mắt, mở mắt v.v Yếu tố ngoại cảnh, môi trường thu thập liệu quan tâm như: thiếu ánh sáng, tối, thay đổi tỉ lệ, quay nghiêng, chuyển động trạng thái nhanh, hình ảnh học sinh thu xa camera lớp học, hình ảnh học sinh nhỏ v.v Đầu vào: Dữ liệu video (Tập hợp ảnh) quay lại trình học tập học sinh lớp học Đầu ra: Đưa trạng thái thể mức độ tập trung học sinh 3.2 Phân tích yêu cầu thu thập liệu Như toán đặt phần 3.1, thấy đánh giá tập trung học sinh đa dạng phức tạp với nhiều tiêu chí, trạng thái hình thức đánh giá khác gặp nhiều khó khăn trình đánh giá tập trung Bên cạnh hoạt động học học sinh có nhiều trạng thái cảm xúc, hành vi nhỏ ảnh hưởng đến trình đánh giá tập trung học sinh Do vậy, phần thực luận văn tập trung chủ yếu vào kỹ rình bày hệ thống đánh giá tập trung học sinh dựa khn mặt, hướng đầu/ giục đầu trạng thái đóng mở mắt Luận văn áp dụng kỹ thuật để nhận download by : skknchat@gmail.com 56 dạng khuôn mặt (Viola Jone Face detection), trích chọn đặc trưng khn mặt dựa thuật toán AAM, cài đặt kỹ thuật phát trạng thái gục đầu học sinh trình bày chương Tuy nhiên, để đánh giá xác hiệu thuật tốn, luận văn quan tâm liệu thu nhận bị ảnh hưởng yếu tố ánh sáng, ảnh mờ, độ phân giải kém, không bị ảnh hưởng phụ kiện, che khuất mơi trường xung quanh Từ hệ thống tiến hành bước sau: Bước 1: Xây dựng chương trình lọc nhiễu, chuyển ảnh đầu vào sang ảnh xám, sau nhận dạng khn mặt, trích chọn tập điểm điều khiển mô tả trạng thái cảm xúc khn mặt mắt, mủi miệng v.v theo thuật tốn AAM, phát trạng thái giục đầu, nghiêng đầu học sinh, phát trạng thái nhắm/mở mắt theo kỹ thuật trình bày chương Bước 2: Tiến hành phân lớp liệu theo thuật toán phân lớp tiến hành đánh giá mức độ tập trung thông qua số kỹ thuật cần quan tâm Như đầu vào tốn ảnh khn mặt học sinh, qua trình xử lý cài đặt kỹ thuật chương 2, chương trình cho đầu phát học sinh không tập trung 3.3 Phân tích lựa chọn cơng cụ cài đặt thử nghiệm Các kỹ thuật xử lý ảnh thị giác máy chương cài đặt để đánh giá tốn phân tích tập trung học sinh kỹ thuật có độ tính tốn phức tạp, giải thuật tối ưu với cấu trúc lặp phức tạp Để cài đặt chương trình thử nghiệm thành cơng, luận văn lựa chọn cấu hình máy tính tối thiểu bảng 3.1 Trong luận văn tơi lập trình ngôn ngữ Visual C++, Net, môi trường phát triển Visual Studio 2015 với hỗ trợ thư viện mã nguồn mở Tensorflow 2.4, Pytorch 1.7, OpenCV 3.0 download by : skknchat@gmail.com 57 Bảng 3.1: Cấu hình tối thiểu máy tính để cài đặt chương trình Thành phần Chỉ số CPU 2.0 GHz trở lên RAM 2GB Hệ điều hành Windows 7, 8, 10 - 64 bit Bộ nhớ 80 GB 3.4 Một số kết thử nghiệm Tiến hành thử nghiệm thuật toán đánh giá tập trung học sinh dựa hướng đầu chương Trước tiên sở liệu học tập học sinh, khn mặt phát trích chọn đặc trưng Trạng thái học sinh tập trung video thu nhận không nhiều (do thời gian vừa qua bị ảnh hưởng covid-19 nên việc tập trung học sinh đến trường chưa thực được), nên liệu thử nghiệm thu chưa đầy đủ chưa đánh giá thử nghiệm thực tế diện rộng lớp học sinh Kết phát học sinh tập trung mang tính tương đối, mẫu trạng thái học sinh tập trung chưa nhiều, chưa đủ để đánh giá hết Bên cạnh để đánh giá học sinh tập trung cần nhiều yếu tố khác nhau, chưa kể phụ thuộc vào yếu tố sinh học khuôn mặt, vùng miền khác nhau, chế quản lý, môi trường lớp học v.v đưa định xác Kết cài đặt chương trình thử nghiệm đánh giá tập trung học sinh sau: Phát khuôn mặt trích chọn đánh dấu điểm đặc trưng dựa vào kỹ thuật mơ hình xuất tích cực AAM trình bày chương Hình 3.1 minh họa phát trích chọn đặc trưng khn mặt học sinh download by : skknchat@gmail.com 58 Hình Phát hiện trích chon đặc trưng khn mặt Trong trường hợp học sinh gục đầu không bị che khuất có kích thước vừa phải, tối thuật tốn phát trạng thái gục đầu học sinh hình 3.2: Hình Đánh giá học sinh tập trung trường hợp học sinh gục đầu xuống Bên cạnh trường hợp đối tượng đầu bị nghiêng nhẹ, thiếu sáng cục bộ, tối thuật toán phát học sinh tập trung kết download by : skknchat@gmail.com 59 hình 3.3 hình 3.4: Hình 3 Học sinh tập trung trạng thái gục đầu nhẹ, nghiên quay đầu Hình Phát hiện học sinh tập trung qua số phản ứng bất thường Đánh giá tập trung học sinh trường hợp thay đổi tỉ lệ, tỉ lệ thu thập ảnh khn mặt cách xa camera, thuật tốn phát hình 3.5: download by : skknchat@gmail.com 60 Hình Hình ảnh học sinh tập trung xa Một số trường hợp học sinh không phát hình 3.6: Hình Trường hợp không phát hiện học sinh tập trung Một số trường hợp phát tập trung chậm, sau học sinh ngẩng đầu lên, chương trình thơng báo “ tập trung gậc đầu” chưa kịp tắt thể kết hình 3.7 download by : skknchat@gmail.com 61 Hình Trường hợp phát hiện thơng báo tắt chậm học sinh ngẩn đầu Kết thực nghiệm cho thấy kỹ thuật lựa chọn nghiên cứu dựa mơ hình xuất tích cực nhằm trích chọn đặc trưng khuôn mặt tối ưu, kết hợp kỹ thuật phát hướng đầu/ giục đầu dựa phân tích vecto pháp tuyến hình học 3D, kỹ thuật phát nhắm mở mắt dựa mơ hình phân tích thời gian trạng thái vecto đặc trưng vùng mặt, mắt hiệu Kỹ thuật kết hợp phát trường hợp thiếu sáng, độ nghiêng quay lớn, tị lệ nhỏ 3.5 Kết luận chương Chương trình bày thực nghiệm toán đánh giá tập trung học tập học sinh theo kỹ thuật đánh giá dựa hướng đầu phân tích số yếu tố ảnh hưởng trình thu nhận liệu hình ảnh từ camera Các kết thực nghiệm đạt minh họa cho nội dung lý thuyết trình bày chương 2, lựa chọn kỹ thuật với cài dặt cụ thể Kết đạt với độ xác tương đối tốt Bên cạnh để đánh giá mức độ tập trung xác cao cần kết hợp nhiều kỹ thuật yếu tố từ nguồn liệu đủ lớn ảnh hưởng tới trình phát đánh giá thuật toán download by : skknchat@gmail.com 62 KẾT LUẬN Nghiên cứu kỹ thuật đánh giá tập trung học tập học sinh tốn quan trọng thị giác máy Ngồi ra, tốn cịn có ý nghĩa khoa học lẫn thực tiễn nhằm tạo giải pháp giúp học sinh tập trung học tích cực giáo viên có sở thu thập thông tin mức độ tập trung từ học sinh sau nội dung dạy Luận văn hệ thống số vấn đề toán đánh giá mức độ tập trung học sinh thông qua camera nghiên cứu lý thuyết cài đặt thực nghiệm Những vấn đề tóm tắt lại sau: Tổng quan hệ thống camera giám sát toán đánh giá tập trung Bài toán phát đối tượng chuyển động, phân loại đối tượng, theo vết đối tượng, phân tích, nhận biết hành vi đối tượng giám sát nhận dạng đối tượng, đối tượng khuôn mặt học sinh Luận văn đưa mơ hình chung đánh giá tập trung học tập học sinh thông qua liệu video thu thập từ camera Giới thiệu lý thuyết số kỹ thuật đánh giá tập trung học tập học sinh cụ thể kỹ thuật đánh giá dựa vào xác định hướng đầu, sử dụng tập liệu bao gồm ảnh khuôn mặt đánh dấu tập điểm gán nhãn ngẩn đầu hay gục đầu sử dụng mơ hình pháp tuyến khn mặt dựa đặc điểm Xây dựng chương trình thử nghiệm cho toán đánh giá tập trung học sinh hỗ trợ camera Phần thử nghiệm, luận văn áp dụng số kỹ thuật đánh giá dựa vào biểu cảm, dựa vào hướng đầu trạng thái đóng mở mắt Kết thử nghiệm, bước đầu đánh giá hiệu học sinh tập trung gục đầu Luận văn đạt số kết định lý thuyết thực nghiệm Tuy nhiên, thời gian ngắn để thực đề tài luận văn, chắn có nhiều sai sót chưa thể đánh giá kỹ thuật chương trình thử download by : skknchat@gmail.com 63 nghiệm cách hoàn thiện Luận văn tiền đề để thực nghiên cứu phát triển đánh ứng nhu cầu phát triển ngành giáo dục Điều góp phần làm phong phú hiệu thiết thực môi trường học tập Kiến nghị hướng nghiên cứu Đánh giá tập trung học sinh có ý nghĩa quan trọng khoa học thực tiễn áp dụng ngành giáo dục Đặc biệt Việt Nam chưa có hệ thống đánh giá tập trung học sinh để hỗ trợ cho giáo viên học sinh trình học tập Hướng nghiên cứu luận văn tiếp tục nghiên cứu sâu kỹ thuật đánh giá tập trung học sinh cách hiệu hành vi, trạng thái, cảm xúc…để đạt kết tốt việc đánh giá mức độ tập trung học sinh Trên sở đó, nghiên cứu ứng dụng tốn phân tích trạng thái học tập học sinh hệ thống ứng dụng thực tế có ý nghĩa thiết thực khoa học đời sống xã hội hành vi liên quan đến chuyển động gật, lắc đầu nghiên cứu để làm tăng tính xác việc đánh giá tập trung học sinh Trong tương lai, muốn hợp thông tin cung cấp hệ thống với thông tin truy xuất với trợ giúp cảm biến khác, chẳng hạn nhịp tim, tín hiệu điện não đồ mức độ oxy đặc biệt chuyển đổi sang phát biểu cảm khuôn mặt 3D biểu bệnh covid 19 ho, hắc xì hơi, mệt mỏi …giúp hệ thống phát thông báo cho giáo viên biết giúp em đảm bảo sức khỏe Tuy nhiên, điều gây thêm khó khăn cần phải sử dụng máy ảnh chụp khác, bên cạnh máy ảnh web tích hợp thơng thường máy tính xách tay download by : skknchat@gmail.com 64 DANH MỤC TÀI LIỆU THAM KHẢO [1] Lê Đức Hạnh (2011) “Thuật toán Adaboost mạng neural nhận dạng bám đuổi biển số xe” ĐH quốc gia TP Hồ Chí Minh [2] Lâm Thành Hiển, Đỗ Năng Tồn, Trần Văn Lăng (2015) “Một cải tiến cho toán phát hướng đầu dựa mơ hình pháp tuyến khuôn mặt” Trường ĐH Lạc Hồng, 2Viện Công nghệ Thông tin - Viện HLKH&CNVN, Viện Cơ Học & Tin Học Ứng Dụng - Viện HLKH&CNVN [3] Nguyễn Ngọc Hưng (2017) “Nghiêng cứu nhận dạng biểu cảm” ĐH Quy Nhơn [4] Trần Thanh Phương & Trần Văn Lăng, Đỗ Văn Toàn “Một kỹ thuật đánh giá tập trung sinh viên dựa trạng thái đóng/mở mắt” Đại học Quốc gia Hà nội [5] Nguyễn Xuân Thức (2017) “Giáo trình tâm lý học đại cương” Nhà Xuất Đại học Sư Phạm [6] Nguyễn Thị Thủy (2018) “Phương pháp nhận dạng khuôn mặt người ứng dụng quản lý nhân sự” Đại học quốc gia Hà nội [7] Ngô Đức Vĩnh (2016) “Kỹ thuật xử lý vùng quan sát phát bất thường đối tượng hệ thống camera giám sát” Học viện khoa học công nghệ Hà Nội [8] Bohong Yang, Zeping Yao, Hong Lu, Yaqian Zhou, Jinkai XBohong Yang, Zeping Yao, Hong Lu∗, Yaqian Zhou, Jinkai X (2020) “In-classroom learning analytics based on student behavior, topic and teaching characteristic mining” Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University, China [09] Janez Zaletelj &Andrej Košir (2017)“Predicting students’ attention in the download by : skknchat@gmail.com 65 classroom from Kinect facial and body features”EURASIP Journal on Image and Video Processing [10] Prabin Sharma 1,2, Shubham Joshi 2, Subash Gautam 2, Sneha Maharjan 4, Vitor Filipe 1, Manuel Cabral Reis (2019) “Student Engagement Detection Using Emotion Analysis, Eye Tracking and HeadMovement with Machine Learning” Preprint · September 2019 [11] Timothy F Cootes, et al (2001) "Active Appearance Models" IEEE transactions on pattern analysis and machine intelligence.pp 681-685, vol 23, no 6, June [12] Viola, Paul, and Michael Jones "Rapid object detection using a boosted cascade of simple features." Proceedings of the 2001 IEEE computer society conference on computer vision and pattern recognition CVPR 2001 Vol IEEE, 2001 download by : skknchat@gmail.com ... hình nghiên cứu đề tài Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Chương TỔNG QUAN VỀ BÀI TOÁN ĐÁNH GIÁ SỰ TẬP TRUNG HỌC TẬP CỦA HỌC SINH DƯỚI SỰ HỖ TRỢ CỦA CAMERA. .. đầu 1.2.3 Đánh giá mức độ tập trung học sinh Trong lĩnh vực giáo dục, cần ước tính mức độ tập trung học sinh trình học tập để đánh giá tiết học cải thiện kết học tập Đánh giá nghiên cứu đo lường... GIÁ SỰ TẬP TRUNG CỦA HỌC SINH DƯỚI SỰ HỖ TRỢ CỦA CAMERA Đánh giá mức độ tập trung học sinh lớp học vấn đề quan trọng việc nghiên cứu phát triển phương pháp dạy học hiệu Trong phần này, luận văn