5. Phương pháp nghiên cứu
3.1. Bài toán đánh giá sự tập trung của học sinh
Đánh giá sự tập trung của học sinh trong lớp học dưới sự hỗ trợ của camera là một trong những bài toán quan trọng trong các hệ thống giám sát tự động, nhằm làm cơ sở trong phân tích và đề xuất các phương pháp giảng dạy phù hợp với từng chương trình, nội dung của bài học, đặc biệt là đối với các em học sinh ở các cấp học nhỏ. Các yếu tố chính trong phân tích sự tập trung của học sinh đó là trạng thái giục đầu, nghiêng đầu, nhắm mắt, mở mắt v.v. Yếu tố ngoại cảnh, môi trường thu thập dữ liệu cũng được quan tâm như: thiếu ánh sáng, nền tối, thay đổi tỉ lệ, quay nghiêng, chuyển động trạng thái nhanh, hình ảnh của học sinh thu được xa camera trong lớp học, hình ảnh các học sinh quá nhỏ v.v.
Đầu vào: Dữ liệu video (Tập hợp ảnh) quay lại quá trình học tập của học sinh trong lớp học.
Đầu ra: Đưa ra trạng thái thể hiện mức độ tập trung của học sinh
3.2. Phân tích yêu cầu và thu thập dữ liệu
Như bài toán được đặt ra ở phần 3.1, chúng ta thấy đánh giá sự tập trung của học sinh rất đa dạng và phức tạp với nhiều tiêu chí, trạng thái và hình thức đánh giá khác nhau do đó gặp nhiều khó khăn trong quá trình đánh giá sự tập trung. Bên cạnh đó hoạt động học của học sinh có rất nhiều trạng thái cảm xúc, hành vi đôi khi rất nhỏ cũng ảnh hưởng đến quá trình đánh giá sự tập trung của học sinh.
Do vậy, phần thực hiện luận văn tập trung chủ yếu vào kỹ rình bày một hệ thống đánh giá sự tập trung của học sinh dựa trên khuôn mặt, hướng đầu/ giục đầu và trạng thái đóng mở của mắt. Luận văn áp dụng kỹ thuật để nhận
dạng khuôn mặt (Viola Jone Face detection), trích chọn đặc trưng khuôn mặt dựa trên thuật toán AAM, cài đặt kỹ thuật phát hiện trạng thái gục đầu của học sinh được trình bày trong chương 2. Tuy nhiên, để có thể đánh giá chính xác hiệu quả các thuật toán, luận văn cũng quan tâm dữ liệu thu nhận bị ảnh hưởng bởi các yếu tố ánh sáng, ảnh mờ, độ phân giải kém, không bị ảnh hưởng bởi các phụ kiện, sự che khuất và môi trường xung quanh. Từ đó hệ thống sẽ tiến hành các bước sau:
Bước 1: Xây dựng chương trình lọc nhiễu, chuyển ảnh đầu vào sang ảnh xám, sau đó nhận dạng ra khuôn mặt, trích chọn tập điểm điều khiển mô tả trạng thái cảm xúc khuôn mặt mắt, mủi miệng v.v theo thuật toán AAM, phát hiện trạng thái giục đầu, nghiêng đầu của học sinh, phát hiện trạng thái nhắm/mở của mắt theo các kỹ thuật được trình bày ở chương 2.
Bước 2: Tiến hành phân lớp dữ liệu theo thuật toán phân lớp và tiến hành đánh giá mức độ tập trung thông qua một số kỹ thuật cần quan tâm.
Như vậy đầu vào của bài toán là ảnh khuôn mặt học sinh, qua quá trình xử lý và cài đặt các kỹ thuật ở chương 2, chương trình cho đầu ra là phát hiện học sinh không tập trung.
3.3. Phân tích lựa chọn công cụ cài đặt thử nghiệm
Các kỹ thuật xử lý ảnh và thị giác máy trong chương 2 được cài đặt để đánh giá bài toán phân tích sự tập trung của học sinh đều là những kỹ thuật có độ tính toán phức tạp, giải thuật tối ưu với cấu trúc lặp phức tạp. Để cài đặt chương trình thử nghiệm thành công, luận văn lựa chọn cấu hình máy tính tối thiểu như bảng 3.1.
Trong luận văn này tôi lập trình trên ngôn ngữ Visual C++, .Net, môi trường phát triển Visual Studio 2015 với sự hỗ trợ của thư viện mã nguồn mở Tensorflow 2.4, Pytorch 1.7, OpenCV 3.0.
Bảng 3.1: Cấu hình tối thiểu máy tính để cài đặt chương trình
Thành phần Chỉ số
CPU 2.0 GHz trở lên
RAM 2GB
Hệ điều hành Windows 7, 8, 10 - 64 bit Bộ nhớ ngoài 80 GB
3.4. Một số kết quả thử nghiệm
Tiến hành thử nghiệm các thuật toán đánh giá sự tập trung của học sinh dựa và hướng đầu trong chương 2. Trước tiên là cơ sở dữ liệu học tập của học sinh, khuôn mặt được phát hiện trích chọn đặc trưng. Trạng thái học sinh mất tập trung trong video thu nhận được không nhiều (do thời gian vừa qua bị ảnh hưởng bởi covid-19 nên việc tập trung học sinh đến trường chưa thực hiện được), nên dữ liệu thử nghiệm thu được chưa đầy đủ và chưa đánh giá thử nghiệm thực tế trên diện rộng các lớp học sinh. Kết quả phát hiện học sinh mất tập trung mang tính tương đối, do những mẫu trạng thái học sinh mất tập trung chưa nhiều, chưa đủ để đánh giá hết được. Bên cạnh đó để đánh giá học sinh mất tập trung cần rất nhiều yếu tố khác nhau, chưa kể còn phụ thuộc vào yếu tố sinh học của khuôn mặt, vùng miền khác nhau, cơ chế quản lý, môi trường lớp học v.v. mới đưa ra được quyết định chính xác.
Kết quả cài đặt chương trình thử nghiệm đánh giá mất tập trung của học sinh như sau:
Phát hiện khuôn mặt và trích chọn đánh dấu các điểm đặc trưng dựa vào kỹ thuật mô hình xuất hiện tích cực AAM được trình bày trong chương 2. Hình 3.1 minh họa phát hiện và trích chọn đặc trưng khuôn mặt học sinh.
Hình 3. 1 Phát hiện và trích chon các đặc trưng trên khuôn mặt
Trong trường hợp học sinh gục đầu không bị che khuất có kích thước vừa phải, nền tối thuật toán vẫn phát hiện được trạng thái gục đầu của học sinh như hình 3.2:
Hình 3. 2 Đánh giá học sinh mất tập trung trong trường hợp học sinh gục đầu xuống
Bên cạnh đó trường hợp đối tượng đầu bị nghiêng nhẹ, thiếu sáng cục bộ, nền tối thuật toán vẫn phát hiện được học sinh mất tập trung như kết quả ở
hình 3.3 và hình 3.4:
Hình 3. 3 Học sinh mất tập trung ở các trạng thái gục đầu nhẹ, nghiên quay đầu
Hình 3. 4 Phát hiện học sinh mất tập trung qua một số phản ứng bất thường
Đánh giá sự mất tập trung của học sinh trong trường hợp thay đổi tỉ lệ, tỉ lệ thu thập ảnh khuôn mặt cách xa camera, thuật toán vẫn phát hiện được như hình 3.5:
Hình 3. 5 Hình ảnh học sinh mất tập trung ở xa hơn
Một số trường hợp học sinh không phát hiện được như hình 3.6:
Hình 3. 6 Trường hợp không phát hiện được học sinh mất tập trung
Một số trường hợp phát hiện mất tập trung chậm, sau khi học sinh ngẩng đầu lên, chương trình thông báo “ mất tập trung gậc đầu” chưa kịp tắt như thể hiện kết quả trong hình 3.7.
Hình 3. 7 Trường hợp phát hiện thông báo tắt chậm khi học sinh ngẩn đầu
Kết quả thực nghiệm cho thấy kỹ thuật lựa chọn nghiên cứu dựa trên mô hình xuất hiện tích cực nhằm trích chọn đặc trưng khuôn mặt tối ưu, kết hợp kỹ thuật phát hiện hướng đầu/ giục đầu dựa trên phân tích vecto pháp tuyến hình học 3D, kỹ thuật phát hiện nhắm mở mắt dựa trên mô hình phân tích thời gian và trạng thái của vecto đặc trưng vùng mặt, mắt là khá hiệu quả. Kỹ thuật kết hợp phát hiện được trong những trường hợp thiếu sáng, độ nghiêng quay lớn, tị lệ nhỏ.
3.5. Kết luận chương 3
Chương 3 đã trình bày thực nghiệm trên bài toán đánh giá sự tập trung học tập của học sinh theo kỹ thuật đánh giá dựa trên hướng đầu và phân tích một số yếu tố ảnh hưởng trong quá trình thu nhận dữ liệu hình ảnh từ camera. Các kết quả thực nghiệm đạt được đã minh họa cho nội dung lý thuyết được trình bày trong chương 2, lựa chọn một kỹ thuật với những cài dặt cụ thể. Kết quả đạt được với độ chính xác tương đối tốt. Bên cạnh đó để đánh giá mức độ tập trung chính xác cao cần kết hợp nhiều kỹ thuật và yếu tố từ nguồn dữ liệu đủ lớn cũng ảnh hưởng tới quá trình phát hiện và đánh giá thuật toán.
KẾT LUẬN
Nghiên cứu kỹ thuật đánh giá sự tập trung học tập của học sinh là một trong những bài toán quan trọng của thị giác máy. Ngoài ra, bài toán còn có ý nghĩa khoa học lẫn thực tiễn nhằm tạo ra một giải pháp giúp học sinh tập trung học tích cực hơn và giáo viên có cơ sở thu thập được thông tin mức độ tập trung từ học sinh sau mỗi nội dung dạy. Luận văn đã hệ thống một số vấn đề cơ bản trong bài toán đánh giá mức độ tập trung của học sinh thông qua camera về nghiên cứu lý thuyết cũng như trong cài đặt thực nghiệm. Những vấn đề này có thể tóm tắt lại như sau:
Tổng quan về hệ thống camera giám sát và bài toán đánh giá sự tập trung. Bài toán phát hiện đối tượng chuyển động, phân loại đối tượng, theo vết đối tượng, phân tích, nhận biết hành vi của đối tượng giám sát và nhận dạng đối tượng, đối tượng ở đây là khuôn mặt của học sinh. Luận văn cũng đưa ra mô hình chung đánh giá sự tập trung học tập của học sinh thông qua dữ liệu video thu thập từ camera.
Giới thiệu lý thuyết về một số kỹ thuật đánh giá sự tập trung học tập của học sinh cụ thể là kỹ thuật đánh giá dựa vào xác định hướng đầu, sử dụng một tập dữ liệu bao gồm ảnh khuôn mặt đã được đánh dấu tập điểm và gán nhãn ngẩn đầu hay gục đầu sử dụng mô hình pháp tuyến khuôn mặt dựa trên các đặc điểm.
Xây dựng chương trình thử nghiệm cho bài toán đánh giá sự tập trung của học sinh dưới sự hỗ trợ của camera. Phần thử nghiệm, luận văn áp dụng một số kỹ thuật đánh giá dựa vào biểu cảm, dựa vào hướng đầu và trạng thái đóng mở của mắt. Kết quả thử nghiệm, bước đầu được đánh giá khá hiệu quả đối với học sinh mất tập trung gục đầu.
Luận văn đạt được một số kết quả nhất định về lý thuyết và thực nghiệm. Tuy nhiên, trong thời gian ngắn để thực hiện đề tài luận văn, chắc chắn có nhiều sai sót và cũng chưa thể đánh giá kỹ thuật cũng như chương trình thử
nghiệm một cách hoàn thiện. Luận văn là tiền đề để thực hiện nghiên cứu phát triển tiếp theo đánh ứng nhu cầu phát triển hiện nay trong ngành giáo dục. Điều này sẽ góp phần làm phong phú hiệu quả thiết thực hơn trong môi trường học tập.
Kiến nghị và hướng nghiên cứu tiếp theo
Đánh giá sự tập trung của học sinh có ý nghĩa quan trọng trong khoa học và thực tiễn áp dụng trong ngành giáo dục. Đặc biệt ở Việt Nam chưa có hệ thống đánh giá sự tập trung của học sinh để hỗ trợ cho giáo viên và học sinh trong quá trình học tập. Hướng nghiên cứu tiếp theo của luận văn là tiếp tục nghiên cứu sâu hơn nữa các kỹ thuật đánh giá sự tập trung của học sinh một cách hiệu quả hơn hành vi, trạng thái, cảm xúc…để đạt kết quả tốt hơn trong việc đánh giá mức độ tập trung của học sinh. Trên cơ sở đó, sẽ nghiên cứu ứng dụng của bài toán phân tích các trạng thái học tập của học sinh trong các hệ thống ứng dụng thực tế có ý nghĩa thiết thực trong khoa học và trong đời sống xã hội như các hành vi liên quan đến chuyển động gật, lắc của đầu sẽ được nghiên cứu để làm tăng tính chính xác trong việc đánh giá sự tập trung của học sinh.
Trong tương lai, muốn hợp nhất thông tin hiện được cung cấp bởi hệ thống với thông tin được truy xuất với sự trợ giúp của các cảm biến khác, chẳng hạn như nhịp tim, các tín hiệu điện não đồ và mức độ oxy đặc biệt là chuyển đổi sang phát hiện biểu cảm khuôn mặt 3D những biểu hiện của bệnh covid 19 như ho, hắc xì hơi, mệt mỏi …giúp hệ thống phát hiện và thông báo cho giáo viên biết giúp các em đảm bảo sức khỏe. Tuy nhiên, điều này sẽ gây thêm khó khăn và cần phải sử dụng các máy ảnh chụp khác, bên cạnh máy ảnh web tích hợp thông thường của máy tính xách tay.
DANH MỤC TÀI LIỆU THAM KHẢO
[1] Lê Đức Hạnh (2011) “Thuật toán Adaboost và mạng neural trong nhận dạng và bám đuổi biển số xe” ĐH quốc gia TP Hồ Chí Minh.
[2] Lâm Thành Hiển, Đỗ Năng Toàn, Trần Văn Lăng (2015) “Một cải tiến cho bài toán phát hiện hướng đầu dựa trên mô hình pháp tuyến khuôn mặt” Trường ĐH Lạc Hồng, 2Viện Công nghệ Thông tin - Viện HLKH&CNVN,
3Viện Cơ Học & Tin Học Ứng Dụng - Viện HLKH&CNVN.
[3] Nguyễn Ngọc Hưng (2017) “Nghiêng cứu nhận dạng biểu cảm” ĐH Quy Nhơn.
[4] Trần Thanh Phương & Trần Văn Lăng, Đỗ Văn Toàn “Một kỹ thuật đánh giá sự tập trung của sinh viên dựa trên trạng thái đóng/mở của mắt” Đại học Quốc gia Hà nội.
[5] Nguyễn Xuân Thức (2017) “Giáo trình tâm lý học đại cương” Nhà Xuất bản Đại học Sư Phạm.
[6] Nguyễn Thị Thủy (2018) “Phương pháp nhận dạng khuôn mặt người và ứng dụng trong quản lý nhân sự” Đại học quốc gia Hà nội.
[7] Ngô Đức Vĩnh (2016) “Kỹ thuật xử lý vùng quan sát và phát hiện bất thường của các đối tượng trong hệ thống camera giám sát” Học viện khoa học và công nghệ. Hà Nội.
[8] Bohong Yang, Zeping Yao, Hong Lu, Yaqian Zhou, Jinkai XBohong Yang, Zeping Yao, Hong Lu∗, Yaqian Zhou, Jinkai X (2020) “In-classroom learning analytics based on student behavior, topic and teaching characteristic mining” Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University, China.
classroom from Kinect facial and body features”EURASIP Journal on Image and Video Processing.
[10] Prabin Sharma 1,2, Shubham Joshi 2, Subash Gautam 2, Sneha Maharjan 4, Vitor Filipe 1, Manuel Cabral Reis (2019) “Student Engagement Detection Using Emotion Analysis, Eye Tracking and HeadMovement with Machine Learning” Preprint · September 2019.
[11] Timothy F. Cootes, et al. (2001). "Active Appearance Models" IEEE transactions on pattern analysis and machine intelligence.pp. 681-685, vol 23, no 6, June.
[12] Viola, Paul, and Michael Jones. "Rapid object detection using a boosted cascade of simple features." Proceedings of the 2001 IEEE computer society conference on computer vision and pattern recognition. CVPR 2001. Vol. 1. IEEE, 2001.