Dùng thuật tốn đã phân tích ở chương 3 để huấn luyện, phát hiện và theo
vết chuyển động bài tốn điểm danh học sinh có thời gian trung bình thực hiện
như sau:
- Bài toán phát hiện vùng đầu của học sinh trong các lớp học có thời gian thực hiện là 2,3 giây.
- Bài toán theo vết chuyển động có thời gian thực hiện là 0,5 giây.
- Bài tốn tính tâm trung bình vùng đầu từng học sinh và bài toán chiếu tâm trung bình vùng đầu lên sơ đồ lớp để điểm danh cho kết qua rất nhanh (dưới 0,0001 giây).
Kết quả chi tiết của bài toán được phân loại theo các nhóm:
- Bài tốn điểm danh học sinh phân nhóm theo buổi học có kết quả trong
bảng 4.6 và được thể hiện qua biểu đồ 4.1.
Bảng 4.6 Độ chính xác của bài tốn điểm danh phân nhóm theo buổi
TT BUỔI SỐ VIDEO ĐỘ CHÍNH XÁC (%)
PHÁT HIỆN THEO VẾT ĐIỂM DANH
1 SÁNG 27 97,96 99,44 98,70
2 CHIỀU 18 99,07 99,02 99,05
TRUNG BÌNH 98,41 99,23 98,84
Đồ thị trên cho thấy kết quả điểm danh buổi chiều ổn định và cho kết quả
tốt hơn so với buổi sáng. Lý do là buổi chiều có ánh sáng ổn định hơn so với buổi sáng. 97 97.5 98 98.5 99 99.5 100 SÁNG CHIỀU PHÁT HIỆN THEO VẾT ĐIỂM DANH Buổi sáng Buổi chiều
- Bài tốn điểm danh học sinh phân nhóm theo phịng có kết quả trong bảng
4.7 và được thể hiện qua biểu đồ 4.2.
Bảng 4.7 Độ chính xác của bài tốn điểm danh học sinh theo phịng
TT PHÒNG SỐ VIDEO ĐỘ CHÍNH XÁC (%)
PHÁT HIỆN THEO VẾT ĐIỂM DANH
1 301 3 94,44 100 97,22 2 302 3 100 100 100 3 303 3 100 94,11 97,06 4 304 6 100 97,50 98,75 5 305 3 100 100 100 6 307 6 100 100 100 7 401 3 96 100 98 8 402 6 100 100 100 9 403 6 100 100 100 10 405 3 88,88 100 94,44 11 504 3 96,77 100 98,39 TRUNG BÌNH 98,41 99,27 98,84 Các phòng học
Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Biểu đồ 4.2 Độ chính xác bài tốn điểm danh phân nhóm theo phịng
82 84 86 88 90 92 94 96 98 100 102 P.301 P.302 P.303 P.304 P.305 P.307 P.401 P.402 P.403 P.405 P.504 PHÁT HIỆN THEO VẾT ĐIỂM DANH
Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014
Đồ thị trên cho thấy kết quả điểm danh các phòng học ở vị trí giữa tồn
nhà (cách ích nhất 1 phòng so với hai bên) cho kết quả ổn định hơn. Lý do
các phịng ít bị ánh sáng mặt trời tác động.
- Bài toán điểm danh học sinh phân nhóm theo tầng có kết quả trong bảng
4.8 và được thể hiện qua biểu đồ 4.3.
Bảng 4.8 Độ chính xác của bài tốn điểm danh phân nhóm theo tầng
TT TẦNG SỐ
VIDEO
ĐỘ CHÍNH XÁC (%)
PHÁT HIỆN THEO VẾT ĐIỂM DANH
1 BA (6/7 phòng) 24 99,31 98,64 98,97
2 BỐN (4/7 phòng) 18 97,48 100 98,74 3 NĂM (1/5 phòng) 3 98,41 99,27 98,84
TRUNG BÌNH 98,41 99,27 98.84
Biểu đồ 4.3 Độ chính xác bài tốn điểm danh phân nhóm theo tầng
96 96.5 97 97.5 98 98.5 99 99.5 100 100.5 TẦNG BA TẦNG BỐN TẦNG NĂM PHÁT HIỆN THEO VẾT ĐIỂM DANH
Đồ thị trên cho thấy kết quả điểm danh tầng ba và tầng năm ổn định và
cho kết quả tốt hơn so với tầng bốn.
- Bài toán điểm danh học sinh phân nhóm theo ánh sáng có kết quả trong
bảng 4.9 và được thể hiện qua biểu đồ 4.4.
Bảng 4.9 Độ chính xác của bài tốn điểm danh phân nhóm theo độ sáng
TT BUỔI SỐ
VIDEO
ĐỘ CHÍNH XÁC (%)
PHÁT HIỆN THEO VẾT ĐIỂM DANH
1 THIẾU SÁNG 06 97,22 100 98,61
2 DƯ SÁNG 12 96,41 100 98,21
3 BÌNH THƯỜNG 27 99,56 98,79 99,17
TRUNG BÌNH 98,41 99,27 98.84
Biểu đồ 4.4 Độ chính xác bài tốn điểm danh phân nhóm theo ánh sáng
Đồ thị trên cho thấy kết quả điểm danh sẽ không tốt khi quá dư sáng hoặc
thiếu ánh sáng. Bởi vì tại mỗi thời điểm ánh sáng tác động lên đối tượng (ảnh) sẽ khác nhau nên cho kết quả sẽ khác nhau.
94 95 96 97 98 99 100 101
THIẾU SÁNG DƯ SÁNG BÌNH THƯỜNG
PHÁT HIỆN THEO VẾT ĐIỂM DANH
- Bài toán điểm danh học sinh phân nhóm theo lớp học có kết quả trong bảng
4.10 và được thể hiện qua biểu đồ 4.5.
Bảng 4.10 Độ chính xác của bài tốn điểm danh học sinh phân theo lớp
TT TÊN LỚP SỐ VIDEO
ĐỘ CHÍNH XÁC (%)
PHÁT HIỆN THEO VẾT ĐIỂM DANH
1 TKT33 03 94,44 100 97,22 2 TTP33-3N 03 100 100 100 3 TTP33 03 100 100 100 4 TCB33-3N 03 100 95 97,5 5 TĐC33 03 100 100 100 6 TĐC33-3N 03 100 100 100 7 TĐC34A 03 88,88 100 94,44 8 TĐC34B 03 100 100 100 9 TKT33-3N 03 100 100 100 10 TKT34 03 96,77 100 98,39 11 TNT33 03 100 94,11 97,06 12 TBN34B 03 100 100 100 13 TBN34A 03 96 100 98 14 TNT34 03 100 100 100 15 TTP34 03 100 100 100 TRUNG BÌNH 98,41 99,27 98,84
Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 82 84 86 88 90 92 94 96 98 100 102 TKT33 TTP33-3N TTP33 TCB33-3N TĐC33 TĐC33-3N TĐC34A TĐC34B TKT33-3N TKT34 TNT33 TBN34B TBN34A TNT34 TTP34
Biểu đồ 4.5 Độ chính xác bài tốn điểm danh phân nhóm theo lớp
Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014
4.3.2 Các trường hợp sai trong bài toán điểm danh học sinh
Bài toán điểm danh học sinh có một số trường hợp điểm danh cho kết quả
sai bao gồm sai ở cả hai giai đoạn: sai trong quá trình phát hiện vùng đầu từng học sinh trong lớp học và sai do theo vết chuyển động vùng đầu của học sinh trong lớp học.
4.3.2.1 Giai đoạn phát hiện vùng đầu học sinh
Giai đoạn phát hiện vùng đầu từng học sinh trong lớp học có những trường
hợp sai như sau:
- Trường hợp sai thứ nhất là do đối tượng bị vật thể che khuất. Trong
hình 4.3, học sinh ngồi đầu bàn thứ hai của dãy bên trái lớp học đã cuối đầu
xuống mặt bàn và bị học sinh ngồi phía trên che khuất nên hệ thống điểm danh không nhận dạng được đối tượng. Học sinh này ngồi cuối đầu xuống
mặt bàn liên tục và trong thời gian quá lâu (khả năng là ngủ gục hoặc lười
nghe giảng bài) nên dẫn đến hệ thống không thể điểm danh dù đã chuyển
qua nhiều frame ảnh khác nhưng kết quả phát hiện vùng đầu vẫn không thể nhận ra vùng đầu của bạn này.
- Trường hợp sai thứ hai là do hệ thống điểm danh phát hiện sai đối tượng. Trường hợp này được thể hiện qua kết quả trong hình 4.4, trong
phòng học tại khu vực dãy bàn thứ nhất bên trái lớp học khơng có đủ ánh
sáng do bị rèm cửa che chắn (để giáo viên dùng máy chiếu) cùng với việc
học sinh ngồi gần nhau để thảo luận liên tục (trong nhiều frame ảnh) nên hệ thống phát hiện sai.
Cả hai trường hợp phát hiện sai nêu trên, nếu được tăng cường ánh sáng
và tăng thời lượng video dữ liệu điểm danh lên (tránh những trường hợp học
sinh thảo luận, ngủ gục hoặc ngồi gần nhau nói chuyện lâu) thì sẽ khắc phục
Hình 4.3 Đối tượng bị vật thể che khuất tại lớp TĐC34A
4.3.2.2 Giai đoạn theo vết chuyển động
Trong giai đoạn theo vết chuyển động vùng đầu học sinh trong lớp có những trường hợp theo vết sai do thông tin nền bị thay đổi. Các trường hợp sai cụ thể được mô tả trong các frame hình sau đây:
- Trong hình 4.5 là frame thứ 76 (video quay lớp TCB33-3N), hình chữ nhật đã đánh dấu bao gồm cả phần đầu và phần tay của học sinh áo xám ngồi
ở dãy bàn thứ hai bên trái của lớp học. Ở hình 4.6 là frame thứ 91 cũng của
video lớp này, khi học sinh áo xám này nâng tay lên, thì hình chữ nhật mở rộng ra theo đặc trưng màu xám, làm ảnh hưởng một phần nào đến đặc trưng
để theo dõi. Qua đến frame hình thứ 99 (hình 4.7), thì học sinh áo xám này
lại giơ tay lên ngang, lúc này hình chữ nhật mở rộng rất lớn, nên đặc trưng vùng đầu học sinh trong hình chữ nhật bao quanh đã khơng cịn, dẫn đến kết quả theo vết vùng đầu của học sinh này bị sai.
Hình 4.6. Hình frame thứ 91 của lớp TCB33-3N
Hình 4.7. Hình frame thứ 99 của lớp TCB33-3N.
- Video lớp TNT33, trong hình 4.8 là frame thứ 27, bắt đầu quá trình theo vết chuyển động vùng đầu của học sinh ngồi phía trong của dãy bàn thứ nhất bên trái. Đến frame thứ 45 (hình 4.9), kích thước của hình chữ nhật bao quanh
lớn lên, tuy nhiên khi đến đây thì kích thướclại được giữ ngun cho các frame tiếp theo, hình 4.10. Nghĩa là q trình theo vết khơng ghi nhận sự chuyển động vùng đầu của học sinh này, do đó kết quả theo vết trong trường hợp này sẽ bị sai.
Hình 4.8. Hình frame thứ 27 lớp TNT34.
Hình 4.10 Hình frame thứ 99 của video M42 (lớp TNT34).
Hệ thống điểm danh học sinh cũng ghi nhận một số trường hợp theo vết
không sai, tuy nhiên khi xét đến việc theo vết vùng đầu học sinh thì hình chữ
nhật bao quanh vùng đầu không thể bỏ qua được. Trường hợp cụ thể được mô
tả như các frame hình trong video của lớp TTP34
- Hình 4.11 là frame đầu tiên trong bước theo vết, hình chữ nhật bao
quanh được khởi tạo là một vật thể màu đen.
- Hình 4.12 là frame cuối cùng của bước theo vết, khi học sinh ngước đầu lên thì hình chữ nhật bao quanh vùng đầu học sinh đã dịch chuyển lên trên.
Hình 4.12 Hình frame thứ 99 của lớp TTP34.
Đánh giá
Bài toán điểm danh học sinh với theo vết chuyển động kết hợp nhận dạng
vùng đầu học sinh qua camera cho kết quả của giai đoạn phát hiện là 98,41% và kết quả của giai đoạn theo vết là 99,27%. Kết quả trung bình của bài tốn điểm danh là 98,84% với tổng thời gian thực hiện là 2,8 giây.
Có được kết quả như trên là do hệ thống điểm danh đã có sự cải tiến trong
thuật tốn với việc xác định đối tượng cần theo dõi (điểm danh) ngay từ những frame hình đầu tiên (n frame đầu tiên). Vì cùng một đối tượng, ở góc độ trên
frame thứ nhất có thể khơng phát hiện được, nhưng ở góc độ khác trên frame
thứ n có thể cung cấp đủ thơng tin để hệ thống có thể phát hiện được.
Đây chính là giai đoạn quan trọng nhất giúp cho kết quả bài toán đạt được độ chính xác như trên.
4.4.1 Ưu điểm
Bài toán điểm danh học sinh có ưu điểm là được thực nghiệm trên môi trường lớp học nghề, có sĩ số lớp ổn định. Lớp ít nhất có sĩ số là 16 học sinh và
lớp cao nhất có sĩ số là 32 học sinh (trung bình 25 học sinh/lớp). Bên cạnh đó là khơng gian lớp học rộng, có độ cao vừa đủ nên dễ dàng lắp đặt camera để ghi hình lớp học từ trên cao, điều đó thuận lợi cho việc nhận dạng vùng đầu và theo vết chuyển động vùng đầu của toàn bộ học sinh từ dãy đầu đến dãy cuối của lớp học.
Sự phát triển của công nghệ với các thiết bị camera ghi hình tốt, đem lại chất
lượng hình ảnh rõ nét đã giúp cho việc phân tích dữ liệu trên các frame ảnh rất
dễ dàng và cho được kết quả chính xác trong bài tốn điểm danh học sinh trong lớp học.
Thuật tốn có sự cải tiến trong việc xác định nhiều frame ảnh ở các thời điểm khác nhau để phát hiện và theo vết chuyển động vùng đầu học sinh để cho
kết quả điểm danh chính xác. Ví dụ, tại một frame ảnh bất kỳ, nếu phát hiện
một đối tượng có khả năng là vùng đầu học sinh, nhưng đến những frame sau đó cho kết quả khơng phải là vùng đầu và cũng không khớp với dữ liệu tập
huấn luyện vùng đầu, thì kết hợp thêm vài frame ảnh nữa để thuật toán kết luận vùng khả nghi này không phải là đầu học sinh và khơng tính vào kết quả điểm danh. Hoặc tại thời điểm nào đó trong frame ảnh, khơng có vùng đầu học sinh,
nhưng những frame tiếp theo lại có vùng đầu học sinh, thì kết quả điểm danh là có vùng đầu học sinh tại vùng đó vì thuật toán giúp trộn dữ dữ liệu trong n
frame ảnh khác nhau để tính tâm trung bình vùng đầu học sinh nên kết quả sẽ đúng với vị trí ngồi của học sinh trong lớp học.
4.4.2 Nhược điểm
Tập dữ liệu video các lớp học chưa quay được nhiều lớp tại nhiều ngày khác nhau, hay nói cách khác dữ liệu video quay các lớp học chưa lớn. Nếu dữ liệu video quay phim các lớp học được nhiều hơn, được quay trong nhiều ngày hơn thì sẽ đa dạng và phong phú hơn cho tập huấn luyện vùng đầu học sinh, khi đó
kết quả và độ chính xác của bài toán khả năng sẽ được nâng cao. Đồng thời với nhiều dữ liệu tập video huấn luyện khả năng sẽ giúp khắc phục một số lỗi phát hiện sai hoặc theo vết sai như đã trình bày ở trên.
Một số lớp học, vị trí ngồi học của học sinh khá lộn xôn, chưa theo thứ tự và không ổn định theo như quy định. Nên bài toán điểm danh chỉ cho kết quả điểm danh số lượng học sinh, khả năng xác định chính xác học sinh vắng sẽ khơng
cao vì có một số trường hợp các em vẫn học nhưng đổi chổ ngồi.
Bài toán điểm danh học sinh đang thực hiện trên dữ liệu video quay sẵn. Hệ thống chưa cài đặt để có thể lấy dữ liệu trực tiếp từ video quay được từ lớp
truyền qua mạng xuống hệ thống để điểm danh trực tiếp theo thời gian thực.
Hướng phát triển
Để tăng độ chính xác cho bước theo vết, thay vì cập nhật liên tục, ta có thể
thực hiện nhảy frame để khi đối tượng thay đổi hình dạng vẫn có thể theo vết được.
Bên cạnh phát hiện và theo vết chuyển động vùng đầu của học sinh, chúng ta có thể kết hợp thêm các phương pháp nhận dạng các đặc trưng khác để tăng thêm độ chính xác của bài tốn khi có những trường hợp phát hiện sai.
Bài toán điểm danh học sinh cần được kết nối trực tiếp với camera quay trực
tiếp trên lớp học và điểm danh trực tiếp thông qua hệ thống mạng theo thời gian thực.
Ngoài ra, để phát triển hệ thống điểm danh học sinh cần tính thời gian di
chuyển của học sinh trong giờ học, để có thể phát hiện học sinh đổi chổ, bỏ tiết,
đi vệ sinh lâu quá (có thể bị tai nạn).
Hệ thống có thể sẽ kết hợp thêm camera ở các hành lang để theo vết chuyển
động của học sinh từ đó đánh giá và cho kết quả vi phạm của học sinh. Bên
cạnh đó hệ thống có thể phát hiện các trường hợp học sinh tụ tập đơng (có thể là quậy phá, đánh nhau), phát hiện các trường hợp học sinh té ngã…Hệ thống sẽ giúp nâng cao khả năng giám sát học sinh, giúp cho môi trường giáo dục
được cải thiện. Điều này sẽ rất quan trọng và cần thiết trong thời buổi công
nghệ phát triển như hiện nay. Ngoài ra, phát triển hệ thống điểm danh học sinh tự động cũng phù hợp với đề án xây dựng đô thị thông minh của thành phố nói riêng cũng như của xã hội nói chung trong cuộc cách mạng công nghiệp 4.0 như hiện nay.
TÀI LIỆU THAM KHẢO
Việt ngữ:
[1] Nguyễn Văn Căn, “Theo dõi và phân loại đối tượng dựa trên biên trong bài
toán giám sát đối tượng chuyển động”, Đại học Kỹ thuật – Hậu cần CAND, 2013.
[2] Nguyễn Khắc Hiếu, Nguyễn Thị Vân Anh, Dự báo lạm phát tại Việt Nam bằng mô hình mạng thần kinh nhân tạo, Đại học sư phạm kỹ thuật, TP.HCM.