Luận văn thạc sĩ Công nghệ thông tin: Nghiên cứu và hiện thực hệ thống điểm danh tự động trên bàn học thông minh

Mở đầuMỞ BAU Để đa dạng hóa các phương thức giảng dạy nhằm đáp ứng nhu cầu truyền tải kiếnthức cho học sinh một cách linh hoạt, ngày càng nhiều trường học đầu tư các phươngthức giảng dạy

ĐẠI HỌC QUÓC GIA TP HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

NGUYEN DUY DIEU

NGHIÊN CỨU VA HIỆN THỰC HE THONG

DIEM DANH TỰ DONG TREN BAN HỌC THONG MINH

LUAN VAN THAC Si

Nganh: Cong Nghé Thong Tin

Mã ngành: 8480201

TP HO CHÍ MINH - 2023

ĐẠI HỌC QUÓC GIA TP HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

NGUYEN DUY DIEU

NGHIÊN CỨU VA HIEN THỰC HE THONG

DIEM DANH TU ĐỘNG TREN BAN HỌC THONG MINH

LUẬN VAN THAC SĨ

NGANH CONG NGHE THONG TIN

Mã số: 8480201

NGƯỜI HƯỚNG DẪN KHOA HỌC:

TS NGUYÊN MINH SƠN

TP Hồ Chí Minh, tháng 2 năm 2023

LỜI CAM ĐOAN

Tôi cam đoan đề tài tốt nghiệp “NGHIÊN CỨU VÀ HIỆN THỰC HỆTHONG DIEM DANH TỰ ĐỘNG TREN BAN HỌC THONG MINH” là nghiêncứu do tôi tự thực hiện, với dữ liệu trong báo cáo được trích xuất từ bài báo khoa

học “Automatic Attendance System based on Face Recognition using MTCNN and

ARCFACE” của tôi va cộng sự đều hoàn toàn chính xác Tôi không sao chép nộidung từ bat kì công trình nghiên cứu nào khác Các nội dung được tham khảo déthực hiện đề tài đều được trích dẫn một cách đầy đủ

Moi điều tôi cam kết trên đều hoàn toàn chính xác Nếu có bat cứ sự sao chépnội dung nghiên cứu từ đề tài khác không phải do tôi nghiên cứu được phát hiện, tôisẵn sàng chịu hình thức xử lý do trường quy định

Nguyễn Duy Diệu

LỜI CẢM ƠN

Dé hoàn thành được luận văn này Đầu tiên tôi muốn bày tỏ lòng biết ơn đếnthầy TS Nguyễn Minh Sơn, Trưởng khoa kỹ thuật máy tính tại Trường Đại họcCông nghệ thông tin TP.HCM Đã hỗ trợ và dẫn dắt tôi trong suốt quá trình học tập,nghiên cứu và công bố các công trình tại các hội nghị khoa học Đồng thời, cảm ơn

sự hỗ trợ của quý thầy, cô khoa sau đại học của Trường Đại học Công Nghệ ThôngTin trong việc hỗ trợ tôi trong học tập và nghiên cứu Bên cạnh đó tôi rất cảm ơn thầy

TS Nguyễn Gia Tuấn Anh vì sự động viên và chỉ dạy của thầy giúp tôi hoàn thành

đề tài Ngoài ra, cảm ơn em Lê Mạnh Hùng đã đồng hành hỗ trợ tôi trong việc nghiêncứu về Lớp học lai (Hybrid Classroom), Bàn học thông minh (Smart Desk) và Bục

giảng thông minh (Smart Podium).

Cuối cùng, Tôi muốn biểu lộ sự cảm ơn sâu sắc đến gia đình, bạn bè, và đồng

nghiệp vì sự hỗ trợ và động viên cho tôi trong quá trình học tập và nghiên cứu.

Mặc dù tôi đã có gắng hoàn thành đề tài một cách tốt nhất có thể, nhưng vì thờigian gấp rút và kha năng có hạn nên còn nhiều hạn chế chưa được phat hiện Tôi kínhmong nhận góp ý và nhận xét của quý thầy, quý cô, cùng các bạn bè dé hoàn thiệnluận văn một cách tốt nhất

HCM, ngày 24 tháng 2 năm 2023

Học viên

Nguyễn Duy Diệu

y2

Chương 1 GIỚI THIEU

1.1 _ Giới thiệu tổng quan về đề tài

1.11 Mục tiêu đề tai.

1.12 Phạm vi và Đối tượng nghiên cứu của đề tài

1⁄2 _ Tổng quan các nghiên cứu khác

1.2.1 Các mô hình giảng day trong lớp học thông minh

1.2.2 Phân tích các phan mém hé trợ dạy học trực tuyến phổ biến hiện nay 1.2.3 Tình hình các công nghệ điểm danh tự động hiện nay:

1.2.4 Các công trình điểm danh trên thiết bị nhúng tương tự:

Chương 2 NGHIÊN CỨU LIÊN QUAN ĐÉN HYBRID CLASSROOM

2.1 Tổng quan về mô hình Hybrid Classroom sử dụng công IoT và AI:.

2.1.1 Bue giảng thông minh (Smart Podium):

2.1.2 Bàn học thông minh (Smart Desk)

2.2 Hệ thống nhúng trong hiện thực bằng công nghệ IoT của gi:

2.3 Tri tuệ nhân tạo và Máy học hiện thực trong giải pháp Hyrbrid Classroom 2.3.1 Học có giám sát (Thường gọi là Supervised learning)

2.3.2 Học không giám sắt (Thường gọi là UnSupervised learning)

2.3.3 Học bán giám sát (Thường gọi là Semi-Supervised Learning)

2.4 Một số thuật toán máy học phô biến

2.4.1 Cây quyết định (Thường gọi là Decision Trees):

2.4.2 Hồi quy tuyến tính (Thường gọi là Linear Regression).

2.4.3 Hồi quy logisti 2 (Thường gọi là Logis ic regression):

2.4.4 K láng giêng gan nhất (Thường gọi là k-NN hay K-Nearest Neighbor):

2.4.5 Support Vector Machines (Thường gọi là SVM):

2.46 Random Forest (Rừng ngẫu nhiên):

2.5 Các bài toán con trong nhận diện khuôn mặt

2.5.1 Phat hiện khuôn mặt trong bức hình

2.5.2 Căn chỉnh khuôn mặt

2.5.3 Chống giả mạo khuôn mặt

2.5.4 Trích xuất đặc trưng khuôn mặt và so khớp đặc trưng khuôn mặt

Chương 3 KIỀN TRÚC HỆ THONG CUA HYBRID CLASSROOM

3.1 Kiến trúc tổng thể của hệ thống

3.11 Khu vực học tập:.

3.1.2 Khu vuc Server:

3.1.3 Khu vực hệ thống quan h

3.2 Các đối tượng sử dụng chức năng trong hệ thống.

3.3 Đề xuất sử dụng phần cứng trên nền tảng IoT cho hệ thống

3.4 Phần mềm điểm danh tự động trên Bàn học thông minh

Chương 4 HIỆN THỰC MÔ HÌNH VA KET QUA THỰC NGHIEM

4.1 Đánh giá độ tin cậy và khả năng đáp ứng của các thuật toán:

4.1.1 Đánh giá về độ tin cậy của thuật toán phát hiện giả mạo khuôn mặt:

4.1.2 Nhận điện khuôn mặt

4.1.3 Do thời gian xử lý của các thuật toán.

4.1.4 Đánh giá tính sẵn sàng thông qua tài nguyên phần cứng sử dụng: 4.1.5 Kiém tra khoảng cách hoạt động:

4.2 Kết quả thực nghiệm của chương trình

4.21 Thu thập dữ liệu khuôn mặt hoc sinh:

4.2.2 Điểm danh trong lớp học:

4.2.3 Truy xuất dữ liệu điểm danh:

Chương 5 KET LUẬN VA HƯỚNG PHAT TRIEN

5.1 Kết quả đạt được

5.2 Các khó khăn và thuận lợi.

5.3 Hướng phát triển.

DANH MỤC CÁC CONG BO KHOA HỌC CUA TAC GIA

TÀI LIEU THAM KHẢO

DANH MỤC CAC CHỮ VIET TA’ VÀ Ý NGHĨA

Ký hiệu/Chữ viết tắt Ý nghĩa

Embedded Device Thiét bi nhúng

Embedded System Hệ thông nhúng

Blearning Learning Kiéu hoc két hop

Online Learning Kiéu học trực tuyên

Offline Learning Kiéu học trực tiép

Face-to-face Learning Kiêu học truyền thông

Hybrid Learning Kiêu học kết hợp giữa học trực tuyên và học truyên thông Hybrid Classroom Lớp học kết hợp giữa học trực tuyên va học truyén thong LMS Hệ thông quản lý học tập

AI Trí tuệ nhân tao

loT Kết nôi vạn vật

Public Server Máy chủ dùng chung

Private Server Máy chủ nội bộ

Smart Desk Bàn học thông minh

Smart Podium Bục giảng thông minh

Vector Véc tơ

Người học Sinh viên / Học sinh

Bounding Boxes Khung giới hạn

DANH MỤC CÁC BẢNG

Bảng 1: Ưu điểm và nhược điểm của mô hình dạy học truyền thốn,

Bảng 2: Uu điểm và nhược điểm của mô hình dạy và học trực tuyến

Bảng 3: Uu điểm và nhược điểm của mô hình Blended Learning

Bảng 4: Uu điền và nhược điểm của mô hình day và học lai

Bảng 5: Uu điểm và nhược điểm Phần mém Microsoft Team

Bảng 6: Uu điểm và nhược điểm phần mém Google meeting

Bang 7: Uu điểm và nhược điểm phan mém Zoom

Bang 8: Uu điểm và nhược điểm phan mém Skype

Bảng 9: Công trình tiêu biểu về điểm danh trên thiết bị nhing

Bảng 10: So sánh các thuật toán phát hiện khuôn mặt.

Bang 11: Uu và nhược điểm các giải pháp phát hiện gia mạo khuôn mat.

Bảng 12: Số lượng tính toán và số thông số của Sillent-Face-Anti-Spoofing

Bảng 13: So sánh các thuật toán nhận diện khuôn mặt hiện nay

Bảng 14: Thông số phan cứng của hệ thống dé xuất.

Bảng 15: Các thước đo trong việc đánh giá độ chính xác và ý nghĩa của chúng

Bảng 16: Ý nghĩa của các biến số trong thuật toán đánh giá độ chính xác

Bảng 17: Độ chính xác thuật toán chống giả mạo khuôn mặt trên bộ dataset của kaggle 54

Bảng 18: Thời gian xử lý thuật toán theo độ phân giải hình ảnh đâu vào

Bảng 19: Thời gian tham dự trong một lớp học

DANH MỤC CÁC HÌNH VẼ

Hình 1: Mô hình Hybrid Classroom với hình thức học tập kết hợp giữa những học sinh học trực tiếp tại lớp và học trực tuyến thông qua Smart Desk .

Hình 2: Sự khác nhau giữa mô hình học Hybrid Learning và Blended Learning

Hình 3: Mô hình lớp học Hybrid ới chế độ Trực tiếp và Truc tuyen

Hình 4: Mô tả chức năng Bue giảng thông minh trong Hybrid Classroom

Hình 5: Các chức năng của Ban học thông minh trong Hybrid Classroom

Hình 6: Mô tả mô hình máy học có giám sát

Hình 7: Mô tả mô hình máy học không giám sát

Hình 8: Vi dụ về cây quyết định trong việc đưa con di chơi hay ở nhà .

Hình 9: Ví dụ trực quan về đường hoi quy tuyến tinh và dữ liệu

Hình 10: Vi dụ trực quan về Logistic regression

Hình 11: Vi dụ về phân loại đối tượng trong thuật toán k-NN

Hình 12: Ví dụ vé mặt cắt tối wu trong Support Vector Machines

Hình 13:Vi dụ về 4 cây con trong mô hình Random Forest

Hình 14: Sơ đồ các bước trong giải pháp nhận dạng khuôn mặt

Hình 15: Mô tả Image Pyramid

Hình 16: Cau trúc mạng P-Net

Hình 17: Minh họa Non-Maximum Suppression (NMS)

Hình 18: Cấu trúc mạng R-Net

Hình 19: Cấu trúc mạng O-Net

Hình 20: Minh họa Kết quả của O-Net, cũng là kết quả của MTCNN.

Hình 21: Trực quan thuật toán nhận diện khuôn mặt và căn chỉnh khuôn mặt.

Hình 22: Trực quan hóa chức năng phân biệt khuôn mặt giả mạo

Hình 23: Tổng thể kiến trúc Sillent-Face-Anti-Spoofing

Hình 24: Minh họa các bước của mô hình ArcFace

Hình 25: So sánh kết quả của hàm SoftMax và ArcFace

Hình 26: Kiến trúc tổng thể của hệ thông Hybrid Classroom

Hình 27: Các đối tượng sử dụng các chức năng trong hệ thẳng Hybrid Classroom

Hình 28: Quy trình điểm danh tự động trên Ban học thông minh ở Hybrid Classroom .51

Hình 29: Trực quan hóa khoảng cách các vector trong thuật toán ArcFace

Hình 30: Biểu đồ tài nguyên sử dụng của Bàn học thông mình trong một tiết học khi học

sinh xuất hiện trước webcam.

Hình 31: Biểu đồ tài nguyên sử dụng của Smart Desk trong một tiết học khi không phát

hiện học sinh trước webcam.

Hình 32: Biéu dé phản hoi ở các khoảng cách khác nhau của thuật toán phát hiện khuôn

mặt và nhận dạng khuôn mặt.

Hình 33: Kịch bản thực nhiệm hệ thống điểm danh tự động trong Hybrid Classroom 59

Hình 34: Giao diện chức năng thu thập dữ liệu học sinh

Hình 35: Giao diện học sinh học thông qua Smart Desk

Hình 36: Giao diện phan mềm ứng web mô tả tình trạng học sinh theo thời gian thực

Hình 37: Giao diện Bàn học thông minh, Buc giảng thông minh, và thiết bị di động 62

Mở đầu

MỞ BAU

Để đa dạng hóa các phương thức giảng dạy nhằm đáp ứng nhu cầu truyền tải kiếnthức cho học sinh một cách linh hoạt, ngày càng nhiều trường học đầu tư các phươngthức giảng dạy mới thông qua môi trường internet cũng như môi trường trực tiếp.Điều này đặt ra câu hỏi phương thức giảng dạy nào có thé tạo ra được một không gian

học tập mà nơi đó học sinh học trực tuyến cũng như học sinh học trực tiếp tại lớp học

đều tham gia các hoạt động học tập như nhau

Một phương thức giáo dục mới có khả năng tạo ra được môi trường đê đáp ứng

được việc học sinh học trực tuyến có thể tham gia lớp vào lớp học trực tiếp, tươngtác được với giáo viên và các bạn đang học trong lớp học đang diễn ra, đó là Hybrid

Classroom (Hình 1) Mô hình Hybrid Classroom là mô hình giáo dục kết hợp mô hình

học trực tiếp tại lớp học (Chế độ ngoại tuyến) và học trực tuyến (Chế độ trực tuyến).

Mô hình Hybrid Classroom này đã được đề xuất trong bài báo khoa học “Smart Desk

in Hybrid Classroom: Automatic Attendance System based on Face Recognition

using MTCNN and ARCFACE” [1] của chính tác giả và các cộng sự, được xuất bản

1 & Học trực tuyến thông qua

Sr &e h bàn học thông minh

Học sinh học trực tiếp lớp ~~

Phụ huynh: Theo dõi tình hình học tập của con thông qua phần mềm trên thiết bị di động

Hình 1: Mô hình Hybrid Classroom với hình thức học tập kết hợp giữa những học sinh

học trực tiếp tại lớp và học trực tuyến thông qua Smart Desk.

Trong mô hình nay, giáo viên dạy trực tiếp ở lớp học tại trường, hình ảnh, dữliệu đa phương tiện va dit liệu học tập được chia sẻ trong lớp học ảo trực tuyến Vớihọc sinh học trực tiếp sẽ sử dụng Bàn học thông minh (Smart Desk) dé hỗ trợ học

Mở đầu

tập, và học sinh học từ xa sẽ tham gia vào các lớp học ảo để học thông qua SmartDesk Sự linh hoạt trong cách thức học tập giúp học sinh cảm thấy chủ động về thờigian và ý thức hơn trong việc theo dõi bài giảng, tuy nhiên ở mô hình này việc điểm

danh đang được làm một cách thủ công và đó là một thách thức chưa được giải quyết

Dé giải quyết bài toán điểm danh tự động, tôi đã tập trung “NGHIÊN CỨU VÀHIỆN THỰC HỆ THONG DIEM DANH TỰ ĐỘNG TREN BAN HỌC THONGMINH” nhằm hỗ trợ giáo viên trong việc theo đõi chuyên cần của học sinh theo thờigian thực và đánh giá chuyên cần của học sinh một cách nhiệu quả

Luận văn tập trung vào việc thiết kế và hiện thực một Smart Desk cơ bản bằngcách sử dụng các thiết bị nhúng và tích hợp mô hình thuật toán máy học để điểm danh

tự động Để đạt được mục tiêu trên, tôi sẽ sử dụng các kết quả nghiên cứu của tôi vàcác bài báo khoa học về máy học và các thiết bị IoT, cũng như các nghiên cứu về môhình lớp học thông minh Sau khi hoàn thành thiết kế, hệ thống sẽ được thử nghiệm

tại một lớp học thông minh cơ bản.

Chương |: Giới thiệu

Chương 1

GIỚI THIỆU

Chương này sẽ giới thiệu tông quan về đề tài, nêu các khái niệm các mô hình dạy vàhọc ph biến hiện nay và tiến hành so sánh điểm mạnh điển yếu của các mô hình.Qua đó, trình bày mục tiêu và đối tượng nghiên cứu, giới thiệu tình hình nghiên cứu

về lớp học thông minh chỉ ra những ton tại chưa được giải quyết trong các dé tàinghiên cứu về lớp học thông mình

1.1 Giới thiệu tống quan về đề tài

Điểm danh là một yếu tố không thé thiếu trong việc và đánh giá chuyên cần ở bat

kỳ trường hay lớp học nào, Việc theo dõi tham gia lớp học của học sinh rất quan trọng

trong công tác quản lý cũng như xép hạnh kiểm học sinh Tuy nhiên, giáo viên, haycác người quản lý rất ít khi để ý xem có những học sinh nào hay có tổng số học sinhvắng mặt thường xuyên, để có phương án xử lý kịp thời Do đó, các trường học cẦn

1 hệ thống điểm danh tự động, thông minh đơn giản đề xử lý các tồn đọng trên

Thông thường, để điểm danh giáo viên sẽ gọi tên từng người dé biết người đó cótham dự lớp hay không Ngày nay, khi học bằng hình thức học trực tuyến, có một sốcách dé điểm danh khác như sử dụng Google Biểu mẫu Hoặc điểm danh dựa trênbản ghi lại từ Google Meet hoặc Zoom Tuy nhiên, những phương pháp truyền thốngnày đều tỏ ra không hiệu quả và tốn khá nhiều thời gian Việc điểm danh thông quagọi tên gây lãng phí thời gian học vì trong thời gian điểm danh lớp học chưa thé bắtđầu học được Với hình thức điểm danh thông qua Google Biểu mẫu chỉ áp dụngđược ở quy mô nhỏ Các cách điểm danh thủ công trên không dữ liệu không tập trungnên nhà quan trị của trường không có được cái nhìn tổng thé về việc tham lớp gia họccủa tất cả học sinh Do đó luận văn này tôi tập trung “NGHIÊN CỨU VÀ HIỆNTHỰC HỆ THÓNG ĐIỂM DANH TỰ ĐỘNG TRÊN BÀN HỌC THÔNGMINH” dé đề xuất phương pháp điểm danh nhằm tránh các nhược điểm nêu trên

Hệ thống điểm danh tự động sẽ ghi lại thời gian xuất hiện và thời gian vắng mặtcủa học sinh thông qua camera trước Ban học thông minh, và cung cap thông tin thời

gian tham gia lớp học của học sinh cho giáo viên và phụ huynh theo thời gian thực.

Chương |: Giới thiệu

Dữ liệu điểm danh được lưu trữ trên một hệ thống tập trung, người quản lý có thể sửdụng dữ liệu điểm danh để phục vụ các nghiệp vụ trong công tác quản lý học sinh.

Hệ thống điểm danh tự động hoạt động với dữ liệu đầu vào và đầu ra như sau:

= Dữliệu đầu vào: Hình ảnh thu được từ Webcam của Bàn học thông minh mà học

sinh A đã đăng nhập.

= Dữ liệu đầu ra: Trong khoảng thời gian 5 phút, Khi người A không xuất hiệntrong khung hình, hệ thống sẽ ghi nhận là vắng ở khoảng đó và lưu nhật ký baogồm hình ảnh, thông tin thời gian đồng thời phát thông báo cho giáo viên thôngqua sự giao tiếp của Bàn học thông minh và Buc giảng thông minh (Smart

Hệ thống hoạt động theo co chế thụ động, giúp quá trình điểm danh được diễn ramột cách tự động mà không cần tương tác Mạng lại lợi ích thiết thực cho học sinh,giáo viên, phụ huynh Giúp tiết kiệm thời gian cho các giáo viên, không cần phảiđiểm danh theo cách thủ công và có thể bắt đầu giảng dạy ngay khi vào lớp học Hệthống tự động ghi lại hình ảnh và phân tích thông qua hệ thống Webcam mà khôngcần sự tương tác của đối tượng cần theo dõi Giáo viên có thể sử dung trang Webđành cho giáo viên đề theo đõi và cho điểm chuyên cần với học sinh Công việc này

sẽ nhẹ nhàng và chính xác hơn so với phương thức điểm danh bằng phương pháp gọi

tên hay thông qua việc theo dõi học sinh vào/ ra khỏi phòng học trên Google Form,

Meet, Zoom

Nhờ tiết kiệm được khoảng thời gian điểm danh trước đây, các thầy cô giáo cónhiều thời gian hơn cho việc giảng dạy và truyền đạt kiến thức Qua đó, chất lượnggiảng dạy sẽ được cải thiện hơn Đối với phương pháp điểm danh đề đánh giá chuyêncần truyền thống, rất tốn thời gian trong khâu tong hợp thông tin của tất cả học sinh

Chương |: Giới thiệu

của học sinh khi gửi cho phụ huynh chỉ mang hình thức báo cáo có thể không đủ minhbạch do thiếu dữ liệu bằng chứng

Hệ thống điểm danh tự động liên tục trên Bàn học thông minh còn cho phép theo.dõi theo thời gian thực, dữ liệu được đảm bảo chính xác Nếu học sinh đến muộn hoặcvắng mặt mà không có phép, hệ thống sẽ gửi cảnh báo đến phụ huynh thông qua ứngdụng di động hoặc tin nhắn SMS Phụ huynh luôn được cập nhật về kết quả học taplẫn tình hình tham gia lớp học của con họ tại trường Điều này giúp các bậc phụ huynh

an tâm hơn khi con ở trường Nhờ hệ thống theo dõi liên tục nên các học sinh sẽ tuânthủ kỷ luật và tham gia lớp học 1 cách đầy đủ hơn Kết quả là, tình hình học tập củacác em đều được cải thiện nhờ tham gia lớp học đầy đủ hơn

Nhìn chung, hệ thống điểm danh tự động giúp giảm thiểu được những công việcthủ công, loại bỏ được khoảng thời gian lăng phí cho việc điểm danh Nhờ sự quản

lý tập trung nên nó mang lại lợi ích trong việc nắm bắt tình hình cho các nhà quản lý

giáo dục, giảm áp lực cho giáo viên, là công cụ giúp học sinh đi học đúng và đủ thời

gian, ngoài ra nó cũng là công thông tin cho phụ huynh dé nắm bat tình hình đi họccủa con, an tâm hơn khi biết được con đã tới trường

1.1.1 Mục tiêu dé tài

Xây dựng mô hình lớp học lai (Hybrid Classroom) dựa trên thiết bị nhúng,

dé có thể thực hiện được cần nghiên cứu tìm hiểu các mô hình lớp học thông minhhiện đang sử dụng; các loại hệ thống nhúng; các thuật toán liên quan đến điểm danh

tự động bằng trí tuệ nhân tao Sau khi triển thiết kế xong, thử nghiệm hệ thống điểmdanh tự động được phat triển trên Bàn học thông minh và thực nghiệm tại một lớphọc thực tế

Mục tiêu chỉ tiết của dé tài này là:

= Nghiên cứu và đánh giá các tài liệu trong va ngoài nước về các mô hình lớp

học tích hợp công nghệ giảng dạy hiện đại, lớp học thông minh, lớp học trực

tuyến, lớp học ảo

= Thiết kế phần cứng va phần mềm cho Hybrid Classroom trên thiết bị nhúngtheo mô hình đề xuất bục giảng thông minh, bàn học thông minh và kết nối hệthống theo công nghệ IoT

Chương |: Giới thiệu

112.

1.2.

12.1

Xử lý và cải tiến thuật toán, tăng tốc FPS sử dụng GPU trên board Jetson Nano

để tăng hiệu năng tối đa của hệ thống điểm danh

Hiện thực chức năng điểm danh tự động trên bàn học thông minh và lưu trữ

đữ liệu điêm danh theo thời gian thực.

Phát triển chức năng xem đữ liệu điểm danh tự động thông qua website hoặcthông qua phần mềm trên thiết bị di động

Đánh giá hiệu năng của hệ thống điểm danh tự động qua các thước đo như tàinguyên phần cứng sử dụng, thời gian nhận dạng và độ chính xác

Pham vi và Đối tượng nghiên cứu của đề tài

Phạm vi nghiên cứu: Trong giới hạn của luận văn thạc sĩ này, em tập trung

hiện thực và Demo giải thuật điêm danh tự động trên thiết bị nhúng và thực

nghiệm tại 1 lớp học thông minh.

Đối tượng nghiên cứu: Hệ thống nhúng có kết nối với Webcam, màn hình cảm

ứng, Microphone; Cloud server; các bài báo, các công bố khoa học, các thuậttoán về nhận diện khuôn mặt hoạt động trên thiết bị nhúng

Tổng quan các nghiên cứu khác

Các mô hình giảng dạy trong lớp học thông minh

M6 hình dạy và học truyền thống (Học Offline hay Face-to-face): Ngày naycông nghệ thông tin phát triển một cách nhanh chóng kéo theo sự phát triểnnhững cách thức truyền đạt mới trong công tác dạy và học tập Với mô hìnhday học truyền thống được hiểu là sử dụng những phương pháp dạy hay nhữngcách thức dạy học quen thuộc và lâu đời mà tắt cả các quốc gia trên thế giớiđều đang sử dụng Đã có nhiều đề xuất mới dựa trên mô hình truyền thốngnhằm nâng cao chất lượng giáo dục, mô hình dạy học truyền thống vẫn đápứng và mang lại những hiệu quả cao mà các mô hình khác khó có được Về

bản chất, phương pháp dạy học truyền thống là lấy giáo viên làm trung tâm,

giáo viên sẽ là người trực tiếp truyền đạt, giảng dạy các kiến thức cho học sinh

va học sinh sẽ học thuộc, ghi nhớ những kiến thức đó theo một cách máy móc

Ngày nay, kịch bản của lớp học đã thay đổi, học sinh không còn đượccoi là đối tượng mục tiêu, thay vào đó họ tích cực tham gia vào lớp học và học

Chương 1: Giới thiệu

tập Giáo viên cho phép họ nói và đặt câu hỏi về những gì họ dạy Trong nhữngnăm qua, phong cách và phương pháp giảng dạy đã thay đồi Mô hình day họctruyền thống sử dụng phương pháp ghỉ nhớ và đọc thuộc lòng đã được thaythế bằng phương pháp tương tác lấy học sinh làm trung tâm, giúp học sinhchuyền đổi nhanh chóng từ học tập sang hoạt động Cùng với sự phát triển củacông nghệ, kết hợp các phương tiện và thiết bị công nghệ vào việc hỗ trợ cho.giáo dục truyền thống đề giáo viên và học viên trao đổi, tương tác trực tiếp vớinhau thông qua việc sử dụng các thiết bị công nghệ đề tra cứu Bài giảng, bàitập, phiếu học tập, kiểm tra đánh giá học viên thông qua khả năng kết nối

Internet.

Tuy nhiên phương pháp dạy học truyền thống đang có những nhượcđiêm chưa được khắc phục như: Học sinh sẽ tiếp thu kiến thức thụ động qua

kiến thức của giáo viên truyền thụ, khó phát huy được tính sáng tạo do việc

học dập khuôn, bài học thường thiên về các kiến thức lý thuyết ít có điều kiệnthực hành dẫn đến sự buồn tẻ trong học tập.

Bang 1: Ưu điểm và nhược điểm của mô hình dạy học truyền thong

Ưu điểm Nhược điểm

= Học sinh có thé học tập theo = Không tận dụng được các tài nguyêntừng bước, giúp tiếp thu kiến _ công nghệ thông tin dé giúp học sinh học

thức một cách có trật tự tập hiệu quả hơn

" Giảng dạy có cấu trúc và kế == Giáo viên nắm quyền chủ động nênhoạch tổ chức tốt Giáo viên có chương trình giảng đạy ít linh hoạt

the đưa ra các đánh giá một s Tính thống nhất cao nên khó thay đổi

cách đơn giản hơn dẫn tới khó bắt kịp nội dung mới.

* Cac van de có thê được giải a Việc học, tập trung vào ghi nhớ kiến quyết nhanh chóng do giáo viên _ thực, thay vì hình thành kỹ năng tư duy

có thê nhận phản hôi nhanh q suy luận ra, việc này gây trở ngại cho

chóng từ học sinh học sinh trong việc ghi nhớ kiến thức.

Chương 1: Giới thiệu

" Học sinh có thé cảm thay chán nan vi

phải học theo chương trình của giáo viên

= Mô hình dạy và học trực tuyến — Học Online: Mô hình day va học trực

tuyến đã được các nước trên thế giới áp dụng từ rất lâu, kể từ khi các phương

tiện phát tín hiệu (Radio) được phát minh.

Học trực tuyến (Online) là hình thức học mà học sinh sử dụng thiết bị điện

tử kết nối với cơ sở đào dé truy xuất các bài giảng điện tử được lưu trữ sẵn

Học sinh và giáo viên có thê trao đôi thông tin bài học, tương tác với nhau nhờ

vào phần mềm hỗ trợ học tập, học sinh có thẻ nhận tài liệu hay các bài tập liênquan đến bài học từ giáo viên thông qua phần mềm này Ngoài ra, giáo viêncòn có thé truyền tải các hình ảnh minh họa và âm thanh, nội dung qua cácmạng máy tính Các phần mềm quản lý giúp Giáo viên, Ban giám hiệu có thểquản lý các hoạt động và nắm thông tin của học sinh một cách tốt hơn

Bang 2: Ưu điểm và nhược điểm của mô hình day và học trực tuyến

Ưu điểm

= Học sinh có thê truy cập vào

học các bài học đã được lưu trữ

sẵn trên hệ thống từ bất cứ nơiđâu, bat cứ thời gian nào

= Có thê xem lai bài giảng điện

tử nhiều lần, và có thể tra cứu lạinội dung bất cứ khi nào cần thiết

" Không bị gò bó, giới hạn về

thời gian học, cường độ học hay

khoảng cách địa lý, nên tiết kiệm

được chỉ phí đi lại.

Nhược điểm

" Do không có sự kiểm tra trựctiếp từ giáo viên nên khó đảm bảochất lượng giảng dạy và học tập,

= Yéu về việc học tập tự quản, họcsinh có thé dé dàng lười hoc và mat

tập trung.

" Bài giảng của học Online đa

phần là Video được quay sẵn từtrước nên trong lúc học trực tuyến,người học không thể tương tác trựctiếp với giáo viên theo thời gianthực Vì vậy, khi có mắc hay câu

Chương 1: Giới thiệu

hỏi nào thì khó được giải đáp một

cách nhanh chóng.

= Các khóa học Online này thường

cung cấp các lựa chọn dé hỗ trợgiao tiếp với người học như diễnđàn trực tuyến, Email và phòngChat Tuy nhiên nhiều câu hỏi khó

có thé diễn đạt được nếu chỉ dựa

trên những dòng văn bản.

Mô hình dạy và học tổng hợp (Blended Learning): Là mô hình học tập

truyền thống có sử dụng các tài liệu trực tuyến được đăng tải trên hệ thốngLMS Ở mô hình học tập này, học sinh sẽ tiếp thu kiến thức thông qua các bàigiảng trên hệ thống hỗ trợ học tập LMS, sau đó học sinh sẽ trao đôi trực tiếpvới giáo viên trong lớp học truyền thống về những điều mà họ chưa hiểu rỡ

Bảng 3: Uu điểm và nhược điểm

Ưu điểm

= Tăng tương tác: Thông qua hệ thông

hỗ trợ, việc tương tác giữa học sinh với giáo viên sẽ dé dàng hơn.

= Linh hoạt về thời gian học tập: Cóthể học Online giúp học sinh thuận tiệnhơn rất nhiều trong việc đi lại, có thể

chọn lịch học phù hợp với thời gian

rảnh của mình.

" Đánh giá học sinh hiệu quả: Các

công cụ được tích hợp sẵn sẽ hỗ trợgiáo viên một cách dé dang hơn trong

của mô hình Blended Learning

= Lua chọn nhiêu công cụ khác

nhau đề học tập, mỗi công cụ sẽ

có cách thức hoạt động và thao

tác khác nhau Dẫn đến giáo viên

và học sinh phải chuẩn bị trước

khi tham gia học tập.

"Sẽ là rào can đối với các bạnhạn chế về khả năng sử dụng

máy tính, mọi trục trặc từ hệ

thống mạng đều làm học sinhkhông thể tiếp cận được với học

liệu.

Chương 1: Giới thiệu

việc đánh giá toàn diện học sinh với

báo cáo chỉ tiết

= Dé dang quản lý lớp học: Nhờ cáccông cụ hiện đại như chấm điểm

Online, nhật ký học tập việc quản lý

lớp học dé dang hơn nhiều so với

phương pháp quản lý lớp học theo mô

hình truyền thống

= Doi hỏi ý thức tự giác của học

sinh cao, đây là hình thức học lấyngười học làm trung tâm Điều

này đòi hỏi học sinh phải có ý thức tự chủ trong việc học tập và

nghiên cứu mới có thể sử dụngtốt mô hình này

"M6 hình dạy và học lai giữa Trực tiếp và Trực tuyến (Hybrid Learning):

Hybrid Learning là một mô hình học tập được nâng cấp của BlendedLearning, sau đây là dé hiểu rõ hơn thì tôi đưa so sánh sự giống và khác nhau

V

Hybrid Learning

Hình 2: Sự khác nhau giữa mô hình hoc Hybrid Learning va Blended Learning

O mô hình học tập Hybrid Learning học sinh co thể thời tham gia học tậptrực tiếp tại lớp học hay tham gia học trực tuyến Đây có thể được xem là mộthình thức đào tạo linh hoạt, bởi học sinh không bị hạn chế như khi tham giacác lớp học truyền thống, mô hình này cho phép học sinh truy cập và sử dụngcác tài nguyên học tập của khóa học và kiến thức được truyền tải như đanghọc trực tiếp Giáo viên sẽ tham gia giảng dạy trực tiếp tại lớp học ở trường,hình ảnh giảng dạy và các tài liệu hỗ trợ học tập được chia sẽ tới học sinh học

từ xa Từ đó tạo được sự gắn kết và đồng bộ kiến thức của học sinh học trựctiếp và trực tuyến

Chương |: Giới thiệu

122.

Bảng 4: Uu điểm và nhược điểm của mô hình dạy và học lai

Ưu điểm Nhược điểm

" Học sinh tham gia lớp học khi không "= Giáo viên cần cố gắng nhiềuthể đến trường thông qua bàn học thông hơn trong việc vừa dạy học trựcminh, tránh việc bỏ học tiếp, vừa dạy học Online

= Lich trình học tập linh hoạt = Hoc sinh phải có tính tự giác

= Tương tác chặt chẽ và dễ dàng hơn trong việc học tập

với các bạn trong trường học = Doi hỏi công nghệ và thiết bị

phù hợp

Phân tích các phan mém hé tro day hoc truc tuyén pho bién hién nay

Hiện nay có rat nhiều phần mềm có thé áp dụng cho dạy học trực tuyến,tuy nhiên dựa vào tính hữu dụng thì một số phần mềm được tin tưởng và sửdụng thường xuyên Sau đây là danh sách 4 phần mềm dạy học trực tuyến phổbiến mà các cớ sở giáo dục đang sử dụng

Phần mềm Microsoft Team: Là một phần mềm rất tiện dụng và hữu ích đốivới các nhóm làm việc cần liên lạc và chia sẻ tài liệu thường xuyên, là công

cụ hỗ trợ họp trực tuyến, bao gồm các chức năng họp thông qua video call, dữliệu có thé được lưu trữ trên bộ Office 365 Hiện nay, Microsoft Teams đangđược các trường học sử dụng một cách rộng rãi trong việc day học trực tuyến

Bảng 5: Ưu điểm và nhược điểm Phan mém Microsoft Team

Uu diém Nhược điểm

= Tich hợp với các dich vụ Microsoft = Số lượng kênh của Microsoftnhư Office hay OneNote giúp cho Teams tối đa là 100 cho mỗiviệc sử dụng trở nên hiệu quả hơn nhóm, nếu nhóm lớn của trường

học vượt quá giới hạn này thì

= tính năng gọi và hội nghị trựctuyến, giúp cho các nhóm có thẻ liên buộc phải xóa bớt kênh mới có

thê tao thêm kênh mới

Chương 1: Giới thiệu

lạc va làm việc cùng nhau một cách dé

dàng

" Có thê chia sẻ tài liệu và chia sẻ màn hình, giúp cho các thành viên

trong nhóm có thé cùng làm việc trên

cùng một tài liệu hoặc xem màn hình của người khác.

= Vi cách quản lý tập tin chia sẽ

theo hướng tối giản về thời gian

tương truy xuất tương tự hệ

thống quản lý tập tin của hệ điều

hành windows, nên khi chia sẽ các tập tin người dùng phải quy

hoặc các thư mục chặt chẽ ngay

từ đầu, tránh việc khó tìm kiếm

sau này.

= Cách phân quyền cũng nhưcách sắp xếp thứ tự của các tậptin theo cách tối ưu về thời giannên dẫn tới việc khó tối ưu khi sử

dụng thời gian dài, thậm chí còn

có thể có những rủi ro khó đoán

trước khi sử dụng.

= Phần mềm Google Meeting: Là một phần mềm trực tuyến có các tính năngnhư gọi điện video, chia sẻ màn hình, chia sẽ tài liệu, ghi âm, đồng thời có tínhnăng tìm kiếm, được tích hợp với Google Calendar và Gmail Google Meeting

là một tính năng của dịch vụ G Suite của Google và có thể sử dụng miễn phíhoặc các chức năng cao cấp trong gói dịch vụ trả phí

Bang 6: Ưu điểm và nhược điểm phan mém Google meeting

= Có thể tham gia từ bat cứ nơi đâu

thông qua trang web hoặc ứng dụng

trên thiết bị di động với giao diệnngười dùng thân thiện và dé sử dụng.

Nhược điểm

= Với tài khoản miễn phí, sốngười gia tối đa 100 người

= Không có tính năng chia sẻ tài

liệu trực tiếp: Không cho phép

người dùng chia sẻ tài liệu trực

Chương |: Giới thiệu

= C6 các tinh năng điêu kh

lý và kiểm soát cuộc họp

= Được tích hợp với các dịch vụ khác của Google như Gmail và Google

Calendar.

= Cho phép lưu lại cuộc họp và xem

lại sau.

= Cho phép người dùng chia sẻ man

hình dé trình bày và hướng dẫn các tàiliệu hoặc phần mềm

= Phụ đề có thể được tạo thông qua

chức năng nhận dạng giọng nói.

tiếp trong cuộc họp, chỉ có thê

chia sẻ link tài liệu.

= Giới hạn thời gian: chỉ có thểghi âm và lưu lại trong 24 tiếng

= Thời gian tối đa của mỗi cuộc

hội thoại là 1 giờ

= Bắt buộc có tài khoản google

mới tham gia được vào cuộc hội

thoại thông qua Google Meet

Phần mềm Zoom: Zoom là một ứng dụng cho phép tạo cuộc họp trực tuyến,

có thể sử dụng dé giảng dạy một cách dé dang Việc tạo lớp học trên phầnmềm Zoom rất đơn giản Chỉ cần có laptop, máy tính bảng hay điện thoại cókết nối Internet và cài đặt được ứng dụng Zoom là có thể tạo, hoặc tham giabắt cứ lúc nào

Bảng 7: Uu điểm và nhược điểm phan mém Zoom

= Miễn phí với phòng học tối đa 100

người tham gia thông qua hình thức

video streaming, nên khá phù hợp cho

các lớp học hiện tại.

Nhược điểm

" Miễn phí với các cuộc họp ít

hơn 40 phút, nếu muốn sử dụngdài hơn thì phải trả phí để mua

gói ứng dụng

= Tính năng trò chuyện rất quan

trong trong quá trình họp trực

tuyến qua Zoom, nhưng tínhnăng này thường xuyên bị an

Chương |: Giới thiệu

" Sử dụng lịch đê hẹn giờ các cuộc họp.

trước và có thể đồng bộ được trên nhiềuthiết bị và nhắc nhở khi gần tới sự kiện,

" Chức năng chia sẽ tài liệu

không hoạt động được trong các

cuộc họp dang diễn ra.

= Phan mềm Skype: Skype là một phần mềm miễn phí của Microsoft, hỗ trợnhắn tin bằng văn bản, gọi điện bằng video và nói chuyện bằng giọng nói.Hoạt động được trên các nền tang Windows, macOS, iOS và Android

Bang 8: Ưu điểm và nhược điểm phan mém Skype

Ưu điểm

= Là sản phẩm của Microsoft nên dễ

đàng tương tác với các chương trình

khác của Microsoft trong quá trình

hội thoại, ví dụ Office, OneDrive.

= Người dùng có thé chia sẻ manhình một cách dé dàng trong cuộc hội thoại đang diễn ra.

"Có thể hiển thị nhiều trạng thái củangười dùng như: Trực tuyến, đangbận hoặc đang ngoại tuyến

= Trong lúc hội thoại người dùng có

thể ghỉ hình nội dung cuộc hội thoạimột cách dễ đàng

Nhược điểm

= Chất lượng đường truyền của

hệ thống Skype không ổn định

= Server Skype thường quá tải

hoặc gặp vấn đề nên các cuộc hội

thoại trực tuyến thường bị gián

đoạn, trễ, giật hình.

= Để sử dụng hiệu quả phan mềm

Skype cho cuộc hội thoại trực

tuyến phải đầu tư cameraconference hoặc thiết bị chuyên

dụng.

Chương |: Giới thiệu

—————

= Chê độ bảo mật cao, quy mô phòng == Băng thông yêu câu trong các

họp tối đa 250 người cuộc họp trực tuyến cao hơn so

với các nền tảng khác

1.2.3 Tình hình các công nghệ điểm danh tự động hiện nay:

Điểm danh bằng thẻ RFID và nhận diện vân tay cho kết quả nhanh chóng với

độ chính xác rất cao [2], tuy nhiên hạn chế là cần tiếp xúc trực tiếp với thiết bị một

cách chủ động gây mat tập trung cho việc học tập của học sinh nếu phải thực hiện

việc điêm danh liên tục hoặc định kỳ Công nghệ nhận diện khuôn mặt giải quyết vấn

đề bằng cách nhận diện liên tục một cách thụ động mà học sinh không cần phải tươngtác với thiết [3], việc tích hợp công nghệ này lên Bàn học thông minh sẽ là một trợthủ đắc lực hỗ trợ giáo viên điểm danh liên tục ma không gây mat tập trung cho họcsinh, dap ứng được nhu cầu kiểm tra sự có mặt của học sinh và xử lý các tình huống

một cách nhanh chóng hợp lý.

Các ứng dụng về điểm danh bằng AI tiêu biểu đang được sử dụng:

" Công ty cô phan giải pháp và thiết bi VHB Việt Nam, Hệ thống điểm danh

bằng khuôn mặt (https://vhb.vn/diem-danh-bang-khuon-mat)

= Công ty cô phần công nghệ HANET, với sản phẩm “HANET AI Camera”

cham công tự động bằng khuôn mặt (https://www.hanet.com/)

= Công ty cô phần Vinpearl áp dụng công nghệ Checkin khách hàng bằng khuôn

mặt tại công ra vào

(https://vinpearl.com/vi/check-in-bang-cong-nghe-nhan-dien-khuon-mat-tai-vinpearl).

1.2.4 Các công trình diém danh trên thiết bị nhúng tương tự:

Hệ thống điểm danh trên Bàn học thông minh trong lớp học kết hợp trong thực

tế chưa được nghiên cứu và triển khai Cốt lõi của việc điểm danh tự động trên Bànhọc thông minh là việc nhận diện khuôn mặt kèm chống giả mạo khuôn mặt hoạtđộng trên thiết bị nhúng trên nền tảng điện toán biên (Edge Computing)

Để thực hiện phần nhận dạng khuôn mặt tôi tham khảo các công trình nghiêncứu liên quan tới việc nhận diện khuôn mặt trên thiết bị nhúng, sau đây là một số

công trình tôi đã tham khảo:

Chương |: Giới thiệu

Bang 9: Công trình tiêu biểu về điểm danh trên thiết

Tên công trình / Bài báo

¡ nhúng

Công nghệ và công cụ sử dụng.

= “Automated Attendance System

in the Classroom Using Artificial

Intelligence and Internet of Things

Technology [3]”

Sử dung Haar-Cascade dé phát hiện khuônmặt, Sử dụng DLib để làm đặc trưng trong

việc nhận diện khuôn mặt, hoạt động trên

Jetson Nano, ngôn ngữ phát triển là Python

" “Facc Recognition Based

Attendance System Using Jetson

Nano [4]”

Sử dụng Haar Cascade Classifier để phat

hiện khuôn mặt, dùng LBPH (Local Binary

Patterns Histogram) nhận diện khuôn mặt.

= “Face recognition system based

on a single-board computer [5]”

Sử dụng mang MTCNN cho việc phát hiện

khuôn mặt, và Facenet để trích xuất đặc

trưng khuôn mặt áp dụng trong việc nhận

dạng, thử nghiệm về tốc độ trên các mạch

Raspberry Pi, Banana Pi va Nvidia Jetson

Nano.

= “Face Recognition based smart

attendance system using IOT [6]”

Sử dụng Haar-Cascade để phát hiện khuônmặt, và biểu đồ mẫu nhị phân cục bộ(LBPH) đề nhận dạng khuôn mặt Hệ thôngchạy trên Raspberry3, ngôn ngữ sử dụng détriển khai là Python

= “Smart Desk ¡in Hybrid

Classroom: Automatic Attendance

System based on Face Recognition

using MTCNN and ARCFACE [1]”

Chương 2: Nghiên cứu liên quan đến hybrid classroom

Chương 2

NGHIÊN CỨU LIÊN QUAN ĐÉN HYBRID CLASSROOM

Trong chương này, tôi sẽ nêu các lý thuyết mô hình Hybrid Classroom sử dụng cáccông nghệ như: Van vật kết nói (loT), các hệ thống nhúng (Embedded systems), trítuệ nhận tạo (Al), các mô hình máy học cùng các thuật toán có liên quan đến mô hìnhHibrid Classrom, và bài toán về nhận diện khuôn mặt Từ các khái niệm và các giảithuật tôi nghiên cứu những điểm mạnh và những hạn chế của các giải thuật, tôi sửdụng MTCNN cho nhận dạng khuôn mặt, Silent-Face-Anti-Spofing dé chống giả mạokhuôn mặt và ARCFACE dé trích xuất và so khớp khuôn mặt

2.1 Tống quan về mô hình Hybrid Classroom sử dụng công IoT và AI:

Mô hình học tập kết hợp (Hybrid learning) là mô hình giáo dục kết hợp giữa

học trực tiếp trong lớp học (Face-to-face Learming) và học trực tuyến (Online

learning) Ở mô hình này, giáo viên giảng dạy trực tiếp trên lớp Hình ảnh, dữ liệu đaphương tiện và dữ liệu học tập được chia sẻ trong lớp học ảo trực tuyến Học sinhtham gia học trực tiếp có thể tham khảo đữ liệu học tập trên Bàn học thông minh vàhọc sinh không thé tới lớp học trực tiếp có thể tham gia lớp học thông qua Ban học

thông minh (Hình 3) Học sinh tham dự vào lớp học từ xa tham gia các lớp học trực

tiếp đều có thể truy cập tài nguyên và tương tác với giáo viên, đồng thời giúp những

học sinh học từ xa hiéu bài học như các bạn cùng lớp của họ.

tạp ð tường tông man

Phụ huynh: Có thé theo gi tình hình học tập của con

Học sinh học rực tp tạilớp, Tải liệu họ tập -esảewrkid exper tt Ea

được gửi qua bản học thông minh ra a Pe nn MTNA nS

Hình 3: Mô hình lớp hoc Hybrid với chế độ Trực tiếp và Trực tuyến

Trong mô hình Hybrid Classroom có 2 thiết bị chính: Buc giảng thông minh vàBan học thông minh, các mô tả và tính năng của chúng sẽ được giới thiệu ở phân tiếp:

Chương 2: Nghiên cứu liên quan đến hybrid classroom

2.1.1 Buc giảng thông minh (Smart Podium):

Smart Podium là một hệ thong gom nhiều thiết bi hỖ trợ giáo viên trong việcgiảng day ở trong Hybrid Classroom, Bao gồm bảng tương tác thông minh và

hệ thống hỗ trợ giảng dạy

= Bang tương tác thông minh: Có thé hiểu đơn giản là một màn hình cảm ứng

cở lớn dùng đề thay thé bảng ở lớp học truyền thống, giáo viên có thé sử dungmột loại bút chuyên dụng để viết lên bảng này tương tự như sử dụng phần viếtlên bảng ở lớp học truyền thống Các nội dung hiển thị trên bảng tương tácthông minh được điều khién bởi hệ thống hỗ trợ giảng day

= _ Hệ thống hỗ trợ giảng day: Là một máy tính Mini ITX, được kết nối với bangthông minh và được cài phần mềm dé quản lý lớp học dành cho giáo viên Vớinhiều chức năng điển hình như giảng day, quản lý bài giảng điện tử, điểm danhhọc sinh, giám sát học sinh, tổ chức thi, cùng chức năng có thể điều khiểnbat/tit các thiết bị điện tử trong lớp học thông qua bộ điều khiển oT MCU(Hình 4) Để sử dụng được các chức năng trên giáo viên sẽ lên lớp và đăngnhập, hệ thống đưa bài giảng điện tử đã được lưu trữ sẵn từ trước vào chế độ

giảng dạy, các hình ảnh đang hiên thị trên bảng tương tác thông minh, và 4m

thanh trong lớp học được truyền tới các Bàn học thông minh đang học ở chế

độ Online giúp học sinh có thé theo dõi bài giảng một cách đồng bộ hơn

(a, sốt aiejaan Se

3 Bài giảng Điểmdanh Giámsát

E1 điện từ học sinh học sinh

| Tổ chức thi Điều khiển thiết bị

thông qua loT MCU

Hình 4: Mô tả chức năng Buc giảng thông minh trong Hybrid Classroom

2.1.2 Bàn học thông minh (Smart Desk)

Ban học thông minh là ban của học sinh, được thiết kế để học sinh cóthé sử dung nó dé học tập trong Hybrid Classroom, nó cho phép học sinh tương.tác với giáo viên và các học sinh khác thông qua phần mềm được cài đặt sẵnnhư mô tả trong hình 5 Khi đi học, học sinh chỉ cần xuất hiện trước Bàn học

Chương 2: Nghiên cứu liên quan đến hybrid classroom

22.

thông minh, hệ thống tự động xác định học sinh ngồi trước ban là ai và tiếnhành đăng nhập vào hệ thông dé bat đầu quá trình học tập, hoặc làm bài thi

Hoctap Lambaithi Qué trinh học tap

| (2) Một số thuật toán AI chạy dưới nền

.vwvv eee

a Điểm danh

Pháthiện thếu tập trung — HỌCSỈnh Pháthiệngianlận

lúc học bài lúc làm bài thi

Hình 5: Các chức năng của Bàn học thông minh trong Hybrid Classroom

Bàn học thông minh có khá nhiều chức năng như Học tập, làm bài thi,hoặc xem lại quá trình học tập, Ngoài ra, trên Bàn học thông minh còn nhiềuthuật toán máy học chạy dưới nền dé hỗ trợ việc dạy và học hiệu quả hơn như:Điểm danh tự động, phát hiện học sinh thiếu tập trung lúc học bài hay pháthiện học sinh đang có hành động gian lận lúc làm bài kiêm tra , cụ thể trong

đồ án này tôi tập trung nghiên cứu vấn đề điểm danh tự động trên Bàn học

thông minh này.

Hệ thống nhúng trong hiện thực bằng công nghệ IoT của giải pháp

Hybrid Classroom

Hệ thống nhúng (Embedded system) được mô tả là một hệ thống phần cứngmáy tinh được điều khién bằng bộ vi xử lý chạy phần mềm chuyên dụng, thường thiết

kế để có thể thực hiện một chức năng chuyên biệt Khác với các hệ thống máy tính

đa năng, chăng hạn như máy tính cá nhân, máy tính xách tay hay máy chủ thì một hệ

thống nhúng được thiết kế một chức năng cụ thể như điều khién tivi, điều khiển maylạnh hay là thiết bị cảm biến thời tiết

Thiết bị nhúng (Embedded device) là phần cứng mà phần mềm này đang chạy.Thiết bị nhúng còn được gọi là thiết bị chuyên dụng hoặc thiết bị đơn mục đích.Chúng là các hệ thống hoặc thiết bị độc lập, hoặc một phần của hệ thống hoặc thiết

bị lớn hơn chịu trách nhiệm thực thi tác vụ Mạch tích hợp trong lõi thực hiện các

nhiệm vụ liên quan đến việc tính toán các chức năng thời gian thực Sự phức tạp của

Chương 2: Nghiên cứu liên quan đến hybrid classroom

một thiết bị nhúng phụ thuộc rất nhiều vào các nhiệm vụ mà nó được xây dựng Một

số thiết bị bao gồm một bộ vi điều khiển đơn lẻ, một số thiết bị khác của một số bộ

xử lý và một số sử dụng thiết bị ngoại vi và thậm chí cả mạng Không phải tất cả cácthiết bị nhúng đều có giao diện người dùng Tuy nhiên, có những hệ thống sử dụnggiao diện đồ họa phức tạp

Hệ thống nhúng thường rất đa dang, va rat nhiéu chung loai khac nhau, diénhinh 1a may nghe nhac, đồng hồ điện tử, điều khiển từ xa, hoặc những đèn điều khiểngiao thông, bộ kiểm soát chất lượng, bộ đo chất lượng không khí hoặc hệ thống kiểmsoát lưu lượng gió trong nhà máy, lớn hơn là các thiết bị điều khiển các máy nănglượng hạt nhân Sự đa dang của hệ thống nhúng giải thích tại sao chúng lại phổ biếnrộng rãi trên thị trường ngày nay Đặc điểm nhận dạng chung của các hệ thống nhúng

hiện nay là:

= Các thiết bị nhúng đòi hỏi về tính hoạt động bền bi và hoạt động theo thời gianthực, đảm bao đáp ứng cao về các tính ứng dụng trong thực tế Đề giảm chiphí cũng như tối ưu hệ thống dé giảm thiểu chi phí sản xuất các nhà thiết kếthường sẽ đưa tắt cả vào một bảng mạch nhỏ

= Một thiết bị nhúng thường là tập hợp một hệ thông gồm nhiều thành phần phứctạp nằm trong thiết bị mà nó điều khiển, chứ không phải là một thành phần

riêng biệt ma nó được nhúng vao.

= Các phần mềm điều khiển được viết cho các thiết bị nhúng được gọi là

firmware, chúng được lưu trữ trong các chip nhớ, bộ nhớ flash được tích hợp.

sẵn trên thiết bị

= Tai nguyên phần cứng trên thiết bị nhúng thường bị hạn chế: Bộ xử lý trungtâm tốc độ thấp, Dung lượng bộ nhớ ít, không có màn hình hoặc màn hình nhỏ,

bàn phím và chuột ít khi được sử dụng.

2.3 Trí tuệ nhân tạo và Máy học hiện thực trong giải pháp Hyrbrid

Classroom

Trí tuệ nhân tạo là trí thông minh được con người tạo ra bằng cách mô phỏngcác quá trình trí tuệ của con người thông qua hệ thống máy móc, thông thường là trên

Chương 2: Nghiên cứu liên quan đến hybrid classroom

các hệ thống máy tính Quy trình này sẽ gồm các phần: Thu thập thông tin và các quytắc sau đó sử dụng những thông tin đã thu thập đưa qua hệ thống lý luận, phân tíchcác quy tắc dé đưa ra kết luận gần đúng hoặc có định nào đó

2.3.1 Học có giám sát (Thường gọi là Supervised learning)

Học có giám sát hiện nay rất phổ biến đa số các ứng dụng dé sử dụng trongthực tế đều đang sử dụng Đây là thuật toán dự đoán dữ liệu đầu ra (output)của đữ liệu được cung cấp (new input) dựa trên tập dữ liệu mẫu đã được cung

Dữ liệu đầu ra

Dữ liệu huấn luyện.

© BO | can

toss tơ» Quả bưởi

Hình 6: Mô tả mô hình máy học có giám sát

Phuong pháp supervised learning được chia nhỏ ra thành hai loại chính là

Phân Lớp và Hồi Quy dùng dé giải quyết các bài toán khác nhau:

= Phân loại (Classification): Mục tiêu của mô hình là dự đoán một nhãn

(label) cho mỗi đầu vào (input) Ví dụ, trong bài toán phân loại hìnhảnh, input là hình ảnh, còn output là nhãn của hình ảnh đó (ví dụ: đầuvào là bức hình và đầu ra là chó, méo, xe hoi, )

= Hồi quy (Regression): Mục tiêu của mô hình là dự đoán một giá trị liên

tục cho mỗi đầu vào (input) Ví dụ, áp dụng vào bài toán dự đoán giá

nhà, input là các thông tin về kích thước, vị trí, số tầng, số phòng của

ngôi nhà, còn output là giá của nhà đó.

2.3.2 Học không giám sát (Thường gọi là UnSupervised learning)

Học không giám sát là một loại thuật toán học các mẫu từ dữ liệu không đượcgán nhản Thông qua bắt chước phương thức học tập của con người, thuật toán

Chương 2: Nghiên cứu liên quan đến hybrid classroom

sẽ xây dựng một bản mô tả ngắn gọn và bắt đầu phân loại dữa trên những điểmchung của các mô tat đó Ví dụ cụ thể, khi đưa 8 bức hình của 2 loại quả vào

thuật toán, sau khi xử lý thuật toán sẽ phân loại một bên 5 quả và một bên 3

quả, nhưng không biết đó là quả gì (Hình 7)

Dữ liệu đầu ra

esse

&

eee

Hình 7: Mô tả mô hình máy học không giám sát

Dữ liệu đầu vào

Phương pháp học bán giám sát có thé chia thành hai loại chính là Phânnhóm(Clustering) và Kết hợp (Association):

Phân nhóm (Clustering): Là một kỹ thuật phân tích dữ liệu dé chiacác điểm dữ liệu thành các nhóm (clusters) có tính tương tự nhau Kỹ

thuật này sử dụng các thuật toán khác nhau như K-means, Hierarchical

Clustering, DBSCAN, vv Ví dụ: Có nhiều hộp khác nhau về màu sắchình thù và kích thước và yêu cầu một trẻ em phân nhóm các hộp đó ra,tuy trẻ em không biết hộp đó công dụng là gì Nhưng nó có thê tự tìmcách phân nhóm bằng cách chọn các hộp cùng màu hoặc cùng hình thù

với nhau vào một nhóm.

Két hợp (Association): Là một kỹ thuật phân tích dữ liệu dé tìm ra cácquan hệ giữa các biến trong dữ liệu Kỹ thuật này sử dụng thuật toánApriori để tìm ra các quy luật giữa các biến, ví dụ như "người dùng muasản phẩm A thi cũng thường mua san phim B" hoặc "học sinh có điểmcao trong môn A thì thường có điểm cao trong môn B" Trong kinhdoanh, kỹ thuật này có thể sử dụng để tìm ra các quy luật giữa các sảnphẩm đề tăng doanh thu hoặc giảm chỉ phí

2.3.3 Học bán giám sát (Thường gọi là Semi-Supervised Learning)

Đây là một phương pháp học máy trong đó mô hình được huấn luyện

Chương 2: Nghiên cứu liên quan đến hybrid classroom

đữ liệu hình ảnh lớn, trong đó chỉ có một phần nhỏ được gán nhãn với các

nhãn khác nhau như "chó", "mèo! " và "ngựa" Chúng ta sẻ sử dụng

tập dữ liệu nhỏ đã được gán nhãn để huấn luyện mô hình, sau đó sử dụng môhình đó để gán nhãn cho tập dữ liệu không được gán nhãn lớn Kết quả có một

tập lớn dữ liệu hình ảnh được gan nhãn.

Một số thuật toán máy học phổ biến

Machine Learning được chia thành một số nhánh chính: supervised learning

(học có giám sát), unsupervised learning (học không có giám sát), Tuy nhiên ở giới

hạn đồ án các thuật toán sử dụng chỉ tập trung ở học có giám sát nên tôi tập trung giớithiệu các thuật toán phô biến liên quan tới dé tài, sau đây là các thuật toán phổ biến

của học có giám sát:

2.4.1 Cây quyết định (Thường gọi la Decision Trees):

Cây quyết định là một cây phân cấp có cấu trúc được dùng đề phân lớpcác đối tượng dựa vào dãy các luật Các đối tược có thể mang các kiểu đữ liệukhác nhau như Số lượng (Quantitative), Thứ tự (Ordinal), Nhị phân (Binary),

Định danh (Nominal), trong khi kiểu dữ liệu là Binary hoặc Ordinal mới làthuộc tính phải có dé phân lớp Tóm lại, cây quyết định sẽ sinh ra các luật dé

dự đoán lớp của các dữ liệu chưa biết thuộc lớp nào dựa trên dữ liệu về cácđối tượng gồm các thuộc tính cùng với lớp (classes) được đưa vào

Sau đây là ví dụ về cây quyết định, trong việc tôi có nên đưa con đicông viên hay không dựa vào thời tiết: Nếu thời tiết đẹp, với độ âm và bầu trờimát mẻ và nắng, cây quyết định sẽ gợi ý rằng tôi sẽ đưa con đi ra công viên.Tuy nhiên, nếu thời tiết không tốt, ví dụ là trời có mưa hoặc có gió mạnh, câyquyết định sẽ khuyên tôi nên ở nhà với con (Hình 8)

Chương 2: Nghiên cứu liên quan đến hybrid classroom

Hình 8: Ví dụ về cây quyết định trong việc đưa con đi chơi hay ở nhà.

Mô hình cây quyết định khá đơn giản, tuy là mô hình khá cũ nhưng vẫn

có thể giải quyết nhiều bài toán thực tiễn Đứng dưới góc nhìn kỹ thuật, môhình cây quyết định là mô hình trả lời một chuỗi câu yes/no và đưa ra quyếtđịnh cuối cùng dựa vào các câu trả lời đó

2.4.2 Hồi quy tuyến tính (Thường gọi là Linear Regression):

Hồi quy tuyến tính là một thuật toán máy học cơ bản được sử dụng để

du đoán giá trị của một biến dựa trên giá trị của một biến khác Biến cần dựđoán được gọi là biến phụ thuộc Biến sử dụng đề dự đoán giá trị của biến khácđược gọi là biến độc lập

Thuật toán cho thấy mối quan hệ tuyến tính giữa một biến phụ thuộc(y) và một hoặc nhiều biến độc lập (x), do đó được gọi là thuật toán hồi quytuyến tính Vì hồi quy tuyến tính cho thấy mối quan hệ tuyến tính, có nghĩa là

nó tìm thấy giá trị của biến phụ thuộc đang thay đồi như thế nào theo giá tricủa biến độc lập

Mô hình cung cấp một đường thăng có độ nghiêng thể hiện mối quan

hệ giữa các biến (hình 9):

Chương 2: Nghiên cứu liên quan đến hybrid classroom

Biến độc lập (biến dự đoán) x

Hình 9: Ví dụ trực quan về đường hoi quy tuyến tính và dữ liệuCác giá trị cho các biến x và y là tập dữ liệu huấn luyện để biểu diễn

mô hình Hồi quy tuyến tính Áp dụng vào thực tế có thé sử dụng mô hình này

để dự đoán giá nhà đất, giá chứng khoán, điểm số của học sinh, cũng có thê

du đoán khí tượng

Hồi quy logistic (Thường gọi là Logistic regression):

Đây là một phương pháp được sử dụng để đoán xác suất của một sựkiện xảy ra Nó là một dạng của hồi quy được sử dụng để giải quyết các vấn

đề phân loại binary, tức là chỉ có hai kết quả có thê xảy ra, ví dụ như "chấpnhận/từ chối" hoặc "thành công/thất bại

Hồi quy logistic sử dung một ham logistic để tính xác suất của sự kiệnxảy ra Cơ chế hoạt động của hồi quy logistic là sử dụng một ham sigmoid détính xác suất của một sự kiện xảy ra dựa trên giá trị của các đặc trưng (feature).Ham sigmoid sẽ trả về giá trị trong khoảng từ 0 đến 1, và giá trị nay càng gần

1 thì xác suất của sự kiện xảy ra càng cao Trong hồi quy logistic, chúng ta sẽxây dựng một mô hình dự đoán dựa trên tập dữ liệu huấn luyện Mô hình này

sẽ học các tham số đề tìm ra mối quan hệ giữa các đặc trưng và kết quả dự

đoán.

Chương 2: Nghiên cứu liên quan đến hybrid classroom

Thuật toán Logistic regression thường được sử dụng để giải quyết bài toánphân loại (classification), sau đây là một số ứng dụng điền hình:

= Phân loại Email là Spam hay không Spam.

= Đánh giá hiệu quả của chiến dich marketing

= Phan loại chữ kỹ thật hay chữ ký giả mao.

2.4.4 K láng giéng gan nhất (Thường gọi là k-NN hay K-Nearest Neighbor):

Thuật toán K-Nearest Neighbor (k láng giềng gần nhất), còn được gọi

là KNN hoặc k-NN, là một bộ phân loại học có giám sát, không tham sé, sửdụng khoảng cách gần nhất dé thực hiện phân loại hoặc dự đoán về việc nhómmột điểm dữ liệu riêng lẻ Trong khi nó có thể được sử dụng cho các bài toánhồi quy hoặc phân loại, giải quyết giả định rằng các điểm tương tự có thê đượctìm thấy gần nhau

Vi dụ, có 2 nhóm học sinh nam và nữ, có thời gian và khoảng đường

đã chạy được biểu diễn ở hình 11 Một bạn mới có các thành tích như hình,nhưng chưa biết đó là nam hay nữa, Sau khi phân tích thì thời gian mà bạn đó

sử dụng đề chay một quảng đường xa, kết luận đó là học sinh nam

Chương 2: Nghiên cứu liên quan đến hybrid classroom

Thời gian Trước khi dùng NN ‘Thai gian ‘Sau khi dùng k-NN

Học dinh cân dy đoán Dự đoân là nam

| Khoảng đường đá chạy | Khoảng đường đã chạy.

: Vĩ dụ về phân loại đối tượng trong thuật toán k-NN

2.4.5 Support Vector Machines (Thường gọi là SVM):

Là một thuật toán phân loại có giám sát, được sử dụng đề phân loại các

đối tượng dựa trên một tập hợp các đặc trưng Thuật toán SVM sử dụng một

hàm hồi quy để tạo ra một đường phân cách (hyperplane) giữa hai nhóm cácđối tượng Đường phân cách này được tìm thấy bằng cách tìm đường phân

cách có độ lớn nhất giữa các nhóm đối tượng Khi được áp dụng thuật toán

SVM có thé cải thiện hiệu quả của các mô hình phân loại bằng cách tối ưu hóacác đối tượng và các đặc trung của chúng Ví dụ ở Hình 12 có hai tập hình tròn

và hình vuông, SVM sẽ cố gắng tìm ra một đường thing nằm ở giữa tập hìnhtròn và hình vuông, sao cho khoảng cách từ 2 đối tượng đến đường phân cách

Chương 2: Nghiên cứu liên quan đến hybrid classroom

2.4.6.

2.5.

Thuật toán SVM có thé được áp dụng dé giải quyết các bài toán lớn, ví

dụ như: hiên thị quảng cáo theo sở thích người dùng, phát hiện giới tính dựa

trên hình ảnh nhị phân, hay là phân loại hình ảnh có quy mô lớn.

Random Forest (Rừng ngẫu nhiên):

Random Forest là một thuật toán học máy được sử dụng dé dự đoánhoặc phân loại một đặc tính dựa trên một tập dữ liệu đầu vào Nó là một phiênbản mạnh mẽ của thuật toán quyết định cây (Decision Tree) với ưu điểm là có

kha năng giảm thiêu overfitting và tăng độ chính xác dự đoán.

Cách hoạt động của Random Forest là tạo ra nhiều cây quyết định(decision tree) và sử dung chúng dé dự đoán kết quả Mỗi cây quyết định đượcxây dựng dựa trên một tập dữ liệu ngẫu nhiên (random subset) của tập dữ liệuđầu vào và một tập các đặc trưng ngẫu nhiên (random subset of features)

Khi dự đoán, Random Forest sẽ gọi tới mỗi cây quyết định để dự đoán

kết quả và chọn kết quả được dự đoán nhiều nhất từ các cây quyết định

I I

Prodiction = 1 Prodiction = 1 Prodiction = 0 Prodiction = 1

Hình 13:Vi dụ về 4 cây con trong mô hình Random Forest

Ví dụ, như mô tả ở hình 13 là tập hợp 4 cây quyết định của việc kếtluận một kết quả, nếu sử dụng một cây quyết định và không may rơi vào trường.hợp của cây quyết định thứ ba, nó sẽ dự đoán kết quả là 0 Tuy nhiên, nếuchúng ta dựa vào số liệu trung bình của tất cả 4 cây quyết định, giá trị dự đoán

sẽ là 1 Đây chính là nguyên lý của thuật toán Random Forest

Các bài toán con trong nhận diện khuôn mặt

Hệ thống nhận diện khuôn mặt là một loại ứng dụng có khả năng dựa trên cácđặc điểm trên khuôn mặt mà cơ sở dữ liệu đã lưu trữ trước đó đề xác định được khuônmặt trong hình ảnh thuộc về người nào Hệ thống này được phát triển mạnh mẽ nhờcông nghệ trí tuệ nhân tạo (AI) khả năng nhận diện theo cách thụ động không cầntương tác, chỉ cần khuôn mặt xuất hiện trước Webcam hệ thống sẽ tự động nhận dạng,

Chương 2: Nghiên cứu liên quan đến hybrid classroom

khả năng nhận dạng càng ngày có độ chính xác càng cao Đề giải quyết bài toán nhậndiện khuôn mặt cần đi theo một số bước như: Phát hiện khuôn mặt dé xác định khuônmặt người nằm ở tọa độ nao trong bức hình, sau đó sẽ căn chỉnh khuôn mặt để chuẩnhóa hình ảnh lại, sau khi có hình ảnh đã chuẩn hóa sẽ tới quá trình xác định xemkhuôn mặt đã chuẩn hóa đó là hình anh khuôn mặt người thật hay khuôn mặt đượcphát lại từ thiết bị khác, khi đã xác định được khuôn mặt thật thì sẽ tiến hành tríchxuất đặc trưng và so khớp các đặc trưng đó với các đặc trưng đã có trong cơ sở dữliệu và kết quả là ra danh tính của người trước webcam là ai, sơ đồ được miêu tả ởlưu đồ trong hình 14

w= Phát hiên khuôn mat So khớp khuôn mặt

Trích xuất

đặc trưng khuôn mặt

† Hình ảnh

† khuôn mặt

Hình ảnh : Phát hiện i 7

( Wwebeam | TỶ} khuôn mặt ị | Danh tính (Face ID) |

Hình 14: So đồ các bước trong giải pháp nhận dang khuôn mặt

2.5.1 Phát hiện khuôn mặt trong bức hình

Phát hiện khuôn mặt là một vấn đề cơ bản quan trọng trong phân tích

khuôn mặt vì các thuật toán nhận dạng khuôn mặt hoạt động dựa trên các tính

năng phù hợp được trích xuất từ hình ảnh Nhiệm vụ của phát hiện khuôn mặt

là tìm vị trí khuôn mặt trong ảnh hoặc video và tách chúng khỏi nền, như trong.hình 20 Có nhiều phương pháp khác nhau đã được đề xuất, chẳng hạn như

Cascade [7], Dlib HOG [8], Dlib CNN [9], RetinaFace [10] và MTCNN [11],

Ung với các thuật toán kể trên có các ưu điểm và nhược điểm khác nhau Tôi

đã tiến hành phân tích các ưu điểm, nhược điểm dựa trên việc thực nhiệm và

Chương 2: Nghiên cứu liên quan đến hybrid classroom

đưa ra kết quả dưới dang định tinh của bản thân, dữ liệu được thể hiện chỉ tiết

Tốc độ nhanh, triển khai đơn

giản, hiệu quả

Nhược điểm

Không thể phát hiện

khuôn mặt nghiêng hoặc che mặt

Dlib HOG Tốc độ khá nhanh, phát hiện

được nhiêu hình dạng khuôn mặt,

không bị ảnh hưởng bởi ánh sáng

Không phát hiện được

khuôn mặt nghiêng hoặc

RetinaFace Tốc độ tương đối chậm, Phát

được khuôn mặt trong nhiều

điêu kiện ánh sáng khác nhau,

phát hiện được khuôn mặt

nghiêng hoặc che mất một phần

Tốn tài nguyên, tốc độ

chậm

MTCNN Tốc độ tương đối nhanh, phát

hiện được khuôn mặt trong nhiều

điêu kiện ánh sáng khác nhau, phát hiện được khuôn mặt

nghiêng hoặc che khuất một phần

Tốn tài nguyên khi sử

dụng Tensorlow

Sau quá trình nghiên cứu và thực nghiệm các thuật toán, cân nhắc giữa

độ chính xác và chỉ phí tính toán của các thuật toán tôi quyết định sử dụngmạng MTCNN (Multi-task Cascaded Convolutional Networks) [11] dé làm

bộ phát hiện khuôn mặt MTCNN với ưu điểm kết quả tương đối tốt, có thểchuyền Tensorlow sang TensorLite, nên dé dàng trién khai lên thiết bị nhúng.Mạng MTCNN được cấu tạo từ 3 lớp mạng CNN xếp chồng lên nhau: là P-Net (Proposal Network còn có tên là Mạng dé xuất), R-Net (Refine Networkcòn có tên là Mạng lọc) và O-Net (Output Network có tên là Mạng đầu ra)