Khóa luận tốt nghiệp Kỹ thuật máy tính: Hệ thống phòng thi thông minh

TOM TAT KHÓA LUẬNĐề tài “Hệ thống phòng thi thông minh” của nhóm hướng tới mục đích xâydựng được một hệ thống quản lý kỳ thi, nhận diện khuôn mặt và phát hiện hành vigian lận.. Công nghệ

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THONG TIN

KHOA KỸ THUẬT MAY TÍNH

NGUYEN TAN HUY - 20521406

MAI LÊ VĨNH HƯNG - 20521365

KHÓA LUẬN TÓT NGHIỆP

HỆ THÓNG PHÒNG THỊ THÔNG MINH

SMART EXAM ROOM SYSTEM

KỸ SƯ NGÀNH KỸ THUẬT MÁY TÍNH

GIẢNG VIÊN HƯỚNG DẪN

TRAN HOÀNG LOC PHAM QUOC HUNG

TP HO CHÍ MINH, 2024

LỜI CẢM ƠNĐầu tiên, chúng em xin trân trọng gửi lời cảm ơn chân thành và sự tri ân sâu

sắc đến các giảng viên của Trường Đại học Công nghệ Thông tin, đặc biệt là các

giảng viên khoa Kỹ thuật Máy tính đã tạo điều kiện và hỗ trợ chúng em trong quátrình thực hiện khóa luận tốt nghiệp

Dé có thé hoàn thành Khóa luận này, chúng em xin chân thành gửi lời cảm onđến thầy Trần Hoàng Lộc và thầy Phạm Quốc Hùng đã tận tình hướng dẫn, chỉ bảo

và góp ý cho chúng em trong suốt quá trình thực hiện Khóa luận

Bên cạnh đó, nhóm thực hiện cũng xin gửi lời cảm ơn đến các anh chị, các bạn

đã và đang học tập tại Khoa Kỹ thuật Máy tính đã chia sẻ kinh nghiệm cũng như góp

ý dé đề tài được thực hiện suôn sẻ

Cuối cùng, nhận thức được kiến thức chuyên môn và kinh nghiệm thực tiễncủa bản thân chúng em đối với dé tài này vẫn còn hạn ché, do đó nội dung của báo

cáo không tránh khỏi tồn tại một vài thiếu sót Kính mong quý thay, cô và Hội đồngcham khóa luận góp ý dé Khóa luận được hoàn thành một cách hoàn thiện nhất cóthể

Chúng em xin chân thành cảm on!

TP Hồ Chí Minh, ngày tháng năm 2024

Nhóm thực hiện đề tài

Nguyễn Tan Huy

Mai Lé Vinh Hung

MỤC LỤC

Chương 1 TONG QUAN ĐÈ, TÀII 5- 5-5 << s9 sSsessessessessessessessese 2

1.1 Lý do chọn đề tài - 2-5 s2 SEcEE 2 E1 7121121171121111211 211 111cc 2

1.2 Phân tích các hướng nghiên cứu đã có ¿c5 Scc*svxseserrssrses 2

1.2.1 Mô hình phát hiện đối tượng ISHD: Intelligent Standing Human Detection

of Video Surveillance for the Smart Examination Environment 2

1.2.2 A Solution for Attendance Checking with Face Recognition Technology

and Application at Laboratories in Faculty of Information Technology [1] 3

1.2.3 Ung dụng công nghệ trí tuệ nhân tạo (AJ) giúp phát hiện hành vi gian lận

thi cử của nhóm sinh viên Đại học Công nghiệp Hà Nội 3

1.3 Giới thiệu đề tài -¿- 2-52 Ss 2s E2 11211211211 2112112112121 111gr gu 4

1.4 Mục tiêu, đối tượng, phạm vi nghiên cứu 2-2 2 2£ 2+se+sz+‡ 5

1.4.1 Mục tiêu đ⁄⁄⁄ c À, ỀT Q.2 ưu 5

1.4.2 Đối tượng - 2c tt 2x2 2211271221121111211.11 11111111 xe 5

1.4.3 Phạm vi nghién CỨU (2E 38333311 E£EEEEEEEEeEESeeEeeeeeeserreerersee 6

1.5 Phương pháp thực hiện . - G 1S 3+ HH re, 6

Chương 2 CƠ SỞ LÝ THHUYẾTT <2 2£ ©s£Ss£EssEss£SseEsseserseEssesserssrs 9

QD TOmg QUAM eee cece ÔÒỎ 92.2 Các khái niệm về mang neuron nhân tạo - 2 s2 s55: 9

2.3 Face embedding [9] - - 5< v11 HS TH HH TH HH ng 10

2.4 Khoảng cách Euclide [1Í] - - <5 5 2< * 33+ EEeEEseeeseersseerreeree 11

2.5 Giới thiệu về giao thức MQTT [3], - 2 2 + £+£++E++x+xzxezxzzxee 122.6 Giới thiệu về công nghệ RFID [ 1I] - 2-5222 S+E£+££+£xzxzzxersez 132.7 Khái niệm về hệ thống phòng thi thông minh [15] - - 13Chương 3 THIET KE VÀ HIỆN THỰC HỆ THÓNG .5-.5 <- 16

3.1 Mô hình tổng thé của hệ thống -2- 2-22 52+E+£E£2EEeEErEezrxrxee 16

3.2 Giải thuật nhận diện khuôn mặt - - ©5525 S3 *+Eseeeereeeseersrsee 16

3.2.1 Giới thiệu Facenet [2] - + S111 1391131119111 1 9111 1 111g ngư 16

3.2.2 Mô hình pDrefra1'ied - «+ + +4 +1 +3 €1 3E vn ng ng nàn 17

3.3 Mô hình lay đặc trưng khuôn mặt dib - 2: 2 2 s+sz+£zzse2 z2 18

3.3.1 Facial landmarks occ 18

3.3.2 Dữ liệu training và độ chính Xác oe ec eeceseeseeeseceseeeeeeeseeesseeeseeeseeees 19

3.4 Thu thập dữ liệu khuôn mặt mô hình Facenet - eee 19 3.5 Quá trình đánh giá mô hình Facenet - - - 55s S+c+sxssessersssrs 21

3.5.1 Chia tập dữ lIỆU - Gv n TH TH ngàn Hàn ng 21

3.5.2 Quá trình huấn luyện - ¿+ + +x£EE+EE#EESEEEEEEEEEEEEEEEErEkrrrrrrrei 213.5.3 Kết quả đánh giá 6-5-2 tt x1 EE121101121121111211111 11211 1x 22

3.6 Giải thuật phát hiện hành vi - - S3 St Series 22

3.6.1 Giới thiệu MedIalPIpe - - 6 th vn ng HH ni, 22

3.6.2 C0 0000 23

3.6.3 Quá trình train mô hình << +2 21111 3£££22 EEE+ESseeeeeeessxe 25

3.7 Sơ đồ hoạt động của hệ thống 2-22 2+SE£2E2+EEeEEE2EEeEErrrerrkervee 29

3.8 Thiết kế PCB kết nói hệ thống các phan cứng -. -¿ 30

3.8.1 Sơ đồ kết nối phần cứng [6] - 2-2 + E+EE+EE+EE+EE+EE+EEzEEzErrsrreres 303.8.2 Thiết ké Senora € đe GN EB / 31

3.8.3 Thiết KE PC embare-s ssllrccannndlscossescsccsssssccecssesssccesseseceessseseesensenees 32

3.9 Xây dựng giao diỆn nh HH TH HH HH 32

3.9.1 Giới thiệu PY QUO c0 2 tt 21191151191 1 11 11 11H ng nhiệt 32

3.9.2 Tổng quan về giao điỆn - ¿+ 2© ©x+EE#EEEEESEEEEEEEEEE1EE12212E12E2 2E ce, 33

3.9.2 Mô tả cơ sở dữ lIỆU 6 G11 1911 TH TH ng ng ngàn nh nệt 34

3.9.3 Cac tính năng giao diện quản lý kỳ thi - 2-5555 ++ssseesseeeeee 36

3.9.4 Tính năng giao diện đăng ky thí sinh mới - 5-5555 +s+ss+ss+ssxx 42

3.10 Mô tả các phương pháp hoạt động 5 S- SSSSssseererrsrereres 46

3.10.1 Phương pháp đọc mã thẻ RFÏD - (5c 2 2+3 *+EEsrrrrsrsrerserres 46

3.10.2 Phương pháp hiền thị thông tin lên LCD1602 : 2-5:5¿ 48

3.10.3 Phương pháp giao tiếp giữa ESP32 và Server - -cs+s¿ 50

Chương 4 KET QUÁ THỰC HIỆN -s- 5< 2s ss+ssesssessessezssese 52

4.1 Kết quả thực hiện phần cứng - 2 5¿+2s+EEc2E2EEeEEEEEerkrrkerrrervee 52

4.2 Kết quả chạy mô hình: - 2-2 SSS£SE£EE£EEEEESEEEEEEEEEEEEEEEErrrkrrerreee 524.3 Kết quả chạy thử nghiệm 2-2-2 5 <+SE‡EE+EE2EE2EEEEEEEErEerrerrerree 534.4 Cau hình đề xuất để có thé hoạt động mô hình - 2-5 52 56

4.4.1 Cau hình tối thiểu của máy tính 2- 2 2 25£+££+E++E++EzEzEzrzes 56

4.4.2 MCU ESP32 -22- ©2222 EE12711271127121121121111111 11.11.1111 56

DANH MỤC HÌNHHình 1 Mô tả Hệ thống phòng thi thông minh 2-2 2 2£22S£+££+£+zE£+£zs£2 4

Hình 2 Mô hình một mang neuron cơ bản <5 2 33s * +3 +*vE++eeeeeeseeerrss 9

Hình 3 Các đặc trưng của một khuôn mặặt + +5 «+ +++£+++++eeseeeeeeereeexs 10

Hinh 4 Face embedding ni: 11

Hình 5 Sơ đồ kết nối hệ thống, -¿- 2 252 E£SE+EE2EEEEEEEE2E12E122121121222221 EU l6Hình 6 Kiến trúc mạng Facenet -¿- ¿+ +22++2E++EE++EEESEE+SEEESEkrsrkrrrkrrrree 17Hình 7 68 điểm facial landmark được đánh dấu trên mỗi khuôn mặt 18

Hình 8 Hình ảnh thành viên nhóm - - - 5 +6 E3 E33 E9E2ESEEESEESrskeskrskesee 20

Hình 9 Hình ảnh từ đatasS€I - Ác 1S ng TH ng ng tr 20

Hình 10 Quá trình chia tập dữ liỆu - 5 5 191991119 1 1 rệt 21

Hình 11 Quy trình nhận diện khuôn mặt - - 5 555 +++**++#++*e+eeexeeexsssss 21

Hình 12 Ung dụng Mediapipe cccccccccccscsessesssessesssessecseessessecssessecsusssessecsseesecsecsseeses 23

Hình 13 Minh họa timeS(€p - - G1 1211321113111 1119 111011 9t ng 24

Hình 14 Train pipeline .- 6 2c c1 E21183101 1811151111 11 911 9v 1n ng ệc 25

Hình 15 Dataset cho mô hình phát hiện hành vi - 55 55555 ££+se++sex+sex+ 25

Hình 16 Các điểm trên khuôn mặt - -¿©2++2++vtvvxxtrtrrrrrrrrrrrrrrrrrer 26

Hình 17 Chia tập dữ liỆU - Ác 2C 2 21121121121 151151 11 11 H1 HH HH như 27

Hình 18 Tạo mô hình LSTÌM - + <EE E32 2221118EE££22EEEEESEEEEEEkeesereeeeeerse 27

Hình 19 Sơ đồ giải thuật hệ thống - 2- 2 2 5E SESE+EE+EE2EEEEEEEEEEEEEErErrrerrrree 29

Hình 20 Sơ đồ kết nối phần cứng - 2-2 2 x++E£+EE+EE+EEE2EE+EEEZEEEEEerrerrrrrvee 30

Hình 21 Sơ đồ thiết kế Schematic mạch đọc thẻ RFID và hiển thị 31Hình 22 So đồ thiết kế PCB mach đọc thé RFID và hién thi . 32

Hình 23 Giao diện đăng nhập PyQt6 -.- G 0 12 3391181111111 exre 33

Hình 24 Giao diện quan lý kỳ tH1H - - G E1 19911191 91 9 1 ng ng kg 33

Hình 25 Giao diện đăng ký thí sinh mỚIi - 5 2+2 *+tE+EseEetreerrrrreeree 34

Hình 26 Hình anh mô tả cơ sở dit liỆU - - 23 S332 EEEEEEretrerrrrrrrrrree 34

Ig0i):92/89);)ã15i0n 11177 — 36

Hình 28 Nhắn nút “Tao bảng'” ¿- 25s St E9 12E121121121121121121121 1.1.1, 36

Kiểm tra bảng đã tạO ¿- 6c Ss St St E EEE121121121121121121121111 1.1 1 xe 36

Dit LGU Exams oo — A::.LAAAAEEÔÔÓỎ 37

Dữ liệu ROOMS 00.0 eee eecccccceessccccessscceeceesssceecceseeeseeeessseeeeeessseeeeseessseeeeeeees 37

Di 1i6u Students 12177277 +3- Ö 37

Chọn bang cần thêm dit liệu 2-2-2 2 E+SE+E£+EE+E£EE+EzEzEerrerreee 38

Chọn file Excel cần thêm -¿¿-2++£+E2++tEEEktttEEkrrrrtirrrrrrrrire 38

Thêm dữ liệu thành công - - 22223133 E*EE£EESEESEEEEkrrrrkrrkrreree 39

Chọn bảng muốn hiên th -:-2¿22¿©2+£©+2E++EE+2EE+2EE++EE+zzxzrxrrxee 39Thông tin bảng hiển thị, 2-2 ©5£S££SE£EE2EE£EEtEEEEEEEEEEEEEerkrrrrrrrrree 39

00 45 40

b {U80 ion 0m 40

Xóa dữ liệu bảng - ó2 S1 120113 111111121121 111v HH HH Hàng Hàn nrệp 4I

Tải hình ảnh gian lận - - - 2 2 3211283113113 E1 151111 erre 41

Thu mục chứa ảnh gan lẬ - - c2 +22 3311 £+2E+EEEEeEeeeresrseeeere 41

Ảnh gian lật JF @ @®ề / 42

Chức năng cập nhật gia0 diỆn 5 5 E2 E+EEESsekseeeersereeee 42

Giới thiệu Ø1aO CHIỆN - G163 2131183113351 1E 111111111 erkre 43

0.0.0: 50

Thong tin token trên Server G132 33111 1113111111111 ke 51

Thong tin token trên ESÌP32 - G1 23139 11121119111 11 118g g rry 51

ESP32 nhận dữ liệu từ S€TV€Y . << 1E E221 1E S222 vkeersseeeree 51

Server nhận dữ liệu từ ESP32 - - - - << 1 s11 n SH 55351111 ceg 51

Mach hệ thống đọc thé RFID và hién thi LCD 2-2-5252 2+4 52

Nhận diện khuôn mat - - cE 2333322111111 1£5211 11111551 xxe 52

Ảnh gian lận tải về từ database 2- + sS++EE‡E2EEESErErrrrrrrres 53

Phat hiện hành vi Gian lẬn G5 2316230111930 1331 1 811 9 1119 rưn 53

0U 56

4055711177 56

›43)iB0.+0ýYnn 57

Màn hình LCD 6 6 E11 1 1 vn HH HH HH HH 57

DANH MỤC BANGBang 1 Kết quả đánh giá từng người 2 2- 2S<+E++E2EE2EEEEEErErrrrrerreee 22

Bảng 2 Mô tả bang “Students” trong cơ sở dif liệu -. 55+ <++<es+sss2 34

Bảng 3 Mô tả bang “Rooms” trong cơ sở dữ lIỆU .- 5 555 + +svesseereses 35

Bang 4 Mô tả bảng “Exams” trong cơ sở dữ lTIỆu - 5555 *++s+sseessess 35

Bảng 5 Mô ta bang “Students” trong cơ sở dit liệu - 55c s+c+sccsesss 35

Bảng 6 Lệnh điều khiển của LCD 2¿- 22 +¿©2+2E£+2E++EE+2EE+SEEEvExezrxrrrxrrrree 49Bảng 7 Kết quả chạy thực nghiệm 22 22+ ©S£2E++EEE2EEESEEESExezrxrrrxrrrree 53Bang 8 Cấu hình máy tính - - 2-2 2 E9SE9EE9EE9EEEEEEEE2E12E1211211211211211 1.1.1.1, 56

Bảng 9 Thông số kỹ thuật MCU ESP32 - 2-2222 +2S22£E+EE2Eterxerxezrrerxee 56 Bảng 10 Thông số kỹ thuật RFID RC522 - 2 2 52225£22++£E2E+zExerxezrxerxez 57

Bảng 11 Thông số kỹ thuật LCD 1602 2-22 2 ©5£25£2£E££E£+E+£EzE+zzserxez 57Bảng 12 Kết quả đạt được so với mục tiêu a ee, 57

DANH MỤC TU VIET TAT

CNN Convolutional Neural Network

CRC Cyclic Redundancy Check

ISHD Improved Small Hard-Object Detection

LSTM Long short-term memory

MQTT Message Queuing Telemetry Transport

QoS Quality of Service

ReLU Rectified Linear Unit

RFID Radio Frequency Identification

RGB Red Green Blue

RNN Recurrent Neural Network

RW Read/Write

SPI Serial Peripheral Interface

SSD Single Shot Detector

SSL Secure Sockets Layer

TCP Transmission Control Protocol

TLS Transport Layer Security

UART Universal Asynchronous Receiver / Transmitter

UID Unique Identification

YOLO You Only Look Once

TOM TAT KHÓA LUẬN

Đề tài “Hệ thống phòng thi thông minh” của nhóm hướng tới mục đích xâydựng được một hệ thống quản lý kỳ thi, nhận diện khuôn mặt và phát hiện hành vigian lận Đồng thời kết hợp với thẻ RFID dé hiển thị chỗ ngồi thí sinh

Hệ thống phòng thi thông minh được thiết kế đề tăng cường tính minh bạch vàcông bằng trong các kỳ thi Khi thí sinh quét thẻ RFID, hệ thống sẽ hiển thị thông tin

chỗ ngồi trên màn hình LCD, giúp xác định vị trí ngồi chính xác Công nghệ nhận

diện khuôn mặt được sử dụng dé xác minh danh tính thí sinh, đảm bao đúng người

dự thi Hệ thống còn phát hiện các hành vi gian lận như quay sang trái, quay sang

phải và cúi người Ngoài ra, hệ thống cung cấp giao diện cho quản trị viên tạo kỳ thimới, bao gồm nhập thông tin kỳ thi, danh sách thí sinh, phân bố chỗ ngồi và đăng ký

thí sinh.

Chương 1 TONG QUAN DE TÀI

1.1 Ly do chon đề tai

"Dự án 'Hé thống phòng thi thong minh’ do nhóm nghiên cứu triển khai nhằmnâng cao chất lượng tô chức và giám sát kỳ thi bang cách áp dụng công nghệ tiêntiến Việc chon lựa đề tài này rất quan trọng và cấp thiết trong bối cảnh nền giáo dụcngày cảng dé cao sự công bang va minh bach trong kiểm tra và đánh giá Trước đây,

đã có nhiều sản phẩm và nghiên cứu áp dung công nghệ trong tô chức và giám sát thi

cử Những giải pháp này chủ yếu tập trung vào giám sát học sinh, sinh viên băngcamera dé phát hiện gian lận hoặc sử dụng hệ thống quản lý dé thi điện tử Tuy nhiên,các sản phâm hiện tại thường chưa đáp ứng đủ các yếu tố quan trọng như tính linhhoạt, tự động hóa và tương tác cao Thêm vào đó, nhiều hệ thống còn hạn chế trongviệc xử lý đữ liệu lớn và cung cấp phản hồi tức thời cho người quản lý kỳ thi, cũngnhư nhắc nhở sinh viên Dự án 'Hệ thống phòng thi thông minh' đặt mục tiêu pháttriển một hệ thống kiểm soát thông tin sinh viên và phát hiện hành vi gian lận Hệthống sẽ tích hợp các công nghệ như camera đề giám sát và nhận diện sinh viên tạibàn thi, cũng như phát hiện hành vi gian lận trong suốt quá trình thi."

1.2 Phân tích các hướng nghiên cứu đã có

Qua tìm hiểu và nghiên cứu những bài báo trên Google Scholar về các công

nghệ di trước đã dùng như mô hình SSD, mô hình ISHD, YOLO,

1.2.1 Mô hình phát hiện đối tượng ISHD: Intelligent Standing

Human Detection of Video Surveillance for the Smart Examination

Environment

Liên quan đến Mô hình phát hiện đối tượng ISHD [14], bài báo “ISHD:

Intelligent Standing Human Detection of Video Surveillance for the Smart

Examination Environment” đề xuất một phương pháp phát hiện người đứng trong

giám sát video phòng thi, sử dụng mạng MobileNet thay thế cho VGGNet trong mangSSD đề giảm lượng tính toán và tăng độ chính xác ISHD_v1 cải thiện khả năng pháthiện các đối tượng nhỏ và vừa bằng cách giữ lại các đặc điểm đa tỉ lệ và áp dụng họcchuyền giao dé tối ưu hóa quá trình huấn luyện Thử nghiệm cho thấy mô hình ISHD

vượt trội hơn so với các mô hình trước đó trong việc phát hiện tư thế đứng của conngười Tuy nhiên, mô hình vẫn gặp hạn chế trong khung cảnh phức tạp và nhiềunhiễu, cần tối ưu hóa thêm đề cân bằng giữa độ chính xác và hiệu suất tính toán Ứngdụng trong thực tế cần thử nghiệm thêm dé đảm bao tính kha thi và hiệu quả Ngoài

ra, việc áp dụng mô hình vào các bối cảnh khác ngoài phòng thi cần được kiểmnghiệm dé xác định tính linh hoạt và độ tin cậy của nó

1.2.2 A Solution for Attendance Checking with Face Recognition

Technology and Application at Laboratories in Faculty of Information

thành đữ liệu số, và các thuật toán phân loại dé đối chiếu khuôn mặt nhận diện với cơ

sở dữ liệu lưu trữ Kết quả của nghiên cứu bao gồm việc tạo ra một cơ sở dữ liệu điểmdanh sinh viên và một phần mềm máy tính thực hiện việc điểm danh qua nhận diệnkhuôn mặt Phần mềm này đã được kiêm tra và đánh giá qua nhiều chế độ điểm danhkhác nhau như: sử dụng ảnh chụp nhóm sinh viên nhỏ, và sử dụng webcam kết nốivới máy tính trong các chế độ tự động và bán tự động Hệ thống này không chỉ giúpgiảng viên quản lý việc điểm danh một cách hiệu quả mà còn hỗ trợ phát hiện gian

lận trong quá trình học tập và thi cử của sinh viên.

1.2.3 Ứng dụng công nghệ trí tuệ nhân tạo (AI) giúp phát hiện

hành vi gian lận thi cử của nhóm sinh viên Dai học Công nghiệp Hà Nội

Nghiên cứu này phát triển một phần mềm áp dụng các công nghệ nhận diện

khung xương để giải quyết bài toán về nhân sự tổ chức kỳ thi và việc giám sát quá

trình thi của sinh viên Phần mềm sử dụng đầu vào là hình ảnh thu lại từ camera giám

sát Từ những cử động ghi nhận được, nhóm nghiên cứu đã phát triển một thuật toánphân tích và nhận diện các hành vi bat thường trong quá trình làm bài thi Tuy nhiên,

mô hình vẫn gặp hạn chế khi khung hình có quá nhiều thí sinh, dẫn đến khả năng đưa

ra phán đoán sai trong những trường hợp sinh viên không có ý cử động Chính vi vậy,

nhóm chúng em đã học hỏi và thực hiện nghiên cứu đề tài 'Hệ thống phòng thi thông

minh' dé cải thiện những khuyết điểm của các nghiên cứu trước đây.

1.3 Giới thiệu đề tài

[|

RFID

‘1 8 @

La (ie) Server nhân va gửi

Gl? dư liêu tới client.

thi vi trị ngồi thi sinh

Giao diên người dùng dé tao ky thi,

thêm danh sinh, m

phòng thi vả đăng ký thí sinh mới.

Máy thi sinh thị có webcam nhận diện

Hình 1 Mô tả Hệ thong phòng thi thông minh

Hệ thống phòng thi thong minh là một giải pháp toàn diện, bao gồm các thành

phân chính của hệ thông với các mục đích như sau:

Hệ thống hiền thi thông tin (RFID, ESP32, LCD): Xác thực thông tin thẻ

và hiển thị vị trí chỗ ngồi tương ứng:

Server: Đóng vai trò trung gian giữa ESP32 và MYSQL:

Giao diện (App): Quản lý và cho phép các quản trị viên dễ dàng cập nhật

thông tin:

Máy thi (Client): Có webcam nhận diện người dùng và hành vi gian lận.

Hệ thống phòng thi thông minh này không chỉ giúp giảm bớt công việc của

các cán bộ coi thi ma còn góp phân nâng cao tính chính xác và minh bach trong quá

trình thi cử, giúp giảm thiểu gian lận, đảm bảo môi trường thi cử công bằng và an

toàn Đây là bước tiễn quan trọng trong việc ứng dụng công nghệ vào quản lý giáo

dục, mang lại nhiêu lợi ích cho các cơ sở giáo dục và học viên.

1.4 Mục tiêu, đối tượng, phạm vi nghiên cứu

1.4.1 Mục tiêu

Vận dụng được những kiến thức đã biết về lập trình nhúng, thiết kế mạch điện,

hệ điều hành, cơ sở dữ liệu, mạng máy tính, dé thiết kế hệ thống, lập trình, thửnghiệm, đánh giá, tại các công đoạn khác nhau của quá trình phát triển đề tài

Tiếp cận với công nghệ RFID, hiểu được cách thức hoạt động và có thể đọc

chính xác 100% ID thẻ và hiển thị lên màn hình LCD.

Tiếp cận với công nghệ nhận diện khuôn mặt qua các dự án mã nguồn mở.Hiểu, đánh giá cơ bản được độ hoàn thiện của từng dự án về độ chính xác và tốc độthực thi, qua đó chọn được hướng đi cho bài toán nhận diện khuôn mặt Và hệ thống

tự động mở máy tính cho thi khi đúng thông tin và log-out khi phát hiện sai thông tin

chính xác 90%.

Tiếp cận với công nghệ phát hiện hành vi qua các dự án mã nguồn mở Hiểu,đánh giá cơ bản được độ hoàn thiện của từng dự án về độ chính xác và tốc độ thựcthi, qua đó chọn được cấu hình cần thiết, phát hiện được hành vi gian lận và đưa ra

Tìm hiểu bài toán phát hiện khuôn mặt cân bằng giữa độ chính xác và tốc độ.Tìm hiểu mô hình tách đặc trưng khuôn mặt dựa trên phương pháp deep metric

learning.

Tìm hiểu phương pháp lập trình và thiết kế giao điện người dùng.

1.4.3 Phạm vi nghiên cứu

Hệ thống RFID chỉ có thé hiển thị vị trí ngồi của sinh viên trong danh sách có

săn trên database.

Cần thêm đủ 03 danh sách sinh viên, phòng thi, lớp và ca thi để có thể thựchiện được việc sắp xếp chỗ

Phát triển hệ thống trên 02 máy tính và phát hiện tối thiểu 03 hành vi gian lận

1.5 Phương pháp thực hiện

Tìm hiểu và đọc các bài báo khoa học các nghiên cứu trước đó và sản phẩm

có liên quan đề hiểu rõ về tiến bộ công nghệ và các giải pháp hiện có Xác định rõ

mục tiêu của nghiên cứu, xác định phạm vi của nghiên cứu Phân tích nhu cầu và yêucầu cụ thê của các bên liên quan như học sinh/sinh viên, giáo viên, và quản lý kỳ thi.Xây dựng hệ thống điểm danh và nhận diện người thi, bao gồm các thành phần chínhnhư webcam, hệ thống mở khóa máy tính, camera điểm danh tại cửa, v.v Thiết kếcác thuật toán và phương pháp dé phát hiện gian lận Tiến hành các bài kiểm thử thực

tế và mô phỏng dé đảm bảo tinh đáng tin cậy và hiệu suất của hệ thống Đánh giáhiệu suất của hệ thống thông qua các thử nghiệm thực tế và so sánh với các tiêu chí

đã đề ra từ trước Phân tích kết quả đề đánh giá sự đóng góp và tính khả thi của hệthống trong việc cải thiện quá trình tổ chức kỳ thi Tổng hợp kết qua của nghiên cứu

và rút ra những kết luận và hướng phát triển tiếp theo Viết báo cáo và trình bày kết

quả thử nghiệm.

Các nội dung chính và giới hạn của đề tài:

Nội dung 1: Tìm hiệu và nghiên cứu bài toán

$%$

+,* Phương pháp thực hiện: Xác định cụ thể nội dung dé tài và mục tiêu cu

thê, từ đó chúng em tìm kiêm và tham khảo các tài liệu liên quan đên chủ

đê nghiên cứu của mình trên các nguôn uy tín đông thời tham khảo các đê tài nghiên cứu trước đó có liên quan đên đê tài.

* > ~ Muc tiéu: Xác định được chính xác nội dung cân nghiên cứu, giới han của

lĩnh vực nghiên cứu va tim ra được những phương pháp, cach thức thực

hiện và tôi ưu đê tài.

Nội dung 2: Hiện thực cửa check-in tự động

‹,

“Ww Phuong pháp thực hiện: Nghiên cứu tìm hiểu về cách RFID

(Radio-Frequency Identification) hoạt động Nghiên cứu tìm hiểu về nhận diện

khuôn mặt.Viết chương trình dé Raspberry Pi có thé đọc thông tin từ thẻRFID qua module RC522 Tìm hiểu về khả năng và tính năng củaRaspberry Pi, cũng như cách kết nối nó với camera để thu thập dit liệuhình ảnh Kết nối và cấu hình camera sao cho hệ thống có thể nhận đữ liệuhình ảnh từ nó Lập trình Raspberry Pi dé gửi dir liệu hình ảnh trực tiếplên hệ thống giám sát và xử lý dữ liệu và lưu trữ thông tin này vào hệthống Cân nhắc về cơ sở dit liệu dé theo đõi và kiểm soát quá trình check-

1n.

Mục tiêu: Hệ thông điềm danh đúng 90% thông tin sinh viên tham gia dự

thi với độ trễ đưới 5s.

Giới hạn dé tài: Hệ thông chi quản lý điểm danh sinh viên đã có trong

danh sách sẵn và giới hạn trong phòng thi.

Nội dung 3: Hiện thực nhận diện và theo dõi sinh viên tại bàn thi

*

s*

Phương pháp thực hiện: Kê thừa từ hệ thống checkin ở cửa Viết chươngtrình dé nhận diện khuôn mặt của từng sinh viên tai ban thi

Mục tiêu: Quản ly dung 95% danh sách sinh viên có trong phòng thi Hệ

thống tự động mở máy tính cho thi khi đúng thông tin và log-out khi phát

hiện sai thông tin có độ chính xác đến 90%

Giới hạn dé tài: Phát trién hệ thông với 2 máy tính

Nội dung 4: Hiện thực tính năng phát hiện hành vi gian lận

‹,

“Ww Phương pháp thực hiện: Tìm hiéu về khả năng và tính năng của Raspberry

Pi, cũng như cách kết nối nó với camera đề thu thập dữ liệu hình ảnh Thựchiện cài đặt những thư viện cần thiết để xử lý hình ảnh và nhận diện hành

vi gian lận.

Muc tiêu: Phát hiện chính xác được tối thiêu 3 hành vị gian lận đúng 90%

s* Giới hạn dé tài: Hệ thông chi phát hiện tối đa 3 cử chỉ gian lận.

Nội dung 5: Hiện thức hệ thống quản lý theo dõi

s* Phương pháp thực hiện: Nghiên cứu và phát triển hệ thống quản lý thông

tin trong phòng thi và quản lý log-in/log-out của hệ thống giám sát thi

s* Chỉ tiết cụ thé các phương pháp:

o Sử dung Raspberry Pi: Tìm hiểu và sử dung Raspberry Pi dé làm

trung tâm xử ly và giao tiếp với các thiết bị khác trong hệ thống

o_ Kết nối và giao tiếp với bàn thi và camera: Thiết lập kết nối với các

bàn học trong phòng thi và nhận hình ảnh trực tiếp từ camera thông

qua Raspberry Pi.

o Xây dung giao diện web: Phát triển giao diện web dé người giám sát

có thé theo dõi và quan lý thông tin trong phòng thi Giao diện cần

hỗ trợ tự động cập nhật danh sách, chỉnh sửa thông tin đôi với tài

khoản ADMIN.

o Giám sát quá trình thi của sinh viên thông qua web-cam: Cho phép

sinh viên bắt đầu làm bài, kiểm soát quá trình làm bài của sinh viên

đưa ra cảnh báo và khóa truy cập nếu phát hiện bất thường

s* Mục tiêu: Hệ thông sever có thé xử lý 100% thông tin của phòng thi và

giao điện dé sử dụng đối với những người mới

Nội dung 6: Kiểm tra trên các kịch bản thử nghiệm

s* Phương pháp thực hiện:

©_ Sinh viên đi sai phòng.

o_ Sinh viên ngồi sai vị trí.

o Import danh sách sinh viên thi và sắp xếp chỗ ngồi

o Phát hiện sinh viên có hành gian lận.

s* Mục tiêu: Đánh giá được tông quan hệ thống và từ đó chỉnh sửa những

yêu tô cân thiệt.

Chương 2 CƠ SỞ LÝ THUYET

2.1 Tổng quanXuyên suốt bản báo cáo đề tài này, sẽ có nhiều thuật ngữ được sử dụng Nhiềutrong số chúng là những kiến thức rất mới đối với các thành viên trong nhóm, nhờvào quá trình thực hiện đề tài, nhóm đã học được Bên dưới là một số cơ sở lý thuyết

mà nhóm đã tự tổng quát lại, giúp cho người đọc báo cáo có thể tiếp cận đề tài này

một cách dễ dàng hơn.

2.2 Các khái niệm về mạng neuron nhân tạo

Mạng neuron nhân tạo là một dạng mô hình toán mô học mô phỏng hệ các

neuron thần kinh của con người, được xây dựng nên để giải quyết một số bài toánphổ biến trong machine learning, điển hình như: phân loại ảnh, phát hiện vật thé.Mạng neuron nhân tạo bao gồm các khái niệm cơ bản sau:

Input/Output: Mỗi hình ảnh là một ma trận của các giá trị pixel Phạm vi của

các giá trị có thê được mã hóa trong mỗi pixel phụ thuộc vào kích thước bit của nó.Thông thường, mỗi pixel được biểu diễn bằng 8 bit, tức giá trị của chúng sẽ nằm trong

khoảng [0,255] Tuy nhiên, với ảnh màu, điển hình là ảnh RGB (Đỏ, Xanh lục, Xanh

lam), có đến 03 kênh màu khác nhau dé biểu diễn ảnh Do đó, đối với một hình ảnhRGB có kích thước nhất định, giả sử pixel 255x255 (Chiều rộng x Chiều cao), ta có

03 ma trận được liên kết với mỗi hình ảnh, ứng với 03 kênh màu Do đó, toàn bộ ảnhtạo thành cấu trúc 03 chiều được gọi là Input volume (255x255x3)

Hình 2 Mô hình một mạng neuron cơ bản

Nguồn: researchgate.net

Neuron: Mỗi vòng tròn trong hình trên là một neuron Một neuron sẽ được

“kích hoạt” khi giá tri activation mà nó mang băng hoặc vượt qua một giá tri nhấtđịnh Sự “kích hoạt” của một neuron thể hiện rằng feature ma neuron này đảm nhiệm

có xuất hiện trong ảnh input đầu vào của mạng

Raw data Low-level features Mid-level features High-level features

ñSNI\W F: DI4GB25s (seiminm

` La tt 5v n1 CS,:L—

Hình 3 Các đặc trưng cua một khuôn mặt

Nguôn: dzone.comFeature: Đặc trưng của đối tượng mà bài toán đang xét, ở đây cụ thể là khuônmặt Các neuron nhất định mang các giá tri activation nhất định, và đại diện cho từngđặc trưng nhất định

Activation: Là giá trị số học mà một neuron mang, thường có giá trị nằm trong

khoảng [0,1], thé hiện độ chắc chắn về một feature mà sau quá trình training ban thân

neuron đảm nhiệm Cùng với activation của các neuron còn lai trong layer đang xét,

một tập các giá trị activation mới sẽ được tạo ra, cũng là các neuron trong layer kếtiếp Gia tri của các activation nay được xác định bởi một thứ được gọi là activation

function.

2.3 Face embedding [9]

Sau khi được khoanh vùng, vùng ảnh chứa khuôn mặt được đưa vào một mạng

neuron đặc biệt, mạng neuron này sẽ cho ra một “face embedding” tương ứng với

khuôn mặt đó Trong phạm vi đề tài này, mang neuron được sử dụng dé lay đặc trưng

10

khuôn mặt sé cho ra các face embedding dưới dạng vector chứa 128 giá tri riêng biệt,

phân biệt khuôn mặt này với khuôn mặt kia.

0.175

0.023

Hinh 4 Face embedding

Nguon: medium.com

2.4 Khoang cach Euclide [10]

Khoảng cách Euclide là một thước do dé xác định khoảng cách giữa hai điểm

trong không gian Euclide Khi sử dụng khoảng cách này, không gian Euclide được

hiểu như một không gian số hóa Khoảng cách Euclide được biéu diễn thông qua công

thức toán học sau:

Với p và q là 2 vector được biéu diễn dưới dang:

P= (Pr, Pars Pads q = (q1, đa, + In) (2.5)

Khoảng cách Euclide trong phạm vi dé tài nay được dé cập khi tinh khoảng

cách giữa 2 vector đặc trưng khuôn mặt, chỉ độ khác nhau của 2 khuôn mặt bat ky.

Nếu khoảng cách giữa 2 khuôn mặt thấp hơn một ngưỡng nhất định, có nghĩa 2 khuônmặt đó là của cùng một người Ngược lại, nếu khoảng cách của chúng lớn hơnngưỡng, ta sẽ kết luận chúng thuộc 2 người khác nhau

11

2.5 Giới thiệu về giao thức MQTT [3]

MQTT (Message Queuing Telemetry Transport) là một giao thức nhắn tin

được thiết kế đặc biệt dé truyền dir liệu trong các môi trường có băng thông han chế

và mạng không 6n định Giao thức này được phát triển bởi Andy Stanford-Clark của

IBM và Arlen Nipper của Arcom (nay là Eurotech) vào năm 1999, với mục tiêu thu

thập đữ liệu từ các thiết bị dầu khí từ xa với chỉ phí tối thiểu

Máy chủ trung gian (Broker): Trung gian quản lý và phân phối thông

điệp giữa các máy khách.

Publish: Máy khách gửi thông điệp đến một chủ dé cụ thé;

Phân phối: Máy chủ môi giới nhận thông điệp và phân phối nó đếntất cả các máy khách đã đăng ký chủ đề đó

s* Cac khái niệm chính

Chủ dé (Topic): Là kênh mà thông điệp được gửi tới Các chủ đề có

cau trúc dang cây, ví dụ: `sensors/temperature/living room’

Chất lượng dịch vụ (Quality of Service - QoS): MQTT hỗ trợ 03 mức

QoS:

+ QoS 0: Thông điệp được gửi tối da 01 lần, không cần xác nhận

(at most once);

12

* QoS 1: Thông điệp được gửi ít nhất 01 lần, yêu cầu xác nhận

(at least once);

* QoS 2: Thông điệp được gửi đúng 01 lần, với xác nhận 02 bước

(exactly once).

o Thông điệp giữ lai (Retained Message): Một thong điệp có thé được

giữ lại để các máy khách mới đăng ký chủ đề đó có thê nhận được

thông điệp ngay lập tức.

Ưu điểm của MQTT

o Nhẹ: Giao thức MQTT rất nhẹ, yêu cầu ít băng thông và tài nguyên

hệ thống, lý tưởng cho các thiết bị IoT;

o Đáng tin cậy: Với các mức QoS, MQTT dam bảo tính toàn vẹn của

đữ liệu;

o Mởrộng: Hỗ trợ cơ chế đăng ký/xuất bản giúp dé dang mở rộng hệ

thống mà không cần thay đổi cau trúc hiện tại;

o Bảo mật: Hỗ trợ các cơ chế bảo mật như TLS/SSL dé mã hóa dữ liệu.Với những tính năng và ưu điểm vượt trội, MOQTT đang trở thành lựa chọn

hàng đầu cho các ứng dụng kết nói thiết bị trong môi trường IoT, giúp tối ưu hóa hiệu

suất và tiết kiệm tài nguyên

2.6 Giới thiệu về công nghệ RFID [11]

RFID (Radio Frequency Identification) là công nghệ nhận dạng đối tượngthông qua sóng vô tuyến Các thiết bị RFID hoạt động bằng cách thu phát sóng trongcùng một tần số, thường là 125 kHz hoặc 900 MHz Một hệ thống RFID gồm hai bộphận chính: thẻ RFID và thiết bị đọc thẻ RFID (reader) Thiết bị đọc thẻ có antenna

thu phát sóng điện tử, còn thẻ RFID được gắn với đối tượng cần nhận dạng

Trong thực tế, có 02 loại thiết bị (hoặc thẻ) RFID khác nhau, trong đó:

(i) Thẻ RFID thụ động: Đây là loại phố biến hơn Loại thé sử dung công nghệ

này không có nguồn điện bên trong Khi hoạt động, thiết bị đọc thẻ RFID sẽ phát ra

sóng điện từ ở một tần số nhất định, khi một thẻ RFID được đặt trong vùng hoạt độngnày, nó sẽ thu nhận các sóng và chuyên hóa thành năng lượng dé có thê hoạt động và

13

gửi lại thiết bị đọc mã số của mình Từ đó, thiết bị đọc có thể nhận biết được thẻ RFID

nào đang trong vùng hoạt động;

(ii) Thẻ RFID chủ động: Các thẻ loại này có một nguồn năng lượng riêng củachúng (thường là pin) Đúng như tên gọi, nó có thể chủ động gửi sóng điện tử củariêng mình đến các thiết bị đọc thẻ thích hợp để truyền tải thông tin được chứa trong

“Dai tần cao (High frequency): Với tần số 13.56 MHz, dải tan này mang

đặc điểm khoảng cách đọc ngắn và tốc độ đọc trung bình;

Dai siêu cao tần (UHF frequency): Với tần số trong khoảng từ 868 MHzđến 928 MHz, dai tan nay mang đặc diém dai doc rộng va tốc độ đọc

nhanh;

2 +,* Dai vi sóng (Microwave): Với tần số trong khoảng từ 2.45 GHz đến 5.8

GHz, đải tần này mang đặc điểm dải đọc rộng và tốc độ đọc nhanh

Mỗi thẻ RFID khi xuất xưởng chứa một mã số duy nhất với độ dài 32 bit, đảmbảo không trùng lặp với các thẻ khác, tương ứng với hơn 4 tỷ mã số khác nhau Do

đó, khi một vật được gắn chip RFID, khả năng nhận dạng nhằm với thẻ khác là rấtthấp, xác suất chỉ khoảng 1 trên 4 tỷ Công nghệ RFID có độ bảo mật và an toàn cao

nhờ vào những ưu điểm này.

Thẻ RFID còn có khả năng chịu đựng bụi ban và các tác động môi trường tốthơn so với mã vạch Trong khi mã vạch có thể không đọc được nếu bị bụi ban hoặc

rách nát, hay gặp khó khăn trong môi trường ánh sáng cao, công nghệ RFID không

bị ảnh hưởng bởi những yếu tố này Điều này làm cho RFID rất phù hợp cho các ứng

dụng ngoài trời Hơn nữa, RFID còn cho phép đọc đữ liệu nhanh chóng và chính xác,

hỗ trợ hiệu quả trong các công việc quản lý và xác thực.

14

2.7 Khái niệm về hệ thống phòng thi thông minh [15]

Hệ thống thông minh là một hệ thống có khả năng học hỏi, thích nghỉ, và tựđộng thực hiện các nhiệm vụ phức tạp mà thông thường yêu cầu sự can thiệp của con

Chương 3 THIẾT KE VÀ HIỆN THỰC HE THONG

3.1 Mô hình tông thé của hệ thống

Hệ thống bao gồm 04 phần chính: Server, UI, Hardware và Client Trong đó,phan Hardware sẽ được đặt ở bàn giảng viên dé thí sinh quét mã thẻ, xem vi trí ngồi.Client ở đây là các máy thi, sẽ có webcam dé đọc hình ảnh của thi sinh và tiến hànhnhận diện cũng như phát hiện hành vi UI là giao diện app dé người dùng tạo dit liệucho thí sinh, phòng thi, môn thi và ky thi Ngoài ra còn dùng để tải hình ảnh gian lậnthu được từ server Server dùng đề đọc dữ liệu nhận được từ ESP32 cũng như Client

và UL Server sẽ truy cập tới cơ sở dữ liệu MySQL dé trả kết quả về cho ESP32, Client

Hình 5 Sơ đồ kết nối hệ thong

3.2 Giải thuật nhận diện khuôn mặt

3.2.1 Giới thiệu Facenet [2]

“+ Khai quát

o_ Facenet là một mang neuron dùng dé biểu diễn các bức ảnh trong

một không gian Euclidean với số chiều (thường là 128), sao cho

khoảng cách giữa các vector embedding càng nhỏ thì mức độ tương

đồng giữa chúng càng lớn

16

o Phương pháp nay sử dụng ham triplet loss làm loss function, giúp

mạng học được sự tương đồng giữa hai bức anh cùng nhóm và phân

biệt các bức ảnh thuộc nhóm khác nhau, do đó đạt hiệu quả cao hơn

nhiều so với các phương pháp trước đây

«+ Triplet Loss [4]

o Triplet Loss giúp hoc một embedding space (không gian nhúng)

trong đó các khuôn mặt của cùng một người được gom vào gần nhauhơn và các khuôn mặt của các người khác được đây xa nhau hơn

o Xây dựng một mạng DNN để làm bộ trích xuất đặc trưng cho tập dữ

liệu này, với kết qua đầu ra là một vector embedding 128 chiều

o Huấn luyện mạng DNN dé đảm bảo rằng các vector embedding có

khả năng nhận diện tốt, bao gồm việc sử dụng normalization (khoảng

cách Euclidean) cho các embedding đầu ra và tối ưu hóa các tham số

trong mạng bằng Triplet Loss

o_ Hàm Triplet Loss sử dụng phương pháp chọn lựa triplet, nhằm lựa

chọn các embedding sao cho quá trình học đạt hiệu quả cao nhất

3.2.2 Mô hình pretrained

o Hầu hết chúng ta khi xây dựng một thuật toán nhận diện khuôn mặt

sẽ không cân phải train lại mô hình facenet mà tận dụng lại các mô

17

hình pretrain sẵn có Chính vì vậy, nhóm sử dụng mô hình có sẵn của

các tác giả Florian Schroff, Dmitry Kalenichenko, James Philbin [8].

o Mô hình của tác giả dựa trên kiến trục mạng Facenet và ở mạng DNN

tác giả sử dụng 02 mạng là ZFNet và InceptionV1.

© Độ chính xác của mô hình là 99.63% khi sử dụng tập dữ liệu Labeled

Faces in the Wild (LFW) và 95.12% khi sử dung tập dữ liệu Youtube

Vị dụ, một người có thể có đôi mắt rộng hoặc mũi to Xác định vi trí của các mốc này

có thể giúp chúng ta so sánh khuôn mặt Nói một cách cụ thể, khuôn mặt của một

người sẽ được mô tả thông qua những điểm landmark này, chúng là nguyên liệu đểcho ra vector face embedding, được dùng đề so sánh đề cho ra kết quả rằng 02 khuôn

mặt có của cùng một người hay không.

dlib [7] cung cấp 2 lựa chọn dé lay facial landmark, một model cho ra 05 điểm,model còn lại cho ra 68 điểm facial landmark

Tuy nhiên, trước hết mỗi khuôn mặt phải trải qua một bước gọi là Căn chỉnh,hay face alignment Việc căn chỉnh khuôn mặt này giúp chuẩn hóa các bức ảnh mặt

về một quy chuẩn nhất định, giúp tăng độ chính xác Ví dụ như:

s* Khuôn mặt được đặt nằm chính giữa ảnh

s* Khuôn mặt được xoay sao cho 02 mắt nằm trên cùng một đường thắng

tiếp từ internet Bộ dataset này đã được tác giả loại bỏ các nhãn lỗi một cách đáng kế

bang cach train đi train lại ding các phương pháp vẽ biéu đồ phân cụm theo dõi quátrình training và cả loại bỏ bằng tay Source code để training được tác giả cung cấp

Model đạt độ chính xác 99.38% trên benchmark LFW, một benchmark đánh

giá xác thực khuôn mặt.

3.4 Thu thập dữ liệu khuôn mặt mô hình Facenet

Dé xác thực khuôn mặt cần truy xuất đến database dé lay những embedding

tương ứng với ID của thẻ được quẹt Những embedding này được tạo ra từ những

hình ảnh chụp khuôn mặt mà nhóm đã chuẩn bị Dataset nhóm thu thập trên Kaggle[5] bao gồm 105 người, mỗi người có từ 100 đến 200 tắm ảnh Ở đây nhóm sử dụng

10 người, mỗi người 200 tam ảnh

19

Hình S Hình ảnh thành viên nhóm

20

3.5 Quá trình đánh giá mô hình Facenet

3.5.1 Chia tập dữ liệu

Training | Validation

Single Dataset

Hình 10 Quá trình chia tap dit liệu

Quá trình này chia đữ liệu thành 03 phan: Tập huấn luyện (training set), Tậpkiểm tra (test set), và Tập xác nhận (validation set) Ở đây nhóm sử dụng 2000 tắm

ảnh và chia tập dữ liệu như sau:

s* Tập Huấn Luyện (Training Set): Dùng để huấn luyện mô hình, chiếm

khoảng 60% tông số dit liệu là 1200 tam ảnh

* Tập Kiểm Tra (Test Set): Dùng dé đánh giá hiệu suất của mô hình sau khi

huấn luyện, chiếm khoảng 20% tông số dữ liệu là 400 tâm ảnh

s* Tập Xác Nhận (Validation Set): Dùng đề điều chỉnh siêu tham số và đánh

giá mô hình trong quá trình huấn luyện, chiếm khoảng 20% tổng số dữliệu là 400 tam ảnh

3.5.2 Quá trình huấn luyện

Image Face Features

Face Feature

> Detection > extraction > classification

Hình 11 Quy trình nhận diện khuôn mặt

Nguồn: Face Recognition with FaceNet and MTCNN

*.

“+ Face detection: Xác định một hoặc nhiều khuôn mặt trong ảnh Có nhiều

phương pháp thực hiện việc này, chăng hạn như sử dụng HaarCascade

hoặc các kỹ thuật Deep Learning Trong trường hop này, nhóm sử dụng

thư viện dlib dé phát hiện khuôn mặt

21

s* Feature extraction: Lấy các đặc trưng quan trọng từ ảnh chứa khuôn mặt

(vùng ảnh chứa khuôn mặt được xác định sau bước phát hiện) FaceNet có

thé được sử dụng dé trích xuất các đặc trưng này với vector 128 chiều

s* Face classification: Dựa trên các đặc trưng đã được trích xuất dé phân

loại khuôn mặt.

3.5.3 Kết quả đánh giáBang 1 Kết quả đánh giá từng người

* Nhóm đánh giá từng người trong 10 người được huấn luyện và tính tổng

trung bình lại sẽ ra được hiệu suất của mô hình là 94%

3.6 Giải thuật phát hiện hành vi

3.6.1 Giới thiệu MediaPipe

“ Mediapipe là một thư viện mã nguồn mở do Google phát triển, cung cấp

các giải pháp tiên tiến cho việc xử lý video và âm thanh theo thời gian thựcbang cách sử dụng các kỹ thuật học máy Mediapipe cho phép các nhà phát

22

triển xây dựng các ứng dụng AI và học máy một cách dé dàng và hiệu quả

mà không cân phải có kiên thức sâu về học máy.

7 s Các giải pháp trong Mediapipe bao gồm: Face detection, Hands detection,

Pose landmark detection, Ở đây nhóm sử dụng Pose landmark đetection

o Đề phân loại các lớp đối tượng trong ảnh, chúng ta có nhiều phương

pháp dé phân loại và thường phô biến nhất là CNN

o Nhưng dé phân loại hành động thi CNN sẽ không có hiệu quả cao

Bởi vì 01 hành động là tập hợp các hình ảnh liên tiếp nhau nên sẽ

nảy sinh những vấn đề sau:

+ Từng frame riêng lẻ dẫn đến khó nhận biết đúng được hành

động Vi dụ ở ảnh người di bộ và ảnh người chạy bộ có nét

tương đồng khá cao

* C6 thé áp dụng trên nhiều frame và lấy trung bình kết quả

nhưng vẫn không chính xác.

23

dữ liệu (sequences/time series) Khác với RNN truyền thống, LSTM

có các đơn vị đặc biệt gọi là các khối nhớ (memory blocks) trong cáclớp ân hồi quy (recurrent hidden layers) Các khối nhớ này chứa các

ô nhớ được kết nỗi với nhau dé lưu trữ thông tin trạng thái Ngoài ra,các đơn vị đặc biệt khác gọi là công (gates) sẽ kiểm soát dòng thôngtin Mỗi khối nhớ bao gồm ba loại công: công đầu vào, công đầu ra

và công quên.

«+ Timestep

Trong LSTM va các loại mạng hồi quy khác, “timestep” (bước thời

gian) là một khái niệm quan trọng, đề cập đến các đơn vị thời gianroi rac trong chuỗi dit liệu đầu vao

Dữ liệu được đưa vào LSTM theo từng bước thời gian Ví dụ, trong

một chuỗi thời gian gồm 10 phần tử, mỗi phần tử được xem là một

timestep.

Tai mỗi timestep t, LSTM su dung dau vao hién tai xt va trang thai

an từ bước thời gian trước đó ht — 1 dé tính toán trang thái an hiện

3.6.3 Quá trình train mô hình

Đọc ảnh từ =) Cac diém trén a »

Skeleton các điểm vào

Sử dụng thư viện file csv

o Nhóm đã thu nhập được dataset trên Mendely data [13] dap ứng yêu

cầu trên Dataset bao gồm 15051 tam ảnh và chia thành 13 lớp khác

nhau Mỗi lớp thể hiện 01 hành động gian lận trong kỳ thi như: quaytrái, quay phải, cúi xuống

o Nhóm sử dụng 4000 tâm ảnh và chia thành 02 lớp (mỗi lớp 2000 tam

ảnh): gian lận và không gian lận.

25

© Tương tự cho mô hình nhận diện khuôn mặt, nhóm cũng chia tập dữ

liệu thành 60% cho tập huấn luyện (Training Set), 20% cho tập kiểm

tra (Test Set) và 20% cho tập xác nhận (Validation Set).

s* Luu thông số

o Sau khi có dataset, nhóm tiến hành tạo các điểm trên khuôn mặt bang

cach sử dung thư viện của mediapipe Tam anh sau khi tao sẽ có kết

quả như sau:

o_ Tiếp tục lưu thông số các điểm này vào file csv tương ứng với từng

Hình 16 Các điểm trên khuôn mặt

26