Khóa luận tốt nghiệp Hệ thống thông tin: Xây dựng hệ thống câu hỏi và thi trắc nghiệm trực tuyến theo thang đo nhận thức Bloom

Đề tài này nhằm xây dựng hệ thống quản lý câu hỏi theo sáu cấp độtrong thang đo nhận thức Bloom nhớ, hiểu, vận dụng, phân tích, đánh giá, sángtạo và tổ chức thi trắc nghiệm trực tuyến gi

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH

TRUONG DAI HOC CONG NGHE THONG TIN

KHOA HE THONG THONG TIN

CAI NGỌC ANH TÀI - 17520996

VÕ THỊ DUY THẢO — 17521071

KHÓA LUẬN TÓT NGHIỆP

NGHIỆM TRỰC TUYẾN THEO THANG ĐO NHẬN

THỨC BLOOM

Building question bank — online multiple-choice examination system

based on Bloom’s Taxonomy

KY SU NGANH HE THONG THONG TIN

TP HO CHÍ MINH, 2021

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH

TRUONG DAI HOC CONG NGHE THONG TIN

KHOA HE THONG THONG TIN

CAI NGỌC ANH TÀI - 17520996

VÕ THỊ DUY THẢO — 17521071

KHÓA LUẬN TÓT NGHIỆP

XÂY DỰNG HE THONG CÂU HOI VA THI TRAC NGHIEM TRUC TUYEN THEO THANG DO NHAN

THUC BLOOM

Building question bank — online multiple-choice examination system

based on Bloom’s Taxonomy

KY SU NGANH HE THONG THONG TIN

GIANG VIEN HUONG DAN

THAC Si VU MINH SANG

TP HO CHÍ MINH, 2021

THONG TIN HOI DONG CHAM KHÓA LUẬN TOT NGHIỆP

Hội đồng cham khóa luận tốt nghiệp, thành lập theo Quyết định số

TigầYy của Hiệu trưởng Trường Đại học Công nghệ Thông tin.

LỜI CẢM ƠN

Đầu tiên, chúng tôi xin chân thành cảm ơn Khoa Hệ Thống Thông tin,trường Đại học Công nghệ Thông tin, Đại học Quốc gia Thành phố Hồ ChíMinh đã tạo điều kiện thuận lợi cho chúng tôi trong việc học tập và thực hiện đềtài tốt nghiệp này

Chúng tôi xin bày tỏ lòng biết ơn sâu sắc đến Thay Th.S Vũ Minh Sang

đã tận tình hướng dẫn, chỉ bảo trong suốt thời gian học tập và quá trình thựchiện đề tài

Chúng tôi xin chân thành cảm ơn các Thầy, Cô thuộc Khoa Hệ ThốngThông Tin nói riêng và các Thầy, Cô trường Đại Học Công Nghệ Thông Tin nóichung đã tận tình giảng dạy, trang bị cho chúng tôi những kiến thức quý báu

trong thời gian học tập tại trường.

Xin gửi lời cảm ơn chân thành đến gia đình và bạn bè vì đã luôn là nguồnđộng viên to lớn, giúp đỡ chúng tôi vượt qua những khó khăn trong suốt quá

trình học tập.

Mặc dù đã cố gắng hoàn thành khóa luận trong phạm vi và khả năng cho

phép nhưng chắc chăn sẽ không tránh khỏi những thiếu sót Chúng tôi rất mongnhận được sự thông cảm, góp ý và tận tình chỉ bảo của quý Thầy Cô và các bạn

Nhóm chúng tôi xin trân trọng cảm on!

Thành phố Hồ Chí Minh, thang 06 năm 2021

Nhóm sinh viên thực hiện

Cái Ngọc Anh Tai — Võ Thị Duy Thao

MỤC LỤC

Chương 1 TÔNG QUAN DE TÀI 2-2 Sc+E22EE£EEEEEE+EEEEEEEEEEEerrkerkervee 3

1.1 Tên để tài cccc nh ngư nhe 3

1.5 Giả thuyết khoa hỌC - 2c ©5£+S2+EE£EEEEEEEEE2E127127121121171171 11.1 .EEctxeeU 5

1.6 Phương pháp nghiÊn CỨU ¿25c 32c 3223323131 E3EEEEEEEEEEErrrsrrrserrsrre 6

1⁄7 Đóng góp của đề tài - ¿2+ 2k2 2212212112111 2111111 re 6

1.8 Cấu trúc của để tài che 6

Chuong 2 CO SỞ LÝ THUYÊT - 5-2 SE+EE+EE+EE£EE2EEEEEEEEEEEEEerkrreree 8

2.1 Thang do nhận thức của BÌOOIm - - 5 5+ 1E veEEekrreeserrseerre 8

2.1.1 Thang đo Bloom truyền thống -2- 2-2 2+5£+E£+E+£E+£E+Exerzrszes 8

2.1.2 Thang do Bloom tu chính - 5 +3 kEkksskEsseseerkesee 9

2.1.3 Ứng dụng thang đo Bloom trong kiểm tra, đánh giá năng lực 11

2.2 Tổng quan về trắc nghiệm khách quat c.csccccescsssessssessessesessesseeseeseeseseses 12

2.2.1 _ Tự luận và trắc nghiệm khách quan -: -: 2 ©5z2cxz2cs+e- 12

2.2.1.1 Trắc nghiệm tự luận ¿¿22+ E++E+£E++EE+EEtEErEerrkrrkerkerxee 12

2.2.1.2 Trắc nghiệm khách quan - + + +2 ++S+2E£+E££EerEerxerxzrxzrs 132.2.1.3 So sánh trắc nghiệm tự luận và trắc nghiệm khách quan 132.2.2 Một số dạng câu hỏi trắc nghiệm khách quan thường gặp 14

2.2.2.1 Trắc nghiệm đa lựa chon (multiple-choice question) 14

2.2.2.2 Trắc nghiệm đúng sai (true-false question) . -.: ‹:-: 152.2.2.3 Trắc nghiệm điền khuyết (filling question) .: - 152.2.2.4 Trắc nghiệm ghép đôi (matching question) - 5-5 5s 162.2.3 Độ tin cậy và độ giá tri của bai trắc nghiệm ++-«<++<<+ 16

2.2.3.1 Độ tin cậy (ReliabiÏity) ch HH 16

2.3 Xu ly 0i 0i (ni ái a 17

2.3.1 Trích chọn đặc trưng TTF-IDE 5c 35 S3 * + skrerreerrrererrre 17 2.3.2 Stemming va LemmatfIZAfIOI -. s5 + xi 19

2.3.2.1 SŠf{eImming .c- ck kxHHHnnHHHknr, 20

2.3.3 Part of Speech - LH HH HH HH 21

2.4 Một số mô hình học máy trong bài toán phân loại - 2-52: 21

2.4.1 _ Thuật toán Naive Bay€s Ăn HH HH gi, 21

2.4.2 Thuat toan May Vector hé tro (Support Vector Machine) 23

2.4.3 Thuật toán Passive AQSressive ccesccessceseeetseeseeeeseeeeaeeeseeeesneeaes 25 2.5 Phương pháp Ensemble LearnIng - «+ seeeeeereereersersee 25

2.5.1 Giới thiệu Ensemble Learn1ng - «+ s + + + +ssesseeeeseeseeers 25

2.5.2 Phương pháp kết hợp đơn giản - 2-52 s+c++s£+Eezxerxerxerseree 26

2.5.3.2 Boosting (tăng CƯỜNB) SÁT HH ng ng y 28

2.5.3.3 Stacking (xếp chồng) ¿©2+c 222x222 EEEEEcrkrrrree 282.6 Phương pháp huấn luyện lại mô hình thuật toán ¿2-5 s2 5+: 28Chuong 3 | KHAO SÁT, PHAN TÍCH THIET KE HỆ THÓNG 30

3.1 Khảo sát và phân tích các nghiên cứu liên quan - -5+s5<+ss5+ 30

3.2 Xác định chức năng cho đề tài - ¿5+ E+EE+EE+E2EE2E2EEEEerkerkerkrrree 31

3.3 Sơ đỗ tổng thỂ ¿22 5++SEEE2E12E12717112112112717112112111111.11E 11110 33

3.3.1 _ Sơ đồ phân rã chức năng - 2c ++E£+E++EEeEEerEzrrrkerkerree 34

3.3.2 Sơ đồ usecase tổng quát -¿©-+++c++2xtvrktsrkrsrkrrrrerkrerxee 34

3.4 Module quan lý câu hỏi - - c5 1 112319111 1 1 ng ng ni, 35

3.4.4.2 Biểu đồ tuần tự -.- St tt Sv St E211 1121111111111 exe 453.4.4.3 Biểu đỗ lớp c- 2c 222k 2212211271211 211 22121121111 ke 463.5 Module quản lý để thi - :- 2 s52 ESESE£EEEEEEEEEEE2E12112112121 11111 xe, 46

3.5.1 — Tạo đề thi - 7c 2t 2k2 2 E2 212112111121 46

3.5.1.1 Đặc tả USCCASC cccccccccsessssecceceessseeececeeessseeeceseesseeecceseesseeeeeeeeaas 46

3.5.1.2 Biểu đỗ tuần tự + x22 EEkEEEEEEEEerkrrrrererrrei 49

3.5.1.3 Biểu đỗ lớp -c- 5c 2s k EE2212211211 2112212112111 xe 50

3.5.2 — Sửa đề thi 2.2 HH HH Hee 50

3.5.2.1 Đặc td USCCASC QQQ TH HS SH TT ng ng kg kế 50

3.5.2.2 Biểu đồ tuần tự cccStc c2 2 111121 21etxerrrei 523.5.2.3 Biểu dO lớp St 2s 21 E212 122121111211111 21.11111111 533.5.3 Xóa đã đe <@ \ ẦẲƒ/ 53

3.6.2.2 Biểu đỗ tuần tự - kcSkc2E2 2212121121121 1121211 ekrre, 62

3.6.2.3 Biểu dO lớp -c- tt E21 E121212121111211211 21.11111111 63

3.7 Thiết kế cơ sở dữ liệu -¿©:-k+ESxSESESEEEESEEEEEE2EEE1E12E5E111111111 1112k 64

3.7.1 Mô hình quan hỆ 2¿©++++£+EE++EE2EEEEEESEEEEEECEEErrrkrrkerrkee 64

3.7.2 Ánh xạ cơ sở dữ liệu -©cc+ckc2EEtEEEEEECEEECEEkrrrkerkerrkee 64

3.8 Thiết kế luồng màn hình 2-2 2 £+E+E£EE£EE#EE+EEEEE2EEEErEeEkerkrrkrrkee 66Chương 4 XÂY DUNG MÔ HÌNH PHAN LOẠI CÂU HỎI 68

AL Mô tả bộ dữ liệu 2 2-©5£+SE2EEEEEE9711271211711271.21121111 1111 ecrei 68

4.2 Mô hình hoạt động - +2 S1 SE 9 91H TH TH ng ngư, 70

4.2.1 — Sơ đồ xử lý 2.2 TH HH rerrree 70

42.2 Mô tả tiền xử lý dữ liệu - + +2Ec2E2EEEEeEEerErrrrrrkerkerreee 71

4.2.3 Mô tả trích chọn đặc trưng TF-IIDE - 55s £+<£+see+eseeeses 71

4.3 Triển khai mô hình phân loại câu hỏi ¿2-2-2 s2 2+££+£2+Ee£E+zx+zszcez 72

4.3.1 Tổng hợp các mô hình phân loại sử dụng . : : 72

4.3.2 Kết hợp các mô hình (ensemble) 2-2 ssz+s+x+zx+zx+zxzxxee 73

4.3.3 Đánh giá mô hỉnh -++++2EE+EESEEEEErEEkerkerrkerrkeee 74

4.4 Huấn luyện lại mô hìnhh ¿2-2 E2+2E++EE+EE£EEEEEEEEEEEEEEErEkrrkerkrres 75

4.4.1 Online LearnIng cv HH ngư 75

4.4.2 Model Retraining ce eeecseeceeseceseeeececeeeeceseceaeeeeeeeceaeceseeeeeeaeees 77

4.5 Kết QUA ¡0ì 211 ỀỒỀ 4 77

4.5.1 Tinh năng phân loại cau hỏi - 525 S2 **++seseereeereererrrse 77

4.5.2 Tính năng huấn luyện lại mô hinh.e ceececccsecssesseesseessesstesstesseessees 77Chương 5 TRIÊN KHAI HE THONG wu ecceecececseeseessecseeseessessessesseesessesseeseees 80

5.1 Triển khai hệ thống 2¿- 2¿©2+2+++EE+2EE2EEEEEEEEESEEEEEEEEEEErkerkrrrrres 80

5.1.1 _ Kiến trúc hạ tầng của hệ thống -¿ 2+c++cxczxzrsrxerxerree 80

5.1.2 Công nghé sử dụng - + St S2 SH rệt 81

5.2 Tích hop và triển khai liên tục (CI/CD) -¿- 2 + ++E£+EetEerkerxerxerszrs 815.3 Kết quả dat QUOC ccecccsccssssssssssesssesssessussssessscssecsseesscssesssecsusssesssecssecseseseessecs 82

5.4 Hướng dan sử dunng c.ccccccccccccscsscsscsssscsscsesscssssessssessssessescsessescsscsesscseeseseesess 83

5.4.1 Soạn câu NOL - c1 1111922311111 11292311111 ng vn ket 83

5.4.2 Import câu hỏi - cà S3 HH giết 86

5.4.3, Soạn đề thi n.cccccccccccccssesssessesseessessuessesssessessusessesseessecssecseesseesseessesses 87

93

5.4.5 Thống kê E222 EE21121121127111211 111 EExcxe 97

Chương 6 KÉT LUẬN VÀ HƯỚNG PHAT TRIEN : -: 99

6.1 CAC << 996.2 Khó khăn và hạn chế cccecceccccscssesssssessessesssessessessessssesecsecsecsusssssseesecsesseeess 1006.3 Hướng phát triỂn 2¿©2+¿22++2E+2EESEkEEEEEEEEEESEEEEEkErkrerkrree 101TÀI LIEU THAM KHẢO 2: 2222 S£22E2E2EEESEE2EEE2E1E711221221 21121 re 102PHU LUC A: Usecase phân rã của các chức năng chính trong hệ thống 106PHU LUC B: Một số hình ảnh của hệ thống 2-2-2 2+£++£x22Ezz£z+csez 111

DANH MỤC HÌNH

Hình 2.1: Sự khác nhau giữa thang đo Bloom truyền thống và tu chính 9

Hình 2.2: Kỹ thuật Stemming và Lemimaf1ZafIOn c5 + £++£sekssesseesee 19 Hình 2.3: Minh hoạ kỹ thuật Stemming - - <2 1x k** E+kEsskEskesskeskrree 20

Hình 2.4: Minh họa kỹ thuật LemmatiZa(1OI - - 5 5 2c 3+ +*se+seexeeerseesrs 21

Hình 2.5: Siêu mặt phẳng SVM -¿- 2-©22222222E22122112711211 2112211211211 crk 24

Hình 2.6: Mô hình tổng quát phương pháp Ensemble Learning - 26

Hình 2.7: So sánh tương quan giữa phân loại riêng lẻ với bagging và boosting 28

Hình 3.1: Sơ đồ phân rã chức năng 2-2-2 £+£+EE+EE£EE+2EE+EEEEEtrEerrkrrkerkerex 34Hình 3.2: Sơ đồ usecase tổng quát của hệ thống ¿- ¿+ s++cx2zxvrxesrez 34

Hình 3.3: Đặc ta usecase thêm câu hỎI - - 22 SE S221 EE++£szeeeeeezsz 35

Hình 3.4: Biểu đồ tuần tự thêm câu hỏi 7c55ccccverrrrrrkkrrrrrrrirrrrrrrieg 36Hình 3.5: Biểu đồ lớp thêm câu hỏi - 2: 2¿22£2S£2E£+EE£2EE2EEtEEE+Exezrxerxesree 37

Hình 3.6: Đặc ta usecase import câu hỎi - s22 S< s32 EE+eExeereeereeereerererrre 38

Hình 3.7: Biểu đồ tuần tự import câu hỏi ¿2-2 E+SE+EE+E£+E+E+Eerkerxerxersrree 39Hình 3.8: Biểu đồ lớp import câu hỏi -2¿©2¿©5+22S+2£+2E++£x++zxezrxerxesrxe 40

Hình 3.9: Đặc tả usecase chỉnh sửa câu hỎi - - - 5555555 + *+++££++zee+eszeeeese 41

Hình 3.10: Biểu đồ tuần tự chỉnh sửa câu hỏi c5c-c55cccccxerrrrtrrrrrkrrree 42Hình 3.11: Biểu đồ lớp chỉnh sửa câu hỏi 5: 5£ S5 E2 ££2££+E£EerEerxerxerszxee 43

Hình 3.12: Đặc ta usecase xóa câu hỏỎi + 1111111222111 111 9 11 key, 44

Hình 3.13: Biểu đồ tuần tự xóa câu hỏi -cccccccvtterrttrrrrtirrrrrirrrrrrree 45Hình 3.14: Biểu đồ lớp xóa câu hỏi 22 5¿©5+2E++EE+2Ext2EEtrEterxezrxerreeree 46Hình 3.15: Đặc tả usecase tạo đề thi - :-cccccccxtttrttirtrrirrrtiirrrrirrirrieo 47

Hình 3.16: Biểu đồ tuần tự tạo để thi -¿ ccscctcrrrrtrrrrrtrirrrrrriirrrrririrrrre 49

Hình 3.17: Biểu d6 lớp tạo đề thi -¿- 2-52 2E SEeEEEEEEEEEEEEEEEEEEEEEEEEEEkerkerkrree 50Hình 3.18: Đặc tả usecase chỉnh sửa dé thi - - 5-5 s+x+EEE+E+EEEE+E+EeEErkeEereresree 51Hình 3.19: Biểu đồ tuần tự chỉnh sửa để thi cccc-c5ccccccxerrrrtrrerrrrrrre 52Hình 3.20: Biểu đồ lớp chỉnh sửa đề thi . 2: 22 5222+2E+tzxerxezrxerreeree 53

Hình 3.21: Đặc tả usecase xóa đề thi - 5c tt x EEEkEEEEEEEEEEEEEEkrrrkrrerkrry 54

Hình 3.22: Biểu đồ tuần tự xóa đề thi ccccccvttttktirtrrtrrrrtrirrrriirrrrrrieo 55

Hình 3.23: Biểu đồ lớp xóa đề thi ¿2-52-5222 E2EEEEEEEEE2E122121 21121121 re, 56

Hình 3.24: Đặc tả usecase thi trực tuyến bac caeeeeeesaacececeeessaeeeceseesseeececeessaaeececeeestaeeeeeees 57

Hình 3.25: Biéu đồ tuần tự thi trực tuyến oe.ecceeeeccsseessessecsessesseeseessessesseeseseeseeseess 58

Hình 3.26: Biểu đồ lớp thi trực tuyến - 2-2 £+E+SE+EE+EE£EEEEEEEEEEerEerkerkerkrree 59 Hình 3.27: Đặc tả usecase thống kê kết Qua 2-2 2 2+E£+E£EerEerxerxersrree 61 Hình 3.28: Biểu đồ tuần tự thống kê kết quả -¿ 2¿2+¿©2++2x+2cx+zxezresrez 62 Hình 3.29: Biểu đồ lớp thong kê kết quả - 2:2 5¿2++2++2x++£x+rxzxesrez 63

Hình 3.30: Mô hình thực thé kết hợp (ERD), 2- 2 2 2+5£+s£+E+zx+zxerxersxez 64

Hình 3.31: Luồng màn hình tông quan của quản trị viên và giáo viên 66

Hình 3.32: Luồng màn hình tông quát của thí sinh 2-2 2s szx+z++zszs+2 67 Hình 4.1: Sơ đồ xử lý của thuật todtt.c.cccccecccccccssesesseseesessessessessessessessssssessesseesesseeee 70 Hình 4.2: Tổng hợp độ chính xác của 7 mô hình phân loại -‹ «+ 74

Hình 4.3: Tổng hợp F1-Score của 7 mô hình phân loại ¿2 s2 szsz>s+ 75 Hình 4.4: Mô tả cách xử lý điểm dữ liệu mới 5-2 2 ++s£+x+zxezx+zxezsse2 76 Hình 4.5: Tính năng tự động phân loại trong soạn thảo câu hỏi - 77

Hình 4.6: Giao diện huấn luyện mô hình theo phương pháp Online Learning 78

Hình 4.7: Giao diện chọn câu hỏi từ ngân hàng câu hỏi dé huấn luyện mô hình 78

Hình 4.8: Giao diện tổng quan theo dõi các yếu tô của mô hình . - 79 Hình 5.1: Sơ đồ kiến trúc hệ thống 2-22 2¿©5+2E++EE+2EEt2EEtEEEerxezrxerresree 80

Hình 5.2: Quy trình CI/CD trên gitlab - óc 3 3211311111 rrrierrrerkrree 81

Hình 5.3: Website dành cho quan tri viÊn/g1áo VIÊN ¿5c + stress 82

Hình 5.4: Website dành cho học sinh 5 <2 5 S322 EE+ssseeeeeeeeezse 82

Hình 5.5: Giao diện quản lý danh sách câu hỏi 5c 5c S<£+sc<sessssesses 83

Hình 5.6: Lựa chọn loại câu hỏi cần thêm - - 6 SE t+E£EE+E£EE+EvEEeEerxererrers 84 Hình 5.7: Kết quả phân loại tự động câu hỏi -¿¿©+2©s++x++zxzxesrsz 84

Hình 5.8: Giao diện Preview câu hỎi - 2< 2S 21119221312 ng ng nen 85 Hình 5.9: Giao diện sau khi tạo câu hỏi thành công 55 ++<*++s+sxxsxs 85

Hình 5.10: Giao diện import câu hỎI c1 3+ 133113 EESESEerseereeereere 86

Hình 5.11: Kết quả sau khi import câu hỏi 2-2 5¿©2+¿2++2x+2£x++zxezxesrsz 87Hình 5.12: Giao điện quản lý để thicsc ceeccccccccccessesssesssessssseessecsusssessecssecsuessesssecsseess 87Hình 5.13: Giao diện tao template để thi eee ceccecccccsecsssesessecsessssesetsecersessesesseeeseesenes 88Hình 5.14: Giao diện điền thông tin đề thi - 2-22 S¿22x2E£t£x+ezxezrxrrreeree 88

Hình 5.15: Giao diện chọn nhóm, thí sinh cho đề thi -c-ccc+ccscce+ 89

Hình 5.16: Giao diện chọn thi sinh dé GIAO bài th1 - c ĂS St ssereeeree 89Hình 5.17: Giao điện chọn câu hỏi cho để thi 6-5 s5 +x£EE+E£EE+EvExeEerxerrxers 90Hình 5.18: Giao điện chọn câu hỏi cho dé thi theo cách thủ CÔNnG - 90Hình 5.19: Giao điện tạo đề thi tự động ¿2 + x+EE+EE+E+EEEEEerkerkerkerkrree 91Hình 5.20: Giao diện chon template cho đề thi -2- 22 5 ©+2x+2zx2z++zx+srsz 91Hinh 5.21: Giao dién cai dat cac yếu tỐ CỦa đỀ con HT 1 E111 11x cExrkrkee 92Hình 5.22: Giao diện hién thị kết quả sau khi tạo đề thi -. ¿52 5 5552552 92Hình 5.23: Giao diện các đề thi được giao cho thí sinh -«++s<<+ex+secses 93Hình 5.24: Hướng dẫn và quy chế thi - 2-2: s¿©5+2++£x+2Ext2EEtEx+erxesrxerreeree 93

Hình 5.25: Giao diên thi trực tuyến -¿ 2© +2+EE+EE+EEEEESEEEEEerEkrrkerkerkrrex 94

Hình 5.26: Giao diện làm bài và nut submit đỀ thi - - - + 2s +£e+x+Eez+zxzxez 94

Hình 5.27: Giao diện hiên thị kết quả sau khi thi - 2-2 2 s2 + s+z++£sss2 95

Hình 5.28: Giao diện quản lý lịch sử tH1 - 5 5-5535 ****++‡EE+veeEeeeeeeeerseeers 95

Hình 5.29: Giao diện chỉ tiết lịch sử thi theo từng đề - 5c ©cz+cs+cx+cxczsz 96Hình 5.30: Giao điện xem lại kết quả làm bai th1 - 555 £<+sscxseeseerss 96Hình 5.31: Giao diện xem kết quả chi tiết sau thi -2- 2 + x+2s£+£z+£x+zxzsz 97Hình 5.32: Thống kê điểm số theo từng đề thi 2- 2 2 2 2+s2+E+£x+£x+rxerssez 97Hình 5.33: Thống kê phan trăm mức độ hoàn thành câu hỏi theo thang đo 98Hình 5.34: Thống kê tỉ lệ sử dung và tỉ lệ trả lời đúng/sai của câu hỏi 98

Hình A.1: Phân ra usecase quan ly câu hỏi - - «+ set 106

Hình A.2: Phân rã usecase quản lý đề thi - 2 5¿2c++2x++zx+zzxzrxerseee 106

Hình A.3: Phân rã usecase quản lý môn học + + +s + + *sskrsereerseerreeres 107

Hình A.4: Phân rã usecase quản lý người dùng - - 5c + sssetrserreerresrs 107

Hình A.5: Phân rã usecase quản lý thí sinh - -. 55+ ++s + *++s++eeeeeeeeersesss 108

Phân rã usecase quan lý nhóm thí sinh 5+ «<++£+<x+e<+s 108

Phân rã usecase quản ly phân quyên : 2 5¿+++z++zx+zcxzz 109Phân rã usecase huấn luyện mô hình -2- 2 ¿+2+zcs+z 109Phân rã usecase làm bài thi trực tuyến -¿©2+s+cs+cxzxezrsrred 110

Giao diện trang dashbOar - -< + 311323119 ve riep 111

Giao điện trang quan lý người dùng của hệ thong wees 112Giao diện trang tạo người dùng hệ thống ¿ 2 5255552 112

Giao diện trang quản lý thí sinhh 5 55 + x2 gi rerey 113

Giao diện trang quản lý nhóm thi sinh 5++-s++ss+sx+eseersexrs 113

Giao diện quản lý phân quyềhn - 22 2 2+E+£E2E£EEeEErEzrerrxee 114

Giao diện quản lý môn học - ¿+ S+ + + *+E+veeeereerrereerrexrs 114

DANH MUC BANG

Hành vi theo từng cấp độ nhận thức của thang do Bloom 8Bảng định nghĩa, phân loại từng cap độ của thang đo Bloom 11

So sánh giữa tu luận va trac nghiỆm 5 + * + series 14

Bảng ví dụ phương pháp Max Voting ccSccsssssseeresseres 26 Bang ví dụ phương pháp AV€ragð1ng -s csknhnnnnnngngiey 27

Bang vi dụ phương pháp Weighted AveragIng cccccsssssss 27

Tổng hợp các chức năng của hệ thống liên quan -. 5- 5+: 31

Các tác nhân của hệ thống -¿ 2¿- 2£ 522+22EE2EEtEEEtEE+2EEvzrxerxecree 31Danh sách các chức năng của hệ thống -. ¿ 5¿©2s©z++cxz+cse2 33

Sự phân bố theo các mức độ của bộ dữ liệu sử dung cho thuật toán 69Mau câu hỏi từ hai tập dữ liệu đầu tiên 2 5¿©cs©ccccxzccxe2 70

Tổng hợp kết quả huấn luyện với 6 mô hình . ¿ ¿5252 73

Kết quả khi thực hiện tối ưu hóa tham số cho mô hình 73

So sánh kết quả mô hình PA, SGD va Ensemble - 2-5 25s 74

DANH MỤC TỪ VIET TAT

STT Ký hiệu chữ viết tắt Ý nghĩa

1 KTDG Kiểm tra đánh giá

2 NLP Nature Language Processing

3 NLTK Natural Laguage Tool Kit

4 PA Passive Aggressive

5 SGD Stochastic Gradient Descent

6 SVM Support Vector Machine

7 TE-IDF Term Frequency — Inverse

Document Frequency

8 TN Trắc nghiệm

9 TNKQ Trac nghiém khach quan

TOM TAT KHÓA LUẬN

Trong lĩnh vực giáo dục, các hệ thống quản lý ngân hàng câu hỏi và đềthi hiện nay cần phải giải quyết rất nhiều về chuẩn mực của đề thi và thang đocâu hỏi Đề tài này nhằm xây dựng hệ thống quản lý câu hỏi theo sáu cấp độtrong thang đo nhận thức Bloom (nhớ, hiểu, vận dụng, phân tích, đánh giá, sángtạo) và tổ chức thi trắc nghiệm trực tuyến giúp đảm bảo được các yếu tố về sự

hiệu quả, tính khách quan và độ tin cậy trong việc đánh giá thí sinh Từ đó có

thê phân tích, thống kê kết quả ra đầu ra một cách hiệu quả nhằm cải thiện, nâng

cao phương pháp dạy và học.

Hệ thống quản lý muốn hướng đến quản trị viên, giáo viên trong trườnghọc, giúp cho các Thay, Cô thuận tiện trong việc quan lý ngân hang câu hỏi, déthi, kỳ thi đễ dàng và nhanh chóng Phân hệ thi trực tuyến của hệ thống hỗ trợhọc sinh có thé kiểm tra trực tuyến, dé dang làm bài thi và xem kết qua sau khikiểm tra

Trong quá trình thực hiện đề tài, chúng tôi đã tìm hiểu và sử dụng các

thuật toán học máy khác nhau kết hợp với các phương pháp xử lý ngôn ngữ tự

nhiên như kỹ thuật phân loại từ trong câu (Part of Speech), kỹ thuật biến đổi từ

về dạng gốc (Stemming), bé ngữ (Lemmatization) dé ap dung vao bai toan tu

động phân loại câu hỏi theo thang do Bloom Sau quá trình áp dung, phân tích

và so sánh giữa các thuật toán khác nhau, nhóm chúng tôi đã lựa chọn sử dụng

thuật toán Passive Aggressive kết hợp với thuật toán Stochastic GradientDescent dé tạo ra mô hình có độ chính xác cao nhất là 80%

Cuối cùng sau khi hoàn thành, chúng tôi đã xây dựng được hệ thống quản

lý ngân hàng câu hỏi và đề thi trên nền tảng website Áp dụng được thuật toán

máy học vào bai toán phân lớp văn bản, hỗ trợ tự động phân loại các câu hỏi

theo các mức độ của thang đo Bloom, ngoài ra hệ thống còn cho phép mở rộng

và huấn luyện lại mô hình từ nguồn dữ liệu mới Đồng thời xây dựng một hệ

thống thi trực tuyến cho phép thi sinh có thé thi và rèn luyện kỹ năng theo từng

đề tài, từ đó thống kê, phân tích để có thể đánh giá một cách chính xác nhất kết

quả học tập.

Đề tài này là phần nhỏ đóng góp cải tiễn trong hoạt động giáo dục nhưng

van còn nhiều hạn chế, mong quý Thay, Cô và các bạn đón nhận, đánh giá vàgóp ý chân thành dé đề tài được hoàn thiện hơn

Chương 1 TONG QUAN DE TÀI

1.1 Tén dé tai

Tên tiếng việt: Xây dựng hệ thống câu hỏi và thi trac nghiệm trực tuyến theo thang

đo nhận thức Bloom.

Tên tiếng anh: Building question bank and online multiple-choice examination

system based on Bloom’s Taxonomy.

1.2 Dat van dé

Trong những năm gan đây, hình thức thi cử ở nước ta đã có nhiều thay đổi dé đápứng được chủ trương đổi mới việc kiểm tra, đánh giá kết quả học tập của Bộ Giáo

dục và Đào tạo, tiêu biểu là việc áp dụng phương thức thi trắc nghiệm khách quan

(TNKQ) ở các bậc học trong hệ thống giáo dục [1] Đề thi TNKQ có phạm vi rộng,bao quát nội dung của chương trình học vì thế tránh được tình trạng học tủ, học vẹt,ngoai ra còn có thể kiểm tra được nhiều kiến thức, nhiều khía cạnh trong một thờigian ngắn Do đó thông qua đề thi trắc nghiệm (TN), người học có thể tự đánh giálại bản thân để có những thay đôi tích cực trong học tập và các nhà giáo dục dễ

dàng đánh giá được trình độ số đông, có cái nhìn khách quan hơn về nội dung

chương trình và các thức tô chức đào tạo

Tuy nhiên đối với xu thế phát triển của nền giáo dục hiện đại, người học không chỉcần lĩnh hội các kiến thức mà còn phải biết vận dụng kiến thức đã học hữu hiệu,ứng dụng và sáng tạo trong chính cuộc sống thực tế hằng ngày Chính vì thế cácchuẩn kết quả năng lực và đánh giá học tập cần xây dựng trên một hệ thống cóthang bậc khoa học được công nhận và ứng dụng sao cho có thê phản ánh được mức

độ đạt được mục tiêu của chương trình học là cần thiết

Thang đo phân loại nhận thức của Bloom đã ra đời từ lâu và được ứng dụng nhiều

trong các lĩnh vực của giáo dục Vận dụng thang đo này vào phương pháp TNKQ sẽ

giúp giáo viên đễ dàng xây dựng được hệ thống ngân hàng câu hỏi đáp ứng được

các yêu câu của đê kiêm tra, chuân kêt quả năng lực và đánh giá kêt quả.

Bên cạnh việc đổi mới các phương pháp giảng day và đánh giá thì việc ứng dụng

Công nghệ thông tin cũng được xác định là một trong những nhiệm vụ trọng tâm dé

đổi mới và phát triển giáo dục [2] Tin học hóa sẽ góp phan nâng cao chất lượng dạy

và học Trong khoa cử cũng vậy, dé đảm bao chất lượng của một kỳ thi, tính kháchquan, chính xác và khoa học phải được đặt lên hàng đầu

Sự kết hợp giữa phương pháp TNKQ và tin học hóa không những đáp ứng được cácyếu tô đó mà còn giúp tiết kiệm thời gian, chi phí trong công tác tổ chức và quan lý,đồng thời kết quả mang lại sẽ rất nhanh chóng và chính xác

Một trong những thành phần quan trọng ảnh hưởng trực tiếp đến kết quả, chất lượngcâu hỏi là giai đoạn phân loại câu hỏi Đã có nhiều phương pháp tiếp cận được đưa

ra cho bài toán này, tuy nhiên phương pháp áp dụng mô hình học máy vào phân loại

câu hỏi được áp dụng nhiều hơn cả Chính vì lý do đó nhóm chúng tôi nghiên cứu

và xây dựng một số mô hình phân loại câu hỏi vào đề tài này làm công cụ hỗ trợ để

hệ thống được vận hành một cách khoa học, dễ dàng

Với những lý do trên, nhóm tác giả đã chọn dé tài: “Xây dựng hệ thống quan lýcâu hỏi, tổ chức thi trắc nghiệm trực tuyến theo thang đo nhận thức củaBloom” làm khóa luận tốt nghiệp

1.3 Mục tiêu nghiên cứu của đề tài

Từ những phân tích trên, nhóm chúng tôi xác định mục tiêu nghiên cứu của đề tài

như sau:

- Đối với hệ thống quản lý câu hỏi và thi trực tuyến:

+ Nghiên cứu tổng quan về lý thuyết TNKQ, các loại câu hỏi được sử dụng

để xây dựng dé thi TNKQ

+ Tim hiểu, khảo sát hệ thống tương tự dé nghiên cứu, xây dựng hệ thống hỗ

trợ bộ phận quan tri viên của các cơ sở đào tạo, trường học trong việc quan

ly câu hỏi và tô chức thi trac nghiệm trực tuyên.

- Đối với việc phân loại theo thang đo Bloom:

+ Ung dụng tiêu chuẩn của thang đo nhận thức Bloom trong quá trình tạo lập

ra bộ câu hỏi, đê thi đê nâng cao chuân đánh giá học tập của người học.

+ Nghiên cứu, tạo ra công cụ dé hỗ trợ tự động phân loại câu hỏi theo các

mức độ nhận thức của thang đo.

1.4 Đối tượng và phạm vi nghiên cứu của đề tài

1.4.1 Đối tượng nghiên cứu

- Hệ thống quan lý muốn hướng đến quản trị viên, giáo viên trong trường học,

giúp cho các Thay, Cô thuận tiện trong việc quản lý ngân hàng câu hỏi, đề thi

dễ dàng và nhanh chóng.

- Phân hệ thi trực tuyến của hệ thong hỗ trợ học sinh có thé kiểm tra trực tuyến

Dé dang làm bài thi và xem kết quả sau khi kiểm tra

1.4.2 Pham vi nghiên cứu

- Tìm hiểu về các loại câu hỏi TNKQ

- Tìm hiểu, ứng dụng các tiêu chuân của thang đo nhận thức Bloom vào việc

xây dựng câu hỏi.

- Xây dựng và phát triển hệ thống trên nền tảng website với các chức năng cơ

bản:

+ Quản lý danh sách môn học theo từng chương

Quản lý ngân hàng câu hỏi

+ Quản lý ngân hàng đề thi

Tổ chức thi trực tuyến

- Tìm hiểu các thuật toán máy học dé hỗ trợ trong việc tự động phân loại câu

hỏi theo từng thang đo nhận thức.

1.5 Giá thuyết khoa học

Nếu có một hệ thống quản lý ngân hàng câu hỏi TNKQ và tổ chức thi trực tuyến

được lưu trữ theo chuẩn thang do Bloom phù hợp với nội dung của chương trình cácmôn học thì sẽ góp phần nâng cao hiệu quả kiêm tra và đánh giá chất lượng

1.6 Phương pháp nghiên cứu

- Phương pháp nghiên cứu lý thuyết:

+ Phương pháp thu thập tài liệu: thông qua quá trình thu thập tải liệu từ các

nguôn như sách báo, mạng internet, tong hợp, nghiên cứu các tài liệu, ngôn

ngữ và công nghệ liên quan.

+ Phương pháp phân tích, thiết kế hệ thống: dựa trên những thông tin thu

được dé tiến hành phân tích, thiết kế hệ thống cho những chức năng chínhcủa website, từ đó xây dựng thông qua quá trình mô hình hóa hệ thống,

chuẩn hóa cơ sở đữ liệu một cách phù hợp

- Phương pháp nghiên cứu thực nghiệm:

+ Phân tích yêu cầu thực tế và xây dựng các bước phân tích hệ thống dé hỗ

trợ lập trình, xây dựng ứng dụng Đánh giá kết quả đạt được, triển khai và

bảo trì.

1.7 Đóng góp của đề tài

- Làm tài liệu tham khảo trong việc đôi mới kiểm tra và đánh giá trong giáo duc

- Sử dụng hệ thống dé lưu trữ ngân hàng câu hỏi theo chuẩn thang do Bloom, cho

phép người học có thé tự kiểm tra, đánh giá được kết quả học tập của mình

- Hỗ trợ công cụ phân loại câu hỏi tự động theo thang đo Bloom

1.8 Câu trúc của dé tai

Từ những mục tiêu trên, chúng tôi đã thực hiện các công việc và kêt quả được thê hiện trong báo cáo luận văn này theo câu trúc như sau:

Chương 1 Tổng quan đề tai: tìm hiểu nhu cau thực tế và lý do thực hiện đề

tài, đồng thời giới thiệu sơ lược vê đê tài và mục tiêu phải đạt được.

Chương 2 Cơ sở lý thuyết: mô tả những lý thuyết liên quan về thang đo

nhận thức Bloom, các loại câu TNKQ, những kiến thức nền tảng về các phương

pháp xử lý ngôn ngữ và thuật toán máy học sử dụng trong việc xây dựng mô hình phân loại câu hỏi.

Chương 3 Khảo sát, phân tích thiết kế hệ thống: tìm hiểu, đánh giá các đềtài nghiên cứu và hệ thống liên quan Từ đó xác định cụ thé các chức cần có dé thựchiện phân tích thiết kế và vẽ sơ đồ chức năng của hệ thống.

Chương 4 Xây dựng mô hình phân loại câu hỏi: mô tả các phương pháp

xây dựng mô hình thuật toán máy học dùng đề phân loại câu hỏi trong đề tài

Chương 5 Triển khai hệ thống: mô tả các bước trién khai hệ thống và trình

bày một số kết quả đạt được sau quá trình thực hiện đề tải

Chương 6 Kết luận và hướng phát triển: tóm lại các vấn đề đã giải quyết,

nêu ra những khó khăn và mặt hạn chế của dé tài và đề xuất hướng phát trién trong

tương lai.

Chương 2 CƠ SỞ LÝ THUYET

2.1 Thang đo nhận thức của Bloom

2.1.1 Thang đo Bloom truyền thống

Trong lĩnh vực giáo dục, thang cấp độ tư duy có thể được xem là một công cụ nền

tang dé từ đó xây dung, do lường, sắp xếp các mục tiêu của các chương trình giáodục và quy trình đào tạo Thang đo về các cấp độ tư duy đầu tiên được Benjamin

S.Bloom, một nhà tâm lý học người Mỹ đưa ra vào năm 1956 [3] Trong thang đo

này, ông đưa ra 6 cấp độ nhận thức từ đơn giản đến phức tạp Có thể tóm lược như

sau:

Cấp độ Hành vi của nhận thức

Kiến thức Sự ghi nhớ tới các chủ đề phô biến và đặc biệt, các phương(Knowledge) | pháp, quá trình, và sự ghi nhớ các mô hình, cấu trúc, bối cảnh

Lĩnh hội Khả năng năm bắt thông tin, hiểu nội dung, diễn giải, diễn

(Comprehension) | dịch, suy diễn

Đánh giá Đánh giá vé chat lượng của sự vật dựa trên giá tri, điêu kiện

(Evaluation) cần và đủ, logic hoặc công dụng

Bảng 2.1: Hành vi theo từng cấp độ nhận thức của thang đo Bloom

2.1.2 Thang đo Bloom tu chính

Thang đo Bloom truyền thống được sử dụng rộng rãi trong giảng dạy khoảng 50năm trước khi được đề xuất điều chỉnh vào năm 2001 bởi 2 tác giả chính là Lorin

W.Anderson và David R.Krathwohl [4] Trong thang đo Bloom tu chính, các tác gia

đã đề xuất các mức độ nhận thức lần lượt là: nhớ (remembering), hiểu

(understanding), vận dung (applying), phân tích (analyzing), đánh giá (evaluating)

và sáng tạo (creating) Có ba sự thay đổi đáng lưu ý trong sự điều chỉnh này so vớithang đo Bloom truyền thống: cấp độ tư duy thấp nhất là Nhớ thay vì Biết, cấpTổng hợp được bỏ đi va đưa thêm Sang tạo vào mức cao nhất, các danh động từ

thay cho các danh từ.

1956 2001

Hình 2.1: Sự khác nhau giữa thang đo Bloom truyền thống và tu chính

Bảng sau đây cung cấp nội dung giải thích gắn gọn, đồng thời cho một số ví dụ và

từ khóa thường dùng đối với mỗi cấp độ trên thang Bloom tu chính (Bloom’s

Revised Taxonomy).

Cấp độ Ví dụ & Từ khóa

Nhớ: khôi phục, ghi nhận và nhớ

lại các kiên thức có liên quan

Ví dụ: viết lại công thức, đọc lại một bài thơ,

mô tả lại một sự kiện, nhận biết phương án

đúng

Từ khóa: nhắc lại, mô tả, liệt kê, trình bày,

chọn lựa, gọi tên, nhận diện

Hiểu: nam bat được ý nghĩa của

thông tin, thể hiện qua khả năng

diễn giải, suy diễn, liên hệ, khái

quất

Vi dụ: giải thích một định luật, phân biệt cách

sử dụng các thiết bị, viết tóm tắt một bài báo,trình bày một quan điểm

Từ khóa: giải thích, tóm tắt, phân biệt, mở

rộng, khái quát hóa, cho ví dụ, nhận định, so sánh, sap xêp

minh, giải thích, xây dựng, lập kế hoạch

Phân tích: chia thông tin, kiến

thức thành các phần nhỏ, sau đó

xác định cách các thành phần nhỏ

đó liên quan với nhau và với một

câu trúc hoặc mục đích tông thê

Ví dụ: lý giải nguyên nhân thất bại của mộtdoanh nghiệp, hệ thống hóa các văn bản pháp

qui, xây dựng biểu đồ phát triển một doanh

nghiệp.

Từ khóa: Phân tích, lý giải, so sánh, lập biêu

đồ, phân biệt, minh họa, xây dựng mối liên

hệ, hệ thống hóa

Đánh giá: đưa ra nhận định, phán

quyết của bản thân đối với thông

tin dựa trên các chuân mực, tiêu

Ví dụ: phản biện một nghiên cứu, bài báo;

đánh giá khả năng thành công của một giải

10

chí pháp; chỉ ra các điêm yêu của một lập luận

Từ khóa: Đánh giá, cho ý kiến, bình luận,tổng hợp, so sánh

Sáng tạo: xác lập thông tin, sự vật | Ví dụ: thiết kế một mẫu nhà mới, xây dựng

mới trên cơ sở những thông tin, sự | một công thức mới, sáng tạo một bài hát,

vật đã có Từ khóa: thiết lập, tổng hợp, xây dựng, thiết

kê, sáng tác, đê xuât

Bảng 2.2: Bảng định nghĩa, phân loại từng cấp độ của thang đo Bloom

2.1.3 Ứng dung thang do Bloom trong kiểm tra, đánh giá năng lực

Dé có thé ứng dụng thang đo Bloom vào giáo dục, chúng ta nên sử dụng các động

từ có tính nhấn mạnh đề chỉ mục tiêu hoặc khả năng phải làm được một việc gì đó

[5] Sau đây liệt kê một SỐ động từ thường được sử dụng cho từng bậc của quá trình

nhận thức đã được đề cập theo thang đo Bloom tu chính nêu trên (mục 2.1.2)

e Nhớ (Remember): trích dan (cite), định nghĩa (define), mô tả (describe), xác

định (identify), liệt kê (list), gọi tên (name), phác thao (outline), nhắc lại(recall), tường thuật (report), tái tạo (reproduce), thể hiện (show), chọn lựa

(select), liên hệ (relate),

e Hiểu (Understand): phân loại (classify), so sánh (compare), đối chiếu

(contrast), chứng minh (demonstrate), giải thích (explain), mở rộng (extend),

minh hoa (illustrate), suy luận (infer), giải thích — làm sáng tỏ (interpret),

phác thao (outline), liên hệ (relate), diễn đạt lại (rephrase), tóm tắt

(summarize), dịch (translate),

e Van dung (Apply): ứng dung (apply), xây dung (build), lựa chon (choose),

vẽ - dựng (construct), phát triển (develop), xác định (identify), chất van

(interview), tổ chức (organ1ze), lập kế hoạch (plan), chọn lua (select), giảiquyét (solve), tối ưu (utilize),

lãi

e Phân tích (Analyze): phân tích (analyze), sắp xếp (arrange), phân loại

(categorize, classify), so sánh (compare), kết luận (conclusion), phân giải(deconstruct), đò tim (detect), vẽ biểu đồ (diagram), phân biệt (differentiate,

discriminate, distinguish), giải thích (explain), xem xét (examine), quan sat (inspect), khảo sat (survey),

e Đánh giá (Evaluate): đánh giá (appraise, assess), tranh luận (argue), so sánh

(compare), kết luận (conclude), xem xét (consider), đối chiếu (contrast),thuyết phục (convince), phê bình (criticize), xác định (determine), chứngminh (justify), xếp hang (rank), đề xuất (recommend),

e Sang tao (Create): sap xép (arrange), tap hop (assemble), xay dung (build),

thu thap (collect), két hop (combine), tao nén (create), thiét ké (design), phat

trién (develop), tao ra (generate), đưa ra gia thuyét (hypothesize), tích hợp

(integrate), phát minh (invent),

2.2 Tong quan về trac nghiệm khách quan

2.2.1 Tw luận và trắc nghiệm khách quan

TN theo nghĩa rộng là một hoạt động được thực hiện để đo lường năng lực của

các đối tượng nào đó nhằm mục đích xác định

Trong giáo dục, TN được tiến hành thường xuyên ở các kỳ thi, kiểm tra để đánh

giá kết quả học tập, giảng dạy đối với một phần của môn học, toàn bộ môn học, đối

voi cả một cấp học, hoặc dé tuyển chọn một số người có năng lực nhất vào một

khóa học.

TN viết thường được chia thành 2 loại: trắc nghiệm tự luận và trắc nghiệm khách

quan.

2.2.1.1 Trắc nghiệm tự luận

Là phương pháp kiểm tra gồm các câu hỏi dạng mở (loại câu hỏi này không

chỉ có một câu trả lời hay một kiêu trả lời mà có thê có nhiêu cách, nhiêu hướng

12

trình bay) mà học sinh phải tự mình trình bày ý kiến trong một bài viết dai dé giảiquyết vấn đề mà câu hỏi nêu ra.

2.2.1.2 Trắc nghiệm khách quan

Là nhóm các câu hỏi trong đó một câu nêu ra một vẫn đề cùng một thông tincan thiết đòi hỏi học sinh phải viết câu trả lời ngắn hoặc lựa chọn một câu trả lời,hay phải điền thêm một vai từ

2.2.1.3 So sánh trắc nghiệm tự luận và trắc nghiệm khách quan

Loại câu hỏi tự luận thường đòi hỏi học sinh phải viết nhiều câu dé trả lời, nókhông có một câu trả lời đúng hay một kiêu dé trả lời Dé đánh giá được một cáchchính xác và có chất lượng, một bài tự luận phải được chấm bởi người có kinh

nghiệm và biểu biết về lĩnh vực của môn học tương ứng Bài trắc nghiệm tự luận

không thê đánh giá một cách tuyệt đối là đúng hay sai

Trong khi đó TNKQ thì có các ưu điểm như: khảo sát được số lượng lớn thísinh, kết quả nhanh, điểm số đáng tin cậy, khách quan vì không phụ thuộc vàongười chấm Bên cạnh những ưu điểm thì TNKQ cũng có một vài hạn chế chănghạn như: thí sinh có khuynh hướng đoán mò đáp án, không thấy rõ diễn biến tư duy

của thí sinh, khó soạn đê và tôn công sức.

Bảng so sánh dưới đây sẽ cung câp cái nhìn rõ ràng hơn giữa tự luận và trắc nghiệm:

Việc sáng tạo khi trả lời không bị hạn chế bởi một

khung câu hỏi có sẵn

Đề thi phủ kín nội dung học x

It may rủi do trúng tủ hay trật tủ x

It tốn công cham thi x

Khach quan trong cham thi x

Áp dụng được công nghệ mới trong việc nâng cao chất

lượng đề thi, giữ bi mật dé thi, hạn chế quay cóp khi thi,

hạn chế tiêu cực trong chấm thi và giúp phân tích kết

quả thi

Bảng 2.3: So sánh giữa tự luận và trắc nghiệm

2.2.2 Một số dạng câu hỏi trắc nghiệm khách quan thường gặp

2.2.2.1 Trắc nghiệm đa lựa chọn (multiple-choice question)

Là dang TN thông dụng nhất hiện nay Loại này có một câu phát biéu căn bảngọi là câu dẫn và có nhiều câu trả lời để học sinh lựa chọn, trong đó chỉ có một câutrả lời đúng nhất hay hợp lý nhất còn lại đều là sai, những câu trả lời sai là câu môi

hay câu nhiễu

- Ưuđiểm:

+ Có thé tiến hành kiểm tra đánh giá (KTĐG) trên diện rộng trong thời

gian ngắn+ Yếu tổ đoán mò, may rủi giảm nhiều nên học sinh phải xét đoán và

phân biệt kĩ càng trước khi trả lời, vì thế loại câu này có độ tin cậy cao

+ Đảm bảo tính khách quan khi cham

+ Phân tích được tính chat “môi” của câu hỏi

14

+ Tính chất gia tri tốt hơn, có thé do được kha năng nhớ, vận dụng, khả

năng suy diễn, tong quát hóa tạo điều kiện cho học sinh tự đánh giá

kết quả học tập của mình một cách chính xác

+ Có thé sử dụng phương tiện hiện đại để chấm bài và phân tích kết qua

- Nhược điểm:

+ Khó khăn trong việc biên soạn các câu hỏi, tôn nhiêu thời gian

+ Không đo được khả năng khéo léo, sáng tao của học sinh

- Phạm vi sử dụng: có thé dùng cho mọi hình thức KTĐG Rat thích hợp

cho việc đánh giá, xếp loại học sinh2.2.2.2 Trắc nghiệm đúng sai (true-false question)

Loại câu này được trình bày dưới dạng một phát biểu và học sinh phải trả lời

bằng cách chọn đúng hay sai

- Ưu điểm: đưa ra nhiều nội dung trong một thời gian ngắn, dé biên soạn

- Nhược điểm: có thé khuyến khích sự đoán mò nên khó có thể xác định sai

lầm chủ yếu của học sinh khi học một kiến thức cụ thê, độ tin cậy thấp

- Phạm vi sử dụng: thích hợp cho kiểm tra van đáp nhanh Thường sử dụng

khi không tìm được đủ phương án cho câu hỏi nhiều lựa chọn2.2.2.3 Trắc nghiệm điền khuyết (filling question)

Có thể có 2 dạng, chúng có thé là những câu hỏi với giải đáp ngắn, hay cũng

có thé gồm những câu phát biểu với một hay nhiều chỗ trống mà học sinh phải điền

vào một từ hay một cụm từ.

- Ưu điểm: dễ xây dựng và hoc sinh có cơ hội trình bày những câu trả lời

khác thường, phát huy sáng kiến, suy luận và khảo sát được khả năng luyệntrí nhớ Học sinh mất cơ hội đoán mò, nên câu hỏi có độ tin cậy cao hơn

- Nhược điểm: cách chấm điểm khó khăn và tốn nhiều thời gian, chủ yếu

kiểm tra khả năng ghi nhớ và nhận biết

- Phạm vi: thích hợp cho các môn ngoại ngữ, xã hội và nhân van

15

2.2.2.4 Trắc nghiệm ghép đôi (matching question)

Đây là loại hình đặc biệt của loại câu hỏi nhiều lựa chọn, trong đó học sinh

tìm cách ghép các câu trả lời ở trong cột này với câu hỏi ở cột khác sao cho phù

hợp.

- Ưu điểm: câu hỏi ghép đôi dễ xây dựng, hữu hiệu trong việc đánh giá khả

năng nhận biết các hệ thức hay lập các mối tương quan

- Nhược điểm: dễ trả lời thông qua việc loại trừ, không phù hợp cho việc

thâm định các khả năng như sắp đặt và vận dụng các kiến thức

- Phạm vi sử dụng: thích hợp với việc kiểm tra kiến thức cơ bản sau khi học

xong một chương, một chủ đề2.2.3 Độ tin cậy và độ giá trị của bài trắc nghiệm

Đề đánh giá chất lượng bài thi trắc nghiệm cần dựa trên nhiều yếu tố, trong đó độtin cậy và độ giá trị là những yếu tố đánh giá quan trọng của một đề thi

2.2.3.1 Độ tin cậy (Reliability)

Trắc nghiệm là một phép do: dùng thước đo là bai trắc nghiệm dé do lườngmột năng lực nào đó của học sinh Độ tin cậy của bài trắc nghiệm chính là đại lượngbiểu thị mức độ chính xác của phép đo nhờ bài trắc nghiệm

Độ tin cậy của bài TNKQ được xem như là một số đo về sự sai khác giữađiểm số quan sát được và điểm số thực của học sinh

2.2.3.2 Độ giá trị (Validity)

Độ giá trị của đề trắc nghiệm là đại lượng biểu thị mức độ đạt được mục tiêu

đề ra cho phép đo nhờ đề trắc nghiệm

Đề đề trắc nghiệm có độ giá trị cao cần phải xác định tỉ mỉ mục tiêu cần đoqua đề trắc nghiệm và bám sát mục tiêu đó khi xây dựng câu hỏi TNKQ

16

Đề đảm bảo tính giá trị của bài kiểm tra cần phải quan tâm đến tính toàn diện

của nó tức là cả chất lượng và số lượng Trong quá trình KTĐG phải đánh giá một

cách trung thực, khách quan và chính xác.

2.3 Xử lý ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) là một trong những

lĩnh vực quan trọng của trí tuệ nhân tạo, được phát triển nhằm xây dựng các chươngtrình máy tính có khả năng phân tích, xử lý và hiểu ngôn ngữ con người [6] Một số

ứng dụng quan trọng của NLP có thể chỉ ra như: nhận dạng tiếng nói, tổng hợp

tiếng nói, truy xuất thông tin, trích chọn thông tin, tóm tắt văn bản tự động, Cácphần sau đây sẽ mô tả một vài kỹ thuật sử dụng trong các bài toán xử lý ngôn ngữ

tự nhiên.

2.3.1 Trích chọn đặc trưng TF-IDF

Thuật ngữ Term Frequency — Inverse Document Frequency (TF-IDF) là một

phương thức thống kê được biết đến rộng rãi dé xác định độ quan trong của một từtrong đoạn văn bản trong một tập nhiều đoạn văn bản khác nhau

TF-IDF xác định trọng số của một từ trong văn bản thu được qua thống kê thé

hiện mức độ quan trọng của từ này trong một văn bản, mà bản thân văn bản đang

xét năm trong một tập hợp các văn bản [7, 8] Giá trị của TF-IDF cao thể hiện độ

quan trọng cao và nó phụ thuộc vào số lần từ xuất hiện trong văn bản nhưng bù lại

bởi tần suất của từ đó trong tập dữ liệu Một vài biến thể của TF-IDF thường được

sử dụng trong các hệ thông tìm kiếm như một công cụ chính dé đánh giá và sắp xếp

văn bản dựa vào truy vân của người dùng.

Term Frequency (TF): là tan suất xuất hiện của một từ trong một đoạn văn bản

Vì các văn bản có thé có độ dai ngắn khác nhau nên một số từ có thể xuất hiệnnhiều lần trong một văn ban dai hon là một văn bản ngắn Như vậy, TF thường

được chia cho độ dài văn bản (tổng số từ trong một văn bản)

17

TƯŒ, 4) = max/f(w,d):w € d (1)

Trong đó:

e TF(t,d) — Tần suất xuất hiện của từ t trong văn bản d

e f(t,d) — Số lần suất hiện của từ trong văn bản d

e max{f(w,d):w € đ} — Số lần xuất hiện của từ có số lần xuất hiện

nhiều nhất trong văn bản d

Inverse Document Frequency (IDF): là nghịch dao tần suất của văn bản, giúpđánh giá tầm quan trọng của một từ Khi tính tần số xuất hiện TF thì các từ đều

được coi là quan trọng như nhau Tuy nhiên có một số từ thường được sử dụng

nhiều nhưng không quan trọng dé thê hiện ý nghĩa của đoạn văn Vì vậy ta cần giảm

đi mức độ quan trọng của những từ đó bằng cách sử dụng IDE:

“Id ePD:t e a)|

IDF(t,D) =

Trong đó:

e IDF(t,D) — Giá trị IDF của từ t trong tập văn bản D.

e |D| — Tổng số văn bản trong tập D

e l{d€D:t € d}| — Thẻ hiện số văn bản trong tập D có chứa từ t.

Cơ số logarit trong công thức này không làm thay đổi giá trị IDE của từ mà chỉthu hẹp khoảng giá trị của từ đó Việc sử dụng logarit nhằm giúp giá trị TF-IDF của

một từ nhỏ hon, do công thức tính TF-IDF của một từ trong một văn ban là thích của TF và IDF cua từ đó Công thức tính TF-IDF được xác định như sau:

2.3.2 Stemming và Lemmatization

Trong quá trình xử lý ngôn ngữ tự nhiên, chúng ta sẽ có nhu cầu so sánh các từ(token) với nhau, tuy nhiên không thể so sánh token đơn giản như việc so sánh hai

chuỗi “==” với nhau Đối với một số ngôn ngữ, tiêu biểu là tiếng Anh, mỗi từ có thé

có nhiều biến thé khác nhau Điều này làm cho việc so sánh giữa các từ là không thé

mặc dù về mặc ý nghĩa cơ bản là như nhau Ví dụ các từ “walks“, “walking“,

“walked” đều là các biến thé của từ “walk” và đều mang ý nghĩa là “đi bộ Dé giảiquyết cho những trường hợp này Lemmatization và Stemming chính là 2 kỹ thuật

2.3.2.1 Stemming

Stemming là kỹ thuật dùng để biến đổi 1 từ về dạng gốc (được gọi là stemhoặc root form) băng cách loại bỏ 1 số ký tự nằm ở cuối từ mà nó nghĩ rang là biến

thé của từ Người ta gọi các bộ xử ly stemming là Stemmer

Vi dụ: Sử dụng thư viện Natural Language Tool Kit (NLTK) dé so sánh việc

xử ly của các loại Stemmer phổ biến hiện nay bao gồm: PosterStemmer,

LancasterStemmer và SnowballStemmer.

from nltk.stem import PorterStemmer

from nltk.stem import LancasterStemmer

from nltk.stem.snowball import SnowballStemmer

for word in word_list:

print("{@:20}{1:20}{2:20}{3:26}".format(word, porter.stem(word),lancaster.stem(word), englishStemmer.stem(word))

Word Porter Stemmer lancaster Stemmer Snowball Stemmer

friend friend friend friend

friendship friendship friend friendship

friends friend friend friend

friendships friendship friend friendship

stabil stabil stabl stabil

destabilize destabil dest destabil

misunderstanding misunderstand misunderstand misunderstand

railroad railroad railroad railroad

moonlight moonlight moonlight moonlight

football footbal footbal footbal

Hình 2.3: Minh hoạ kỹ thuật Stemming

- Ưu điểm: đơn giản nên xử lý nhanh

- Nhược điểm: đối với những từ biến thể khác thì kế quả lại không mong

muốn như: go, went, goes

2.3.2.2 Lemmatization

Lemmatization cũng là kỹ thuật biến đổi một từ về dang gốc bang cách loại

bỏ một số ký tự cuối cùng Tuy nhiên Lemmatization sẽ xử lý thông minh hơn băng

33 66.

một bộ từ điên đê xử lý những từ như “goes”, “went” sẽ trả vê “go”.

20

import nltk

from nltk.stem import WordNetLemmatizer

from nltk.tokenize import sent_tokenize, word_tokenize

print(”{@:28}{1:26}”.format( “word”, ”Lemma”) )

for word in word_list:

print ("{@:20}{1:26}".format(word,wordnet_lemmatizer.lemmatize(word, pos="v")))

Hinh 2.4: Minh hoa ky thuat Lemmatization

- Ưu diém: xử ly trả về két quả chính xác

- Nhược điểm: vì phải tra cứu từ điên nên xử lý chậm

2.3.3 Part of Speech

Part-of-speech (hay con gọi là POS) là việc phan loại các từ trong một câu (danh

từ, trạng từ, tính từ, động từ) dé giúp máy tính hiểu được nghĩa của từ Từ đó hiểu

được ý nghĩa của cả câu Kỹ thuật part-of-speech thường sử dụng làm nền tảng chocác kỹ thuật khác về xử lý ngôn ngữ tự nhiên

2.4 Một số mô hình học máy trong bài toán phân loại

2.4.1 Thuật toán Naive Bayes

Trong học máy, phân loại Naive Bayes là một thành viên trong nhóm các phân

loại có xác suất dựa trên việc áp dụng định lý Bayes khai thác mạnh giả định độclập giữa các hàm, hay đặc trưng Mô hình Naive Bayes cũng được biết đến vớinhiều tên khác nhau ví dụ: Simple Bayes hay independence Bayes hay phân loại

Bayes.

21

Phân loại Naive Bayes được đánh giá cao khả năng mở rộng, đòi hỏi một số

thông số tuyến tính trong số lượng các biến (các tính năng/ tổ dự báo) trong nhiều

lĩnh vực khác nhau.

Thuật toán Naive Bayes (Mitchell, 1997) là một thuật toán phổ biến trong máy

học được McCallum and Nigam (1998) và Yang and Liu (1999) đánh giá là một

trong những phương pháp có hiệu năng cao nhất khi thực hiện phân lớp văn bản [9]

Ý tưởng cơ bản của cách tiếp cận này là sử dụng xác suất có điều kiện giữa từ hoặc

cụm từ và chủ đề đề dự đoán xác suất chủ đề của một tài liệu cần phân loại

Thuật toán Naive Bayes dựa trên định ly Bayes được phat biểu như sau:

P(xy) _ P(x|y)P@)

_—_PŒ@) - P(x)

Ap dung trong bài toán phân loại, các đữ kiện gồm có: D: tap dữ liệu huấn luyện

đã được vector hóa dưới dạng 3 = (x1,x2, xn) Ci: phân lớp i, với ¡= {1, 2, ,

m}; các thuộc tính độc lập điều kiện đôi một với nhau Theo định lý Bayes:

P(x|Ci)P Ci)P(Ci|x) = P(x)

Tính chat độc lập điều kiện:

e Bước 1: Huấn luyện Naive Bayes (dựa vào tập dữ liệu) tính P(Ci)va

P(xkICi)

e Bước 2: Phân lớp X"” = (xl, x2, xn), ta cần tinh xác suất thuộc

từng phân lớp khi đã biết trước Xnew Xnew được gán vào lớp có

xác suât cao nhât theo công thức

max [reo [| Pele)

= k=1

2.4.2 Thuật toán Máy Vector hỗ trợ (Support Vector Machine)

Thuật toán máy SVM được Cortes and Vapnik (1995) giới thiệu lần đầu tiên.SVM rất hiệu quả để giải quyết các bài toán với dữ liệu có số chiều lớn như các

véc-tơ biêu diễn văn ban SVM được xem là bộ phân lớp chính xác nhất cho bàitoán phân lớp văn bản (Chakrabarti, 2003) do tốc độ phân lớp rất nhanh và hiệu quả

đối với bài toán phân lớp văn bản

Ý tưởng của phương pháp này là cho trước một tập huấn luyện được biểu diễn

trong không gian véc-tơ, trong đó mỗi văn bản được xem là một điểm trong khônggian này Phương pháp này tìm ra một mặt siêu phăng h quyết định tốt nhất có thểchia các điểm trên không gian này thành hai lớp riêng biệt tương ứng, gọi là lớpdương (+) và lớp âm (-) Như vậy, bộ phân loại SVM là một mặt siêu phăng tách

các mẫu thuộc lớp dương ra khỏi các mẫu thuộc lớp âm với độ chênh lệch lớn nhất

Độ chênh lệch này hay còn gọi là khoảng cách biên được xác định bằng khoảngcách giữa mẫu (+) và mẫu (-) gần mặt siêu phăng nhất Khoảng cách này càng lớnthì các mẫu thuộc hai lớp càng được phân chia rõ ràng, nghĩa là sẽ đạt được kết quả

phân loại tốt Mục tiêu của thuật toán SVM là tìm được khoảng cách biên lớn nhất

để tạo được kết quả phân loại tốt [10]

Phương trình mặt siêu phăng chứa vector x trong không gian đối tượng như sau:

w.x +b =0

Trong đó, w là vector trong số, b là độ lệch/thiên vị Hướng và khoảng cách từ

sốc tọa độ đến siêu mặt phẳng thay đổi khi w và b thay đồi

23

Bộ phân lớp SVM được định nghĩa như sau: f(x) = sign(w.x +b)

f(@) = +1, w.x+b>0

Trong đó : ey = —Lw.x+b<0

Goi y mang giá tri +1 hoặc -1 Nếu yi = +1 thi x thuộc về lớp (+), ngược lai yi

=—1 thi x thuộc về lớp (—) Hai mặt siêu phẳng tách các mẫu thành hai phần được

mô tả bởi các phương trình w.x + b = 1 và w.x + b =—I Bằng hình học có thể tính

khoảng cách giữa hai mặt phăng này là: m

Dé khoảng cách biên lớn nhất cần phải tìm giá trị nhỏ nhất của ||w||, đồng thờingăn chặn các điềm dữ liệu rơi vào vùng bên trong biên, cần thêm ràng buộc sau: