đây khi thiết kế một bài thi trắc nghiệm:
Xác địnhnội Xaydyngban Xâydựngma Thiếtkế sưu Tốchứcchohọc Rà soátcác
mChưa bao giờ thực hiện 8 Chỉ thực hiện vải lần
ứ Thực hiện thường xuyộn # Thực hiện tốt và thành thạo
Hình 1.11. Biểu đồ thể hiện tỉ lệ giáo viên thực hiện các nội dung công việc khi thiết kế bài thi trắc nghiệm.
Nhận xét: Công tác kiểm tra đánh giá trong quá trình giảng dạy ở giáo viên trung
học phé thông tại địa bàn TP.HCM va cả nước được thực hiện khá tốt. Hau hết các thầy cô đều thực hiện các bước như xác định nội dung đánh giá và yêu cầu cần đạt, xây dựng ban đặc ta và ma trận đề thi, hiệu chỉnh câu hoi sau đánh giá. Trong số đó có từ 21 đến 27 giáo viên trong tông số 28 giáo viên thực hiện thường xuyên và thực hiện thành thạo các bước này. Gần 90% thây, cô quan tâm đến các thông số câu hỏi như độ khó, độ phân biệt nhưng chỉ có 50% thầy, cô được tập huấn về lý thuyết câu
hỏi cô điển và chỉ có một nửa trong số đó thực hiện thường xuyên và thành thạo. Có
thê thấy công tác tập huấn cho thây cô vẫn chưa đáp ứng được nhu cầu của thây, cô.
Ngoài ra có thé thấy vướng mắt của thay cô rằng có đến hơn 92 giáo viên nhận xét việc sử dụng phương pháp tính điểm dựa trên tông số câu hỏi đúng là chưa hoặc
29
không phản ánh được tốt năng lực học sinh nhưng có đến 85.7% giáo viên sử dụng
phương pháp này.
Phần 2: Đánh giá kết quả học tập của học sinh theo hướng đo lường và
lượng hoá năng lực học sinh
Cau |: Khi sử dụng bài thi trắc nghiệm làm công cụ đánh giá. việc vận dụng các
quy trình kỳ thuật đánh giá theo hướng đo lường và lượng hoá được năng lực của
từng học sinh trên cùng một thang đo nhằm thay thể cho phương pháp truyền thông có thật sự cần thiết hay không?
@ Không cân thiệt
@ RÁI cần thiết
Hình 1.12. Biểu đồ khảo sát ý kiến giáo viên về mức độ cần thiết của việc thay thế phương pháp đánh giá truyền thống.
Nhận xét; 89,3% giáo viên thực hiện khảo sát cho rằng cần thay thé phương
pháp truyền thông bang các quy trình kỹ thuật đánh giá theo hướng đo lường va lượng
hoá năng lực của học sinh.
Cau 2: Khi sử dụng bài thi trắc nghiệm làm công cụ đánh giá. việc vận dụng các
quy trình kỹ thuật đánh giá có thé ước tính được xác suất giả đoán (xác suất đoán mò đáp án) của từng thí sinh cho mỗi câu hỏi dé lượng hoá đúng năng lực của học sinh
có thật sự can thiết hay không?
@ Không cdr triệt
@ Rit cần thik
Hình 1.13. Biểu đồ khảo sát ý kiến giáo viên về mức độ cần thiết của việc ước tính xác suất giả đoán.
Nhận xét: Hầu hết giáo viên cho rằng việc ước lượng được xác suất giả đoán của từng thí sinh là rất cần thiết.
Câu 3: Các Thày/Cô đã từng được dao tao, bồi dưỡng hoặc tập huấn vẻ lí thuyết ứng đáp câu hỏi (Item Response Theory) dé đánh giá kết quả học tập của học sinh
hay chưa?
@ Chưa bao git
@ Đã được tip huần nhưng chưa vận
đụng
@ Dã được tập huần và vận đụng thưởng xuyén
Nhận xét: 60,7% giáo viên chưa bao giờ được đào tạo hay tập huấn về lí thuyết
ứng đáp câu hỏi. Tỷ lệ này cao hơn cả tỷ lệ giáo viên chưa được tiếp cận lý thuyết
câu hỏi cô điền (CTT) là 10,7%.
Kết luận: Phân lớn giáo viên đồng ý răng cần thay thé phương pháp truyền thông trong đánh giá năng lực học sinh. Có 96,4% giáo viên cho rằng việc ước lượng được xác suất giả đoán của từng thí sinh là rất cần thiết. Với lý thuyết ứng đáp câu hỏi —
31
IRT mô hình 3 tham số có thé ước tính xác suất giả đoán của từng thí sinh và cũng là phương pháp hữu dụng được nghiên cứu để thay thé phương pháp đánh giá truyền thống trong nhiều năm qua. Tuy nhiên chỉ số ít giáo viên được tiếp cận. đảo tao, tập huan hay bồi dưỡng.
Phần 3: Sự cần thiết của ngân hàng câu hỏi trắc nghiệm được chuân hoá
theo hướng đo lường năng lực học sinh.
Câu 1: Các Thay/Cé có nhu cau tìm hiểu về quy trình kỹ thuật đẻ thiết kế một bài thi trắc nghiệm chuan hoá theo hướng đo lường năng lực học sinh và sẵn sàng
vận dụng vào quá trình dạy học hay không?
Hình 1.15. Biểu đỗ khảo sát nhu cầu tìm hiểu về quy trình kỹ thuật để thiết kế một bài thi trắc nghiệm chuẩn hoá theo hướng đo lường năng lực học sinh
Nhận xét: 96.4% cho biết thật sự có nhu cầu tìm hiểu về quy trình kỹ thuật dé thiết kế một bài thi trắc nghiệm chuẩn hoá theo hướng đo lường năng lực học sinh và sẵn sàng vận dụng vào quá trình dạy học. Có thê thay nhu cầu về chuẩn hoá bai thi trắc nghiệm ở giáo viên trung học phô thông là rất lớn.
32
Câu 2: Trong quá trình công tác. các Thầy/Cô có soạn thảo, sưu tam, chỉnh lí và xây dựng riêng cho mình một ngân hàng câu hỏi trắc nghiệm ve lĩnh vực chuyên môn mà Thay/C6 phụ trách?
Hình 1.16. Biéu đồ tỉ lệ giáo viên xây dựng ngân hàng câu hỏi trắc nghiệm.
Nhận xét: Hơn 90% giáo viên đã và đang xây dựng một ngân hàng câu hỏi trắc
nghiệm hoàn chính cho riêng mình.
Câu 2: Thày/cô cho rằng sự cần thiết của việc chuẩn hóa dé kiểm tra trắc nghiệm
ở mức độ nào?
Hình 1.17. Biêu do khảo sát ý kiên giáo viên về sự cần thiệt của việc chuan hoa
dé kiểm tra câu hỏi trắc nghiệm.
Nhận xét: Tất cả giáo viên nhận xét việc chuẩn hoá dé kiểm tra trắc nghiệm là cần thiết và rat cân thiết.
ww
Câu 3: Theo quý thay/c6, việc xây dựng. chuẩn hóa bộ câu hỏi trắc nghiệm khách quan theo lý thuyết ứng đáp câu hỏi (Item Response Theory — IRT) sẽ mang
Giúp giáo viên Hỗtrợhẹcsinh Giúp giáoviến Hétrogidovien Hạn chẻ được Tang khả năng
đánh giả được hinh thành năng SỐ sảnh được đánh giá năng lực việc HS chỉ học giải quyết được nâng lực của lựcgiải quyếtvấn tính hiểu qua đầu vào. vet để làm kiếm các kiến thức
học sinh mot đề của các mô hình tra mà hoàn liên món cho
cách khách đạy học toàn khong hiểu HS quan nhất gi về nội dung
bài học.
mRấttốt &Tôt #&Binh lhưởng ®@ Khôrg tốt
Hình 1.18. Biểu đô khảo sát ý kiến giáo viên về tính hiệu quả
của việc xây dựng, chuẩn hóa bộ câu hỏi trắc nghiệm khách quan theo IRT
Nhận xét: Phân lớn giáo viên cho rằng ứng dụng IRT vào chuan hoá bộ câu hỏi trắc nghiệm khách quan sẽ mang lại các lợi ích như: hỗ trợ học sinh hình thành năng lực giải quyết van dé, hỗ trợ giáo viên đánh giá năng lực đầu vào,... & mức bình thường đến rất tốt.
Câu 4: Theo Thây/Cô, có nên giao lưu, trao đối và chia sẻ rộng rãi các câu hỏi đã được chuân hoá trong ngân hàng câu hỏi hay không?
Hình 1.19. Biểu đồ khảo sát giáo viên về độ cần thiết của việc chia sẻ, giao lưu các câu hỏi được chuẩn hoá.
34
Nhận xét: Tất cả giáo viên thực hiện khảo sát có nhu cầu giao lưu, trao đổi và chia sẻ rộng rãi các câu hỏi đã chuẩn hoá. Nhu cầu được tìm hiểu vẻ chuẩn hoá câu hỏi, đề thi cũng như giao lưu, chia sẻ của giáo viên là rất lớn. Tuy nhiên các phương pháp lượng hoá năng lực và ước tính các thông số câu hỏi, đề thi như CTT và IRT
chỉ có 40 đến 50% giáo viên chưa được tiếp cận và chỉ số ít giáo viên đã được tập huấn sử dụng thường xuyên và thành thạo. Gián tiếp chứng minh trong quá trình giảng dạy hau hết giáo viên điêu chính câu hỏi và đề thi dựa trên kinh nghiệm.
1.3.3. Kết luận
Tóm lại, nhu cầu tìm hiểu và chuẩn hoá câu hỏi, dé thi của giáo viên trong địa bàn TP.HCM và cả nước là rat lớn. Tuy nhiên, công tác tập huấn và bồi dưỡng cho giáo viên vẫn chưa thé đáp ứng được nhu cầu này. Từ những cơ sở thực tiễn như đã nêu trên, tôi kết luận việc thực hiện đề tài *Xây dung và chuan hoá bộ câu hỏi trắc nghiệm đánh giá năng lực học sinh nội dung sinh lí hô hấp, tuần hoàn ở động vật, Sinh học 117 là cần thiết.
35
Chương 2. QUY TRÌNH XÂY DỰNG VA CHUAN HOÁ BỘ CÂU HOI TRAC NGHIỆM ĐÁNH GIÁ NĂNG LỰC HỌC SINH
Dé thi chuẩn hóa (đánh giá kết qua học tap) là các các đẻ thi được xây dựng bởi
các chuyên gia khảo thí, có sự tham gia trợ giúp của các chuyên gia về chương
trình/lĩnh vực chuyên môn, giáo viên và các nhà quản lý giáo dục. nhằm đo lường cấp độ năng lực của người hoc, tham chiều năng lực của những học sinh khác cùng lứa tuôi, cùng khôi lớp, hoặc tham chiếu những tiêu chuẩn, tiêu chí nhất định về năng lực (Kubiszyn & Borich, 2003). Những đề thi như trên thường mat cả năm dé xây đựng, chuẩn hóa không những về nội dung, các yêu cau về thông số kỹ thuật của từng câu hỏi và tông thê dé thi mà còn chuẩn hóa cả về cách thức tô chức thi, tô chức cham điểm, sao cho các quy trình tô chức thi và tô chức cham điểm cụ thé và đồng nhất ở tất cả các điểm thi. Nhờ sự chuẩn hóa và nhất quán như trên, sai số đo lường do khâu tô chức thi và chấm điểm sẽ giảm đáng kẻ.
Hambleton & Jones (1993) đưa ra một quy trình xây dựng dé thi chuẩn hóa điền
hình với các giai đoạn chính sau:
1. Xây dựng cấu trúc dé thi và các đặc trưng của dé thi Chuẩn bị câu hỏi thô
Đánh giá câu hỏi thi (thử nghiệm trên mẫu)
Chính stta cau hoi thi
Xây dung đề thi
Thử nghiệm đề thi
Chỉnh sửa dé thi trước khi đưa vào sử dung Tổ chức thi
® œ m Ð t0 + Yb Phân tích kỹ thuật kết quả thi (đánh giá mẫu, định chuẩn, đánh giá độ tin
cậy, độ giá trị của đề thi)
10. Chuẩn bị các hướng dan tổ chức thi, số tay kỳ thuật 11. Jn ấn và phân phối dé thi, các sé tay, hướng dan
Các mô hình của Lý thuyết hồi đáp lam thay đỗi về cơ bán kỹ thuật thực hiện các bước 3, Š và 9: liên quan trực tiếp đến việc đưa ra một dé thi có chất lượng: đảm
36
bảo độ giá trị về nội dung, độ khó, và độ phân biệt...; và sử dụng kết quả đánh giá:
định chuẩn, giải nghĩa năng lực của học sinh, so sánh giữa các nhóm xã hội...
Trong bước thử nghiệm câu hoi, mô hình Rasch được ứng dung trong hai phan
tích cơ bản: mor là xác định những đặc tính/thông sé kỹ thuật của từng cầu, và hai là sử dụng đặc điểm VỀ Sự phù hợp mô hình dé loại bỏ những câu hỏi không phù hợp (không thuộc cau trúc cần đánh giá). Sở di có ứng dụng thứ nhất là nhờ ưu thé không phụ thuộc mau của mô hình Rasch. Tuy nhiên, cũng cần lưu ý mẫu thử nghiệm phải đủ lớn và tương đỗi đồng nhất dé dam bao mang lại những thông số kỹ thuật tin cậy về từng câu hỏi.
Bước lựa chọn câu hỏi, thiết lập đề thi là một quy trình đòi hỏi những phép thống kê phức tạp, khai thác các thông số mô ta đặc tính của từng câu hỏi đẻ từng bước tạo nên một dé thi — một tập hợp các câu hỏi có chức năng thông tin phủ hợp
với thông tin mục tiêu đánh giá đã đặt ra. Lord (1977) đã đưa ra một quy trình 4 bước
để lựa chọn câu hỏi, thiết lập dé thi:
1. Dựa trên mục tiêu đánh giá, mô tả (sơ đồ hóa) chức năng thông tin mong đợi của đề thi;
2. Lựa chọn các câu hỏi có thông số phù hợp đề dan dan lap day khoảng trong
thông tin mong đợi;
3. Sau mỗi câu hỏi được lựa chọn. tính toán chức năng thông tin của các câu
hỏi được lựa chọn;
4. Tiếp tục lựa chọn câu hỏi và tinh toán cho đến khi bộ câu hỏi (đề thi) có
chức nang thông tin phù hợp với chức nang thông tin mong đợi.
Chính trong quy trình lựa 4 bước lựa chọn câu hỏi trên đây, câu hỏi liên tục được xem xét, đánh giá (dựa trên cả các thông tin định tính — bản thân câu hỏi và
phân tích dir liệu thử nghiệm) để dam bảo giá trị nội dung và giá trị cấu trúc của dé
thi.
Trắc nghiệm chuân hóa là một công cụ cân thiết. không thê thiếu nêu ta muốn so sánh kết quả đánh giá tại các thời điểm khác nhau, các không gian đánh giá khác nhau, và các nhóm déi tượng được đánh giá khác nhau. Nếu quy trình đánh giá được
37
chuẩn hóa. ta sẽ có khả năng đọc kết quả đánh giá chính xác hơn, và chứa đựng nhiều thông tin hơn về năng lực người học. Chất lượng của bat cứ một quy trình đánh giá nảo đều cần được thé hiện thông qua sử dung dữ liệu thực nghiệm đê ghi nhận tính
xác thực và hiệu quá của hoạt động đánh giá. Những dữ liệu thực nghiệm này mang
lại những thông tin cực kỳ có ý nghĩa, không chỉ với các nhà phát triển công cụ đánh giá (thiết kế bài thi) mà cả các nha quản lý giáo dục, các cá nhân/đơn vị cần sử dụng kết qua đánh giá dé đưa ra các quyết định quan trọng liên quan đến người học, chương trình dạy học - giáo dục. Dữ liệu thực nghiệm là cơ cơ sở dé lựa chọn câu hỏi và hiệu
chỉnh nhằm mang lại công cụ đánh giá ngày càng được đảm bảo vẻ chất lượng, xác lập giá trị và tính tin cậy của bài trắc nghiệm. thiết lập thang đo chuẩn đề đo lường sự phát triển, so bằng điểm số giữa các nhóm thí sinh. Trong tất cả những thao tác kĩ thuật trên đây, cho đến thời điểm hiện nay, Lý thuyết ứng đáp câu hỏi vẫn được sử dụng trong quy trình xây dựng hau hết các trắc nghiệm chuẩn hóa phô biến và được công nhận rộng rãi trên thé giới.
Trong phạm vi dé tài chỉ thực hiện 4 bước trong quy trình trên. bao gồm:
1. Xây dựng cấu trúc đẻ thi và các đặc trưng của dé thi 2. Chuân bị câu hỏi thô
3. Đánh giá câu hỏi thi (thử nghiệm trên mẫu)
4. Phân tích các thông số của từng câu hỏi thi và hiệu chỉnh câu hỏi 2.1. Bước 1: Xây dựng cau trúc đề thi và các đặc trưng đề thi
Một ban đặc tả đề kiểm tra cần chỉ rõ mục đích của bài kiểm tra, những mục tiêu dạy học mà bài kiểm tra sẽ đánh gia, ma trận phân bố câu hỏi theo nội dung dạy học và mục tiêu đạy học, cụ thẻ như sau:
2.1.1. Mục đích của đề kiểm tra
Trình bày rõ đề kiểm tra sẽ được phục vụ cho mục đích gì, các mục đích sử
dụng có thé bao gồm: cung cấp thông tin mô tả trình độ, năng lực của người học tại
thời diém đánh giá; dự đoán sự phát trién, sự thành công của người học trong tương
lai:....
38
2.1.2. Hệ mục tiêu day học/ tiêu chí đánh giá
Trình bày chỉ tiết mục tiêu dạy học: những kiến thức và năng lực mà người học can chiếm lĩnh va sẽ được yêu cau thê hiện thông qua bài kiểm tra. Những tiêu chí dé được xác định các cấp độ đạt được của người học đối với từng mục tiêu dạy học.
2.1.3. Bảng ma trận đề thi
Đây là một bảng có cấu trúc hai chiều, với một chiều là các chủ dé kiến thức và một chiều là các cấp độ năng lực mà người học sẽ được đánh giá thông qua đề thi.
Với mỗi chủ dé kiến thức, tại một cấp độ năng lực, căn cứ mục tiêu dạy học, người day đưa ra một tỷ trọng cho phù hợp. Bảng ma trận trọng số nội dung và năng lực cần đánh giá với thang năng lực nhận thức Bloom, có thê có định dạng như sau:
Sô lượng va cap độ câu hỏi
Bảng 2.1. Mẫu ma trận
39
2.1.4. Bản đặc tả đề thi
M6 ta chỉ tiết các hình thức câu hỏi sẽ sử dung trong dé kiểm tra, phân bố thời gian và điểm số cho từng câu hỏi.
Theo Thông tư số 22/2021/TT-BGDĐT Quy định về đánh giá học sinh trung
học cơ sở (THCS) và học sinh trung học phô thông (THPT), phương pháp kiêm tra đánh giá chuyên từ chủ yếu đánh giá kiến thức, kỹ năng sang đánh giá năng lực của người học. Chuyên trọng tâm đánh giá chủ yếu từ ghi nhớ, hiểu kiến thức sang đánh giá năng lực vận dụng, giải quyết những van dé của thực tién, chú trọng đánh giá các
năng lực tư duy; không chỉ đánh giá kết quả cuối cùng mà chú ý cả quá trình học tập.
Các hình thức đánh giá thường xuyên, bằng cách nêu câu hỏi trực tiếp. ra dé kiểm tra định kỳ, cuối kỳ, làm phiếu bài tập... nhằm mục đích khắc sâu cho các em những kiến
thức đã học, giúp các em đạt các mức độ theo yêu cau, hướng tới phat triển phâm
chất, năng lực học sinh, từ đó phân hóa đối tượng đề có cách thức giảng dạy phù hợp hơn. Như vậy, khi tổ chức kiểm tra đánh giá bằng các đề kiểm tra định kì, cudi kì, diém mau chốt quan trọng khi thiết kế bang ma trận đặc tả kĩ thuật đề thi là phải dựa trên các thành phan năng lực cần đánh giá, xem đây là xương sống của bản đặc tả để từ đó triển khai các nội dung khác như là mạch nội dung, đơn vị kiến thức. yêu cầu can đạt, cấp độ đánh giá,...
Cau trúc đề kiêm tra có thé dưới dang bảng (phát triển từ Bảng trong số nội dung và năng lực đánh giá), hoặc dưới dạng văn bản mô ta chỉ tiết. Một bảng cấu trúc đề thi có thé có định dang chuyên từ bảng trọng số nội dung sang như sau: