ĐÁNH GIÁ QUY TRÌNH THIẾT KẾ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN TẠI KHOA KHOA HỌC TỰ NHIÊN VÀ XÃ HỘI ĐẠI HỌC THÁI NGUYÊN

Trường nên có kế hoạch đầu tư cho các giảng viên trong việc xây dựng ngân hàng câu hỏi TNKQ, tiếp tục tổ chức các lớp tập huấn về thiết kế đề thi để nâng cao hiệu quả chất lượng thiết kế

ĐẠI HỌC QUỐC GIA HÀ NỘI

VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC

––––––––––––––––––––––

NGUYỄN TRƯỜNG SƠN

ĐÁNH GIÁ QUY TRÌNH THIẾT KẾ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN

TẠI KHOA KHOA HỌC TỰ NHIÊN VÀ XÃ HỘI

ĐẠI HỌC THÁI NGUYÊN

Chuyên ngành: Đo lường và đánh giá trong Giáo dục

(Chuyên ngành đào tạo thí điểm)

TÓM TẮT LUẬN VĂN THẠC SĨ

Hà Nội - 2010

Công trình được hoàn thành tại: Viện Đảm bảo chất lượng giáo dục,

Đại học Quốc gia Hà Nội

Người hướng dẫn khoa học: PGS TS LÊ ĐỨC NGỌC

Phản biện 1: ………

Phản biện 2: ………

Luận văn sẽ được bảo vệ trước Hội đồng chấm Luận văn Thạc sĩ họp tại: Viện Đảm bảo chất lượng giáo dục, Đại học Quốc gia Hà Nội Vào hồi … giờ … ngày … tháng … năm 2010

Có thể tìm hiểu luận văn tại:

- Viện Đảm bảo chất lượng Giáo dục - ĐHQGHN

- Trung tâm thông tin - Thư viện, ĐHQGHN

quy trình và kỹ thuật xây dựng câu hỏi TNKQ, GV có thể tự thiết kế

các đề thi TNKQ theo quy trình và đảm bảo được chất lượng của đề

thi Đồng thời cũng giúp các GV đọc kết quả phân tích và xử lý kết

quả thi, dựa trên kết quả đó, GV có những điều chỉnh để nâng cao

chất lượng đề thi nói riêng và chất lượng dạy học nói chung

Từ kết quả thử nghiệm có thể khẳng định rằng luận văn đã thực

hiện được mục đích, nhiệm vụ nghiên cứu và giả thuyết bước đầu đã

được kiểm nghiệm

2 KIẾN NGHỊ

Từ những kết luận đã nêu trên, chúng tôi đề xuất một số kiến nghị

để nâng cao hiệu quả biên soạn và thiết kế đề thi TNKQ như sau:

1 Tiếp tục nâng cao nhận thức cho cán bộ, giảng viên và sinh viên

về tầm quan trọng của việc KTĐG thông qua hình thức thi TNKQ

2 Tạo điều kiện cho GV học tập bồi dưỡng về phương pháp

TNKQ, lý thuyết khảo thí hiện đại nói riêng và lý thuyết đánh giá nói

chung, qua đó hình thành đội ngũ GV có trình độ kiến thức, kỹ năng

và kinh nghiệm trong lĩnh vực khoa học mới này

3 Trường nên có kế hoạch đầu tư cho các giảng viên trong việc

xây dựng ngân hàng câu hỏi TNKQ, tiếp tục tổ chức các lớp tập huấn

về thiết kế đề thi để nâng cao hiệu quả chất lượng thiết kế đề thi

TNKQ cho GV và cách phân tích các kết quả thi một cách nghiêm túc

và khoa học

MỤC LỤC

Trang

5 Câu hỏi nghiên cứu/ giả thuyết nghiên cứu của đề tài 3

CHƯƠNG 1 CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN 5

1.2 Các khái niệm cơ bản về đo lường và đánh giá trong GD 9 1.3 Phương pháp trắc nghiệm trong kiểm tra đánh giá 13 1.4 Quy trình xây dựng đề thi và NHCH TNKQ 19 1.5 Kỹ thuật xây dựng các câu hỏi TNKQ 23 1.6 Phân tích đánh giá câu hỏi và bài trắc nghiệm 33

CHƯƠNG 2 THỰC TRẠNG QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ TẠI TRƯỜNG ĐẠI HỌC KHOA HỌC – ĐHTN 45

2.1 Vài nét về trường Đại học Khoa học – ĐHTN 45 2.2 Thông tin chung về các giảng viên tham gia khảo sát 46 2.3 Thực trạng quy trình thiết kế đề thi TNKQ tại đơn vị 47

2

CHƯƠNG 3: MỘT SỐ BIỆN PHÁP NÂNG CAO HIỆU QUẢ

QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ TẠI TRƯỜNG

3.2 Một số biện pháp nâng cao hiệu quả quy trình thiết kế

3.4 Đánh giá chung của GV về tính khả thi và hiệu quả

MỞ ĐẦU

1 Lý do chọn đề tài

Hiện nay chất lượng giáo dục đang trở thành mối quan tâm chung

của toàn xã hội, đặc biệt là chất lượng giáo dục đại học Trong khi

nguồn lực tại các cơ sở đào tạo còn hạn chế, chưa đủ đáp ứng kịp thời

việc tăng nhanh quy mô và các loại hình đào tạo thì vấn đề chất

lượng đào tạo trong giáo dục đại học hiện đang là điểm nóng rất cần

được quan tâm

Một trong những nội dung quan trọng nhằm nâng cao chất lượng

giáo dục đại học chính là việc đổi mới phương pháp giảng dạy, trong

đó có việc đổi mới về phương pháp kiểm tra đánh giá kết quả học tập

của người học Công cuộc đổi mới phương pháp giảng dạy ở trường

23

1.2 Về mặt thực tiễn

Luận văn đã làm sáng tỏ thực trạng quy trình thiết kế đề thi TNKQ tại trường Đại học Khoa học - Đại học Thái Nguyên, từ đó có thể rút

ra một số kết luận sau:

- Thực trạng biên soạn, thiết kế đề thi TNKQ tại đơn vị còn rất nhiều bất cập, chưa đảm bảo độ tin cậy do nhiều lý do khác nhau: đề thi được thiết kế chưa đảm bảo chất lượng do GV chưa có hoặc thiếu kinh nghiệm ra đề GV ít khi xác định mục tiêu đánh giá hoặc chưa phù hợp với mục tiêu đề ra Việc xây dựng bảng trọng số chưa hợp lý

và chưa được coi trọng đúng mức Đề thi chưa bao phủ hết nội dung chương trình đào tạo, thậm chí vẫn có những đề thi không phù hợp mục tiêu đề ra

- Kết quả điều tra cũng cho thấy thực trạng hiện nay ở trường ĐHKH là phần lớn giảng viên sau khi ra đề, chấm thi xong hầu như không phân tích và xử lý kết quả thi Đồng thời, có nhiều GV chưa được bồi dưỡng về việc biên soạn đề thi TNKQ cũng như cách phân tích, xử lý kết quả thi Họ cũng mong muốn nhà trường tổ chức tập huấn bồi dưỡng cho họ về vấn đề này

Từ thực trạng trên chúng tôi thấy rằng cần phải có những biện pháp cụ thể để nâng cao chất lượng biên soạn và thiết kế đề thi TNKQ, góp phần đổi mới và nâng cao chất lượng đào tạo trong Nhà trường

Với thực trạng trên, Luận văn đã đề xuất 3 biện pháp nhằm nâng cao chất lượng cũng như hiệu quả của việc thiết kế đề thi TNKQ và

đã tiến hành thử nghiệm thành công

Với kết quả thử nghiệm, các biện pháp này đã giúp cho GV nâng cao nhận thức về tầm quan trọng của hình thức thi TNKQ, nắm rõ các

3.5 Kết luận chương 3

Dựa vào các nguyên tắc cơ bản, tác giả đã đưa ra 3 biện pháp

nhằm nâng cao hiệu quả quy trình thiết kế đề thi TNKQ tại đơn vị:

Biện pháp 1: Nâng cao nhận thức của GV về tầm quan trọng của

việc KTĐG thông qua hình thức thi TNKQ

Biện pháp 2: Bồi dưỡng GV về quy trình và kỹ thuật xây dựng

đề thi TNKQ, cách xử lý kết quả thi

Biện pháp 3: Tổ chức cho GV tự xây dựng và thử nghiệm đề thi

TNKQ cho SV

Sau khi đề xuất biện pháp, chúng tôi tiến hành thử nghiệm nhằm

kiểm tra tính khả thi của các biện pháp đã đề xuất Qua tổ chức thử

nghiệm chúng tôi thấy rằng việc tổ chức cho giảng viên tự xây dựng

bộ đề thi TNKQ sau đó thử nghiệm đề thi do chính các GV tự biên

soạn là rất cần thiết

KẾT LUẬN VÀ KIẾN NGHỊ

1 KẾT LUẬN

1.1 Về mặt lý luận

Luận văn đã tổng hợp và hệ thống được phần nào các vấn đề

nghiên cứu về đo lường và đánh giá trong giáo dục nói chung Lịch

sử vấn đề nghiên cứu trên thế giới và ở Việt Nam được trình bày theo

từng giai đoạn phát triển của ngành khoa học này

Luận văn đã hệ thống hóa được các vấn đề lý luận có liên quan

như: các khái niệm cơ bản, mục đích ý nghĩa của khoa học đo lường

đánh giá; các phương pháp và kỹ thuật xây dựng công cụ ĐLĐG

thông qua hình thức TNKQ; quy trình xây dựng và thiết kế một đề

thi TNKQ chuẩn cũng như cách phân tích, xử lý và đánh giá một bài

trắc nghiệm

đại học hiện nay đang được đặc biệt quan tâm, các giảng viên được tập huấn về đổi mới phương pháp giảng dạy, các phương pháp kiểm tra đánh giá, tuy nhiên hiệu quả chưa cao Sử dụng ngân hàng câu hỏi

và thi trắc nghiệm khách quan hiện đang được các trường khuyến khích, tuy nhiên đa số các câu hỏi trắc nghiệm khách quan do giảng viên tự biên soạn chưa theo đúng quy trình, đặc biệt các câu hỏi sau khi sử dụng không được phân tích, đánh giá nên các đề thi/ kiểm tra hiện nay là chưa chuẩn và chất lượng không cao

Trước tình hình như vậy, tôi chọn đề tài luận văn: “Đánh giá quy trình

thiết kế đề thi trắc nghiệm khách quan tại Khoa Khoa học Tự nhiên và

Xã hội (nay là trường Đại học Khoa học) - Đại học Thái Nguyên”

Kết quả nghiên cứu của luận văn sẽ là tài liệu cần thiết góp phần vào quá trình nâng cao chất lượng và hiệu quả của việc biên soạn và thiết

kế đề thi trắc nghiệm khách quan tại đơn vị, đồng thời giúp đưa ra những giải pháp nhằm nâng cao kỹ năng của giảng viên trong việc thiết kế câu hỏi

2 Mục đích nghiên cứu của đề tài

• Đánh giá quy trình và hiệu quả của việc thiết kế và sử dụng các đề thi trắc nghiệm khách quan hiện nay của Nhà trường;

• Đưa ra quy trình chuẩn thiết kế các đề thi trắc nghiệm khách quan

• Đưa ra những giải pháp nhằm nâng cao kỹ năng thiết kế đề thi TNKQ của giảng viên

3 Nhiệm vụ nghiên cứu của đề tài

Để thực hiện mục đích trên, đề tài có các nhiệm vụ sau:

- Khảo sát thực trạng về quy trình, cách thức thiết kế đề thi trắc nghiệm khách quan của các giảng viên trong Trường

4

- Phân tích các câu hỏi trắc nghiệm khách quan của các đề thi đã

được sử dụng (căn cứ vào kết quả trả lời trắc nghiệm của SV)

- Đưa ra quy trình chuẩn thiết kế đề thi trắc nghiệm khách quan

4 Giới hạn, phạm vi nghiên cứu

• Đề tài nghiên cứu phương pháp, cách thức thiết kế đề thi trắc

nghiệm khách quan của các giảng viên trong Trường;

• Nghiên cứu, đánh giá các câu hỏi trắc nghiệm khách quan của một

số đề thi TNKQ đã được sử dụng trong Trường, từ đó đề xuất quy

trình chuẩn thiết kế đề thi TNKQ

5 Câu hỏi nghiên cứu/ giả thuyết nghiên cứu của đề tài

5.1 Câu hỏi nghiên cứu

• Hiện nay các giảng viên trong Trường thiết kế đề thi TNKQ trên

cơ sở nào? Theo quy trình nào?

• Các giảng viên có nắm được quy trình thiết kế đề thi TNKQ?

• Đề thi của các giảng viên có đáp ứng yêu cầu kiểm tra đánh giá

thành quả học tập hay không?

5.2 Giả thuyết nghiên cứu

• Việc thiết kế đề thi TNKQ trong Nhà trường hiện nay hoàn toàn

theo tính chủ quan của các giảng viên

• Chất lượng của các câu hỏi, đề thi TNKQ do các giảng viên biên

soạn không cao, không đánh giá chính xác năng lực của sinh viên

6 Khách thể và đối tượng nghiên cứu

6.1 Khách thể nghiên cứu

• Các giảng viên đang giảng dạy tại Trường và đang áp dụng hình

thức thi TNKQ cho các kỳ thi của Nhà trường

21

yêu cầu tiêu chuẩn về kỹ thuật, về độ phù hợp với mô hình, độ khó,

độ phân biệt, độ giá trị của bài test…

3.4 Đánh giá chung của GV về tính khả thi và hiệu quả của các biện pháp đã triển khai

Sau khi thử nghiệm, so sánh đề thi TNKQ thử nghiệm với đề thi TNKQ do GV tự thiết kế trước đây, chúng tôi đã tiến hành khảo sát lấy ý kiến của GV về tính khả thi đối với việc áp dụng quy trình chuẩn để thiết kế đề thi TNKQ, kết quả thu được:

100% giảng viên cho rằng cần phải có một quy trình chuẩn để biên soạn và thiết kế đề thi TNKQ;

100% giảng viên cho rằng cần phải được tập huấn đầy đủ và được thử nghiệm thiết kế đề thi;

92% giảng viên cho rằng cần phải xác định đúng mục đích của

kỳ thi/ kiểm tra và cần phải xây dựng bảng trọng số khi thiết kế đề thi TNKQ;

74% giảng viên khẳng định kỹ năng thiết kế đề thi TNKQ của họ được nâng lên rõ rệt sau khi được tập huấn;

70% giảng viên cho rằng họ có thể tự xây dựng đề thi TNKQ cho các học phần mà họ giảng dạy theo quy trình chuẩn được tập huấn; 35% giảng viên cho rằng việc phân tích đề thi là rất cần thiết và phải được thực hiện liên tục;

100% giảng viên trong Khoa Sinh học cho rằng: đề thi TNKQ được xây dựng theo quy trình chuẩn vừa được thử nghiệm đã đảm bảo được yêu cầu thống kê như đã phân tích ở trên; bảo đảm bao trùm nội dung môn học mà giảng viên giảng dạy, có khả năng chống được hiện tượng học tủ, học lệch, gian lận trong thi cử; đề thi có thời gian hợp lý, phù hợp với trình độ của sinh viên và đảm bảo được tính khách quan, công bằng khi chấm thi;

Tuy nhiên có một số câu cần xem lại các phương án lựa chọn (vì

số thí sinh lựa chọn các phương án nhiễu đó rất ít, hoặc thậm chí

không có thí sinh nào lựa chọn), cụ thể như sau:

+ Câu 4 nên viết lại hoặc bỏ câu lựa chọn số 4;

+ Câu 10 nên viết lại hoặc bỏ lựa chọn số 2, 3;

+ Câu 12 nên viết lại hoặc bỏ lựa chọn số 1, 2;

+ Câu 20 nên viết lại hoặc bỏ lựa chọn số 1;

Kết luận 4 câu này nếu sửa được các phương án nhiễu trên thì sẽ

có được các câu hỏi tốt, đồng thời độ tin cậy của bài test sẽ tăng lên

c Dựa vào độ giá trị của bài trắc nghiệm

Nói đến độ giá trị của bài trắc nghiệm là nói đến độ giá trị về mặt

nội dung của nó, nghĩa là các câu hỏi trong bài trắc nghiệm có khả

năng bao trùm được nội dung của môn học Đề thi trên bao gồm 50

câu hỏi được phân bổ đều trong các chương của môn học với các mục

tiêu đã được thể hiện ở bảng trọng số, điều này chứng tỏ đề thi đã đạt

được độ giá trị

Bước 10: Tập hợp các câu hỏi thi:

Sau khi phân tích và đề xuất chỉnh sửa một số câu hỏi, các GV

khoa Sinh học đều đồng ý rằng cần phải chỉnh sửa các câu hỏi trên để

bộ câu hỏi được tốt hơn

Sau khi xây dựng và thử nghiệm đề thi TNKQ học phần Sinh lý

thực vật cho sinh viên, chúng tôi rút ra một số kết luận sau:

- Qua tập huấn, các GV đã bám sát vào mục tiêu môn học để biên

soạn 50 câu hỏi trắc nghiệm đa lựa chọn Bộ câu hỏi bao trùm toàn bộ

nội dung của học phần Sinh lý thực vật

- Đề thi TNKQ cho học phần Sinh lý thực vật đã được thiết kế và

thử nghiệm thành công Qua phân tích, bộ câu hỏi TNKQ này đạt các

• Các bài thi TNKQ (kết quả thi TNKQ của sinh viên)

6.2 Đối tượng nghiên cứu

• Nghiên cứu cách thức, quy trình thiết kế đề thi TNKQ của các giảng viên trong Trường hiện nay

7 Phương pháp nghiên cứu

7.1 Nghiên cứu lý thuyết

• Nghiên cứu các tài liệu về đo lường đánh giá trong giáo dục

7.2 Nghiên cứu thực nghiệm

• Quan sát: quan sát quá trình thực hiện đổi mới KTĐG của giảng viên, quá trình thử nghiệm xây dựng ngân hàng câu hỏi TNKQ

• Điều tra: bằng phiếu hỏi và phỏng vấn để tìm hiểu quy trình thiết

kế đề thi TNKQ của các giảng viên trong Trường

• Phân tích và tổng kết kinh nghiệm

7.3 Phương pháp Toán học

• Sử dụng phần mềm SPSS phân tích số liệu thống kê

• Sử dụng phần mềm chuyên dụng Quest, ConQuest

8 Cấu trúc của luận văn

Mở đầu

Chương 1 Cơ sở lý luận và tổng quan

Chương 2 Thực trạng quy trình thiết kế đề thi TNKQ tại trường

Đại học Khoa học - Đại học Thái Nguyên

Chương 3 Một số biện pháp nâng cao hiệu quả quy trình thiết kế

đề thi TNKQ tại trường Đại học Khoa học - ĐHTN

Kết luận và kiến nghị Tài liệu tham khảo Phụ lục

6

CHƯƠNG 1 CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN

1.1 Lịch sử vấn đề nghiên cứu

1.1.1 Trên thế giới

1.1.2 Việt Nam

1.2 Các khái niệm cơ bản về đo lường và đánh giá trong giáo dục

• Đo lường (Measurement)

• Đánh giá (Evaluation)

• Lượng giá (Assessment)

• Kiểm tra (Testing)

• Thi (Examination)

• Kết quả học tập (Study achievement):

1.3 Phương pháp trắc nghiệm trong kiểm tra đánh giá

1.3.1 Kiểm tra đánh giá kết quả học tập

1.3.2 Mục đích, ý nghĩa của việc kiểm tra, đánh giá KQHT

1.3.3 Phương pháp trắc nghiệm trong kiểm tra đánh giá

1.4 Quy trình xây dựng đề thi và ngân hàng câu hỏi TNKQ

1.4.1 Quy trình xây dựng đề thi TNKQ

Bước 1: Xác định mục đích sử dụng đề thi/ kiểm tra

Bước 2: Chọn mẫu

Bước 3: Xác định mục tiêu, phân tích nội dung chi tiết và xây

dựng bảng trọng số

Bước 4: Viết câu hỏi thi

Bước 5: Xem lại câu hỏi thi lần 1

Bước 6: Thử nghiệm

Bước 7: Phân tích câu hỏi và bài thi

Bước 8: Xem lại câu hỏi thi lần 2

Bước 9: Chỉnh sửa câu hỏi

19

Những câu có độ khó < 20% là những câu rất khó, chỉ dùng để đo thí sinh có năng lực cao, trong đề thi có 2 câu là câu 14 và 41 (tương ứng với P = 15.3% và P = 10.2%)

Bước 8: Xem lại câu hỏi thi lần 2: Khi có số liệu phân tích cần

kiểm tra lại các câu hỏi xem có vấn đề gì không? Nếu do câu hỏi chưa

tốt cần chỉnh sửa hoặc loại bỏ

Bước 9: Chỉnh sửa câu hỏi:

- Xác định những câu hỏi cần sửa chữa và đề xuất cách sửa:

a Dựa vào độ phân biệt:

Dựa vào độ phân biệt (Disc) xác định những câu hỏi cần sửa chữa sau: Disc < 0.2: có 8 câu (chiếm 16%)

Các câu này phần lớn rơi vào các câu khó hoặc rất khó, để lập ngân hàng đề thi cũng cần phải sử dụng các câu hỏi này nên không cần loại bỏ

b Dựa vào độ khó của câu hỏi:

Phân tích độ khó của câu trắc nghiệm cho ta thấy giá trị P của mỗi câu chưa khẳng định được câu hỏi đó tốt hay không, nhưng nó nói lên

độ khó tương đối của câu hỏi đó đối với số thí sinh tham gia làm bài trắc nghiệm

Những câu có độ khó < 20% là những câu rất khó, chỉ dùng để đo thí sinh có năng lực cao, trong đề thi có 2 câu là câu 14 và 41 (tương ứng với P = 15.3% và P = 10.2%)

Như đã phân tích ở trên nên các câu hỏi quá khó hoặc quá dễ đều

có thể giữ lại vì để đo thí sinh có năng lực khác nhau Do vậy các câu hỏi trong bộ đề trên nhìn chung là đảm bảo yêu cầu về độ khó nên không cần chỉnh sửa

Độ khó của câu hỏi là một trong những đặc tính quan trọng của

câu hỏi bởi vì nó nói lên độ tin cậy và độ giá trị của từng câu hỏi

trong bài thi/ kiểm tra Đồng thời nó cũng cho phép chúng ta so sánh

độ khó của câu hỏi so với năng lực của thí sinh Để có thể phân tích

được độ khó của câu hỏi thì phần mềm Quest cung cấp cho chúng ta

một ma trận (biểu đồ) so sánh năng lực của các thí sinh với độ khó

của các câu hỏi trong bài trắc nghiệm

Nhận xét: Ma trận trên cho thấy sự phân bố giữa độ khó của câu

hỏi với năng lực của các thí sinh là phân bố chuẩn hay độ khó của các

câu hỏi phù hợp với hầu hết năng lực của các thí sinh

- Các thí sinh có năng lực ở các mức khác nhau

c Các chỉ số thống kê khác

- Độ phân biệt:

Có 18% (9/50) câu hỏi có độ phân biệt Disc ≥ 0.4, đây là những

câu rất tốt, bao gồm các câu hỏi số 7, 24, 27, 28, 35, 36, 38, 43, 49

Có gần 60% (29/50) câu hỏi có Disc ≥ 0.2, đây là những câu tốt và

khá tốt, thỏa mãn về độ phân biệt

- Độ khó:

Những câu có độ khó P > 70% là những câu trắc nghiệm dễ

Trong đề thi có 10 câu (5, 9, 10, 12, 15, 16, 18, 20, 31, 43), chiếm

20% tuy nhiên không cần điều chỉnh lại câu này vì có một số thí sinh

có năng lực thấp

Những câu có độ khó vừa phải (40% ≤ P ≤ 70%), gồm 27 câu hỏi

Những câu có độ khó P < 40% là những câu trắc nghiệm khó,

trong đề thi có 6 câu, chiếm 12% (là các câu 4, 22, 27, 32, 37, 39)

Bước 10: Tập hợp các câu hỏi thi

1.4.2 Ngân hàng câu hỏi TNKQ

1.5 Kỹ thuật xây dựng các câu hỏi TNKQ

1.5.1 Loại đúng - sai (True or False) 1.5.2 Loại ghép đôi (Matching items) 1.5.3 Loại điền khuyết (Supply item) 1.5.4 Loại nhiều lựa chọn (Multi choice questions) 1.5.5 So sánh trắc nghiệm khách quan và trắc nghiệm tự luận

1.6 Phân tích đánh giá câu hỏi và bài trắc nghiệm khách quan

1.6.1 Mục đích phân tích câu hỏi và bài trắc nghiệm khách quan 1.6.2 Phương pháp phân tích câu hỏi theo lý thuyết khảo thí hiện đại

1.6.3 Một số yêu cầu thống kê đối với câu hỏi và bài TNKQ

• Độ khó và độ phân biệt của câu trắc nghiệm

• Độ tin cậy

• Độ giá trị

• Độ phù hợp với mô hình của bài trắc nghiệm khách quan

1.7 Kết luận chương 1

Trong chương 1 đã trình bày các vấn đề sau:

- Khái quát các vấn đề nghiên cứu trên thế giới và Việt Nam;

- Một số vấn đề lý luận cơ bản về đo lường và đánh giá trong GD;

- Quy trình xây dựng đề thi TNKQ;

- Các kỹ thuật xây dựng câu hỏi TNKQ;

- Cách phân tích đánh giá câu hỏi và bài thi TNKQ

8

CHƯƠNG 2 THỰC TRẠNG QUY TRÌNH

THIẾT KẾ ĐỀ THI TNKQ TẠI TRƯỜNG ĐẠI HỌC

KHOA HỌC - ĐHTN 2.1 Vài nét về trường Đại học Khoa học - Đại học Thái Nguyên

2.2 Thông tin chung về các giảng viên tham gia khảo sát

2.3 Thực trạng quy trình thiết kế đề thi TNKQ tại đơn vị

2.3.1 Thực trạng sử dụng các phương pháp KTĐG

Theo kết quả điều tra từ các giảng viên, để kiểm tra đánh giá KQHT

của sinh viên trong trường, các giảng viên đã sử dụng các phương pháp

KTĐG để đánh giá KQHT của sinh viên như: Viết (tự luận), vấn đáp,

thực hành, tiểu luận và trắc nghiệm khách quan Trong tổng số 163 đề thi

kết thúc học phần được khảo sát thì có tới 129 đề thi giảng viên đã sử

dụng phương pháp thi tự luận và vấn đáp (chiếm 79%, trong đó: tự luận

là 46,6%, vấn đáp là 32,4%) Một số ít giảng viên sử dụng phương pháp

trắc nghiệm khách quan (gần 10%) để đánh giá KQHT cho sinh viên

Tất cả các GV đều cho rằng khi họ lựa chọn một phương pháp

KTĐG nào đó đều có liên quan đến nội dung và mục tiêu môn học mà

họ đảm nhận và họ đều nhận thức được hiệu quả của phương pháp đó,

nếu muốn đánh giá kỹ năng người học thì nên chọn phương pháp thực

hành; nếu muốn kết quả đánh giá khách quan, chấm bài nhanh, xử lý kết

quả thuận lợi và đề thi bao phủ chương trình học thì sử dụng phương

pháp TNKQ; muốn đánh giá khả năng diễn giải thì ra đề tự luận…

2.3.2 Thực trạng quy trình thiết kế đề thi TNKQ

Để biết thực trạng thiết kế đề thi TNKQ như thế nào, ta cần nghiên

cứu những vấn đề sau:

17

- Thời gian làm bài trung bình 1,2 phút/ 01 câu

- Câu trả lời đúng tính theo thang điểm quy định, câu trả lời sai 0 điểm

Phân tích, đánh giá câu hỏi và bài thi trắc nghiệm

Sau khi thu lại toàn bộ bài làm của thí sinh, chúng tôi tiến hành làm các bước sau:

- Nhập số liệu vào SPSS

- Làm sạch số liệu: kiểm tra lại xem có nhập sai hoặc bỏ sót số liệu hay không

- Lựa chọn phần mềm chuyên dụng: Sử dụng phần mềm QUEST Phân tích dữ liệu bằng mô hình Rasch: Sau khi sử dụng phần mềm Quest, ta có các báo cáo thống kê về đặc tính của bài test như sau:

a Độ phù hợp với mô hình của các câu hỏi và độ tin cậy của bài test

- Độ phù hợp với mô hình:

Một trong những dẫn chứng quan trọng để nói rằng bộ câu hỏi do các GV biên soạn là tốt khi xác định được tất cả các câu hỏi đều tạo thành một cấu trúc Kết quả phân tích bằng phần mềm Quest dựa trên

mô hình Rasch cho thấy tất cả các câu hỏi đều có Infit MNSQ nằm trong khoảng từ 0.77 đến 1.30

Kiểm tra sự phù hợp trong thống kê với mô hình Rasch của các câu hỏi (Fit statistics) Infit Mean Square có Mean = 1.00 (Rất tốt) và

SD = 08 (Tốt) Kết luận: Dựa vào số liệu thu được ở bảng 3.3 và hình 3.2 trên rút

ra kết luận rằng, dữ liệu của 50 câu hỏi trắc nghiệm là hoàn toàn phù hợp với mô hình Rasch và độ tin cậy của đề thi là đạt yêu cầu (0.87)

b Độ khó của các câu hỏi