Khi viết câu hỏi TNKQ cần lưu ý “Đáp án” là sự lựa chọn chính xác hoặc tốt nhất cho câu hỏi hoặc vấn đề mà bạn đưa ra, “Phương án nhiễu” là câu trả lời hợp lý (nhưng không chính x[r]
(1)ĐỔI MỚI VIỆC VIẾT CÂU HỎI VÀ XÂY DỰNG ĐỀ KIỂM TRA
ThS Nguyễn Tích Lăng
Trung tâm Khảo thí Đảm bảo chất lượng
Tóm tắt: Lý luận dạy học đại học đại Kiểm tra-Đánh giá hoạt động
học tập sinh viên thành tố quan trọng trình dạy học Hiện giới như nước có số nghiên cứu Kiểm tra-Đánh giá, nhiên tài liệu có mục đích nghiên cứu ứng dụng Vì viết tập trung vào vấn đề kỹ thuật, sử dụng lý thuyết trắc nghiệm cổ điển đại đề xuất số giải pháp đổi hai khâu quan trọng qui trình Kiểm tra-Đánh giá sinh viên, viết câu hỏi xây dựng đề kiểm tra
Câu hỏi TNKQ sử dụng để đánh giá khối lượng kiến thức lớn, phân tán phủ kín cả mục tiêu dạy học, câu hỏi Tự luận lại dùng để đánh giá trình độ suy luận sinh viên Khi viết câu hỏi TNKQ cần lưu ý “Đáp án” lựa chọn xác tốt cho câu hỏi vấn đề mà bạn đưa ra, “Phương án nhiễu” câu trả lời hợp lý (nhưng khơng xác) câu hỏi vấn đề nêu câu dẫn; câu hỏi Tự luận ý cách đặt câu hỏi mức độ tư Khi viết xong câu hỏi cần đánh giá chất lượng câu hỏi trước đưa vào sử dụng Đánh giá câu hỏi nên phối hợp hai phương pháp là đánh giá theo tiêu chí đánh giá dựa vào thống kê Đề kiểm tra phương tiện đánh giá kết học tập sinh viên sau học xong chủ đề, chương hay toàn chương trình lớp học, cấp học Xây dựng đề kiểm tra nên phối hợp hai phương pháp trắc nghiệm cổ điển đại, đặc biệt đánh giá đề kiểm tra cần dựa lý thuyết IRT Bài viết đề cập đến số đề kiểm tra cho loại hình đánh đề kiểm tra đánh giá đầu vào, đánh giá trình đánh giá tổng kết, đặc biệt có vai trị Ngân hàng câu hỏi việc xây dựng đề kiểm tra
A Viết câu hỏi đánh giá câu hỏi 1 Viết câu hỏi
Để xây dựng đề kiểm tra, trước hết phải vào mục tiêu dạy học, lực mà học sinh cần đạt sau học xong mơn học, sau viết câu hỏi để đo lực Quan hệ lực sinh viên cần đánh giá ( “Biến ẩn”) câu hỏi để đo lực (là “Biến quan sát được”) theo lý thuyết đo lường đánh giá kết học tập đượcminh họa Hình
(2)1.2 Kỹ thuật viết câu hỏi
1.2.1 Kỹ thuật viết câu hỏi trắc nghiệm khách quan Khi sử dụng câu hỏi trắc nghiệm khách quan
Theo Stiggins, mục tiêu dạy học phù hợp để đánh giá câu hỏi trắc nghiệm khách quan (TNKQ) mức làm chủ kiến thức, sau trình độ suy luận Câu hỏi TNKQ cho phép đánh giá trình độ suy luận từ thấp lên cao, nhiên khơng cho phép đánh giá kiểu suy luận hồn tồn tự do, dù câu hỏi TNKQ giới hạn phạm vi định sẵn
Câu hỏi TNKQ sử dụng tốt để đánh giá khối lượng kiến thức lớn, phân tán phủ kín mục tiêu dạy học.Thế mạnh TNKQ triển khai đánh giá qui mơ lớn học sinh, với đề kiểm tra gồm nhiều câu hỏi bao phủ phạm vi kiến thức rộng lớn, thời gian trả lời tương đối ngắn Ngoài ra, việc áp dụng lý thuyết đo lường đại, sử dụng công nghệ chấm điểm tự động ưu lớn câu hỏi TNKQ Cần nói thêm rằng, tính “khách quan” thể khâu chấm điểm, thường cách so sánh câu trả lời học sinh với đáp án có sẵn, người chấm điểm khơng cần có phán xét chủ quan thêm vào
Đối với thi TNKQ kiểu viết, yêu cầu học sinh phải có trình độ đọc tối thiểu để hiểu trả lời câu hỏi
Kỹ thuật viết câu hỏi trắc nghiệm khách quan
Một câu hỏicó nhiều phương án lựa chọn thường cấu thành từ phần sau:
Câu dẫn phần câu hỏi mà học sinh phải trả lời Chức câu dẫn
đặt câu hỏi, đưa yêu cầu cho học sinh thực đặt vấn đề cho học sinh giải
Các phương án chọn cung cấp vài lựa chọn đáp án cho câu hỏi đặt từ câu dẫn
Các phương án chọn có hai dạng: “Đáp án” lựa chọn xác tốt cho câu hỏi hoặc vấn đề mà bạn đưa ra; “Phương án nhiễu” câu trả lời hợp lý (nhưng khơng xác) câu hỏi vấn đề nêu câu dẫn Chú ý “Phương án nhiễu” hợp lý học sinh không đọc tài liệu cách đầy đủ không hợp lý học sinh có kiến thức giảng viên mong muốn
Đơi có Tài liệu mang tính chất khơi nguồn (stimulus material) sử dụng với câu hỏi có nhiều phương án lựa chọn đồ thị, bảng biểu, đồ, đoạn văn ngắn…
Các nguyên tắc viết câu dẫn
- Nếu câu dẫn có phần trống để học sinh trả lời, đặt phần trống cuối câu dẫn câu
- Đưa “ý chính” câu hỏi vào câu dẫn, khơng nên đưa vào phương án lựa chọn - Sắp xếp câu dẫn hợp lý để tránh ngôn ngữ/cách diễn đạt lạ, không hợp lý cố gắng để đưa nhiều ý chủ đề vào câu dẫn, đưa phương án lựa chọn ngắn gọn
- Tránh từ ngữ mang tính chất phủ định “ngoại trừ”, “khơng” Nếu sử dụng những từ ngữ này, bạn phải làm bật chúng cách in nghiêng, in đậm gạch chân
(3)- Nên xếp phương án theo thứ tự có nghĩa (logic, theo số thứ tự, theo bảng chữ cái…)
- Các phương án lựa chọn phải có độ dài tương xứng Một phương án dài ngắn hơn thu hút ý học sinh chúng bật dễ dàng nhận thấy Các phương án phải có tương ứng cấu trúc ngữ pháp để tránh làm lộ đáp án
- Các phương án lựa chọn phải phù hợp với câu dẫn mặt ngữ pháp
- Nên đưa từ lặp lại cụm từ vào câu dẫn vào phương án lựa chọn - Tránh đưa phương án lựa chọn chồng chéo, có liên quan tới nhau, có trùng khớp, nối tiếp với
- Tránh đưa câu dẫn dạng câu phủ định Nếu bạn đưa câu phủ định, in đậm từ phủ định để giúp học sinh nhận thấy
- Tránh đưa đáp án có khác biệt với phương án nhiễu mặt ngữ pháp, độ dài yếu tố khác
- Tránh đưa phương án “khơng có đáp án đúng” học sinh đốn lựa chọn: “Khơng có đáp án đún
- Tránh nhắc lại từ ngữ sử dụng câu dẫn
- Trong câu dẫn luôn sử dụng “thuật ngữ” đáp án luôn định nghĩa/ diễn giải
Nguyên tắc viết phương án (Đáp án)
- Đảm bảo đáp án viết dựa vào chủ đề phù hợp nội dung kiểm tra
- Tránh câu hỏi “kết nối”, đáp án câu tìm thấy phụ thuộc vào câu khác Vấn đề thường kiểm tra đọc chỉnh sửa in vào giai đoạn tập hợp câu hỏi để tạo thành kiểm tra hoàn chỉnh Kiểu câu hỏi dễ nhận cách ngẫu nhiên bạn viết câu hỏi cho vài lớp học
Nguyên tắc viết phương án nhiễu
- Chúng gọi phương án nhiễu chúng đưa nhằm “thu hút” học sinh khơng hồn tồn nắm vững kiến thức Học sinh học nắm vững kiến thức chọn đáp án ngược lại học sinh không học không đưa đáp án
- Tất phương án nhiễu phải “hợp lý” Đó phương án sai dường người không nắm vấn đề
- Sử dụng kiến thức lỗi thông thường mà học sinh hay mắc phải để viết phương án nhiễu
1.2.2 Kỹ thuật viết câu hỏi Tự luận Khi sử dụng câu hỏi Tự luận
(4)- Đối với mục tiêu năm vững kiến thức, câu hỏi TNKQ dùng để đánh giá hiểu biết đơn lẻ tách biệt, câu hỏi Tự luận cho phép đánh giá gói bao gồm nhiều kiến thức gắn kết với nhau, ý tưởng có quan hệ với
- Câu hỏi Tự luận sử dụng để đánh giá trình độ suy luận, lợi loại câu hỏi Chúng ta khơng thể nhìn thấy q trình suy luận đầu học sinh nào, yêu cầu họ viết suy nghĩ họ lý lẽ họ trả lời
- Để đánh giá lực thực hành, câu hỏi Tự luận đánh giá việc nắm vững kiến thức phức tạp, chí trình độ giải vấn đề tiên để thực hành, không đánh giá trực tiếp kỹ thực hành
- Để đánh giá khả tạo sản phẩm, câu hỏi Tự luận đánh giá việc nắm vững kiến thức có trình độ suy luận địi hỏi tiên để tạo sản phẩm Riêng sản phẩm viết, sử dụng câu hỏi Tự luận phù hợp Tuy nhiên, cần phân biệt hai mặt: nội dung hình thức Về mặt nội dung, cần xây dựng tiêu chí đánh giá mức độ nắm vững kiến thức chất lượng suy luận học sinh Về hình thức, cần có tiêu chí đánh giá cách chọn từ, diễn đạt câu, bố cục …
Cần ý việc đánh giá câu hỏi Tự luận đòi hỏi điều kiện sau: - Học sinh phải có trình độ viết tối thiểu
- Giảng viên phải có đủ thời gian chấm
- Việc chấm phải quán tất làm, nên áp dụng phương pháp hướng dẫn chấm chuẩn bị tốt biểu điểm phải thống
Kỹ thuật viết câu hỏi tự luận
Để có câu hỏi Tự luận tốt, câu hỏi phải có thơng tin sau: (1) Mơ tả rõ tình mà từ nảy sinh u cầu giải quyết;
(2) Xác định rõ thể loại lập luận cần sử dụng (phân tích, suy diễn, so sánh …);
(3) Chỉ rõ cách viết bám sát u cầu (có thể nêu tiêu chí đánh giá phần Tự luận)
Kỹ đặt câu hỏi Tự luậnở mức độ tư 1 Câu hỏi mức độ Nhận biết
- Mục tiêu : Nhằm kiểm tra trí nhớ học sinh liệu, số liệu, định nghĩa,địnhluật, quy tắc, khái niệm, tên người, địa phương…
- Khi hình thành câu hỏi giáo viên sử dụng từ sau : Ai…? Cái gì…? Ở đâu ? Thế …? Khi nào…? Hãy định nghĩa…? Hãy mô tả… Hãy kể lại…
2 Câu hỏi mức độ Thông hiểu
- Mục tiêu : Nhằm kiểm tra học sinh cách liên hệ kết nối kiện, số liệu, đặc điểm … tiếp nhận thông tin
- Khi hình thành câu hỏi giáo viên sử dụng từ sau : Vì sao…? Hãy giải thích…? Hãy so sánh…, Hãy liên hệ …
(5)- Mục tiêu : Nhằm kiểm tra học sinh khả áp dụng thông tin tiếp thu vào tình mới, khả phân tích nội dung vấn đề, khả học sinh đưa dự đoán, cách giải vấn đề có tính sáng tạo, khả phán đốn việc đánh giá ý tưởng, kiện …
- Khi dạy học giáo viên cần tạo tình mới, tập, ví dụ, giúp học sinh vận dụng kiến thức học Câu hỏi phân tích thường địi hỏi học sinh phải trả lời: Tại sao? (khi giải thích ngun nhân) Em có nhận xét gì? (khi đến kết luận) Em diễn đạt nào? (khi chứng minh luận điểm).Hoặc giáo viên cần đưa tình huống, câu hỏi, khiến học sinh phải suy đốn, tự đưa lời giải mang tính sáng tạo riêng Giáo viên nêu câu hỏi : Hiệu sử dụng nào? Việc làm có thành cơng khơng? Tại sao? Theo em số giả thuyết nêu ra, giả thuyết hợp lý sao?
2 Đánh giá câu hỏi
Khi viết xong câu hỏi cần phải đánh giá xem câu hỏi phù hợp với mục tiêu dạy học chưa, có thích hợp với loại hình kiểm tra đối tượng kiểm tra không, phù hợp với ma trận đề chưa … Có phương pháp đánh giá câu hỏi dùng tiêu chí dùng thống kê
2.1 Các tiêu chí đánh giá chất lượng câu hỏi
Khi viết câu hỏi luôn phải dựa vào tiêu chí để nâng cao chất lượng câu hỏi Các tiêu chí giới cơng nhận tồn với mục đích xem xét, đánh giá câu hỏi trước đưa chúng vào đề kiểm tra Các câu hỏi khơng đáp ứng tiêu chí bị loại chỉnh sửa chúng đáp ứng tiêu chí
2.1.1 Các tiêu chí đánh giá chất lượng câu hỏi Trắc nghiệm khách quan
1 Câu hỏi có đánh giá nội dung quan trọng mục tiêu chương trình giảng dạy hay khơng?
2 Câu hỏi có phù hợp với tiêu chí đề kiểm tra mặt trình bày, trọng tâm cần nhấn mạnh số điểm hay khơng?
3 Câu dẫn có đặt câu hỏi trực tiếp hay vấn đề cụ thể hay không?
4 Giảng viên đề sử dụng ngơn ngữ hình thức trình bày riêng để biên soạn câu hỏi hay đơn trích dẫn lời sách giáo khoa?
5 Từ ngữ cấu trúc câu hỏi có rõ ràng dễ hiểu học sinh hay không? Mỗi phương án nhiễu (nền) có hợp lý học sinh khơng có kiến thức hay khơng?
7 Nếu có thể, phương án sai có xây dựng dựa lỗi thông thường hay nhận thức sai lệch học sinh hay không?
8 Đáp án câu hỏi có độc lập với đáp án câu hỏi khác kiểm tra hay không?
(6)10 Có hạn chế đưa phương án “Tất đáp án đúng” “khơng có phương án đúng” hay không?
11 Mỗi câu hỏi có đáp án đúng, xác hay khơng?
2.1.1 Các tiêu chí đánh giá chất lượng câu hỏi Tự luận
1 Câu hỏi có đánh giá nội dung quan trọng chuẩn chương trình hay khơng (kiến thức, kỹ năng)?
2 Câu hỏi có phù hợp với tiêu chí đề kiểm tra mặt trình bày, trọng tâm cần nhấn mạnh số điểm hay không?
3 Câu hỏi có yêu cầu học sinh phải vận dụng kiến thức vào tình hay khơng?
4 Xét mối quan hệ với câu hỏi khác kiểm tra, câu hỏi tự luận nội dung cấp độ tư nêu rõ tiêu chí kiểm tra hay khơng?
5 Nội dung câu hỏi có cụ thể hay khơng? Nó có đặt yêu cầu hướng dẫn cụ thể cách thực yêu cầu hay đưa yêu cầu chung chung mà câu trả lời phù hợp?
6 u cầu câu hỏi có phù hợp với trình độ nhận thức học sinh hay không? Để đạt điểm cao, học sinh có phải chứng minh quan điểm nhận biết thực tế, khái niệm…?
8 Ngôn ngữ sử dụng câu hỏi có truyền tải hết yêu cầu cán đề đến học sinh hay khơng?
9 Câu hỏi có diễn đạt theo cách giúp học sinh hiểu được: a) Độ dài câu trả lời/bài luận?
b) Mục đích luận? c) Thời gian viết luận?
d) Tiêu chí đánh giá/chấm điểm luận?
10 Nếu câu hỏi yêu cầu học sinh nêu quan điểm chứng minh cho quan điểm mình, câu hỏi có nêu rõ: làm học sinh đánh giá dựa lập luận logic mà học sinh đưa để chứng minh bảo vệ quan điểm khơng đơn quan điểm mà chúng đưa ra?
2.2 Phân tích câu hỏi thống kê
Chúng ta tiến hành phân tích câu hỏi theo lý thuyết cổ điển đại (lý thuyết Ứng đáp câu hỏi - IRT) Từ số liệu tham số câu hỏi, đánh giá câu hỏi tốt hay không, cần phải sửa khâu để nâng cao chất lượng câu hỏi Sau thí dụ phân tích câu hỏi phần mềm CONQUEST
(7)Item -
Cases for this item 336 Discrimination 0.40 Item Threshold(s): 0.14 Weighted MNSQ 0.97 Item Delta(s): 0.14
-
Label Score Count % of tot Pt Bis t(p) PV1Avg:1 PV1 SD:1 -
0.00 36 10.71 -0.18 -3.43(.001) -0.27 0.69 0.00 74 22.02 -0.16 -3.04(.003) -0.10 0.64 1.00 165 49.11 0.40 7.88(.000) 0.38 0.79 0.00 61 18.15 -0.19 -3.52(.000) -0.20 0.71
================================================================== ========
Thông tin phần Bảng cho biết:
Số thứ tự câu hỏi tệp số liệu, số sinh viên tham gia trả lời câu hỏi;
Ngưỡng mức điểm câu hỏi (Item Threshold(s)) mức lực sinh viên mà xác suất đạt điểm điểm cao 0.5 Ngưỡng có đơn vị đo logit
Độ khó câu hỏi (Item Delta(s)) mức lực sinh viên mà xác suất trả lời câu hỏi (hoặc phần câu hỏi chấm điểm phần) 0.5 Độ khó có đơn vị đo logit
Độ phân biệt cổ điển (Discrimination) để phân biệt học sinh đạt điểm số cao với học sinh có điểm số thấp Đối với câu hỏi nhị phân, độ phân biệt cổ điển
PB phương án đáp án
Độ phù hợp (Weighted MNSQ) dùng để so sánh giá trị dự đoán giá trị quan sát phép phân tích phần dư Giá trị mong đợi Những giá trị lớn 1.2 độ phân phân biệt câu hỏi thấp so với mô hình Rasch, cịn giá trị nhỏ 0.8 có độ phân phân biệt câu hỏi cao so với mơ hình
Thơng tin phần Bảng cho biết:
Cột thứ phương án trả lời câu hỏi câu hỏi trắc nghiệm khách quan, mức điểm câu hỏi chấm điểm phần (số giá trị trống missing);
Cột thứ hai điểm tương ứng với phương án trả lời (điểm cho phương án đúng, điểm cho phương án sai);