Bài giảng Xây dựng câu hỏi Toán PISA: Phần 6 trình bày về cách mã hóa bài thi giúp các bạn cách mã hóa câu hỏi với câu trả lời mở; các mã hóa trong PISA; sàng lọc và rà soát lại các câu hỏi; cách xây dựng báo cáo năng lực PISA và một số nội dung khác.
6 MÃ HÓA BÀI THI Ron Martin Dave Tout Juliette Mendelovits Table 2: PISA item types and coding requirements SESDP Dạng trả lời Đáp án nhiều lựa chọn Đáp án nhiều lựa chọn phức hợp Các đáp án đóng cho sẵn Tính chất Chỉ chọn đáp án nhiều đáp án nêu Lựa chọn chuỗi đáp án dạng đúng/ sai có/khơng Quy định Mã hóa Khơng u cầu (câu trả lời nhập trực tiếp) Không yêu cầu (câu trả lời nhập trực tiếp vào máy tính) Một số khơng u cầu(câu trả Viết câu trả lời ngắn đáp án lời nhập trực tiếp vào tính tốn số học, câu trả lời rõ máy tính); ràng có kết Mã hóa số item, gán mã tham chiếu với hướng dẫn mã hóa Trả lời ngắn Câu trả lời ngắn đáp án tính Mã hóa, gán mã tham chiếu tốn số học, nhiều cách với hướng dẫn mã hóa đưa đáp án Đáp án mở Câu trả lời dài (ví dụ: Yêu cầu lập Mã hóa, gán mã tham chiếu luận trình bày chi tiết lời với hướng dẫn mã hóa giải Câu hỏi với câu trả lời mở SESDP Hướng dẫn mã hố Phải khớp với Mục đích câu hỏi (thêm vào mô tả chung mà câu hỏi có ý định đánh giá) Phải có mơ tả xác– Mơ tả – loại mã hố Phải nhằm mục đích bao qt TẤT CẢ loại câu trả lời Phải bao gồm ví dụ câu trả lời học sinh – Câu trả lời ví dụ – cho tất loại Câu trả lời mở SESDP Hướng dẫn mã hoá: Yêu cầu câu trả lời lập luận ngược lại Hỗ trợ câu trả lời phép toán Trong câu hỏi Toán học PISA người ta yêu cầu học sinh “Đưa lời giải thích bạn” viết vài dịng điều Cố gắng vào hướng dẫn mã hoá đánh dấu vào ví dụ câu trả lời học sinh – từ vấn thử nghiệm Chấm thi đánh giá SESDP Chú trọng đánh giá lực vận dụng kiến thức, kĩ để xử lí tình thực tiễn PISA sử dụng thuật ngữ coding (mã hóa) Mã câu trả lời quy điểm số theo yêu cầu câu hỏi Mã đơn bội: Mã bội gồm người thực nhập liệu độc lập, không thống điểm Các Mã PISA SESDP Mã chữ số: 0, 1, 2, 9, Mã chữ số: 00, 01,…;11, 12,…;21, 22,…;99, 97 * Chữ số thứ cho biết mức độ trả lời * Chữ số thứ hai: đặc tính hay xu hướng câu trả lời * Mã hóa chữ số có hai ưu điểm chính: - Thu nhiều thông tin việc hiểu nhận thức chưa đúng, lỗi thường gặp cách tiếp cận khác học sinh - Biểu diễn mã có cấu trúc hơn, xác định rõ mức độ phân biệt nhóm mã Mỗi mã thường có phần chính: - Mơ tả u cầu câu trả lời để đạt Mã - Đưa ví dụ câu trả lời đạt Mã Sau Mã chuyển sang điểm (Score) theo Báo cáo số - Quy tắc Kỹ thuật Mã hóa khung thang đánh giá PISA OECD Sàng lọc rà soát lại câu hỏi SESDP Phối hợp rà sốt giúp lựa chọn câu hỏi có chất lương cao Các câu hỏi xây dựng tốt cho liệu tốt nhiều việc đánh giá kỹ kiến thức học sinh Việc rà sốt bao gồm: Rà soát cán xây dựng câu hỏi: Một số học sinh tiếp xúc với câu hỏi này, Có thể sử dụng phương pháp “Phát ngôn thầm” Thử nghiệm: thử nghiệm câu hỏi với số lượng học sinh đủ lớn trường để ước chừng câu hỏi khó, giúp cho việc xây dựng hướng dẫn mã hoá Rà soát bên ngoài: bên liên quan chuyên gia Cách xây dựng báo cáo lực PISA Juliette Mendelovits Australian Council for Educational Research August 2012 Mơ hình Rasch SESDP Các item đặt vào thang đo độ khó liên quan đến Độc lập khả làm thi học sinh Học sinh đặt vào thang đo lực tương đương với độ khó câu hỏi Khơng phụ thuộc vào độ khó item thi Câu hỏi học sinh đặt vào thang đo tương ứng Cho phép xây dựng thang đo mô tả Câu hỏi HS đặt vào thang đo Năng lực cao -1 Năng lực thấp -2 -3 | | X| | X| XX| XX|7 XX| XXX|34 XXX|19 XXXX|23 XXXXXX|12 XXXXXX| XXXXX|11 22 XXXXXX|26 27 33 XXXXXXX|10 14 30 32 XXXXXXX|2 20 XXXXXXXX|1 21 29 XXXXXXXXXX|8 16 XXXXXXX|9 31 XXXXXXXXX|3 XXXXXXXX|18 25 XXXXXXXX|13 XXXXXXX|15 XXXXXXXX| XXXXXX| XXXXXXX| XXXX|24 XXXX| XXXXX| XXX|28 XX|17 XX| XX| X| X| X| X| | SESDP Câu hỏi khó Câu hỏi dễ SESDP XD thang đo trình độ mơ tả Mức Mức Mức Mức -1 Mức Dưới Mức -2 -3 | | X| | X| XX| XX|7 XX| XXX|34 XXX|19 XXXX|23 XXXXXX|12 XXXXXX| XXXXX|11 22 XXXXXX|26 27 33 XXXXXXX|10 14 30 32 XXXXXXX|2 20 XXXXXXXX|1 21 29 XXXXXXXXXX|8 16 XXXXXXX|9 31 XXXXXXXXX|3 XXXXXXXX|18 25 XXXXXXXX|13 XXXXXXX|15 XXXXXXXX| XXXXXX| XXXXXXX| XXXX|24 XXXX| XXXXX| XXX|28 XX|17 XX| XX| X| X| X| X| | SESDP Mơ tả mức Description item Trình độ học sinh of mức xxx xxx xxxx Description of item xxx xxx xxx xxxx xxx xxx xxx xxxx Description of item xxx xxx xxx xxxxof xxx xxx xxx xxxx Description item xxx Thang đo lực Toán học 2003 SESDP Tổng quan mục tiêu học tập thành tựu đạt Australian Council for Educational Research August 2012 Mục tiêu tập huấn SESDP Hiểu tầm quan trọng khung đánh giá xây dựng đề thi báo cáo Học tập cách lựa chọn phần dẫn tốt Hiểu biết dạng câu hỏi khác nhau, sử dụng chúng Thực hành viết lọc câu hỏi hình thức khác Học tập quy trình xây dựng đề thi Học tập cách xây dựng thang đo lực mơ tả Phản hồi Tốn học SESDP • Thách thức quan trọng bắt đầu từ việc phần dẫn phải mang tính xác thực phải cho có khả đánh giá, đủ đơn giản để học sinh đọc diễn giải (và để kiểm tra tư tốn học tốt) • Câu hỏi cần phải có cấu trúc tốt với hướng dẫn rõ ràng, khơng mập mờ • Nếu câu trả lời số, cố gắng đơn giản hoá để mã hố dễ dàng • Hãy cẩn thận với câu hỏi rộng khó để mã hố Phản hồi Toán học SESDP Hãy suy nghĩ tư toán học mà bạn đánh giá câu trả lời mà bạn tìm kiếm Khơng trộn lẫn nhiều khái niệm quy trình Việc soạn mục đích câu hỏi quan trọng – vừa để đưa mục đích câu hỏi, vừa phục vụ cho việc mã hoá Hãy chắn bạn lường trước lối tư duy, câu trả lời khác học sinh Rất khó để viết câu hỏi trắc nghiệm khách quan tốt – suy nghĩ cẩn thận cách để tạo phương án nhiễu tốt ... cán xây dựng câu hỏi: Một số học sinh tiếp xúc với câu hỏi này, Có thể sử dụng phương pháp “Phát ngôn thầm” Thử nghiệm: thử nghiệm câu hỏi với số lượng học sinh đủ lớn trường để ước chừng câu. .. cách lựa chọn phần dẫn tốt Hiểu biết dạng câu hỏi khác nhau, sử dụng chúng Thực hành viết lọc câu hỏi hình thức khác Học tập quy trình xây dựng đề thi Học tập cách xây dựng thang đo lực... đo lực tương đương với độ khó câu hỏi Khơng phụ thuộc vào độ khó item thi Câu hỏi học sinh đặt vào thang đo tương ứng Cho phép xây dựng thang đo mô tả Câu hỏi HS đặt vào thang đo Năng lực