CHƯƠNG 2 .PHƯƠNG PHÁP LUẬN NGHIÊN CỨU
1. Giới thiệu về Chương trình đánh giá học sinh quốc tế PISA
1.4. Quy trình xây dựng đề thi PISA
Tất cả các quốc gia tham gia PISA đều được mời tham gia đóng góp câu hỏi thi cho nhà thầu quốc tế, ngồi ra, chính nhà thầu quốc tế cũng xây dựng câu hỏi thi. Các câu hỏi (item) của PISA được xây dựng dựa trên các phần dẫn chung (stimulus). Có rất nhiều loại phần dẫn được sử dụng trong PISA, có thể là 1 đoạn văn, 1 bảng biểu, đồ thị, mơ hình, hoặc trộn lẫn. Mỗi bài tập (unit) bao gồm từ 1 tới 5 câu hỏi đánh giá kiến thức kỹ năng của học sinh. Một bài tập PISA hoàn chỉnh bao gồm phần dẫn, câu hỏi và hướng dẫn mã hóa câu trả lời cho mỗi câu hỏi. Các câu hỏi thi sau khi xây dựng sẽ được xem xét, thẩm định một cách kỹ lưỡng bởi nhà thầu quốc tế và chính các quốc gia tham gia. Chỉ những câu hỏi được thống nhất bởi tất cả các bên thẩm định mới được sử dụng trong PISA.
Sau khi nhận được các bài tập do các quốc gia và nhà thầu xây dựng, 1 tổ chức do OECD chỉ định phụ trách việc xây dựng đề thi (năm 2012 là tổ chức ACER) sẽ lựa chọn, sàng lọc các bài tập phù hợp nhất, sau đó gửi cho các quốc gia khác nhau để lấy nhận xét, nhằm loại bỏ các vấn đề khác biệt trong câu hỏi giữa các quốc gia. Các bước này được lặp lại nhiều lần nhằm loại bỏ được hết các vấn đề khác biệt, mang lại một bộ các bài tập có tính tương đương giữa các quốc gia. Sau khi đã có được một bộ các bài tập “tương đối” hoàn thiện, OECD sẽ gửi các bài tập này cho các quốc gia tham gia PISA để dịch thuật, thích ứng. Giai đoạn dịch thuật, thích ứng
có thể coi là giai đoạn quan trọng nhất trong q trình hồn thiện các bộ câu hỏi thi PISA. Các quốc gia phải tuân thủ nghiêm ngặt các quy định do OECD đề ra:
Hình 2.1. Quy trình dịch thuật PISA
Thơng qua giai đoạn này, các quốc gia sẽ kiểm tra, rà soát, phát hiện những vấn đề trong câu hỏi thi mà không phù hợp với nội dung, chương trình học cũng như văn hóa của quốc gia. Sau đó quốc gia đề xuất với OECD để thích ứng những vấn đề này một cách phù hợp nhất mà không làm thay đổi nội dung, độ khó của câu hỏi. CApstAn là đơn vị chịu trách nhiệm thẩm định chất lượng dịch và xem xét những kiến nghị của các quốc gia. Chỉ khi nào quốc gia nhận được sự đồng ý của CApstAn và OECD về chất lượng dịch khi đó quốc gia mới có thể in và sử dụng bộ công cụ để đánh giá.
Sau khi đã hồn thiện được cơng tác dịch thuật, thẩm định, thích ứng, các câu hỏi thi sẽ được tiến hành khảo sát thử nghiệm tại các quốc gia. Kết quả thử nghiệm được gửi về cho OECD để phân tích và loại bỏ những câu hỏi có chất lượng kém nhất hoặc gây những vấn đề khác biệt giữa các quốc gia. Sau đó, bộ câu hỏi hồn thiện cho KSCT sẽ được gửi tới các quốc gia. Các quốc gia có nhiệm vụ rà sốt lại một lần nữa về nội dung câu hỏi cũng như chất lượng dịch, và có các kiến nghị nếu cần thiết với OECD trước khi tiến hành khảo sát chính thức.
Đối với kỳ khảo sát chính thức PISA 2012, phần kiểm tra trên giấy, có tổng cộng 110 câu hỏi nhận thức toán học cấu thành 56 bài tập toán, 44 câu hỏi cấu thành 13 bài tập đọc hiểu và 53 câu hỏi cấu thành 18 bài tập khoa học. Những bài tập này sẽ được sắp xếp vào trong các nhóm, được gọi là cluster.
Kỳ khảo sát PISA năm 2012 tập trung vào đánh giá năng lực Toán học của học sinh. Mỗi quốc gia sẽ sử dụng 7 cluster Toán học, 3 cluster Đọc hiểu và 3 cluster Khoa học. Đặc biệt, với 7 cluster lĩnh vực Tốn học, có 3 cluster bao gồm các bài tập đã được sử dụng từ những chu kỳ PISA trước. Mỗi cuốn đề thi bao gồm 4 cluster (trong đó có ít nhất 2 cluster tốn học) được thiết kế xoay vịng nhưng đảm bảo rằng độ khó của các đề thi là như nhau. Mỗi học sinh sẽ làm một đề thi trong khoảng thời gian là 120 phút. Theo thiết kế của OECD, năm 2012, Việt Nam tham gia khảo sát PISA với bộ đề gồm 13 quyển đề thi.
Cấu trúc bộ đề thi năm 2012 của Việt Nam:
Booklet
ID Cluster
B8 PS2 PR2 PM4 PS1
B10 PM3 PM4 PS3 PM1 B11 PM4 PM5 PR3 PM2 B12 PS1 PR1 PM2 PS3 B13 PR1 PM1 PS2 PR3 B21 PM5 PS3 PM6B PS2 B22 PS3 PR3 PM7B PR2 B23 PR3 PM6B PS1 PM3 B24 PM6B PM7B PR1 PM4 B25 PM7B PS1 PM1 PM5 B26 PM1 PM2 PR2 PM6B B27 PM2 PS2 PM3 PM7B
Bộ đề thi có 51 unit toán học bao gồm 83 câu hỏi (item) bao gồm cả trắc nghiệm và tự luận. Bộ dữ liệu đã mã hóa lại tồn bộ câu trả lời của học sinh. Học sinh trả lời đúng mang mã 1 hoặc 2, học sinh trả lời sai mang mã 0, không trả lời: mã 9 và trả lời nhiều phương án: mã 8.