Xác định thời điểm tiến hành đánh giá
Xác định đối tượng đánh giá
Xác định cách thức đánh giá và nội dung đánh giá
Chọn mẫu HS tham gia đánh giá (OECD làm) Dịch và chuẩn hóa các bộ công cụ đánh giá (Các nước làm)
Điều chỉnh tài liệu phục vụ đánh giá
(OECD và các nước)
Tiến hành đánh giá Gửi dữ liệu cho
PISA OECD Nhận các kết quả phân tích từ phía PISA OECD Khung chọn mẫu Công cụ và tài liệu đánh giá
43
Quy trình trên được thực hiện cụ thể như sau:
Bước 1: Xác định thời điểm tiến hành đánh giá và đối tượng tham
gia đánh giá. OECD đưa ra khung thời điểm tiến hành khảo sát và tương đương với dải ngày tháng năm sinh HS rơi vào mẫu khảo sát.
Bước 2: Xác định cách thức đánh giá và nội dung đánh giá.
PISA OECD đưa ra hai cách thức đánh giá là đánh giá trên giấy và đánh giá trên máy Computer, với các lựa chọn đánh giá thêm theo yêu cầu với mẫu nhỏ hơn trong trường được chọn. Đối với phần thi trên giấy, tất cả các nước tham gia khảo sát đều sử dụng một đề thi đánh giá HS chung. Công cụ đánh giá gồm 13 cuốn đề thi, bảng hỏi HS và bảng hỏi nhà trường. Sau khi được dịch và chỉnh sửa cho phù hợp với từng nước, các tài liệu được thẩm định kỹ lưỡng.
Bước 3: Chuẩn bị kỹ thuật khảo sát.
Các kỹ thuật chuẩn bị cho khảo sát bao gồm: Chọn mẫu HS tham gia khảo sát (các nước cung cấp dữ liệu, OECD chọn mẫu và gửi danh sách trường, HS về cho các nước), dịch và chuẩn hóa các cơng cụ khảo sát (Bộ đề kiểm tra, các bộ phiếu hỏi…), điều chỉnh các tài liệu hướng dẫn và các biểu mẫu thực hiện, giám sát quá trình đánh giá.
Bước 4: Tiến hành khảo sát
Các nước tổ chức tiến hành khảo sát theo đúng các yêu cầu hướng dẫn kỹ thuật của OECD.
Các bài thi và bộ phiếu hỏi thu về, các nước sẽ thực hiện chấm bài, nhập số liệu, làm sạch dữ liệu.
Bước 5: Nộp dữ liệu cho OECD
Các dữ liệu của kỳ đánh giá được nộp đầy đủ và định kỳ theo yêu cầu của OECD theo dạng bản mềm (Word, Excel, PDF...) và bản giấy.
44
OECD sẽ thực hiện và công bố kết quả trên phương tiện truyền thông. Công khai bộ dữ liệu chuẩn chung cho các nước tham gia. Báo cáo được chia thành các Volume (quyển).
3. Quy trình chọn mẫu
Phương pháp chọn mẫu được sử dụng trong các kỳ khảo sát PISA là phương pháp chọn mẫu phân tầng hai giai đoạn.
Đầu tiên, OECD áp dụng phương pháp phân tầng để lựa chọn ra các nhóm đối tượng. Trong bước này, OECD sẽ tiến hành tính tốn các chỉ số và dữ liệu do Việt Nam cung cấp để lựa chọn ra được các nhóm đối tượng với tỷ lệ phù hợp cho kỳ đánh giá dựa theo vị trí địa lý, vùng miền và loại hình trường ở Việt Nam. Sau khi lựa chọn, Việt Nam có 16/17 biến phân tầng. Biến phân tầng bị khuyết là Miền Trung/Ngồi cơng lập/Vùng sâu, vùng xa.
Bảng 2.2. Các nhóm trường sau khi phân tầng
Các nhóm trƣờng sau khi phân tầng Mã tầng Tỷ trọng
Miền Bắc / Công Lập / Thành thị 01 13.43%
Miền Bắc / Công Lập / Nông thôn 02 13.76%
Miền Bắc / Công Lập / Miền núi, vùng xa 03 3.52% Miền Bắc / Ngồi cơng Lập / Thành thị 04 2.36% Miền Bắc / Ngồi cơng Lập / Nơng thơn 05 1.46% Miền Bắc / Ngồi cơng Lập / Miền núi, vùng xa 06 0.00% Miền Trung / Công Lập / Thành thị 07 12.67% Miền Trung / Công Lập / Nông thôn 08 16.46% Miền Trung / Công Lập / Miền núi, vùng xa 09 3.37% Miền Trung / Ngồi cơng Lập / Thành thị 10 1.28% Miền Trung / Ngồi cơng Lập / Nơng thơn 11 0.52%
45
Miền Nam / Công Lập / Nông thôn 14 12.13%
Miền Nam / Công Lập / Miền núi, vùng xa 15 0.73% Miền Nam / Ngồi cơng Lập / Thành thị 16 1.59% Miền Nam / Ngồi cơng Lập / Nông thôn 17 0.37%
Tổng 100.00%
Sau khi đã phân tầng, OECD tiến hành bước tiếp theo là sử dụng phương pháp 2 giai đoạn với giai đoạn 1 là “Chọn trường” và giai đoạn 2 là “Chọn HS” để lựa chọn mẫu tham gia khảo sát. Trong mỗi giai đoạn các mẫu được chọn lại được sử dụng các phương pháp khác nhau sao cho phù hợp với mỗi giai đoạn chọn mẫu.
Giai đoạn 1: Chọn trƣờng theo phương pháp xác suất tỷ lệ.
Giai đoạn 2: Chọn HS trong những trường ở giai đoạn 1 chọn bằng
phương pháp chọn ngẫu nhiên có hệ thống, bằng phần mềm KeyQuest.