Nghiên cứu mức độ đáp ứng của học sinh các nước không thuộc khối OECD và học sinh việt nam với chương trình đánh giá quốc tế PISA

ĐẠI HỌC QUỐC GIA HÀ NỘI VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC Lê Thị Hoàng Hà NGHIÊN CỨU MỨC ĐỘ ĐÁP ỨNG CỦA HỌC SINH CÁC NƯỚC KHÔNG THUỘC KHỐI OECD VÀ HỌC SINH VIỆT NAM VỚI CHƯƠNG TRÌNH ĐÁNH GIÁ QUỐC TẾ PISA Chuyên ngành: Đo lường đánh giá giáo dục (Chuyên ngành đào tạo thí điểm) LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học: TS Phạm Xuân Thanh Hà Nội – Năm 2012 MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG BIỂU DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ MỞ ĐẦU Lý chọn đề tài Mục đích nghiên cứu đề tài Giới hạn nghiên cứu đề tài Câu hỏi nghiên cứu Khách thể đối tượng nghiên cứu Phương pháp tiếp cận nghiên cứu Phạm vi nghiên cứu CẤU TRÚC CỦA LUẬN VĂN Chương I: TỔNG QUAN NGHIÊN CỨU 1.1 Các chương trình đánh giá quốc tế 1.1.1 TIM 1.1.2 Chương trình đánh giá học sinh quốc tế PISA 1.2 Tổng quan nghiên cứu liên quan Chương II: LÝ THUYẾT ĐÁNH GIÁ Mở đầu 2.1 Khái niệm đánh giá giáo dục 2.2 Các dạng thức đánh giá 2.2.1 Đán 2.2.2 2.2.3 Đánh giá dựa chương trình Đánh giá dựa lực 2.2.4 Hệ thống đánh giá vai trị, vị trí khảo sát/đánh giá lực diện rộng 2.3 Lý thuyết khảo thí cổ điển Lý thuy 2.3.1 Lý thuyết khảo thí cổ điển 2.3.2 Lý thuyết trả lời câu hỏi Mô hình RASCH 2.4 Ứng dụng Lý thuyết trả lời câu hỏi tro 2.5 Độ giá trị đề thi tính thiên kiến 2.5.1 2.5.2 Tính thiên kiến câu hỏi thi phát câu hỏi thiên kiến Chương III KẾT QUẢ NGHIÊN CỨU VÀ BÀN LUẬN 3.1 Mô tả phương pháp quy trình nghi 3.1.1 Mơ tả số liệu 3.1.2 Quy trình nghiên cứu thủ tục xử lý số liệu 3.2 Kết nghiên cứu bàn luận 3.2.1 Bộ liệu PISA quốc tế 2006 3.2.2 Bộ liệu thi thử PISA Việt Nam năm 2010 KẾT LUẬN Tài liệu tham khảo Phụ lục 1: Cơ cấu quốc gia/vùng lãnh thổ tham gia PISA 2006 Phụ lục 2: Cú pháp phân tích DIF, sử dụng phần mềm CONQUEST Phụ lục 3: Kết phân tích DIF Phụ lục 4: Cấu trúc đề thi thử PISA tháng 5/2010 Việt Nam mã hóa 104 DANH MỤC CÁC CHỮ VIẾT TẮT DIF Differential Item Functioning (Câu hỏi thực chức khác biệt) HDI Human Developement Index Chỉ số phát triển người ICC Item Characteristic Curve Đường cong đặc tính câu hỏi IRT Item Response Theory Lý thuyết trả lời câu hỏi MC Multiple-choice (Câu hỏi) nhiều lựa chọn OECD Organization of Economics Co-operation and Development Tổ chức Hợp tác kinh tế phát triển PIRLS Progress in International Reading Literary Studies Chương trình đánh giá lực đọc hiểu quốc tế PISA Program on International Student Assessment Chương trình đánh giá học sinh quốc tế TIMSS Trends in International Mathematics and Science Studies Chương trình đánh giá lực tốn khoa học quốc tế UNDP United Nation Development Programme Chương trình phát triển liên hợp quốc DANH MỤC CÁC BẢNG BIỂU Bảng 1.1: Tình hình tham gia Chương trình PISA nước/vùng lãnh thổ Bảng 3.1 Cơ cấu địa phương tham gia kỳ thi thử PISA 2010 Bảng 3.2 Kết chọn mẫu (độ tin cậy chọn mẫu 99%, khoảng tin cậy 5) Bảng 3.3 Độ khó 12 câu trắc nghiệm nhiều lựa chọn – lĩnh vực toán học Bảng 3.4 So sánh lực học sinh hai nhóm OECD ngồi OECD thể qua 12 câu hỏi MC thuộc lĩnh vực toán học Bảng 3.5 So sánh lực học sinh hai nhóm HDI cao HDI trung bình, thể qua 12 câu hỏi MC thuộc lĩnh vực toán học Bảng 3.6 So sánh lực học sinh hai nhóm khối OECD ngồi khối OECD, HDI trung bình, thể qua 12 câu hỏi MC thuộc lĩnh vực toán học Bảng 3.7 So sánh lực học sinh hai nhóm: OECD ngồi OECD, HDI trung bình, thuộc châu Á thể qua 12 câu hỏi MC thuộc lĩnh vực toán học Bảng 3.8 Kết phân tích DIF 24 câu trắc nghiệm lĩnh vực đọc hiểu Bảng 3.9 Kết phân tích DIF 28 câu trắc nghiệm lĩnh vực khoa học DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1 Ví dụ thang lực PISA Hình 2.1 Đường cong đặc tính câu hỏi (ICC) Hình 2.2 Đồ thị biểu diễn đường cong lực theo mơ hình Rasch Hình 2.3 Mơ hình thơng số (b: độ khó câu hỏi) Hình 2.4 Mơ hình hai thơng số (a: độ phân biệt câu hỏi) Hình 2.5 Mơ hình ba thơng số (c: yếu tố gợi ý/đốn mị) Hình 3.1 DIF câu hỏi 11, hai nhóm HDI cao HDI trung bình Hình 3.2 Câu hỏi với khoảng khác biệt nhỏ hai nhóm học sinh Hình 3.3 DIF câu hỏi 11, hai nhóm OECD ngồi OECD, có HDI trung bình Hình 3.4 DIF câu hỏi 10, hai nhóm OECD ngồi OECD, HDI trung bình, thuộc châu Á MỞ ĐẦU Lý chọn đề tài Giáo dục có chất lượng tài sản quý giá hệ tương lai Để có giáo dục có chất lượng địi hỏi cam kết mạnh mẽ từ tất thành viên xã hội, từ phủ đến giáo viên, gia đình học sinh Tổ chức hợp tác phát triển kinh tế (OECD) đóng góp cho mục tiêu thơng qua Chương trình đánh giá học sinh quốc tế PISA, chương trình giám sát kết giáo dục khung thống nhất, cho phép mang lại so sánh giá trị mang tính quốc tế Bằng việc số quốc gia thành công việc mang lại kết học tập công chất lượng cao, PISA đặt mục tiêu cần phấn đấu cho quốc gia khác Trên phát biểu Ngài Angel Gurría, Tổng thư ký Tổ chức hợp tác phát triển kinh tế OECD (Organization of Economic Co-operation and Development) tài liệu giới thiệu Chương trình đánh giá học sinh quốc tế PISA (OECD Program for International Student Assessment) Là chương trình đánh giá học sinh mang tính quốc tế, PISA triển khai nhằm kiểm tra, đánh giá trình độ học sinh độ tuổi 15, giai đoạn chuẩn bị kết thúc thời gian học tập bắt buộc PISA đánh giá kiến thức kỹ không cần thiết cho cá nhân sống mà quan trọng cho phát triển quốc gia mặt trị, kinh tế, xã hội Kỳ thi PISA định kỳ tổ chức năm lần, năm 2000, tập trung vào mảng lực chính: Tốn học, Khoa học tự nhiên, Đọc hiểu Kỹ giải vấn đề (Kỹ giải vấn đề đưa vào đề thi từ năm 2006), kỳ thi lấy mảng lực làm nội dung (main domain) Bởi kỳ thi tổ chức diện rộng (mỗi nước tham gia có từ 4.500 đến 10.000 thí sinh dự thi, đại diện cho học sinh thuộc lứa tuổi 15 nước), kết đánh giá nước sử dụng công cụ theo dõi liên tục công tác tổ chức quản lý hệ thống giáo dục PISA không cho nước cách thức cụ thể quản lý trường học liệu có quy mơ lớn độ tin cậy cao thu thập từ kỳ thi PISA thành công giáo dục số nước, hạn chế quản lý giáo dục mà nhiều quốc gia mắc phải Những kết giúp quốc gia coi chưa thành công giáo dục có phép phân tích, so sánh nhằm rút học quý giá để cải tiến giáo dục Đó mục đích xun suốt q trình hình thành phát triển kỳ thi PISA lần tổ chức (năm 2000) có 43 nước tham gia, có 14 nước khơng thuộc khối OECD Qua lần tổ chức, kỳ thi năm 2009 có 75 nước/nền kinh tế tham gia có 38 nước khơng thuộc khối OECD Sự gia tăng nhanh số quốc gia/nền kinh tế tham gia Chương trình PISA chứng tỏ mục đích, ý nghĩa kỳ thi ngày nhận thức đắn quốc gia Trước xu hướng quốc tế hóa, tồn cầu hóa hoạt động kinh tế, xã hội, giáo dục nước, đặc biệt nước phát triển đứng trước nhiều thách thức hội Người ta dễ dàng nhận thấy việc tham gia chương trình đánh giá quốc tế PISA hội tốt để quốc gia có kết luận giá trị tin cậy khía cạnh khác liên quan đến hiệu chất lượng giáo dục mình, từ có định hướng cho việc cải tiến, nâng cao chất lượng giáo dục theo hướng phù hợp xu hướng phát triển chung giới Tuy nhiên, với nước phát triển Việt Nam, thách thức lớn, đòi hỏi cân nhắc tính tốn để việc tham gia thực mang lại hiệu mục đích mà chương trình đánh giá đặt Việt Nam thức đăng ký tham gia Chương trình PISA 2012, với 60 quốc gia/nền kinh tế khác tồn giới Ban đạo quốc gia Chương trình PISA thành lập Chịu trách nhiệm điều phối, tổ chức toàn hoạt động tham gia Chương trình PISA, từ khâu chuẩn bị để Việt Nam tham gia kỳ thi việc tổ chức kỳ thi thức Văn phịng PISA Việt Nam thuộc Trung tâm Đánh giá chất lượng giáo dục, Cục Khảo thí Kiểm định chất lượng giáo dục, Bộ Giáo dục Đào tạo Từ lúc đăng ký OECD thức đồng ý để Việt Nam tham gia PISA 2012 đến kỳ thi thức diễn (tháng 4/2012) giai đoạn chuẩn bị đầy căng thẳng với hàng chục đầu công việc lên kế hoạch chặt chẽ, nằm kế hoạch chung kiểm soát chất lượng Ban điều hành PISA OECD Một khâu chuẩn bị quan trọng nhiều thử thách nhất, có thời gian chuẩn bị trải dài cơng tác dịch thuật thích nghi hóa đề thi bảng hỏi thu thập liệu Kinh nghiệm nước cho thấy, quy trình dịch thuật thích nghi hóa tài liệu thi OECD quy định, hướng dẫn kiểm soát chặt chẽ, thực tế khơng tránh khỏi sai sót mà hậu gây nên số câu hỏi đề thi có thiên kiến số nhóm đối tượng thí sinh định Việc phát thiên kiến có câu hỏi thi PISA nhóm học sinh quốc tế chia theo khu vực địa lý điều kiện kinh tế - xã hội; nhóm học sinh Việt Nam làm tiền đề cho việc nghiên cứu tìm hiểu nguyên nhân tượng thực chức sai khác này, sở cho giải pháp mà Việt Nam nước tham gia thực q trình tham gia dịch thuật thích nghi hóa đề thi để đề thi PISA đạt độ tin cậy độ giá trị cao với học sinh tất nước, không phụ thuộc điều kiện địa lý hay điều kiện trị, tơn giáo, ngơn ngữ Mục đích nghiên cứu đề tài Như đề cập trên, câu hỏi thi thiên kiến vấn đề không mong muốn thường dễ dàng xảy hoạt động khảo thí, đặc biệt kỳ đánh giá diện rộng, cơng cụ đánh giá chuẩn hóa sử dụng để đo lường lực đối tượng đánh giá đến từ vùng, miền điều kiện kinh tế - trị - xã hội – tơn giáo khác Dựa kết thi PISA, đề tài tìm câu hỏi có nguy gây thiên kiến cho nhóm học sinh nước ngồi khối OECD nhóm học sinh quốc tế có điều kiện kinh tế - văn hóa – xã hội tương đối tương đồng với Việt Nam, làm tiền đề cho việc tiên lượng tính đáp ứng học sinh Việt Nam với câu hỏi thi 10 PISA Đề tài tìm khác biệt đáp ứng nhóm học sinh Việt Nam với điều kiện kinh tế - văn hóa – xã hội khác nhau, với câu hỏi thi PISA, để từ có nhận định khả yếu tố ngôn ngữ, văn hóa làm cho câu hỏi PISA thiên kiến Thực nghiên cứu giúp học viên hiểu biết sâu sắc lý thuyết đánh giá liên quan đến câu hỏi thực chức khác biệt (differential item functioning – DIF) quy trình phân tích phát DIF (điều kiện cần để kết luận câu hỏi thiên kiến), quy trình quan trọng xây dựng phát triển đề thi chuẩn hóa Giới hạn nghiên cứu đề tài Đề tài tập trung phân tích kết thi PISA quốc tế năm 2006 – số liệu OECD công bố, tập trung phát dấu hiệu câu hỏi thực chức khác biệt (differential item functioning – DIF: điều kiện cần để kết luận câu hỏi thiên kiến), so sánh cặp: - nhóm học sinh nước thuộc khối OECD nhóm học sinh nước ngồi khối OECD; - nhóm học sinh nước có số phát triển người (HDI) cao nhóm học sinh nước có số HDI trung bình thấp; - nhóm học sinh nước thuộc khối OECD với nhóm học sinh nước khơng thuộc khối OECD có số HDI trung bình thấp; - nhóm học sinh nước thuộc khối OECD với nhóm học sinh nước khơng thuộc khối OECD, có số HDI trung bình thấp, thuộc châu Á; Sở dĩ có phân cặp so sánh số liệu thi PISA 2006 khơng có học sinh Việt Nam; kỳ thi diện rộng, nguy câu hỏi thiên kiến thường bắt nguồn từ nguyên nhân: giới tính, đặc điểm ngơn ngữ, văn hóa Vì vậy, để tìm nguy câu hỏi thiên kiến với học sinh Việt Nam, ta tìm câu hỏi có nguy thiên kiến với nhóm học sinh quốc tế có điều kiện kinh tế - văn hóa – xã 11 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability = Chi-square test of parameter equality = 239.41, df = 27, Sig Level = 0.000 ================================================================================ DIF_7 (readingitems) between Dong bang duyen hai va Mien nuMon Jan 01 12:34 2001 TABLES OF RESPONSE MODEL PARAMETER ESTIMATES =============================================================================== = TERM 1: item VARIABLES 99 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 8 9 10 10 11 11 12 12 13 13 14 14 15 15 16 16 17 17 18 18 19 19 20 20 21 21 22 22 23 23 24 24 -An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability = 0.997 Chi-square test of parameter equality = 6545.69, df = 23, Sig Level = 0.000 ================================================================================ TERM 2: (-)Diahinh VARIABLES UNWEIGHTED FIT WEIGHTED FIT - diahinh ESTIMATE ERROR MNSQ CI T MNSQ CI T 1 0.176 0.025 2 -0.176* -An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability Not Applicable Chi-square test of parameter equality = 48.72, df = ================================================================================ TERM 3: item*Diahinh VARIABLES item 1 2 3 4 5 6 7 8 9 10 10 11 11 12 12 13 13 14 14 15 15 16 16 17 17 18 18 19 19 20 20 21 21 22 22 23 23 24 24 100 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 -An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability = 0.612 Chi-square test of parameter equality = 90.19, df = 23, Sig Level = 0.000 ================================================================================ DIF_8 (scienceitems) between Dong bang duyen hai and Mien n Mon Jan 01 12:38 2001 TABLES OF RESPONSE MODEL PARAMETER ESTIMATES =============================================================================== = TERM 1: item VARIABLES item 1 2 3 4 5 6 7 8 9 10 10 11 11 12 12 13 13 14 14 15 15 16 16 17 17 18 18 19 19 20 20 21 21 22 22 23 23 24 24 25 25 26 26 27 27 28 28 -An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability = 0.996 Chi-square test of parameter equality = 6635.40, 101 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 ================================================================================ TERM 2: (-)Diahinh VARIABLES UNWEIGHTED FIT WEIGHTED FIT diahinh ESTIMATE ERROR MNSQ CI T MNSQ CI T 1 0.131 0.022 2 -0.131* -An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability Not Applicable Chi-square test of parameter equality = 34.45, df = ================================================================================ TERM 3: item*Diahinh VARIABLES item 1 2 3 4 5 6 7 8 9 10 10 11 11 12 12 13 13 14 14 15 15 16 16 17 17 18 18 19 19 20 20 21 21 22 22 23 23 24 24 25 25 26 26 27 27 28 28 10 10 11 11 12 12 13 13 14 14 15 15 16 16 17 17 18 18 19 19 20 20 21 21 22 22 23 23 102 24 25 26 27 28 An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability = 0.540 Chi-square test of parameter equality = 59.40, df = 27, Sig Level = 0.000 103 24 25 26 27 28 Phụ lục 4: Cấu trúc đề thi thử PISA tháng 5/2010 Việt Nam mã hóa 104 Bài 10 11 12 105 Ghi chú: - M: Maths (Câu hỏi thuộc lĩnh vực toán học) - R: Reading (Câu hỏi thuộc lĩnh vực đọc hiểu) - S: Science (Câu hỏi thuộc lĩnh vực khoa học) - T/L: Câu tự luận - Cột đáp án: mã – – – tương ứng lựa chọn A – B – C – D câu hỏi nhiều lựa chọn - Có 24 câu hỏi đọc hiểu 28 câu hỏi khoa học đưa vào phân tích tìm kiếm DIF 107 108 Thank you for evaluating AnyBizSoft PDF Splitter A watermark is added at the end of each output PDF file To remove the watermark, you need to purchase the software from http://www.anypdftools.com/buy/buy-pdf-splitter.html ... đánh giá học sinh quốc tế 1.1.1 TIMSS PIRLS 1.1.2 Chương trình đánh giá học sinh quốc tế PISA 1.2 Tổng quan nghiên cứu liên quan Chương II LÝ THUYẾT ĐÁNH GIÁ 2.1 Khái niệm đánh giá giáo dục 2.2 Các. .. tượng học sinh nước tham gia Thông qua kết mẫu học sinh tham gia dự đốn tương đối xác thành tích học sinh tồn quốc 1.1.2 Chương trình đánh giá học sinh quốc tế PISA a OECD Chương trình đánh giá học. .. sinh nước thuộc khối OECD với nhóm học sinh nước khơng thuộc khối OECD có số HDI trung bình thấp; - nhóm học sinh nước thuộc khối OECD với nhóm học sinh nước khơng thuộc khối OECD, có số HDI