CHƯƠNG 3 .KẾT QUẢ NGHIÊN CỨU VÀ KẾT LUẬN
2. Hạn chế và hướng nghiên cứu tiếp theo
Tuy nhiên, ở phạm vi áp dụng phương pháp phân tích chỉ số DIF bằng phần mềm CONQUEST, đề tài chưa thể đưa ra những kết luận chắc chắn rằng câu hỏi nào là câu hỏi thiên lệch. Khoảng khác biệt DIF đủ lớn chỉ là yếu tố cần nhưng chưa đủ để giúp tác giả đưa ra khẳng định chắc chắn.
Đề tài đã đưa ra khẳng định về sự tác động của các yếu tố giới tính, vùng miền, vị trí địa lý và giới tính có khả năng gây ra lỗi thiên lệch trong câu hỏi thi PISA lĩnh vực Toán học. Tuy nhiên, như đã nói ở trên, do chỉ số DIF chỉ là 1 yếu tố giúp xác định câu hỏi có khả năng thiên lệch. Do vậy, việc xác định các yếu tố có tác động hiện vẫn chỉ mang tính khái qt chung, chưa có phân tích cụ thể.
thiên lệch. Đề tài chưa phân biệt được giữa lỗi thiên lệch do nội dung câu hỏi và do năng lực của học sinh.
Chính những hạn chế trên tạo ra hướng nghiên cứu tiếp theo cho đề tài theo các nội dung sau:
- Sử dụng thêm các phần mềm phát hiện câu hỏi bị lỗi thiên lệch không sử dụng lý thuyết hồi đáp câu hỏi để có sự đối sánh giữa kết quả của phần mềm CONQUEST và các phần mềm khác nhằm nâng độ chính xác của các phát hiện về câu hỏi thiên lệch;
- Nghiên cứu cụ thể về các câu hỏi có khả năng bị lỗi thiên lệch, tìm hiểu nội dung câu hỏi để từ đó xác định những câu hỏi bị lỗi thiên lệch về nội dung, loại trừ những câu hỏi có chỉ số DIF lớn do năng lực của học sinh.
Do thời gian hạn hẹp, cũng như khả năng và trình độ hạn chế, cho nên luận văn khơng tránh khỏi những thiếu sót. Tác giả rất mong nhận được những đóng góp của các Thầy, Cô giáo, những chuyên gia, các nhà nghiên cứu giáo dục và các anh chị đồng nghiệp để tác giả đúc rút kinh nghiệm, nâng cao hiệu quả nghiên cứu trong tương lai.
TÀI LIỆU THAM KHẢO
II. Tài liệu nước ngoài
1. AFT, NCME, NEA (1990) Teacher Competence in Educational Assessment of
Students,USA.
2. Alan Davies (1999), Dictionary of Language Testing, Cambridge University
press.
3. Anthony J. Nitko (2004), Educational Assessment of Students, 4th Edition, by Pearson Education, Inc., Upper Saddle River, New Jersey.
4. Anthony J. Nitko,Susan M. Brookhart, (2007) Educational Assessment of Students, Pearson Merrill Prentice Hall.
5. Berk, R.A. (Ed.). (1982) Handbook of methods for detecting test bias. Baltimore, The Johns Hopkins University Press.
6. Chappuis, A.& Chappuis, J. (December 2007 - January 2008). The Best Value in Formative Assessment. Educational Leadership. Informative Assessment, p14-19.
7. Chipman, S.F. (1988, April) Word problems: Where test bias creeps, Paper
presented at the meeting of AERA, New Orleans.
8. Earl, L.(2003).Classroom Assessment for Deep Understanding: Shifting
from Assessment Of Learning to Assessment For Learning and Assessment As Learning. Downloaded from http://www.npbs.ca/Articles.htm.
9. Frederick G. Brown (1973), Measurement and Evaluation, F. E. Peacock
Publishers, Inc.
10. Griffin, P.(1993). Program Development and Evaluation. Assessment Research Centre.RMIT Coburg. Australia.
11. Grisay, A.&Monseur, C.(2007). Measuring equivalence of item difficulties in
the various versions of aninternational test. Studies in Educational Evaluation,
33(1), p69-86.
12. Grisay, A.Gonzalez, E. & Monseur, C. (2009). Equivalence of item difficulties across national versions of the PIRLS and PISA reading assessment.
IERI monograph series: Issues and methodologies in large-scale assessment,
Vol.2, p63-83.
13. Gronlund, E.N.(1982). Constructing Achivement Test. USA: Prentice-Hall,
Inc.
14. Hall, T.&Mengel, M. (June2002). Curriculum-Based Evaluations. NCAC Effective Classroom Practices. Downloaded fromhttp://www.cast.org/.
15. Hambleton, R.& Jone, R.(1993). Comparison of Classical Test Theory and
Item Response Theory and Their Applications to Test Development. A module in NCME Series of Instructional Topics in Educational Measurement. NCME
Journal of Educational Measurement: Issues and Practices. p253-262.
16. Hambleton, Ronald & Rodgers, Jane (1995). Item bias review. Practical Assessment, Research & Evaluation,
17. Hambleton, R.K., & Jones, R.W (1985) Comparisons of empirical and judgemental methods for detecting differential item functioning. Educational Research Quarterly.
18. Harris, D. (1989). Comparison of 1-, 2-, and 3-paramater IRT models. A module in NCME Series of Instructional Topics in Educational Measurement.
NCME Journal of Educational Measurement: Issues and Practices, 8(1), p35-41. 19. Herbert J Walberg, Geneva D Haertel (1990),The International Encyclopedia
of Educational Evaluation, Pergamon Press, USA.
20. Jean – Marie de Ketele (1989) L’évaluation de la productivité des institutions d’éducation, Cahier de la Fondation Universitaire : Université et société, le rendement de l’enseignement univeristaire.
21. Kubiszyn, T.&Borich, G.(2003). Educational Testing and Measurement: Classroom Application and Practice. John Wiley&Sons,
22. L. R. Gay, Lorrie R. Gay and Peter W. Airasian(Jun 10, 1999) Educational Research: Competencies for Analysis and Applications (6th Edition), Prentice Hall
23. Lawrence, I.M., Curley, W.E., & McHale, F.J. (1988, April). Differential item
functioning of SAT-verbal reading subscore items for male and female examinees.
Paper presented at the meeting of AERA, New Orleans.
24. Le, LucT. (2009). Investigating Gender Differential Item Functioning Across
Countries and Test Languages for PISA Science Items. International Journal of
Testing, 9:2, p122–133.
25. Lord, F.M. (1977). Practical Applications of Item Characteristic Curve Theory. Journal of Educational Measurement, 14, p117-138.
26. Mellenbergh, G.J. (1984, December). Finding the biasing trait(s). Paper presented at the Advanced Study Institute Human Assessment: Advances in Measuring Cognition and Motivation, Athens, Greece.
27. Mellenbergh, G.J. 1985, April). Item bias: Dutch research on its definition, detection, and explanation. Paper presented at the meeting of AERA, Chicago.
28. OECD PISA 2006 Brochure: Downloaded from www.oecd.org
29. OECD. (2007). PISA 2006 Technical Report. Downloaded from OECD website.
30. Patrick Griffin (2003), An Introduction to the Rash Model, Assessment Research Centre, The University of Melbourne.
31. Patrick Griffin (2003), Measuring Achievement Using Sub Tests from a Common Item Pool a cross National Application of the Rasch Model, Assessment Research Centre, The University of Melbourne.
32. Pedrajita, Q.J.&Talisayon, M.V.(2009). Identifying Biased Test Items by Differential Item Functioning Analysis Using Contingency Table Approaches: A Comparative Study. Education Quarterly, 67(1), p21-43. U.P.College of Education. University of Philippines, Duliman.
33. Program for International Student Assessment (2005), PISA 2003 Technical Report, OEDC.
34. Program for International Student Assessment (2008), PISA 2006 Technical Report, OEDC
35. Program for International Student Assessment (2011), PISA 2009 Technical Report, OEDC
36. Program for International Student Assessment (2013), PISA 2012 Results: What students know and can do – Volume I”, OEDC.
37. Scheuneman, J.D. (1982a). A new look at bias in aptitude tests. In P. Merrifield (Ed.), New directions for testing and measurement: Measuring human abilities, No. 12. San Francisco: Jossey-Bass.
38. Scheuneman, J.D. (1982b). A posteriori analyses of biased items. In R. A. Berk
(Ed.), Handbook of methods for detecting test bias. Baltimore, The Johns Hopkins
University Press.
39. Scheuneman, J.D. (1984). A theoretical framework for the exploration of causes and effects of bias in testing.Educational Psychology, 19(4), 219-225.
40. Schmitt, A.P., Curley, W.E., Blaustein, C.A., & Dorans, N.J. (1988, April).
Experimental evaluation of language and interest factors related to differential item functioning for Hispanic examinees on the SAT-verbal. Paper presented at the meeting of AERA, New Orleans.
41. Scheuneman, Janice Dowd (1985) Exploration of Causes of Bias in Test Items, ETS Research Report.
42. T. Anne Cleary (1986), Test Bias: Prediction of grades of negro and white
students in intergrated colleges, Journal of Educational Measurement.
43. https://nces.ed.gov/surveys/pisa/pisa2012/pisa2012highlights_3f.asp.
III. Tài liệu tiếng Việt
1. Nguyễn Hải Châu & Lê Thị Mỹ Hà (2012), PISA và các dạng câu hỏi, Nxb Giáo dụcViệt Nam.
2. Lê Thị Mỹ Hà (2001), Một số khái niệm cơ bản về đánh giá trong giáo dục,
3. Trần Bá Hoành (1996), Đánh giá trong giáo dục, Nxb Giáo dục, Hà Nội. 4. Nguyễn Công Khanh (2004), Đánh giá và đo lường trong khoa học xã hội: Quy trình, kỹ thuật thiết kế, thích nghi, chuẩn hóa cơng cụ đo, Nxb Chính trị Quốc
gia, Hà Nội.
5. Lê Đức Ngọc (2001),Tài liệu giảng dạy Đo lường và đánh giá trong giáo dục, Chương trình đào tạo Thạc sĩ chuyên ngành Đo lường và đánh giá trong giáo dục. Trung tâm ĐBCLĐT & NCPTGD, ĐHQGHN.
6. Phạm Xuân Thanh (2007), Tài liệu bài giảng về Lý thuyết đánh giá, Chương trình đào tạo Thạc sĩ chuyên ngành Đo lường và đánh giá trong giáo dục. Trung tâm ĐBCLĐT & NCPTGD, ĐHQGHN.
7. Lâm Quang Thiệp (2008), Trắc Nghiệm và Ứng Dụng, Nxb Khoa Học Kỹ Thuật, Hà Nội.
8. Lâm Quang Thiệp (2010), Đo lường trong giáo dục, lý thuyết và ứng dụng,
Nxb Đại học Quốc gia Hà Nội.
9. Dương Thiệu Tống (1995), Trắc nghiệm và đo lường thành quả học tập,
PHỤ LỤC
1. Các câu lệnh
1.1. Tính DIF theo giới tính:
Datafile dulieu_gioitinh.dat; Codes 0, 1, 2, 8, 9;
title DIF between HS nam va HS nu ! 1;
Format namnu 1 schoolid 2-8 stkDstd 9-13 bookid 14-15 responses 16-98; Key 1111111111111111111111111111111111111111111111111111111111111111111111111 1111111111!1; Key xxxxx22xxxxxxxxxxxxxxx2xxxxxxxxxxxxxx2xxxxxxxxxxxxx2xxxxx2xx2xxxxx2xxxxxx xxxx2xxxxx!1; Model item-namnu+item*namnu; Estimate !fit=no,stderr=full;
Show !table=2 >> DIF_nam_nu.shw; Itanal >> DIF_nam_nu.itn;
1.2. Tính DIF theo vị trí địa lý
Datafile dulieu_nongthon_vungxauxa.dat; Codes 0, 1, 2, 8, 9;
title DIF between nong thon va vung xau xa ! 1;
Format nongthonvungxauxa 1 schoolid 2-8 stkDstd 9-13 bookid 14-15 responses 16-98; Key 1111111111111111111111111111111111111111111111111111111111111111111111111 1111111111!1; Key xxxxx22xxxxxxxxxxxxxxx2xxxxxxxxxxxxxx2xxxxxxxxxxxxx2xxxxx2xx2xxxxx2xxxxxx xxxx2xxxxx!1; Model item-nongthonvungxauxa+item*nongthonvungxauxa; Estimate !fit=no,stderr=full;
Show !table=2 >> DIF_nongthon_vungxauxa.shw; Itanal >> DIF_nongthon_vungxauxa.itn;
Datafile dulieu_thanhthi_vungxauxa.dat; Codes 0, 1, 2, 8, 9;
title DIF between thanh thi va vung xau xa ! 1;
Format thanhthivungxauxa 1 schoolid 2-8 stkDstd 9-13 bookid 14-15 responses 16-98; Key 1111111111111111111111111111111111111111111111111111111111111111111111111 1111111111!1; Key xxxxx22xxxxxxxxxxxxxxx2xxxxxxxxxxxxxx2xxxxxxxxxxxxx2xxxxx2xx2xxxxx2xxxxxx xxxx2xxxxx!1; Model item-thanhthivungxauxa+item*thanhthivungxauxa; Estimate !fit=no,stderr=full;
Show !table=2 >> DIF_thanhthi_vungxauxa.shw; Itanal >> DIF_thanhthi_vungxauxa.itn;
Datafile dulieu_thanhthi_nongthon.dat; Codes 0, 1, 2, 8, 9;
title DIF between thanh thi va nongthon ! 1;
Format thanhthinongthon 1 schoolid 2-8 stkDstd 9-13 bookid 14-15 responses 16-98; Key 1111111111111111111111111111111111111111111111111111111111111111111111111 1111111111!1; Key xxxxx22xxxxxxxxxxxxxxx2xxxxxxxxxxxxxx2xxxxxxxxxxxxx2xxxxx2xx2xxxxx2xxxxxx xxxx2xxxxx!1; Model item-thanhthinongthon+item*thanhthinongthon; Estimate !fit=no,stderr=full;
Show !table=2 >> DIF_thanhthi_nongthon.shw; Itanal >> DIF_thanhthi_nongthon.itn;
1.3. Tính DIF theo Vùng miền
Datafile mienTrung_Nam.dat; Codes 0, 1, 2, 8, 9;
title DIF between mien Trung va mien Nam ! 1;
Format mienTrungmienNam 1 schoolid 2-8 stkDstd 9-13 bookid 14-15 responses 16-98; Key 1111111111111111111111111111111111111111111111111111111111111111111111111 1111111111!1; Key xxxxx22xxxxxxxxxxxxxxx2xxxxxxxxxxxxxx2xxxxxxxxxxxxx2xxxxx2xx2xxxxx2xxxxxx xxxx2xxxxx!1; Model item-mienTrungmienNam+item*mienTrungmienNam; Estimate !fit=no,stderr=full;
Show !table=2 >> DIF_mienTrung_Nam.shw; Itanal >> DIF_mienTrung_Nam.itn; Datafile mienBac_Nam.dat;
Codes 0, 1, 2, 8, 9;
title DIF between mien Bac va mien Nam ! 1;
Format mienBacmienNam 1 schoolid 2-8 stkDstd 9-13 bookid 14-15 responses 16-98; Key 1111111111111111111111111111111111111111111111111111111111111111111111111 1111111111!1; Key xxxxx22xxxxxxxxxxxxxxx2xxxxxxxxxxxxxx2xxxxxxxxxxxxx2xxxxx2xx2xxxxx2xxxxxx xxxx2xxxxx!1; Model item-mienBacmienNam+item*mienBacmienNam; Estimate !fit=no,stderr=full;
Show !table=2 >> DIF_mienBac_Nam.shw; Itanal >> DIF_mienBac_Nam.itn; Datafile mienBac_Trung.dat;
Codes 0, 1, 2, 8, 9;
title DIF between mien Bac va mien Trung ! 1;
Format mienBacmienTrung 1 schoolid 2-8 stkDstd 9-13 bookid 14-15 responses 16-98; Key 1111111111111111111111111111111111111111111111111111111111111111111111111 1111111111!1; Key xxxxx22xxxxxxxxxxxxxxx2xxxxxxxxxxxxxx2xxxxxxxxxxxxx2xxxxx2xx2xxxxx2xxxxxx xxxx2xxxxx!1; Model item-mienBacmienTrung+item*mienBacmienTrung; Estimate !fit=no,stderr=full;
Show !table=2 >> DIF_mienBac_Trung.shw; Itanal >> DIF_mienBac_Trung.itn;
1.4. Tính DIF theo Loại hình trường
Datafile dulieu _chia loai hinh truong.dat; Codes 0, 1, 2, 8, 9;
title DIF between cong lap va ngoai cong lap ! 1;
Format CLngoaiCL 1 schoolid 2-8 stkDstd 9-13 bookid 14-15 responses 16- 98; Key 1111111111111111111111111111111111111111111111111111111111111111111111111 1111111111!1; Key xxxxx22xxxxxxxxxxxxxxx2xxxxxxxxxxxxxx2xxxxxxxxxxxxx2xxxxx2xx2xxxxx2xxxxxx xxxx2xxxxx!1; Model item-CLngoaiCL+item*CLngoaiCL; Estimate !fit=no,stderr=full;
Show !table=2 >> DIF_conglap_ngoaiconglap.shw; Itanal >> DIF_conglap_ngoaiconglap.itn;
1.5. Mẫu macro chạy Difference có PV trong SPSS
!DIF_PV nrep = 80 /
dep = PV1MATH PV2MATH PV3MATH PV4MATH PV5MATH / stat = Mean / compare = ST04Q01 / categ = 1 2 / within = NoWithin / wgt = W_FSTUWT / rwgt = W_FSTR / cons = 0.05 / infile = 'c:\pisa_stud.sav' /.
2. Dữ liệu chạy
2.1. DIF theo giới tính
DIF between HS nam va HS nu ! 1 Mon Jun 29 14:36 2015 TABLES OF RESPONSE MODEL PARAMETER ESTIMATES
================================================================================ TERM 1: item
------------------------------------------------------------------------------------------ VARIABLES UNWEIGHTED FIT WEIGHTED FIT
--------------- ----------------------- ----------------------- item ESTIMATE ERROR MNSQ CI T MNSQ CI T ------------------------------------------------------------------------------------------ 1 1 3.517 0.115 2 2 1.837 0.072 3 3 -0.197 0.060 4 4 1.112 0.064 5 5 0.180 0.060 6 6 -0.595 0.061 7 7 1.839 0.072 8 8 -1.309 0.067 9 9 1.057 0.063 10 10 -0.476 0.060 11 11 -0.887 0.062 12 12 1.694 0.070 13 13 2.865 0.096 14 14 1.085 0.063 15 15 0.122 0.060 16 16 -1.348 0.067 17 17 -0.363 0.059 18 18 -1.716 0.073 19 19 1.342 0.066 20 20 -0.429 0.060 21 21 3.065 0.102 22 22 -1.620 0.071 23 23 1.077 0.064 24 24 1.896 0.073 25 25 -0.714 0.062 26 26 -0.175 0.059 27 27 -0.430 0.060 28 28 -0.825 0.062 29 29 -0.042 0.059 30 30 -1.044 0.064 31 31 -0.533 0.060 32 32 0.173 0.059 33 33 -2.622 0.093 34 34 2.112 0.077 35 35 -0.405 0.060 36 36 0.464 0.060 37 37 -1.001 0.063 38 38 -0.656 0.061 39 39 -2.116 0.081 40 40 -0.984 0.064 41 41 2.124 0.075 42 42 -0.465 0.060 43 43 -1.753 0.073 44 44 0.238 0.059 45 45 -0.588 0.061 46 46 -0.886 0.064 47 47 -0.398 0.061 48 48 -0.670 0.062 49 49 -0.595 0.062 50 50 -1.167 0.066 51 51 1.868 0.071 52 52 0.688 0.060 53 53 -2.001 0.079 54 54 -1.870 0.077 55 55 2.246 0.080 56 56 -1.792 0.074 57 57 -0.002 0.059
58 58 0.517 0.059 59 59 -0.443 0.060 60 60 0.872 0.061 61 61 1.948 0.072 62 62 -1.594 0.072 63 63 -0.919 0.064 64 64 1.892 0.071 65 65 2.232 0.080 66 66 -1.828 0.075 67 67 -1.553 0.071 68 68 0.281 0.061 69 69 1.317 0.066 70 70 -1.442 0.068 71 71 0.488 0.060 72 72 -0.874 0.062 73 73 -0.621 0.061 74 74 -2.582 0.094 75 75 -1.450 0.070 76 76 0.232 0.059 77 77 -1.461 0.070 78 78 1.649 0.068 79 79 -0.951 0.063 80 80 1.502 0.067 81 81 2.687 0.089 82 82 -0.107 0.059 83 83 0.284* --------------------------------------------------------------------------------
An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability = 0.998
Chi-square test of parameter equality = 28085.01, df = 82, Sig Level = 0.000 ================================================================================ TERM 2: (-)namnu
------------------------------------------------------------------------------------------ VARIABLES UNWEIGHTED FIT WEIGHTED FIT
--------------- ----------------------- ----------------------- namnu ESTIMATE ERROR MNSQ CI T MNSQ CI T ------------------------------------------------------------------------------------------