CHƢƠNG 3 : KẾT QUẢ THỰC NGHIỆM
3.4 Kết quả thực nghiệm tại trƣờng trung học phổ thơng Hồi Đứ cA
3.4.1 Chỉ số thống kê bài test đo lƣờng năng lực đọc hiểu
Dữ liệu sau khi thu thập, đƣợc mã hóa/ chấm điểm (chỉ với câu hỏi tự luận, còn câu hỏi trắc nghiệm khách quan chấm tự động qua chƣơng trình xử lý và phân tích dữ liệu), đƣợc nhập (số hóa) và làm sạch trƣớc khi phân tích. Sau đó phân tích và xử lý theo mơ hình IRT thơng qua phần mềm CONQUEST.
Bảng 3.2 biểu thị: cột “item” là các câu hỏi trong bài test; hai cột tiếp theo là thống kê độ khó và sai số của các câu hỏi; các cột cuối cùng là các chỉ số phù hợp của câu hỏi với mơ hình IRT. Yêu cầu kỹ thuật cho các loại chỉ số này đã nêu ở bảng 3.1.
64
Bảng 3.2 Ước lượng độ khó, sai số, chỉ số phù hợp của các câu hỏi
Item Estimate Error UNWEIGHTED FIT WEIGHTED FIT
MNSQ CI t MNSQ CI t 1 -0.16 0.097 0.89 ( 0.86, 1.14) -1.5 0.93 ( 0.86, 1.14) -0.9 2 -3.001 0.125 1.76 ( 0.86, 1.14) 8.5 0.97 ( 0.45, 1.55) 0 3 1.367 0.091 1.13 ( 0.86, 1.14) 1.7 1.07 ( 0.89, 1.11) 1.2 4 -1.567 0.111 1.73 ( 0.86, 1.14) 8.2 0.99 ( 0.75, 1.25) -0.1 5 -0.942 0.104 0.85 ( 0.86, 1.14) -2.1 0.92 ( 0.81, 1.19) -0.8 6 -0.996 0.105 1.27 ( 0.86, 1.14) 3.4 1.06 ( 0.81, 1.19) 0.6 7 0.28 0.094 0.87 ( 0.86, 1.14) -1.9 0.97 ( 0.88, 1.12) -0.4 8 0.647 0.093 1.15 ( 0.86, 1.14) 2 1.09 ( 0.88, 1.12) 1.4 9 -0.258 0.098 1.63 ( 0.86, 1.14) 7.2 1.16 ( 0.86, 1.14) 2.1 10 -0.045 0.096 1.03 ( 0.86, 1.14) 0.5 1.01 ( 0.87, 1.13) 0.1 11 0.662 0.093 0.93 ( 0.86, 1.14) -0.9 0.92 ( 0.88, 1.12) -1.4 12 -0.579 0.101 1.39 ( 0.86, 1.14) 4.8 1.08 ( 0.84, 1.16) 0.9 13 -0.426 0.099 0.67 ( 0.86, 1.14) -5 0.83 ( 0.85, 1.15) -2.3 14 -0.261 0.098 0.62 ( 0.86, 1.14) -6 0.81 ( 0.86, 1.14) -2.8 15 -0.323 0.098 0.63 ( 0.86, 1.14) -5.8 0.86 ( 0.85, 1.15) -2 16 0.446 0.094 1.43 ( 0.86, 1.14) 5.1 1.18 ( 0.88, 1.12) 2.7 17 1.193 0.091 1.03 ( 0.86, 1.14) 0.4 0.99 ( 0.89, 1.11) -0.2 18 -1.206 0.107 1.5 ( 0.86, 1.14) 5.9 0.99 ( 0.79, 1.21) -0.1 19 0.062 0.096 1.02 ( 0.86, 1.14) 0.3 1 ( 0.87, 1.13) 0.1 20 0.787 0.092 0.77 ( 0.86, 1.14) -3.4 0.83 ( 0.88, 1.12) -3.1 21 0.134 0.095 0.91 ( 0.86, 1.14) -1.3 0.97 ( 0.87, 1.13) -0.5 22 1.902 0.092 0.92 ( 0.86, 1.14) -1.1 0.88 ( 0.89, 1.11) -2.2 23 2.059 0.092 1 ( 0.86, 1.14) 0 1 ( 0.89, 1.11) 0.1 24 0.17 0.095 1.23 ( 0.86, 1.14) 2.9 1.16 ( 0.87, 1.13) 2.4 25 -1.087 0.106 0.9 ( 0.86, 1.14) -1.4 0.95 ( 0.80, 1.20) -0.5
65
Item Estimate Error UNWEIGHTED FIT WEIGHTED FIT
26 0.82 0.092 1.43 ( 0.86, 1.14) 5.2 1.33 ( 0.88, 1.12) 5 27 0.311 0.094 0.98 ( 0.86, 1.14) -0.3 1.02 ( 0.88, 1.12) 0.4 28 -0.696 0.102 0.74 ( 0.86, 1.14) -3.8 0.99 ( 0.83, 1.17) -0.1 29 0.661 0.093 0.99 ( 0.86, 1.14) -0.2 0.97 ( 0.88, 1.12) -0.4 30 0.046 0.53 0.87 ( 0.86, 1.14) -1.8 0.97 ( 0.87, 1.13) -0.5
Nhìn vào bảng trên, ta thấy đề có khá nhiều câu là dễ (có độ khó âm). Căn cứ vào chỉ số fit, các câu hỏi 1, 3, 5, 7, 8, 10, 11,17, 19, 21, 22, 23, 25, 27, 29, 30 có độ phù hợp tƣơng đối tốt với mơ hình đã lựa chọn (0.85MNSQ1.15). Có một số câu hỏi độ phù hợp không tốt nhƣ câu 14 (MNSQ0.62), 15 (MNSQ0.63), 4 (MNSQ1.73), 2 (MNSQ1.76). Ngoài ra, do số lƣợng học sinh tham gia thử nghiệm ít (200 học sinh) nên sai số ƣớc tính khá cao đối với tất cả các câu hỏi trong đề kiểm tra (Error0.091).
- Các câu hỏi có độ khó từ -3 đến 3,23 logit; bài test đều có những câu trải đều trên thang đo, tuy nhiên bài test thiếu vắng những câu dễ (từ -1,13 trở lên, ngoại trừ câu 27 có độ khó là -2,04);
- Hầu hết các câu hỏi đều phù hợp với mơ hình đo lƣờng biến ẩn „Năng lực đọc hiểu‟.
Biểu đờ biểu diễn độ khó của các câu hỏi trong đề kiểm tra đƣợc cho ở hình 3.1
-4 -3 -2 -1 0 1 2 3 2 4 18 25 6 5 28 12 13 15 14 9 1 10 30 19 21 24 7 27 16 8 29 11 20 26 17 3 22 23
66
Hình 3.1 Biểu đồ độ khó của các câu hỏi
3.4.2 Bản đờ phân bố độ khó và năng lực của học sinh
Hình 3.2 là bản đờ cân bàng năng lực học sinh và độ khó các nhiệm vụ/ câu hỏi mà học sinh đã hoàn thành trên cùng thang đo logit: Đầu tiên là thang đo Logit; khối tiếp theo thể hiện phân bố vị trí năng lực học sinh; Khối cuối cùng là phân bố vị trí độ khó của 30 câu hỏi ở bài test.
Những học sinh có vị trí ngang với câu hỏi thì xác suất trả lời đúng câu hỏi đó là 0,5. Khi học sinh có vị trí cao hoặc thấp hơn câu hỏi thì xác suất trả lời đúng câu hỏi đó sẽ cao hơn hoặc thấp hơn 0,5.
Bản đờ phân bố độ khó câu hỏi thi và năng lực thí sinh cho thấy mức độ phù hợp của đề thí đối với thí sinh dự thi. Có thể là đề thi q dễ, quá khó hoặc rất phù hợp. Bản đồ phân bố cho thấy đề thi đo đƣợc hầu hết năng lực của thí sinh hay cịn có những khoảng trống cần bổ sung một số câu hỏi để đo và phân biệt đƣợc năng lực của các thí sinh ở đó.
67
Hình 3.2 Bản đồ phân bố năng lực đọc hiểu của học sinh và độ khó của câu hỏi
Có thể thấy tổng thể 30 câu hỏi của bộ cơng cụ có độ khó trải đều tất cả các trình độ phát triển năng lực của học sinh. Tuy nhiên có câu hỏi số 2 quá dễ bởi các học sinh đều ở vị trí cao hơn item này và cần đƣợc chỉnh sửa hoặc thay thế bằng câu hỏi khác.
Nhìn chung bài test là phù hợp với học sinh và mơ hình đã lựa chọn, và có thể sử dụng để đo lƣờng năng lực đọc hiểu của học sinh sau khi chỉnh sửa và hoàn thiện lại.
3.4.3 Đánh giá chất lƣợng, độ tin cậy đề kiểm tra
Độ tin cậy của bài kiểm tra theo CONQUEST tính tốn là 0.876 (phị hợp với mơ hình đã đƣa ra). Sau đây, ta xét đến đƣờng cong đặc trƣng và đƣờng cong thông tin của bài kiểm tra thử nghiệm bằng cách sử dụng phàn mềm CONQUEST (hình 3.3 và hình 3.4)
68
Hình 3.3 Đường cong đặc trưng của bài kiểm tra
Hình 3.4 Đường cong thơng tin của để kiểm tra
Độ tin cậy của đề kiểm tra là 0.876 chứng tỏ đây là một bài kiểm tra tƣơng đối tốt. Nhìn vào đƣờng cong thơng tin và đƣờng cong đặc trƣng của đề kiểm tra, ta có thể thấy đây là một bài kiểm tra phù hợp đối với học trò và bài kiểm tra này thu đƣợc nhiều thông tin nhất trong dải năng lực từ -1.0 đến 1.0. Độ khó của các câu hỏi trong đề kiểm tra cũng đã đƣợc rải đều (từ -3.001 đến 2.059).
3.5 Điểm xác xuất của ho ̣c sinh
Theo lý thuyết ứng đáp câu hỏi (IRT), đối với mỗi thí sinh có năng lực
đứng trƣớc câu hỏi có độ khó là thì xác suất trả lời đúng câu hỏi của thí sinh này là: ( ) ( ) ( ) 1 e P e
Căn cứ cơng thức này, chúng ta có thể đi tính điểm (theo xác suất) của tất cả thí sinh đối với từng câu hỏi và tổng điểm của mỗi thí sinh. Sau khi tính điểm của từng câu hỏi, tổng điểm (theo xác suất) của mỗi thí sinh đƣợc sắp xếp theo thứ tự giảm dần, ví dụ nhƣ bảng 3.3 miêu tả mô ̣t số ho ̣c sinh ở dƣới đây:
Bảng 3.3 Tổng điểm của thí sinh theo xác suất
STT Sốcâu đúng Số câu đã làm Tổng điểm Năng lực Sai số Tổng điểm
69 110 30 30 30 4.6000 1.4869 29.5323 113 30 30 30 4.6000 1.4869 29.5323 133 30 30 30 4.6000 1.4869 29.5323 135 30 30 30 4.6000 1.4869 29.5323 154 30 30 30 4.6000 1.4869 29.5323 161 30 30 30 4.6000 1.4869 29.5323 166 30 30 30 4.6000 1.4869 29.5323 187 30 30 30 4.6000 1.4869 29.5323 188 30 30 30 4.6000 1.4869 29.5323
70
Kết luâ ̣n chƣơng 3
Qua việc tiến hành thực nghiệm và xử lí kết quả thực nghiệm bằng phần mềm CONQUEST kết quả làm bài kiểm tra của học sinh, chúng tơi có một vài nhận xét sau:
- Bài test đo lƣờng năng lực mà chúng tôi đã xây dựng đã đảm bảo phù hợp với mức độ năng lực mà tác giả đã đƣa ra.
- Sử dụng bài test này có thể đo lƣờng đƣợc năng lực đọc hiểu môn ngữ văn ở học sinh.
Những kết quả thu đƣợc trong quá trình thực nghiệm sƣ phạm cho phép khẳng định giả thuyết khoa học là đúng đắn; vận dụng kết quả vào thực tiễn dạy học và đánh giá ở trƣờng Trung học Phổ Thơng hiện này là có tính khả thi. Tuy nhiên, để đảm bảo hiệu quả, cần trang bị kiến thức về đánh giá một cách bài bản đối với cán bộ quản lí và giáo viên của trƣờng học.
71
KẾT LUẬN CHUNG
Đối chiếu với mục đích và nhiệm vụ đề ra ban đầu, trong quá trình nghiên cứu chúng tôi đã đạt đƣợc các kết quả sau:
1. Về mặt lí luận, luận văn đã bổ sung và làm rõ đƣợc những nội dung cơ bản về khái niệm năng lực và năng lực đọc hiểu, luận văn cũng đƣa ra đƣợc các thành tố và các chỉ số của năng lực đọc hiểu, các mức độ phát triển của năng lực đọc hiểu và đƣa ra đƣợc quy trình đánh giá năng lực đọc hiểu.
2. Dựa trên những phân tích về thành tố, chỉ số, trình mơn ngữ văn, chúng tôi đã xây dựng đƣợc bộ cơng cụ (bài test) và quy trình đánh giá cụ thể của bộ công cụ để đánh giá năng lực đọc hiểu trong dạy học môn ngữ văn lớp 12.
4. Thực nghiệm sƣ phạm bƣớc đầu đã chứng tỏ đƣợc các thành tố, chỉ số, mức độ của năng lực đọc hiểu đƣa ra là phù hợp với năng lực học sinh; tính đúng đắn, tính khả thi của bộ cơng cụ đã xây dựng để đánh giá năng lực đọc hiểu môn ngữ văn của học sinh lớp 12.
5. Để thực hiện q trình đánh giá có nhiều cơng cụ đánh giá đƣợc sử dụng. Xác định đúng đắn mục đích đánh giá giúp giáo viên định hƣớng thiết kế công cụ đánh giá. Trong dạy học môn ngữ văn, việc sử dụng đề kiểm tra viết vẫn là chủ yếu. Kết quả của bài kiểm tra dù đƣợc sử dụng vào mục đích nào đều phải cung cấp những thơng tin chính xác. Bởi những quyết định quan trọng trong giảng dạy thƣờng phải dựa trên việc kiểm tra kết quả học tập của học sinh trên lớp học. Để việc đánh giá trên lớp đƣợc chính xác thì cơng cụ đo lƣờng phải đƣợc phân tích và đánh giá một cách đầy đủ dựa trên đối chiếu với những tiêu chuẩn đo lƣờng. Giáo viên cần có nhận thức đầy đủ về quy trình xây dựng cơng cụ đánh giá, cách thức tiến hành đánh giá và đánh giá đƣợc kết quả thu đƣợc.
Bộ cơng cụ có thể đƣợc sử dụng để đánh giá năng lực đọc hiểu của học sinh lớp 12. Qua hai lần thử nghiệm và đƣợc chỉnh sửa tác giả cũng đã đƣa ra
72
đƣợc các mức độ năng lực mà bài kiểm tra đo lƣờng đƣợc, độ tin cậy độ phù hợp của bài kiểm tra hồn tồn đáp ứng đƣợc mơ hình đƣa ra ban đầu.
73
TÀI LIỆU THAM KHẢO TIẾNG VIẾT
1. Ban chấp hành Trung ƣơng. Nghị quyết số 29-NQ/TW ngày 4/11/2013
Hội nghị Trung ương 8 khóa XI về đổi mới căn bản, tồn diện giáo dục và đào tạo.
2. Nguyễn Đƣ́c Minh (2014). Hướng dẫn đánh giá năng l ực học sinh cuối cấp tiểu học.
3. Nguyễn Đức Minh (2013). Nghiên cứu về chuẩn và quy trình xây dựng chuẩn đánh giá năng lực người học.
4. Nguyễn Thị Hạnh, (2013). Quan điểm tiếp cận trong xây dựng chương trình mơn ngữ văn ở trường phổ thông giai đoạn sau 2015. Tạp
chí Khoa học giáo dục 9/2013.
5. Nguyễn Thị Hƣơng, (2015), Đánh giá năng lực giải quyết vấn đề trong dạy học chương nhiệt học vật lí lớp 6. Luận văn thạc sĩ Đại học
Sƣ Phạm Hà Nội.
6. Trần Kiều (CNĐT) (2006).Nghiên cứu xây dựng phương thức và một
số bộ công cụ đánh giá chất lượng giáo dục phổ thông. Mã số B2003-
49-45TĐ, Viện Khoa học giáo dục Việt Nam
7. Hoàng Đức Nhuận, Lê Đức Phúc, (1996). Cơ sở lý luận của việc đánh
giá chất lượng học tập của học sinh phổ thơng, Chƣơng trình khoa học
cấp nhà nƣớc KX- 07- 08, 1996
8. Nguyễn Thị Lan Phƣơng, Nguyễn Lộc (2015) (đồng chủ biên).
Phương pháp, kỹ thuật xây dựng chuẩn đánh giá năng lực đọc hiểu và năng lực giải quyết vấn đề; NXB Giaó Dục Việt Nam.
9. Nguyễn Thị Lan Phƣơng (2014). Đề xuất định hướng xây dựng mục tiêu và chuẩn đầu ra, chuẩn đánh giá của chương trình giáo dục phổ thơng mới; Tạp chí Khoa học Giáo dục, số 100 năm 2014, trang 5
74
năng lực người học theo định hướng phát triển chương trình giáo dục phổ thơng mới; Tạp chí Khoa học Giáo dục, số 101 năm 2014, trang 13
11. Nguyễn Thị Lan Phƣơng (2014). Đề xuất cấu trúc và chuẩn đầu đánh
giá năng lực Giải quyết vấn đề, đọc hiểu trong chương trình giáo dục phổ thơng mới; Tạp chí Khoa học Giáo dục, số 111 năm 2014, trang 1
12. Nguyễn Thị Lan Phƣơng (CNĐT) (2014). Xây dựng phương thức và tiêu chí đánh giá chương trình giáo dục phổ thơng (đáp ứng yêu cầu phát triển chương trình giáo dục phổ thơng sau năm 2015). Đề tài cấp
Bộ mã số B2001-37-09NV, Viện Khoa học giáo dục Việt Nam
13. Trần Đình Sử, (2009. Con đường đổi mới cơ bản phương pháp dạy –
học văn. Báo Văn nghệ, số 10, tháng 3
14. Đỗ Ngọc Thống (2012). Chương trình Ngữ văn trong nhà trường phổ
thơng, NXB Giáo dục Việt Nam
15. Thƣơng vụ ấn thƣ quán. Bắc Kinh, (1996). Từ điển Hán ngữ hiện đại.
16. Hoàng Thị Tuyết, (2012). Tổng quan về Chuẩn chƣơng trình mơn Tiếng Việt – Ngữ văn trong chƣơng trình giáo dục phổ thông hiện hành, báo cáo khoa học tại hội thảo Đổi mới chương trình, sách giáo khoa giáo dục phổ thông - Kinh nghiệm quốc tế và vận dụng vào điều kiện của Việt Nam, Bộ Giáo dục và Đào tạo, Hà Nội, 12/1012
17. Nguyễn Hồng Vân (2015). Đề xuất cấu trúc và chuẩn đầu đánh giá năng lực đọc hiểu trong chương trình giáo dục phổ thơng mới; Tạp chí
Khoa học Giáo dục, số 113 năm 2015
18. Nguyễn Hồng Vân.Đánh giá kết quả học tập môn ngữ văn của học
sinh theo hướng hình thành năng lực, Đề tài Viện Khoa Học Giáo Dục
Việt Nam
19. Lƣơng Viê ̣t Thái (2011). Phát triển chương trình giáo dục phổ thơng theo đi ̣nh hướng phát triển năng lực người học
20. Phạm Đức Quang (2014). Một số thành tố cơ bản trong Chương trình
75
TIẾNG ANH
21. ACARA (2012). General Capabilities in the Australia Curriculum.
Australia Curriculum assessment and Reporting Authority. www.acara.edu.au
22. Allison C. Bell, Kristin Conklin, (2013). State financial aid programs
and Competence – Based Education. HCM Strategists
23. ATC21S (2010). Assessment, Reporting and Moderation
24. B.S. Bloom, G.F. Madaus, J. Thomas Hastings, (1982). Evaluation to Improve Learning, McGraw-Hill, Inc, United Statede of America, 1982
25. Beeby C.E, (1977). The meaning of evaluation. In current inssues in education, No4 Evalution Welling: Department of Education, 1977
26. Biggs, J.B., & Collis, K.F. (1982). Evaluating the quality of learning:
The SOLO taxonomy. New York: Academic Press
27. Deseco (2002). Education – Lifelong Learning and the Knowledge Economy: Key Competencies for the Knowledge Society. In:
Proceedings of the DeSeCo Symposium, Stuttgart, October 10–11, 2002.
28. Frank B. Baker, (2001). The Basic of Item Response Theory, ERIC
Clearinghouse on Assessment and Evaluation, 2001
29. Franz E. Weinert (1999). Concepts of Competence, Definition and Selection of Competencies
30. Guofang Wan, Dianne M.Gut, (2011). Bringing schools into the 21st century, Springer, 2011
31. Jean-Paul Reeff, Anouk Zabal, Christine Blech (2006). The
Assessment of Problem-Solving Competencies. Deutsches Institut für
Erwachsenenbildung. www.die-bonn.de/esprid/dokumente/doc- 2006/reeff06_01.pdf
76
32. Joint Committee on Standards for Educational Evaluation, 2003. The Student Evaluation Standards: How to Improve Evaluations of Students. Newbury Park, CA: Corwin Press, 2003
33. Jon Mueller, Glossary of Assessment Terminology
34. Katherine Barton, ALT Assignment EDUC90409 359 561
35. Looney, J. W. (2009), Assessment and Innovation in Education,
OECD Education Working Papers, No. 24, OECD Publishing
36. Lorin Anderson, (2001). Bloom's (1956) Revised Taxonomy
37. McTighe, J and Wiggins, G (2004). Understending by design: Professional developmet workbook, Assciation for Supervision &
Curriculum Development, Alecxandria, VA
38. Maree, J. G. & Fraser, W. J. (2004). Outcomes-Based Assessment. Sandown: Heinemann
39. Michigan Department of Education Lansing, (1996), Michigan Curriculum Framework, publication of the Michigan Department of
Education
40. NCTVET, (2006). Assessment in Compentence – Based Education.
The OAS Hemispheric Project on School Management and Educational Trairning and Accreditation of Labour and Key Competencies in Sescondary Education
41. OECD (2004). Problem Solving for Tomorrow’s World. First
Measures of Cross-Curricular Competencies from PISA 2003. Copyright © OECD 2004
42. OECD, (2009). PISA 2009 Assessment Framework. Key competencies
in reading, mathematics and science. OECD Publishing
43. OECD (2010), PISA 2012 Field Trial Problem Solving Framework
(Draft Subject to Possible Revision after the Field Trial, trang 12