Tạp chí Khoa học ĐHQGHN, Ngoại ngữ 26 (2010) 234-238 Khảo sát thống giảng viên việc đánh giá thi nói Trần Thị Thanh Phúc* Khoa Sư phạm tiếng Anh, Trường Đại học Ngoại ngữ, Đại học Quốc gia Hà Nội, Đường Phạm Văn Đồng, Cầu Giấy, Hà Nội, Việt Nam Nhận ngày 20 tháng 12 năm 2010 Tóm tắt Vai trị kiểm tra - đánh giá trình học ngoại ngữ quan trọng Tuy nhiên, với đặc thù thi nói, tính chủ quan giám khảo chấm thi ảnh hưởng tới độ xác việc cho điểm thí sinh Nghiên cứu khảo sát thống cách chấm điểm giảng viên trẻ thi nói Kết nghiên cứu cho thấy có chênh lệch lớn điểm số giảng viên cho thí sinh Đồng thời, giảng viên có kinh nghiệm lâu năm có cách chấm điểm quán Thực tế đặt yêu cầu trình tập huấn kỹ chấm thi cho giảng viên nói chung giảng viên trẻ nói riêng cần tiến hành thường xuyên hiệu Đặt vấn đề* Trái lại, với kiểm tra mang tính chủ quan thi viết nói, hai người chấm đưa hai điểm số khác Thậm chí người chấm cho điểm nói khác chấm vào thời điểm khác “Điều khiến cho ta khó tin điểm số cho kỳ kiểm tra nói xác đáng tin cậy” [2] Nắm bắt đặc tính chủ quan cao việc đánh giá kiểm tra nói, nghiên cứu tiến hành nhằm khảo sát lực kiểm tra - đánh giá đội ngũ giảng viên tiếng Anh Trường Đại học Ngoại ngữ, Đại học Quốc gia Hà Nội Trong trình dạy học ngoại ngữ, kiểm tra - đánh giá có vai trị quan trọng Nhờ q trình này, người học nhận thức điểm mạnh, điểm yếu nhờ có điều chỉnh phù hợp nhằm đạt tiến học tập Các kết kiểm tra - đánh giá ảnh hưởng tới cá thể, cộng đồng [1] Đối với kiểm tra khách quan (objective tests), học viên lựa chọn điền thơng tin cần thiết vào cho sẵn Hình thức thường tiến hành kỹ nghe đọc Kết việc đánh giá quán với nhau, thi chấm hai giáo viên, giáo viên chấm thi khoảng thời gian khác kết Phương pháp nghiên cứu 2.1 Câu hỏi nghiên cứu * Đánh giá giảng viên lực ĐT: 84-982913669 E-mail: thanhphuc0705@gmail.com 234 T.T.T Phúc / Tạp chí Khoa học ĐHQGHN, Ngoại ngữ 26 (2010) 234-238 nói sinh viên có thống khơng? Kinh nghiệm giảng dạy việc tập huấn chấm thi có ảnh hưởng đến xác đánh giá giảng viên hay không? 2.2 Khách thể nghiên cứu Khách thể nghiên cứu 15 giảng viên trực tiếp giảng dạy cho sinh viên khoa Tiếng Anh Sư phạm tổ tiếng Anh Các giảng viên 30 tuổi Về kinh nghiệm, giảng viên có thời gian cơng tác tháng giảng viên lại có thời gian giảng dạy từ 2.5 năm trở lên 2.3 Công cụ nghiên cứu Nghiên cứu sử dụng dạng thi nói theo chuẩn PET (Preliminary English Test) theo khung Trình độ chung châu Âu (European Common Framework) Một thi nói đánh giá theo bốn tiêu chí sau đây: * Ngữ pháp từ vựng * Diễn ngôn * Phát âm * Giao tiếp tương tác Các thơng số sử dụng để phân tích kết gồm: - Mean (điểm trung bình): tính cách cộng tất điểm giám khảo chia cho tổng số giám khảo (15), viết tắt M - Standard deviation: dùng để xác định độ lệch điểm chấm so với 235 điểm trung bình, viết tắt SD Ngoài ra, nghiên cứu sử dụng kết đánh giá cuối giảng viên sau tất giảng viên cho điểm thảo luận điểm số sinh viên Điểm kết luận coi điểm chuẩn viết tắt C 2.4 Các bước tiến hành nghiên cứu Nghiên cứu tiến hành buổi tập huấn giám khảo nói Bộ mơn Tiếng Anh 1, Khoa Sư phạm tiếng Anh trường Đại học Ngoại ngữ, ĐHQG Hà Nội Trong buổi tập huấn này, giảng viên phát tài liệu thảo luận phương thức chấm thi nói học phần Trong phần tiếp theo, giảng viên tiến hành chấm thử thi nói cặp thí sinh A B (đã quay video từ trước) Kết chấm thảo luận để thống điểm số tiêu chí chấm thi Sau giảng viên tiếp tục chấm thi nói cặp thí sinh thứ hai C D Kết chấm thi người lưu lại để phục vụ nghiên cứu Kết nghiên cứu 3.1 Câu hỏi nghiên cứu 1: Đánh giá giảng viên lực nói sinh viên có thống khơng? * Thể qua thơng số Mean (điểm trung bình) Bảng 1: Sự thể qua thông số Mean SV A B C D Ngữ pháp - từ vựng C M 7.5 7.46 8.06 7.4 7.93 Diễn ngôn C M 7.67 7.67 6.93 7.73 Phát âm C M 7.33 6.67 7.8 Giao tiếp tương tác C M 8.27 8.53 7.87 8.67 gj Qua biểu đồ trên, ta thấy độ chênh lệch điểm chuẩn so với điểm trung bình 15 giảng viên thấp, đa số thấp 1.0 Tuy nhiên, biểu đồ thể xu hướng rõ Đó sinh viên có điểm chuẩn tương đối mức trung bình (6-7 điểm) điểm thực tế giảng viên cho cao điểm chuẩn Ngược lại, với 236 T.T.T Phúc / Tạp chí Khoa học ĐHQGHN, Ngoại ngữ 26 (2010) 234-238 sinh viên có điểm chuẩn mức tốt tốt (8,9 điểm) điểm thực tế giảng viên cho lại thấp điểm chuẩn * Thể qua thông số Standard Deviation Nếu nhìn vào thơng số Mean (điểm trung bình), ta thấy việc giảng viên đánh giá lực nói sinh viên có xác tương đối cao Tuy nhiên, tiêu chí điểm trung bình khơng phản ánh thực tế có chênh lệch điểm số cá nhân giảng viên Ví dụ: Nếu giảng viên cho sinh viên điểm, giảng viên cho điểm, điểm trung bình sinh viên điểm Điểm trùng với điểm chuẩn rõ ràng cách đánh giá hai giảng viên hoàn toàn khác Bởi vậy, để có kết luận xác hơn, sử dụng thông số Standard Deviation Thông số xét đến mức độ chênh lệch trung bình thực tế điểm chấm giảng viên Với tiêu chí sinh viên, thơng số xác định sau: Bảng 2: Sự thể qua thông số Standard Deviation Sinh viên A B C D Ngữ pháp từ vựng 0.83 0.59 0.82 0.59 Diễn ngôn Phát âm 0.97 0.72 0.96 0.45 1.17 0.75 0.61 0.41 Giao tiếp tương tác 0.96 0.63 0.74 0.48 bmn Từ bảng liệu trên, ta thấy rõ độ chênh lệch trung bình thấp 0.45, cao 0.97 (trừ tiêu chí phát âm sinh viên A 1.17) Điều phản ánh thực tế với sinh viên, hỏi hai giám khảo khác điểm thi nói vênh khoảng từ 0.9 đến điểm 3.2 Kinh nghiệm giảng dạy việc tập huấn chấm thi có ảnh hưởng đến xác đánh giá giảng viên hay không? * Kinh nghiệm giảng dạy Các khách thể nghiên cứu chia thành nhóm giảng viên, nhóm có kinh nghiệm tháng (là giảng viên trẻ trường, gồm giảng viên), nhóm có kinh nghiệm giảng dạy từ 2.5 năm trở lên Nhóm giảng viên trường gọi nhóm 1, nhóm cịn lại nhóm - Thể qua thông số Mean (Bảng 4): Qua biểu đồ, nhìn chung chênh lệch điểm hai nhóm so với điểm chuẩn khơng lớn Tuy nhiên, nhóm có điểm trung bình gần với điểm chuẩn so với nhóm - Thể qua thông số Standard Deviation (Bảng 5): Bảng 4: So sánh thông số Mean SV A B C D Ngữ pháp - từ vựng Nhóm Nhóm 7.63 7.14 8.13 8.00 7.25 7.71 8.00 7.86 Diễn ngơn Nhóm 7.75 7.50 7.13 7.50 Nhóm 7.43 7.71 6.86 7.86 Phát âm Nhóm 7.00 8.00 6.50 8.00 Nhóm 7.43 8.00 6.86 7.57 Giao tiếp tương tác Nhóm Nhóm 8.38 8.14 8.50 8.57 7.75 7.86 8.63 8.71 Bảng 5: So sánh thông số Standard Deviation SV A Ngữ pháp - từ vựng Nhóm Nhóm 0.92 0.69 Diễn ngơn Nhóm Nhóm 0.89 0.98 Phát âm Nhóm 1.41 Nhóm 0.98 Giao tiếp tương tác Nhóm Nhóm 0.74 1.21 237 T.T.T Phúc / Tạp chí Khoa học ĐHQGHN, Ngoại ngữ 26 (2010) 234-238 B C D 0.64 0.71 0.76 0.58 0.76 0.38 0.76 0.99 0.53 0.49 0.90 0.38 0.76 0.53 0.00 0.82 0.69 0.53 0.76 0.71 0.52 0.53 0.90 0.49 hgj (Những thơng số nhóm lớn nhóm bôi đậm) Số liệu phản ánh thực tế giảng viên nhóm (nhóm gồm giảng viên nhiều kinh nghiệm hơn) có cách chấm điểm quán so với giảng viên nhóm * Tập huấn chấm thi Thông số Standard Deviation giảng viên sinh viên tổng thể (xem bảng 2) nhóm giảng viên (xem bảng 5) cho thấy: sinh viên C D, thông số nhỏ hẳn hai thông số sinh viên A B Điều chứng tỏ sau tập huấn thảo luận, giảng viên có cách cho điểm thống Kết luận chung Việc phân tích số liệu cho thấy rõ đánh giá giảng viên lực nói sinh viên chưa có tính thống cao Bên cạnh đó, giảng viên có xu hướng nâng điểm cho sinh viên có lực thuộc loại trung bình khá, lại có xu hướng hạ thấp điểm sinh viên có lực tốt giỏi Điều phần phản ánh tâm lý “cào bằng” giảng viên Đây đặc điểm tâm lý cần phải khắc phục Kết nghiên cứu phản ánh nhóm giáo viên có kinh nghiệm giảng dạy nhiều (từ 2.5 năm trở lên) có đánh giá xác qn so với nhóm giáo viên trẻ có kinh nghiệm giảng dạy tháng Đồng thời, việc tập huấn giúp giảng viên có đánh giá thống Đề xuất Dựa kết nghiên cứu, xin đưa số đề xuất cụ thể Thứ nhất, đội ngũ giảng viên trẻ cần thường xuyên bồi dưỡng tập huấn nhằm nâng cao khả giảng dạy đánh giá Các buổi tập huấn cần tiến hành với mật độ nhiều (khoảng lần/1 tháng) tất tổ mơn trường nhằm giúp giảng viên có nhiều điều kiện thực tập điều chỉnh cách cho điểm cho phù hợp Nghiên cứu cho thấy chưa có thống cao việc chấm thi nói giảng viên dạy tổ, có đối tượng giảng dạy sử dụng tiêu chí chấm điểm Trong đó, kỳ thi nói tiến hành khoa Sư phạm tiếng Anh tổ chức với lực lượng giám khảo gồm giảng viên từ nhiều tổ môn khác Để kết thi có độ tin cậy cao nhất, việc tập huấn giám khảo nói cần tiến hành trước kỳ thi nói diễn giảng viên có cách chấm quán tương đối xác lựa chọn làm giám khảo nói APPENDIX PHIẾU ĐÁNH GIÁ CỦA GIÁM KHẢO Speaking Test Assessment Scales (PET – B1 level) Analytical Scales Name A B C D Grammar and Vocabulary Discourse Management Pronunciation Interactive Communication 238 T.T.T Phúc / Tạp chí Khoa học ĐHQGHN, Ngoại ngữ 26 (2010) 234-238 gj Tài liệu tham khảo [1] A Davies (ed.), Language Testing 14/3 (special issue on ethics in language testing), 1997 [2] N Underhill, Testing Spoken Language, Cambridge University Press, 1987 [3] R Burns, Introduction to Reseach Methods, SAGE Publications, 2000 A case study into oral examiners’ consistency in assessing students’ performance in a speaking test Tran Thi Thanh Phuc Faculty of English Language Teacher Education, College of Foreign Languages, Vietnam National University, Hanoi, Pham Van Dong Street, Cau Giay, Hanoi, Vietnam Testing and assessment play a very important role in language teaching and learning However, the low reliability in the assessment of oral examiners in speaking tests makes it hard to trust in the scores awarded to test takers This research was carried out in order to investigate the consistency of oral examiners, who are also lectures of English, in their assessment of students’ speaking performance The findings suggested that there was a big difference between the scores that the examiners gave to a single student’s performance In addition, examiners who had more teaching experience tended to have more consistent scores Therefore, more training programs for lecturers need to be carried out, and only those who are qualified enough should be selected to be oral examiners ... có thống cao việc chấm thi nói giảng viên dạy tổ, có đối tượng giảng dạy sử dụng tiêu chí chấm điểm Trong đó, kỳ thi nói tiến hành khoa Sư phạm tiếng Anh tổ chức với lực lượng giám khảo gồm giảng. .. giảng viên từ nhiều tổ mơn khác Để kết thi có độ tin cậy cao nhất, việc tập huấn giám khảo nói cần tiến hành trước kỳ thi nói diễn giảng viên có cách chấm quán tương đối xác lựa chọn làm giám khảo. .. 234-238 nói sinh viên có thống không? Kinh nghiệm giảng dạy việc tập huấn chấm thi có ảnh hưởng đến xác đánh giá giảng viên hay không? 2.2 Khách thể nghiên cứu Khách thể nghiên cứu 15 giảng viên