Nâng cao tính hợp lệ của các bài kiểm tra thành tích Tiếng Anh cơ bản ở trường HUFLIT
Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 47 Nâng cao tính hợp lệ kiểm tra thành tích Tiếng Anh trường HUFLIT Improving validity of English achievement tests in HUFLIT University Nguyễn Thị Kim Tuyến1* Trường Đại học Mở Thành phố Hồ Chí Minh, Thành phố Hồ Chí Minh, Việt Nam * Tác giả liên hệ, Email: tuyenntk.208t@ou.edu.vn THÔNG TIN DOI:10.46223/HCMCOUJS proc.vi.17.2.2466.2022 Ngày nhận: 19/09/2022 Ngày nhận lại: 05/10/2022 Duyệt đăng: 11/10/2022 Từ khóa: kiểm tra thành tích; đánh giá; độ giá trị; tính hợp lệ Keywords: achievement test; evaluation; validity; assessment TĨM TẮT Bài viết nói lên tầm quan trọng tính hợp lệ nêu số cách để nâng cao tính hợp lệ nội dung kiểm tra thành tích (Achievement Test, AT) Trong nghiên cứu này, tác giả nghiên cứu nội dung kiểm tra thành tích (bài kiểm tra kỳ) nghiên cứu định lượng Nội dung giáo trình English in action 3, 3rd edition thiết kế để phát triển kiểm tra phù hợp với lợi ích miêu tả chương trình học, điều định thành tích sinh viên Để đáp ứng mục đích này, kiểm tra trắc nghiệm gồm 40 câu hỏi thiết kế theo nội dung chương trình đào tạo Bài kiểm tra, tính hợp lệ nội dung đánh giá đảm bảo 04 giảng viên, áp dụng cho 240 sinh viên năm trường Đại học Ngoại ngữ Tin học Thành phố Hồ Chí Minh (HUFLIT) Việc phân tích mục kiểm tra thực 02 mục có độ phân biệt 0.2 bị loại khỏi kiểm tra Theo kết phân tích mục, độ khó trung bình mục ước tính 0.38 thấy mức độ khó chúng trung bình Tương tự vậy, mức độ phân biệt trung bình mục ước tính 0.38 người ta thấy mức độ phân biệt mục tốt Kết nghiên cứu, kiểm tra thành tích hiệu đáng tin cậy bao gồm 38 câu hỏi với độ khó trung bình độ mạnh phân biệt tốt tạo cho giáo trình English in action 3, đưa vào giáo dục khoa học ABSTRACT The article discusses the importance of validity and outlines several ways to improve the validity of the content of the Achievement Tests (AT) In this study, the author studied the content of an achievement test (midterm test) through quantitative research The content of the English in action 3, 3rd edition curriculum was designed to develop a test that aligns with the interests described in the curriculum, and that can determine student achievement To meet this purpose, a 40-question multiplechoice test was designed, consisting of 08 questions for each gain (gain) included in the training program The test, in which the validity of the content was assessed and guaranteed by 04 lecturers, Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 48 was applied to 240 first-year students at Ho Chi Minh City University of Foreign Languages and Information Technology (HUFLIT) An analysis of test items was performed, and 02 items with a discriminant of less than 0.2 were excluded from the test According to the results of the item analysis, the average difficulty of the questions was estimated to be 0.38, and it could be seen that their difficulty level is average Likewise, the average discriminant level of the questions was estimated to be 0.38, and it was found that the discriminant level of the questions was good As a result of the research, an effective and reliable achievement test consisting of 38 questions with medium difficulty and good discriminant strength created for the English in action curriculum, was incorporated into science education Giới thiệu Trong thực tiễn giáo dục, đánh giá trình liên tục bao gồm loạt kỹ thuật phương pháp luận Bất sinh viên trả lời câu hỏi, đưa nhận xét, thử từ cấu trúc mới, giảng viên đánh giá kết học tập sinh viên theo tiềm thức Một giảng viên giỏi không ngừng đánh giá sinh viên cho dù đánh giá vơ tình hay cố ý Kiểm tra ngơn ngữ (Language testing) đóng vai trị quan trọng q trình dạy học Nó giúp giảng viên xếp sinh viên trình độ phù hợp họ, chẩn đoán điểm mạnh điểm yếu sinh viên, đồng thời đánh giá kết hoạt động em q trình học kết thúc khóa học Quan trọng hơn, kiểm tra ngơn ngữ hỗ trợ việc lập kế hoạch quản lý chương trình ngơn ngữ Đây dường vấn đề then chốt thành cơng hay thất bại, hay chương trình ngơn ngữ phụ thuộc vào việc lập kế hoạch Kiểm tra (Testing) tập hợp đánh giá, phạm trù kỹ thuật đánh giá Bài kiểm tra phương pháp đo lường khả năng, kiến thức hiệu suất người lĩnh vực định Bài kiểm tra thành tích (AT) coi hình thức phổ biến để đánh giá dựa vào lớp học Bài kiểm tra thành tích (AT) gọi "các kiểm tra tiêu chuẩn hóa" thiết kế để đo lường, cung cấp kiến thức chung mà sinh viên tích lũy mơn học cụ thể Tuy nhiên, kiểm tra khơng thể đánh giá lực sinh viên chúng khơng có giá trị - yếu tố quan trọng để làm cho kiểm tra có giá trị Trong báo này, người viết trình bày tầm quan trọng tính hợp lệ tìm số cách để nâng cao tính hợp lệ nội dung kiểm tra thành tích Tiếng Anh Cơ Đối tượng nghiên cứu kiểm tra trắc nghiệm gồm 40 câu hỏi thiết kế, bao gồm 10 câu hỏi từ vựng, 22 câu hỏi ngữ pháp câu hỏi đọc hiểu bao gồm chương trình đào tạo Bài kiểm tra, tính hợp lệ nội dung đánh giá đảm bảo giảng viên, áp dụng phạm vi 06 lớp học (240 sinh viên năm nhất) trường Đại học Ngoại ngữ Tin học Thành phố Hồ Chí Minh Cơ sở lý thuyết 2.1 Tầm quan trọng việc kiểm tra ngôn ngữ Kiểm tra đánh giá ngôn ngữ (Language testing and assessment) lĩnh vực ngôn ngữ học ứng dụng rộng mặt khái niệm Lĩnh vực bắt nguồn từ ngơn ngữ học ứng dụng liên quan đến người học tiếng Anh, người dự thi, người phát triển kiểm tra, giảng viên, quản trị viên, nhà nghiên cứu, người có ảnh hưởng lớn đến việc dạy học tiếng Anh toàn Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 49 giới Ông giải thích cặn kẽ rằng, kiểm tra xem cơng cụ hữu hiệu để giảng viên góp phần tạo nên thành công việc giảng dạy tiếng Anh lớp giúp họ đánh giá xác công lực họ hoạt động ngôn ngữ sinh viên Tương tự vậy, kiểm tra ngôn ngữ lĩnh vực học tập giúp sinh viên nắm vững kiến thức mà họ bỏ qua trước giảng viên tiếp thu họ triển khai tiết dạy để nâng cao hiệu giảng dạy To (2000) cho kiểm tra ngôn ngữ cơng cụ đo lường hữu ích Việc xác minh ơng giúp tạo phản hồi tích cực cho việc học sinh viên cách cung cấp cho người học cảm giác cạnh tranh cảm giác đánh giá giảng viên trùng khớp với dạy cho họ Hơn nữa, kiểm tra ngôn ngữ giúp xác định kiến thức kỹ ngơn ngữ sinh viên Nó cịn giúp phân biệt trình độ thơng thạo ngơn ngữ sinh viên so với sinh viên khác Trong mạch suy nghĩ, kiểm tra ngơn ngữ đóng vai trị quan trọng q trình giảng dạy học tập tiến cuối giáo dục Tóm lại, kiểm tra ngơn ngữ giả định phép đo bật nỗ lực gần để cải thiện chất lượng giáo dục kiểm tra đặt tiêu chuẩn có ý nghĩa cho hệ thống học tập, giảng viên, sinh viên, quản trị viên nhà nghiên cứu với mục đích khác Hơn nữa, kiểm tra ngơn ngữ cịn làm phong phú thêm q trình học tập giảng dạy cách xác định xác điểm mạnh điểm yếu chương trình học, chi phí chương trình, chương trình khuyến cho sinh viên đánh giá giảng viên 2.2 Tính hợp lệ (validity) 2.2.1 Định nghĩa Tính hợp lệ kiểm tra mức độ mà kiểm tra thử nghiệm (chẳng hạn kiểm tra học thuật) đo lường xác cho để đo lường Trong kiểm tra giáo dục kiểm tra tâm lý, "tính hợp lệ thể phạm vi mà minh họa giả định hướng dẫn việc giải thích điểm số từ việc sử dụng kiểm tra nộp" Tính hợp lệ thường coi yếu tố quan trọng q trình đánh giá Theo truyền thống, tính hợp lệ định nghĩa mức độ mà kiểm tra đo lường tun bố mục đích, để đo lường (Messick, 1993) Tính hợp lệ khái niệm hóa liên quan đến việc sử dụng nó; theo nghĩa này, tính hợp lệ mơ tả mức độ phù hợp xác diễn giải thực từ điểm kiểm tra liên quan đến việc sử dụng Mặc dù vậy, thủ tục xác nhận không phù hợp với kiểm tra cụ thể sử dụng sở đối (one-to-one basis) Điều quan trọng việc giải thích kết kiểm tra phải có ý nghĩa liên quan đến mục đích mà kiểm tra phát triển 2.2.2 Các hình thức tính hợp lệ Theo truyền thống, hỗ trợ cho tính hợp lệ cơng cụ phép thử xác định cách sử dụng khái niệm liên quan đến tiêu chí nội dung Như lưu ý Trochim (2001), tất loại giá trị hợp lệ thuộc tiêu đề rộng cấu trúc tính hợp lệ bề mặt nội dung gọi phép tịnh tiến (như dịch cấu trúc) tính hợp lệ đồng thời, tính hợp lệ dự đốn, tính hợp lệ hội tụ tính hợp lệ phân biệt loại tính hợp lệ tiêu chí Do đó, nội dung kiểm tra chuyển sang cấu trúc mà kiểm tra có khả đo lường Tuy nhiên, ước lượng tính hợp lệ, tính hợp lệ tiêu chí (criterion-related validity) liên quan đến chứng mối quan hệ thuộc tính cơng cụ đo lường với hiệu suất vài biến khác thường coi tiêu chí Trong chứng tính hợp lệ tiêu chí dựa mối quan hệ điểm kiểm tra khác đo lường 50 Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 nội dung, biến tiêu chí tiêu chí thiết lập tượng quan tâm Khi tính hợp lệ liên quan đến tiêu chí xác định cho cơng cụ, thước đo dự báo biến tiêu chí có tương quan độ mạnh mối tương quan hỗ trợ đáng kể mức độ mà cơng cụ ước tính hiệu suất tiêu chí (Waltz, Strickland, & Lenz, 2005) 2.3 Bài kiểm tra thành tích (Achievement Test, AT) 2.3.1 Định nghĩa Một kiểm tra thành tích thường thiết lập lĩnh vực nội dung cụ thể chủ đề dạy học trước Khi kiểm tra lớp, việc sử dụng kiểm tra thành tích để xác định sinh viên học giảng viên tránh khỏi Điều AT cung cấp thông tin mức độ mà việc học diễn thời gian cụ thể Khi kiểm tra lớp, định dạng khác sử dụng để đo lường mức độ khác lĩnh vực nhận thức chúng giảng viên lớp quan tâm Tuy nhiên, mối quan tâm giảng viên đứng lớp xoay quanh định dạng sử dụng để đo lường hiệu lĩnh vực học tập cụ thể với cân nhắc kỹ lưỡng cách ảnh hưởng đến khía cạnh kiểm tra Vì đặc điểm định đo lường thông qua định dạng khác Các phương pháp có tác động khác đến đặc điểm điểm số người dự thi Định dạng mục hạn chế ngăn cản số yếu tố cấu trúc định mà người thiết kế (test takers) muốn đưa vào kiểm tra, can thiệp vào nó, gây sai lệch điểm số với kết chúng khơng cịn phản ánh cấu trúc tốt (Gergely, 2007; Shogbesan, 2017) 2.3.2 Tầm quan trọng kiểm tra thành tích (AT) Bài kiểm tra thành tích kiểm tra kiến thức trình độ dựa điều học dạy Mục đích kiểm tra thành tích xác định kiến thức sinh viên lĩnh vực chủ đề cụ thể Các kiểm tra thành tích đo lường mức độ sinh viên nắm vững chủ đề khóa học Điểm cao kiểm tra thành tích cho thấy thơng thạo nội dung môn học, sẵn sàng cho việc hướng dẫn nâng cao Điểm thấp kiểm tra thành tích cho thấy cần thiết việc sửa chữa lưu ban lớp khóa học Trong hệ thống giáo dục Ấn Độ, sử dụng cơng cụ để đo lường thành công sinh viên mơn học nhóm mơn học cụ thể Nó cung cấp thơng tin cá nhân thu khả kiểm tra Bài kiểm tra thành tích cơng cụ sử dụng để đo lường lực khả cá nhân Nó hữu ích việc nâng cấp chất lượng giáo dục cách động 2.3.3 Các loại kiểm tra thành tích (AT) AT có nhiều loại khác dựa phương pháp, hình thức, thời lượng, mục đích chủ đề AT thực hình thức khác kiểm tra viết, kiểm tra miệng kiểm tra thực hành Các mục AT câu hỏi tiểu luận, câu hỏi trả lời ngắn câu hỏi khách quan, kết hợp loại AT thuộc nhiều loại khác dựa mục đích mà sử dụng AT xét nghiệm độ xác, xét nghiệm tiên lượng, xét nghiệm chẩn đốn, AT thực khoảng thời gian khác Dựa yếu tố thời gian khoảng thời gian, kiểm tra kiểm tra tổng kết, kiểm tra hàng ngày, kiểm tra hàng tuần, kiểm tra hàng tháng, kiểm tra hàng quý, kiểm tra nửa năm, kiểm tra kỳ, kiểm tra hàng năm kiểm tra cuối khóa trường học năm Tùy thuộc vào chủ đề nội dung, AT phân loại thành kiểm tra ngôn ngữ, kiểm Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 51 tra tả, kiểm tra đọc, kiểm tra địa lý, kiểm tra toán, Về mặt thuận lợi, AT cho phép thu thập liệu thành tích học tập sinh viên, hỗ trợ thông báo cho nhà giáo dục, nhà hoạch định chương trình giảng dạy quan chức phủ, người giúp chọn ngân sách cho trường học Hình thức kiểm tra tiêu chuẩn hóa có tác động cao đến kết học tập sinh viên Điều giảng viên bắt đầu điều chỉnh chương trình giảng dạy họ để sinh viên học tốt AT thay rời xa việc học họ với ấn tượng thực chủ đề môn học Một tranh luận khác việc kiểm tra tiêu chuẩn kiểm tra khơng thiên vị nội dung đánh giá kiểm tra trao cho tất sinh viên Điều đảm bảo rằng, nội dung hướng dẫn cho tất sinh viên khơng có kiểm tra khác cho trẻ em khuyết tật thiểu số 2.4 Tính hợp lệ kiểm tra thành tích (AT) AT kiểm tra thiết kế để đo lường mức độ đạt mục tiêu trước mắt việc giảng dạy lĩnh vực cụ thể Hầu hết mục tiêu trước mắt việc giảng dạy bắt nguồn từ việc xem xét mục tiêu cuối theo cách đạt mục tiêu trước mắt dấu hiệu tốt cho thấy mục tiêu cuối đạt Bằng chứng trực tiếp tính hợp lệ nội dung lấy từ đề thi chi tiết thi Những AT yêu cầu đề cập đến mục tiêu trước mắt hướng dẫn viên khu vực Những AT yêu cầu chặt chẽ, giá trị nội dung lớn Do đó, theo người viết, việc người làm thi tham gia vào kiểm tra AT cho mục đích phù hợp dựa hình ảnh minh họa hỗ trợ kỳ thi trực tiếp Năng lực đánh giá tính hợp lệ nội dung kiểm tra hỗ trợ cách trình bày dàn ý thành tích đề cập kiểm tra, mục nhằm đo lường thành tích tóm tắt tiêu chí, nguyên tắc tiêu chuẩn khác hướng dẫn người dự thi việc lựa chọn câu hỏi viết mục Độ tin cậy điều kiện cần thiết để có hiệu lực Các số độ tin cậy điểm số việc phân biệt mục hữu ích việc đánh giá tính hợp lệ nội dung AT Do đó, sổ tay hướng dẫn kiểm tra phải đưa dàn ý giải thích liệu thống kê có liên quan Bằng cách đó, dẫn đến phân tích nội điểm kiểm tra phản hồi cho mục kiểm tra Các hệ số tương quan điểm kiểm tra cho điểm phương pháp đánh giá khác chúng hữu ích giá trị đồng thời, giá trị dự đốn giá trị xây dựng, chúng hồn tồn khơng liên quan đến giá trị nội dung Mức độ giá trị đồng thời hàm đơn giản hệ số tương quan điểm kiểm tra phép đo kiểm tra khác Điều cần thiết người làm thử nghiệm thể chứng liên quan đến bốn loại tính hợp lệ AT mà họ muốn phát triển Một kiểm tra thủ công rút ngắn giải thích liệu thống kê liên quan mối quan hệ điểm số từ kiểm tra điểm số từ thước đo thành tích thay khác Bài kiểm tra giúp rút ngắn giải thích điểm nhóm khác 2.5 Các nghiên cứu có liên quan đến tính hợp lệ kiểm tra thành tích (AT) Có nhiều nghiên cứu tính hợp lệ kiểm tra thành tích Họ chứng minh tính hợp lệ quan trọng kiểm tra thành tích Sau vài nghiên cứu tính 52 Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 hợp lệ kiểm tra thành tích Vào tháng 02 năm 2022, Mistiani, Istiyono, Syamsudin (2022) tiến hành nghiên cứu Nghiên cứu tính cách họ trở thành thảo luận quan trọng kỷ 21 Vì vậy, việc tích hợp giá trị nhân cách quan trọng q trình đánh giá giáo dục Mục đích nghiên cứu để kiểm tra tính hợp lệ độ tin cậy công cụ đánh giá tính cách sinh viên trung học kỷ 21 Phương pháp nghiên cứu sử dụng định lượng với mẫu 200 sinh viên trung học Phân tích liệu thực bao gồm kiểm tra tính hợp lệ độ tin cậy Kết kiểm tra công cụ cho thấy cấu tạo công cụ đánh giá tính cách sinh viên cơng bố hợp lệ đáng tin cậy Vào năm 2021, Alnasraween, Almughrabi, Ammari, Alkaramneh (2021) thực nghiên cứu với mục đích xây dựng kiểm tra văn hóa kỹ thuật số dựa Lý thuyết phản hồi vật phẩm để điều tra đặc tính đo lường tâm lý Mẫu nghiên cứu bao gồm 650 sinh viên nam nữ lớp 08 từ Ban Giám đốc Giáo dục Giảng dạy Huyện Salt Để có kết quả, phương pháp mơ tả sử dụng Kết cho thấy hạng mục có số phân biệt đối xử chấp nhận mở rộng theo mức độ khó khăn liên tục cách thỏa đáng Tính hợp lệ độ tin cậy kiểm tra xác minh cách sử dụng số phương pháp, bao gồm tính hợp lệ nội dung v tớnh nht quỏn ni b Mert, Eryiit, Tunỗ, v Parlak (2021) thực nghiên cứu Họ phát triển thước đo mức độ đoàn kết đại dịch, Quy mơ Đồn kết Đại dịch (SPS) Điều đạt cách sử dụng nhóm nghiên cứu gồm 842 người độ tuổi từ 18 đến 65 từ thành phần khác xã hội trải qua đại dịch COVID-19 khác độ tuổi, giới tính tình trạng kinh tế xã hội Tính quán nội kết thang đo tính tốn hệ số Cronbach’s Alpha đạt độ tin cậy 85 tính quán nội Kết độ tin cậy thử nghiệm-kiểm tra lại số khác độ tin cậy tìm thấy 85 Phân tích Quy mơ Đồn kết Đại dịch công cụ đo lường tâm lý hợp lệ đáng tin cậy Timur, Önder, Timur, Ekici (2020) thực nghiên cứu kiểm tra thành tích trắc nghiệm hợp lệ đáng tin cậy phát triển để đo lường thành tích học tập sinh viên lớp đơn vị “Kỳ Vật chất Nhiệt Điện sống chúng ta” Nghiên cứu thí điểm kiểm tra thành tích thực với 30 câu hỏi chuẩn bị với câu hỏi từ mức tăng liên quan đến mức tăng đơn vị Nghiên cứu thực với 287 sinh viên học môn từ hai trường khác quận trung tâm Siirt năm học 2017 - 2018 Các nghiên cứu tính hợp lệ độ tin cậy hạng mục kiểm tra thành tích thực Để có hiệu lực kiểm tra, bảng thơng số kỹ thuật chuẩn bị, kiểm tra kiểm tra hai giảng viên ba giảng viên khoa học Kết nghiên cứu, kiểm tra thành tích trắc nghiệm hợp lệ đáng tin cậy đưa vào giáo dục khoa học để đo lường thành công học tập sinh viên lớp 08 đơn vị “Trạng thái vật chất nhiệt” “Điện Đời sống” Vào năm 1997, nghiên cứu Chew (1997) báo cáo số chứng tính hợp lệ kiểm tra thích ứng máy tính (Computer-based Adaptive Tests, CAT) để kiểm tra thành tích sinh học (biology achievement testing) Nghiên cứu báo cáo chứng tích lũy để hỗ trợ tính đầy đủ thích hợp việc giải thích sử dụng điểm kiểm tra CAT thu cho kết học tập môn sinh học Các chứng tính hợp lệ liên quan đến tiêu chí thu thập để chứng minh điểm kiểm tra sinh học CAT (CAT - hayes) thu có hệ thống liên quan đến ba điểm thành tích sinh học khác Chúng bao gồm (a) kiểm tra giấy bút chì (a paper - and - pencil test) phát triển từ ngân hàng vật phẩm IRT hiệu chuẩn (PPT - bayes), (b) hai đánh giá thức thực mẫu nghiên cứu, cụ Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 53 thể kiểm tra học kỳ cuối trường (SSE - % tổng cộng) kỳ thi cấp độ GCE '0' (GCE - grade) Tại Việt Nam, vào tháng 09 năm 2021, Tran Nguyen (2021) thực nghiên cứu nhằm lấp đầy khoảng cách cách kiểm tra thực nghiệm mối tương quan động lực học toán thành tích học tập sinh viên trung học phổ thơng Việt Nam, sử dụng phương pháp tiếp cận định lượng để kiểm tra giả thuyết Các phát nghiên cứu động lực tương quan nghịch với thành tích tốn học, quy định hướng nội, quy định xác định động lực nội tương quan thuận với thành tích tốn học Những phát cung cấp tảng lý thuyết vững để cải thiện thành tích tốn học cách khuyến khích giảng viên cải thiện điều kiện tạo động lực lớp học toán Việt Nam Nhận thấy việc cải thiện tính hợp lệ độ tin cậy cho kiểm tra Thành tích Tiếng Anh Cơ trường đại học Việt Nam cịn Điều khiến người viết thực nghiên cứu việc cải thiện tính hợp lệ độ tin cậy cho kiểm tra Thành tích Tiếng Anh Cơ trường đại học HUFLIT Người viết dùng phương pháp nghiên cứu định lượng để khảo sát 240 sinh viên năm trường HUFLIT 04 giảng viên, từ kết đó, tác giả phân tích, đánh giá đưa đề xuất việc nâng cao tính hợp lệ kiểm tra thành tích Phương pháp nghiên cứu Trong nghiên cứu này, người viết nghiên cứu nhằm mục đích điều tra nội dung kiểm tra thành tích (bài kiểm tra kỳ) học kỳ nghiên cứu định lượng Sau đó, người viết đưa số gợi ý để tăng cường hiệu lực kiểm tra thành tích chúng khơng hợp lệ 240 sinh viên năm sáu lớp Trường Đại học Ngoại ngữ Tin học Thành phố Hồ Chí Minh, Quận 10, Thành phố Hồ Chí Minh tham gia khảo sát Người viết nghiên cứu kiểm tra thành tích Tiếng Anh Cơ 1, thực vào học kỳ trước Bài kiểm tra thành tích bao gồm 40 câu hỏi trắc nghiệm Trong kiểm tra thành tích này, sinh viên làm trắc nghiệm để kiểm tra từ vựng, ngữ pháp đọc báo chọn câu trả lời cho 08 mục Trong phần trắc nghiệm kiểm tra thành tích, câu hỏi bao gồm bốn lựa chọn - câu trả lời ba câu trả lời sai / khó hiểu Giá trị nội dung kiểm tra xác định thông qua ý kiến giảng viên HUFLIT Sau kiểm tra áp dụng cho sinh viên, phân tích mục kiểm tra thực cách tính tốn độ khó (p) tính phân biệt (r) câu hỏi kiểm tra, khảo sát tính hợp lệ thực hiện, loại trừ câu hỏi không phù hợp Các mục đánh giá theo mức độ khó (Baykul, 2000; İşman & Eskicumalı, 2003) cung cấp Bng v tiờu phõn bit (ệzỗelik, 1997; Tekin, 2000) cung cấp Bảng Bảng Mức độ khó mục Độ khó mục (p) Đánh giá mục 0.70 - 1.00 Quá dễ 0.50 - 0.69 Dễ 0.30 - 0.49 Khá khó 0.29 thấp 0.29 Quá khó Nguồn: Baykul (2000); İşman Eskicumalı (2003) Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 54 Ở Bảng 1, hạng mục có p ≥ 0.70 p ≤ 1.00 mục dễ sinh viên làm cách dễ dàng Các mục có p ≥ 0.50 p ≤ 0.69 mục buộc sinh viên suy nghĩ vài phút có câu trả lời Các mục có p ≥ 0.30 p ≤ 0.49 mục khó, dẫn đến xác suất làm khơng cao Cịn mục mà có p ≤ 0.29 sinh viên có khả khơng làm chọn sai mục Bảng Tiêu chí tính phân biệt mục Tính phân biệt mục (r) Đánh giá mục Công dụng mục Cao 0.40 Rất tốt Giữ lại Trong khoảng 0.30 - 0.40 Tốt Giữ lại Trong khoảng 0.20 - 0.29 Tính phân biệt trung gian Giữ lại tình bắt buộc, cần sửa đổi 0.19 thấp 0.19 Tớnh phõn bit quỏ yu T chi Ngun: ệzỗelik (1997); Tekin (2000) Ở Bảng 2, mục có tính phân biệt (r) > 0.40 mục đánh giá tốt giữ lại cho kiểm tra thành tích Nếu mục có tính phân biệt (r) ≥ 0.30 (r) ≤ 0.40 mục đánh giá tốt giữ lại cho kiểm tra thành tích Nếu mục có tính phân biệt (r) ≥ 0.20 (r) ≤ 0.29 mục đánh giá trung bình giữ lại tình cần sửa đổi lưu lại kiểm tra thành tích Nếu (r) ≤ 0.19 tính phân biệt q yếu, mục bị từ chối, khơng đưa vào kiểm tra thành tích Kết nghiên cứu 4.1 Phát tính hợp lệ AT Bài kiểm tra trắc nghiệm phát triển duyệt bốn giảng viên HUFLIT Theo kết đánh giá bốn giảng viên HUFLIT, họ nói phần lớn nội dung thi cung cấp hầu hết phù hợp với mục đích trình độ sinh viên năm Có 02 mục dễ, 17 mục dễ, 10 mục khó 11 mục khó Nội dung kiểm tra thành tích hầu hết phù hợp với nội dung em học lớp Có 23 mục tốt, 05 mục tốt, 08 mục tốt 04 mục yếu Và câu cần bị loại bỏ chỉnh sửa câu 16, 17 Đối với tính hợp lệ nội dung kiểm tra thành tích, bốn giảng viên từ Khoa ngoại ngữ trường Đại học HUFLIT hỏi ý kiến Vì mục tìm thấy kiểm tra thành tích, “Phiếu đánh giá Giảng viên” trao cho giảng viên Vì mục biểu mẫu có ba cấp độ: (1) thích hợp, (2) phải sửa chữa (3) phải loại trừ Theo ý kiến thu từ phiếu đánh giá, tỷ lệ giá trị nội dung (CVR) tính cho mục (cơng thức 1) CVR tính cách trừ phần cho số giảng viên chọn “bắt buộc” cho nửa tổng số chuyên gia (Yurdagül, 2005) NA Công thức CVR = -1 N/2 NA: Số lượng chuyên gia phê duyệt mục kiểm tra thích hợp N: Tổng số chuyên gia nêu ý kiến liên quan đến mục kiểm tra CVR: Tỷ lệ hợp lệ nội dung Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 55 Các giá trị tối thiểu CVR mức ý nghĩa α = 0.05 đưa vào theo chun gia (Veneziano& Hooper, 1997) Khi giải thích theo cơng thức này; 04 ý kiến giảng viên sử dụng tính tốn tính hợp lệ nội dung câu hỏi kiểm tra thành tích sử dụng nghiên cứu Ý nghĩa thống kê theo bốn giảng viên, giá trị 1.0 sử dụng làm tỷ lệ hợp lệ nội dung (CVR) 4.2 Phát độ tin cậy AT Sau kiểm tra thực cho 240 sinh viên, việc kiểm tra mã hóa diễn để phân tích mục Câu trả lời sinh viên mã hóa câu trả lời sai Điểm số mà sinh viên thu được xếp từ cao đến thấp Kết cho thấy 65 sinh viên xếp hạng cao 65 sinh viên xếp hạng thấp Độ khó mục xác định công thức p, p = (Dü + Da) / 2N (Turgut, 1997), tính phân biệt mục thông qua công thức r, r = (Dü - Da) / N Kết phân tích mục cung cấp Bảng Bảng Kết phân tích mục AT Mục Dü Da p r Biểu theo p Biểu theo r Đánh giá 65 28 0.72 0.57 Quá dễ Mục tốt Được dùng 65 25 0.69 0.62 Dễ Mục tốt Được dùng 64 30 0.72 0.52 Quá dễ Mục tốt Được dùng 65 36 0.78 0.45 Dễ Mục tốt Được dùng 64 35 0.76 0.45 Dễ Mục tốt Được dùng 63 34 0.75 0.45 Dễ Mục tốt Được dùng 64 36 0.77 0.43 Dễ Mục tốt Được dùng 63 34 0.75 0.45 Dễ Mục tốt Được dùng 64 35 0.76 0.45 Dễ Mục tốt Được dùng 10 60 34 0.72 0.4 Dễ Mục tốt Được dùng 11 60 26 0.66 0.52 Dễ Mục tốt Được dùng 12 60 25 0.65 0.54 Dễ Mục tốt Được dùng 13 34 10 0.34 0.37 Khá khó Mục tốt Được dùng 14 30 10 0.31 0.31 Khá khó Mục tốt Được dùng 15 29 10 0.3 0.29 Khá khó Mục tốt Được dùng 16 25 13 0.29 0.18 Quá khó Mục yếu Không dùng 17 22 11 0.25 0.17 Q khó Mục q yếu Khơng dùng 18 45 19 0.49 0.4 Khá khó Mục tốt Được dùng 19 27 11 0.29 0.25 Quá khó Mục tốt Được dùng 20 27 0.28 0.28 Quá khó Mục tốt Cần chỉnh sửa dùng 21 59 25 0.65 0.52 Dễ Mục tốt Được dùng 22 26 0.26 0.28 Quá khó Mục tốt Cần chỉnh sửa dùng 23 56 25 0.62 0.48 Dễ Mục tốt Được dùng 24 57 26 0.64 0.48 Dễ Mục tốt Được dùng Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 56 Mục Dü Da p r Biểu theo p Biểu theo r Đánh giá 25 30 13 0.33 0.26 Khá khó Mục tốt Cần chỉnh sửa dùng 26 56 26 0.63 0.46 Dễ Mục tốt Được dùng 27 35 15 0.38 0.31 Khá khó Mục tốt Được dùng 28 36 18 0.42 0.28 Khá khó Mục tốt Cần chỉnh sửa dùng 29 38 15 0.41 0.35 Khá khó Mục tốt Được dùng 30 41 20 0.47 0.32 Khá khó Mục tốt Được dùng 31 33 19 0.4 0.22 Khá khó Mục tốt Cần chỉnh sửa dùng 32 38 20 0.45 0.28 Khá khó Mục tốt Cần chỉnh sửa dùng 33 64 26 0.69 0.58 Dễ Mục tốt Được dùng 34 63 25 0.68 0.58 Dễ Mục tốt Được dùng 35 61 24 0.65 0.57 Dễ Mục tốt Được dùng 36 60 25 0.65 0.54 Dễ Mục tốt Được dùng 37 61 26 0.67 0.54 Dễ Mục tốt Được dùng 38 62 27 0.68 0.54 Dễ Mục tốt Được dùng 39 63 27 0.69 0.55 Dễ Mục tốt Được dùng 40 61 28 0.68 0.51 Dễ Mục tốt Được dùng Bảng mơ tả kết phân tích mục Dü đại diện cho số sinh viên phân nhóm trả lời mục, Da số sinh viên phân nhóm trả lời mục, p số khó khăn, r đại diện cho số phân biệt 23/40 câu hỏi coi mục tốt (r ≥ 0.49, r ≤ 0.57) Trong 23 câu này, có 10 mục từ vựng mục đọc hiểu Kết kiểm tra thành tích cho thấy sinh viên có khả nhớ từ vựng lâu (1 - 10), đọc hiểu tốt (32 - 40), nhớ công thức chia động từ đơn (11), tiếp diễn (12, 21) 07/40 câu hỏi coi mục tốt (r ≥ 0.31, r ≤ 0.4) 07 mục yêu cầu sinh viên chọn dạng động từ để hoàn thành câu Các câu Từ vựng câu 10 khó sinh viên em chưa biết định nghĩa kỳ quan giới Sinh viên nhận dạng động từ “be” q khứ đơn mệnh đề lại với cụm từ “in colonial times” câu 13, động từ “be” câu 14 dễ dàng điền trợ động từ “did” động từ câu trả lời có “-ed” câu 29), tương lai với “will” mang tính đề nghị giúp đỡ câu 27 Ngoài ra, sinh viên cịn biết dùng hồn thành 18, 30 có từ nhận biết “for a long time” “this week” 8/40 câu hỏi coi mục tốt (r ≥ r ≤ 0.29) 08 mục yêu cầu sinh viên chọn dạng động từ để hoàn thành câu Sinh viên cịn nhớ cơng thức tương lai sau mệnh đề thời gian với “after”, “before” câu 15, 25 Sinh viên nhận dạng biết nghĩa động từ khiếm khuyết would rather… than câu 19, động từ “had to” câu 20, “have to” câu 22 Bên cạnh đó, sinh viên phát động từ câu hỏi chia đơn câu trả lời có “does” (28) hoàn thành tiếp diễn cụm từ “for two hours” (31), “since he hurt his leg” (32) Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 57 Tuy nhiên, có 02/40 câu hỏi coi mục yếu (0.2 ≤ r ≤ 0.29) Câu 16 trọng vào động từ khiếm khuyết, lại gây khó khăn cho sinh viên nét nghĩa chúng Sinh viên cần phải cân nhắc từ mustn’t (không được), couldn’t (không thể), can’t (không thể) hay had better not (không nên) Câu 17 tương tự câu 16, đòi hỏi sinh viên phải lựa chọn nét nghĩa sau: must (phải), could (có thể), can (có thể) hay had better (nên) Các câu hỏi 16 17 cần chỉnh sửa, bổ sung để giảm độ khó cho sinh viên Kết luận gợi ý Các kiểm tra thành tích coi hình thức phổ biến để đánh giá dựa lớp học Chúng đóng vai trị quan trọng việc hình thành chúng cung cấp phản hồi chất lượng thành tích sinh viên nhóm nhỏ đơn vị khóa học Tuy nhiên, chúng đánh giá lực sinh viên chúng khơng có giá trị hợp lệ, yếu tố quan trọng để làm cho kiểm tra có giá trị Có thể thấy từ phát bối cảnh dạy, học kiểm tra tiếng Anh Việt Nam, tính hợp lệ đóng vai trị quan trọng AT Tính hợp lệ sử dụng để làm cho AT hợp lệ nội dung cấu trúc Do đó, người làm thử nghiệm cần biết cách làm cho AT hợp lệ có giá trị nội dung giá trị xây dựng Theo ý kiến người viết, để nâng cao tính hợp lệ nội dung AT, người viết xin đưa số gợi ý Thứ nhất, người thiết kế kiểm tra/giảng viên nên dạy nửa từ học thuật nửa cấu trúc lớp Thứ hai, họ nên đưa điểm AT phù hợp với trình độ sinh viên Bên cạnh đó, giảng viên nên chuẩn bị ma trận điểm phự hp cho tng cõu hi AT ệzỗelik (1997) Tekin (2000) đề xuất không nên sử dụng tái định dạng mục có độ phân biệt từ 0.19 trở xuống, mục có độ phân biệt nằm khoảng 0.20 - 0.29 sử dụng trường hợp tránh khỏi, cần sửa chữa Cuối điều quan trọng nhất, giảng viên nên tăng độ tin cậy kiểm tra thành tích Để làm điều đó, họ nên làm cho kiểm tra thành tích cách tạo kiểm tra thành tích trung bình với mục khác mục dễ, mục dễ mục khó trung bình Bên cạnh đó, giảng viên nên đảm bảo nội dung kiểm tra thành tích phải giảng dạy lớp Theo Đại học Washington, 2020, độ tin cậy tăng (0.70 cao hơn), hiệu lực tăng Nếu điểm kiểm tra không đáng tin cậy, chúng khơng thể có giá trị hợp lệ chúng khơng cung cấp ước tính tốt khả đặc điểm mà kiểm tra dự định đo lường Tài liệu tham khảo Afolabi, E R I (2012) Tests and measurement: A tale bearer or true witness? (Inaugural lecture series 253) Ile-Ife, Nigeria: Obafemi Awolowo University Alnasraween, M, S., Almughrabi, A M., Ammari, R., & Alkaramneh, M (2021) Validity and reliability of eightgrade digital culture test in light of item response theory Cypriot Journal of Educational Science, 16(4), 1816-1835 doi:10.18844/cjes.v16i4.6034 Baykul, Y (2000) Eitimde ve Psikolojide ệlỗme: Klasik ve Test Teorisi ve Uygulaması Ankara: ÖSYM Yayınları Brown, H., & Abeywickrama, P (2010) Language assessment: Principles and classroom practices (2nd ed.) New York, NY: Pearson Longman Chew, L C (1997) Validity of computerised adaptive tests for biology achievement testing In ERA conference (pp 24-26) Singapore: Educational Research Association of Singapore (ERAS) 58 Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 Faleye, B A., & Afolabi, E R I (2005) The predictive validity of the osun state junior secondary certificate examination Electronic Journal of Research in Educational Psychology, 3(1), 131-144 Fulcher, G (2010) Practical language testing London, UK: Hodder Education Fulcher, G., & Davidson, F (2012) The routledge handbook of language testing London, UK: Routledge Gergely, D (2007) Investigating the performance of alternative types of grammar items [Electronic version] Language Testing, 24(1), 65-97 İşman, A., & Eskicumalı, A (2003) Eğitimde Planlama ve Değerlendirme İstanbul: Değişim Yayınları Mert, M U., Eryiit, D., Tunỗ, E B., & Parlak, S (2021) Validity and reliability of the solidarity in pandemics scale International Journal of Psychology and Educational Studies, 8(3), 230-241 Messick, S (1993) Validity In R L Linn (Ed.), Educational measurement Oryx Press, NY: American Council on Education Mistiani, W., Istiyono, E., & Syamsudin, A (2022) Construction of the character assessment instrument for 21st century students in high schools European Journal of Educational Research, 11(2), 935-947 doi:10.12973/eu-jer.11.2.935 ệzỗelik, D A (1997) Test hazrlama kılavuzu (3rd ed.) Ankara: ÖSYM Yayınları Schultz, K S., & Whitney, D J (2005) Measurement theory in action Thousand Oaks, CA: Sage Shogbesan, Y O (2017) Effect of test facets on the construct validity of economics achievement tests in osun state secondary schools (Unpublished master’s thesis) Faculty of Education, Obafemi Awolowo University, Ile-Ife, Nigeria Tekin, H (2000) Eitimde ệlỗme ve Değerlendirme (14th ed.) Ankara: Yargı Yayınevi Timur, S., Önder, E Y., Timur, B., & Ekici, M (2020) Development of science achievement test including the units of “States of matter and heat” and “Electricity in our life” International Journal of Progressive Education, 16(1) To, T T H (2000) Investigating the predictive validity of IELTS among Vietnamese students (Unpublished doctoral dissertation) La Trobe University, Australia Tran, L T., & Nguyen, S T (2021) Motivation and mathematics achievement: A Vietnamese case study Journal on Mathematics Education, 12(3), 449-468 Trochim, W M K (2001) The research methods knowledge base (2nd ed.) Cincinnati, OH: Atomic Dog Publishing Turgut, M F (1997) Eitimde ệlỗme ve Deerlendirme (10th ed.) Ankara: Yargı Yayınevi Veneziano, L., & Hooper, J (1997) A method for quantifying content validity of health-related questionnaires American Journal of Health Behaviour, 21(1), 67-70 Waltz, C F., Strickland, O L., & Lenz, E R (2005) Measurement in nursing and health research (3rd ed.) New York, NY: Springer Yurdagỹl, H (2005) ệlỗek gelitirme ỗalmalarnda kapsam geỗerlilii iỗin kapsam geỗerlilik indeksinin kullanlmas Ulusal Eitim Bilimleri Kongresinde Sunulmu Bildiri, Denizli Creative Commons Attribution-NonCommercial 4.0 International License ... thời gian, kiểm tra kiểm tra tổng kết, kiểm tra hàng ngày, kiểm tra hàng tuần, kiểm tra hàng tháng, kiểm tra hàng quý, kiểm tra nửa năm, kiểm tra kỳ, kiểm tra hàng năm kiểm tra cuối khóa trường học... cứu tính hợp lệ kiểm tra thành tích Họ chứng minh tính hợp lệ quan trọng kiểm tra thành tích Sau vài nghiên cứu tính 52 Nguyễn Thị Kim Tuyến HCMCOUJS-Kỷ yếu, 17(2), 47-58 hợp lệ kiểm tra thành tích. .. cho kiểm tra có giá trị Trong báo này, người viết trình bày tầm quan trọng tính hợp lệ tìm số cách để nâng cao tính hợp lệ nội dung kiểm tra thành tích Tiếng Anh Cơ Đối tượng nghiên cứu kiểm tra