ĐỀ án THIẾT kế ĐỊNH DẠNG đề THI NĂNG lực TIẾNG ANH

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC NGOẠI NGỮ - ĐỀ ÁN THIẾT KẾ ĐỊNH DẠNG ĐỀ THI NĂNG LỰC TIẾNG ANH TỪ BẬC ĐẾN BẬC CHO ĐỐI TƢỢNG SAU TRUNG HỌC PHỔ THÔNG (VIETNAMESE STANDARDIZED TEST OF ENGLISH PROFICIENCY - VSTEP) CHỦ NHIỆM ĐỀ ÁN: GS NGUYỄN HÒA HÀ NỘI, THÁNG 12 NĂM 2014 MỤC LỤC I GIỚI THIỆU ĐỀ ÁN II CHI TIẾT VỀ BÀI THI II.1 Định dạng Đề thi Năng lực Tiếng Anh từ Bậc đến Bậc (Phiên công bố) II.2 Bảng quy đổi điểm thi II.3 Đề thi mẫu III QUY TRÌNH XÂY DỰNG ĐỊNH DẠNG BÀI THI 29 IV QUY TRÌNH VÀ KẾT QUẢ XÁC TRỊ BÀI THI MẪU 38 V TÀI LIỆU THAM KHẢO 58 VI CÁC PHỤ LỤC 62 Trang | i CÁC THÀNH VIÊN CHÍNH KHÁC THAM GIA ĐỀ ÁN TS Đỗ Tuấn Minh, ĐHNN – ĐHQGHN TS Huỳnh Anh Tuấn, ĐHNN – ĐHQGHN TS Đỗ Thị Thanh Hà, ĐHNN - ĐHQGHN TS Trần Hoài Phương, ĐHNN – ĐHQGHN TS Nguyễn Thị Ngọc Quỳnh, ĐHNN – ĐHQGHN ThS Đặng Thu Trang, ĐHNN – ĐHQGHN ThS Nguyễn Huyền Minh, ĐHNN – ĐHQGHN ThS Nguyễn Thúy Lan, ĐHNN – ĐHQGHN ThS Nguyễn Thị Mai Hữu, ĐHNN – ĐHQGHN ThS Nguyễn Thị Thu Hằng, ĐHNN – ĐHQGHN Th.S Nguyễn Lê Hường, ĐHNN – ĐHQGHN ThS Vũ Minh Huyền, ĐHNN – ĐHQGHN ThS Nguyễn Thị Quỳnh Yến, ĐHNN – ĐHQGHN ThS Lại Thị Phương Thảo, ĐHNN – ĐHQGHN ThS Vũ Đoàn Thị Phương Thảo, ĐHNN – ĐHQGHN ThS Phạm Thị Thanh Thủy, ĐHNN – ĐHQGHN Nguyễn Huy Hoàng, ĐHNN – ĐHQGHN Nguyễn Thanh Thủy, ĐHNN – ĐHQGHN CÁC TRƢỜNG ĐẠI HỌC VÀ TỔ CHỨC TRONG VÀ NGOÀI NƢỚC HỢP TÁC VÀ HỖ TRỢ Trường Đại học Ngoại ngữ – Đại học Huế, Trường Đại học Ngoại ngữ – Đại học Đà Nẵng, Đại học Thái Nguyên, Trường Đại học Sư phạm TP HCM, Đại học Cần Thơ, Trường Đại học Hà Nội, Viện Chương trình Đánh giá - Bộ GD Hàn Quốc (Institute of Curriculum and Evaluation - KICE), Trung tâm Khảo thí (Language Training and Testing Center – LTTC) Đại học Quốc gia Đài Loan (Taiwan National University) Trang | ii I GIỚI THIỆU ĐỀ ÁN THIẾT KẾ ĐỊNH DẠNG ĐỀ THI NĂNG LỰC TIẾNG ANH TỪ BẬC ĐẾN BẬC - VSTEP Mục tiêu tổng quát: xây dựng lực kiểm tra đánh giá quốc gia (một mục tiêu Đề án Ngoại ngữ Quốc gia 2020), thông qua việc thực công việc cụ thể sau đây: Thiết kế xây dựng, đưa vào sử dụng công cụ đánh giá lực tiếng Anh từ bậc – cho đối tượng sau trung học phổ thông, đang, theo học trường trung cấp dạy nghề, cao đẳng đại học (kể bậc cử nhân sau đại học) Bài thi dự kiến sử dụng phạm vi toàn quốc, hướng tới quốc tế thừa nhận Đề thi đánh giá từ bậc đến bậc 5, mang lại nhiều tiện ích, lẽ giao diện quan trọng bậc tốt nghiệp phổ thơng (u cầu trình độ bậc 3), sử dụng đào tạo đại học (yêu cầu đạt bậc lúc tốt nghiệp, bậc yêu cầu đầu vào cho chương trình đào tạo trình độ cao đẳng, chương trình liên kết quốc tế, bậc cho chương trình đào tạo cử nhân chuyên ngoại ngữ), sau đại học (mức cho chương trình đào tạo thạc sĩ, mức cho bậc tiến sĩ) Việc lựa chọn công cụ đánh giá Năng lực Tiếng Anh từ bậc đến bậc (theo chiều dọc) Đề án, bậc đơn lẻ (level – based), việc làm không giới (đó thi IELTS TOEFL) Cơng cụ theo chiều dọc có số ưu điểm tiết kiệm thời gian nguồn lực với thí sinh họ thi lần, song nhận kết xếp vào bậc lực tương ứng Tuy vậy, vấn đề đặt xây dựng thi việc xác định chuẩn cho bậc (standard - setting) Việc thiết kế định dạng thi cho bậc quan trọng, người học học tịnh tiến theo thời gian từ bậc đến bậc khác Định dạng đánh giá lực tiếng Anh theo ―chiều dọc‖ từ bậc đến bậc 5, xác định công việc ưu tiên Đề án Ngoại ngữ Quốc gia 2020 Đề án ủng hộ phê duyệt Ban điều hành Đề án NN 2020 qua công văn giao việc số 99/CV-ĐANN, 1414/TB-BGDĐT ngày 12/11/2013 Trang | 3 Cách tiếp cận Đề án - Đề án nhìn nhận tiếng Anh ngôn ngữ quốc tế (English as an International Language) - Dựa Khung lực Ngoại ngữ bậc cho Việt Nam Hai cách sử dụng khung tham chiếu: a Đối sánh đề thi có sẵn với Khung tham chiếu (Khung tham chiếu Châu Âu) Ví dụ như: Tiếng Trung HSK: bậc 1/A1- bậc (C2); TOCFL: bậc 1/A1- bậc (C1) Tiếng Pháp: TCF, DELF Tiếng Anh: TOEFLiBT, IELTS b Thiết kế, xây dựng đề thi mới, dựa khung này, điều chỉnh theo yếu tố đặc thù quốc gia Đây cách tiếp cận mà Đề án thực Trước có tổ chức Pearson áp dụng Trang | II CHI TIẾT VỀ BÀI THI II ĐỊNH DẠNG ĐỀ THI NĂNG LỰC TIẾNG ANH TỪ BẬC ĐẾN BẬC (PHIÊN BẢN CÔNG BỐ) PHẦN 1: NGHE HIỂU – 40 PHÚT PHẦN 3: VIẾT – 60 PHÚT PHẦN 2: ĐỌC HIỂU – 60 PHÚT PHẦN 4: NÓI – 12 PHÚT Bảng 1: Định dạng Đề thi Năng lực Tiếng Anh từ Bậc đến Bậc Bài thi Thời gian Số câu hỏi/nhiệm vụ thi Nghe hiểu Khoảng 40 phút, bao gồm thời gian chuyển câu trả lời sang phiếu trả lời Thí sinh nghe đoạn trao đổi ngắn, hướng dẫn, thông phần, 35 báo, đoạn hội thoại câu hỏi đa nói chuyện, lựa chọn giảng, sau trả lời câu hỏi (MCQ) đa lựa chọn (MCQ) in sẵn đề thi Kiểm tra tiểu kĩ Nghe khác nhau, có độ khó từ bậc đến bậc 5: nghe thơng tin chi tiết, nghe hiểu thơng tin chính, nghe hiểu ý kiến, mục đích người nói suy từ thông tin Đọc hiểu 60 phút, bao gồm thời gian chuyển câu trả lời sang phiếu trả lời đọc, 40 câu hỏi đa lựa chọn Thí sinh đọc văn vấn đề khác nhau, độ khó văn tương đương bậc 3-5 với tổng số từ dao động từ 1900-2050 từ Thí sinh trả lời câu hỏi đa lựa chọn sau đọc Kiểm tra tiểu kĩ Đọc khác nhau, có độ khó từ bậc đến bậc 5: đọc hiểu thông tin chi tiết, đọc hiểu ý chính, đọc hiểu ý kiến, thái độ tác giả, suy từ thơng tin đốn nghĩa từ văn cảnh viết Bài 1: Viết thư/ thư điện tử có độ dài khoảng 120 từ Bài chiếm 1/3 tổng số điểm thi Viết Bài 2: Thí sinh viết Kiểm tra kĩ Viết tương tác Viết sản sinh luận khoảng 250 từ chủ đề cho sẵn, sử dụng lý ví dụ cụ thể để minh họa cho lập luận Bài chiếm 2/3 tổng số điểm thi Viết Viết 60 phút Dạng câu hỏi/nhiệm vụ thi Mục đích Trang | Phần 1: Tương tác xã hội Thí sinh trả lời 3-6 câu hỏi chủ đề khác Phần 2: Thảo luận giải pháp Nói 12 phút phần Thí sinh cung cấp tình giải pháp đề xuất Thí sinh phải đưa ý kiến giải pháp tốt giải pháp đưa phản biện giải pháp cịn lại Kiểm tra kĩ Nói khác nhau: tương tác, thảo luận trình bày vấn đề Phần 3: Phát triển chủ đề Thí sinh nói chủ đề cho sẵn, sử dụng ý cung cấp sẵn tự phát triển ý riêng Phần kết thúc với số câu hỏi thảo luận chủ đề Trang | II BẢNG ĐIỂM QUY ĐỔI Bảng 2: Bảng quy đổi từ điểm trung bình kỹ sang bậc lực ngoại ngữ Điểm TB Bậc lực – 3,5 Không xét 4,0 – 5,5 Có thể hiểu ý đoạn văn hay phát biểu chuẩn mực, rõ ràng chủ đề quen thuộc hay gặp công việc, học tập, giải trí, v.v Có thể xử lý hầu hết tình xảy lúc lại khu vực có sử dụng ngơn ngữ Có thể viết văn đơn giản liên quan đến chủ đề quen thuộc cá nhân quan tâm Có thể mô tả trải nghiệm, kiện, mơ ước, hi vọng, hồi bão trình bày ngắn gọn lý do, giải thích cho ý kiến kế hoạch 6,0 – 8,0 Có thể hiểu ý văn phức tạp chủ đề cụ thể trừu tượng, kể trao đổi kỹ thuật thuộc lĩnh vực chuyên mơn thân Có thể giao tiếp mức độ trôi chảy, tự nhiên đạt đến mức giao tiếp thường xuyên với người ngữ không gây khó khăn cho hai bên Có thể viết văn rõ ràng, chi tiết nhiều chủ đề khác giải thích quan điểm vấn đề có tính thời sự, nêu ưu điểm, nhược điểm phương án lựa chọn khác 8,5 - 10 Có thể hiểu nhiều loại văn khó, dài, nhận biết hàm ý Có thể diễn đạt lưu lốt, tức thì, khơng thể rõ rệt việc phải tìm từ ngữ diễn đạt Có thể sử dụng ngôn ngữ linh hoạt hiệu phục vụ mục đích xã hội, học thuật chun mơn Có thể viết văn rõ ràng, chặt chẽ, chi tiết chủ đề phức tạp, thể khả sử dụng có kiểm sốt kiểu tổ chức văn bản, sử dụng tốt liên từ, phương tiện liên kết Mô tả tổng quát Không có mơ tả Trang | II ĐỀ THI MẪU PHẦN 1: NGHE HIỂU – VSTEP Thời gian: Khoảng 40 phút Số câu hỏi: 35 Directions: In this section of the test, you will have an opportunity to demonstrate your ability to understand conversations and talks in English There are three parts in this section with special directions for each part Answer all the questions on the basis of what is stated or implied by the speakers in the recording There will be time for you to read the instructions and you will have a chance to check your work The recording will be played ONCE only Time allowance: about 40 minutes, including 05 minutes to transfer your answers to your answer sheet PART 1-Questions 1-8 Directions: In this part, you will hear EIGHT short announcements or instructions There is one question for each announcement or instruction For each question, choose the right answer A, B, C or D Then, on the answer sheet, find the number of the question and fill in the space that corresponds to the letter of the answer that you have chosen Now, let‟s listen to an example On the recording, you will hear: Woman: Hello This is the travel agency returning your call You left a message about the holiday you‘ve booked, asking which meals are included in the cost during your stay at Sunny Hotel Lunch and dinner are free but if you wish to have breakfast in the hotel, you will need to pay an extra amount of money, depending on what you order Let me know if I can help you with any other information Goodbye On the test book, you will read: Which meal is NOT included in the price of the holiday? A Breakfast B Lunch C Dinner D All The correct answer is A Breakfast Now, let‟s begin with the first question How many languages are taught at Hanoi International Language School? A B C D Trang | What is the boarding time of Flight VN178? A 3.30 B 3.45 C 4.15 D 4.45 What will be happening in Lecture hall next Monday? A An art workshop B An art exhibition C A history lesson D A talk about history of art Where does the woman live? A Opposite the cinema B Next to Anna Boutique C On Floor of C5 building D On Floor of C5 building What is the woman doing? A Introducing the sports centre B Selling equipment to the new members C Explaining the rules in the centre D Answering members‘ questions What time the banks open in winter? A 8.00 a.m B 8.30 a.m C 9.00 a.m D 9.30 a.m What is the woman talking about? A How to change the topic of a term paper B When and where to hand in a term paper C How to write a term paper D The list of topics for a term paper How is the weather today? A Cool all day B Rainy in the early morning C Windy at noon D Sunny during the day Trang | Trang | 108 Trang | 109 Trang | 110 PHỤ LỤC KHUNG LÝ THUYẾT VÀ QUY TRÌNH SOẠN THANG CHẤM VIẾT - Các khung lý thuyết lực ngôn ngữ Cannale & Swain (1980) Bachman (1996) áp dụng vào việc soạn đề thi xây dựng thang chấm kỹ Viết bao gồm thành tố sau: o Năng lực ngữ pháp (từ vựng, hình thái, cú pháp, ngữ âm, tả) o Năng lực văn hoá xã hội (khả nhận biết khác biệt phương ngữ biến thể ngơn ngữ, ngữ vực, tính tự nhiên ngơn ngữ) o Năng lực diễn ngơn (tính mạc lạc, liên kết) o Năng lực chiến lược (các chiến lược ngơn từ phi ngơn từ) - Q trình xây dựng xác trị thang chấm Viết thực theo bước mà Reddy, M Y (2010) đề xuất, bao gồm: o Xác định mục đích đánh giá o Xác định tiêu chí đánh giá o Xác định rõ chi tiết biểu sinh viên cần đạt trình độ o Phân biệt rõ khác trình độ o Xác định kế hoạch chấm o Đào tạo giám khảo chấm o Lấy ý kiến phản hồi chỉnh sửa - Cụ thể, thực bước sau: o Bước 1: Xác định tiêu chí đánh giá dựa khung lý thuyết lực ngôn ngữ Cannale & Swain (1980) Bachman (1996), khung lực ngoại ngữ bậc cho Việt Nam o Bước 2: Xác định mức điểm tương ứng với trình độ khung lực ngoại ngữ Việt Nam o Bước 3: Xây dựng đặc tả cho mức điểm tiêu chí Các đặc tả lấy từ khung lực ngoại ngữ Việt Nam tương ứng với trình độ Trang | 111 o Bước 4: Lấy ý kiến chuyên gia nội nhóm o Bước 5: Chấm thử thang chấm sử dụng Viết mẫu (đã xác định mức điểm) của kỳ thi Cambridge theo Khung tham chiếu châu Âu CEFR PET, FCE, CAE (Cambridge English exams by CEFR level) o Bước 6: Điều chỉnh lại thang chấm o Bước 7: Lấy ý kiến chuyên gia o Bước 8: Chấm thi thử lần & lấy ý kiến giám khảo chấm o Bước 9: Điều chỉnh lại thang chấm theo kết thi thử lần o Bước 10: Chấm thi thử lần & lấy ý kiến giám khảo chấm o Bước 11: Hoàn thiện thang chấm Trang | 112 PHỤ LỤC QUY TRÌNH XÁC ĐỊNH MỨC ĐIỂM TỐI THIỂU CHO TỪNG TRÌNH ĐỘ Các bước từ Bước tới Bước quy trình xác định mức điểm tối thiểu cho trình độ Phụ lục thực theo nghiên cứu thành cơng trước đây, ví dụ Griffin (2004) hay Tran (2014) Các bước lại thực theo Phương pháp Angoff (1971), Angoff cải tiến Phương pháp lấy ý kiến chuyên gia Bƣớc 1: Phân tích kết thi sử dụng lý thuyết đo lường cổ điển lý thuyết ứng đáp câu hỏi sử dụng mô hình Rasch thấy điểm kiểm tra có kết chấp nhận mặt đo lường Ví dụ, kết phân tích cho thấy tồn tiểu mục đề thi Nghe Đọc phù hợp với mơ hình xác suất Rasch Trong Hình B1 Hình B2 đây, tất dấu * đại diện cho tiểu mục đề thi Đọc Nghe Đề thi Năng lực tiếng Anh 2014 nằm khoảng cho phép theo mơ hình Rasch Hình B1: Mức độ phù hợp 40 tiểu mục đề thi Đọc với mơ hình Rasch Trang | 113 Bƣớc 2: Độ khó tiểu mục đề thi xếp theo thứ tự từ dễ (bên bảng) đến khó (bên bảng) với thông số khác để đánh giá Ví dụ: Câu 37 Kỹ cần có để làm đƣợc câu hỏi Suy luận thái độ, tâm trạng ý định (văn phong phức tạp hơn/ từ vựng khó hơn/ chủ đề phức tạp hơn) Độ khó câu hỏi (thang logarit) Bình phƣơng trung bình INFIT Bình phƣơng trung bình OUTFIT 1.58 1.25 1.06 0.22 0.119 Độ phân biệt Lỗi đo lƣờng 12 Xác định nội dung quy chiếu cụm danh từ dài có độ gây nhiễu cao 1.243 1.25 1.11 0.18 0.115 35 Hiểu xác chi tiết tinh tế/ phức tạp thái độ, suy diễn, ý kiến văn 1.179 1.27 1.09 0.18 0.114 Đoán nghĩa từ (từ có nhiều nét nghĩa) ngữ cảnh 1.034 1.01 1.00 0.37 0.113 18 Hiểu logic câu văn dựa vào công cụ liên kết (từ quy chiếu, từ nối, liên từ, từ lặp ) 1.005 1.11 1.09 0.24 0.112 26 Xác định hàm ý câu/ chi tiết 0.949 0.91 0.95 0.42 0.112 36 Xác định quan điểm, thái độ hàm ngôn 0.848 1.06 1.06 0.28 0.111 20 Xác định mục đích thơng tin lập luận 0.831 1.15 1.09 0.23 0.111 13 Qui chiếu phức tạp 0.604 1.10 1.06 0.29 0.109 22 Đốn nghĩa từ (từ có nhiều nét nghĩa) ngữ cảnh 0.468 1.00 0.96 0.43 0.108 27 Xác định hàm ý câu/ chi tiết 0.301 1.09 1.06 0.27 0.107 19 Xác định đối chiếu nhận định so với văn gốc (dạng Which of the following is true for ? 0.261 0.97 0.99 0.38 0.107 40 Xác định quan điểm, thái độ hàm ngôn 0.191 0.95 0.92 0.48 0.675 33 Đoán nghĩa từ (từ có nhiều nét nghĩa) ngữ cảnh 0.185 1.08 1.05 0.30 0.106 38 Nhận chi tiết/ thông tin diễn giải theo cách khác (có yếu tố hàm ngơn, từ vựng sử dụng cấp độ 5) 0.184 0.96 0.94 0.45 0.107 28 Hiểu ý quan trọng 0.119 1.03 1.02 0.35 0.106 Xác định quy chiếu trước sau từ quy chiếu, yếu tố gây nhiễu 0.018 1.18 1.16 0.14 0.106 29 Hiểu xác chi tiết tinh tế/ phức tạp thái độ, suy diễn, ý kiến văn -0.013 0.96 0.96 0.43 0.106 14 Xác định hàm ý câu/ chi tiết -0.026 0.94 0.95 0.47 0.106 Định vị thông tin cụ thể (nằm đoạn nào) -0.034 1.22 1.19 0.13 0.106 21 Xác định đối chiếu nhận định so với văn gốc (dạng Which of the following is true for ? -0.048 0.99 0.98 0.41 0.106 16 Nhận thông tin tường minh diễn đạt khác so với văn gốc Ngôn ngữ diễn đạt gốc diễn đạt lại (từ vựng, cấu trúc) tương đối khó -0.099 0.90 0.92 0.49 0.106 15 Đốn nghĩa từ (từ có nhiều nét nghĩa) ngữ cảnh -0.113 1.09 1.08 0.24 0.106 Trang | 114 39 Xác định cấu trúc cách tổ chức văn có cấu trúc rõ ràng -0.206 1.07 1.06 0.30 0.106 Nhận chi tiết/ thông tin diễn giải theo cách khác (có yếu tố hàm ngơn) -0.232 1.05 1.03 0.33 0.106 25 Hiểu ý đoạn văn (paragraph) -0.265 0.84 0.85 0.58 0.105 Hiểu ý đoạn văn (paragraph) -0.298 0.95 0.95 0.44 0.106 10 Hiểu mục đích, chức văn có cấu trúc rõ ràng -0.458 0.82 0.83 0.59 0.106 32 Hiểu ý quan trọng -0.469 0.94 0.95 0.46 0.106 11 Xác định nội dung chính/ mục đích văn -0.496 1.03 1.04 0.30 0.106 Nhận thông tin tường minh diễn đạt khác so với văn gốc -0.513 0.86 0.89 0.54 0.106 24 Xác định quy chiếu phức tạp văn (nhiều yếu tố gây nhiễu) -0.612 0.96 0.97 0.42 0.106 30 Hiểu mục đích, chức văn có cấu trúc rõ ràng -0.635 0.96 0.97 0.40 0.106 23 Xác định/ định vị thông tin (nonfactual) đoạn văn -0.723 0.85 0.89 0.50 0.107 Xác định/ định vị thông tin (nonfactual) đoạn văn -0.734 1.13 1.08 0.23 0.107 17 Hiểu ý đoạn văn (paragraph) -0.79 1.01 1.02 0.32 0.107 Đoán nghĩa từ (từ có nhiều nét nghĩa) ngữ cảnh -0.882 0.89 0.93 0.44 0.107 31 Xác định quy chiếu văn (không nhiều yếu tố gây nhiễu) -0.93 0.95 0.97 0.39 0.108 Xác định quy chiếu trước sau từ quy chiếu, yếu tố gây nhiễu -1.037 0.89 0.94 0.44 0.109 34 Nhận chi tiết/ thơng tin diễn giải lại có lặp lại từ khóa chứa thơng tin cần xác định văn gốc -1.389 0.87 0.94 0.40 0.112 Bƣớc 3: Sau chuyên gia xác trị xác định tiểu mục đề thi thỏa mãn chuẩn đo lường định (mà theo diện tiểu mục đề thi cung cấp thơng tin lực thí sinh khơng làm nhiễu việc đo lường lực) độ khó tiểu mục đề thi đồ thị Hình B3 với câu hỏi khó bên trái theo trình từ giảm dần tới câu hỏi dễ phía bên phải đồ thị (Xem Hình B3) trình bày Sau đó, nhóm xác định mức điểm mà có gia tăng độ khó câu hỏi thi, địi hỏi thí sinh phải đạt bậc trình độ cao làm đặt mức điểm phân biệt trình độ (cut-score) Điểm cắt phải thỏa mãn yêu cầu sau tính lỗi đo lường tiêu chuẩn Bảng mức cắt thấp điểm thấp trình độ bậc Trang | 115 Hình B3: Độ khó tiểu mục đề thi Đọc xếp theo thứ tự từ khó (trái) sang dễ Độ khó Rasch thang logarit (phải) Câu hỏi thi Bƣớc 4: Tổ chức họp nhóm chuyên mơn với tham gia nhóm xây dựng đề thi Đọc (ba thành viên) nhóm nhận xét chéo (hai thành viên, thành viên nhóm soạn đề thi Bài thi Năng lực Tiếng Anh Các nhận xét đề thi giai đoạn xây dựng đề thi trước hiểu rõ Khung Tham chiếu Châu Âu, Khung NLNNVN, mục đích kỳ thi, mục đích thi, nội dung thi) đưa trao đổi Đã giải thích nhiệm vụ xác định mức điểm tối thiểu cần đạt cho trình độ (B1), (B2), hay (C1), trình bày Phương pháp Angoff nguyên tổ chức 05 chuyên gia làm thi điền Phiếu Phụ lục cho bậc trình độ Sau nhóm chun mơn kỹ Đọc hoàn thành Phiếu 1, kết đánh giá thành viên điền vào ô số liệu Bảng Excel có sẵn cơng thức (như Phụ lục 10) tìm mức điểm tối thiểu trung bình mà nhóm chun mơn xác định Đối với câu có độ chênh lệch lớn mức đánh giá thành viên, nhóm họp để thảo luận lý đến thống Các bước giúp thành viên nhóm xây dựng thi Đọc hiểu rõ đề thi mức điểm tối thiểu thành viên cho thí sinh cần có để đạt bậc trình độ Trang | 116 Chuyên gia xác trị giải thích Phương pháp Angoff cải tiến mời năm thành viên điền Phiếu Phụ lục qua bước thảo luận với Phương pháp Angoff nguyên Bƣớc 5: Chun gia xác trị tổ chức họp nhóm chun mơn cung cấp cho nhóm chun mơn thơng số điểm tổi thiểu cần đạt, bao gồm: o Độ khó Rasch tiểu mục đề thi thang logarit o Điểm thí sinh thang logarit o Điểm thơ 210 thí sinh o Điểm cắt trình độ sau nhóm chun mơn dùng Phương pháp Angoff ngun o Điểm cắt trình độ sau nhóm chun môn dùng Phương pháp Angoff cải tiến Chuyên gia xác trị nhóm chun mơn họp bàn đến thống nên cắt mức điểm để giảm thiểu việc xếp nhầm trình độ thí sinh giúp phản ánh lực thí sinh Khung NLNN cách xác Trang | 117 PHỤ LỤC TÀI LIỆU GIỚI THIỆU PHƢƠNG PHÁP ANGOFF VÀ QUY TRÌNH XÁC ĐỊNH MỨC ĐIỂM TỐI THIỂU CHO TỪNG TRÌNH ĐỘ Applying the Angoff Method in setting cut-scores for VSTEP The Angoff Method Step The Angoff Method is a process that determines how often a minimally qualified performer would answer a test item correctly A panel of experts is chosen to review test items and estimate the probability that a minimally qualified performer would answer the items correctly The estimates for each test item are averaged, and those averages are used to determine the cut score Minimally Qualified Performer A minimally qualified performer is:  One who performs the task in the field; not a student,  One who has the least amount of education and experience necessary to perform the task,  One who meets standards, though barely,  One whose task performance is borderline, but acceptable Review the descriptors of the Reading/Listening scale of the VSTEP for three levels: 3, 4, and Step Step Rating Test Items  Review test items individually  Estimate the number of minimally qualified performers out of 100 who would answer the question correctly  Record that number on the Test Item Rating form (figure 1) under the ―Percentage Correct‖ (i.e., if 80 out of 100 minimally qualified performers would answer a question correctly, then the percentage correct is 80%)  Estimates should not be higher than 95 nor lower than 25 Not even strong performers are expected to earn a perfect score of 100; and minimally qualified performers can correctly guess an answer 25 percent of the time (for a test item with four distracters)  During the process, raters should periodically review the concept of a minimally qualified performer to ensure estimates are as accurate as possible Review the ratings of all raters Trang | 118  Collect the ratings and enter them on a spreadsheet  Discuss the results  After discussion, separate the raters and have them rate any test items with standard deviations above 10  Collect the ratings and enter them on a spreadsheet Review the sheet for the following:  If a rater provided the same rating for every test item, consider eliminating those ratings  If a rater continually provided ratings that were very dissimilar from the other raters, consider eliminating those ratings  If an outlying standard deviation for a test item remains, consider another discussion/re-evaluation session Note: Even if disagreement persists, the average percentage for that test item can be factored into the cut score Step Setting the cut-scores  Calculate the cut score by adding the numbers in the ―average percentage correct‖ column and dividing by the number of test items Here is an example: Extracted from: https://www.questionmark.com/us/seminars/Documents/webinar_angoff_handout_may_2012.pdf Trang | 119 VSTEP ITEM RATING FORM SKILL: _ LEVEL: RATER NAME: _ DATE: _ Instructions: Review each test item Determine the probability that minimally qualified performers would answer the item correctly Do not rate higher than 95% nor lower than 25% Use increments of five (e.g., 80, 65) Minimally Qualified Performer: One with the least amount of knowledge and skills necessary to perform the task TEST ITEM # PERCENTAGE (%) CORRECT TEST ITEM # 21 22 23 24 25 26 27 28 29 10 30 11 31 12 32 13 33 14 34 15 35 16 36 17 37 18 38 19 39 20 40 PERCENTAGE (%) CORRECT Trang | 120 VSTEP ITEM RATING FORM SKILL: LEVEL: RATER NAME: DATE: _ Instructions: Review each test item Determine whether the candidates at levels 3, 4, or can answer the each of the items correctly Award for a correct answer, and award for an incorrect answer Minimally Qualified Performer: One with the least amount of knowledge and skills necessary to perform the task TEST ITEM # (1) OR (0) TEST ITEM # 21 22 23 24 25 26 27 28 29 10 30 11 31 12 32 13 33 14 34 15 35 16 36 17 37 18 38 19 39 20 40 (1) OR (0) Trang | 121 PHỤ LỤC 10 TRÍCH BẢNG ĐIỀN KẾT QUẢ PHƢƠNG PHÁP ANGOFF EXPERT RATING SPREADSHEET SKILL ANGOFF FACILITATOR NAME Average Test Percentage Ha item # Correct LEVEL 25/10/2014 DATE Reading Phuong Huong Huyen Lan Hang Standard deviation MEAN #DIV/0! MEAN #DIV/0! MEAN #DIV/0! MEAN #DIV/0! MEAN #DIV/0! MEAN #DIV/0! MEAN #DIV/0! MEAN #DIV/0! MEAN #DIV/0! 10 MEAN #DIV/0! 11 MEAN #DIV/0! 26 MEAN #DIV/0! 27 MEAN #DIV/0! 28 MEAN #DIV/0! 29 MEAN #DIV/0! 30 MEAN #DIV/0! 31 MEAN #DIV/0! 32 MEAN #DIV/0! 33 MEAN #DIV/0! 34 MEAN #DIV/0! 35 MEAN #DIV/0! 36 MEAN #DIV/0! 37 MEAN #DIV/0! 38 MEAN #DIV/0! 39 MEAN #DIV/0! 40 MEAN #DIV/0! MEAN MEAN MEAN MEAN MEAN MEAN MEAN Trang | 122 ... trình thi? ??t kế chỉnh sửa đề thi mẫu nhóm Phụ lục Trang | 39 III.3.4 Thi thử xác trị đề thi thử, đối sánh đề thi thử với định dạng đề thi quốc tế Sau đề thi thử hoàn thi? ??n, 01 đề chọn để thi thử... tính: Thi? ??t kế mặt ý tưởng (conceptualization), sản phẩm đặc tả đề thi Thi? ??t kế đề thi mẫu, sản phẩm đề thi mẫu xây dựng dựa đặc tả đề thi thi thử với nhóm nhỏ thí sinh Thi thử xác trị đề thi thử... dùng thi? ??t kế câu hỏi thi b Đối với kĩ Nói Viết, ngồi việc thi? ??t kế đề thi, nhóm cịn thi? ??t kế thang chấm điểm c Sau nhóm thi? ??t kế đề thang chấm, nhóm tiến hành làm thử đề với tư cách người thi