AN INVESTIGATION INTO THE COGNITIVE VALIDITY OF THE SPEAKING SECTION OF THE VIETNAMESE STANDARDIZED TEST OF ENGLISH PROFICIENCY (VSTEP.3-5)

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC NGOẠI NGỮ KHOA SAU ĐẠI HỌC NGUYỄN THỊ MAI HỮU AN INVESTIGATION INTO THE COGNITIVE VALIDITY OF THE SPEAKING SECTION OF THE VIETNAMESE STANDARDIZED TEST OF ENGLISH PROFICIENCY (VSTEP.3-5) Nghiên cứu giá trị xác thực trình tư thí sinh thi phần thi nói thi chuẩn hóa đánh giá lực tiếng Anh từ bậc đến bậc theo Khung lực ngoại ngữ bậc dùng cho Việt Nam (VSTEP.3-5) Chuyên ngành: Lý luận phƣơng pháp dạy học môn tiếng Anh Mã số: 9140231.01 Cán hƣớng dẫn: GS Hoa Nguyen GS Fred Davidson TÓM TẮT LUẬN ÁN TIẾN SĨ HÀ NỘI, 2021 CHƢƠNG 1: DẪN NHẬP 1.1 Mục đích nghiên cứu Nghiên cứu thực nhằm mục đích: - Mơ tả q trình tư thí sinh thi kỹ nói thi đánh giá lực tiến Anh bậc đến bậc theo Khung lực ngoại ngữ bậc dùng cho Việt Nam (VSTEP.3-5) để xác định giá trị xác thực trình thi VSTEP.3-5, - Xác định giá trị xác thực q trình tư thí sinh thi thi nói VSTEP.3-5 Với mục đích vậy, hỏi nghiên cứu sau xây dựng: - CH1: Bài thi VSTEP.3-5 có phản ánh trình tư thí sinh nói khơng? - CH2: Các yêu cầu tư xếp phần thi nói thi VSTEP.3-5 (theo bậc lực tiếng Anh thí sinh)? - CH3: Q trình tư thí sinh thi thi nói VSTEP.3-5 có giống với q trình thí sinh nói tiếng Anh bối cảnh thi không? 1.2 Cấu trúc nghiên cứu Nghiên cứu thực theo chương sau: Chương 1: Dẫn nhập Chương 2: Cơ sở lý luận Chương 3: Bài thi chuẩn hóa đánh giá lực tiếng Anh bậc đến bậc theo Khung lực ngoại ngữ bậc dùng cho Việt Nam Chương 4: Phương pháp nghiên cứu Chương 5: Quá trình tủ thí sinh phản ánh phần thi nói thi VSTEP.3-5 Chương 6: Sự xếp u cầu q trình tư thí sinh thi nói thi VSTEP.3-5 Chương 7: Quá trình tư thí sinh thi thi nói VSTEP.3-5 nói tiếng Anh khơng bối cảnh làm thi Chương 8: Kết luận CHƢƠNG 2: CƠ SỞ LÝ LUẬN 2.1 Khái niệm giá trị xác thực Thuật ngữ giá trị xác thực thu hút quan tâm không người sử dụng kết thi mà nhà nghiên cứu thuật ngữ liên quan nhiều tới chất lượng thi Theo Messick (1989), giá trị xác thực “đánh giá tổng thể mức độ đầy đủ phù hợp việc hiểu sử dụng kết thi kết đánh giá khác thể hệ thống minh chứng khoa học” (S Messick, 1989, p 13) Khái niệm cốt lõi “ý nghĩa kết quả”, định nghĩa “cơ cấu giúp hiểu lực thí sinh thể điểm thi mối quan hệ điểm thi biến số khác, cấu hiểu giá trị xác thực nội dung kiểm tra” (Samuel Messick, 1996, p 245) Quan điểm Messick quan trọng cách hiểu khác giá trị xác thực so sánh với khái niệm truyền thống thuật ngữ Quan điểm Messick Bachman (1990) phát triển Bachman cho giá trị xác thực việc sử dụng kết kiểm tra kết trình phức tạp bao gồm “việc phân tích minh chứng giúp hiểu kết thi, giá trị đạo đức không việc sử dụng kết thi mà cịn lực thí sinh” (Bachman, 1990, p 237) Tiếp nối thuật ngữ “ma trận lũy tiến” Messick, Bachman tập trung vào giá trị xác thực nội dung kiểm tra “giá trị sử dụng việc hiểu kết thi theo hướng cụ thể” cách nghiên cứu sở lý thuyết ngôn ngữ giá trị giáo dục xã hội tương ứng việc hiểu kết thi (Bachman 1990, p 243) Bachman dựa lý thuyết Messick kết phân tích “cơ sở giá trị xác thực” có minh chứng để đưa việc thu thập loại minh chứng cho trình xác định giá trị xác thực để giải thích mối liên hệ điểm thi việc hiểu sử dụng kết Ngay đưa quan điểm giá trị xác thực xây dựng sở hậu điểm thi, Bachman cho thi không thiết kế sử dụng tách rời khỏi “giá trị lượng hóa kết thi” cho thi phải đáp ứng nhu cầu hệ thống giáo dục toàn xã hội nơi mặc định nơi kết thi sử dụng 2.2 Quá trình xác định giá trị xác thực thi ngôn ngữ Trong Đo lường giáo dục, Cronbach (1971) định nghĩa “quá trình xác định giá trị xác thực trình nghiên cứu tính xác dự đốn khoa học suy luận từ điểm thi… Theo nghĩa rộng hơn, trình xác định giá trị xác thực nghiên cứu độ tin cậy việc hiểu điểm thi cách mơ tả hay giải thích nghiên cứu suy đốn có liên quan đến bối cảnh (Cronbach, 1971, p 443) Vào năm 1996, Messick định nghĩa “xác định giá trị xác thực trình đánh giá trải nghiệm ý nghĩa kết hoạt động đo lường, có tính đến nhân tố khác bối cảnh sử dụng ảnh hưởng tới giá trị xác thực việc hiểu sử dụng điểm thi” (Samuel Messick, 1996, p 245) Quá trình xác định giá trị xác thực xây dựng giới thiệu nhiều học giả có Cronbach and Meehl (1955), Cronbach (1971), Messick (1989) ấn phẩm trích dẫn nhiều nghiên cứu xác định giá trị xác (Cronbach, 1971) (Cronbach & Meehl, 1955) (Loevinger, 1957) (S Messick, 1989) Trong năm 2000, mơ hình tư - xã hội Weir (2005) giới thiệu cho xây dựng xác định giá trị xác thực thi ngôn ngữ đạt ý nhiều học giả Mơ hình xã hội – tư giúp nhà nghiên cứu xây dựng lập luận giá trị xác thực cách quán rõ ràng với hệ thống minh chứng, đảm bảo tương tác loại minh chứng Mơ hình bao gồm cấu phần khác mà nhà nghiên cứu cần quan tâm tới trình xây dựng đề thi nhiều khâu trình xây dựng, thực xây dựng giá trị xác thực Các cấu phần gồm đặc điểm thí sinh dự thi, giá trị xác thực trình tư duy, bối cảnh, nội dung, so sánh, kết Trong mơ hình xây dựng giá trị xác thực khác nhau, mơ hình so sánh thường áp dụng với thi việc so sánh khả thi, mơ hình nội dung thường sử dụng cho kiểm tra cuối khóa học, mơ hình giá trị xác thực nội dung kiểm tra, mơ hình tổng hợp, mơ hình dựa lập luận phổ biến sử dụng nhiều học giả, mơ hình xã hội – tư cung cấp sở lý luận vững để xây dựng lập luận giá trị xác thực cách tổng thể bao gồm khía cạnh khác giá trị xác thực thi Mơ hình xã hội – tư đưa mơ tả chi tiết q trình tư mà thí sinh trải qua thực thi gồm kỹ khía cạnh quan trọng đặc điểm thí sinh dự thi Với đặc điểm vậy, mơ hình xã hội – tư đánh giá nỗ lực xây dựng đường hướng quán, hệ thống để xây dựng đề thi xác định giá trị xác thực đề thi, kết hợp khía cạnh xã hội, tư duy, đánh giá giải vấn đề việc sử dụng ngôn ngữ kết nối khía cạnh khía cạnh bối cảnh kết sử dụng đề thi, đặc biệt liên quan đến khía cạnh tư thi ngôn ngữ Cũng với đặc điểm này, mơ hình tư – xã hội Weir lựa chọn sử dụng khung lý thuyết nghiên cứu 2.3 Khái niệm giá trị xác thực trình tƣ Trong kiểm tra đánh giá, khái niệm giá trị xác thực trình tư Weir phát triển đường hướng xã hội – tư xác định giá trị xác thực đề thi Giá trị xác thực q trình tư theo Weir mơ tả tương tự giá trị truyền thụ nghiên cứu Bachman Palmer (1996) Thuật ngữ mô tả mức độ hình thức tham gia lực ngơn ngữ thí sinh, kiến thức chủ đề, tác động lên việc làm thi ngơn ngữ thí sinh (Bachman & Palmer, 1996) Một vấn đề quan trọng trình tư thực tế thí sinh cần phản ánh nhiều tốt tình thi thi cơng bố có giá trị xác thực trình tư Giá trị xác thực trình tư duy, theo Field (Field, 2013), thu hút quan tâm nhà nghiên cứu đặc biệt thi có kết sử dụng để dự đốn lực thí sinh phù hợp với bối cảnh cụ thể việc học bậc đại học hay làm việc cụ thể Những minh chứng giá trị xác thực trình tư thường tập hợp qua viề nghiên cứu hành vi thí sinh hình thức phản ánh lời nói khác (ví dụ nói nghĩ, hồi tưởng sau nghĩ, hay hồi tưởng sau thời gian định) để đưa nhận xét thí sinh thực tế làm làm thi nói (Field, 2011), nghe (Field, 2013), đọc (Khalifa & Weir, 2009), viết (Shaw, Shaw, & Weir, 2007).) Nhìn chung, theo Field (2013), giá trị xác thực trình tư nghiên cứu “các trình liên quan xếp theo bậc lực khác theo mức độ yêu cầu tư mà thi áp lên thí sinh.” Thuật ngữ “yêu cầu tư duy” sử dụng nghiên cứu thuật ngữ sử dụng khoa học tư duy, yêu cầu khả tư qua khía cạnh khác phức tạp, rõ ràng, hàm ẩn, mức độ trừu tương (Edwards & Dall'Alba, 1981) định nghĩa theo Stein (2009) “loại mức độ suy nghĩ cần có để người sinh viên thành cơng việc giải vấn đề” (Stein, Smith, Henningsen, & Silver, 2009) Cũng nêu Field (2013), giá trị xác thực trình tư nghiên cứu mức độ tư mà thí sinh trải qua làm thi Trong bối cảnh này, thuật ngữ, mức độ tư dùng để mức độ yêu cầu tư q trình xử lý thơng tin 2.4 Giá trị xác thực trình tƣ việc đánh giá kỹ nói 2.4.1 Đánh giá kỹ nói Theo Louma, đánh giá kỹ nói, thành tố lực nói cần nghiên cứu chi tiết Các nhân tố âm thanh, ngữ pháp ngữ, từ vựng ngơn ngữ nói, đặc điểm sản sinh ngơn ngữ chứng lời (Luoma, 2004) Việc kiểm tra phát âm (hàm ngôn ngoại ngôn), ngữ, chí ngơn ngữ xã hội lời nói nội dung cần kiểm tra đánh giá kỹ nói Những cấu thành tảng để thiết kế phát triển kiểm tra kỹ nói, hình thành lên nội dung cần kiểm tra Lado viết “năng lực nói ngoại ngữ khơng nghi ngờ kỹ thú vị nhiên khảo thí việc nói ngoại ngữ khơng nghi ngờ phát triển thực hành lĩnh vực khảo thí ngơn ngữ.” (Lado, 1961, p 239) Nói việc sử dụng ngơn ngữ lời nói để giao tiếp với người khác Theo Fulcher, nội dung kiểm tra khảo thí kỹ nói gồm đặc điểm âm (phát âm ngữ điệu, độ xác độ trơi chảy), khía cạnh tâm lý, chiến lược nói (tạo từ sửa lỗi), khía cạnh cấu trúc lời nói gồm mở kết lượt lời, khía cạnh ngữ dụng, từ vựng, tạo lời (Fulcher, 2003) Field (2004) xây dựng mơ hình sản sinh lời nói theo mơ hình Levelt (1989, 1999) (Levelt, 1989; W Levelt, 1999; W J Levelt, 1999), mô hình làm sáng tỏ dù mơ hình sản sinh lời nói (như ngơn ngữ thứ hay ngơn ngữ thứ 2) cần có giai đoạn sau: - Giai đoạn khái niệm: giai đoạn ý niệm lời nói bắt đầy hình thành đầu người nói - Giai đoạn hệ thống: giai đoạn người nói chọn khung phù hợp để tạo lời, nhấn mạnh hòa hợp động từ, v.v - Giai đoạn từ vựng: người nói tìm kiếm từ từ vựng kho từ vựng mình, trình hỗ trợ các dấu hiệu hình thứ từ hay âm tiết - Giai đoạn tạo âm: giai đoạn thông tin tập hợp để chuyển thể thành lời nói - Giai đoạn phát âm: giai đoạn đặc điểm âm hình thành - Giai đoạn tạo lời: giai đoạn này, lời nói hình thành 2.4.2 Giá trị xác thực trình tƣ đánh giá kỹ nói Một khía cạnh số khía cạnh khác mơ tả mơ hình xã hội – tư Weir giá trị xác thực trình tư duy, theo Weir (2005), giá trị xác thực trình tư hình thành minh chứng giai đoạn trước thi thể việc thể trình tư đề thi minh chứng sau thi thể qua việc phân tích nội dung kiểm tra thể điểm thi thí sinh “Những người thiết kế đề thi ngơn ngữ cần nắm lý luận trình tư thí sinh khẳng định q trình cần phản ánh trình tư sử dụng ngôn ngữ đời thật” (Taylor, 2011) Dựa nghiên cứu Weir, Field (2011) áp dụng mơ hình Levelt sản sinh lời nói (1999) để xây dựng khung giá trị xác thực trình tư cho kỹ nói Các q trình nghiên cứu mơ hình gồm: - Hình thành khái niệm: giai đoạn tạo ý tưởng lời nói - Mã hóa ngữ pháp: giai đoạn hình thành khung cú pháp xếp âm từ sử dụng - Mã hóa âm thanh: giai đoạn chuyển khái niệm trừu tượng giai đoạn trước thành chuỗi từ âm - Mã hóa phát âm: giai đoạn trật tự âm để việc phát âm thực dễ dàng; kết nối âm thành chuỗi dẫn phát âm; lưu trữ dẫn vào khu vực chờ mệnh đề chuẩn bị phát âm - Phát âm: giai đoạn sản sinh lời nói - Tự kiểm sốt: giai đoạn người nói tập trung vào thơng điệp nói trước nói sau nói để kiểm tra xác, rõ ràng phù hợp thông điệp nói CHƢƠNG 3: ĐỀ THI ĐÁNH GIÁ NĂNG LỰC TIẾNG ANH BẬC ĐẾN BẬC THEO KHUNG NĂNG LỰC NGOẠI NGỮ BẬC DÙNG CHO VIỆT NAM VSTEP.3-5 Đề thi VSTEP.3-5 xây dựng tuân thủ chặt chẽ theo bước phát triển đề thi đưa Manual for language test development and examining introduced by the Europe Council in 2011 (de l’Europe, 2011), gồm lập kế hoạch, thiết kế, thử nghiệm, thông báo bên liên quan Sản phẩm bước thực định dạng đề thi VSTEP.3-5, đặc tả kỹ thuật đề thi VSTEP.3-5, tài liệu hướng dẫn viết tiểu mục đề thi đề thi, tài liệu hướng dẫn bồi dưỡng cán chấm thi nói đề thi VSTEP.3-5 Thông tin chung đề thi VSTEP.3-5 trình bày sau: Bài thi Thời gian Số câu Dạng câu hỏi/nhiệm vụ hỏi/nhiệm Mục đích thi vụ thi Nghe hiểu Khoảng 40 phút, bao gồm thời gian chuyển câu trả lời sang phiếu trả lời Thí sinh nghe đoạn trao đổi ngắn, hướng dẫn, thông phần, 35 báo, đoạn hội thoại câu hỏi đa nói chuyện, lựa chọn giảng, sau trả lời câu hỏi (MCQ) đa lựa chọn (MCQ) in sẵn đề thi Kiểm tra tiểu kĩ Nghe khác nhau, có độ khó từ bậc đến bậc 5: nghe thông tin chi tiết, nghe hiểu thơng tin chính, nghe hiểu ý kiến, mục đích người nói suy từ thơng tin Đọc hiểu Thí sinh đọc văn 60 phút, vấn đề khác nhau, độ bao gồm đọc, khó văn tương thời gian 40 câu hỏi đương bậc 3-5 với tổng số chuyển câu đa lựa từ dao động từ 1900-2050 trả lời sang chọn từ Thí sinh trả lời câu phiếu trả hỏi đa lựa chọn sau lời đọc Kiểm tra tiểu kĩ Đọc khác nhau, có độ khó từ bậc đến bậc 5: đọc hiểu thơng tin chi tiết, đọc hiểu ý chính, đọc hiểu ý kiến, thái độ tác giả, suy từ thơng tin đốn nghĩa từ văn cảnh Viết 60 phút viết Bài 1: Viết thư/ thư Kiểm tra kĩ Viết điện tử có độ dài khoảng tương tác Viết sản sinh 120 từ Bài chiếm 1/3 tổng số điểm thi Viết Bài 2: Thí sinh viết luận khoảng 250 từ chủ đề cho sẵn, sử dụng lý ví dụ cụ thể để minh họa cho lập luận Bài chiếm 2/3 tổng số điểm thi Viết Phần 1: Tương tác xã hội Thí sinh trả lời 3-6 câu hỏi chủ đề khác Phần 2: Thảo luận giải pháp Nói 12 phút phần Thí sinh cung cấp tình giải pháp đề xuất Thí sinh phải đưa ý kiến giải pháp tốt giải pháp đưa phản biện giải pháp cịn lại Kiểm tra kĩ Nói khác nhau: tương tác, thảo luận trình bày vấn đề Phần 3: Phát triển chủ đề Thí sinh nói chủ đề cho sẵn, sử dụng ý cung cấp sẵn tự phát triển ý riêng Phần kết thúc với số câu hỏi thảo luận chủ đề Đối với kỹ nói, đề thi VSTEP.3-5 phần thi nói mô tả sau: Thời gian: 12 phút (bao gồm phút chuẩn bị, phút cho phần phút cho phần 3) Miêu tả chung phần: Đề thi lực tiếng Anh – kỹ nói gồm ba phần: (1) Giao tiếp xã hội, (2) Thảo luận giải pháp, (3) Phát triển chủ đề Miêu tả chung nội dung/ngôn ngữ yêu cầu ngôn ngữ sản sinh: diễn ngôn hội thoại (giao tiếp xã hội, thảo luận) trình bày Miêu tả phần: - Phần 1: Giao tiếp xã hội Trong phần này, giám khảo hỏi thí sinh 3-6 câu hỏi thuộc hai chủ đề khác Thí sinh trả lời câu hỏi Các câu hỏi thiết kế dạng câu hỏi có từ để hỏi Khi sử dụng câu hỏi nghi vấn, câu hỏi có từ để hỏi cần bổ sung để gợi mở cho thí sinh trả lời câu hỏi - Phần 2: Thảo luận giải pháp Trong phần này, thí sinh cung cấp tình với lựa chọn để giải vấn đề nêu tình Thí sinh đưa lập luận giải pháp thí sinh cho tối ưu cho vấn đề nêu tình lập luận khơng chọn giải pháp cịn lại Phần thiết kế hình thức đoạn văn ngắn gồm hai tới ba câu có 1-2 câu mơ tả tình câu đưa giải pháp để giải vấn đề nêu tình - Phần 3: Phát triển chủ đề Trong phần này, thí sinh trình bày phát triển ý chủ đề cho trước Thí sinh sử dụng dàn ý cho trước dạng sơ đồ tư hoặc/và sử dụng dàn ý riêng để phát triển chủ đề Sau thí sinh trình bày xong nói, giám khảo hỏi 1-3 câu hỏi liên quan tới nội dung chủ đề Chủ đề để phát triển ý trình bày dạng câu hồn chỉnh Dàn ý gợi ý cho thí sinh sử dụng để phát triển ý trình bày dạng sơ đồ tư Mỗi ý dàn ý chủ đề sơ đồ tư để dạng danh từ cụm danh từ Mỗi ý dàn ý trình bày dạng động từ tính từ Ba câu hỏi ưu tiên thiết kế dạng câu hỏi dùng từ để hỏi Câu hỏi thiết kế cho thí sinh đạt bậc Khung lực ngoại ngữ Việt nam Câu hỏi hai thiết kế cho thí sinh đạt bậc Khung lực ngoại ngữ Việt nam Câu hỏi ba thiết kế cho thí sinh đạt bậc bậc cao Khung lực ngoại ngữ Việt nam Tổng số tác vụ thi: Tổng điểm: Điểm thô tổng điểm 10 chuyển sang mức điểm tương ứng thang điểm công bố, đó: Dưới điểm: Dưới bậc B1 4-6 điểm: bậc lực B1 6-8 điểm: bậc lực B2 8.5-10: bậc lực C1 4.3 Công cụ thu thập liệu Để thu thập liệu phù hợp với nghiên cứu, công cụ sử dụng để thu thập liệu gồm định dạng thi VSTEP.3-5 tài liệu liên quan, câu hỏi vấn nhóm, câu hỏi khảo sát, câu hỏi vấn khuyến khích hồi tưởng trình bày bảng đây: Câu hỏi nghiên cứu Công cụ thu thập liệu CH1: Bài thi VSTEP.3-5 có phản ánh Báo cáo xây dựng VSTEP.3-5, định trình tư thí sinh thí sinh thi phần dạng thi VSTEP.3-5, đặc tả kỹ thuật đề thi VSTEP.3-5 tài liệu liên thi nói khơng? quan khác Thảo luận nhóm CH2: Các yêu cầu tư xếp Điểm thi VSTEP.3-5 phần thi nói thi VSTEP.3-5 theo bậc lực tiếng Anh thí sinh? CH3: Q trình tư thí sinh thi Câu hỏi khảo sát thi nói VSTEP.3-5 có giống với q Phỏng vấn sử dụng khuyến khích hồi trình thí sinh nói tiếng Anh tưởng bối cảnh thi không? 4.4 Phân tích liệu Khía cạnh quan trọng khía cạnh khó nghiên cứu hỗn hợp tích hợp liệu định lượng liệu định tính Theo Creswell & Clark (2017), đường hướng phân tích hai nhóm liệu riêng lẻ sau kết nghiên cứu từ hai nhóm liệu đối chiếu phân tích Dữ liệu cho hai nhóm phương pháp nghiên cứu lưu trữ riêng phân tích sử dụng kỹ thuật phân tích phù hợp với loại; ví dụ, kỹ thuật thống kê sử dụng để phân tích liệu khảo sát phân tích theo chủ điểm để phân tích liệu vấn Theo đường hướng này, việc tích hợp liệu thực sau đạt kết nghiên cứu với công cụ thu thập liệu Một đường hướng phân tích liệu hỗn hợp khác kỹ thuật phân tích 12 tích hợp Với phương pháp sau, liệu định lượng chuyển thành liệu định tính ngược lại Kỹ thuật phân tích tích hợp sử dụng để phân tích liệu nghiên cứu Trước tiên, liệu định tính từ thảo luận nhóm sử dụng để phân tích tìm minh chứng cho giá trị xác thực trình tư từ bước xây dựng đề thi trước thi Kết sau đối chiếu với minh chứng thực nghiệm theo kết thi 288 thí sinh Kết khảo sát kết vấn khuyến khích hồi tưởng phân tích tích hợp với để xác định q trình tư thí sinh họ thi thi nói VSTEP.3-5 họ nói bối cảnh khơng phải thi Kết kỹ thuật thu thập liệu khác sau tích hợp để đưa kết nghiên cứu chung Khi phân tích liệu định lượng, điểm thi 288 thí sinh số liệu khảo sát phân tích sử dụng cơng cụ gồm EXCEL, SPSS, FACETS với việc sử dụng công thức tính gồm thống kê, tương quan, t-test, ANOVA, Cronbach's alpha, phân tích nhân tố phân tích mơ hình Rasch Rasch nhiều nhân tố Với liệu định lượng, phân tích hội thoại áp dụng với việc ghi chép lại tồn liệu thảo luận nhóm vấn khuyến khích hồi tưởng Bằng cách phân tích theo phương pháp này, người nghiên cứu tránh liệu thứ cấp, phân tích ví dụ mẫu kết phân tích sử dụng để đưa minh chứng phản biện hỗ trợ cho giả thuyết đưa khuyến khích người nghiên cứu khác sử dụng kết nghiên cứu ban đầu với nguồn liệu khác (Markee, 2000) CHƢƠNG 8: KẾT LUẬN Các chương 5, 6, trình bày kết thu thập liệu, phân tích liệu kết phân tích liệu Trong phạm vi tài liệu tóm tắt này, nội dung ba chương khơng đưa vào nội dung tóm tắt đưa phần kết luận 8.1 Tóm tắt kết nghiên cứu Bằng việc qá dụng khung xã hội – tư Weir dùng cho xây dựng xác định giá trị xác thực đề thi ngơn ngữ, q trình tư thi sinh thi thi VSTEP.3-5 nghiên cứu đưa minh chứng cho phần thi nói Minh chứng giá trị xác thực chia thành ba nhóm gồm trình tư lồng ghép vào đề thi, việc xếp mức độ 13 yêu cầu tư theo bậc lực khác đề thi, giống khác trình tư thí sinh thi thi nói VSTEP.3-5 nói tiếng Anh bối cảnh ngồi thi 8.1.1 Q trình tƣ thí sinh trải qua thi thi nói VSTEP.3-5 Q trình tư thí sinh trải nghiệm thi thi nói VSTEP.3-5 nghiên cứu theo hai bước phát triển đề thi tổ chức thi Minh chứng giá trị xác thực trình tư thí sinh thi thi nói VSTEP.3-5 xây dựng dựa mơ hình sản sinh lời nói Levelt (1989, 1999) sau áp dụng Weir (2005) mơ hình xã hội – tư cho phát triển xây dựng giá trị xác thực đề thi ngơn ngữ Mơ hình chia thành bước sau: hình thành khái niệm, mã hóa ngữ pháp mã hóa âm thanh, mã hóa phát âm, phát âm sửa lỗi 8.1.1.1 Hình thành khái niệm Bước hình thành khái niệm trình tư sản sinh lời nói thí sinh thi thi VSTEP.3-5 hình thành theo hai nhóm gồm cung cấp ý tưởng tích hợp thông tin thành khung diễn ngôn Cung cấp ý tƣởng Thông tin đưa khác từ bậc đến bậc thi nói VSTEP.3-5 với mức độ thân thuộc giảm dần từ bậc lực cao đến bậc lực thấp thí sinh, điều đảm bảo mức độ tư thí sinh có trình độ lực tiếng Anh khác trải nghiệm không làm ảnh hưởng tới việc sản sinh lời nói thí sinh Nhân tố thứ hai ảnh hưởng tới việc cung cấp ý tưởng cho thí sinh thi thi nói VSTEP.3-5 việc tăng mức độ khó đề thi Có thể dễ dàng thấy cách tăng độ khó thi giảm mức độ hỗ trợ thí sinh làm thi độ khó thi tăng lên Tuy nhiên, chiến lược sử dụng với đề thi nói VSTEP.35 Mức độ hỗ trợ cho thí sinh thi thi nói VSTEP.3-5 cung cấp để đảm bảo độ tương thích làm thí sinh trình độ khác khái niệm lĩnh vực từ vựng sử dụng tương đồng Bên cạnh đó, mức độ hỗ trợ cho thí sinh giúp yêu cầu tư thí sinh trải qua thi liên quan đến việc hình thành khái niệm không ảnh hưởng đến kết làm thí sinh 14 Hỗ trợ thí sinh thi nói thi VSTEP.3-5 thể theo nhiều cách Trước hết câu hỏi thi, câu hỏi thi nói VSTEP.3-5 câu hỏi có chủ đề quen thuộc đến Phần đến tình Phần chủ đề thông tin hỗ trợ thí sinh trả lời Phần Nhân tố thứ hỗ trợ thí sinh thi phần nói thi VSTEP.3-5 thí sinh có thời gian để chuẩn bị câu trả lời hay khơng có Với thi nói VSTEP.3-5, thí sinh có phút để chuẩn bị Phần Phần 3, phút cho Phần phút cho Phần Một nhân tố khác ảnh hưởng đến độ khó ngơn ngữ sử dụng câu hỏi thi Nếu đa số câu hỏi thi thi nói VSTEP.3-5 biên soạn với độ khó từ vựng ngữ pháp mức độ bậc để thí sinh có lực bậc 3, 4, hay hiểu nội dung hỏi, từ việc hình thành khái niệm để trả lời câu hỏi cúa thí sinh khơng bị ảnh hưởng, hỗ trợ tới thí sinh để đảm bảo thí sinh làm thi Trong số câu hỏi thi, có câu hỏi số Phần có độ khó đạt bậc bậc 5, nhiên, hai câu hỏi dành riêng cho thí sinh đạt đến lực bậc bậc 5, không kỳ vọng tất thí sinh trả lời Các câu hỏi giúp giám khảo tự tin việc xếp bậc lực thí sinh bậc hay bậc lực ngoại ngữ Tích hợp lời nói thành khung diễn ngơn Trong số nhân tố Levelt xác định có ảnh hưởng tới q trình hình thành khái niệm nhận thức chủ đề, hình thành chủ đề thơng tin, nhận thức thông chung khác với người nghe, hiểu ý từ dùng giám khảo hỏi thi nguyên tắc định thông tin xếp Phần thi nói thi VSTEP.3-5 nghiên cứu tất yếu tố liên quan tới khung thoại giám khảo, thang đánh giá tiêu chí “discourse management” Bài thi nói VSTEP.3-5 sử dụng mơ hình hỏi Mặc dù mô tả nội dung kiểm tra, tương tác hình thành giám khảo this sinh, điều phần làm ảnh hưởng tới tính tương tác tự nhiên người nói Một thuận lợi mơ hình hỏi thể thí sinh thi không bị ảnh hưởng làm thí sinh khác Sự thể thí sinh thay vào bị ảnh hưởng hợp tác giám khảo Sự hợp tác giám khảo cách làm việc cảm thông giám khảo giúp thí sinh tham gia tương tác tốt với giám khảo Đặc điểm giọng nói giám khảo ảnh hưởng tới thí sinh giọng nói, rõ ràng, liền mạch giám khảo… Bên cạnh 15 yếu tố ngoại ngôn ngư tương tác với thí sinh giúp trao đổi thơng tin thuận lợi Năng lực chung lực giao tiếp giám khảo thể khả giám khảo hiểu vấn đề quan tâm chung xã hôi, kiến thức giám khảo vấn đề nêu tác vụ thi… Các yếu tố tác động tới mức độ tư thí sinh làm thi Vì vậy, phần thi nói thi VSTEP.3-5 thiết kế cho giám khảo sử dụng kịch chuẩn bị trước thí sinh thi đề thi Cũng mô tả đặc tả kỹ thuật thi, giảm khảo khơng nói nội dung khác kịch chuẩn bị sẵn cho họ Những giám khảo không đảm bảo thực điều dẫn tới tình tạo mức độ tư khác cho thí sinh khác 8.1.1.2 Mã hóa ngữ pháp Nội dung ngơn ngữ kiểm tra nói thường khơng quy định cấu trúc ngữ pháp mà chức ngôn ngữ mà người dự thi bắt buộc phải thực Nó coi câu hỏi ánh xạ từ chức mà người dự thi muốn thực đến cách thức thể tốt chức Vấn đề cần thảo luận xem xét giá trị xác thực trình tư khơng phải độ phức tạp ngơn ngữ hình thành mà mức độ dễ dàng thí sinh làm thi Có hai cách để giảm tải yêu cầu tư cho thí sinh bậc lực thấp với nguồn ngôn ngữ hạn chế Một nằm việc hạn chế số lượng chức mà người dự thi phải thực (đặc biệt liên quan đến nhiệm vụ nhất) Phương thức tính đến khả truy cập chức định Các chức quen thuộc, thường xuyên cụ thể rõ ràng lập đồ nhanh chóng đáng tin cậy chức khơng có Với thi VSTEP.3-5, mức độ yêu cầu tư khác ba tác vụ Sự đa dạng thể số lượng chức cần thiết khả tiếp cận chức đề cập đặc tả kỹ thuật đề thi Số lượng chức khác ba tác vụ Trong đó, tác vụ chiếm số lượng chức nhiều Có thể thấy rõ tiến triển nhu cầu nhận thức ba tác vụ thi nói Có thể thấy mức độ yêu cầu tư tăng từ tác vụ đến tác vụ thi nói VSTEP.3-5 Ngồi cịn có giảm dần theo chức từ nhiệm vụ đến nhiệm vụ theo yêu cầu đặt người dự thi: chuyển từ mô tả tương tác xã hội sang trình bày chủ đề phức tạp trừu tượng mức độ trừu tượng cao tóm tắt câu hỏi số tác vụ số 16 8.1.1.3 Mã hóa âm Một phần q trình tư nói mã hóa âm thanh, xác định bao gồm đặc điểm sau góp phần làm cho việc nói trơi chảy ngôn ngữ thứ hai: sử dụng cụm từ ghi nhớ sẵn, độ dài nói khơng bị ngắt quãng, thời gian tạm ngừng ranh giới cú pháp, tần suất dự tạm ngừng, dễ dàng truy xuất lắp ráp từ Liên quan đến cụm từ ghi nhớ sẵn, cụm từ đề cập VSTEP.3-5 dạng thành ngữ từ ngữ thông tục; đề cập đặc tả bậc thang đánh giá (tiêu chí Vocabulary) Người dự thi VSTEP.3-5 đạt đến trình độ thông thạo ngôn ngữ định, nơi họ thiết lập kho từ lấy với nỗ lực tối thiểu Tuy nhiên, thành ngữ từ ngữ thông tục đề cập thang đánh giá khả nói VSTEP phần tiêu chí Vocabulary, khơng phải phần tiêu chí Fluency Theo Field (2011), cụm từ khơng bao gồm biểu thức thành ngữ từ thơng tục, mà cịn bao gồm loại ngơn ngữ công thức khác Liên quan đến nội dung kiểm tra, thấy từ ngữ thơng tục khơng đề cập mô tả mức độ thông thạo khác Việc sử dụng từ ngữ thông tục đề cập mức độ thông thạo C2 CEFR Liên quan đến cấp độ thông thạo khác đề cập cấu trúc nói VSTEP.3-5, biểu thức cơng thức đề cập từ cấp độ đến cấp độ Với bậc 1, “very short, isolated, mainly pre-packaged utterances”; với bậc 2, “basic sentence patterns with memorized phrases, groups of few words and formulae”; với bậc 3, " a repertoire of frequently used routines " Mặc dù đề cập nội dung kiểm tra, đặc tả phần thang chấm điểm kỹ nói VSTEP.3-5 Vấn đề có lẽ phần ngơn ngữ ghi nhớ sẵn vừa báo tiêu cực vừa báo tích cực Một mặt, phụ thuộc vào số cơng thức hạn chế quy ước hóa cao, số cơng thức học thuộc lịng; mặt khác (như thảo luận trước đây), cho thấy người dự thi tiến diễn giả đến mức họ thiết lập kho chuỗi từ tạo với nỗ lực tối thiểu Một yếu tố khác ảnh hưởng đến trôi chảy độ dài nói khơng bị ngắt qng Mức độ u cầu tư bị ảnh hưởng nhiều từ độ dài yêu cầu nói Các đặc tả kỹ thuật VSTEP.3-5 cho thấy độ dài yêu cầu nói khác ba phần nói Ngoài ra, đặc tả thang đánh giá VSTEP.3-5 cho thấy 17 cấu trúc VSTEP.3-5 liên quan đến độ dài nói khơng bị gián đoạn Có thể thấy rõ thang đánh giá, đặc tả từ mứ điểm đến mức điểm đề cập đến phản hồi mở rộng khoảng ngôn ngữ mở rộng; nhiên, với mức điểm mức điểm 10, vấn đề độ dài nói đề cập dạng tạm ngừng thấy người dự thi mức độ thông thạo nói chung nói đoạn dài Khoảng thời gian lập kế hoạch tạm ngừng ranh giới cú pháp tần suất tạm ngừng, dự mô tả phần mã hóa âm Trong thang đánh giá nói VSTEP.3-5, đặc điểm mơ tả Như quan sát thấy thang VSTEP.3-5, tạm ngừng ngập ngừng đề cập từ mức độ thông thạo thấp đến mức cao thang điểm Giám khảo cần xác định khác biệt tạm ngừng ngập ngừng vốn ngơn ngữ hạn chế thí sinh tìm kiếm từ cụm từ thích hợp xác để sử dụng ngập ngừng để sửa lỗi hay tìm từ mức độ khó phù hợp với bối cảnh 8.1.1.4 Mã hóa phát âm, phát âm Levelt (1989) người nói ngơn ngữ khơng phải tiếng mẹ đẻ bị ảnh hưởng ngôn ngữ xét theo tập hợp biểu diễn âm vị học tâm trí vốn dùng để xác định giá trị âm vị ngôn ngữ tập hợp quy trình tự động cao, phù hợp với cài đặt khớp ngôn ngữ chuyển động liên kết chúng với Sự phù hợp hai yếu tố với giá trị khơng quen thuộc ngơn ngữ đích tạo thành sở cho tài mức độ tư cách thụ đắc ngôn ngữ thứ Người ta không nên quên thực tế việc phát âm L2 khơng khơng có khả hình thành âm đích mà cịn thể khơng đầy đủ âm tâm trí / khơng có khả truyền đạt tín hiệu thích hợp đến việc phát âm Điều giải thích rõ việc trình bày u cầu mức độ dễ hiểu cách phát âm người dự thi VSTEP.3-5 từ không rõ đến dễ hiểu với mức độ dễ hiểu người ngữ làm tăng đặc tả mức độ thông thạo thấp đến mức độ thông thạo cao Các mô tả VSTEP.3-5 cho thấy số lượng giảm dần từ cấp độ thành thạo cao đến cấp độ thành thạo thấp ngôn ngữ nhân tố phản ánh tác động giá trị âm vị lưu trữ ngôn ngữ thứ người dự thi q trình phát âm tự động hóa liên quan đến chúng 8.1.1.5 Tự kiểm soát 18 Tự kiểm sốt tự sửa lỗi khía cạnh hiệu suất người nói mà khó nắm bắt thông số kỹ thuật kiểm tra biểu mẫu Như đề cập Field (2011), chất việc giám sát sửa chữa giới hạn mức độ thông thạo thấp người nói ngơn ngữ thứ mức lực cao đặc trưng chứng giám sát hiệu thực dụng độ xác ngơn ngữ Liên quan đến việc tự kiểm sốt sửa lỗi thí sinh, đặc tả định tìm thấy đặc tả kỹ thuật VSTEP.3-5 thang đánh giá Có thể thấy từ đặc tả thang đánh giá VSTEP.3-5 mức độ sửa lỗi giảm dần từ mức độ thông thạo thấp đến mức độ thông thạo cao Bằng chứng việc giám sát hiệu thực dụng độ xác ngơn ngữ rõ ràng thang đánh giá VSTEP.3-5 đặc tả Vocabulary Tóm lại, mơ hình ntư - xã hội Weir khung lý thuyết áp dụng phần nói VSTEP.3-5 phát triển, quy trình tư mơ hình cung cấp khung tốt để nghiên cứu giá trị xác thực thi Tất mẫu mơ tả mơ hình tìm thấy phần nói VSTEP.3-5, cho thấy nỗ lực nhóm phát triển VSTEP.3-5 việc giải nhu cầu tư mà người dự thi gặp phải làm thi Bên cạnh đó, áp dụng mơ hình để thiết lập minh chứng giá trị xác thực trình tư cho phần nói, số vấn đề xác định bao gồm: (1) Việc sử dụng từ thông tục đề cập mức độ thông thạo C2 khung CEFR CEFR-VN; nhiên, chúng tìm thấy đặc tả mức độ thành thạo 10 thang đánh giá nói VSTEP.3-5 (2) Các điểm tạm ngừng dự tìm thấy đặc tả hầu hết nhóm thang đánh giá VSTEP.3-5; nhiên, khơng có giải thích khác biệt khoảng ngừng ngập ngừng mức điểm (3) Tải trọng tư người đối thoại người đánh giá vấn đánh giá người dự thi mô tả CEFR CEFR-VN, khung lý thuyết áp dụng thiết kế thi nói VSTEP.3-5; nhiên, tải trọng không đề cập đặc tả kỹ thuật sổ tay đào tạo cán chấm thi nói 19 8.1.2 Việc xếp mức độ yêu cầu trình tƣ theo bậc lực khác thi nói VSTEP.3-5 Nhìn chung, đặc tả thang đánh giá nói VSTEP.3-5 xếp hợp lý với mức độ khó tăng dần từ mức điểm đến mức điểm 10, ngoại trừ số đặc tả sau: (1) Khi chạy Mơ hình thang đánh giá phân tích Rasch, đặc tả theo mức điểm khác thang đánh giá nên quan tâm nhiều bao gồm mức Vocabulary 4,5, 9,10 Fluency (2) Khi chạy t-test khác biệt điểm nói điểm tổng nhóm thí sinh thuộc mức độ thông thạo khác nhau, khác biệt đáng kể tìm thấy điểm nói điểm tổng học sinh trình độ C1 Kết phân tích cho thấy cần nghiên cứu dải điểm 10 tất tiêu chí nói người chấm thi vấn đáp phải thông báo mẫu điểm thang chấm điểm (3) Sắp xếp độ khó đặc tả biểu đồ, các đặc tả định bật, số mức điểm Grammar 3, 4, 6, 7; Vocabulary 4, 5, 9, 10; Discourse Management 3, 9, 10; Pronunciation 7, 8; Fluency 6, Đây đặc tả có độ khó xếp vào vị trí đặc biệt so với độ khó đặc tả khác mức điểm Nhìn chung, đặc tả liền kề tương ứng với mức độ thơng thạo người dự thi có mức độ khó tương đối Bên cạnh đó, nghiên cứu kỹ đặc tả, dường khó nhận thấy khác biệt kết hoạt động thí sinh tương ứng với điểm lân cận tiêu chí thang đo Một vấn đề khác xác định đặc tả mức điểm Vocabulary 10 bao gồm yêu cầu khả sử dụng cách diễn đạt thành ngữ từ thông tục, đặc tả không đề cập CEFR CEFR-VN bậc trình độ lực tương ứng Sau đó, nhận thấy mức điểm 10 tất tiêu chí dường đặt mức yêu cầu tư cao so với tất mức điểm khác Một số mức điểm điểm từ vựng mô tả lực không đề cập nội dung kiểm tra; nhiên, đặc tả lại mô tả chấm điểm 8.1.3 Q trình tƣ thí sinh làm thi nói VSTEP.3-5 nói tiếng Anh bối cảnh khác thi Bảng câu hỏi khảo sát kết vấn khuyến khích hồi tưởng cho thấy rằng: 20 (1) Người dự thi trải qua tất giai đoạn trình tư thi thi nói VSTEP.3-5 Tất năm giai đoạn trình tư bao gồm hình thành khái niệm, mã hóa âm thanh, mã hóa ngữ pháp, mã hóa ngữ âm, phát âm tự kiểm sốt (2) Hơn nửa số người dự thi VSTEP.3-5 trải qua q trình tư nói tương tự điều kiện làm thi điều kiện thi Tất năm giai đoạn trình thí sinh chia sẻ trải qua nói tiếng Anh bối cảnh ngồi thi gồm hình thành khái niệm, mã hóa âm thanh, mã hóa ngữ pháp, mã hóa ngữ âm, phát âm tự kiểm sốt (3) Đối với người nói quy trình tư khơng giống cho chúng nói tốt họ thể thi Họ tuyên bố thông tin phần nói VSEP.3-5 bao gồm thang điểm đánh giá phần nói thi mẫu tiếp cận với họ cách hạn chế Những thí sinh chuẩn bị tốt cho kiểm tra có xu hướng đạt điểm cao so với người không chuẩn bị (4) Một tình Phần thi khó nhóm thí sinh so với nhóm khác Điều cho thấy nên thử nghiệm đề thi cách kỹ lưỡng 8.2 Đề xuất thi VSTEP/3-5, phát triển xác định giá trị xác thực đề thi ngôn ngữ, mơ hình xã hội – tƣ Weir 8.2.1 Phát triển tổ chức thi thi VSTEP.3-5 Mặc dù bước quy trình tư mà người dự thi trải qua làm thi VSTEP.3-5 nghiên cứu giai đoạn phát triển tổ chức thi thi, số vấn đề định xác định bao gồm: (1) Việc sử dụng từ thông tục đề cập mức độ thông thạo C2 khung CEFR, tương đương bậc khung CEFR-VN; nhiên, đặc tả tìm thấy mức điểm 10 thang đánh giá nói VSTEP.3-5 Để người kiểm tra nhận thức rõ thực tế này, thông tin mô tả bậc C2 sử dụng thang chấm điểm nói VSTEP.3-5 bậc nên bổ sung vào tài liệu bồi dưỡng giám khảo chấm thi Một cách khác để giải đặc tả bày đưa đặc tả khỏi thang đánh giá Để làm vậy, đặc tả kỹ thuật thi VSTEP.3-5 cần sửa đổi, dẫn đến việc sửa đổi Quyết định số 729 / QĐ-BGDĐT ngày 11 tháng năm 2015 Bộ Giáo dục Đào tạo Việt Nam 21 (2) Sự ngừng lời ngập ngừng nói tìm thấy đặc tả hầu hết mức điểm thang đánh giá VSTEP.3-5; nhiên, khơng có giải thích khác đưa khác biệt khoảng dừng ngập ngừng mức điểm Do vậy, cần có giải thích thêm tài liệu bồi dưỡng giám khảo chấm thi nói để giám khảo khơng bị nhầm lẫn dấu hiệu ngừng lời ngập ngừng chấm điểm kết thi thí sinh (3) Yêu cầu tư cán chấm thi nói hỏi thi chấm thi mơ tả khung CEFR CEFR-VN, khung lý thuyết áp dụng thiết kế thi nói VSTEP.3-5; nhiên, tải trọng khơng đề cập đặc tả kỹ thuật tài liệu đào tạo cán chấm thi Mức độ tư mà cán chấm thi nói trải qua vấn đánh giá người dự thi tác động đến tính cơng việc vấn chấm điểm họ, ảnh hưởng đến kết thi người dự thi điểm số họ Chúng đặc biệt khuyến nghị yếu tố ảnh hưởng đến mức độ tư cán chấm thi vào vấn đánh giá người dự thi nói VSTEP.3-5 nên đưa vào tài liệu bồi dưỡng cán chấm thi nói để người chấm thi nhận thức vấn đề vấn đánh giá Một gợi ý cụ thể cán chấm thi nói khơng cung cấp thời gian để làm công việc chấm điểm người dự thi gần Khi bổ sung thêm khoảng phút để chấm điểm hai người dự thi liền kề, cán chấm thi chấm thi hiệu (4) Các đặc tả gần tương ứng với mức độ thông thạo người dự thiì có độ khó tương đối Bên cạnh đó, nghiên cứu kỹ đặc tả độ khó đặc tả, khó nhận khác biệt lực thí sinh tương ứng với mức điểm lân cận tiêu chí thang chấm điểm VSTEP.3-5 Sự khó phân biệt gây khó khăn cho cán chấm thi xếp thí sinh vào mức điểm tương ứng thang đánh giá Để cán chấm thi xếp xác kết nói thí sinh vào mức điểm thang đánh giá, đặc điểm định lượng mức điểm cần đưa vào tài liệu bồi dưỡng cán chấm thi nói cần có làm mẫu thí sinh dạng âm và/hoặc video cho tất mức điểm khác tiêu chí đánh giá thang đánh giá Một cách khác để giải tình hợp đặc tả dải tương ứng với bậc trình độ tiếng Anh, làm vậy, số lượng mức điểm thang đánh giá VSTEP.3-5 giảm xuống 22 mức điểm Điều đơn giản hóa cơng việc chấm điểm giám khảo dẫn đến độ tin cậy kết đánh giá tốt (5) Tất đặc tả mức điểm 10 có độ khó cao đáng kể so với tất mức điểm thang đánh giá VSTEP.3-5, điều dẫn đến tỷ lệ thí sinh xếp loại C1 thấp so với mức độ thông thạo đánh giá kiểm tra Để điểm nói đật mức độ tin cậy thí sinh đó, giám khảo phải cung cấp liệu họ tập huấn Một lý giải thích cho độ khó cao đáng kể đặc tả tương ứng với mức điểm giám khảo có xu hướng cho điểm cao cho người dự thi Để giải vấn đề này, khuyến nghị mức điểm thang đánh giá phải phản ánh kết hoạt động mức độ thông thạo CEFR C2, cách làm vậy, giám khảo thấy rõ kỳ vọng mức độ thông thạo CEFR C2 xếp thí sinh vào mức điểm CEFR C1 với độ tin cậy cao (6) Các thí sinh cho thơng tin phần thi nói VSEP.3-5 bao gồm thang điểm đánh giá kỹ nói kiểm tra mẫu tiếp cận với họ cách hạn chế Và thí sinh chuẩn bị tốt cho kiểm tra có xu hướng đạt điểm cao người không chuẩn bị Các đơn vị tổ chức thi VSTEP.3-5 nên cung cấp cho người dự thi quyền truy cập không vào định dạng đề thi, mà thang đánh giá làm mẫu, đề thi mẫu để người dự thi hiểu rõ họ mong đợi thực mức độ thông thạo khác nhau, họ chuẩn bị tốt cho thi (7) Một tình Phần thi dường khó nhóm thí sinh so với nhóm khác Điều cho thấy nên thử nghiệm đề thi cách kỹ lưỡng Chúng đặc biệt khuyến nghị tất đề thi nên xây dựng theo 12 giai đoạn phát triển đề thi Bộ Giáo dục Đào tạo Việt Nam ban hành kèm theo Thơng tư 23/2017/TT-BGDĐT, kiểm tra nên thi thử trước hai lần Bên cạnh đó, để điểm số phân tích với độ tin cậy cao, đặc biệt cho phần thi nói viết, ứng dụng FACETS R, chạy Mơ hình thang điểm đánh giá / Mơ hình phân tích nhân tố, nên sử dụng để phân tích điểm thi 8.2.2 Cơng tác phát triển xây dựng giá trị xác thực đề thi ngôn ngữ Nghiên cứu xác định giá trị xác thực q trình tư thí sinh thi thi nói VSTEP.3-5 lần minh chứng mơ hình tu xã hội Weir cung cấp khung lý thuyết toàn diện để phát triển xây dựng giá trị xác thực cho thi ngôn ngữ 23 Đặc biệt giá trị xác thực khía cạnh định kiểm tra ngơn ngữ giá trị xác thực trình tư duy, mơ hình tư xã hội Weir khơng chỉgiúp phát triển lập luận xác thực có hệ thống cho kiểm tra ngơn ngữ cụ thể mà cịn giúp xác định vấn đề mà kiểm tra ngôn ngữ gặp phải hai giai đoạn phát triển xây dựng giá trị xác thực Do đó, chúng tơi đặc biệt khuyến nghị mơ hình tư xã hội Weir nên áp dụng kiểm tra ngôn ngữ phát triển xác thực 8.2.3 Weir’s socio cognitive framework Khung nhận thức xã hội Weir chứng minh có tính ứng dụng cao việc phát triển xác thực kiểm tra ngôn ngữ, nhiên áp dụng khung việc xác thực kiểm tra ngoại ngữ VSTEP.3-5, đặc điểm cụ thể việc học tiếng Anh ngoại ngữ cần nghiên cứu kỹ lưỡng để áp dụng tốt Trong trường hợp giá trị xác thực, trình tư mà người dự thi trải qua làm kiểm tra tuân theo quy trình tư Levelt (1988, 1989) sản sinh lời nói cho người nói ngơn ngữ thứ quy trình tư Weir (2005) sản sinh lời nói cho người nói ngơn ngữ thứ hai nên hai mơ hình gần giống Tuy nhiên, nghiên cứu tính xác thực q trình tư thi nói VSTEP.3-5, cần thiết phải phát triển mơ hình tư cập nhật cho q trình sản sinh lời nói người nói ngơn ngữ ngoại ngữ, vấn đề nảy phát sinh sau thực tế số người dự thi thi nói VSTEP.3-5 suy nghĩ tiếng Việt, ngôn ngữ thứ họ Việc suy nghĩ ngôn ngữ thứ nói ngoại ngữ ảnh hướng định đến khả nói họ làm thi điều kiện không làm thi, đặc biệt trường hợp người dự thi có trình độ CEFR B1 trở xuống 8.3 Limitations and further studies Đầu tiên, nhà nghiên cứu khuyến nghị Quyết định số 729/QĐ-BGDĐT ngày 11 tháng năm 2015 Bộ Giáo dục Đào tạo Việt Nam ban hành cần sửa đổi liên quan đến đặc tả kỹ thuật thi VSTEP.3-5 Để thuyết phục nhà nghiên cứu nhà hoạch định sách thay đổi Quyết định vậy, cần thiết phải tiến hành nghiên cứu sâu để đưa minh chứng rõ ràng cần thiết phải sửa đổi đặc tả kỹ thuật kiểm tra phần đặc tả kỹ thuật cần sửa đổi 24 Thứ hai, nghiên cứu thực quy mô thu thập liệu nhỏ (288 người dự thi) Để liệu thu thập có giá trị mức độ tin cậy cao hơn, nghiên cứu tương tự với quy mơ thu thập liệu lớn khuyến khích tiến hành Thứ ba, tại, khung nhận thức xã hội Weir chứng minh có tính ứng dụng cao để thực nghiên cứu giá trị xác thực; nhiên, mơ hình xử lý nhận thức sản sinh lời nói phát triển cho người nói ngơn ngữ thứ ngơn ngữ thứ Một mơ hình có xem xét đến đặc điểm việc thụ đắc ngoại ngữ nên phát triển để cung cấp mơ hình hồn hảo để thiết lập giá trị xác thực kiểm tra ngoại ngữ, cụ thể kiểm tra thiết kế để đánh giá người dự thi có lực CEFR B1 cấp độ thơng thạo thấp Do đó, nghiên cứu tiến hành để xây dựng mơ hình tư cho người nói ngoại ngữ, điều khả thi cách áp dụng mơ hình Levelt cho người nói L1 mơ phát triển mơ hình nói L1 Levelt mơ hình áp dụng việc phát triển xây dựng giá trị xác thực cho đề kiểm tra ngôn ngữ Cuối cùng, ý kiến phê bình đóng góp cho nghiên cứu đánh giá cao 25 THESIS RELATED PUBLICACTIONS Nguyen Thi Mai Huu (2019) Stimulated recall – A practical data collection technique for cognitive studies in language testing Journal of Foreign Languages Studies, 58/2019, 38-50 Nguyen Thi Mai Huu (2020) Application of the socio-cognitive framework in language test development and validation 2020 International graduate research symposium ND 10TH East Asia Chinese teaching forum, Volume 1, 727-735 Phuong Tran, Hoa Nguyen, Trang Dang, Minh Nguyen, Lan Nguyen, Tuan Huynh, Ha Do, Huu Nguyen, Fred Davidson (2015) A validation study on the newly-developed Vietnam standardized English proficiency test 37th Language Testing Research Colloquium, 142 Victoria Clark, Nguyen Thi Mai Huu, Jessica Wu, Jamie Dunlea, Richard West (2016) Test centers and standardized Testing: Challenges, issues and benefits 4th British Council New Directions in English language assessment conference, 19-20 Nathan Carr, Quynh Nguyen, Huu Nguyen, Yen Nguyen, Thao Nguyen (2016) Systematic support for a communicative standardized proficiency test in Vietnam 4th British Council New Directions in English language assessment conference, 26-27 Huu Nguyen (2018) An Investigation into the Cognitive Validity of the Speaking Section of the Vietnam’s Standardized Test of English Proficiency 40th Language Testing Research Colloquium, 114 Huu Nguyen (2019) An investigation into the cognitive processes reflected in the VSTEP speaking scoring rubrics 7th British Council New Directions in English language assessment conference, 22 Barry O’Sullivan, Josep Lo Bianco, Huu Nguyen, Mitsuharu Ota, Yoshinori Watanabe (2019) Language Assesment Policy 7th British Council New Directions in English language assessment conference, 18 26