8. Phạm vi nghiên cứu
2.6.1. Bài thi đánh giá năng lực nghe tiếng Anh
a) Giới thiệu test TOEIC
Bài thi TOEIC là một bài thi chuẩn quốc tế, đánh giá các kỹ năng tiếng Anh giao tiếp của người dùng, đặc biệt là khả năng nghe và đọc. Các câu hỏi của bài thi TOEIC được lấy từ nhiều bối cảnh và tình huống thực – từ việc đi ăn tiệm, giải trí đến các vấn đề liên quan đến du lịch và nhà ở. Các ngữ cảnh cụ thể: Phát triển Công ty; Tài chính và Ngân sách; Kinh doanh nói chung; Y tế; Nhà ở/Tài sản Công ty; Sản xuất; Văn phòng; Nhân sự/Nguồn nhân lực; Mua sắm; Các lĩnh vực kỹ thuật; Du lịch… Đây là các lĩnh vực mà khi ra trường làm việc sinh viên sẽ được gặp và trải nghiệm, do vậy, thiết kế bài thi đánh giá năng lực cho sinh viên không chuyên Anh theo dạng thức TOEIC là phù hợp nhất.
Đối tượng của bài thi TOEIC là sinh viên của các trường cao đẳng và đại học phải đạt được mức điểm quy định khi ra trường; hoặc những những ứng cử viên khi xin việc ở các công ty- đối tượng mà tiếng Anh không phải tiếng mẹ đẻ. Đây là
56
cách để xem liệu họ có được các kỹ năng tiếng Anh cần thiết để làm việc trong những môi trường như vậy hay không.
Lý do thi TOEIC: TOEIC là một công cụ đánh giá công bằng và khách quan về trình độ sử dụng tiếng Anh giao tiếp, bài thi TOEIC sẽ giúp mọi người có thể: Kiểm tra được trình độ tiếng Anh hiện tại của mình
Hội đủ điều kiện để nắm giữ một vị trí mới và/hoặc được thăng chức trong một tổ chức
Là điều kiện xét tốt nghiệp của một số trường cao đẳng, đại học Làm nổi bật được hồ sơ việc làm
Đánh giá được sự tiến bộ về tiếng Anh của mình Đặt ra các mục tiêu học tập
Đề nghị lãnh đạo tạo điều kiện cho mình nâng cao thêm kỹ năng tiếng Anh Các phần thi nghe kiểm tra từng nội dung, kiến thức như sau:
Phần 1: Câu hỏi hình ảnh
Trong phần đầu tiên của phần thi nghe TOEIC, thí sinh xem những bức ảnh và sau đó sẽ được yêu cầu chọn một câu trả lời mô tả đúng nhất về bức hình. Trong phần này thí sinh phải đọc cẩn thận cả bốn lựa chọn, trong đó ba phương án nhiễu/ không chính xác có thể có: Từ và những âm giống nhưng nội dung lại khác; Những từ đúng nhưng được sử dụng không chính xác; Từ đúng nhưng được sử dụng một cách khó hiểu; Những câu trả lời chỉ đúng một phần; Những từ đề cập đến ngữ cảnh nhưng không liên quan đến bức ảnh; Những từ có liên quan nhưng không đúng với bức ảnh
Phần 2: Hỏi và trả lời
Trong phần thứ hai của bài thi TOEIC listening, sẽ kiểm tra kiến thức về hầu hết các lĩnh vực và thí sinh chọn câu trả lời phù hợp. Câu hỏi có thể khiến thí sinh nhầm lẫn giữa: Những từ có âm giống nhau nhưng nghĩa khác nhau; Wh- questions: “who what, when, where, why, what” – cần một câu trả lời thật logic; Câu hỏi đuôi; Yes / no questions có thể không cần câu trả lời yes/no trực tiếp
57
Type 1: Information questions--What: cái gì xảy ra, vật, điều gì Type 2: Information questions--Who: ai đó, ai đang làm gì đó... Type 3: Information questions--When: thời gian của sự kiện nào đó Type 4: Information questions--Where: Nơi chốn
Type 5: Information questions--Why: Lý do
Type 6: Information questions--How: Cách thức, thực hiện một việc như thế nào... Type 7: Yes/No Questions: Đôi khi câu trả lời không trực tiếp là yes/no mà có thể kèm theo giải thích hay cách trả lời gián tiếp
Type 8: Alternative Questions: Câu hỏi lựa chọn: cái này hay cái kia Type 9: Indirect Questions: Câu hỏi gián tiếp
Type 10: Tag Questions: Câu hỏi đuôi
Type 11: Negative Questions: Câu hỏi phủ định
Phần 3: Hội thoại ngắn
Trong phần thứ ba, thí sinh sẽ được nghe một đoạn hội thoại ngắn và sau đó sẽ được hỏi một câu hỏi về những gì nghe được, thí sinh cần sử dụng trí nhớ tạm thời của mình thật tốt. Điều quan trọng nhất trong phần này là phải cảnh giác với: Những từ có âm giống nhau ; Những từ không chính xác; Trật tự từ dễ gây hiều nhầm ; Những từ thay đổi nghĩa ; Những từ phủ định (hardly, not, v.v.); Những từ liên quan đến thời gian (always, never, v.v.)
Phần 4: Bài nói ngắn
Trong phần thứ tư của phần nghe, thí sinh sẽ được nghe một bài độc thoại và được hỏi về đoạn độc thoại đó. Thí sinh nên trung hơn đến các chi tiết và nội dung của bài.
Những kỹ năng nghe được kiểm tra trong bài thi TOEIC: - Năng lực hiểu từ vựng trong ngữ cảnh
- Hiểu thành ngữ tiếng Anh trong ngữ cảnh - Hiểu cách sử dụng ngữ pháp
b. Công cụ đo năng lực nghe tiếng Anh của sinh viên không chuyên Anh Trường Đại học Phương Đông
58
Với mục đích đánh giá trình độ nghe tiếng Anh của sinh viên khối ngành không chuyên, tác giả thiết kế một bài Test gồm 22 câu hỏi được tham khảo dựa trên bài thi TOEIC. Do hạn chế về mặt thời gian và phạm vi của đề tài nghiên cứu, bài test được giới hạn lại trong vòng 22 câu, chia làm 4 phần đúng như cấu trúc bài thi TOEIC đã được chuẩn hóa để sinh viên quen với cách thi và làm bài thi của TOEIC cũng như các kỹ năng cần đạt được khi làm bài thi NGHE.
Câu hỏi đặt ra rằng tại sao tác giả không chọn bài kiểm tra tiếng Anh theo chuẩn quốc tế như IELTS, TOEFL, mà lại tham khảo bài thi TOEIC? Lý do thứ nhất, sinh viên không chuyên Anh ở Việt Nam cũng như các nước mà tiếng Anh không phải ngoại ngữ chính, mục đích học tiếng Anh là để giao tiếp, hỗ trợ trong công việc và cuộc sống. Thứ hai, hầu hết các trường không chuyên ngữ đều áp dụng chuẩn đầu ra tiếng Anh với sinh viên không chuyên theo bằng TOEIC. Thứ ba, các công ty tuyển dụng trong nước và các nước trong khu vực Châu Á đều yêu cầu nhân lực phải có trình độ tiếng Anh giao tiếp theo dạng TOEIC.
Thiết kế trọng số bài thi: Dựa trên yêu cầu đầu ra về ngoại ngữ, và dựa trên
giáo trình đang được sử dụng tại Trường Đại học Phương Đông cũng như trình độ nghe tiếng Anh của sinh viên không chuyên Anh, tác giả dự định sử dụng 22 câu hỏi trong bài thi, thi trong vòng 30 phút. 22 câu hỏi thi thuộc 4 phần thi như bài TOEIC quốc tế, thuộc các nội dung, kiến thức sau:
Phần 1: (5 câu) Pictures description: Kiểm tra vốn từ vựng, mẫu câu, ngữ cảnh của phát ngôn
Phần 2: (5 câu) Question and responses: Kiểm tra mức độ phản xạ nhanh với các mẫu câu/ câu hỏi đưa ra
Phần 3: (6 câu) Short conversations: Phản ứng của người nghe trong những tình huống cụ thể; xác định trọng tâm câu hỏi
Phần 4: (6 câu) Short talks: Kỹ năng xác định trọng tâm câu hỏi, và nắm bắt ý chính của bài nói.
59
Bảng 2.3. Trọng số bài kiểm tra
Các câu hỏi cụ thể ở các cấp độ như sau: - Cấp độ A1: Câu 1, 2, 3, 6, 12, 17, 21 - Cấp độ A2: Câu 4, 5, 7, 8, 9, 10, 22 - Cấp độ B1: Câu 14, 19, 20
- Cấp độ B2: 11, 13, 15, 16, 18
Câu Dạng câu hỏi Kiểm tra cấp độ Kiểm tra kỹ năng Phần 1: Picture description (3m)
1 Action question A1.1 Nhận biết từ vựng
2 Action question A1.2 Phân biệt từ đồng âm
3 Location question A1.3 Cách sử dụng từ ngữ trong ngữ cảnh
4 Action question A2.3
5 Location question A2.4
Phần 2: Questions and responses (3m)
6 Statement A1.2 Nhận dạng câu hỏi
7 WH question A2.2
8 Yes/ No question A2.3
9 Yes/ No question A2.2
10 Yes/ No question A2.2
Phần 3: Short conversations (3-4m)
Hội thoại 1
11 What question B2.1 Phân biệt âm
12 What question A1.1 Trật tự từ (cấu trúc câu)
13 Why question B2.4 Loại từ: tính từ, trạng từ, từ phủ định… Hội thoại 2 14 Why question B1.1 15 When question B2.1 16 When question B2.1 Phần 4: Short talks (6m) Đoạn văn 1
17 Fact and detail question A1.1 Năng lực hiểu từ vựng trong ngữ cảnh
18 Cause and effect question B2.4 Hiểu thành ngữ tiếng Anh trong ngữ cảnh
19 Fact and detail question B1.1 Hiểu cách sử dụng ngữ pháp
Đoạn văn 2
20 Fact and detail question B1.4
21 Cause and effect question A1.2
60
So sánh với Khung tham chiếu Châu Âu, các câu hỏi trong bài Test kiểm tra từng cấp độ kỹ năng sau:
Lưu ý: Tác giả khi thiết kế đề thi chỉ giới hạn đo năng lực của sinh viên Trường Đại học Phương Đông (trình độ cử nhân) ở mức A1, A2, B1, B2 nên không có các câu kiểm tra cấp độ C1, C2.
Bảng 2.4. Đối chiếu từng câu hỏi thi với từng cấp độ năng lực theo khung tham chiếu Châu Âu
Test Cấp độ A1 Cấp độ A2 Cấp độ B1 Cấp độ B2
A1.1 A1.2 A1.3 A2.1 A2.2 A2.3 A2.4 B1.1 B1.2 B1.3 B1.4 B2.1 B2.2 B2.3 B2.4 B2.5 B2.6
Picture description x x x x X Questions and responses x x x Short conversations x x x x Short talks x x x x x x
61
Sau khi được thiết kế cho phù hợp với đối tượng sinh viên không chuyên Trường Đại học Phương Đông, bài thi được đưa vào thử nghiệm với 53 sinh viên Trường Đại học Phương Đông thuộc các khoa: điện tử viễn thông và công nghệ thông tin. Kết quả thu được từ bài làm của sinh viên được nhập vào phần mềm spss và tiến hành phân tích trên phần mềm spss và phần mềm Quest, Conquest.
c) Đánh giá sự đáp ứng của bài thi (công cụ đo năng lực) với chuẩn đánh giá năng lực nghe tiếng Anh của sinh viên
Bộ công cụ sau khi được nghiên cứu dựa trên dạng thức thi, nội dung học tập, kiến thức và kỹ năng cần có về mảng Tiếng Anh giao tiếp, sẽ được đưa vào thử nghiệm lần 1 nhằm đánh giá độ tin cậy, độ giá trị, độ phân biệt và một số giá trị khác sao cho phù hợp với mô hình Rasch và khách thể nghiên cứu. Sau khi được điều chỉnh, bộ công cụ được sử dụng để đo lượng năng lực của sinh viên trên diện rộng.
* Item estimates
Item fit
Tất cả các câu hỏi trong bài Test đều phù hợp với mô hình Rasch với các giá trị Infit MNSQ (Bình phương giá trị trung bình) nằm trong khoảng 0,77- 1,30, thể hiện trong bảng 2.5 Câu INFIT MNSQ Câu INFIT MNSQ Câu INFIT MNSQ 1 0,90 9 0,90 17 0,82 2 0,97 10 1,00 18 0,91 3 1,00 11 0,95 19 1,06 4 1,01 12 1,11 20 0,91 5 0,96 13 1,03 21 0,83 6 1,18 14 1,02 22 0,90 7 1,01 15 1,10 8 1,05 16 1,31
62 Tóm tắt số liệu về câu hỏi
=========================
Giá trị trung bình 0,00 Độ lệch chuẩn 0,94 Độ lệch chuẩn (điều chỉnh) 0,88 Độ tin cậy đo được 0,87
Sự phù hợp của số liệu thống kê =============== Bình phương trung bình trong khoảng phù hợp Bình phương trung bình ngoài khoảng phù hợp Mean 0,99 Mean 1,03 SD 0,16 SD 0,33
Khi dữ liệu phù hợp với mô hình thì:
Mean phải bằng hoặc gần 0,00 SD phải bằng hoặc gần 1,00
Mean phải bằng hoặc gần 1,00 SD phải bằng hoặc gần 0,00
Bảng 2.5.2. Sự phù hợp của bình phương giá trị trung bình (thử nghiệm)
Dựa vào các thông số trên, các câu hỏi trong bài Test chưa thực sự có mối tương quan chặt chẽ, logic; tuy nhiên câu hỏi số 16 có giá trị vượt ra ngoài khoảng cho phép nhưng vẫn nằm trong khoảng chấp nhận được. Kết luận tạm thời là bài Test này có thể được dùng để đánh giá trình độ nghe tiếng Anh của sinh viên.
Item estimates:
Kiểm tra kết quả phân tích trong file toeic.itm ta thu được đặc điểm từng câu hỏi: giá trị từng phương án nhiễu, độ khó chi tiết của câu, tỷ lệ phần trăm người chọn từng phương án. Dựa vào kết quả này, tác giả phân tích đặc điểm từng câu hỏi, và thấy rằng không có câu hỏi nào quá khó với sinh viên, và thấy rằng các phương án nhiễu chất lượng. Xuất hiện câu số 2 có phương án nhiễu chưa hiệu quả, tuy nhiên phương án này cần có để phân loại thí sinh, ví dụ:
Câu hỏi số 2 Bình phương trung bình trong khoảng phù hợp = 0,94 Độ phân biệt = 0,22 Phương án A B C* D Không xác định Số lượng 2 3 48 0 0 Phần trăm(%) 3,8 5,7 90,6 0,0 0,0 Độ tương quan -0,41 0,06 0,22 NA NA Giá trị p 0,001 0,325 0,059 NA NA GT Trung bình -2,16 0,77 0,47 NA NA Bước nhãn 1 Ngưỡng -2,11 Sai số ,51
63
Bảng 2.6. Các giá trị đo được của câu hỏi số 2
* Độ tin cậy
Độ tin cậy riêng (Separation Reliability) = 0,945
Kiểm định chi bình phương của cân bằng tham số (Chi-square test of parameter equality) = 336,55, df = 21, Sig Level = 0,000
Với độ tin cậy 0,945 bài Test có lỗi đo lường nhỏ, độ tin cậy cao, đủ điều kiện được dùng làm công cụ đánh giá năng lực của thí sinh
* Độ phân biệt của bài Test
Câu Độ phân biệt Câu Độ phân biệt Câu Độ phân biệt
C1 0,54 C9 0,56 C17 0,64 C1 0,22 C10 0,32 C18 0,56 C3 0,41 C11 0,49 C19 0,40 C4 0,43 C12 0,27 C20 0,50 C5 0,46 C13 0,39 C21 0,61 C6 0,21 C14 0,46 C22 0,54 C7 0,40 C15 0,30 C8 0,39 C16 0,07
Bảng 2.7. Độ phân biệt của các câu hỏi thi (thử nghiệm)
Với lý thuyết khảo thí hiện đại, độ phân biệt tốt nhất của câu hỏi nên nằm trong khoảng 0,2- 0,75. Theo đó, đề thi này có câu số 16 có độ phân biệt thấp cộng thêm giá trị phù hợp với mô hình Rasch nằm ngoài khoảng cho phép (Infit MNSQ= 1,31), câu này có thể thay thế câu hỏi khác để bài Test có giá trị hơn.
Phân tích câu hỏi số 16:
Nội dung câu hỏi:
When can her friend study? (A)On Tuesday
(B)On Thursday (C)On Friday (D)On Wednesday
64 Kết quả tỷ lệ chọn như sau:
Câu hỏi số 16 Bình phương trung bình trong khoảng phù hợp = 1,43 Độ phân biệt = 0,07 Phương án A B C* D Không xác định Số lượng 27 12 7 5 2 Phần trăm(%) 50,9 22,6 13,2 9,4 3,8 Độ tương quan 0,07 -0,19 0,10 0,13 -0,16 Giá trị p 0,307 0,091 0,235 0,178 0,131 GT Trung bình 0,41 0,03 0,76 0,86 -0,31 Bước nhãn 1 Ngưỡng 0,42 Sai số 0,51
Bảng 2.8. Các giá trị đo được của câu hỏi số 16
Có xấp xỉ 51% sinh viên trả lời đúng câu hỏi này, câu hỏi này nằm trong chuỗi các câu hỏi WH-questions, và đều hỏi về thời gian, do đó không phù hợp với cấu trúc câu hỏi. Xét về mặt chuyên môn, đây là câu hỏi khá hay để nhận dạng từ mới, cũng như từ vựng trong ngữ cảnh câu, tác giả đề xuất điều chỉnh câu hỏi này theo như gợi ý trong bài nói bằng cách thêm từ “only”để sinh viên dễ nhận dạng
hơn. Câu 16 sau khi chỉnh sửa như sau:
When can her friend only study? (A)On Tuesday (B)On Thursday (C)On Friday (D) On Wednesday
* Độ giá trị và độ thống nhất
Dựa trên phân tích bằng phần mềm SPSS với chỉ số tin cậy Cronbach Alpha, nhóm báo cáo đã thu được kết quả về độ thống nhất của công cụ đo (cụ thể là bài trắc nghiệm gồm 22 câu hỏi) như sau:
Độ tin cậy thống kê
Giá trị Cronbach's Alpha
Giá trị Cronbach's Alpha dựa trên các câu hỏi chuẩn hóa
Số lượng câu hỏi
0,751 0,701 22
65
Nhận xét: Với giá trị Cronbach Alpha 0,751 bài Test có giá trị tốt, đủ điều kiện được dùng làm công cụ đo lường năng lực thí sinh.
Thống kê các câu hỏi
Câu hỏi
GTTB nếu bỏ đi câu hỏi
Phương sai TB nếu bỏ đi câu hỏi
Tương quan của câu hỏi
Bình phương tương quan
Độ tin cậy Cronbach's Alpha
nếu bỏ đi câu hỏi
C1 54,87 151,809 0,121 0,515 0,751 C2 55,60 153,013 0,146 0,461 0,751 C3 56,32 146,530 0,254 0,718 0,745 C4 56,11 136,179 0,352 0,737 0,739