2.3.1. Quy trình xây dựng bảng hỏi
Từ các chỉ số của từng tiêu chí tiến hành xây dựng các bàng hỏi cho CBQL, GV, HS. Sau khi hỏi xin ý kiến chuyên gia đã hoàn thành được các bảng hỏi 1, 2, 3. Cụ thể: (1) Bảng hỏi dành cho CBQL (Phụ lục 1, trang 79);
(2) Bảng hỏi dành cho GV (Phụ lục 2, trang 80); (3) Bảng hỏi dành cho HS (Phụ lục 3, trang 82).
2.3.2. Chọn mẫu
Trong điều kiện thực tế tại Trường THPT ĐK – HBT có:
- CBQL (4 người) bao gồm 01 hiệu trưởng, 02 hiệu phó và 01 tổ trưởng chuyên môn của bộ môn tiếng Anh.
- GV trực tiếp giảng dạy tiếng Anh khối 11 (13 người): 10 GV chính thức và 03 GV hợp đồng.
- HS khối 11: 592 HS. (Quá trình lấy mẫu toàn bộ chia làm 2 giai đoạn: giai đoạn thử nghiệm gồm 213 HS, giai đoạn chính thức gồm 379 HS)
Tổng mẫu điều tra là 609 người, do đó việc điều tra thu thập số liệu sẽ tiến hành trên toàn bộ mẫu mà không tiến hành quy trình chọn mẫu.
Bảng 2.2. Cơ cấu khách thể nghiên cứu
TT LỚP BAN T.SỐ NAM NỮ GIỎI KHÁ TB YẾU KÉM
SL % SL % SL % SL % SL % SL % 1 11A1 A 41 26 63.4 15 36.6 5 12.2 8 19.5 25 61.0 3 7.3 2 11A2 A 44 32 72.7 12 27.3 2 4.5 20 45.5 19 43.2 3 6.8 3 11A3 A 38 31 81.6 7 18.4 2 5.3 10 26.3 22 57.9 4 10.5 4 11A8 C1 42 25 59.5 17 40.5 11 26.2 20 47.6 11 26.2 0 0.0 5 11A9 C1 45 29 64.4 16 35.6 5 11.1 9 20.0 26 57.8 5 11.1
34 6 11A10 C1 43 26 60.5 17 39.5 1 2.3 8 18.6 18 41.9 16 37.2 7 11A11 C1 40 24 60.0 16 40.0 2 5.0 8 20.0 23 57.5 7 17.5 8 11A12 C1 46 31 67.4 15 32.6 2 4.3 11 23.9 28 60.9 5 10.9 9 11A4 C2 43 4 9.3 39 90.7 17 39.5 24 55.8 2 4.7 0 0.0 10 11A5 C2 42 10 23.8 32 76.2 6 14.3 13 31.0 19 45.2 4 9.5 11 11A6 C2 38 8 21.1 30 78.9 5 13.2 13 34.2 16 42.1 4 10.5 12 11A7 C2 44 8 18.2 36 81.8 5 11.4 17 38.6 15 34.1 7 15.9 13 11A13 C2 44 11 25.0 33 75.0 6 13.6 13 29.5 24 54.5 1 2.3 14 11A14 C2 42 9 21.4 33 78.6 6 14.3 15 35.7 20 47.6 1 2.4 TỔNG 592 274 46.3 318 53.7 75 12.7 189 31.9 268 45.3 61 10.3 2.3.3. Lấy số liệu
- Tiến hành phát phiếu điều ra lần 1 đến đối tượng điều tra trong toàn trường thông qua BGH, GV chủ nhiệm các lớp.
- Thu phiếu khảo sát lần 1, nếu chưa đảm bảo mẫu tối thiểu 80% thì sẽ tiến hành phát phiếu hỏi lần 2 để thu thập số liệu đến khi đạt tỷ lệ cần thiết.
2.3.4. Thời điểm khảo sát
Bảng hỏi dành cho học sinh được phát ra vào các tiết sinh hoạt lớp ngày thứ Hai và thứ Năm, giai đoạn từ 17 đến 24 tháng 5 năm 2012, sau khi hướng dẫn kỹ thuật trả lời.
Đây là thời điểm học sinh đã thi xong kỳ thi cuối năm và đã được biết kết quả thi. Thời điểm này thích hợp cho học sinh nhìn nhận lại cả năm học để có những đánh giá chuẩn xác. Thời gian hoàn thành bảng hỏi trong khoảng 15 phút.
Bảng hỏi dành cho giáo viên được phát vào tiết sinh hoạt tổ: tiết 3, Thứ Hai, 21/5/2012 sau khi nói rõ mục đích và hướng dẫn kỹ thuật ghi phiếu. Thời gian hoàn thành phiếu 15 phút.
Phỏng vấn BGH và tổ trưởng chuyên môn được thực hiện trong khoảng thời gian từ 28 đến 31 tháng 5 năm 2012, theo lịch hẹn của từng thành viên trong BGH và tổ trưởng chuyên môn. Mục đích khảo sát đã được xin ý kiến từ trước, các thành viên trong BGH được hướng dẫn kỹ thuật trả lời trước khi phát phiếu.
2.4. ĐÁNH GIÁ ĐỘ TIN CẬY VÀ ĐỘ HIỆU LỰC CỦA BỘ CÔNG CỤ ĐO LƢỜNG
Độ tin cậy và độ hiệu lực là 2 điều kiện không thể thiếu của bất kỳ hình thức đo lường nào. Độ tin cậy là mức độ ổn định đáng tin cậy của kết quả đo lường. Độ
35
hiệu lực phản ánh mức độ đạt được mục đích đề ra của đo lường. Độ tin cậy và độ hiệu lực của bộ công cụ được đánh giá dựa trên các chỉ số do SPSS và Quest cung cấp.
Độ tin cậy tốt được cho là ở mức > 0.6
Hệ số tương quan của mỗi câu hỏi với toàn bộ các câu được cho là tốt khi > 0.4 Chỉ số độ phân biệt được cho là tốt khi D > 0.2
2.4.1. Giai đoạn điều tra thử nghiệm
2.4.1.1. Số liệu tiến hành điều tra thử nghiệm
Bảng 2.3: Thống kê số lượng HS được điều tra thử nghiệm
TT Lớp Ban Tổng số gia đánh giá Số HS tham Tỉ lệ (%)
1 11A1 A 41 38 92.7% 2 11A4 C2 43 40 93.0% 3 11A5 C2 42 42 100.0% 4 11A8 C1 42 37 88.1% 5 11A9 C1 45 40 88.9% Tổng 213 197 92.5%
Từ kết quả bảng trên cho thấy tổng số HS được tiến hành điều tra thử nghiệm đạt 92.5% như vậy đủ điều kiện để tiến hành điều tra.
2.4.1.2. Phân tích số liệu điều tra
Kết quả phân tích bằng phần mềm SPSS cho thấy hệ số độ tin cậy Cronbach’s Alpha rất cao (r = 0,893). Đồng thời hệ số tương quan của mỗi câu hỏi đối với toàn bộ các câu hỏi còn lại đạt giá trị khá tốt (Tham khảo phụ lục 4, trang 84) Toàn bộ 18/18 câu hỏi có hệ số tương quan đạt giá trị từ 0,410 đến 0,709.
Bảng 2.4. Kết quả phân tích độ tin cậy của bộ câu hỏi trong giai đoạn điều tra thử nghiệm
Câu
Trung bình thang đo nếu loại biến
Phƣơng sai thang đo nếu loại biến
Tƣơng quan biến tổng
Cronbach's Alpha nếu loại biến này MỤC TIÊU: Alpha = 0.592
C1 3.355 0.577 0.433 .(a)
C2 3.467 0.352 0.433 .(a)
36
Câu Trung bình thang đo nếu loại biến
Phƣơng sai thang đo nếu loại biến
Tƣơng quan biến tổng
Cronbach's Alpha nếu loại biến này
C3 11.665 7.316 0.523 0.625
C4 11.670 7.151 0.524 0.621
C5 12.168 7.518 0.469 0.644
C6 12.051 7.273 0.442 0.652
C7 12.345 6.237 0.385 0.705
NỘI DUNG: Alpha = 0.791
C8 12.822 13.841 0.487 0.772 C9 13.497 13.282 0.492 0.771 C10 13.528 11.516 0.594 0.749 C11 12.954 12.554 0.648 0.736 C12 14.223 13.042 0.547 0.759 C13 13.000 13.163 0.508 0.768
KIỂM TRA - ĐÁNH GIÁ: Alpha = 0.820
C14 10.827 9.164 0.559 0.799
C15 10.574 8.797 0.630 0.779
C16 10.376 9.062 0.653 0.773
C17 10.553 8.361 0.706 0.755
C18 10.726 9.292 0.518 0.812
Đồng thời qua kết quả đánh giá độ tin cậy đối với từng cấu trúc ở bảng 2.4 cho thấy:
Thành phần mục tiêu có 02 câu hỏi (C1&C2) đều có hệ số tương quan biến tổng > 0.4 và hệ số độ tin cậy Alpha = 0.592 gần bằng 0.6 và độ tin cậy sẽ bị âm giá trị [.(a)] nếu loại biến, nên cả hai câu hỏi này đều được chấp nhận. Ta thấy các tiêu chí này hoàn toàn phù hợp với thực tế, để bắt đầu tiến trình giảng dạy đòi hỏi người giáo viên cần xác định rõ mục tiêu bài học là gì, từ đó giúp học sinh xây dựng mục tiêu học tập cụ thể tùy theo nhu cầu và sở thích của từng em nhằm phát huy tối đa năng lực của người học (kiến thức, kĩ năng, thái độ).
Thành phần phương pháp có 05 câu hỏi (C3 – C7) trong đó có 04 câu hỏi có hệ số tương quan biến tổng > 0.4 (C3, C4, C5, C6). Duy nhất có câu C7 “Các tiết học có sử dụng giáo cụ trực quan: thiết bị nghe nhìn, tranh ảnh…” có hệ số tương quan biến tổng = 0.385 gần bằng 0.4 nhưng nếu loại biến này thì hệ số Alpha tăng lên không đáng kể 0.705 > 0.697. Vì thế chúng tôi vẫn giữ câu 7 nhưng trong quá
37
trình điều tra chính thức chúng tôi sẽ giải thích rõ hơn cho học sinh hiểu thế nào là giáo cụ trực quan.
Thành phần nội dung có 06 câu hỏi (C8 – C13) đều có hệ số tương quan biến tổng > 0.4, cụ thể thấp nhất là 0.487 và cao nhất là 0.648. Ngoài ra, hệ số Alpha = 0.791. Như vậy các biến này đều được chấp nhận.
Thành phần kiểm tra – đánh giá có 05 câu hỏi (C14 – C18) đều có hệ số tương quan biến tổng > 0.4, cụ thể thấp nhất là 0.518 và cao nhất là 0.706. Ngoài ra, hệ số Alpha = 0.820. Nên các biến này đều được chấp nhận.
Như vậy, qua kết quả phân tích chứng tỏ các câu hỏi có tính đồng hướng, đo đúng cái cần đo, tức là các câu hỏi này đều có chất lượng tốt.
2.4.2. Giai đoạn điều tra chính thức
2.4.2.1. Số liệu tiến hành điều tra
Số lượng phiếu phát ra: 379 phiếu (cho nhóm đối tượng là HS lớp 11); Số lượng phiếu hợp lệ thu về: 357 phiếu.
Bảng 2.5: Thống kê số lượng HS được điều tra chính thức
TT Lớp Ban Tổng số gia đánh giá Số HS tham Tỉ lệ (%)
1 11A2 A 44 44 100.0 2 11A3 A 38 36 94.7 3 11A6 C2 38 38 100.0 4 11A7 C2 44 40 90.9 5 11A13 C2 44 38 86.4 6 11A14 C2 42 40 95.2 7 11A10 C1 43 41 95.3 8 11A11 C1 40 37 92.5 9 11A12 C1 46 43 93.5 Tổng 379 357 94.2
Từ kết quả bảng trên ta thấy tổng số HS được tiến hành điều tra đạt 94.2%, hoàn toàn mang tính đại diện cho toàn bộ mẫu điều tra.
2.4.2.2. Phân tích số liệu điều tra
Trong bảng hỏi sử dụng có 18 câu hỏi thu thập thông tin về đánh giá hoạt động giảng dạy tiếng Anh lớp 11. Các tiêu chí này được thiết kế sử dụng cùng một
38
loại thang đo 5 mức từ 1 đến 5. Nhóm các câu hỏi này là nội dung chính của bảng hỏi nên nếu chúng thỏa mãn các yêu cầu về độ tin cậy và độ hiệu lực của mô hình Rasch thì kết quả khảo sát đánh giá hoạt động giảng dạy tiếng Anh của giáo viên tại trường THPT ĐK - HBT là có thể tin cậy được và phù hợp với đối tượng khảo sát.
a) Kết quả phân tích độ tin cậy dựa trên mô hình lý thuyết tương quan trong bằng cách sử dụng phần mềm SPSS
Kết quả phân tích độ tin cậy của bộ câu hỏi dựa trên độ thống nhất nội tại.
Kết quả phân tích cho thấy hệ số độ tin cậy Cronbach’s Alpha khá cao (r = 0,869), có thể xem thang đo lường là tốt. Đồng thời hệ số tương quan của mỗi câu hỏi đối với toàn bộ các câu hỏi còn lại đạt giá trị khá tốt: chỉ có 03/18 câu có hệ số tương quan biến tổng đạt giá trị từ 0,342 đến 0,389 đó là các câu 2, 3, 8 nhưng nếu loại 03 câu này thì hệ số tương quan giảm nên vẫn giữ các câu hỏi này và tiếp tục kiểm tra qua mô hình Rasch. Còn lại 14/18 câu có hệ số tương quan biến tổng lớn hơn 0.4. Duy nhất có 01/18 câu (câu 14) có hệ số tương quan âm giá trị - 0.074, đồng thời nếu loại bỏ câu này thì hệ số tương quan tăng lên nên loại biến này (tham khảo phụ lục 5, trang 85).
Đồng thời qua kết quả đánh giá độ tin cậy đối với từng cấu trúc ở bảng 2.6 cho thấy:
Bảng 2.6. Kết quả phân tích độ tin cậy của bộ câu hỏi trong giai đoạn điều tra chính thức
Câu thang đo nếu Trung bình loại biến
Phƣơng sai thang đo nếu
loại biến
Tƣơng quan biến tổng
Cronbach's Alpha nếu loại biến này MỤC TIÊU: Alpha = 0.403 c1 3.459 0.446 0.263 .(a) c2 3.050 0.795 0.263 .(a) PHƢƠNG PHÁP: Alpha = 0.681 c3 12.353 5.594 0.429 0.635 c4 12.317 5.352 0.449 0.625 c5 12.471 5.109 0.487 0.608 c6 12.759 5.290 0.436 0.630 c7 12.868 5.092 0.388 0.657
39
Câu thang đo nếu Trung bình loại biến
Phƣơng sai thang đo nếu
loại biến
Tƣơng quan biến tổng
Cronbach's Alpha nếu loại biến này
c8 13.137 12.860 0.385 0.767 c9 12.283 14.018 0.472 0.736 c10 13.059 13.263 0.504 0.727 c11 12.882 12.031 0.537 0.718 c12 12.347 12.795 0.605 0.702 c13 13.602 12.909 0.572 0.710
KIỂM TRA - ĐÁNH GIÁ: Alpha = 0.695
c14 11.109 9.305 -0.077 0.807
c15 12.594 5.798 0.564 0.592
c16 12.381 5.911 0.590 0.582
c17 12.162 6.243 0.582 0.591
c18 12.291 5.477 0.625 0.560
Thành phần mục tiêu có 02 câu hỏi (C1&C2) đều có hệ số tương quan biến tổng < 0.4 và hệ số độ tin cậy Alpha = 0.403 << 0.6. Nhưng nếu loại biến này thì hệ số Alpha âm. Như vậy có khả năng phần đông HS chưa hiểu hoặc có thể chưa hình dung như thế nào gọi là mục tiêu bài học. Ta thấy các tiêu chí này hoàn toàn phù hợp với thực tế, khi bắt đầu vào học bài mới có thể giáo viên chưa nêu rõ cho học sinh mục tiêu bài học là gì mà tất cả những nội dung này là mục tiêu mà giáo viên cần hướng tới để giúp học sinh nắm bắt được kiến thức của bài học cũng như rèn luyện một số kĩ năng, thái độ qua mỗi tiết học.
Thành phần phương pháp có 05 câu hỏi (C3 – C7) có hệ số độ tin cậy Alpha = 0.681, trong đó có 04 câu hỏi có hệ số tương quan biến tổng > 0.4 (C3, C4, C5, C6). Duy nhất có câu C7 “Các tiết học có sử dụng giáo cụ trực quan: thiết bị nghe nhìn, tranh ảnh…” có hệ số tương quan biến tổng = 0.388 gần bằng 0.4 nhưng nếu loại biến này thì hệ số Alpha tăng lên không đáng kể 0.705 > 0.657. Mặc dù đã giải thích rõ cho học sinh trong quá trình điều tra chính thức về giáo cụ trực quan nhưng hệ số tương quan biến tổng cũng khá thấp. Điều đó có khả năng giáo viên chưa chú trọng sử dụng giáo cụ trực quan trong quá trình giảng dạy.
Thành phần nội dung có 06 câu hỏi (C8 – C13) đều có hệ số tương quan biến tổng > 0.4, cụ thể thấp nhất là 0.385 và cao nhất là 0.605. Ngoài ra, hệ số Alpha = 0.761. Như vậy các biến này đều được chấp nhận.
40
Thành phần kiểm tra – đánh giá có 04/05 câu hỏi (C15 – C18) có hệ số tương quan biến tổng > 0.4, cụ thể thấp nhất là 0.564 và cao nhất là 0.625. Ngoài ra, hệ số Alpha = 0.695. Như vậy các biến này đều được chấp nhận. Riêng đối với câu 14 “Điểm mạnh, yếu của học sinh trong từng bài kiểm tra được chỉ rõ” có hệ số tương quan âm bị loại khỏi cấu trúc này.
Như vậy, qua kết quả phân tích chứng tỏ 17/18 câu hỏi có tính đồng hướng,
đo đúng cái cần đo, tức là các câu hỏi này đều có chất lượng tốt.
b)Kết quả kiểm tra theo mô hình Rasch bằng cách sử dụng phần mềm Quest
Kết quả ước tính phù hợp thống kê
PHIEU KHAO SAT CHINH THUC TIENG ANH Item Estimates (Thresholds)
16/ 8/12 11:11
all on ha (N = 357 L = 18 Probability Level= .50) ---
Summary of item Estimates ========================= Mean .00 SD .65 SD (adjusted) .58 Reliability of estimate .78 Fit Statistics ===============
Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.00 SD .22 SD .23 Infit t Outfit t Mean -.12 Mean -.10 SD 2.80 SD 2.31
0 items with zero scores 0 items with perfect scores
PHIEU KHAO SAT CHINH THUC TIENG ANH ---
Case Estimates 16/ 8/12 11:11
all on ha (N = 357 L = 18 Probability Level= .50) ---