Chương 3 KẾT QUẢ NGHIÊN CỨU VÀ THỬ NGHIỆM BỘ TIÊU CHÍ ĐÁNH GIÁ CHUẨN ĐẦU RA NGÀNH GIÁO DỤC MẦM NON
3.1 KẾT QUẢ NGHIÊN CỨU
3.1.1 Phân tích độ tin cậy và mức độ phù hợp của công cụ đo
* Độ tin cậy của phiếu khảo sát thông qua hệ số Alpha:
Yêu cầu quan trọng nhất của một bộ công cụ đo lường trong giáo dục là phép đo ấy đo được cái cần đo. Nói cách khác, phép đo ấy cần phải đạt được mục tiêu đề ra. Có thể đo độ tin cậy của bộ công cụ khảo sát bằng nhiều phương pháp khác nhau. Trong bài này, tác giả sử dụng hệ số Cronbach's Alpha của SPSS và phần mềm QUEST. Hệ số Cronbach's Alpha là một phép kiểm định thống kê về mức độ chặt chẽ, các mục hỏi trong thang đo tương quan với nhau. Công thức của hệ số Cronbach's Alpha là:
α = Np/[1 + p(N-1)]
p: Hệ số tương quan trung bình giữa các mục hỏi N: Số mục hỏi
Để hệ số α lớn thì các mục hỏi phải đi liền nhau một cách mạch lạc và đo lường cùng một vấn đề.
Độ tin cậy của các phiếu khảo sát chính thức được thể hiện qua bảng sau:
Bảng 3.1: Độ tin cậy của phiếu khảo sát (lần 1)
Các nhóm trả lời Hệ số Cronbach's Alpha
Giảng viên, cán bộ quản lí 0.930
Sinh viên (SVNC và SVTN) 0.897
Người sử dụng lao động 0.900
Toàn bộ thang đo 0.920
Nhìn vào bảng 3.1, ta thấy hệ số tương quan Cronbach's Alpha của phiếu khảo sát 3 nhóm trả lời đều có độ tin cậy cao và có sự chênh lệnh giữa các nhóm.
56
Trong 3 nhóm, hệ số Cronbach's Alpha của nhóm SV bao gồm SVNC và SVTN đạt 0.897, thấp hơn của 2 nhóm còn lại. Hệ số Cronbach's Alpha cao nhất là của nhóm GV, CBQL bằng 0.930, cao hơn Cronbach's Alpha của toàn thang đo. Cronbach's Alpha toàn thang đo = 0.920. Điều đó cho thấy, đây là một bảng hỏi tốt, được chấp nhận (>0.6) và có thể sử dụng các tiêu chí này với 5 mức đo để đánh giá CĐR.
Độ tin cậy của trắc nghiệm còn được đánh giá bằng phương pháp kiểm tra độ tin cậy (sự phù hợp) của từng câu. Mục đích là tìm ra những câu không đóng góp vào độ tin cậy của thang đo để điều chỉnh hoặc loại bỏ. Bảng phân tích Cronbach's Alpha cho kết quả như sau:
Bảng 3.2: Hệ số tin cậy của từng Item trong Cronbach's Alpha (lần 1) Item-Total Statistics
Scale Mean if Item Deleted Điểm trung bình của thang đo nếu Item bị
xóa
Scale Variance if Item Deleted Phương sai của thang
đo nếu Item bị xóa
Corrected Item- Total Correlation
Hệ số tương quan của Item so với biến
tổng
Cronbach's Alpha if Item
Deleted Hệ số Alpha nếu
Item bị xóa
Item1 247.35 330.577 .218 .921
Item2 246.95 329.249 .353 .919
Item3 247.36 330.829 .234 .921
Item4 247.00 326.539 .423 .919
Item5 246.97 329.049 .364 .919
Item6 246.86 329.990 .374 .919
Item7 246.93 326.547 .476 .919
Item8 246.84 333.280 .226 .920
Item9 247.42 329.791 .269 .920
Item10 247.33 330.211 .310 .920
Item11 246.91 329.204 .370 .919
Item12 246.87 329.150 .394 .919
Item13 247.09 328.820 .390 .919
Item14 247.26 328.051 .433 .919
Item15 247.13 330.325 .365 .919
Item16 247.10 327.716 .386 .919
Item17 246.89 327.057 .460 .919
Item18 247.55 327.038 .448 .919
Item19 247.16 328.805 .400 .919
Item20 246.96 327.792 .454 .919
57
Item21 247.32 327.053 .500 .918
Item22 247.17 326.796 .484 .919
Item23 247.23 326.421 .448 .919
Item24 247.35 325.698 .483 .918
Item25 247.07 324.150 .497 .918
Item26 247.05 325.867 .503 .918
Item27 247.01 329.760 .052 .933
Item28 247.10 327.363 .431 .919
Item29 247.00 329.298 .397 .919
Item30 247.26 325.068 .478 .918
Item31 247.30 325.775 .462 .919
Item32 247.50 327.527 .422 .919
Item33 247.20 325.716 .521 .918
Item34 247.06 328.215 .450 .919
Item35 247.07 326.724 .491 .918
Item36 247.17 324.483 .549 .918
Item37 247.25 325.768 .498 .918
Item38 247.47 323.001 .542 .918
Item39 247.31 326.191 .458 .919
Item40 247.50 326.323 .473 .919
Item41 247.43 327.600 .460 .919
Item42 247.12 328.659 .404 .919
Item43 247.41 329.575 .382 .919
Item44 247.54 328.409 .382 .919
Item45 247.61 326.824 .443 .919
Item46 247.75 327.408 .347 .920
Item47 247.45 328.977 .318 .920
Item48 247.66 325.876 .423 .919
Item49 247.28 326.345 .480 .919
Item50 247.32 327.914 .430 .919
Item51 247.12 329.232 .415 .919
Item52 247.21 325.138 .508 .918
Item53 247.15 325.998 .523 .918
Item54 247.09 326.422 .510 .918
Item55 247.10 328.670 .422 .919
Item56 246.80 331.627 .357 .919
Item57 247.02 329.660 .404 .919
Item58 247.04 328.390 .446 .919
Item59 247.13 330.355 .395 .919
Item60 247.16 329.485 .451 .919
58
Nhìn vào bảng 3.2 ta thấy: Hệ số tương quan của câu so với biến tổng (Corrected Item-Total Correlation) hầu hết đều > 0.3. Riêng các câu 1, 3, 8, 9, 27 có tương quan yếu (<0.3). Điều đó cho thấy, những câu này có độ tin cậy thấp, cần được điều chỉnh hoặc loại bỏ. Các biến quan sát có hệ số Alpha nếu bỏ đi mục hỏi (Alpha if Item Deleted) phần lớn đều nhỏ hơn hệ số Cronbach’s Alpha (0.920), ngoại trừ câu 1, 3, 27.
Để kiểm tra độ tin cậy của phiếu khảo sát trước khi quyết định bỏ các câu không đạt tiêu chuẩn trên, chúng tôi sử dụng phần mềm QUEST.
* Độ tin cậy của phiếu khảo sát thông qua QUEST:
Biểu đồ 3.1: Mức độ phù hợp của từng Item theo mô hình Rasch (lần 1)
TIEU CHI DANH GIA- HUONG ---
ItemFit 28/ 7/14 14:36
all on tcdg (N = 363 L = 60 Probability Level= .50) ---
INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30
---+---+---+---+---+---+---+---+---+---+--- 1 item 1 . | . * 2 item 2 . | * . 3 item 3 . | . * 4 item 4 . |* . 5 item 5 . | * . 6 item 6 . *| . 7 item 7 . * | . 8 item 8 . | * . 9 item 9 . | .*
10 item 10 . | * . 11 item 11 . | * . 12 item 12 . | * . 13 item 13 . | * . 14 item 14 . * | . 15 item 15 . |* . 16 item 16 . | * . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . * . 20 item 20 . * | . 21 item 21 . * | . 22 item 22 . * | . 23 item 23 . * | . 24 item 24 . * | . 25 item 25 . * | . 26 item 26 . * | . 27 item 27 . * | . 28 item 28 . *| . 29 item 29 . *| . 30 item 30 . * | . 31 item 31 . * | . 32 item 32 . | * . 33 item 33 . * | . 34 item 34 . * | . 35 item 35 . * | . 36 item 36 . * | . 37 item 37 . * | . 38 item 38 . * | . 39 item 39 . * | . 40 item 40 . * | . 41 item 41 . * | . 42 item 42 . * . 43 item 43 . |* . 44 item 44 . | * . 45 item 45 . * | . 46 item 46 . | * . 47 item 47 . | * . 48 item 48 . | * . 49 item 49 . * | . 50 item 50 . * | . 51 item 51 . * | . 52 item 52 . * | . 53 item 53 . * | . 54 item 54 . * | . 55 item 55 . * | . 56 item 56 . *| . 57 item 57 . * | . 58 item 58 . * | . 59 item 59 . * | . 60 item 60 . * | .
========================================================================================================
59
Kết quả phân tích biểu đồ 3.1 (phụ lục 3.1) cho thấy 3 câu lệch ra khỏi khoảng đồng bộ cho phép từ 0.77 đến 1.30, đó là các câu: 1, 3, 9. Ba câu này cũng chính là 3 câu làm giảm độ tin cậy của thang đo khi phân tích bằng phần mềm SPSS. Nếu so với kết quả của QUEST, sử dụng SPSS để tính độ tin cậy (sự phù hợp) của từng câu cụ thể hơn, do đó ngoài 3 câu 1, 3, 9 cần bỏ, SPSS còn đưa ra được câu 8, 27 có hệ số tương quan thấp.
Nội dung của 5 câu:
Câu 1: Có hiểu biết cơ bản về khoa học Mác- Lê Nin, tư tưởng Hồ Chí Minh.
Câu 3: Có kiến thức cơ bản về ngoại ngữ (trình độ A) và công nghệ thông tin phục vụ cho học tập và chăm sóc, giáo dục trẻ mầm non.
Câu 8: Hiểu biết về đặc điểm tâm, sinh lí trẻ.
Câu 9: Phân biệt được đặc điểm tâm lí, sinh lí đối với trẻ mầm non khuyết tật, mắc một số bệnh lí.
Câu 27: Nắm được kiến thức cơ bản về âm nhạc như: Hát, vận động theo nhạc,…
Như vậy, để tăng thêm độ tin cậy cho phiếu khảo sát, chúng ta cần loại bỏ các câu: 1, 3, 8, 9, 27.
Loại bỏ 5 câu không đáp ứng điều kiện của SPSS, QUEST và chạy lại QUEST, ta thu được kết quả sau:
60
Biểu đồ 3.2: Đánh giá lại mức độ phù hợp của từng Item theo mô hình Rasch (lần 2)
TIEU CHI DANH GIA- HUONG
---
Item Fit 29/ 7/14 23: 2
all on tcdg (N = 363 L = 55 Probability Level= .50)
---
INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30
---+---+---+---+---+---+---+---+---+---+---+--- 1 item 1 . | * . 2 item 2 . | * . 3 item 3 . | * . 4 item 4 . | * . 5 item 5 . * | . 6 item 6 . | * . 7 item 7 . | * . 8 item 8 . | * . 9 item 9 . | * . 10 item 10 . * | . 11 item 11 . | * . 12 item 12 . | * . 13 item 13 . * | . 14 item 14 . * . 15 item 15 . | * . 16 item 16 . * | . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . |* . 20 item 20 . * | . 21 item 21 . * | . 22 item 22 . * | . 23 item 23 . | * . 24 item 24 . | * . 25 item 25 . * | . 26 item 26 . * . 27 item 27 . | * . 28 item 28 . * | . 29 item 29 . * | . 30 item 30 . * | . 31 item 31 . * | . 32 item 32 . * | . 33 item 33 . * | . 34 item 34 . *| . 35 item 35 . * | . 36 item 36 . * | . 37 item 37 . |* . 38 item 38 . | * . 39 item 39 . | * . 40 item 40 . *| . 41 item 41 . | * . 42 item 42 . | * . 43 item 43 . | * . 44 item 44 . * | . 45 item 45 . *| . 46 item 46 . * | . 47 item 47 . * | . 48 item 48 . * | . 49 item 49 . * | . 50 item 50 . * | . 51 item 51 . * . 52 item 52 . *| . 53 item 53 . * | . 54 item 54 . * | . 55 item 55 . * | . ===================================================================================================================
Kết quả sau khi chạy lại QUEST tại biểu đồ 3.2, tất cả các Item đều nằm trong khoảng cho phép, và phù hợp với mô hình Rasch.
Hệ số tin cậy thông qua kết quả phần mềm QUEST:
61
Bảng 3.3: Hệ số tin cậy của phiếu khảo sát bằng phần mềm QUEST (lần 2)
TIEU CHI DANH GIA- HUONG ---
all on tcdg (N = 363 L = 55 Probability Level= .50) ---
Summary of case Estimates
=========================
Mean 0.04 SD .90 SD (adjusted) .87 Reliability of estimate .93
Fit Statistics
===============
Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.01 SD .38 SD .39
Infit t Outfit t
Mean -.19 Mean -.12 SD 1.86 SD 1.55
0 cases with zero scores 0 cases with perfect scores
Theo tác giả Phạm Xuân Thanh, trong “Mô hình Rasch và phân tích dữ liệu bằng phần mềm QUEST” [17] khi phân tích dữ liệu bằng phần mềm QUEST giá trị
mean trong Summary of item Estimates phải bằng hoặc gần bằng 0.00, giá trị SD phải bằng hoặc gần bằng 1.00. Giá trị mean trong Fit Statistics phải bằng hoặc gần bằng 1.00 và SD phải bằng hoặc xấp xỉ bằng 0.00.
Kết quả khi chạy phần mềm QUEST lần 2 cho thấy, giá trị mean trong Summary of item Estimates bằng 0.04, gần bằng 0.00; SD bằng 0.90, gần bằng 1.00.
Giá trị mean trong Infit Mean Square đạt 1.00, SD đạt 0.38; mean trong Outfit Mean Square 1.01; SD đạt 0.39. Độ tin cậy Reability of estimates bằng 0.93.
Các thông số thống kê của dữ liệu trong bảng 3.3 đã cho thấy độ tin cậy tính toán đạt 0.93, phù hợp với độ tin cậy (lần 2) của hệ số Cronbach's Alpha. Đây là mức độ tin cậy khá cao.
Loại bỏ 5 câu không đáp ứng được yêu cầu, chạy lại SPSS để tính hệ số Cronbach’s Alpha, ta thu được kết quả sau:
62
Bảng 3.4 Đánh giá lại độ tin cậy của phiếu khảo sát (lần 2)
Reliability Statistics
Cronbach's Alpha N of Items
.934 55
Bảng 3.4 cho thấy: Hệ số Cronbach's Alpha = 0.934. Như vậy, hệ số Cronbach's Alpha đã tăng lên 0.014 so với trước.
Bảng phân tích hệ số tin cậy của từng câu trong Cronbach's Alpha cho kết quả như sau:
Bảng 3.5: Hệ số tin cậy của từng Item trong Cronbach's Alpha (lần 2) Item-Total Statistics
Scale Mean if Item Deleted Điểm trung bình của thang đo nếu
Item bị xóa
Scale Variance if Item Deleted Phương sai của thang đo nếu Item
bị xóa
Corrected Item- Total Correlation
Hệ số tương quan của Item so với biến
tổng
Cronbach's Alpha if Item
Deleted Hệ số Alpha nếu
Item bị xóa
Item2 226.01 292.500 .350 .934
Item4 226.06 290.295 .406 .934
Item5 226.03 292.538 .352 .934
Item6 225.91 293.471 .358 .934
Item7 225.99 289.975 .472 .933
Item10 226.39 293.708 .295 .934
Item11 225.97 292.623 .360 .934
Item12 225.93 292.545 .384 .934
Item13 226.15 292.046 .390 .934
Item14 226.32 290.921 .451 .933
Item15 226.19 293.199 .377 .934
Item16 226.16 290.825 .392 .934
Item17 225.95 290.578 .451 .933
Item18 226.61 290.532 .440 .933
Item19 226.22 292.228 .390 .934
Item20 226.02 290.944 .460 .933
Item21 226.38 290.137 .512 .933
Item22 226.23 289.692 .504 .933
Item23 226.29 289.632 .454 .933
Item24 226.41 288.833 .494 .933
63
Item25 226.13 287.301 .510 .933
Item26 226.11 289.214 .505 .933
Item28 226.16 290.676 .430 .933
Item29 226.06 292.441 .399 .934
Item30 226.32 288.435 .480 .933
Item31 226.36 289.259 .458 .933
Item32 226.55 290.751 .425 .933
Item33 226.25 288.825 .534 .933
Item34 226.12 290.915 .477 .933
Item35 226.13 289.964 .496 .933
Item36 226.23 287.662 .562 .932
Item37 226.31 288.871 .511 .933
Item38 226.53 286.498 .544 .933
Item39 226.36 289.188 .473 .933
Item40 226.56 289.397 .485 .933
Item41 226.49 290.693 .469 .933
Item42 226.18 291.451 .423 .933
Item43 226.47 292.664 .386 .934
Item44 226.60 291.462 .389 .934
Item45 226.67 289.853 .456 .933
Item46 226.81 290.834 .342 .934
Item47 226.50 292.411 .309 .934
Item48 226.72 289.141 .427 .933
Item49 226.34 289.572 .486 .933
Item50 226.38 290.650 .454 .933
Item51 226.18 292.256 .423 .933
Item52 226.27 288.473 .512 .933
Item53 226.20 289.229 .530 .933
Item54 226.15 289.554 .521 .933
Item55 226.16 291.956 .419 .933
Item56 225.85 294.755 .353 .934
Item57 226.08 292.689 .411 .933
Item58 226.10 291.479 .454 .933
Item59 226.19 293.200 .410 .933
Item60 226.22 292.636 .452 .933
Hệ số tương quan của Item so với biến tổng (Corrected Item-Total Correlation) tất cả đều > 0,3. Các biến quan sát có hệ số Alpha nếu bỏ đi mục hỏi
64
(Alpha if Item Deleted) đều nhỏ hơn hệ số Cronbach’s Alpha (0.934). Thang đo đã có độ tin cậy rất cao.
3.1.1.2 Đánh giá mức độ quan trọng của các tiêu chí trong phiếu khảo sát Biểu đồ 3.3: Đánh giá mức độ quan trọng của các Item trong phiếu khảo sát
65
TIEU CHI DANH GIA- HUONG
---
ItemEstimates(Thresholds) 29/ 7/14 23: 2
all on tcdg (N = 363 L = 55 Probability Level= .50)
--- 5.0 |
| X | | | | | X | | X | | 4.0 | | | X | | | |
XXXXX | 14.5 40.5 XXXX |
XXX | 35.5 41.5 43.5 XXX | 27.5 39.5 3.0 | 36.5 XX | 38.5 XX |
XXX | 17.5 XXX | 33.5 42.5 XXX | 45.5 XX | 6.5
XXXXXX | 10.5 20.5 55.5 XXXXXXXXXX | 32.5 44.5 XXX | 34.5 54.5 XXX | 18.5 26.5 28.5 XXXXXX | 11.5
XXXXXXXXXXXXXXXX | 15.5 19.5 25.5 31.5 46.5 47.5 48.5 2.0 XXXXXXXXXXXXXXXXXXX | 37.5
XXXXXXX | 9.5 49.5 50.5 XXXXXXX | 29.5 30.5 52.5 XXXXXXXXXXXXXXXXXXXX | 23.5 53.5 XXXXXXXXX | 12.5 22.5 XXXXXXXXXXXXXXXXXX | 21.5 24.5 XXXXXX |
XXXXXXXXXXXXXXXXXXX | 16.5 XXXXXXXXXXXX | 3.5 XXXXXXX | 2.5 XXXXXXXXXXXXXXXXXXXX | 1.5 7.5
XXXXXXXXXXXXXXXXXXXXXXXXX | 5.5 8.5 13.5 41.4 1.0 XXXXXX | 4.5
XXXXXXXXXX | 51.5 XXXXXXXXXXXXXXXXXXXX |
XXXXXXXX | 43.4 XXXXXXXXXXXX |
XXXXXXXX | 40.4 XXXXXX |
XXXXX | 39.4 XXXXXX | 14.4 33.4 XXXXXX | 27.4 42.4 XXXXXXXX | 35.4 X | 20.4 25.4
.0 X | 26.4 34.4 36.4 38.4 XXX |
X | 6.4 19.4 XX | 12.4 44.4 47.4 XX | 2.4 21.4 45.4 X | 10.4 17.4 32.4 XX | 23.4 31.4
| 1.4 3.4 5.4 28.4 X | 15.4 18.4 22.4 37.4 48.4 XX | 41.3
XXXXX | 7.4 9.4 13.4 30.4 43.3 49.4 | 8.4 50.4
-1.0 | 11.4 16.4 42.3
| 13.3 21.3 24.4 29.4 46.4 | 4.4 33.3 41.2 53.4 | 35.3
| 2.3 7.2 7.3 9.2 9.3 31.3 52.4 | 6.2 6.3 32.2 32.3
| 12.3 14.3 30.2 30.3 54.4 55.4 | 21.2
| 18.3 26.2 26.3 27.3 31.2 40.3 | 33.2 39.3 45.3
|
| 23.3 28.3 52.3 | 1.3 3.3 8.3 35.2
-2.0 | 11.3 19.3 20.3 25.3 43.2 47.3 | 17.3 42.2
| 34.3 | 22.3 44.3 | 29.3 | 10.3 36.3 | 49.3 | 37.3 | 15.3 |
| 51.4 |
-3.0 |
| 46.3 |
|
| 48.3
---
Rất quan trọng 34.4%
Quan trọng 51.8%
Bình thường
12.5%
Ít quan trọng
1.1%
Không quan trọng 0.2%
66
Mức độ quan trọng của các câu được thể hiện qua biểu đồ Estimates trong QUEST. Biểu đồ Item Estimates trình bày sự phân bố thống kê tương quan giữa mức độ đánh giá của các nhóm (dấu X) với sự phân bố độ quan trọng của các câu hỏi trong QUEST. Trong biểu đồ 3.3, các số bên phải đường chấm thẳng đứng, trình bày sự phân bố câu hỏi trong các tiêu chí theo độ quan trọng của từng câu.
Các dấu x bên trái đường chấm thẳng, trình bày sự đánh giá của những người được hỏi về mức độ quan trọng của các câu hỏi trong phiếu khảo sát. Kết quả đánh giá của các nhóm khảo sát cho thấy, mức độ quan trọng của các item là: rất quan trọng chiếm 34.4%, quan trọng chiếm 51.8%, bình thường chiếm 12.5%, ít quan trọng chiếm 1.1%, không quan trọng chiếm 0.2%.
Như vậy, với biểu đồ 3.3 chúng ta thấy: Mức độ quan trọng theo đánh giá của 3 nhóm trải đều theo các mức (từ -4.0 đến +5.0). Đa số người trả lời chọn mức độ các câu là quan trọng và rất quan trọng.