7. Phạm vi nghiên cứu
3.2.4.Sự phù hợp của thang đo
Mỗi tiêu chí đƣợc cụ thể hóa thành các mức (thang đo) khác nhau để đánh giá mức độ đáp ứng tiêu chí với việc đánh giá công tác QLCLĐT. Các tiêu chí đƣợc thiết kế tốt có nghĩa là hệ số tƣơng quan Point Biserial sẽ có độ lớn tăng dần từ những mức thấp đến mức cao của cùng một tiêu chí, nghĩa là mức đáp ứng tiêu chí thấp nhất có hệ số tƣơng quan nhỏ nhất và hệ số tƣơng quan sẽ tăng dần qua các mức cao hơn trong tiêu chí đó.
Kết quả phân tích cho thấy rằng các tiêu chí 5, 13, 15, 18, 23, 24, 26, 27, 28, 29 có hệ số Point Biserial (xem phụ lục 4.1) tăng dần theo các mức đánh giá năng lực của tiêu chí, mức đánh giá cao có hệ số Point Biserial lớn hơn mức đánh giá thấp của cùng tiêu chí đó.
63
Các tiêu chí còn lại đều không phù hợp (chiếm tỷ lệ 2/3), các tiêu chí này có hệ số Point Biserial không tăng dần, mức đánh giá cao có hệ số Point Biserial đôi khi nhỏ hơn mức đánh giá thấp của cùng tiêu chí đó. Vì vậy, nếu chỉ qua phân tích hệ số Point Biserial, cho thấy phần lớn tiêu chí của thang đo này chƣa đạt yêu cầu, chƣa đáp ứng tốt việc đánh giá công tác QLCLĐT.
Kết quả thống kê tần suất cho thấy, các câu 5, 7, 10, 15, 16, 17, 18, 19, 23, 24, 25, 26 có tần suất không bình thƣờng ở một số mức đánh giá (đều <4%), các mức đánh giá này tập trung chủ yếu là mức 1, còn lại là mức 2. Cá biệt có tiêu chí 18, chỉ có 4/5 mức đánh giá, không có đánh giá ở mức 1.
Theo Wu (2007), giá trị trung bình Ave Measures trong một tiêu chí phải có mức độ tăng dần trong thang đo, các tiêu chí 3, 7, 10, 16, 17, 19, 25 không thỏa mãn tiêu chí này. Vì vậy đây cũng là những tiêu chí cần đƣợc xem xét.
Theo CCT, chỉ số Discrimination có nghĩa là mối tƣơng quan giữa điểm số cho một câu hỏi và điểm số toàn bảng hỏi theo điểm số thực, điểm số này càng gần 1 càng tốt. Theo Wu (2007), chỉ số này không đƣợc thấp hơn 0.4. Theo kết quả chỉ số Discrimination của nghiên cứu, không có câu nào thấp hơn 0.4. Tuy vậy, các câu 8, 25 chỉ số Discrimination tƣơng đối thấp (Discrimination =0.43; 0.41).
Theo IRT, chỉ số Discrimination trong mô hình Rasch chính là MNSQ, chỉ số này không đƣợc nằm ngoài 0.7-1.3 (Adam và Khoo, 1998). Chỉ số này càng càng cao thể hiện các câu hỏi trong item này càng phân hóa đƣợc sinh viên với các ý kiến khác nhau. Nếu chỉ số này càng thấp nghĩa là sinh viên không khác nhau về quan điểm về chất lƣợng trong 1 tiêu chí, thế có nghĩa là câu hỏi không đạt yêu cầu. Theo nhƣ phân tích ở phần trƣớc thì chỉ có các câu 3, 7, 8 là ngoài khoảng cho phép. Các câu 15, 16, 22 cũng có Discrimination tƣơng đối thấp (0.71; 0.74; 0.75) , cho thấy sinh viên không có quan điểm đánh giá khác nhau về chất lƣợng trong những tiêu chí này, điều này phù hợp với các kết quả khác cho thấy các câu hỏi này chƣa đạt yêu cầu.
64
3.2.5. Đánh giá của sinh viên về chất lượng công tác QLCLĐT
Theo lý thuyết đánh giá hiện đại, khi phân tích bài thi, sự phân bố của độ khó các câu hỏi với năng lực của thí sinh cho phép phán đoán mức độ phù hợp của bảng hỏi đối với những ngƣời trả lời. Kết quả phân tích bằng phần mềm CONQUEST cho ta một biểu đồ phân bố độ khó của các câu hỏi với nhóm thí sinh đƣợc đánh giá. Một bảng hỏi tốt là bảng hỏi có các câu hỏi/ tiêu chí có độ khó bao phủ hết năng lực của ngƣời trả lời, có nghĩa là bảng hỏi có đủ các câu hỏi/tiêu chí có độ khó nhất định để đánh giá năng lực của bất kì ngƣời trả lời có mức năng lực nào, thang độ khó của câu hỏi bao phủ hết thang năng lực của ngƣời trả lời cần đo.
Trong trƣờng hợp của nghiên cứu này, có thể hiểu rằng, thang đánh giá Likert mà nghiên cứu áp dụng, không có phƣơng án đúng/sai, mà chỉ có mức độ đánh giá từ thấp đến cao, nhìn vào bảng phân bố độ khó các câu hỏi với năng lực ngƣời trả lời đƣợc tính toán bằng CONQUEST có thể cho biết những ngƣời thực hiện bảng hỏi đánh giá công tác QLCLĐT ở mức cao hay thấp. Theo đó, sự phân bố độ khó sát với mức năng lực cao nghĩa là chất lƣợng đƣợc đánh giá tốt, ngƣợc lại phân bộ độ khó sát với mức năng lực thấp thì chất lƣợng đánh giá là chƣa tốt. Kết quả so sánh đƣợc thể hiện ở bảng dƣới đây:
65
MAP OF LATENT DISTRIBUTIONS AND RESPONSE MODEL PARAMETER ESTIMATES
================================================================================ Terms in the Model (excl Step terms)
+item --- | | | | 5 | | | | | | | | | | | | | | X| | 4 | | | | XX| | X| | X| | X| | X| | XXX| | 3 XX| | XX| | XXX| | XXXXX| | XXXXXX| | XXXXX| | XXXXX| | XXXXXX| | 2 XXXX| | XXXXXXXX| | XXXXXXXXXX| | XXXXXX| | XXXXXXX| | XXXXXXX| | XXXXXXXX| | XXXXXXXX| | 1 XXXXXXXXX|7 | XXXXXXXXXX| | XXXXXXXX| | XXXXXX|6 28 | XXXX|8 | XXXXXX|20 21 29 | XXX|13 15 22 | XX|12 | 0 X|16 17 23 | |9 | |18 19 26 27 | |1 5 10 11 24 | |2 4 14 | | | |3 | |25 | | | -1 | | X| | | | | | | | | | | | | | -2 | | ==================================================== Each 'X' represents 1.0 cases
Biểu đồ 3.1: Phân bố các câu trả lời theo mức đánh giá
Theo biểu đồ 3.1, sự phân bố các câu trả lời tập trung ở khoảng trên của năng lực thấp, nghĩa là ngƣời đƣợc hỏi cho rằng, chất lƣợng công tác QLCLĐT chƣơng
66
trình KT, PT & KT ở mức độ tốt. Biểu đồ cũng có thể đƣợc giải thích là còn thiếu các tiêu chí đƣợc đánh giá chung ở mức cao.
MAP OF LATENT DISTRIBUTIONS AND THRESHOLDS
================================================================================ Generalised-Item Thresholds --- | | 5 | | | |7.5 | | |6.5 28.5 X|8.5 4 |20.5 21.5 |13.5 29.5 XX|12.5 15.5 22.5 X|17.5 23.5 X|9.5 16.5 X|19.5 26.5 27.5 X|1.5 5.5 10.5 11.5 18.5 XXX|2.5 4.5 14.5 24.5 3 XX| XX| XXX|3.5 XXXXX|25.5 XXXXXX| XXXXX|7.4 XXXXX| XXXXXX| 2 XXXX|6.4 28.4 XXXXXXXX|8.4 XXXXXXXXXX|20.4 21.4 29.4 XXXXXX|13.4 15.4 22.4 XXXXXXX|12.4 23.4 XXXXXXX|16.4 17.4 XXXXXXXX|9.4 XXXXXXXX|18.4 19.4 26.4 27.4 1 XXXXXXXXX|1.4 5.4 7.3 10.4 11.4 24.4 XXXXXXXXXX|2.4 4.4 14.4 XXXXXXXX| XXXXXX|3.4 6.3 28.3 XXXX|8.3 25.4 XXXXXX|20.3 21.3 29.3 XXX|13.3 15.3 XX|7.2 12.3 22.3 0 X|17.3 23.3 |9.3 16.3 |6.2 18.3 19.3 26.3 27.3 28.2 |1.3 5.3 8.2 10.3 11.3 |2.3 4.3 14.3 20.2 21.2 24.3 |13.2 29.2 |3.3 12.2 15.2 22.2 |17.2 23.2 25.3 |9.2 16.2 -1 |26.2 27.2 X|1.2 5.2 10.2 11.2 18.2 19.2 |2.2 4.2 14.2 24.2 | | |3.2 |25.2 |15.1 16.1 17.1 18.1 19.1 20.1 21.1 22.1 23.1 24.1 25.1 26.1 -2 |1.1 2.1 3.1 4.1 5.1 6.1 7.1 8.1 9.1 10.1 11.1 12.1 13.1 14.1 ================================================================================ Each 'X' represents 1.0 cases
The labels for thresholds show the levels of item, and step, respectively
Some parameters could not be fitted on the display
================================================================================
Nhìn vào biểu đồ biến số chi tiết trên trong đó có mức độ đánh giá của sinh viên với từng mức độ trong từng tiêu chí, vẫn có sinh viên đánh giá một số tiêu chí
67
ở mức cao, tức là vẫn có những mức nhƣ mức 7.5 (mức 5 của tiêu chí số 7) có thể đƣợc tất cả sinh viên đánh giá xuất sắc. Nhìn chung có thể đánh giá rằng, sinh viên đánh giá chất lƣợng công tác QLCLĐT của chƣơng trình KT,PT&KT là tốt.
Cũng theo biểu đồ biến số chi tiết có thể thấy ở cả 8 nhóm tiêu chí (tư vấn và hướng dẫn, dịch vụ dành cho sinh viên, quản lý và điều hành nhà trường, môi trường bên trong và nguồn lực, hoạt động học tập và giảng dạy, các vấn đề liên quan đến sinh viên, các vấn đề liên quan đến cán bộ quản lý và giảng viên, quan hệ nhà trường với cộng đồng) theo phản hồi của sinh viên đều đánh giá tốt, chỉ một số tiêu chí sinh viên đánh giá chƣa tốt về lĩnh vực tƣ vấn (tiêu chí số 1), nguồn học liệu phục vụ học tập (tiêu chí số 5), các quy chế liên quan đến đến học tập giảng dạy (tiêu chí số 10)…
Nhƣ vậy, qua 8 nhóm tiêu chí, đối chiếu với tiêu chuẩn KĐCL chƣơng trình giáo dục của ĐHQGHN có thể đánh giá tổng quát rằng chất lƣợng chƣơng trình KT, PT & KT đạt mức tốt theo ý kiến phản hồi của sinh viên.
3.3. Đánh giá của CBGV
3.3.1. Độ tin cậy của bảng hỏi
Tƣơng tự những phân tích ở số liệu trong bảng hỏi dành cho đối tƣợng sinh viên, kết quả phân tích Cronbach’s Alpha của đối tƣợng CBGV cho thấy bảng hỏi có hệ số tin cậy bằng 0.924, đây là một giá trị tƣơng đối tốt, chứng tỏ bộ công cụ có độ tin cậy cao, từ quan điểm của đối tƣợng CBGV.
Hệ số tin cậy
Cronbach's Alpha
Hệ số tin cậy trên các item chuẩn
Cronbach's Alpha Based on Standardized Items
Số lượng item
N of Items
.914 .920 29
Bảng 3.5: Hệ số tin cậy của thang đo (dữ liệu nhóm đối tượng CBGV)
Nhìn vào cột Cronbach's Alpha if Item Deleted với kết quả phân tích bảng hỏi cho ta thấy rằng, nếu loại trừ một trong số các câu, độ tin cậy của bảng hỏi đều
68
bị giảm đi, điều này thể hiện các câu hỏi chất lƣợng tốt. Độ tin cậy của từng câu đƣợc thể hiện dƣới bảng sau:
Variable Scale Mean if Item Deleted Scale Variance if Item Deleted Total Correlation Corrected Item- Cronbach's Alpha if Item Deleted
C1 109.0000 103.182 .596 .910 C2 109.4783 109.352 -.022 .921 C3 109.3043 101.585 .521 .911 C4 109.4348 98.166 .715 .907 C5 109.4783 100.988 .604 .909 C6 110.2609 108.474 .040 .919 C7 110.3043 105.676 .209 .916 C8 109.2174 98.451 .608 .909 C9 109.0000 101.273 .670 .909 C10 109.4783 105.988 .313 .913 C11 109.3478 101.510 .613 .909 C12 109.7826 105.723 .236 .915 C13 110.2609 104.292 .356 .913 C14 109.2609 102.292 .575 .910 C15 109.5217 104.170 .448 .912 C16 109.5217 101.352 .703 .908 C17 109.4783 102.352 .662 .909 C18 109.5217 101.261 .620 .909 C19 109.3478 103.874 .420 .912 C20 109.6522 102.237 .530 .910 C21 109.8696 101.300 .680 .908 C22 110.0000 101.091 .545 .910 C23 109.6087 100.340 .633 .909 C24 109.2609 102.383 .665 .909 C25 109.2174 104.360 .552 .911 C26 109.3043 102.312 .524 .911 C27 109.6957 101.040 .544 .910 C28 109.9565 97.225 .700 .907 C29 109.8261 100.514 .548 .910
Bảng 3.6: Hệ số tin cậy của từng tiêu chí (dữ liệu nhóm đối tượng CBGV)
Chỉ số đƣợc phân tích ở cột Corrected Item-Total Correlation cho biết độ tƣơng quan của mỗi item đối với toàn bộ các item còn lại. Nhìn vào hệ số này ta thấy các tiêu chí có độ tƣơng quan tốt. Tuy nhiên, chỉ số tƣơng quan của item số 2 đối với các item còn lại bị âm. Tiêu chí này cần xem xét loại bỏ.
69
3.3.2. Đánh giá của CBGV về chất lượng công tác QLCLĐT
Biểu đồ 3.2: Kết quả đánh giá của CBGV về công tác QLCLĐT
Nhìn vào biểu đồ 3.2 có thể nhận thấy, mức CBGV đánh giá về công tác QLCLĐT chủ yếu tập trung ở mức 3, 4, 5 trong đó mức 4 phổ biến hơn cả. Điều này cho thấy, CBGV đánh giá công tác QLCLĐT ở mức tốt và xuất sắc. Kết quả này so với sự đánh giá của sinh viên là chƣa tƣơng đồng, trong khi đa phần sinh viên đánh giá đầy đủ ở các mức và cho rằng công tác QLCLĐT chỉ ở mức khá và tốt thì CBGV lại cho rằng chất lƣợng ở mức tốt và rất tốt. Các mức đánh giá là rất tồi và tồi hiếm khi xuất hiện.
Có thể lý giải điều này nhƣ sau: Nguyên nhân khách quan do CBGV là đối tƣợng trực tiếp liên quan và hiểu biết sâu sắc hơn về hoạt động QLCLĐT nên sự
70
đánh giá trong một số trƣờng hợp có phần chính xác hơn. Nguyên nhân chủ quan, CBGV là đối tƣợng trực tiếp thực hiện, triển công tác QLCLĐT nên việc tự đánh giá đôi khi có thể còn mang nhiều yếu tố tâm lý. Đối với đối tƣợng sinh viên, họ chính là "khách hàng"của giáo dục đại học, là đối tƣợng sử dụng trực tiếp dịch vụ (quản lý đào tạo), nên việc đánh giá tập trung sẽ mang nhiều tính khách quan hơn. Nhƣng cũng có thể hiểu theo cách khác rằng, sinh viên chƣa tiếp cận và am hiểu sâu sắc về các khía cạnh của hoạt động QLCLĐT nên việc đánh giá dù khách quan nhƣng lại phản ánh chƣa đúng thực tế. Mức lựa chọn Tần suất Tỷ lệ (%) Mức 1 1 0.15 Mức 2 21 3.15% Mức 3 144 21.59% Mức 4 370 55.47% Mức 5 131 19,64%
Bảng 3.7: Thống kê tần suất mức trả lời trong Phiếu đánh giá công tác QLCLĐT (dữ liệu nhóm đối tượng CBGV)
Nhìn vào bảng 3.7 có thể thấy rõ hơn tần suất các mức trả lời của nhóm đối tƣợng CBGV, tập trung chủ yếu ở mức 4 (chất lƣợng tốt), các mức 1, 2 (Rất tồi, tồi) thì gần nhƣ không có ai lựa chọn.
Theo Biểu đồ 3.2, có 02/29 tiêu chí mà CBGV chỉ lựa chọn 2 mức đánh giá ở mức cao nhất (mức 4, 5) là câu số 1, 25; ngoài ra ở câu số 9, 21 chỉ có duy nhất 1 ngƣời (tỷ lệ 4,35%) lựa chọn 1 mức đánh giá. Ngƣời nghiên cứu cho rằng, tỷ lệ này là quá nhỏ, vì vậy cũng có thể coi câu số 9, 21 chỉ có 2 mức đánh giá (mức 4 và 5).
Có 13/29 tiêu chí đƣợc CBGV lựa chọn 3 các mức đánh giá (mức 3, 4, 5) là các câu 3, 4, 5, 10, 11, 14, 15, 16, 17, 18, 19, 26, 29. Tƣơng tự nhƣ cách nhận định ở trên, các câu 2, 8, 12, 20, 27 cũng có thể coi là đánh giá ở 3 mức (mức 3, 4 và 5).
Còn lại 05 tiêu chí 7, 13, 22, 23, 28 tuy CBGV tập trung đánh giá ở 3 mức khác nhau nhƣng lại có sự lựa chọn ở mức 2, nghĩa là chất lƣợng ở mức tồi.
71
Tóm lại, chất lƣợng công tác QLCLĐT nói riêng và chất lƣợng chƣơng trình KT, PT & KT nói chung thể hiện qua các tiêu chí đánh giá đƣợc CBGV nhận xét ở mức tốt. Nhà trƣờng cần tập trung cải tiến một số công tác về cơ sở vật chất, về hoạt động thông tin hƣớng đến sinh viên và tăng các cơ hội cho sinh viên đƣợc thực tập tại các doanh nghiệp.
3.4. Kết quả phỏng vấn đối tƣợng sinh viên, CBGV
Nhƣ đã nêu ở phần trên, phƣơng pháp phỏng vấn đƣợc sử dụng nhằm mục đích trả lời câu hỏi nghiên cứu số (3), kết quả phỏng vấn nhƣ sau:
3.4.1. Ý kiến của sinh viên
Với đối tƣợng sinh viên, các ý kiến thu nhận là tƣơng đối ít, ngƣời nghiên cứu đã lựa chọn 9 sinh viên ở các lớp khác nhau để phỏng vấn. Kết quả là đa số các ý kiến trả lời (7/9 ngƣời): chƣa đủ sự thông hiểu, kinh nghiệm và thực tế để đánh giá những nội dung đƣa ra trong các câu hỏi phỏng vấn".
Tuy nhiên, vẫn có những ý kiến đóng góp nhƣ: "Trong buổi đối thoại với lãnh đạo Khoa, có thể lấy ý kiến và thảo luận cùng sinh viên về vấn đề QLCLĐT, về TQM".
Về tiêu chí đánh giá, có ý kiến cho rằng "câu hỏi bao quát hầu hết các khía cạnh nên có thể áp dụng tốt trong thực tiễn" nhƣng ngƣợc lại có ý kiến lai cho rằng
"câu hỏi vẫn còn sơ sài và không rõ ràng".
Về khó khăn, có 02 sinh viên e ngại là việc triển khai dễ dẫn đến hình thức, ít ngƣời hƣởng ứng; có ý kiến lại cho rằng môi trƣờng thực tiễn mỗi nơi khác nhau nên việc áp dụng tiêu chí quản lý có thể không phù hợp với tất cả các nơi.
Tóm lại, kết quả thu đƣợc từ phỏng vấn đối tƣợng sinh viên không giúp ích nhiều trong việc giải quyết câu hỏi nghiên cứu số (3).