7. Phạm vi nghiên cứu
3.1.1. kiến đánh giá thang đo – thẩm định định tính
Phiếu đánh giá về công tác QLCLĐT ban đầu đƣợc ngƣời nghiên cứu xây dựng với 29 tiêu chí do ngƣời nghiên cứu thiết kế trên cơ sở những nội dung mà nghiên cứu đặt ra (chƣơng 1). Ngƣời nghiên cứu phỏng vấn, lấy ý kiến đánh giá của 3 chuyên gia về bảng hỏi này, kết quả nhƣ sau:
Về mặt nội dung, người thứ nhất đánh giá: các tiêu chí có thể sử dụng để đánh giá công tác QLCLĐT, các tiêu chí này nếu đƣợc xây dựng theo bộ tiêu chí của Sallis (2003) là đáng tin cậy, tuy nhiên một số câu hỏi trong bảng hỏi kĩ thuật thiết kế chƣa tốt, không rõ nghĩa của câu, một số câu có 2 thậm chí 3 giả định dẫn đến ngƣời đƣợc hỏi không thể trả lời chính xác vấn đề đƣa ra; người thứ hai cho rằng: về mặt phƣơng pháp, xây dựng bộ tiêu chí trong bảng hỏi là việc làm phức tạp, nhất là một mô hình còn mới ở Việt Nam nhƣ TQM, việc lấy căn cứ theo của nhà nghiên cứu lớn (Sallis) nhƣ vậy là hợp lý, có căn cứ, xét tổng thể nội dung của câu hỏi đã bao trùm các lĩnh vực QLCLĐT và phù hợp để đánh giá trông bối cảnh của Khoa. Bên cạnh đó, cần viết những lời giải thích cụ thể hơn cho một số câu hỏi
55
có nội dung khái quát; người thứ ba cũng có cùng nhận định nhƣ hai ngƣời trên về mức độ phù hợp về nội dung của các tiêu chí, các căn cứ khi xây dựng tiêu chí, các tiêu chí mang tính khái quát trong mỗi mảng lĩnh vực và cho rằng có thể thử nghiệm đánh giá. Chuyên gia này còn đánh giá thêm, theo 10 nhóm chỉ tiêu của Sallis thì việc loại bỏ 2 nhóm chỉ tiêu về các vấn đề liên quan đến tổ chức và chuẩn đối sánh là phù hợp, vì những vấn đề trong 2 nhóm chỉ tiêu này thiên về công tác kiểm định, đa số ngƣời đƣợc hỏi nếu không phải hiểu biết và nắm rõ thông tin sẽ không trả lời đƣợc. Trong nhóm chỉ tiêu dành Dịch vụ dành cho sinh viên cần bổ sung tiêu chí về hoạt động tƣ vấn, định hƣớng nghề nghiệp vì đây là hoạt động rất quan trọng trong công tác QLĐT, thể hiện tính sự đầu tƣ của nhà trƣờng đối trong mục tiêu đáp ứng nhu cầu của xã hội.
Tóm lại, về mặt nội dung các ý kiến của các chuyên gia đều có ý kiến đồng tình về bộ tiêu chí trong bảng hỏi, phƣơng pháp xây dựng bảng hỏi và đánh giá có thể sử dụng để khảo sát.
Về mặt cấu trúc, người thứ nhất cho rằng: bảng hỏi với 8 nhóm chỉ tiêu đánh giá là đƣợc nêu là phù hợp, cần phải tách những câu có nhiều giả định thành các câu khác nhau (ví dụ câu 16: Nội dung của chƣơng trình đào tạo phù hợp và cập nhật nên tách 2 câu: Nội dung của chƣơng trình đào tạo phù hợp và Nội dung của chƣơng trình đào tạo cập nhật); người thứ hai tƣ vấn: nên đảo trật tự các câu hỏi trong một số nhóm chỉ tiêu để đảm bảo tính thống nhất của cấu trúc theo tiêu chí từ tổng quát đến chi tiết giúp ngƣời trả lời hiểu, đánh giá đúng các nội dung đƣợc hỏi;
người thứ ba đánh giá: nội dung các nhóm chỉ tiêuriêng rẽ, vì vậy việc giữ nguyên cấu trúc trong bộ chỉ tiêu của Sallis (2003) là hợp lý.
Tóm lại, về mặt cấu trúc của bảng hỏi đƣợc đánh giá là đạt yêu cầu, cần chỉnh sửa và chia tách một số câu nhằm tránh lỗi có nhiều giả định trong một câu hỏi.
56
Về sự phù hợp với các đối tượng, người thứ nhất và người thứ hai cùng cho rằng, bảng hỏi là phù hợp với các đối tƣợng, những tiêu chí đƣa ra ngƣời trả lời có thể hiểu và đánh giá đƣợc; người thứ ba nói: bảng hỏi này phù hợp với cả 2 đối tƣợng nghiên cứu, tuy vậy có những câu có thể 1 trong 2 đối tƣợng không trả lời đƣợc, hoặc trả lời thì đƣa ra đánh giá không chính xác, vì vậy cần viết lại và giải nghĩa rõ cho từng đối tƣợng về các tiêu chí trong quá trình thu thập dữ liệu.
Tóm lại, bảng hỏi đƣợc đánh giá là phù hợp với cả hai đối tƣợng sinh viên và CBGV, ngƣời đƣợc hỏi sẽ đánh giá đúng nếu giải nghĩa rõ hơn nội hàm của câu hỏi.
Về ngôn ngữ sử dụng, đây là yếu tố mà các chuyên gia cho ý kiến nhiều nhất, các chuyên gia đã trực tiếp sửa đổi cách dùng từ, ngôn ngữ cho phù hợp, sau đó ngƣời nghiên cứu đã tổng hợp và sửa lại trong bảng hỏi. Một số ý kiến nhận xét nhƣ, ngôn ngữ sử dụng cần đƣợc Việt hóa, tránh đặt những câu có các tính từ mang tính áp đặt cho ngƣời trả lời nhƣ: đầy đủ, dễ dàng, luôn... đặt các câu hỏi thống nhất, không để một số câu viết theo dạng câu hỏi, một số câu lại viết theo dạng diễn giải.
Sau khi ngƣời nghiên cứu chỉnh sửa bảng hỏi theo các nhận xét, nhận định từ chuyên gia, các chuyên gia đã nhất trí về nội dung, cấu trúc, phù hợp với đối tƣợng và ngôn ngữ của bảng hỏi và cho rằng các tiêu chí có thể sử dụng để đánh giá công tác QLCLĐT.
3.1.2. Ý kiến đánh giá mức tương hợp của tiêu chí với mục đích nghiên cứu
Sau khi thẩm định thang đo lần 1, bảng hỏi đƣợc chỉnh sửa và gửi lại đến các chuyên gia để nhằm lấy ý kiến đánh giá về mức tƣơng hợp của các tiêu chí với mục đích nghiên cứu. Có 03 chuyên gia đƣợc hỏi ý kiến thẩm định về các tiêu chí, mức độ đánh giá sự phù hợp tiêu chí (C=mức tương hợp cao; TB=mức tương hợp trung bình; T= mức độ tương hợp thấp) với câu hỏi nghiên cứu, kết quả đƣợc tổng hợp qua bảng sau:
57
STT Chuyên gia 1 Chuyên gia 2 Chuyên gia 3
C1 TB C C C2 C C C C3 C TB C C4 C C C C5 C C C C6 C C C C7 TB C C C8 TB C C C9 C C C C10 C C C C11 C C C C12 C C C C13 C TB C C14 C C C C15 C C TB C16 C C C C17 C C C C18 C C C C19 C C C C20 C C C C21 C C C C22 C TB C C23 C C C C24 C C C C25 C C C C26 C C C C27 C C C C28 C C TB C29 TB C C
Bảng 3.1 : Tổng hợp ý kiến đánh giá của chuyên gia về mức tương hợp của các tiêu chí với mục đích nghiên cứu
Qua kết quả đánh giá từ chuyên gia, ngƣời nghiên cứu thấy rằng, đa ý kiến nhận định đều cho rằng các tiêu chí có mức độ tương hợp cao, không có tiêu chí nào ở mức độ tương hợp thấp. Tuy vậy, vẫn còn những tiêu chí chuyên gia đánh giá ở
mức độ tương hợp trung bình cũng là một yếu tố cần xem xét trong kết quả nghiên cứu sau khi phân tích số liệu của sinh viên và CBGV. Đây là những tiêu chí sẽ đƣợc
58
xem xét khi so sánh với các kết quả định lƣợng ở các phần sau nhằm đƣa ra đánh giá cuối cùng về mức độ phù hợp của tiêu chí với mục tiêu nghiên cứu.
3.2. Đánh giá của sinh viên
3.2.1. Độ tin cậy của bảng hỏi
Độ tin cậy của đề kiểm tra đƣợc đánh giá qua kiểm định Cronbach’s Alpha. Cronbach’s Alpha là phép kiểm định cho phép xác định độ tin cậy của việc thiết lập một biến (nội dung) thông qua cơ sở tổng hợp nhiều biến đơn nhỏ hơn (câu), nói cách khác giá trị của hệ số Cronbach’s Alpha cho phép đánh giá tính nhất quán (consistency) của các biến đơn, các biến đơn có đo đúng nội dung cần đo hay không.
Hệ số Cronbach's Alpha từ 0.8 đến gần 1 thì thang đo lƣờng là tốt, tuy nhiên, theo một số nhà nghiên cứu thì hệ số Cronbach Alpha từ 0,6 trở lên là dùng đƣợc trong các thử nghiệm (Nunnally, 1978; Peterson, 1994; Slater, 1995).
Kết quả phân tích Cronbach’s Alpha cho thấy bảng hỏi có hệ số tin cậy bằng
0.928, đây là một giá trị cao, chứng tỏ bộ công cụ có độ tin cậy khá cao .
Hệ số tin cậy
Cronbach's Alpha
Hệ số tin cậy trên các item chuẩn
Cronbach's Alpha Based on Standardized Items
Số lượng item
N of Items
.928 .929 29
Bảng 3.2: Hệ số tin cậy của thang đo (dữ liệu nhóm đối tượng sinh viên)
Giá trị Cronbach’s Alpha của bảng hỏi trong trƣờng hợp loại bỏ một item nào đó cho ta biết item đó có làm gia tăng độ tin cậy của công cụ hay không, với kết quả phân tích bảng hỏi dƣới đây, ta thấy rằng, nếu loại trừ các câu đi , độ tin cậy của bảng hỏi đều bị giảm đi hoặc giữ nguyên, điều này thể hiện các câu hỏi chất lƣợng tốt (nhìn vào cột Cronbach's Alpha if Item Deleted). Độ tin cậy của từng câu đƣợc thể hiện dƣới bảng sau:
59 Tên biến
Variable
Điểm trung bình của thang đo nếu item bị xóa
Scale Mean if Item Deleted
Phương sai của thang đo nếu
item bị xóa
Scale Variance if Item Deleted
Hệ số tương quan của item với các
item còn lại Corrected Item- Total Correlation Hệ số alpha nếu item bị xóa Cronbach's Alpha if Item Deleted C1 97.8050 228.436 .533 .926 C2 97.7484 231.848 .435 .927 C3 97.6038 228.899 .483 .927 C4 97.7610 226.651 .535 .926 C5 97.8302 225.636 .583 .925 C6 98.4088 227.028 .505 .926 C7 98.6981 223.858 .503 .927 C8 98.3208 230.396 .372 .928 C9 97.9497 230.314 .469 .927 C10 97.8302 227.382 .550 .926 C11 97.8176 226.542 .605 .925 C12 98.0818 226.595 .517 .926 C13 98.1698 223.395 .609 .925 C14 97.7610 226.196 .612 .925 C15 98.1447 222.922 .704 .924 C16 97.9874 227.050 .614 .925 C17 98.0189 225.829 .612 .925 C18 97.8616 228.550 .580 .925 C19 97.8679 228.318 .476 .927 C20 98.2579 225.509 .605 .925 C21 98.2516 228.240 .463 .927 C22 98.1321 226.153 .618 .925 C23 98.0503 223.694 .673 .924 C24 97.7799 230.451 .486 .927 C25 97.5472 234.211 .373 .928 C26 97.8679 229.052 .535 .926 C27 97.8742 229.313 .504 .926 C28 98.4340 226.121 .524 .926 C29 98.2264 226.493 .519 .926
Bảng 3.3: Hệ số tin cậy của từng tiêu chí (dữ liệu nhóm đối tượng sinh viên)
Chỉ số đƣợc phân tích ở cột Corrected Item-Total Correlation cho biết độ tƣơng quan của mỗi item đối với toàn bộ các item còn lại. Giá trị hệ số này cũng càng lớn càng tốt, nếu nhỏ hoặc âm thì cần loại bỏ. Nhìn vào hệ số này ta thấy các tiêu chí có độ tƣơng quan tốt, không có câu nào cần phải loại bỏ.
60
3.2.2. Độ giá trị của các tiêu chí
Áp dụng lý thuyết đánh giá hiện đại, khi phân tích số liệu của một bài thi theo mô hình Rasch bằng phần mềm CONQUEST, theo Wu (2007) độ khó của câu hỏi thi đƣợc đo bằng thang logistic, độ khó trung bình của đề thi luôn bằng 0, các câu hỏi càng nhỏ hơn giá trị độ khó trung bình thì càng dễ, ngƣợc lại các câu hỏi có giá trị độ khó càng lớn hơn giá trị trung bình thì càng khó. Sự phân bố của độ khó của các câu hỏi thi so với năng lực của thí sinh bƣớc đầu có thể cho chúng ta biết về sự phù hợp của đề thi đối với nhóm thí sinh tham gia trả lời. Từ đó có thể cho thấy độ giá trị của đề thi, đề thi có quá khó hoặc quá dễ đối với nhóm thí sinh hay không. Áp dụng vào nghiên cứu này, độ khó sẽ cho ta biết đƣợc sự phân bố cao hay thấp độ khó của các tiêu chí đánh giá chất lƣợng trong bảng hỏi; tiêu chí nào đƣợc ngƣời đánh giá cao; tiêu chí nào đƣợc đánh giá thấp; sự phù hợp của bảng hỏi đối với ngƣời đƣợc trả lời. Có nghĩa là, nếu bảng hỏi phù hợp thì các tiêu chí đƣợc xây dựng cũng phù hợp với việc đánh giá công tác QLCLĐT.
Kết quả phân tích 29 tiêu chí đánh giá công tác QLCLĐT theo TQM của sinh viên đƣợc trình bày trong bảng sau đây:
61
Kết quả phân tích bằng phần mềm CONQUEST trên cho ta thấy các tiêu chí đánh giá có độ khó dao động trong khoảng từ -0.840 đến 1.070 với độ tin cậy phân biệt là 0.974, trong đó tiêu chí đƣợc đánh giá thấp nhất là câu 25 (Cán bộ quản lý và giảng viên có kiến thức) (độ khó = -0.840), đánh giá cao nhất là câu 8 (Sinh viên có nhiều cơ hội tham gia và tự tổ chức các hoạt động ngoại khóa) (độ khó = 1.070), kết hợp với chỉ số Sig = 0.000 có thể đánh giá rằng sự khác nhau về độ khó của các tiêu chí nhƣ vậy là đáng kể về mặt thống kê và các tiêu chí nằm trên một dải liên tục.
Theo Wu (2007), chỉ số Separation Reliability (độ tin cậy tách biệt) cho biết độ tin cậy thấp có nghĩa là mẫu của bạn là không đủ lớn để xác định vị trí chính xác các mục trên biến ẩn. Nghĩa là, Separation Reliability thấp thì số lƣợng sinh viên đc hỏi là không đủ để các câu hỏi có thể phân hóa về độ khó trên 1 trục dài (về chất lƣợng quản lý) đƣợc. Nếu Separation Reliability cao thì có nghĩa là đã hỏi đủ số lƣợng sinh viên, và các câu hỏi có phân hóa, khác nhau về độ khó. Trong nghiên cứu này Separation Reliability = 0.974, vì vậy có thể kết luận các tiêu trong bảng hỏi có sự phân hóa rõ rệt, ngƣời đƣợc hỏi khi thực hiện đánh giá công tác QLCLĐT sẽ đƣa ra nhận định ở mức khác nhau về chất lƣợng, dẫn đến một kết luận khách quan trong nghiên cứu.
3.2.3. Sự phù hợp của tiêu chí đối với mô hình
Theo Phạm Xuân Thanh (2011), sự phù hợp của các tiêu chí với mô hình Rasch diễn tả một cấu trúccó thể đo đƣợc (thể hiện các tiêu chí cùng đo một đại lƣợng). Chỉ số diễn đạt sự phù hợp này có tên gọi là MNSQ (trị số kỳ vọng của các bình phƣơng trung bình), nằm trong khoảng 0.70 đến 1.30 (Adam và Khoo, 1998). Nếu có một câu hỏi nào có MNSQ nằm ngoài khoảng trên thì câu hỏi đó cần cân nhắc để loại bỏ.
Theo Bảng 3.4 có thể thấy, các câu 3, 7, 8 có MNSQ nằm ngoài khoảng cho phép, vì vậy các câu này cần phải xem xét lại vì không phù hợp với mô hình
62
Khi đem so MNSQ với CI, ta thấy các câu 3, 7, 8, 15, 16, 22 nằm ngoại phạm vi cho phép. Bên cạnh đó, theo Wu (2007), giá trị T cần dao động trong khoảng cho phép là từ (-2, 2), đối chiếu kết quả cũng thấy rằng các câu 3, 7, 8, 15, 16, 22 (Sinh viên được tiếp cận và giải đáp cụ thể về học bổng, chế độ ưu đãi, chính sách/ Nhà trường có thiết bị và điều kiện phù hợp cho hoạt động giải trí, văn hóa, thể thao/ Sinh viên có nhiều cơ hội tham gia và tự tổ chức các hoạt động ngoại khóa/ Nhà trường chú trọng, có các chính sách đầu tư kinh phí cho công tác đảm bảo chất lượng (trong học tập, giảng dạy)/ Chương trình đào tạo và phương thức tổ chức đào tạo đáp ứng nhu cầu của sinh viên/ Sinh viên được cập nhật thông tin về những phát triển của nhà trường có ảnh hưởng đến bản thân) không phù hợp với mô hình.
Dựa vào việc phân tích trên về độ khó của các câu hỏi, giá trị MNSQ, khoảng tin cậy CI và giá trị T, chỉ có một số tiêu chí đánh giá là không phù hợp, đa số các tiêu chí trong bảng hỏi này đánh giá đƣợc công tác QLCLĐT. Đây là một bằng chứng rằng bảng hỏi có độ giá trị nội dung và cấu trúc, nghĩa là nó đo đúng cái cần đo và độ tƣơng quan giữa các câu trong bảng hỏi là tốt.
3.2.4. Sự phù hợp của thang đo
Mỗi tiêu chí đƣợc cụ thể hóa thành các mức (thang đo) khác nhau để đánh giá mức độ đáp ứng tiêu chí với việc đánh giá công tác QLCLĐT. Các tiêu chí đƣợc thiết kế tốt có nghĩa là hệ số tƣơng quan Point Biserial sẽ có độ lớn tăng dần từ những mức thấp đến mức cao của cùng một tiêu chí, nghĩa là mức đáp ứng tiêu chí thấp nhất có hệ số tƣơng quan nhỏ nhất và hệ số tƣơng quan sẽ tăng dần qua các mức cao hơn trong tiêu chí đó.
Kết quả phân tích cho thấy rằng các tiêu chí 5, 13, 15, 18, 23, 24, 26, 27, 28, 29 có hệ số Point Biserial (xem phụ lục 4.1) tăng dần theo các mức đánh giá năng lực của tiêu chí, mức đánh giá cao có hệ số Point Biserial lớn hơn mức đánh giá thấp của cùng tiêu chí đó.
63
Các tiêu chí còn lại đều không phù hợp (chiếm tỷ lệ 2/3), các tiêu chí này có