2.8. Đánh giá bộ tiêu chí đánh giá năng lực quản lý
2.8.3. Đánh giá thang đo bằng mơ hình Rasch thơng qua sử dụng phần mền
mền Quest
Tác giả sử dụng thêm phần mền QUEST để phân tích chất lượng bộ cơng cụ khảo sát nhằm khẳng định lại độ tin cậy của phiếu khảo sát. Để dữ liệu phù hợp với mơ hình Rasch thì trị số kỳ vọng của các bình phương trung bình (mean square) xấp xỉ bằng 1 và độ lệch chuẩn (SD) xấp xỉ bằng 0.
Kết quả ước tính phù hợp thống kê
PHIEU HOI
------------------------------------------------------------------------------------------------------------------------------------ Item Estimates (Thresholds)
all on phieuhoi (N = 160 L = 58 Probability Level= .50) ------------------------------------------------------------------------------------------------------------------------------------ Summary of item Estimates
=========================
Mean -.01 Khi dữ liệu phù hợp với mơ hình thì
SD .33 Mean phải bằng hoặc gần bằng 0.00
SD (adjusted) .31
Reliability of estimate .84
Fit Statistics ===============
Infit Mean Square Outfit Mean Square
Mean 1.01 Mean 1.01 Mean phải bằng hoặc gần 1.00
SD .21 SD .21 SD phải bằng hoặc gần 0.00 Infit t Outfit t Mean -.01 Mean .03 SD 1.77 SD 1.46
0 items with zero scores 0 items with perfect scores
============================================================================================ PHIEU HOI
------------------------------------------------------------------------------------------------------------------------------------ Case Estimates
all on phieuhoi (N = 160 L = 59 Probability Level= .50) ------------------------------------------------------------------------------------------------------------------------------------ Summary of case Estimates
========================= Mean .69 SD .68 SD (adjusted) .66 Reliability of estimate .95 Fit Statistics ===============
Infit Mean Square Outfit Mean Square
Mean 1.00 Mean 1.01 Mean phải bằng hoặc gần 1.00
SD .44 SD .46 SD phải bằng hoặc gần 0.00 Infit t Outfit t Mean -.23 Mean -.13 SD 2.23 SD 1.87
0 cases with zero scores 0 cases with perfect scores
============================================================================================
Hình 2.8.3.1 Kết quả kiểm tra theo mơ hình Rasch bằng cách sử dụng phần mền Quest cho bảng hỏi sau đi đã bỏ đi 03 biến
Như vậy, ta có thể thấy:
- Ước tính phù hợp thống kê: Giá trị Mean = -0.01 gần bằng với giá trị mean điều kiện (bằng hoặc gần bằng 0.00) và SD = 0.33 tiến tới giá trị SD điều kiện (bằng hoặc gần bằng 1.00). Giá trị mean ở Infit Mean Square là 1.00 và ở Outfit Mean Square là 1.01 gần bằng với giá trị mean điều kiện (bằng hoặc gần bằng 1.00). Giá trị SD ở Infit Mean Square là 0.44 và ở Outfit Mean Square cũng là 0.46 gần bằng với giá trị SD điều kiện (bằng hoặc gần bằng 0.00). Như vậy, ước tính trường hợp thì dữ liệu hồn tồn phù hợp với mơ hình Rasch. Do đó, ta có thể kết luận: Dữ liệu phù hợp với mơ hình Rasch.
- Ước tính trường hợp: Giá trị mean ở Infit Mean Square là 1.00 và ở Outfit Mean Square là 1.01 gần bằng với giá trị mean điều kiện (bằng hoặc gần
bằng 1.00). Giá trị SD ở Infit Mean Square là 0.21 và ở Outfit Mean Square cũng là 0.21 gần bằng với giá trị SD điều kiện (bằng hoặc gần bằng 0.00). Do đó, ước tính trường hợp thì dữ liệu hồn tồn phù hợp với mơ hình Rasch.
Kiểm tra mức độ phù hợp của từng câu hỏi với nhau, các câu hỏi nằm trong khoảng đồng bộ cho phép từ 0,77 đến 1,30 thì được giữ lại để tiến hành điều tra cho đợt khảo sát chính thức, những câu hỏi nằm ngồi khoảng đồng bộ cần phải sửa chữa lại hoặc loại bỏ ra khỏi phiếu khảo sát.
PHIEUHOI
------------------------------------------------------------------------------------------------------------------------------------ Item Fit
all on phieuhoi (N = 160 L = 58 Probability Level= .50) ------------------------------------------------------------------------------------------------------------------------------------ INFIT MNSQ .45 .50 .56 .63 .71 .83 1.00 1.20 1.40 1.60 1.80 2.00 2.20 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+- 1 item 1 . | * . 2 item 2 . * | . 3 item 3 . | * . 4 item 4 . | * . 5 item 5 . | * . 6 item 6 . | * . 7 item 7 . | * . 8 item 8 . | . * 9 item 9 . | . * 10 item 10 . | . * 11 item 11 . | * . 12 item 12 . | *. 13 item 13 . * | . 14 item 14 . * | . 15 item 15 . | . * 16 item 16 * | . 17 item 17 . | * . 18 item 18 . * | . 19 item 19 . * | . 20 item 20 . | * . 21 item 21 . | * . 22 item 22 . | * . 23 item 23 . * | . 24 item 24 * | . 25 item 25 * . | . 26 item 26 . * | . 27 item 27 * | . 28 item 28 . * | . 29 item 29 * . | . 30 item 30 . * . 31 item 31 . * | . 32 item 32 . * | . 33 item 33 . * | . 34 item 34 * . | . 35 item 35 . | * . 36 item 36 * . | . 37 item 37 . | * . 38 item 38 . * | . 39 item 39 . | * . 40 item 40 . | . * 41 item 41 . | * . 42 item 42 . | * . 43 item 43 . | * . 44 item 44 . * | . 45 item 45 . * | . 46 item 46 . | * . 47 item 47 . | * . 48 item 48 . *| . 49 item 49 . | . * 50 item 50 . | * . 51 item 51 * . | . 52 item 52 . | * . 53 item 53 . * | . 54 item 54 . | * . 55 item 55 . * | . 56 item 56 . *| . 57 item 57 . * | . 58 item 58 . | * . ===========================================================================================================================
Nhìn vào bảng thể hiện mức độ phù hợp của các câu hỏi, có thể dễ dàng nhận thấy có tới 12 câu hỏi ngoại lai (nằm ngoài khoảng giá trị Infit MNSQ 0,77 đến 1.30). Như vậy, lý thuyết mơ hình Rasch cho thấy cần phải xem xét và loại bỏ những biến không phù hợp với bảng hỏi này. Trong q trình thiết kế bảng hỏi cũng đã tính đến khả năng này. Chính vì vậy, trong trường hợp này để làm cho các câu hỏi nằm trong khoảng đồng bộ cho phép thì chỉ cần loại bỏ các câu hỏi ngoại lai đi hoặc ở một số các câu hỏi tác giả chọn phương pháp sửa chữa nếu các câu hỏi chưa thực sự tường minh làm cho đối tượng được khảo sát không hiểu hoặc cảm thấy không cần thiết do chưa hiểu rõ câu hỏi.
Tác giả tiến hành loại dần các biến ngoại lai gồm các tiêu chí sau:
- PC8: có tư duy của nhà quản lý giáo dục. Thực tế cho thấy, đây là một tiêu chí tương đối khó đánh giá, thế nào được gọi là tư duy của nhà quản lý? Đánh giá tư duy quản lý trên phương diện nào còn chưa thực sự rõ ràng. Đối với trường đại học MTCN cũng chưa bao giờ đưa tiêu chí này vào để đánh giá đội ngũ CBQL cấp phòng ban. Cho nên, tiêu chí này chưa áp dụng được trong Nhà trường ít nhất ở thời điểm này.
- PC9: Tạo dựng và duy trì lịng tin đối với người dưới quyền. Câu hỏi này chỉ có một vế có thể sử dụng được là “duy trì lịng tin” cịn việc tạo dựng lòng tin đối với người dưới quyền thì phải có trước khi là một CBQL. Bởi phải có lịng tin thì tập thể mới tín nhiệm bầu vào các chức vụ lãnh đạo. Hơn nữa, việc tạo dựng và duy trì lịng tin khơng chỉ đối với người dưới quyền mà cịn đối với cả cấp trên, đối tác, học sinh, sinh viên và thậm chí cả phụ huynh. Chính vì vậy, đối với câu hỏi này chưa thực sự diễn đạt được đầy đủ những gì mà lĩnh vực này muốn hỏi nên có thể loại bỏ biến này ra khỏi thang đo.
- CM1: Nắm vững và cập nhật những kiến thức về giáo dục đại học. Đây là một tiêu chí cần thiết đối với mỗi một cán bộ, viên chức làm trong trường đại học. Tuy nhiên bên dưới tiêu chí này lại có một tiêu chí nữa cũng gần giống với nó là CM2 (Am hiểu về lý luận, nghiệp vụ và quản lý giáo dục đại học), Như vậy có thể thấy, hai tiêu chí này có thể gộp vào làm một, tiêu chí CM2 đầy đủ và bao hàm được tiêu chí CM1, nên CM1 có thể loại khỏi thang đo.
Các tiêu chí khác cũng lần lượt bị loại là:
- CM7: Áp dụng những thành tựu nghiên cứu khoa học phục vụ hoạt động quản lý ở lĩnh vực được giao phụ trách.
- QL7: Xây dựng những giá trị của đơn vị và hướng đến xây dựng văn hóa tổ chức. - QL11: Biết khai thác các nguồn thông tin quản lý, đẩy mạnh ứng dụng công nghệ thông tin trong quản lý.
- KN7: Phát triển các kỹ năng giải thích, tư vấn cho đội ngũ dưới quyền.
- KN11: Kỹ năng huy động, sử dụng các nguồn lực thực thi kế hoạch của đơn vị. - CC1: Vận dụng những kiến thức về tâm lý học trong các mối quan hệ với cấp trên, đồng nghiệp, cấp dưới và đối tác trong các hoàn cảnh đa dạng
- CC3: Cung cấp cho người dưới quyền những mối quan hệ trong công việc và là trung gian trong các mối quan hệ này.
- CC4: Quản lý toàn diện các mối quan hệ trong và ngoài tổ chức liên quan đến vị trí cơng tác
- CC12: Sử dụng công nghệ thông tin, hệ thống mạng để phát huy những mối quan hệ có được ở trong nước và quốc tế
Nguyên nhân là do:
- Thứ nhất: khó đánh giá chính xác được tiêu chí đó trong thực tế tại trường đại học MTCN. Tại trường đại học MTCN, cho thấy nếu áp dụng các tiêu chí này để đánh giá thì khơng đo được chính xác mức độ muốn đo, các tiêu chí cung có tính trìu tượng cao nên khơng thể đáp ứng được mục đích đánh giá đối tượng CBQL cấp phịng ban.
- Thứ hai: trùng lặp với các câu hỏi khác, đã bao hàm ở những tiêu chí khác, thậm chí khơng phù hợp với lĩnh vực đánh giá.
Sau khi loại bỏ các biến ngoại lai này, kiểm tra mức độ phù hợp của câu hỏi đã cho thấy, độ tin cậy của mức độ tính tốn đạt 0.93 là đáng tin cậy, phần lớn các câu hỏi có giá trị Infit MNSQ nằm trong khoảng từ 0,77 đến 1,30 điều đó có nghĩa là bộ tiêu chí này đã hợp thành một cấu trúc. Tuy nhiên còn lại 03 tiêu chí nằm ngồi khoảng đồng bộ gồm: CM3, KN4, KN6, cả ba tiêu chí này đều rất quan trọng trong đánh giá năng lực quản lý của CBQL cấp phòng ban chức năng chức. chính vì vậy, chúng tơi sẽ
vẫn giữ lại những tiêu chí này trong bộ tiêu chí đánh giá để sửa chữa lại cho tường minh, rõ ràng hơn khi triển khai đánh giá CBQL.
PHIEU HOI ------------------------------------------------------------------------------------------------------------------------------------ Item Fit 25/ 9/16 10: 1 all on phieuhoi (N = 160 L = 48 Probability Level= .50) ------------------------------------------------------------------------------------------------------------------------------------ INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+-