Thang đánh giá Mức
Rất không quan tâm 1 Không quan tâm 2 Bình thường 3 Quan tâm 4 Rất quan tâm 5 * Cơ sở đánh giá
- Thang đo sự hài lòng được kiểm định bằng độ tin cậy và phân tích nhân tố. - Ngoài ra tác giả sử dụng phần mềm Quest để đánh giá mức độ phù hợp của dữ liệu với mô hình Rasch.
Căn cứ từ cơ sở lý luận đã nêu tại Chương 1 và phần căn cứ đề xuất đã nêu tại Mục 2.1 Chương 2, tác giả đề xuất bộ chỉ số đánh giá chất lượng thực hiện nhiệm vụ của giảng viên đại học với 4 nhóm nhiệm vụ gồm:
- Nhiệm vụ giảng dạy
- Nhiệm vụ nghiên cứu khoa học và chuyển giao công nghệ - Nhiệm vụ quản lý đào tạo, quản lý khoa học công nghệ - Nhiệm vụ học tập, nâng cao trình độ
2.5.1. Khảo sát thử nghiệm
Trước khi tiến hành thử nghiệm, chúng tôi đã tiến hành lấy ý kiến của Ban Giám hiệu và Trưởng phòng Đảm bảo chất lượng của trường ĐHKHTN về thông tin các tiêu chí mà chúng tôi đưa ra trong phiếu khảo sát. Tất cả ý kiến khi được hỏi đều cho rằng những câu hỏi trong phiếu khảo sát hoàn toàn phù hợp và dễ hiểu đối với giảng viên được khảo sát.
2.5.2. Mẫu thử nghiệm
Phiếu khảo sát được thử nghiệm trên mẫu 90 giảng viên đang tham gia giảng dạy học kỳ 2 năm học 2012-2013 của 8 khoa trong trường. Phương pháp chọn mẫu là phương pháp chọn mẫu ngẫu nhiên không theo tỷ lệ.
2.5.2.1. Quy trình khảo sát
Tác giả hướng dẫn về mục đích, ý nghĩa việc khảo sát này và giải thích ý nghĩa từng câu hỏi, từng nhân tố trong phiếu hỏi cho giảng viên, để giảng viên trả lời các câu hỏi một cách khách quan. Chi tiết cụ thể số phiếu phát ra và thu về như sau
- Số phiếu phát ra: 90 phiếu - Số phiếu thu về: 90 phiếu
2.5.2.2. Phân tích số liệu khảo sát
- Xử lý thô các phiếu khảo sát thu thập được, số phiếu sau khi xử lý còn lại 90 phiếu
- Mã hóa các thông tin và nhập dữ liệu vào phần mềm SPSS
- Xử lý tinh: Sau khi nhập số liệu, dùng các thủ thuật thống kê để loại những phiếu mà người trả lời cung cấp thông tin không tin cậy. Số phiếu được dùng để
- Phân tích số liệu: Sử dụng 2 phần mềm chuyên dụng trong phân tích xử lý số liệu là SPSS và QUEST. Sử dụng phần mềm SPSS để xác định độ tin cậy của phiếu khảo sát và sự tương quan giữa các câu hỏi. Sử dụng phần mềm QUEST để khẳng định lại độ tin cậy của phiếu khảo sát và sự phù hợp giữa các câu hỏi trong cấu trúc phiếu, sự phù hợp giữa các câu hỏi trong cấu trúc của từng thành tố
* Phân tích bằng phần mềm SPSS
Độ tin cậy
Cronbach’s Alpha Tổng số biến quan sát .896 37
Lớn nhất Nhỏ nhất Tương quan của từng câu hỏi với nhân tố (biến tổng) .595 .201
Cronbach’s Alpha nếu loại bất kì một biến nào đó .897 .890 Kết quả phân tích cho thấy phiếu khảo sát có độ tin cậy Cronbach’s Alpha = 0.896. Hệ số Cronbach’s Alpha nếu loại bất kỳ một biến nào đó dao động trong khoảng 0.897 dến 0.890, hệ số tương quan của từng câu hỏi với phiếu khảo sát (biến tổng) dao động trong khoảng từ 0.201 đến 0.595. Điều này cho thấy phiếu khảo sát có độ tin cậy cao, các câu hỏi trong phiếu khảo sát có sự tương quan với nhau và tương quan với phiếu khảo sát.
* Phân tích bằng phần mềm Quest
BO CHI SO ---
Item Estimates (Thresholds)
all on thanh (N = 272 L = 37 Probability Level= .50) ---
Summary of item Estimates
Mean .02 SD .45 SD (adjusted) .44 Reliability of estimate .94 Fit Statistics ===============
Infit Mean Square Outfit Mean Square Mean .91 Mean .92 SD .24 SD .23 Infit t Outfit t
Mean 1.01 Mean -.97 SD 3.40 SD 2.55 0 items with zero scores
0 items with perfect scores
======================================================== Kết quả phân tích cho thấy
Giá trị Mean (Summary of item Estimates) = 0.02 Giá trị SD (Summary of item Estimates) = 0.45
Giá trị Mean trong Infit Mean Square và Outfit Mean Square lần lượt là 0.91; 1.01; 0.92; -0.97
Giá trị SD trong Infit Mean Square và Outfit Mean Square lần lượt là 0.24; 3.40; 0.23; 2.55
Khi dữ liệu phù hợp với mô hình Rasch thì trị số kỳ vọng của các bình phương trung bình (mean square) xấp xỉ bằng 1 và trị số kỳ vọng t xấp xỉ bằng 0. Từ các số liệu về giá trị trung bình Mean và độ lệch chuẩn SD có được từ file Test.map khi xử lý dữ liệu bằng phần mềm QUEST, ta thấy dữ liệu dùng để phân tích là phù hợp với mô hình Rasch.
Độ tin cậy của phiếu khảo sát (Reliability of estimate) là 0.76 chứng tỏ phiếu khảo sát có độ tin cậy tương đối cao. Điều này thể hiện các câu hỏi đều phù hợp, tức là điểm các câu hỏi có tính đồng nhất và đều đóng góp độ tin cậy của toàn phép đo.
Bên cạnh sự phù hợp của dữ liệu với mô hình, kết quả phân tích bằng phần mềm Quest còn cho thấy sự phù hợp của từng câu hỏi với mô hình Racsh và giữa các câu hỏi với nhau thông qua biểu đồ Items Fit. Trong biểu đồ Items Fit, mỗi câu hỏi biểu thị bằng dấu *. Những câu hỏi nằm trong hai đường chấm thẳng đứng có giá trị trung bình bình phương độ phù hợp INFIT MNSQ nằm trong khoảng (0.77; 1.30) sẽ phù hợp với mô hình Rasch. Nếu câu hỏi nào không phù hợp thì loại bỏ.
BO CHI SO ---
Item Fit all on thanh (N =272 L = 50 Probability Level= .50)
--- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 ---+---+---+---+---+---+---+---+---+---+--- 1 item 1 . | * . 2 item 2 . * | . 3 item 3 . * | . 4 item 4 . | * . 5 item 5 . * | . 6 item 6 . * | . 7 item 7 . | * . 8 item 8 . | * . 9 item 9 . * | . 10 item 10 . * | . 11 item 11 . * . 12 item 12 . * | . 13 item 13 . * | . 14 item 14 . * | . 15 item 15 . | * . 16 item 16 . | * . 17 item 17 . * | . 18 item 18 . | * . 19 item 19 . * | . 20 item 20 . | * . 21 item 21 . * . 22 item 22 . | * . 23 item 23 . * | . 24 item 24 . * | . 25 item 25 . | * . 26 item 26 . | * . 27 item 27 . | * . 28 item 28 . * | . 29 item 29 . * | . 30 item 30 . * | . 31 item 31 . | * . 32 item 32 . * | . 33 item 33 . * | . 34 item 34 . * | . 35 item 35 . | * . 36 item 36 . | * . 37 item 37 . * | . ---
Kết quả hiển thị trong biểu đồ Items Fit cho thấy tất cả 37 câu hỏi trong phiếu khảo sát được phân tích đều có giá trị Infit MNSQ nằm trong khoảng cho phép (từ 0.77 – 1.30), hơn nữa giá trị Infit MNSQ của tất cả các câu hỏi thì đều tập trung rất gần giá trị 1.0, chứng tỏ các câu hỏi có tính phù hợp cao với mô hình phân tích, kết quả phân tích là chính xác, các câu hỏi đều khá rõ nghĩa và dễ hiểu với giảng viên.
2.5.2.3. Sản phẩm sau thử nghiệm
Trên cơ sở dùng phần mềm Quest để xác định độ tin cậy; tính phù hợp của câu hỏi với mô hình; tính logic giữa các câu hỏi trong phiếu khảo sát, tác giả hoàn thiện phiếu khảo sát để tiến hành điều tra chính thức.
Phiếu chính thức bao gồm 4 nhóm nhiệm vụ:
- Nhóm nhiệm vụ giảng dạy: 8 câu hỏi
- Nhóm nhiệm vụ nghiên cứu khoa học và chuyển giao công nghệ: Nhiệm vụ này gồm 2 nội dung với 9 câu hỏi
+ Nhiệm vụ nghiên cứu khoa học: 5 câu hỏi + Nhiệm vụ chuyển giao công nghệ: 4 câu hỏi
- Nhóm nhiệm vụ quản lý đào tạo và quản lý khoa học công nghệ: Phần này gồm 2
nội dung với 12 câu hỏi
+ Nhiệm vụ quản lý đào tạo: 6 câu hỏi
+ Nhiệm vụ quản lý khoa học công nghệ: 6 câu hỏi
- Nhóm nhiệm vụ học tập và nâng cao trình độ: 8 câu hỏi
2.6. Đánh giá độ hiệu lực của thang đo
Độ hiệu lực của thang đo được xác định như là mức độ chính xác mà thang đo đo đúng cái cấu trúc nó được thiết kế để đo. Mỗi thang đo có nhiều hiệu lực khác nhau, bao gồm độ hiệu lực nội dung; độ hiệu lực cấu trúc; độ hiệu lực tiêu chuẩn và độ hiệu lực dự báo. Theo các chuyên gia thiết kế thang đo thì đánh giá độ hiệu lực nội dung và độ hiệu lực cấu trúc thực chất là xác định xem thang đo đó có đưa ra được một nội dung, một cấu trúc phù hợp để đo một đặc tính cụ thể nào đó không (tức là liệu mỗi item có nội dung phù hợp với nội dung cụ thể cần đo của một chỉ số cụ thể, thuộc một miền đo cụ thể hay từng item có liên quan trực tiếp với một thành phần cụ thể của miền đo và phép đo đó phải có cấu trúc trùng với cấu trúc của cái định đo) và một thang đo được coi là có độ hiệu lực nếu nó đưa ra được một cách đo phù hợp, đo đúng cái nó được thiết kế để đo và được gọi là độ hiệu lực của sự đo lường.
Mỗi thang đo có những miền đo nhất định, những item được thiết kế cho một miền đo nào đó đòi hỏi phải có tính đồng nhất, do vậy có thể dùng phương pháp phân tích nhân tố (EFA) để đánh giá tính đồng nhất của các item (các item có cùng
miền đo được kỳ vọng có quan hệ đáng kể với cùng một loại factor) và đánh giá cấu trúc của phép đo. Thang đo có độ hiệu lực tốt đòi hỏi các item phải có tính đồng nhất tức là có hệ số tải nhân tố (factor loading) lớn hơn 0.3 mới được coi là phù hợp.
Phân tích nhân tố EFA
Sử dụng phương pháp phân tích nhân tố EFA với phép quay Varimax để tiến hành phân tích 37 biến quan sát về thực hiện nhiệm vụ của giảng viên. Số lượng nhân tố được xác định theo phương pháp xác định là 6 nhân tố (tương ứng với 6 thành tố trong nhiệm vụ của giảng viên). Kết quả cụ thể như sau: