Quy trình thu thập số liệu

Chƣơng 1 Cơ sở lý luận về đánh giá năng lực giảng viên đại học

2.3. Quy trình thu thập số liệu

2.3.1. Chọn mẫu

- Chọn tất cả 69 GV giảng dạy chương trình POHE ngành Rau – Hoa quả và Cảnh quan để phát phiếu tự đánh giá năng lực giảng dạy.

- Chọn tất cả 140 SV thuộc khóa 57, 58, 59, 60 tương ứng với SV năm thứ 4, thứ 3, thứ 2, thứ nhất đang theo học chương trình POHE ngành Rau – Hoa quả và Cảnh quan để phát phiếu hỏi ý kiến SV về năng lực giảng dạy của GV.

- Chọn mẫu phỏng vấn:

+ Đối với cán bộ quản lý: Chọn ngẫu nhiên 02 cán bộ trên danh sách đội ngũ cán bộ quản lý CTĐT POHE ngành Rau – Hoa quả và Cảnh quan tại Học viện Nông nghiệp Việt Nam để phỏng vấn theo phiếu phỏng vấn đã chuẩn bị.

+ Đối với GV cốt cán: Chọn ngẫu nhiên 02 GV trên danh sách GV đã được tham gia vào các khóa đào tạo giảng dạy CTĐT POHE Công nghệ Rau – Hoa quả và Cảnh quan lưu tại Ban Quản lý Dự án POHE của Học viện Nông nghiệp Việt Nam để phỏng vấn theo phiếu phỏng vấn.

+ Đối với GV tham gia giảng dạy: Căn cứ vào danh sách GV giảng dạy được liệt kê trong CTĐT POHE ngành Rau – Hoa quả và Cảnh quan, chúng tôi thực hiện lựa chọn 02 GV Khoa Sư phạm và Ngoại ngữ, 02 GV Khoa

Nông học, 01 GV Khoa Công nghệ thực phẩm để phỏng vấn theo phiếu phỏng vấn.

+ Đối với SV theo học CTĐT POHE: Căn cứ vào danh sách lớp của các khóa ngành Rau – Hoa quả và Cảnh quan lựa chọn ngẫu nhiên 05 SV trong đó 01 SV/1 khóa (năm 1, năm 2, năm 3) và 02 SV/ 1 khóa (năm 4) để phỏng vấn theo phiếu phỏng vấn đã chuẩn bị.

2.3.2. Lấy số liệu

- Phổ biến mục đích của phiếu hỏi với GV và SV tham gia thử nghiệm - Phát phiếu tự đánh giá cho GV và phiếu hỏi ý kiến cho SV đọc và hoàn thành - Thu phiếu hỏi

- Nhập các dữ liệu thu được vào phần mềm thống kê SPSS để phân tích, sau đó xử lý dữ liệu và chạy phần mềm QUEST để xác định độ tin cậy của phiếu hỏi, cấu trúc và sự phù hợp của các câu hỏi.

- Phỏng vấn trực tiếp, ghi âm và ghi chép các câu trả lời (chỉ thực hiện khi thử nghiệm bộ tiêu chí).

2.3.3. Quy trình xây dựng bảng hỏi

a – Từ các chỉ báo của từng tiêu chí tiến hành xây dựng các bảng hỏi cho GV tự đánh giá và SV đánh giá

Sau khi xin ý kiến của một số chuyên gia bằng phiếu hỏi ý kiến chuyên gia (Phụ lục 3) và được các chuyên gia đánh giá các chỉ báo phù hợp với nhóm tiêu chí, số lượng tiêu chí phù hợp với khoảng thời gian 10 -15 phút điều tra. Sau đó chúng tơi đã hồn thành phiếu tự đánh giá cho GV (Phụ lục

1A) và phiếu hỏi ý kiến cho SV (Phụ lục 2A). b - Phiếu hỏi và thang đo

Phiếu hỏi dành cho GV và SV bao gồm hai phần: Phần thông tin cá nhân của người được hỏi; Phần nội dung các tiêu chí đánh giá là những nhận định đòi hỏi người trả lời phải cân nhắc và xác định mức độ với nhận định đó theo thang đo Likert. Thang đo Likert được sử dụng là thang gồm 4 mức như sau:

Dưới trung bình Trung bình Khá Tổt

1 2 3 4

c – Tiến hành thử nghiệm bảng hỏi với số lượng GV là 18 cán bộ ở độ tuổi từ trẻ đến trung niên, có các học vị như sau: Tiến sĩ: 09 GV; Thạc sỹ: 07 GV; Cử nhân: 02 GV. Đây là những GV thuộc Bộ môn Rau – Hoa - Quả - Khoa Nông học, Bộ môn Phương pháp giáo dục – Khoa Sư phạm và Ngoại ngữ, Khoa Công nghệ thực phẩm đã trực tiếp giảng dạy cho CTĐT POHE ngành Rau – Hoa quả và Cảnh quan.

Thử nghiệm bảng hỏi SV với số lượng 40 SV chuyên ngành Rau – Hoa quả và Cảnh quan khóa 57, 58, 59, 60 tương ứng với SV năm thứ 4, thứ 3, thứ 2, thứ nhất (10SV/ 1khóa) ngẫu nhiên theo các lớp khi đến điều tra.

Thu phiếu hỏi và kiểm tra các thông tin đảm bảo phiếu hỏi đạt yêu cầu. Nhập các dữ liệu thu được vào phần mềm thống kê SPSS để phân tích, sau đó xử lý dữ liệu và chạy phần mềm QUEST để xác định độ tin cậy của phiếu hỏi, cấu trúc và sự phù hợp của các câu hỏi.

Kết quả thử nghiệm bộ tiêu chí sau khi chạy thử thu đƣợc nhƣ sau: * Chất lƣợng bảng hỏi của phiếu tự đánh giá năng lực giảng dạy của GV

Summary of case Estimates ========================= Mean .67 SD 2.17 SD (adjusted) 2.12 Reliability of estimate .95 Fit Statistics ===============

Infit Mean Square Outfit Mean Square Mean 1.18 Mean 1.07 SD .44 SD .45 Infit t Outfit t Mean .41 Mean .29 SD .85 SD .53

Căn cứ vào kết quả thu được, chúng tôi thấy hệ số tin cậy tính tốn kết quả phép đo theo từng trường hợp đạt 0.95 (lớn hơn ngưỡng 0.8) là một giá trị khá cao, cho phép chúng tôi kết luận kết quả khảo sát rất đáng tin cậy. Bên cạnh đó, bình phương trung bình infit (1.18) và bình phương trung bình outfit (1.07) đều gần bằng 1, chứng tỏ số liệu khảo sát đã tương thích với mơ hình Rasch. Xem xét đến các giá trị trung bình infit và outfit chuyển đổi (infit t = 0.41 và outfit t = 0.29) đều tương đối gần giá trị 0. Thêm vào đó, các giá trị độ lệch chuẩn (SD) của t-values đều nhỏ và gần giá trị 0. Điều này chứng tỏ dữ liệu tương thích chặt chẽ với mơ hình.

Kết quả xử lý số liệu cũng cho thấy giá trị infit của 27 câu hỏi trong phiếu tự đánh giá năng lực giảng dạy của GV để tìm hiểu về đặc tính phù hợp của các câu hỏi. Theo như lý thuyết, các câu hỏi có giá trị infit nằm trong khoảng đồng bộ cho phép (-0.77; 1.3) là các câu hỏi đều chấp nhận được, còn các trường hợp nằm ngoài khoảng đồng bộ cho phép sẽ câu hỏi ngoại lai, cần chỉnh sửa hoặc hủy bỏ.

Item Fit

all on chaythudieutragv (N = 18 L = 27 Probability Level= .50) ------------------------------------------------------------- INFIT MNSQ .36 .40 .45 .53 .63 2.50 2.80 ----------+---------+---------+---------+---------+---------+ 1 item 1 2 item 2 3 item 3 4 item 4 5 item 5 6 item 6 7 item 7 8 item 8 9 item 9 10 item 10 11 item 11 12 item 12 13 item 13 14 item 14 15 item 15 16 item 16 17 item 17 18 item 18 19 item 19 20 item 20 21 item 21 * . 22 item 22 23 item 23 24 item 24 25 item 25 26 item 26 27 item 27 ============================================================= --------------------------------------------------- .77 1.00 1.30 1.60 1.90 2.20 ---------+---------+---------+---------+---------+- . * | . . * | . . | * . * | . * | . . | * . . | * . . * | . . * . . * | . . *| . . | * . . | * . . * . . | * . . | . * . |* . . | . * . | . * . | . * | . . | . * . | . * . | * . . * | . . | * . | * . =================================

Hình 2.2. Bản đồ phân bố giá trị infit các câu hỏi của phiếu tự đánh giá GV Kết quả thử nghiệm cho thấy: Các câu hỏi 16, 18, 19, 20, 21, 22, 23 cần phải

sửa lại vì đã rơi ra ngồi khoảng đồng bộ cho phép [INFIT MNSQ 0.77 – 1.3]. Chúng tôi xem xét lý do và chỉnh sửa các câu hỏi này bằng phỏng vấn:

Hộp 2.1. Hộp phỏng vấn những chỉ báo chưa đạt của bộ tiêu chí đánh giá năng lực giảng dạy của GV CTĐT POHE tại Học viện Nông nghiệp Việt Nam

(Tự đánh giá của GV)

Chỉ báo chƣa đạt Lý do

Sử dụng nhiều tài liệu tham khảo trong giảng dạy học phần?

Cụm từ “nhiều tài liệu tham khảo” đa nghĩa có thể là đề cập đến số lượng tài liệu, nguồn tài liệu, mức độ sử dụng… tác giả nên nhấn mạnh vào số lượng nguồn tài liệu (Nữ GV, 42 tuổi, học vị Tiến sỹ)

- Thực hiện chuyên đề/ seminar trong hoạt động chun mơn?

- Chủ trì đề tài nghiên cứu hoặc công bố khoa học về chuyên ngành?

Thuật ngữ “Chuyên đề/seminar” không thật sự được hiểu đồng nhất ở các Khoa trong Học viện vì vậy cần tập trung vào hướng đề tài nghiên cứu khoa học hoặc hướng công bố khoa học cho hai tiêu chí này (Nữ GV, 39 tuổi, học vị Thạc sỹ)

Hướng dẫn SV nghiên cứu khoa học?

Trên thực tế có những Thầy/ Cơ giảng dạy cho CTĐT POHE nhưng chưa hướng dẫn SV nghiên cứu khoa học, vì thế nên mở rộng thêm dạng hướng dẫn nghiên cứu để tất cả các GV đều có thể trả lời cho chỉ báo này (Nam GV, 52 tuổi, học vị Tiến sỹ)

- Tổ chức các tình huống nghề nghiệp thực tế cho SV nghiên cứu học phần?

- Thực hiện các thí nghiệm/thực nghiệm cho SV?

Thuật ngữ “Tổ chức” “thực hiện” yêu cầu GV giảng dạy và SV cùng phải thực hiện tuy nhiên trên thực tế có nhiều GV khi giảng dạy chỉ dừng ở mức liên hệ hoặc làm mẫu cho SV vì thế cần lựa chọn các cụm từ thay thế cho phù hợp (Nữ GV, 27 tuổi, học vị Cử nhân)

Hướng dẫn SV xác định rõ mục tiêu, xây dựng kế hoạch phù hợp với học phần?

Thuật ngữ “xác định rõ mục tiêu, xây dựng

kế hoạch” cần phải được tách ra thành 2 chỉ

báo khác biệt, vì thế tác giả cần xem xét lại khía cạnh nào tác giả đang muốn nhấn mạnh

Như vậy, do một số khái niệm trong các chỉ báo nêu trên GV không hiểu các khái niệm một cách đồng nhất, giống nhau (câu 16, 18, 21, 22) hoặc các câu hỏi khó chọn đáp án trả lời (câu 19, 20, 23) dẫn đến các câu hỏi trên bị rơi ra ngoài đồng bộ cho phép.

* Sửa chữa các câu hỏi 16, 18, 19, 20, 21, 22, 23 lại là:

Câu 16: Sử dụng tài liệu tham khảo từ nhiều nguồn khác nhau trong giảng dạy học phần?

Câu 18: Chủ trì/Tham gia đề tài nghiên cứu khoa học về chuyên ngành? Câu 19: Tác giả/Đồng tác giả công bố khoa học về chuyên ngành?

Câu 20: Hướng dẫn SV nghiên cứu khoa học hoặc khóa luận tốt nghiệp? Câu 21: Liên hệ nội dung học phần với các tình huống thực tế nghề nghiệp? Câu 22: Làm mẫu các thí nghiệm/thực nghiệm cho SV trong giảng dạy học phần? Câu 23: Hướng dẫn SV xây dựng kế hoạch học tập đối với học phần?

* Chất lƣợng bảng hỏi của phiếu hỏi ý kiến SV

Summary of case Estimates ========================= Mean .82 SD 1.13 SD (adjusted) 1.06 Reliability of estimate .88 Fit Statistics ===============

Infit Mean Square Outfit Mean Square

Mean .86 Mean .88 SD .23 SD .24 Infit t Outfit t Mean -.52 Mean -.32 SD 1.04 SD .79

Hình 2.3. Bảng kết quả thống kê sự phù hợp của phiếu hỏi ý kiến SV

Tương tự như đối với phân tích chất lượng bảng hỏi trong phiếu tự đánh giá GV, chúng tơi cũng xét đến hệ số tin cậy tính tốn kết quả phép đo theo từng trường hợp đạt 0.88 cũng là một giá trị tương đối cao, cho phép chúng tôi kết luận kết quả khảo sát đáng tin cậy. Bên cạnh đó, bình phương trung bình infit (0.86) và bình phương trung bình outfit (0.88) đều gần bằng 1, chứng tỏ số liệu khảo sát đã tương thích với mơ hình Rasch. Xem xét đến các

giá trị trung bình infit và outfit chuyển đổi (infit t = -0.52 và outfit t = -0.32) đều tương đối gần giá trị 0. Tuy nhiên, các giá trị độ lệch chuẩn (SD) của t- values đều hơi xa giá trị 0. Điều này chứng tỏ dữ liệu chưa tương thích chặt

chẽ với mơ hình. Chúng tơi cho rằng một số cấu hỏi có thể chưa thật sự phù

hợp với cấu trúc của chúng và cần chỉnh sửa. Để kiểm tra điều này chúng tôi tiếp tục phân tích kết quả xử lý số liệu về giá trị infit của 22 câu hỏi trong phiếu hỏi ý kiến SV để tìm hiểu về đặc tính phù hợp của từng câu hỏi. Tìm ra các câu hỏi ngoại lai cần chỉnh sửa.

PHIEU HOI SINHVIEN

---------------------------------------------------------------------------------------Item Fit all on phieuhoisv (N = 40 L = 22 Probability Level= .50)

Hình 2.4. Bản đồ phân bố giá trị infit các câu hỏi của phiếu hỏi ý kiến SV Kết quả thử nghiệm cho thấy: Các câu hỏi 10, 11, 19, 21, 22 cần phải sửa

lại vì đã rơi ra ngồi khoảng đồng bộ cho phép [INFIT MNSQ 0.77 – 1.3].

Chúng tôi xem xét lý do và chỉnh sửa các câu hỏi này bằng phỏng vấn SV:

Hộp 2.2. Hộp phỏng vấn những chỉ báo chưa đạt của bộ tiêu chí đánh giá năng lực giảng dạy của GV CTĐT POHE tại Học viện Nông nghiệp Việt Nam

(SV đánh giá)

Chỉ báo chƣa đạt Lý do

GV khuyến khích SV tư duy độc lập trong giảng dạy học phần?

Thuật ngữ “tƣ duy độc lập” còn quá chung chung cần nêu rõ và cụ thể hoặc thay thế bằng thuật ngữ dễ tiếp cận hơn đối với SV (Nữ SV, năm 1)

GV xử lý được các tình huống sư phạm trong lớp học?

Thuật ngữ “tình huống sư phạm” là thuật ngữ khó đối với sinh viên cần thay bằng một thuật ngữ dễ hiểu và dễ hình dung hoặc có giải thích cụ thể sau thuật ngữ này (Nam SV, năm 2)

GV hỗ trợ SV phát triển được các mối quan hệ với thế giới nghề nghiệp?

Thực tế, nhiều SV chưa có mối quan hệ với thế giới nghề nghiệp nên đối với chỉ báo này cần đề cập đến cả khía cạnh đó là hỗ trợ SV xây dựng mối quan hệ

Năng lực của một GV đại học

Hình thành bộ tiêu chí