Chƣơng 2 : PHƢƠNG PHÁP NGHIÊN CỨU
2.2. Các bƣớc xây dựng Bộ chỉ số đánh giá
2.2.3. Xác định mẫu và chọn mẫu
Đề tài nghiên cứu về mối tương quan giữa các hình thức đánh giá năng lực giảng dạy của GV, khách thể nghiên cứu bao gồm: sinh viên, GV.
Có nhiều hình thức đánh giá năng lực giảng dạy của GV. Tuy nhiên, trong khuôn khổ nghiên cứu của đề tài này, tác giả tập trung vào các hình thức chính: GV tự đánh giá về năng lực giảng dạy và lấy ý kiến sự hài lòng của học viên về năng lực giảng dạy của GV.
2.2.3.1. Mẫu giáo viên
Hiện nay, Trường TC CSGT có 9 khoa, bộ mơn (tại Trường TC CSGT các Khoa và Bộ mơn có vị trí, cơ cấu tổ chức ngang hàng như nhau), tác giả chọn khảo sát tại 9 Khoa, Bộ mơn (Chính trị, Pháp luật, Nghiệp vụ Cơ sở, Ngoại ngữ - Tin học, Khoa Điều tra Trinh sát Cảnh sát, Khoa Cảnh sát phòng chống tội phạm về ma tuý, Khoa Nghiệp vụ Cảnh sát Giao thông đường bộ - Đường sắt, Khoa Cảnh sát giao thông đường thủy, Khoa Cảnh sát Quản lý hành chính về trật tự xã hội) do những đơn vị này đã trực tiếp giảng dạy học viên ở các lớp đến thời điểm khảo sát (9/2014). Thời gian bắt đầu từ đầu học kỳ 2 năm học 2014 – 2015.
Về độ tuổi của các GV, tác giả phân chia như sau:
- Nhóm 1: có độ tuổi dưới 27. Đây là đội ngũ GV xuất phát điểm là SV các trường CAND sau khi tốt nghiệp ra trường GV được phân công làm GV
51
tại các Khoa, Bộ môn hoặc các GV được tuyển dụng mới vào Trường để giảng dạy các học phần cơ sở. Các GV này sẽ phải trải qua quá trình tập sự, đi thực tế và duyệt giảng. Tồn bộ thời gian trên trung bình là 1 năm. Như vậy, để có thể lên lớp giảng dạy, tính trung bình độ tuổi của GV là 24. Những GV trong nhóm này là những người mới bắt đầu giảng dạy, kinh nghiệm và kiến thức chuyên môn chưa được sâu, chưa có sự ổn định trong chất lượng bài giảng ở toàn bộ thời gian giảng dạy.
- Nhóm 2: có độ tuổi từ 27 đến 35. Những GV trong độ tuổi này đã có kinh nghiệm trong giảng dạy, kiến thức chun mơn liên tục được trau dồi, chất lượng bài giảng ổn định và đã có những thành tựu nhất định trong giảng dạy (danh hiệu GV dạy giỏi, nghiên cứu đề tài…).
- Nhóm 3: có độ tuổi từ 36 đến 45. Những GV trong nhóm tuổi này đã có thâm niên trong giảng dạy, liên tục được bồi dưỡng về kiến thức chuyên môn cũng như thực tế, khả năng sư phạm, truyền đạt tới sinh viên cao và được sinh viên hưởng ứng.
- Nhóm 4: có độ tuổi từ 46 đến 55. Những GV trong nhóm tuổi này đã có thâm niên trong giảng dạy, liên tục được bồi dưỡng về kiến thức chuyên môn cũng như thực tế, khả năng sư phạm, truyền đạt tới sinh viên cao, giữ vị trí lãnh đạo trong bộ mơn, khoa và đã có chức danh giáo viên cao cấp trung cấp chuyên nghiệp.
52
Bảng 2.2: Cơ cấu giáo viên các Khoa, Bộ mơn theo nhóm tuổi
STT Đơn vị Nhóm I Nhóm II Nhóm III Nhóm IV Tổng số 1 BM Chính trị 4 9 1 0 14 2 BM Pháp luật 3 10 0 0 13 3 BM Nghiệp vụ cơ sở 6 8 1 0 15 4 BM Ngoại ngữ - Tin học 4 8 2 0 14 5 Khoa Cảnh sát ma tuý 1 16 1 1 19
6 Khoa Điều tra
Trinh sát Cảnh sát 8 11 0 0 15 7 Khoa CSGT Đường bộ, đường sắt 3 6 0 1 10 8 Khoa CSGT Đường thủy 3 9 0 0 12 9 Khoa QLHC về TTXH 1 7 0 0 8 Tổng cộng: 120 giáo viên
Tiến hành chọn ngẫu nhiên 01 giáo viên trong mỗi đơn vị để học viên tiến hành đánh giá năng lực giảng dạy, ta có kết quả như sau:
Bảng 2.3: Cơ cấu giáo viên tham gia vào nghiên cứu
STT Đơn vị Số lƣợng giáo viên Giáo viên Nhóm tuổi 1 BM Chính trị 1 GV1 2 2 BM Pháp luật 1 GV2 2 3 BM Nghiệp vụ cơ sở 1 GV3 2 4 BM Ngoại ngữ- Tin học 1 GV4 3 5 BM QSVT – TDTT 1 GV5 3
6 Khoa Điều tra Trinh sát Cảnh sát 1 GV6 3
7 Khoa CSGT Đường bộ, đường sắt 1 GV7 4
8 Khoa CSGT Đường thủy 1 GV8 2
53
2.2.3.2. Mẫu học viên
Trường TC CSGT hiện có 19 lớp hệ chính quy chia thành 2 khóa K2S và K3S. Để đảm bảo tính khách quan và chính xác của nghiên cứu, tác giả chọn các lớp được 9 GV thuộc các khoa, bộ môn trên tham gia giảng dạy để lấy ý kiến phản hồi về năng lực giảng dạy của giáo viên. Qua kiểm tra, có 9 lớp thỏa mãn yêu cầu trên với tổng số 215 học viên. Vì vậy, tác giả sẽ chọn ngẫu nhiên 215 học viên trên tổng số học viên của 9 lớp để tiến hành lấy ý kiến phản hồi đối các GV tham gia giảng dạy.
Bảng 2.4: Mẫu học viên tham gia lấy ý kiến phản hồi
STT LỚP NAM NỮ TỔNG SỐ 1 K2S – K2S – GB1 27 3 30 2 K2S – GT1 22 3 25 3 K2S – KV 18 2 20 4 K2S – HS 19 1 20 5 K2S – MT 13 2 15 6 K3S – GB1 28 2 30 7 K3S – GT1 27 3 30 8 K3S – KV1 27 3 20 9 K3S – KT1 22 2 25 Tổng cộng: 215 học viên 2.2.4. Thiết kế công cụ đo
Trên cơ sở nghiên cứu lý luận và thực tiễn các cơng trình nghiên cứu về năng lực giảng dạy của giáo viên tác giả tiến hành thiết kế và xây dựng 2 phiếu khảo sát phục vụ cho việc nghiên cứu theo các bước chính sau:
- Xác định mục đích, phạm vi, nội dung của phiếu khảo sát:
Phiếu khảo sát được xây dựng với mục đích thu thập ý kiến của GV đang tham gia giảng dạy và học viên các lớp Khóa K2S và K3S đang học hệ chính quy tại trường TC CSGT. Nội dung trọng tâm của phiếu khảo sát là lấy ý kiến của GV tự đánh giá về năng lực giảng dạy của bản thân và lấy ý kiến sự hài lòng của học viên về năng lực giảng dạy của các giáo viên trường TC CSGT.
54
- Thiết kế dự thảo phiếu khảo sát:
+ Dựa trên cơ sở lý luận, tham khảo các cơng trình nghiên cứu có liên quan đến đề tài, các câu hỏi được thiết kế dựa trên các tiêu chí nhằm đo lường, đánh giá được các năng lực cần thiết của một giáo viên giảng dạy hệ trung cấp chuyên nghiệp.
+ Phiếu sơ thảo được thảo luận giữa tác giả với chuyên gia để phân tích kỹ về tính logic của cấu trúc phiếu, các nội dung của từng câu hỏi trong phiếu và số lượng các câu hỏi trong từng nhân tố.
+ Phân tích các ý kiến đóng góp của các GV và HV từ kết quả phỏng vấn bán cấu trúc, tác giả tiến hành chỉnh lý lại các câu hỏi và tổng thể phiếu để hoàn thiện lần cuối phiếu khảo sát và định dạng lại hình thức phiếu khảo sát để đưa vào thử nghiệm.
- Nội dung phiếu khảo sát:
+ Phiếu tự đánh giá năng lực giảng dạy của giáo viên trường TC CSGT
gồm 45 câu hỏi được trình bày trong Phụ lục 1A. Mỗi câu hỏi là một nhận định đòi hỏi GV phải cân nhắc và xác định mức độ đồng ý với nhận định đó theo thang đo Likert như sau:
Hoàn tồn khơng đồng ý Không đồng ý Không ý kiến, tạm chấp nhận đƣợc Đồng ý Hoàn toàn đồng ý 1 2 3 4 5 Phiếu khảo sát gồm 2 phần:
Phần 1 là các nội dung liên quan đến các tiêu chí đánh giá năng lực
giảng dạy của giáo viên, trong đó các nội dung được xây dựng trên cơ sở sử dụng thang đo Likert với 5 mức độ.
Nội dung 1 gồm có 5 câu hỏi về năng lực chuyên môn của GV
55 hoạch bài dạy của GV
Nội dung thứ 3 bao gồm 4 câu hỏi về năng lực sử dụng ngơn ngữ trong q trình giảng dạy của GV
Nội dung thứ 4 bao gồm 12 câu hỏi liên quan đến việc đánh giá năng lực sử dụng phương pháp, phương tiện dạy học của GV
Nội dung thứ 5 bao gồm 7 câu hỏi về năng lực giao tiếp ứng xử trong sư phạm của GV
Nội dung thứ 6 gồm có 5 câu hỏi về năng lực kiểm tra đánh giá của GV trong quá trình dạy học
Nội dung thứ 7 gồm 2 câu hỏi đánh giá năng lực tham giá đánh giá và phát triển chương trình đào tạo, tài liệu dạy học của GV.
Phần 2: Thông tin chung về đối tượng khảo sát.
+ Phiếu lấy ý kiến sự hài lòng của HV về năng lực giảng dạy của giáo viên trường TC CSGT gồm 43 câu hỏi được trình bày trong Phụ lục 1B. Mỗi câu hỏi là một nhận định đòi hỏi HV phải cân nhắc và xác định mức độ đồng ý với nhận định đó theo thang đo Likert như sau:
Hồn tồn khơng đồng ý Khơng đồng ý Đồng ý một phần Đồng ý Hoàn toàn đồng ý 1 2 3 4 5 Phiếu khảo sát gồm 2 phần:
Phần 1 là các nội dung liên quan đến các tiêu chí đánh giá năng lực
giảng dạy của giáo viên, trong đó các nội dung được xây dựng trên cơ sở sử dụng thang đo Likert với 5 mức độ.
Nội dung 1 gồm có 6 câu hỏi về năng lực chuyên môn của GV
Nội dung 2 bao gồm 9 câu hỏi đánh giá về năng lực chế biến tài liệu dạy học của GV
56
Nội dung thứ 3 bao gồm 4 câu hỏi về năng lực sử dụng ngôn ngữ trong quá trình giảng dạy của GV
Nội dung thứ 4 bao gồm 12 câu hỏi liên quan đến việc đánh giá năng lực sử dụng phương pháp, phương tiện dạy học của GV
Nội dung thứ 5 bao gồm 9 câu hỏi về năng lực giao tiếp ứng xử trong sư phạm của GV
Nội dung thứ 6 gồm có 3 câu hỏi về năng lực kiểm tra đánh giá của GV trong q trình dạy học
Phần 2: Thơng tin chung về đối tượng khảo sát.
2.2.5. Khảo sát thử nghiệm và đánh giá độ tin cậy của công cụ đo lường
Phiếu khảo sát sau khi hoàn thành sẽ được tiến hành khảo sát thử nghiệm để đánh giá chất lượng thang đo và độ tin cậy của bảng hỏi, theo đó có thể căn cứ vào kết quả khảo sát thử nghiệm để thay đổi hoặc điều chỉnh bộ công cụ đo lường (nếu cần thiết).
2.2.5.1. Mẫu khảo sát thử nghiệm
Như tác giả đã trình bày ở trên, số giáo viên tham gia lấy ý kiến phản hồi về chất lượng giảng dạy của GV là 120. Tuy nhiên, để đảm bảo chất lượng của phiếu hỏi và hiệu quả của công tác đánh giá, trong khuôn khổ luận văn này tác giả đã thử nghiệm phiếu hỏi trên mẫu 35 giáo viên viên được chọn ngẫu nhiên từ 120 học viên trong 9 Khoa, bộ môn tham gia giảng dạy.
Phiếu khảo sát được thử nghiệm trên mẫu là 35 GV của Trường TC CSGT thuộc các Khoa, Bộ môn giảng dạy các môn học cơ sở và các môn học chuyên ngành. Phương pháp chọn mẫu là chọn mẫu ngẫu nhiên.
2.2.5.2. Phân tích số liệu khảo sát thử nghiệm
Các phiếu khảo sát thu được sẽ sử dụng để đánh giá chất lượng của bộ công cụ đo lường. Việc đánh giá này được thực hiện qua 3 bước:
57 xử lý đạt yêu cầu là 35 phiếu.
Bước 2: Mã hóa các thơng tin và nhập số liệu vào phần mềm SPSS; Bước 3: Phân tích số liệu: Sử dụng phần mềm QUEST để kiểm tra độ tin cậy của phiếu khảo sát và sự phù hợp giữa các câu hỏi trong cấu trúc của phiếu. Các dữ liệu thu được bằng phiếu hỏi đã được nhập vào phần mềm thống kê khoa học xã hội (SPSS). Mơ hình Rasch và phần mềm QUEST được sử dụng để đo mức độ tự đánh giá của GV về năng lực giảng dạy các môn học. Để sử dụng phần mềm QUEST, thang đo được chuyển đổi như sau:
Hồn tồn khơng đồng ý Không đồng ý Đồng ý một phần Đồng ý Hoàn toàn đồng ý 0 1 2 3 4
Kết quả của dữ liệu sau khi khảo sát được quy đổi về mức chỉ số cụ thể tương đương thang điểm 100 và độ lệch là 15. Cụ thể như sau:
Kết quả phân tích số liệu thử nghiệm:
Tác giả sử dụng phần mềm QUEST để phân tích chất lượng bộ cơng cụ khảo sát nhằm khẳng định lại độ tin cậy của phiếu khảo sát.
Theo Phạm Xuân Thanh (2011), để dữ liệu phù hợp với mơ hình RASCH thì khi phân tích dữ liệu bằng phần mềm QUEST thì giá trị Mean trong Summaryof itemEstimates phải bằng hoặc gần bằng 0,00, giá trị SD
Mức độ hài lịng Thang đo
Hồn tồn đồng ý Rất tốt
Đồng ý Tốt
Đồng ý một phần Khá
Khơng đồng ý Trung bình Hồn tồn khơng đồng ý Yếu
58
phải bằng hoặc gần bằng 1,00. Giá trị Mean trong FitStatistics phải bằng hoặc gần bằng 1 và SD phải bằng hoặc xấp xỉ bằng 0.
Xử lý dữ liệu và chạy chương trình QUEST để xác định độ tin cậy của bộ phiếu hỏi và sự phù hợp giữa các câu hỏi trong khoảng cho phép ta có kết quả như sau:
Phiếu Tự đánh giá của GV về năng lực giảng dạy Bảng 2.5: Kết quả phân tích chất lượng phiếu khảo sát bằng
phần mềm QUEST
Item Estimates (Thresholds)
all on gvtdg (N = 35 L = 46 Probability Level= .50)
-------------------------------------------------------------------------- Summary of item Estimates
========================= Mean .00 SD .47 SD (adjusted) .51 Reliability of estimate .85 Fit Statistics ===============
Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.00 SD .09 SD .14 Infit t Outfit t Mean .08 Mean .09 SD .50 SD .39 0 items with zero scores
0 items with perfect scores
==========================================================================
Kết quả phân tích bằng phần mềm QUEST đối với dữ liệu thu được qua đợt khảo sát thử nghiệm bằng phiếu khảo sát cho thấy giá trị mean trong
Summaryof itemEstimates là 0,00, giá trị SD bằng 0,47 và giá trị Mean trong
InfitMeanSquare đạt 1,00 và mean trong Outfit Mean Square 1,00. Độ tin cậy Reabilityof estimates bằng 0,85. Với kết quả này có thể kết luận dữ liệu khảo sát phù hợp với mơ hình Rasch.
Kiểm tra mức độ phù hợp của từng câu hỏi với nhau trong biểu đồ Item Fit với mỗi item biểu thị bằng dấu “*”. Các câu hỏi nằm trong khoảng đồng bộ cho phép từ 0,77 đến 1,30 thì được giữ lại để tiến hành điều tra cho đợt
59
khảo sát chính thức, những câu hỏi nào nằm ra ngồi khoảng đồng bộ này thì cần phải sửa chữa lại hoặc loại bỏ ra khỏi phiếu khảo sát.
Kết quả phân tích cho thấy các câu hỏi có mối tương quan tốt, khơng phát hiện ra biến ngoại lai nằm ra khỏi khoảng đồng bộ cho phép đó.
Bảng 2.6: Kết quả phân tích mối tương quan giữa các câu hỏi trong Phiếu Tự đánh giá của GV
Item Fit
all on gvtdg (N = 35 L = 46 Probability Level= .50)
--------------------------------------------------------------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+------