Chương 4 KHẢO NGHIỆM VÀ THỬ NGHIỆM
4.2. Tổ chức thử nghiệm
4.2.1. Những vấn đề chung về thử nghiệm
Trên cơ sở luận giải những vấn đề lí luận và thực tiễn quản lý đánh giá kết quả học tập của HV, luận án đã đề xuất năm biện pháp nhằm nâng cao chất lượng, hiệu quả quản lý đánh giá kết quả học tập KHXHNV của HV ở các trường ĐHQS. Các biện pháp được khảo nghiệm, kết quả khảo nghiệm cho thấy, các biện pháp được đề xuất là có căn cứ khoa học trong đó biện pháp 3:
Quản lý quy trình đánh giá kết quả học tập khoa học xã hội nhân văn của HV, là biện pháp có mức độ nhất trí cao về tính cần thiết và tính khả thi. Tuy nhiên đó chỉ là những kết quả được đánh giá thông qua khảo nghiệm, cần phải được kiểm nghiệm trong thực tiễn thông qua TN. Song do khó khăn về nhiều phương diện như thời gian, địa bàn TN cũng như các yếu tố về thiết chế tổ chức, Điều lệnh, Điều lệ và cơ chế quản lý, tổ chức quá trình đào tạo có tính chất đặc thù quân sự... nên luận án chỉ tiến hành TN việc quản lý quy trình đánh giá kết quả học tập của HV.
* Mục đích thử nghiệm
Thử nghiệm nhằm kiểm tra mức độ phù hợp, khả thi của việc quản lý quy trình đánh giá kết quả học tập của HV, chứng minh tính phù hợp của giả thuyết khoa học trong thực tiễn QLGD đào tạo của các trường ĐHQS.
135
* Giả thuyết thử nghiệm
Trong đánh giá cũng như quản lý đánh giá kết quả học tập KHXHNV của HV ở các trường ĐHQS, các khâu trong quy trình đánh giá là những nội dung có vị trí then chốt quyết định đến chất lượng hiệu quả đánh giá. Nếu quy trình đánh giá kết quả học tập của HV được xây dựng và thực hiện đáp ứng yêu cầu, nội dung, phù hợp với đặc điểm đối tượng và yêu cầu sư phạm thì sẽ đạt tới mục tiêu quản lý khoa học, chặt chẽ, nâng cao hiệu quả quản lý đánh giá kết quả học tập KHXHNV của HV ở các trường ĐHQS.
* Đối tượng và địa bàn thử nghiệm
Chúng tôi tiến hành TN hai đợt trên đối tượng TN là GV giảng dạy các môn KHXHNV và HV đào tạo Chính trị viên; Sĩ quan chỉ huy Lục quân ở 2 cơ sở:
Cơ sở TN 1: Trường Sĩ quan Chính trị; cơ sở TN 2: Trường Sĩ quan Lục quân 1.
Lí do chúng tôi lựa chọn đối tượng và địa bàn TN như trên vì: Đây là hai trường đại học lớn trực thuộc Bộ Quốc phòng, hai trung tâm đào tạo sĩ quan có trình độ đại học; một trường chuyên về đào tạo cán bộ quân sự, một trường chuyên về đào tạo cán bộ chính trị. Đây cũng là hai nhà trường có thời lượng dạy học các môn KHXHNV khá lớn trong chương trình đào tạo. Đội ngũ GV, cán bộ QLGD được biên chế đủ, họ là các chuyên gia có nhiều kinh nghiệm trong lĩnh vực đánh giá, tổ chức, điều hành các hoạt động đánh giá kết quả học tập của HV và giúp đỡ các nghiên cứu viên tổ chức khảo sát, tiến hành các TN trong quá trình nghiên cứu.
* Nội dung và phương pháp thử nghiệm
Dựa vào nội dung biện pháp quản lý quy trình đánh giá kết quả học tập KHXHNV của HV ở các trường ĐHQS đã xác định trong Luận án (gồm 8 bước).
Chúng tôi nhận thấy mỗi khâu trong quy trình có vị trí, vai trò khác nhau, trong đó bước 4 “Quản lý việc triển khai hoạt động đánh giá” là bước then chốt có ý nghĩa quyết định chất lượng hiệu quả đánh giá. Nếu thực hiện tốt bước này sẽ thực hiện tốt quy trình đánh giá. Vì vậy ở phần TN chúng tôi sẽ tiến hành và rút ra hiệu quả của những tác động quản lý trên những vấn đề chính sau đây:
136
Các quyết định quản lý tác động đến nhận thức của các lực lượng tham gia vào hoạt động đánh giá kết quả học tập của HV
Những tác động quản lý trong tổ chức coi, chấm thi, đánh giá kết quả học tập của HV
Kiểm soát, kiểm tra quá trình thực hiện đánh giá kết quả học tập của HV.
TN được tiến hành theo phương pháp TN song hành có ĐC. Ở mỗi cơ sở TN, chúng tôi tổ chức thành nhóm TN và nhóm ĐC. Các điều kiện, đặc điểm ở hai nhóm TN và ĐC là tương đồng, chỉ khác, nhóm TN chúng tôi đưa ra các tác động quản lý theo phương án TN. Trước khi tiến hành TN chúng tôi kiểm tra trình độ nhận thức để xác định trình độ ban đầu của các đối tượng. Sau khi TN chúng tôi kiểm tra, so sánh sự khác biệt giữa các nhóm, đặc biệt là nhóm TN sau khi đã có những tác động quản lý. Kết thúc TN có đối chiếu, nhận xét, đánh giá kết quả theo các tiêu chí đã xác định.
* Thời gian và lực lượng tham gia thử nghiệm
Thời gian tiến hành TN từ ngày 15 tháng 10 năm 2014 đến 10 tháng 2 năm 2015, được chia làm 2 đợt:
Đợt 1: Tiến hành TN ở cơ sở 1, từ ngày 15 tháng 10 đến ngày 25 tháng 11 năm 2014.
Đợt 2: Tiến hành TN ở cơ sở 2, từ ngày 15 tháng 1 năm 2015 đến ngày 10 tháng 2 năm 2015.
Lực lượng TN bao gồm: Tác giả Luận án và các cộng tác viên (GV của các khoa giáo viên; lãnh đạo, chỉ huy của các khoa, bộ môn; cán bộ QLGD).
4.2.2. Quy trình tổ chức thử nghiệm
Quy trình TN được tiến hành theo các bước sau:
Bước 1: Tìm hiểu ban đầu
Chúng tôi tiến hành tiếp xúc với cán bộ là lãnh đạo, quản lý, chỉ huy các cơ quan, khoa giáo viên và đơn vị HV để tìm hiểu về trình độ, chất
137
lượng của các đối tượng tham gia TN; phân tích các tài liệu tổ chức, chỉ đạo các hoạt động thi, kiểm tra, đánh giá kết quả học tập được lưu trữ tại cơ quan, khoa giáo viên và đơn vị.
Bước 2: Xây dựng kế hoạch thử nghiệm
Nội dung kế hoạch TN được xây dựng trên cơ sở kế hoạch huấn luyện thực tế tại các cơ sở TN, căn cứ vào đặc điểm đối tượng đào tạo và những nội dung được xác định trong các biện pháp của luận án, khả năng triển khai của nghiên cứu sinh và lực lượng GV hiện có của các khoa chuyên ngành. Nội dung bao gồm: kế hoạch đánh giá; hướng dẫn tổ chức đánh giá; định hướng tổ chức rút kinh nghiệm việc đánh giá kết quả học tập ở các cơ sở TN (được trình bày chi tiết từ phụ lục 4 đến phụ lục 9) của luận án. Trong phạm vi nội dung của luận án chúng tôi chỉ trình bày khái quát một số nội dung trong kế hoạch tổ chức TN đó là:
Bảng 4.9. Những nội dung chính trong Kế hoạch tổ chức thử nghiệm Đợt TN Môn
học TN
Nhóm TN Nhóm ĐC Thời gian
tiến hành Giảng viên HV Giảng viên HV
Đợt 1 (Trường SQCT - Cơ
sở TN 1)
Giáo dục học quân
sự
3 GV Khoa Sư phạm
quân sự
47 HV Đại đội 1, Tiểu đoàn
7
3 GV Khoa Sư phạm
quân sự
47 HV Đại đội 2, Tiểu đoàn
7
Từ 15/10/2014
đến 28/11/2014 Đợt 2
(TrườngSQ LQ - Cơ sở
TN 2)
Giáo dục học quân
sự
3 GV bộ môn Giáo
dục
45 HV Đại đội 25, Tiểu đoàn 9
3 GV bộ môn Giáo
dục
45 HV Đại đội 25, Tiểu đoàn 9
Từ 15/01/2015
đến 10/2/2015 Bước 3; Biên soạn tài liệu thử nghiệm và hướng dẫn cộng tác viên
- Tài liệu hướng dẫn cho GV, cán bộ quản lý, HV về thứ tự, nội dung các bước trong quy trình đánh giá kết quả học tập KHXHNV của HV; kế hoạch TN, phương pháp kiểm tra đánh giá và cung cấp cho HV trước khi bước vào học tập môn học (học phần).
138
- Tài liệu bồi dưỡng GV về nội dung, quy trình, phương pháp xây dựng đề thi, kiểm tra, đáp án sử dụng trong đánh giá kết quả học tập HV. Tài liệu hướng dẫn cho GV TN tham gia vào quá trình đánh giá và thực hiện các bước trong quy trình đánh giá.
- Tài liệu chỉ dẫn đội ngũ cán bộ quản lý HV, tiến hành các bước quán triệt, triển khai theo trình tự nội dung kế hoạch TN đã xác định.
Hướng dẫn cộng tác viên
Chúng tôi tiến hành bồi dưỡng các cộng tác viên tại 2 cơ sở TN theo các nội dung cơ bản sau:
Bồi dưỡng nâng cao nhận thức trách nhiệm cho cộng tác viên về vị trí, vai trò của hoạt động đánh giá kết quả học tập của HV đối với việc nâng cao chất lượng đào tạo ở ĐHQS; bồi dưỡng kĩ năng đánh giá kết quả học tập cho GV, đặc biệt là một số nội dung theo quy trình đánh giá của luận án xác định; thống nhất một số bước trong quy trình chuẩn bị và tiến hành đánh giá kết quả học tập của HV; thống nhất với cộng tác viên về kế hoạch TN, các vấn đề cần chú ý.
Bước 4: Xây dựng tiêu chí đánh giá
Chúng tôi xây dựng các tiêu chí đánh giá mà TN cần đạt tới gồm:
1.Tính hiệu lực, hiệu quả của các quyết định quản lý đến nhận thức của các lực lượng tham gia vào quá trình đánh giá
2. Tính hiệu lực, hiệu quả của các tác động quản lý đến khâu coi, chấm thi, đánh giá kết quả học tập
3. Tính hiệu lực, hiệu quả của các tác động quản lý trong kiểm soát, kiểm tra quá trình đánh giá kết quả học tập của các lực lượng.
Trên cơ sở phân tích đánh giá định tính và định lượng. Chúng tôi lượng hoá nội dung đánh giá với từng tiêu chí cụ thể như sau:
139
Bảng 4.10. Các tiêu chí đánh giá và các chỉ báo đánh giá thử nghiệm Tiêu chí 1: Tính hiệu
lực, hiệu quả của các tác động quản lý đến nhận thức, thái độ của các lực lƣợng tham gia vào đánh giá
Tiêu chí 2: Tính hiệu lực, hiệu quả, của các tác động quản lý đến tổ chức coi thi và chấm thi
Tiêu chí 3: Tính hiệu lực, hiệu quả của các tác động quản lý trong kiểm soát, kiểm tra quá trình đánh giá kết quả học tập của các lực lượng
đánh Mức giá
điểm số
- Nhận thức chưa đầy đủ về hoạt động đánh giá
- Không thực hiện đúng quyết định quản lý
- Còn biểu hiện của sự giản đơn, tuỳ tiện - Kết quả thấp, không đạt yêu cầu
- Thực hiện không đúng, đủ qui chế, qui định
- Có biểu hiện tuỳ tiện, không nghiêm trong coi, chấm thi
- Kết quả đánh giá thiếu trung thực, khách quan
- Còn nhiều ý kiến khác nhau về kết quả đánh giá
- Chưa kiểm soát, kiểm tra được quy trình đánh giá kết quả học tập - Không chặt chẽ, thiếu kịp thời, còn để sảy ra những sai phạm
- Các khâu bước trong đánh giá không chặt chẽ, thiếu nghiêm túc
Không đạt yêu cầu
1 < 5 điểm
- Nhận thức đúng, đủ các quyết định quản lý
- Quán triệt, thực hiện được các nội dung trong quyết định quản lý - Kết quả thực hiện đạt yêu cầu
- Thực hiện đúng các qui chế, qui định của nhà quản lý
- Đáp ứng được những yêu cầu cơ bản trong coi, chấm thi đánh giá kết quả - Kết quả đánh giá tương đối chính xác - Chưa thực sự khoa học, còn sai sót.
- Duy trì thường xuyên các hoạt động kiểm soát, kiểm tra đánh giá kết quả học tập các lực lượng - Bảo đảm những yêu cầu cơ bản trong kiểm soát, kiểm tra đánh giá kết quả học tập - Chất lượng hiệu quả kiểm tra, kiểm soát ở mức trung bình,
Đạt yêu cầu
5 < 7 điểm
- Tiếp nhận đầy đủ, triển khai thực hiện đúng các nội dung trong quyết định quản lý
- Các quyết định và mệnh lệnh quản lý được triển khai kịp thời thông suốt
- Kết quả triển khai thực hiện nhiệm vụ đạt mức khá
- Thực hiện tương đối tốt các qui chế, qui định của nhà quản lý
- Tổ chức, triển khai thực hiện việc coi, chấm thi, đánh giá kết quả đúng qui định
- Kết quả đánh giá khá chính xác, trung thực, khách quan - Phương pháp tiến hành chặt chẽ nghiêm túc nhưng vẫn còn sai sót nhỏ
- Các khâu bước đánh giá cơ bản chặt chẽ, không có sai sót
- Điều chỉnh kịp thời sai sót trong quá trình đánh giá
- Quản lý được những vấn đề phát sinh trong đánh giá
Đạt mức khá
7 < 9 điểm
- Các lực lượng tích cực, chủ động tiếp nhận các nội dung trong quyết định - Nhận thức rõ chức trách, nhiệm vụ, thực hiện với quyết tâm cao - Các quyết định quản lý được triển khai kịp thời thông suốt có tính sáng tạo
- Thực hiện tốt các qui chế, qui định của nhà quản lý đề ra
- Kết quả đánh giá chính xác cao, trung thực, khách quan - Phương pháp tiến hành chặt chẽ nghiêm túc, không có sai sót.
- Người dạy, người học thừa nhận kết quả đánh giá
- Các khâu bước đánh giá đảm bảo chặt chẽ, nghiêm túc
- Có kế hoạch, chi tiết, cụ thể không có sai sót sảy ra - Những nhận định đánh giá tường minh cụ thể, rõ ràng, trung thực
- Thoả mãn yêu cầu của các lực lượng tham gia đánh giá.
Đạt mức tốt
9 đến điểm 10
140
* Đánh giá tiêu chí 1. Tính hiệu lực, hiệu quả của các tác động quản lý đến nhận thức của các lực lượng tham gia vào quá trình đánh giá
Căn cứ vào kết quả thực hiện nhiệm vụ của các lực lượng, kết hợp với việc quan sát, trao đổi với GV, cán bộ quản lý và HV về tính hiệu lực, hiệu quả của các quyết định quản lý đến nhận thức của các lực lượng tham gia vào quá trình đánh giá theo các nội dung tiêu chí được đề xuất. Kết quả được đánh giá được thực hiện theo các mức (Bảng 4.10).
* Đánh giá tiêu chí 2. Tính hiệu lực, hiệu quả của các tác động quản lý đến khâu coi, chấm thi, đánh giá kết quả học tập
Để đánh giá tính hiệu lực, hiệu quả của các tác động quản lý đến khâu coi, chấm thi, đánh giá kết quả học tập có chính xác, khách quan, trung thực, chúng tôi thông qua việc giám sát quá trình tổ chức coi, chấm bài thi, kiểm tra kết thúc học phần của GV để đánh giá. Luận án sử dụng 45 bài kiểm tra học phần Giáo dục học quân sự của lớp ĐC và 47 bài của lớp TN (các bài kiểm tra khi giao cho GV chấm không để lại các thông tin về HV). Tiến hành chấm thành hai vòng độc lập, lần 1, sử dụng 3 giảng viên chấm lớp TN và 3 giảng viên khác chấm lớp ĐC, lần 2 đổi lại lần 1 (lần chấm trước không để lại dấu hiệu nào cho lần chấm sau). Khi GV chấm xong, chúng tôi thống kê kết quả và tính điểm trung bình cộng giữa 2 lần chấm; so sánh với điểm trung bình theo chuẩn và thang đánh giá sau:
- Chênh lệch 0,5 điểm đạt loại Tốt 9 - 10 điểm - Chênh lệch trên 0,5 đến dưới 1,0 điểm đạt loại khá 7 < 9 điểm - Chênh lệch trên 1,0 đến dưới 1,5 điểm đạt yêu cầu 5 < 7 điểm - Chênh lệch từ 1,5 điểm trở lên không đạt yêu cầu 1 < 5 điểm Về tính trung thực, khách quan, căn cứ vào các nội dung thực tế được triển khai theo kế hoạch TN đã xác định, các khâu của quy trình đánh giá đều được tiến hành tương đối độc lập, đặc biệt trong quá trình thi, kiểm tra. Từ
141
khâu xây dựng đề cương môn học, xây dựng đề thi, coi chấm thi, quản lý điểm thi đều được tiến hành bởi các lực lượng khác nhau và được quản lý giám sát chặt chẽ. Đề thi được xây dựng và quản lý theo ngân hàng đề, rút đề ngẫu nhiên, việc đánh phách, dọc phách, ghép phách, vào điểm được giám sát chặt chẽ; việc chấm thi được tiến hành chấm tập trung theo hai vòng độc lập.
* Đánh giá tiêu chí 3. Tính hiệu lực, hiệu quả của các tác động quản lý trong kiểm soát, kiểm tra quá trình đánh giá kết quả học tập của các lực lượng
Bước 5: Tiến hành thử nghiệm
- Kiểm tra nhận thức đầu vào của nhóm TN và ĐC
Trước khi tiến hành các tác động quản lý theo mục đích TN tiến hành khảo sát trình độ ban đầu (đầu vào) của HV ở các cơ sở TN, nhằm so sánh, lựa chọn lớp TN và ĐC có trình độ tương đồng nhau.
Cách thực hiện: Luận án đã nghiên cứu thực tế về kết quả học tập của HV ở các đơn vị dự kiến TN, thông qua sự cung cấp của cán bộ quản lý và trực tiếp so sánh đối chiếu với 11 lần thi, kiểm tra kết thúc học phần ở Trường Sĩ quan Chính trị; 7 lần thi kết thúc học phần tại Trường Sĩ quan Lục quân 1, những kết quả đánh giá này được quản lý trong sổ theo dõi kết quả học tập của đơn vị (có xác nhận của cơ quan đào tạo). Kết quả nghiên cứu thực tế cho thấy các cặp TN và ĐC ở hai cơ sở TN trước khi tiến hành TN có trình độ nhận thức tương đương nhau, cho phép có thể tiến hành TN được.
* Tiến hành các tác động quản lý đã xác định theo kế hoạch thử nghiệm
Với nhóm ĐC. Chúng tôi không sử dụng bất cứ một tác động quản lý nào, các hoạt động giảng dạy, học tập, thi, kiểm tra đánh giá kết quả và các hoạt động khác của GV, HV vẫn diễn ra theo kế hoạch bình thường ở đơn vị.
Với nhóm TN. Tại Khoa Sư phạm quân sự - Trường Sĩ quan Chính trị và Khoa Công tác đảng, Công tác chính trị - Trường Sĩ quan Lục quân 1, tác giả luận án đã đề xuất xây dựng kế hoạch, tổ chức hướng dẫn, chỉ đạo phối hợp với