8. Cấu trúc của luận văn
1.3. Lý luận về xây dựng bộ công cụ đánh giá
1.3.1. Những vấn đề chung về công cụ đánh giá, đo lường
1.3.1.1. Khái niệm đánh giá, đo lường
Trong những nghiên cứu liên quan đến đề tài, đã có rất nhiều học giả đề cập đến khái niệm đánh giá. Theo đó, cuốn sách “Giải thích thuật ngữ tâm lý- giáo dục học” đưa ra quan niệm về đánh giá, là gắn một giá trị cho một sự kiện tình huống, sản phẩm cá nhân theo mức độ, tiêu chuẩn nhất định. Từ điển “giáo dục học” đề cập đánh giá là một hoạt động của con người nhằm phán xét một
42
hay nhiều đặc điểm của sự vật hiện tượng, con người mà mình quan tâm, theo những quan điểm chuẩn mực mà người đánh giá tuân theo.
Nina (2007) đưa ra khái niệm đánh giá là một quá trình xác định một cách hệ thống và khách quan về hiệu quả và tác động của các hoạt động đó theo mục tiêu của nó (Nina, 2007).
Quan niệm của Beeby (1997) về đánh giá, “Đánh giá là sự thu thập và
lý giải một cách có hệ thống những bằng chứng dẫn tới sự phán xét về giá trị theo quan niệm hành động”. Theo Griffin (1996) “Đánh giá là đưa ra phán quyết về giá trị của một sự kiện, nó bao hàm việc thu thập thông tin sử dụng trong việc định giá của một chương trình, một sản phẩm, một tiến trình, mục tiêu hay tiềm năng ứng dụng của một cách thức đưa ra nhằm mục đích nhất định”. Marger (1993) cũng đưa ra quan niệm về đánh giá: “Đánh giá là việc miêu tả tình hình học tập của học sinh và giáo viên để quyết định công việc cần phải tiếp tục và giúp học sinh tiến bộ”. Theo Tyler (1984): “Quá trình đánh giá chủ yếu là quá trình xác định mức độ thực hiện các mục tiêu của chương trình giáo dục.”
Theo tác giả Trần Bá Hồnh, đánh giá là q trình hình thành những nhận định, phân đoán về kết quả của cơng việc, dựa vào sự phân tích những thơng tin thu được, đối chiếu với những mục tiêu, tiêu chuẩn đã đề ra nhằm đề xuất những quyết định thích hợp để cải thiện thực trạng, điều chỉnh, nâng cao chất lượng và hiệu quả công việc.
Đánh giá trong giáo dục là một quá trình thu thập, tổng hợp, và diễn giải thơng tin về đối tượng cần đánh giá (ví dụ như kiến thức, kĩ năng, năng lực của học sinh; kế hoạch dạy học; chính sách giáo dục), qua đó hiểu biết và đưa ra được các quyết định cần thiết về đối tượng.
Đánh giá (Assesssment) là q trình thu thập thơng tin, chứng cứ về đối tượng đánh giá và đưa ra những phán xét, nhận định về mức độ đạt được theo các tiêu chí đã được đưa ra trong các tiêu chuẩn hay kết quả học tập. Đánh giá
43
có thể là đánh giá định lượng (quantitative) dựa vào các con số hoặc định tính (qualitative) dựa vào các ý kiến và giá trị.
Theo tác giả Vũ Cao Đàm (2012) tuy đánh giá khoa học là việc khó, trong khi những cơ sở phương pháp luận về đánh giá lại đang cịn rất mỏng, nhưng cơng việc đánh giá cũng vẫn phải làm. Chính từ những việc làm đó mà tác giả rút ra được những bài học về mặt phương pháp luận (Vũ Cao Đàm, 2012)
Đánh giá được nhìn nhận trên các khía cạnh khác nhau, có thể quan niệm: Đánh giá là quá trình thu thập thơng tin để xác định mức độ đạt được các mục tiêu giáo dục đề ra và đưa ra quyết định tác động vào quá trình giáo dục, đào tạo nhằm đạt được kết quả dạy học tối ưu nhất.
Đo lường – Sự tính tốn chính xác hay các cơng thức để đo lường giá trị của một chỉ số (Nina, Anastasia, 2007). Đo lường cịn được hiểu là lượng hóa một khái niệm nào đó. Đo lường ln chứa đựng sự sai sót như tính hiệu lực, tính tin cậy.
Đo lường là một khái niệm chuyên dùng để chỉ sự so sánh một vật hay hiện tượng với một thước đo hay chuẩn mực, có khả năng trình bày kết quả dưới dạng thơng tin định lượng hoặc định tính. Nói cách khác, đo lường liên quan đến việc sử dụng các con số vào q trình lượng hố các sự kiện, hiện tượng hay thuộc tính (định lượng/ đo lường về số lượng).
Trong lĩnh vực khoa học giáo dục, đo lường thường sử dụng hai loại tham chiếu: tham chiếu theo tiêu chuẩn và tham chiếu theo tiêu chí.
Tham chiếu theo tiêu chuẩn là đối chiếu kết quả đạt được của người này đối với những người khác. Ứng với loại tham chiếu này là các đề thi chuẩn hóa. Tham chiếu theo tiêu chí là đối chiếu kết quả đạt được của học sinh với mục tiêu, yêu cầu của bài học. Ứng với loại tham chiếu này là các đề thi theo tiêu chí.
44
Có nhiều phương pháp khác nhau để đánh giá độ tin cậy của phép đo. Theo các chuyên gia thiết kế trắc nghiệm, có bốn nhóm phương pháp cơ bản sau: nhóm phương pháp đánh giá mức độ kiên định về điểm số giữa hai lần do (test-retest); nhóm phương pháp sử dụng form thay thế tương đương (alternate form); nhóm phương pháp phân đơi số item của trắc nghiệm (split-half); và nhóm phương pháp đánh giá độ ổn định bên trong của từng item (internal consistency).
Nhóm phương pháp thứ nhất: Để đánh giá độ tin cậy của trắc nghiệm người ta thường so sánh tương quan điểm giữa hai lần đo của cùng một trắc nghiệm trên cùng một đối tượng (test-retest correlation). Một trắc nghiệm có độ tin cậy phải có tính ổn định, tức là có sự tương quan đáng kể giữa hai lần đó. Trong thống kê, nếu trắc nghiệm được thiết kế theo thang định khoảng hay thang tỷ lệ và mối quan hệ điểm số trắc nghiệm giữa hai lần đo là quan hệ tuyến tính, thì người ta dùng tương quan Pearson để đánh giá hệ số tin cậy của trắc nghiệm. Còn nếu trắc nghiệm được thiết kế theo thang thứ hạng, hoặc mối quan hệ điểm số trắc nghiệm giữa hai lần đo khơng phải là quan hệ tuyến tính, thì người ta dùng tương quan Spearman để đánh giá hệ số tin cậy của trắc nghiệm. Nhóm phương pháp thứ hai: Một trắc nghiệm sử dụng những form tương đương: như form A và form B có hình thức, câu chữ khác nhau nhưng có nội dung giống nhau hoặc tương đương và có những đặc tính thống kê như nhau hoặc tương đương. Tương quan điểm số giữa form A (lần đo thứ nhất) và form B (lần đo thứ hai) được xem là hệ số tin cậy của trắc nghiệm. Về lý thuyết nhóm phương pháp này có thể khắc phục được những hạn chế ở nhóm phương pháp trước (trắc nghiệm được đo hai lần trên cùng một đối tượng) nhưng lại nảy sinh những vấn đề mới. Chẳng hạn, rất tốn kém rất khó thiết kế một trắc nghiệm có nhiều form hồn tồn tương đương.
Nhóm phương pháp thứ ba: Thường được dùng để đánh giá độ tin cậy của một trắc nghiệm khi ta khơng có điều kiện đo trắc nghiệm hai lần trên cùng
45
một đối tượng và cũng không thiết kế được các trắc nghiệm tương đương là phương pháp phân đội số item của trắc nghiệm thành hai phần (thường chia theo số chẵn và số lẻ) rồi so sánh tương quan điểm giữa hai nửa. Đây gọi là phương pháp tính độ tin cậy phân đôi trắc nghiệm (split-half reliability). Về lý thuyết, hai nửa trắc nghiệm có thể được xem là hai form tương đương của cùng một trắc nghiệm. Do vậy quan điểm số của hai nửa này được xem là hệ số của trắc nghiệm
Nhóm phương pháp thứ tư: Thường được dùng để đánh giá độ tin cậy của trắc nghiệm là các phương pháp đánh giá độ phù hợp của từng item sử dụng hệ số tin cậy bên trong. Mơ hình này đánh giá độ tin cậy của phép đo dựa trên sự tính tốn phương sai của từng item trong tồn phép đo và tính tương quan điểm của từng item với điểm của tổng các item cịn lại của phép đo. Phương pháp này thích hợp cho việc xác định độ tin cậy của các loại trắc nghiệm có các item được thiết kế theo kiểu nhiều mức độ tính theo điểm số (kiểu thang định khoảng hay thang định tỷ lệ)
1.3.2. Quá trình xây dựng bộ công cụ đánh giá
Thông thường khi tiến hành xây dựng bộ công cụ đánh giá, cần xác định một số yếu tố cơ bản như: khái niệm hoá; thao tác hoá khái niệm, hiệu lực hoá item, để có thể xác định trọng tâm vào nội dung cần đánh giá, từ đó khi thiết kế bộ cơng cụ đo lường, đánh giá sẽ trở nên chi tiết, dễ hiểu và hiệu quả hơn.
Khái niệm hoá: Khái niệm hố là q trình cụ thể hố những ý tưởng trừu tượng thành các khái niệm nghiên cứu, các khái niệm sẽ đo lường, xác định các kiểu quan sát các kiểu đo lường phù hợp nhất cho mục tiêu nghiên cứu
Thao tác hoá khái niệm: Là sự mở rộng cụ thể hố hơn nữa q trình khái niệm hoá. Trước tiên cần xác định những biến cần tìm hiểu, đưa ra những định nghĩa thao tác cho các biến cần đo; Xác định rõ các miền đo (những nội dung cần đo) các cấu trúc đo lường cụ thể; Xác định những cấu trúc trọng tâm;
46
Xác định các tiêu chí, chỉ số, chỉ báo; Xác định những biểu hiện cụ thể nói lên sự có mặt hay vắng mặt của đặc tính được nghiên cứu
Hiệu lực hóa item: Đánh giá bản chất và nội dung của từng item chỉ nên
tập trung vào một nội dung cụ thể và chỉ bao quát một nội dung hẹp nằm trong một chỉ số cụ thể thuộc nội dung của một miền nào đó; Đánh giá kiểu, hình thức item; Đánh giá độ phù hợp của từng item; Đánh giá số lượng item phù hợp.
47
Tiểu kết chương 1
Kết thúc chương 1. Kết quả đạt được bao gồm những nội dung sau:
Trình bày khái quát tổng quan vấn đề nghiên cứu liên quan tới kỹ năng thích nghi và ứng biến nhanh cho sinh viên. Bao gồm những khía cạnh, kỹ năng và yếu tố ảnh hưởng của kỹ năng thích nghi và ứng biến nhanh cho sinh viên. Tiến hành tổng quan các nghiên cứu liên quan đến bộ công cụ đo lường và xây dựng thang đo.
Trình bày những lý luận về kỹ năng thích nghi và ứng biến nhanh cho sinh viên và thao tác hóa các khái niệm liên quan đến nội dung nghiên cứu. Bao gồm: kỹ năng thích nghi, kỹ năng ứng biến, khái niệm về đánh giá đo lường. Trong chương 1, chúng tơi cũng trình bày về các phương pháp đánh giá đo lường và q trình xây dựng bộ cơng cụ đánh giá.
Các nghiên cứu được đưa ra tạo cơ sở vững chắc cho quá trình hình thành bộ cơng cụ đánh giá kỹ năng thích nghi và ứng biến cho sinh viên
Từ những lý luận mà chung tơi đã tìm được thì giúp cho việc điều chỉnh nghiên cứu thực tiễn sẽ được trình bày trong chương 2.
48
CHƯƠNG 2
TỔ CHỨC VÀ PHƯƠNG PHÁP NGHIÊN CỨU 2.1. Tổ chức nghiên cứu
Để thực hiện nghiên cứu này, chúng tơi đã thực hiện theo quy trình như sau:
Bước 1: Xác định vấn đề nghiên cứu: Chúng tơi tìm hiểu thơng qua lý
luận và thực tiễn để xem xét những vấn đề nghiên cứu nhằm đảm bảo tính mới, tính cập nhật từ những nghiên cứu trước đó.
Bước 2: Nghiên cứu lý luận: Chúng tơi tìm kiếm tổng hợp các nghiên
cứu có liên quan ở trong nước và nước ngoài để xây dựng cơ sở lý thuyết cho vấn đề nghiên cứu. Hệ thống các khái niệm liên quan đến vấn đề nghiên cứu, hệ thống các lý luận và phương pháp luận về kỹ năng thích nghi ứng biến cho sinh viên. Nghiên cứu lý luận về mục tiêu nhiệm vụ, phương pháp nghiên cứu khoa học và giáo dục. Nghiên cứu lý luận về những bộ công cụ đánh giá, đo lường đối với các lĩnh vực xã hội nói chung và với kỹ năng cho sinh viên nói riêng ở trong và ngồi nước.
Bước 3: Nghiên cứu thực tiễn: Chúng tôi tiến hành nghiên cứu quy trình
và hình thức thể hiện kết quả nghiên cứu cũng như cách thức đánh giá kỹ năng thích nghi và ứng biến nhanh cho sinh viên Trường Đại học Vinh, Nghệ An. Nghiên cứu thực tiễn về tính cấp thiết của bộ cơng cụ đánh giá kỹ năng thích nghi và ứng biến nhanh cho sinh viên.
Hoạt động 1: Xây dựng, đề xuất bộ cơng cụ đánh giá kỹ năng thích nghi
và ứng biến nhanh cho sinh viên Trường Đại học Vinh, Nghệ An, dựa trên việc tham khảo các quy định của các bộ ngành, quy định của nhà trường, các công trình nghiên cứu có liên quan. Tham khảo, đối sánh với các mẫu công cụ đánh giá đo lường kỹ năng cho sinh viên trong và ngồi nước. Bộ cơng cụ bao gồm 36 item đã được dịch và thích nghi về mặt ngơn ngữ và văn hoá.
49
Hoạt động 2: Thử nghiệm bộ công cụ đánh giá trên 258 sinh viên các
khối ngành và khóa học của Trường Đại học Vinh, Nghệ An. Tiến hành phân tích nhân tố và kiểm định độ tin cậy Cronbach’s alpha. Kết quả cuối cùng thang đo cịn lại 16 item, trong đó có 4 câu đảo điểm.
Hoạt động 3: Tổ chức khảo sát chính thức trên 469 sinh viên (điều tra
bằng phiếu hỏi) tại Trường Đại học Vinh, Nghệ An về kỹ năng thích nghi và ứng biến nhanh cho sinh viên.
Bước 4: Nhập và xử lý số liệu
Sau khi thu thập dữ liệu, chúng tôi tiến hành kiểm tra dữ liệu thông qua các câu trả lời từ phiếu hỏi đảm bảo tính hợp lệ, sự nghiêm túc và chất lượng của phiếu. Nhập và làm sạch dữ liệu bằng phần mềm SPSS. Sau đó kiểm tra ngẫu nhiên để đảm bảo sự chính xác của các thơng tin được nhập. Cuối cùng tiến hành xử lý phân tích số liệu bằng phần mềm SPSS.
Bước 5: Báo cáo dữ liệu phân tích
Tiến hành viết báo cáo từ dữ liệu đã phân tích, thơng qua các bảng số liệu tinh, biểu đồ thể hiện tỷ lệ phần trăm. Kiểm định độ tin cậy bên trong.
Bước 6: Đề xuất bộ cơng cụ tự đánh giá kỹ năng thích nghi và ứng biến
nhanh cho sinh viên Trường Đại học Vinh, Nghệ An.
2.2. Giới thiệu về địa bàn nghiên cứu
Trường Đại học Vinh được thành lập từ năm 1959. Trải qua hơn 60 năm xây dựng và phát triển, từ một trường đại học sư phạm đến nay Trường đã trở thành một trường đại học đa ngành và đa lĩnh vực. Từ khi thành lập đến nay, trường đã gặt hái nhiều thành công, xứng đáng là một trong những ngơi trường có chất lượng đào tạo cao ở khu vực Bắc miền Trung, tạo ra nhiều nguồn nhân lực phục vụ cho đất nước.
Cơ cấu tổ chức của Trường hiện có 4 viện, 3 Trường trực thuộc, 3 khoa đào tạo, 12 phòng ban, 10 trung tâm, trạm, 2 văn phòng đại diện với 57 ngành
50
đào tạo đại học; 38 chuyên ngành đào tạo thạc sĩ và 17 chuyên ngành đào tạo tiến sĩ với trên 35.000 sinh viên, học viên, nghiên cứu sinh.
Cùng với hoạt động đào tạo, Nhà trường luôn quan tâm hoạt động nghiên cứu khoa học và hợp tác quốc tế. Nhà trường đã xây dựng Chiến lược phát triển khoa học và công nghệ giai đoạn 2018 - 2020, tầm nhìn đến năm 2025; ban hành Quy định về quản lý các hoạt động khoa học và công nghệ. Trong những năm gần đây, cán bộ, giảng viên của Trường đã chủ trì và tham gia triển khai nhiều dự án khoa học - cơng nghệ của Chính phủ, các đề tài, nhiệm vụ nghiên cứu cấp Bộ, cấp Nhà nước. Trung bình hàng năm, Trường thực hiện 120 đề tài/dự án các cấp với tổng kinh phí gần 9,4 tỷ đồng, chiếm khoảng 4% tổng kinh phí hoạt động của Nhà trường; trong đó có 48,65% kinh phí thực hiện đề tài/dự án cấp nhà nước, cấp bộ từ nguồn ngân sách Trung ương, 14,04% kinh phí thực hiện đề tài/dự án cấp tỉnh từ nguồn ngân sách địa phương, 37,31% là đề tài cấp trường.
Với những kết quả toàn diện trong hơn 60 năm xây dựng và phát triển, tập thể Nhà trường, các đơn vị và cá nhân trong Trường đã được tặng nhiều phần thưởng cao quý: Danh hiệu Anh hùng Lao động trong thời kỳ đổi mới (năm 2004), Huân chương Độc lập hạng Nhất (năm 2009, năm 2014), Huân chương Lao động hạng Nhất (năm 1992, năm 2019), Huân chương Lao động