Tổ chức Tiêu chuẩn kiểm tra đánh giá người học Ủy ban các trường đại học
miền Trung Hoa Kỳ
(Middle States Commission on Higher Education)
Tiêu chuẩn 14: Kiểm tra đánh giá sinh viên Nhằm chứng minh rằng mức độ kiến thức, kỹ năng, thái độ của sinh viên so với mục tiêu của nhà trường.
Hiệp hội các trường đại học và cao đẳng New England (New England Association of Schools and Colleges)
Tiêu chuẩn 4: Nhà trường phát triển một cách hệ thống nghĩa là nhà trường hiểu được người học học được những gì và sử dụng kiến thức tiếp thu được để cải thiện chất lượng CTĐT”
Hiệp hội các trường đại học và cao đẳng bắc miền Trung (North Central Association of Colleges and Universities)
Tiêu chí 3: Nhân tố 3a: Chuẩn đầu ra của người học được mô tả rõ ràng trong chuẩn đầu ra của CTĐT.
Ủy ban các trường đại học và cao đẳng miền Bắc Hoa Kỳ
Tiêu chuẩn 2B:2: Nhà trường cần mô tả và công khai chuẩn đầu ra của từng chương trình,
(Northwest Commission on Colleges and Universities)
cấp học. Bằng cách tiến hành phương pháp đánh giá định kỳ và theo hệ thống để chứng minh rằng sinh viên đã hoàn thành CTĐT.
Hiệp hội các trường ĐH và cao đẳng Miền Nam Hoa Kỳ
(Southern Association of Colleges and Schools)
Tiêu chuẩn 3.3.1: Chuẩn đầu ra của CTĐT cần được mô tả
(Nguồn: theo A Multidimensional Model of Assessment [41,tr. 1-22])
Hoa Kỳ là quốc gia có lịch sử phát triển hoạt động kiểm định lâu đời, quốc gia này có 7 tổ chức kiểm định chất lượng các trường ĐH và cao đẳng theo 7 vùng của Hoa Kỳ. Các tiêu chuẩn của các vùng không giống nhau nhưng đều tập trung vào đánh giá các yếu tố chất lượng đầu vào, q trình và đầu ra. Bên cạnh đó, tại Hoa Kỳ cịn có 2 tổ chức kiểm định chất lượng các loại hình đặc thù và 50 tổ chức kiểm định chất lượng các CTĐT các chuyên ngành khác nhau.
1.3.2.Tiêu chuẩn kiểm tra đánh giá sinh viên (Bộ tiêu chuẩn đánh giá chất lượng chương trình đào tạo theo AUN-QA phiên bản 3.0)
Căn cứ vào mục tiêu và nội dung của khóa học/chương trình/mơn học; hình thức tổ chức hoạt động KTĐG thơng qua các hoạt động, các chính sách, quy định; hiệu quả của hoạt động KTĐG, ... thông qua việc thu thập các thông tin định lượng, định tính về kết quả học tập của người học, để đánh giá mức độ hiệu quả của hoạt động KTĐG.
Nhằm phù hợp với định hướng đánh giá sự phát triển bền vững trong giáo dục (sustainable assessment), nghĩa là đánh giá khơng chỉ nhằm mục đích chứng nhận mà cịn nhằm hỗ trợ cho hoạt động giảng dạy và học tập của người học, người dạy, các tiêu chí của tiêu chuẩn KTĐG SV cụ thể như sau:
Hình.1.10. Tiêu chuẩn kiểm tra đánh giá sinh viên theo Bộ tiêu chuẩn đánh giá CTĐT theo AUN-QA phiên bản 3.0
(Nguồn: theo Hướng dẫn đánh giá cấp CTĐT theo AUN-QA phiên bản 3.0) Hoạt động KTĐG bao gồm: đánh giá nhập học của SV bằng kết quả đầu vào; đánh giá sự tiến bộ trong học tập của SV thơng qua kết quả đánh giá q trình, hồ sơ học tập; đánh giá cuối khóa của SV.
SV cần được đánh giá bằng nhiều phương pháp khác nhau như tự đánh giá, bạn bè đánh giá, GV đánh giá dựa trên nguyên tắc minh bạch, linh hoạt, hướng tới kết quả. Việc thực hiện các hoạt động KTĐG cần theo quy trình cụ thể nhằm đảm bảo độ giá trị, độ tin cậy và thực hiện một cách cơng bằng. Bởi vì tầm quan trọng của hoạt động KTĐG, việc ban hành các văn bản, quy định hợp lý về thủ tục khiếu nại kết quả đánh giá để SV sử dụng khi cần thiết, kiểm tra và thẩm định các phương pháp KTĐG bằng văn bản và phát triển các phương pháp KTĐG mới nhằm đảm bảo đạt được mục tiêu đào tạo đã đề ra. Kết quả hoạt động KTĐG là một trong những nguồn thông tin hiệu quả giúp nhà trường đánh giá và cải thiện chất lượng hoạt động giảng dạy và học tập và các hoạt động dịch vụ hỗ trợ người học.
1.4.Quy trình xây dựng cơng cụ khảo sát ý kiến
Quy trình xây dựng phiếu khảo sát bao gồm 6 bước như hình 2.2 theo Maria Teresa Siniscalco và Nadia Auriat [46,tr. 91] , trong đó các tiêu chí quan trọng để xây dựng một bảng hỏi tốt bao gồm: giao diện của bảng hỏi, viết câu
Phản hồi kết quả
Độ giá trị, độ tin cậy, công
bằng Tường minh Công khai Phù hợp với mục tiêu Đa dạng Liên tục KTĐG SV
hỏi, tính liên kết của bảng hỏi, và một lá thư giới thiệu về mục đích của bảng hỏi theo tác giả Swisher [57,tr. 159-165] và cần phải chú ý đến các yếu tố như tên của bảng hỏi, phần giới thiệu, hướng dẫn trả lời bảng hỏi, phần thông tin cá nhân của người trả lời, cấu trúc của bảng hỏi. Yếu tố quan trọng nhất trong việc xây dựng bảng hỏi là các câu hỏi, nghĩa là câu hỏi càng rõ ràng, càng dễ hiểu thì kết quả phân tích sẽ càng tốt hơn theo Covert [21,tr. 74-78].
Bƣớc 1: Lựa chọn thang đo phù hợp: Để đo lường thái độ của SV và
GV về mức độ đáp ứng các hoạt động KTĐG của các học phần chuyên ngành, thang đo Likert là thang đo thích hợp nhất bởi các ưu điểm của loại thang đo này như tính đơn giản, dễ sử dụng, dễ tập hợp và thống kê kết quả.
Bƣớc 2: Liệt kê những câu hỏi cần thỏa mãn các thông tin cần thu thập: Đây là một trong các bước quan trọng nhất trong việc thiết kế bảng hỏi
bởi theo tác giả Mohammad Zohrabi [49,tr. 254-262] cho rằng “Bảng hỏi khi được thiết kế theo cách nhanh nhất, đồng nghĩa với tệ nhất và sẽ khiến cho người được hỏi trả lời một cách tùy tiện nhất”.
Bƣớc 3: Thử nghiệm bảng hỏi: Việc thử nghiệm bảng hỏi sau khi hoàn chỉnh nhằm giúp nghiên cứu đánh giá chất lượng bảng hỏi qua các thông số như độ tin cậy, độ hiệu lực, cấu trúc của bảng hỏi, kiểm tra mẫu thử nghiệm có gặp bất kỳ vấn đề gì trong quá trình trả lời bảng hỏi, ... Sau khi lấy ý kiến của chuyên gia về cấu trúc và nội dung của bảng hỏi, chỉnh sửa lại theo các ý kiến góp ý thì tiến hành thử nghiệm bảng hỏi. Theo các tác giả Maria Teresa Siniscalco,Nadia Auriat [46,tr. 91] cho rằng khi thử nghiệm bảng hỏi cần phải lưu ý các vấn đề sau: Lựa chọn mẫu thử nghiệm có nhiều điểm tương đồng với mẫu khảo sát chính thức về vị trí địa lý, ....; Hướng dẫn người phỏng vấn hoặc người phát bảng hỏi phương pháp trả lời bảng hỏi cũng như nội dung các câu hỏi; Quản lý bảng hỏi.
Bƣớc 4: Tính giá trị của từng quan sát: Tiến hành tính điểm của từng
phiếu khảo sát thu được bằng cách tính tổng điểm của tất cả các lựa chọn trên từng quan sát.
Bƣớc 5: Phân tích kết quả khảo sát thử nghiệm: bao gồm các thao tác như mã hóa số liệu thu thập được, phân loại số liệu thu thập được thành
các loại phù hợp
Bƣớc 6: Xây dựng phiếu khảo sát chính thức: Căn cứ vào kết quả bước 5 để tiến hành chỉnh sửa hoặc loại bỏ các câu hỏi không phù hợp, chỉnh sửa lại cấu trúc phiếu khảo sát, ... để xây dựng phiếu khảo sát chính thức.
Ngồi các bước kể trên, nhằm xây dựng một bảng hỏi tốt cần phải chú ý đến các các thao tác như:
Giải thích mục đích của bảng hỏi nhằm cho người trả lời biết được thông tin thu thập được sẽ được sử dụng như thế nào, vì mục đích gì và đối tượng sử dụng là ai.
Cho người trả lời đủ thời gian để hoàn thành bảng hỏi: nhằm tránh tình trạng “hối thúc” người trả lời tham gia khảo sát, gây ảnh hưởng đến chất lượng và tiến độ khảo sát;
Thời hạn trả lời Phiếu khảo sát cần được ghi rõ trong phần mở đầu hoặc trong phần giới thiệu về mục đích của bảng hỏi.
Hình 1.11. Quy trình xây dựng bảng hỏi
(Nguồn: theo Questionnaire Design, Maria Teresa Siniscalco và Nadia Auriat, 2005)
tiêu chuẩn KTĐG người học, có thể thấy rằng hoạt động KTĐG là quá trình thu thập thơng tin từ nhiều nguồn một cách có hệ thống để từ đó đưa ra các quyết định hợp lý và hoạt động KTĐG chỉ có thể được tiến hành rõ ràng khi các tiêu chí kiểm tra được xác định từ trước.
Mơ hình của David Carless [25,tr. 79-90] cho rằng hoạt động KTĐG tập trung vào người học. Mơ hình này bắt đầu từ hai mục đích chính của hoạt động KTĐG là đánh giá thành tích của người học và công nhận kết quả học tập. Tác động đến 3 yếu tố nội dung KTĐG, sự tham gia của người học trong hoạt động KTĐG, phản hồi về hoạt động KTĐG là quan điểm của người học và người dạy.
Hình 1.12. Mơ hình kiểm tra đánh giá tập trung vào người học (Nguồn: theo Learning-oriented Assessment: Principles, Practice and a (Nguồn: theo Learning-oriented Assessment: Principles, Practice and a
Project [25,tr. 79-90])
Tác giả Jichard.J Stiggins [37,tr. 531] đã đặt ra các câu hỏi khi xem xét việc thiết kế, lựa chọn, tổ chức hoạt động KTĐG. Sau khi lập mục tiêu thích hợp, thông báo mục tiêu đến người học, Jichard.J Stiggins nhấn mạnh vào việc lựa chọn phương pháp KTĐG phù hợp và phải đảm bảo tính giá trị của phương pháp KTĐG.
Hình 1.13: Các câu hỏi khi thiết kế, lựa chọn, tổ chức hoạt động KTĐG
(Nguồn: Theo Jichard.J Stiggins [37,tr. 531])
Các bên liên quan đến hoạt động KTĐG chủ yếu nhất là người dạy và người học bên cạnh các bên liên quan khác như phụ huynh, nhà quản lý giáo dục, nhà tuyển dụng lao động. Các yếu tố từ người dạy như thời gian dành cho hoạt động KTĐG, kinh nghiệm trong việc triển khai hoạt động KTĐG lớp học, thái độ đối với hoạt động này hay các yếu tố từ phía người học như khả năng tự học, động cơ học tập, năng lực đều góp phần ảnh hưởng đến hiệu quả của hoạt động KTĐG góp phần hình thành nên văn hóa KTĐG trong nhà trường. Thơng qua các minh chứng thu thập được về tình hình học tập của người học, KQHT của người học, ý kiến phản hồi của người học, người dạy về thực trạng của hoạt động KTĐG tham chiếu theo tiêu chuẩn 5 – KTĐG SV của Bộ tiêu chuẩn đánh giá chất lượng cấp CTĐT theo AUN-QA, sẽ giúp người học nên biết cái gì và có thể làm được những gì ở từng cấp độ, giúp người dạy thiết lập lại mục tiêu, hỗ trợ cải thiện chất lượng học tập của người học, Từ đó chúng tơi xác định mơ hình nghiên cứu của đề tài như sau:
Hình 1.14. Mơ hình nghiên cứu của đề tài
Tiểu kết chƣơng 1:
Hoạt động KTĐG không chỉ là hoạt động đánh giá quá trình học tập của người học mà còn là một bộ phận cấu thành và tích hợp và hoạt động giảng dạy nhằm cung cấp thông tin để người dạy biết hoạt động và nhiệm vụ nào hữu ích nhất, phương pháp giảng dạy như thế nào là phù hợp nhất, trong quá trình giảng dạy hoạt động KTĐG sẽ giúp người dạy biết thời điểm nào nên chuyển sang nội dung giảng dạy kế tiếp, khi nào thì cần phải đặt thêm câu hỏi, hoặc ví dụ minh họa cho người học, hoặc trả lời câu hỏi của người học như thế nào là phù hợp nhất.
Các nguyên tắc KTĐG Tiêu chuẩn KTĐG SV theo AUN Bộ chỉ báo về mức độ đáp ứng hoạt động KTĐG theo KQHTMĐ 1. Việc tổ chức hoạt động KTĐG; 2. Thời gian, trọng số, quy định KTĐG rõ ràng, công khai; 3. Quy trình, biện pháp
KTĐG tin cậy, giá trị, côngs bằng; 4. Phản hồi kết quả
KTĐG đúng thời hạn;
5. Khiếu nại kết quả KTĐG Phiếu khảo sát ý kiến SV về hoạt động KTĐG Phỏngvấn ý kiến GV về hoạt động KTĐG Mức độ đáp ứng hoạt động KTĐG của các học phần - Đặc điểm của SV (mức độ thường xuyên tham gia học tập; lớp học,... - KQHT của người học; - Đặc điểm của GV (kinh nghiệm giảng dạy, ...) - Môi trường giảng dạy, học tập;
CHƢƠNG 2:
XÂY DỰNG BỘ CÔNG CỤ ĐÁNH GIÁ MỨC ĐỘ ĐÁP ỨNG HOẠT ĐỘNG KIỂM TRA ĐÁNH GIÁ SINH VIÊN
THEO TIẾP CẬN AUN
2.1. Bộ chỉ báo đánh giá mức độ đáp ứng hoạt động kiểm tra đánh giá sinh viên theo tiếp cận AUN-QA
2.1.1. Thao tác hóa khái niệm kiểm tra đánh giá
KTĐG người học được sử dụng để theo dấu vết người học (track on student performance) và để xác định đã đạt được mục tiêu đào tạo hay chưa. Hoạt động KTĐG trong lớp học hỗ trợ GV trong việc ra quyết định quan trọng trong hoạt động giảng dạy hàng ngày. Khái niệm KTĐG (assessment) được sử dụng trong nghiên cứ này là tập hợp bao gồm hai khái niệm, trong đó “kiểm tra” tương ứng với “Do” (measurement) là công cụ để đo lường trong giáo dục đào tạo và “đánh giá” tương ứng với “evaluation” bao gồm các công cụ để đánh giá là “các tiêu chuẩn” (standards), “các tiêu chí” (criteria) được viết ra dưới dạng một “bảng kiểm” (rubrics). Vì vậy, chúng ta có thể xác định các biến của khái niệm “KTĐG” như sau:
- Biến độc lập: KTĐG trong lớp học
- Biến phụ thuộc: sự phát triển của người học - Biến trung gian
Hình 2.1. Các biến của khái niệm “kiểm tra đánh giá”
KTĐG trong lớp học Sự phát triển của người
học Biến trung gian
Biến độc lập Biến phụ thuộc
Biến độc lập “KTĐG trong lớp học” bao gồm: Mục đích
Mục tiêu Thiết kế
Truyền đạt thông tin
Sự tham gia của người học
Biến phụ thuộc “Sự phát triển của người học” bao gồm: Năng lực của người học;
Kết quả học tập của người học Biến trung gian bao gồm:
Đặc điểm của người dạy: giới tính, kinh nghiệm giảng dạy,... Đặc điểm của người học: thái độ của người học, ...
Ý thức của người học;
2.1.2. Bộ chỉ báo đánh giá mức độ đáp ứng hoạt động kiểm tra đánh giá sinh viên theo tiếp cận AUN-QA sinh viên theo tiếp cận AUN-QA
Khi xem xét đến khái niệm “KTĐG” tức là đề cập đến các khía cạnh của khái niệm này, cụ thể bao gồm: Mục đích của hoạt động KTĐG phải tương thích với KQHTMĐ; Tác động của hoạt động KTĐG đối với hoạt động giảng dạy; Mối quan hệ của hoạt động KTĐG đối với hoạt động giảng dạy; Các đặc điểm của hoạt động KTĐG như nội dung của hoạt động KTĐG phải bao phủ nội dung giảng dạy; Phương pháp KTĐG đa dạng; Quy trình KTĐG;
Tiến hành đối chiếu các khía cạnh của hoạt động KTĐG, các chỉ báo thực nghiệm sau khi thao tác hóa khái niệm và bám sát vào nội dung các tiêu chí của tiêu chuẩn KTĐG người học theo tiếp cận AUN-QA, chúng tôi xây dựng được bộ chỉ báo của hoạt động KTĐG theo tiếp cận AUN-QA như sau:
- Căn cứ vào 5 tiêu chí của Tiêu chuẩn KTĐG người học của Bộ tiêu chuẩn đánh giá chất lượng CTĐT theo AUN-QA, phiên bản 3.0;
- Thang đo likert 5 mức độ tăng dần từ 1 đến 5 (Hồn tồn khơng đồng ý đến Đáp ứng rất tốt) và đối chiếu thang đo likert 5 mức độ này với thang đánh giá theo Bộ tiêu chuẩn đánh giá CTĐT theo AUN-QA theo bảng 2.1;
Bảng 2.1. Đối chiếu thang đánh giá theo Bộ tiêu chuẩn đánh giá CTĐT theo AUN-QA và thang đo của Phiếu khảo sát ý kiến về hoạt động KTĐG
theo tiếp cận AUN-QA
STT
Thang đánh giá theo bộ tiêu chuẩn đánh giá CTĐT
theo AUN-QA
Thang đánh giá phiếu khảo sát ý kiến về hoạt động KTĐG
theo tiếp cận AUN-QA 1 Mức 1 - Khơng có gì Hồn tồn khơng đáp ứng 2 Mức 2 - Không đầy đủ, cải thiện
là rất cần thiết Không đáp ứng
3
Mức 3 - Không đầy đủ nhưng những cải tiến nhỏ sẽ khắc phục được điểm này
Đáp ứng một phần 4 Mức 4- Đầy đủ như mong đợi Đáp ứng
5 Mức 5 - Tốt hơn mức đầy đủ
Đáp ứng rất tốt 6 Mức 6 - Chất lượng tốt
7 Mức 7 - Xuất sắc (đẳng cấp quốc tế hoặc thực tiễn hàng đầu)
Tiêu chí 1: Hoạt động KTĐG tương thích với KQHTMĐ.