7. Phạm vi nghiên cứu
3.1.Thẩm định thang đo
Thang đo đƣợc thẩm định chủ yếu qua việc phỏng vấn lấy ý kiến chuyên gia về yếu tố nội dung, cấu trúc, sự phù hợp với các đối tƣợng và ngôn ngữ sử dụng. Bằng việc thực hiện Phiếu đánh giá sự tương hợp giữa câu hỏi đánh giá với mục đích nghiên cứu, ngƣời nghiên cứu tiến hành phân tích ý kiến nhận định của các chuyên gia về sự phù hợp của từng tiêu chí với đánh giá công tác QLCLĐT.
Có 03 chuyên gia là nhà quản lý giáo dục, làm công tác giảng dạy, ngƣời trực tiếp và có kinh nghiệm trong công tác QLĐT tham gia thẩm định các tiêu chí. Ngƣời thứ nhất, 58 tuổi là nhà quản lý giáo dục, lãnh đạo tổ chức, đồng thời cũng là giảng viên và phụ trách mảng công tác đảm bảo chất lƣợng. Ngƣời thứ hai, 35 tuổi là giảng viên, chuyên gia trong lĩnh kiểm tra đánh giá trong giáo dục. Ngƣời thứ ba,
51
37 tuổi, chuyên viên QLĐT, có kinh nghiệm công tác gần 10 năm trong lĩnh vực QLĐT và đang trực tiếp làm điều phối viên một chƣơng trình đào tạo.
Kết quả thẩm định sẽ đƣợc trình bày ở chƣơng sau.
2.4.3.2. Thẩm định thang đo bằng phương pháp định lượng
Dữ liệu nhận đƣợc từ quá trình khảo sát đƣợc làm sạch, ngƣời nghiên cứu đã tách dữ liệu của nhóm đối tƣợng sinh viên và cán bộ quản lý, giảng viên ra thành 2 trƣờng dữ liệu khác nhau, sau đó đƣa vào các phần mềm SPSS, CONQUEST để chạy số liệu. Mô hình lý thuyết áp dụng để thẩm định thang đo chủ yếu là lý thuyết đánh giá cổ điển (CCT).
Theo Lâm Quang Thiệp (2011) CCT hạn chế hơn IRT ở 5 đặc điểm: 1) Các đặc trƣng câu hỏi không phụ thuộc nhóm ngƣời trả lời; 2) Các điểm mô tả năng lực ngƣời trả lời không phụ thuộc vào bảng hỏi cụ thể mà ngƣời trả lời thực hiện; 3) Mô hình xem xét ở cấp độ câu hỏi chứ không phải cấp độ cả bảng hỏi; 4) Mô hình không đòi hỏi các bảng hỏi hoàn toàn tƣơng đƣơng để đánh giá độ tin cậy; 5) Mô hình cung cấp các sai số khác nhau của phép đo ở từng mức năng lực của ngƣời trả lời.
Tuy vậy, những chỉ số về độ khó, độ phân biệt, độ tin cậy và độ giá trị kết hợp với một số chỉ số khác có thể trả lời đƣợc câu hỏi nghiên cứu nên những hạn chế của CCT với IRT sẽ đƣợc khắc phục bằng cách phân tích thêm 1 số chỉ số trong IRT.
Theo Phạm Xuân Thanh (2011), một số chỉ số thống kê có thể chỉ ra những thuộc tính cụ thể của câu hỏi thi kiểm tra, qua đó chung ta biết đƣợc những câu hỏi tốt và chƣa tốt. Đối chiếu với nghiên cứu, có thể hiểu rằng, qua các chỉ số thống kê có thể biết đƣợc rằng, những tiêu chí nào phù hợp (câu hỏi tốt) và tiêu chí nào chƣa phù hợp (câu hỏi chƣa tốt).
Các nhà nghiên cứu (Crocker & Algina, 1986) đã phân loại các chỉ số cổ điển thƣờng đƣợc sử dụng nhƣ sau: những chỉ số mô tả sự phân bố trả lời của thí sinh về một câu hỏi cụ thể (trung bình cộng và phƣơng sai trả lời của thí sinh);
52
những chỉ số mô tả mức độ của mối quan hệ giữa sự trả lời của thí sinh về một câu hỏi và những tiêu chí cụ thể đang đƣợc quan tâm; những chỉ số liên quan đến phƣơng sai của câu hỏi thi kiểm tra và mối liên hệ với những tiêu chí cụ thể. Các chỉ số khác đƣợc sử dụng là độ tin cậy (Cronbach Alpha), chỉ số t, tần suất. Những chỉ số này sẽ đƣợc tính toán cụ thể và chỉ ra trong chƣơng sau.
2.4.3.3. Xử lý dữ liệu chính thức
Đối với số liệu của nhóm đối tƣợng sinh viên, tổng số có 168 phiếu đƣợc phát ra, thu về 168 phiếu. Sau khi nhập xong dữ liệu, phát hiện thấy có 9 phiếu cần phải loại bỏ, nguyên nhân do các sinh viên chỉ chọn duy nhất 1 mức trả lời cho tất cả các câu hỏi đƣa ra. Ngoài 9 phiếu này, các phiếu còn lại đều đạt yêu cầu, các sinh viên đều trả lời tất cả các câu, không có hiện tƣợng bỏ sót. Theo Neumann (2000)
trong: Saunders và cộng sự, 2010 tỷ lệ hồi đáp tổng thể bằng Tổng số ngƣời hồi đáp /(Tổng số ngƣời trong mẫu - Số trƣờng hợp không đủ điều kiện). Áp dụng công thức, tỷ lệ hồi đáp trong nghiên cứu này bằng 105,6%, đây là 1 tỷ lệ rất cao vì đối tƣợng khảo sát ở đây là tổng thể mẫu.
Đối với số liệu của nhóm đối tƣợng giảng viên, có 23 phiếu đƣợc phát ra và 23 phiếu đƣợc thu về. Kết quả xử lý dữ liệu thô cho thấy, cả 23 phiếu đều đạt yêu cầu, đảm bảo tính tin cậy để thống kê, phân tích.
Quá trình xử lý số liệu của nhóm đối tƣợng sinh viên thông qua các bƣớc: dùng phần mềm SPSS để tính hệ số tin cậy Cronbach's Alpha, dùng mô hình một tham số dành cho bảng hỏi kiểu thang đo của IRT (mô hình Rasch) bằng phần mềm CONQUEST (model item+ step) (các câu lệnh có thể xem trong phụ lục của luận văn) vì bảng hỏi sử dụng thang Likert để tính các hệ số của khác của độ tin cậy và độ giá trị. Các số liệu thống kê theo lý thuyết hiện đại quan trọng khi áp dụng mô hình Rasch là : item mnsq (trung bình bình phƣơng), ci (khoảng tin cậy), chỉ số t, item estimate (độ khó của câu hỏi). Các số liệu theo lý thuyết cổ điển là tần xuất, chỉ số tƣơng quan Pt Biserial, và điểm trung bình Ave Measures.
53
Việc xử lý số liệu của nhóm đối tƣợng CBGV đƣợc sử dụng bằng phần mềm SPSS để tính độ tin cậy, bảng tính Excel tính tần suất theo từng nhóm chỉ tiêu chính. Những số liệu này đƣợc so sánh với số liệu của nhóm đối tƣợng sinh viên nhằm đánh giá độ giá trị nội dung của từng tiêu chí trong bảng hỏi.
Các câu hỏi nghiên cứu (1) và (2) đc trả lời dựa trên các số liệu trên. Câu hỏi nghiên cứu số (3) đc trả lời thông qua phân tích kết quả phỏng vấn bán cấu trúc (danh sách câu hỏi xem phụ lục). Các kết quả này bổ sung và có thể giải thích cho câu hỏi nghiên cứu số 1 và 2, và đƣợc tổng hợp và trình bày ở chƣơng sau.
2.5. Tiểu kết Chƣơng 2
Trong Chƣơng 2, ngƣời nghiên cứu đã làm rõ các khái niệm lý thuyết của các phƣơng pháp nghiên cứu, phân tích đặc điểm, chỉ rõ các phƣơng pháp ứng dụng, xây dựng bộ công cụ công cụ... , nêu rõ điểm mạnh, điểm yếu, các ƣu điểm và hạn chế trong các phƣơng pháp.
Những vấn đề đƣợc trình bày làm nền tảng quan trọng, liên kết cơ sở lý thuyết với phƣơng pháp nhằm giải quyết vấn đề nghiên cứu.
54
Chƣơng 3 KẾT QUẢ VÀ BÀN LUẬN
Chƣơng 3 bao gồm các kết quả nghiên cứu về các tiêu chí đánh giá công tác QLCLĐT theo mô hình TQM. Nội dung của chƣơng bắt đầu từ sự trình bày các kết quả nghiên cứu đƣợc thu thập bằng các phƣơng pháp đã đƣợc trình bày trong chƣơng 2. Những phát hiện bao gồm khả năng các tiêu chí mô hình TQM áp dụng cho đánh giá công tác QLCLĐT, thực trạng quản lý chất lƣợng, các ý kiến đánh giá về việc tiếp cận TQM. Phần cuối của chƣơng là đƣa ra kết luận, trả lời cho những mục tiêu, câu hỏi nghiên cứu đƣợc đặt ra.
3.1. Thẩm định thang đo