7. Phạm vi nghiên cứu
2.3.4.3. Ứng dụng của các lý thuyết trên trong thiết kế công cụ đánh giá
Theo Phạm Xuân Thanh (2011), công dụng trƣớc hết của việc phân tích câu hỏi thi kiểm tra là để làm tăng giá trị nội dung của câu hỏi thi kiểm tra. Chất lƣợng của câu hỏi thi kiểm tra có thể đƣợc làm tăng lên bằng cách thu thập các bằng chứng liên quan đến nội dung của câu hỏi thi kiểm tra. Có thể hỏi ý kiến về mức độ tƣơng thích và phù hợp (tƣơng hợp) giữa những câu hỏi thi kiểm tra cụ thể với nội dung mà chúng ta dự định kiểm tra đánh giá bằng chính những câu hỏi thi kiểm tra đó. Việc này đòi hỏi phải tập hợp một nhóm chuyên gia để đánh giá mức độ phù hợp giữa câu hỏi thi kiểm tra với nội dung cần kiểm tra đánh giá theo một số tiêu chí đã đƣợc xác định. Ngƣời nghiên cứu sẽ ứng dụng một số triết lý và mô hình của lý thuyết đánh giá cổ điển và hiện đại vào phân tích câu hỏi đƣợc đƣa ra để đánh giá chất lƣợng quản lý đào tạo theo mô hình TQM nhằm thẩm định chất lƣợng của bảng
45
hỏi, loại bỏ những câu hỏi quá tồi, sửa chữa những câu hỏi có thể sửa đƣợc và giữ lại những câu hỏi đáp ứng yêu cầu.
Phạm Xuân Thanh (2011) cho rằng, hầu hết các đại lƣợng tâm lý là các thuộc tính của tƣ duy, mà tƣ duy thì không thể quan sát trực tiếp (đại lƣợng ẩn), nhƣng vẫn có thể đo một cách gián tiếp thông qua các hành vi có thể quan sát đƣợc của con ngƣời. Các công cụ đo lƣờng, quan sát (ví dụ bài test - trong luận văn là bảng hỏi) cần đƣợc thiết kế cẩn thận, có độ tin cậy cao để ghi nhận chính xác các hành vi, làm cơ sở để xác định đại lƣợng ẩn. Vì vậy, dựa trên dữ liệu thu đƣợc từ bảng hỏi, áp dụng mô hình Rasch trong lý thuyết đánh giá hiện đại, ngƣời nghiên cứu sử dụng phƣơng pháp định lƣợng phân tích độ tin cậy, các chỉ số item mnsq (trung bình bình phƣơng), ci (khoảng tin cậy), chỉ số t, item estimate (độ khó của câu hỏi) để trả lời câu hỏi nghiên cứu.
Tóm lại, nghiên cứu chọn cách tiếp cận hỗn hợp giữa định tính và định lƣợng, chiến lƣợc nghiên cứu một tình huống. Nghiên cứu sử dụng các phỏng vấn bán cấu trúc kết hợp với dữ liệu tài liệu thứ cấp để thu thập dữ liệu và gia tăng tính thực tế, khảo sát bằng bảng hỏi và áp dụng lý thuyết cổ đánh giá cổ điện và hiện đại để phân tích nhằm trả lời các câu hỏi nghiên cứu.
