4. Phạm vi và thời gian nghiên cứ u
2.4.Đánh giá độ tin cậy và độ hiệu lực của bộ công cụ đo lường
Trong một nghiên cứu, điều quan trọng hơn cả là độ tin cậy và độ hiệu lực của công cụ đo lường mà nghiên cứu đó sử dụng để có được kết quả nghiên cứu. Độ tin cậy trả lời cho câu hỏi phép đo đã đo được đúng cái nó được thiết kế để đo chưa và độ hiệu lực trả lời cho câu hỏi phép đo có phù hợp với mục đích khi thiết kế đo không. Bảng hỏi dành cho người sử dụng lao động nhằm thu thập thông tin cho nghiên cứu này là bộ công cụ chưa hề được thử nghiệm, được chuẩn hoá trong cuộc điều tra nào khác, tức là nó chưa hề được đảm bảo có tính giá trị và tính hiệu lực trong cung cấp kết quả đo. Vì vậy việc đánh giá độ tin cậy và độ hiệu lực của bộ công cụ của nghiên cứu này là cực kỳ cần thiết trước khi có thể mô tả kết quả nghiên cứu mà bộ công cụ đã thu thập được.
Có rất nhiều cách khác nhau để đánh giá độ tin cậy và độ hiệu lực. Trong nghiên cứu này, mô hình Rasch được sử dụng như là một công cụ hữu hiệu để thiết kế bộ công cụ đo lường. Thực tế áp dụng lí thuyết ứng đáp câu
hỏi chứng tỏ lí thuyết này cho phép tạo các phép đo lường trong giáo dục thoả mãn hai yêu cầu được đặt ra với một sai số có thể chấp nhận trong thực tế. Đó là yêu cầu: 1/ Các đặc trưng của câu hỏi xác định qua phép định cỡ không phụ thuộc vào dung lượng mẫu và 2/ Mức năng lực xác định được không phụ thuộc vào bộ câu hỏi. Đó là tính bất biến quan trọng được đề ra với phép đo lường mà mô hình Rasch cho phép thoả mãn. Với dung lượng mẫu nhỏ như của nghiên cứu này, việc mô hình Rasch cho phép thoả mãn hai yêu cầu trên là rất quan trọng.
Việc một cá nhân có đủ năng lực để trả lời một câu hỏi nào đó là hoàn toàn ngẫu nhiên và không thể dự đoán trước một cách chắc chắn. Tuy nhiên, các nhà nghiên cứu giáo dục, tâm lý lại có nhu cầu mô hình hoá việc đáp ứng với câu hỏi của người trả lời vì thế Lý thuyết hồi đáp ra đời (khoảng thế kỷ 20). George Rasch - một nhà toán học Đan Mạch đã thiết kế nên mô hình đã đưa ra một mô hình "ứng đáp câu hỏi" để mô tả mối tương tác nguyên tố giữa một thí sinh với một câu hỏi của bài trắc nghiệm, và dùng mô hình đó để phân tích các dữ liệu thật của bài trắc nghiệm. Trải qua hàng thế kỷ, mô hình Rasch được áp dụng rộng rãi và khi máy tính phát triển, mô hình Rasch được máy tính hoá thành các chương trình phần mềm nên không những có thểđo được chính xác năng lực của thí sinh, mà còn có thể áp dụng để nâng cao sự chính xác của các điều tra tâm lí, dự báo xã hội, do đó nó trở thành một công cụđể thiết kế các phép đo lường quan trọng của khoa học xã hội nói chung.
Trong các mô hình ứng đáp câu hỏi, mô hình Rasch được sử dụng nhiều nhất vì nó mô tả quá trình ứng đáp câu hỏi tương đối đơn giản nhưng kết quả tính toán khá phù hợp với thực tế. Việc tính toán theo mô hình Rasch thường được tiến hành như sau : người ta lấy số liệu thực nghiệm từ kết quả của các câu hỏi của một bài trắc nghiệm trên một nhóm mẫu nào đó của thí sinh, từ đó phỏng tính số đo năng lực của mỗi thí sinh và độ khó của từng câu hỏi. Từ các số đo phỏng tính này, người tính toán các đường cong ứng đáp câu hỏi so sánh với các đường cong được dựng từ thực nghiệm và xem xét độ phù hợp giữa chúng theo một tiêu chuẩn nào đó. Nếu độ phù hợp chưa đạt mức chính xác quy định, quá trình tính toán được lặp lại cho đến khi có được sự phù hợp mong muốn. Các phép tính lặp được thực hiện nhanh chóng nhưđược tính điện tử.
Mô hình Rasch chính là mô hình lý thuyết hồi đáp trong đó điểm của từng đặc tính của một cá nhân được tính tổng cộng lại. Nó cũng là mô hình đơn giản nhất cho các thông số nhỏ nhất về một người (chỉ một khía cạnh) và cũng có thể chỉ một thông số tương quan với các mức biểu hiện của một câu hỏi. Thông số của câu hỏi nhìn chung được đề cập như là một ngưỡng biểu hiện của người đó.
Phân tích theo mô hình Rasch dựa trên điểm tổng cộng của một người theo các câu trả lời được hình thành theo nhiều yêu cầu cơ bản: có sự so sánh giữa hai người riêng biệt với những câu hỏi được sử dụng trong bộ câu hỏi đánh giá cùng khía cạnh. Vì vậy, mô hình Rasch được thực hiện như một tiêu chí về cấu trúc của câu trả lời mà các câu trả lời này được sẽđược thống kê.
Đại lượng cần đo được hình dung như là một đường nào đó (thẳng hoặc cong) và kết quả đo lường được mô tả như một điểm đặt trên đường đó. Điều kiện cốt yếu để người trả lời được câu hỏi được xem xét qua hai đại lượng:
- Năng lực của người tham gia trả lời (tham biến năng lực hay tham biến người trả lời) - Độ khó của câu hỏi (tham biến độ khó hay tham biến câu hỏi)
Năng lực của người trả lời và độ khó của câu hỏi là những đại lượng được phân bố trên đường đặc trưng có tính liên tục bao gồm các giá trị của đại lượng cần đo. Thông thường, với các câu hỏi được sử dụng đểđịnh cỡ, thì độ khó của các câu hỏi giữ vai trò thang giá trị thể hiện dọc theo đường đặc trưng của đại lượng cần đo.
Như đã đề cập ở trên, bảng hỏi mà nghiên cứu sử dụng bao gồm năm nội dung, trong đó, nội dung thứ tư về đánh giá mức độ đáp ứng với công việc của sinh viên tốt nghiệp đại học ngành kinh tế là nội dung chính của bảng hỏi. Mô hình Rasch sẽ được sử dụng để xem xét liệu các câu hỏi của nội dung này có cùng một hướng không, tức là có cùng đo cái cần phải đo không. Đồng thời, các chỉ số khác vềđộ tin cậy cũng được xem xét.