Đối với tính hợp lệ này, chúng ta phải xem xét cả hai khía cạnh về lý thuyết và cơng cụ đo lường được sử dụng.
4.2 Tính tin cậy (Reliability)
Ta sẽ đạt được sự tin cậy của một đo lường khi nó cung cấp được các kết quả nhất qn. Tính tin cậy là điều kiện cần, nhưng không phải là điều kiện đủ cho tính hợp lệ. Tinh tin cậy là mức độ mà dữ liệu không bị thiên lệch hoặc sai số quá mức. Các công cụ tin cậy là chúng không bị các yếu tố tình huống gây nhiễu. Các cơng cụ phải chắc chắn, và làm việc tốt ở mọi thời gian dưới mọi điều kiện. Thời gian và điều kiện là là những yếu tố cơ bản để đánh giá tính tin cậy, thơng qua các chỉ tiêu – tính ổn định, tính tương đương và mực độ nhất quán nội tại.
Tính ổn định (Stability)
Một đo lường được coi là có tính ổn định khi chúng ta có thể bảo đảm kết quả nhất quán khi lặp lại trên cùng một người với cùng một cơng cụ. Một q trình quan sát coi là ổn định khi nó cho cùng kết quả trên cùng một người khi lặp lại một hay nhiều lần. Trong trường hợp điều tra phỏng vấn, ta khó đạt được tính bền vững của đo lường hơn so với nghiên cứu quan sát. Trong khi chúng ta quan sát lặp lại một vài hành động, chúng ta thường chỉ có thể điều tra lại một lần. Một vài khó khăn có thể xảy ra và gây ra sự thiên lệch như:
- Thời gian giữa các lần đo lường quá lâu dẫn đến sự thay đổi về tình huống.
- Thời gian giữa các lần đo lường quá ngắn làm cho người trả lời còn nhớ các
câu trả lời trước đây, và lặp lại, làm cho độ tin cậy bị thiên lệch đi.
- Người trả lời hiểu rõ mục tiêu thực của một nghiên cứu được ngụy trang có thể
gây ra thiên lệch nếu họ giữ riêng ý kiến liên quan tới mục tiêu nghiên cứu nhưng khơng được người nghiên cứu phát hiện.
Tính tương đương (Equivalence)
Vấn đề thứ hai ảnh hưởng đến tính tin cậy là liệu các điều tra viên khác nhau (trong nghiên cứu quan sát) hoặc các mẫu nghiên cứu khác nhau (trong các câu hỏi hoặc thang đo) có dẫn đến kết quả là sai số có khác nhau hay khơng. Vì vậy, tính tương đương được quan tâm ở khía cạnh sự biến thiên giữa các điều tra viên hoặc các mẫu nghiên cứu khác nhau. Có một phương thức tốt có thể được áp dụng để kiểm tra tính tương đương về kết quả ghi nhận được của các người quan sát - điều tra viên khác nhau là so sánh điểm mà họ cho trên cùng một sư kiện.
Sự nhất quán nội tại (Internal Consistency)
Cách tiếp cận thứ ba để đánh giá tính tin cậy là áp dụng một cơng cụ kiểm tra sự nhất quán nội tại, hoặc là tính đồng nhất (homogeneity) giữa các hạng mục nghiên cứu. Có thể dùng kỹ thuật chia hai (split-half technique) như là một công cụ để đánh giá khi trong bảng câu hỏi phỏng vấn có nhiều câu hỏi hay phát biểu tương tự nhau mà người được phỏng vấn có thể trả lời.
Các thực hiện là chia các hạng mục câu hỏi theo các số chẵn, lẻ hoặc chia làm hai phần một cách ngẫu nhiên. Khi xét sự tương quan giữa hai nửa này với nhau, nếu có tương quan chặt, thì ta có thể coi là kết quả nghiên cứu có tính tin cậy cao, theo ý nghĩa của tính nhất quán nội tại.
4.3 Tính thực tế (Practicality)
Các yêu cầu khoa học của một dự án nghiên cứu bao giờ cũng địi hỏi q trình đo lường phải có tính hợp lệ và tinh cậy, trong khi các yêu cầu hoạt động bao giờ cũng địi hỏi q trình đo lường phải có tính thực tế. Tính thực tế được xác định qua các tính chất kinh tế (economy), thuận tiện (convienience) và có khả năng diễn dịch được
(interpretability).
Kinh tế
- Sự đánh đổi giữa sự lý tưởng của một nghiên cứu và ngân sách nghiên cứu. - Nhiều hạng mục đo lường sẽ làm tăng độ tin cậy, nhưng cũng làm tăng chi phí. - Việc lựa chọn phương thức thu thập dữ liệu có thể bị điều kiện kinh tế khống
chế (ví dụ, phỏng vấn cá nhân và phỏng vấn qua điện thoại).
Sự thuận tiện
- Các phương tiện đo lường nên được quản lý một cách dễ dàng.
- Các phiếu điều tra, bảng hỏi hoặc các thang đo với các hướng dẫn cụ thể sẽ được trả lời đúng một cách dễ dàng hơn.
- Hiển nhiên là, nếu các khái niệm trong nghiên cứu càng phức tạp thì càng cần có các hướng dẫn cụ thể, rõ ràng.
Khả năng diễn dịch được
Các người thiết kế các công cụ thu thập dữ liệu phải cung cấp các thơng tin mang tính hướng dẫn để làm cho việc diễn dịch câu hỏi trở nên dễ dàng hơn:
- Phát biểu về các chức năng của các trắc nghiệm được thiết kế để đo lường và các thủ tục liên quan.
- Các hướng dẫn về cách cho điểm. - Các quy tắc.
- Các quan hệ nội bộ của các điểm phụ (sub-scores). - Các quan hệ giữa kiểm định và các cách đo lường khác. - Hướng dẫn sử dụng kiểm định.