Kể cả khi có sự khác nhau thật sự tồn tại trong hai mẫu đối tượng, chúng ta vẫn có thêm một vấn đề nữa ảnh hưởng đến độ tin cậy của các kết quả. Điều này liên quan
đến việc các đối tượng trong mẫu mà chúng ta chọn có đại diện cho toàn bộ quần thể
hay không. Nếu hai nhóm đại diện được cho các quần thể của chúng thì sự khác biệt ở
trên có thể sẽđược lặp lại (nếu chúng ta chọn lặp lại nhiều lần thì sự khác biệt đó vẫn sẽ
tồn tại). Nếu hai nhóm này không đại diện cho quần thể, sự khác biệt ở trên có hoặc không thể phản ánh đúng sự khác biệt thật sự trong hai quần thể. Vì chúng ta thường không lặp lại nghiên cứu, nên chúng ta không biết rằng các kết quả nghiên cứu của chúng ta có phản ánh chính xác sự thật hay là có mắc phải sai lầm. Có hai loại sai lầm khi phiên giải kết quả chúng ta có thể mắc; sai lầm loại I và sai lầm loại II. Khái niệm về
sai lầm loại I và sai lầm loại II là tương đương với khái niệm kết quả dương tính giả và âm tính giả trong kiểm định lâm sàng.
Sự thực (quần thể)
Mẫu Các nhóm khác nhau Các nhóm như nhau
Các nhóm khác nhau 9 U (dương tính giả)
Các nhóm như nhau U (âm tính giả) 9
• Nếu chúng ta nói rằng không có sự khác biệt trong mẫu nghiên cứu và quần thể mà mẫu đại diện cũng không có sự khác biệt, chúng ta cũng không có sai lầm trong kết luận.
• Nếu chúng ta đưa ra sự khác biệt trong mẫu nghiên cứu nhưng thực tế
quần thể mà mẫu đại diện lại không có sự khác biệt này, chúng ta đã phạm phải sai lầm loại I
• Nếu chúng ta nói rằng không có sự khác biệt trong mẫu nghiên cứu, nhưng trên thực tế quần thể mà mẫu đại diện lại có sự khác biệt, chúng ta
đa phạm phải sai lầm loại II.
Sai lầm loại I thường được cho là nghiêm trọng hơn sai lầm loại II. Vì khi chúng ta nói rằng có sự khác biệt nhưng trên thực tế kết luận của chúng ta được đưa ra từ một mẫu “tồi” còn tệ hại hơn là đưa ra kết luận là không có sự khác biệt. Kết luận này và bảng phía trên có thểđược đưa vào phần kiểm định giả thuyết:
H0: Thời gian hoàn thành trung bình giữa hai nhóm là như nhau. H1: Thời gian hoàn thành trung bình là khác nhau giữa hai nhóm.
Quần thể
Mẫu H1 H0
H1 9 U (Sai lầm loại I)
H0 U ( Sai lầm loại II) 9
Lực của kiểm định là phần bù của sai lầm loại II. Nếu sai lầm loại II là 10%, lực kiểm định là 90%.