Quan sát ngẫu nhiên một số trường hợp rồi suy rộng ra cho tổng thể, sự suy rộng này có khi đúng, có khi không đúng. Thống kê học phân biệt hai loại lỗi lầm :
a. Lỗi lầm loại 1 : từ chối H, khi H đúng, b. Lỗi lầm loại 2 : chấp nhận H, khi H sai.
Quyết định
Thực tế Chấp nhận H Từ chối H
H xảy ra Đúng Lỗi lầm loại 1
H không xảy ra Lỗi lầm loại 2 Đúng
Đặt α = P lỗi lầm loại 1( ), β =P lỗi lầm loại 2( ). Ta muốn các cơ hội lỗi lầm xảy ra càng ít càng tốt. Tuy nhiên, nếu hạ thấp α thì β sẽ tăng và ngược lại. Do đó, trên thực tế thì ta xem giữa hai loại lỗi lầm này, lỗi lầm nào tác hại nhiều hơn thì cần tránh. Trong thống kê, ta quy ước rằng lỗi lầm loại 1 tác hại hơn và cần tránh hơn. Do đó, ta chỉ xét các phép kiểm định có cơ hội lỗi lầm loại 1 (α) không vượt quá một giá trị ấn định trước, thông thường là 1%; 5% hoặc 10%. Giá trị α còn được gọi là mức ý nghĩa của kiểm định.
Gần giống như trong lý thuyết về ước lượng khoảng, để giải quyết bài toán kiểm định, ta quan sát mẫu X , 1 X , ..., 2 X và đưa ra giả thuyết H. Từ mẫu quan n sát, ta chọn một thống kê Q f X , X ,..., X ;= ( 1 2 n θ0) sao cho nếu H đúng thì phân phối xác suất của Q hoàn toàn xác định. Ta còn nói thống kê Q là tiêu chuẩn
kiểm định giả thuyết H.
Bấy giờ, với mức sai lầm α cho trước, ta tìm được khoảng tin cậy [ ]a, b của Q với độ tin cậy γ = − α1 và khi đó,
− Nếu Q∈[ ]a, b : ta chấp nhận giả thuyết H, và
− Nếu Q∉[ ]a, b : ta bác bỏ giả thuyết H.
Trong ứng dụng, nếu hàm mật độ của Q có đồ thị đối xứng qua trục Oy , chẳng hạn như trong phân phối Gauss, N 0;1 , và phân phối Student, ( ) St n , thì ( )
ta chọn khoảng tin cậy đối xứng [−C, C] với
( ) ( ) 2
P Q≤ −C =P Q C≥ = α
và do đó, ta có
− Nếu Q ≤C : Chấp nhận giả thuyết H, và
− Nếu Q >C : Bác bỏ giả thuyết H.
Nếu hàm mật độ của Q không đối xứng, chẳng hạn như trong phân phối χ2,
( )
2 n
χ , và phân phối Fisher, F n, m( ), thì thay vì chọn khoảng tin cậy [ ]a, b sao cho
( ) ( ) 2
P Q a≤ =P Q b≥ = α,
ta quy ước khoảng tin cậy trong phép kiểm định là [0, C] với
( )
P Q C≥ = α.
− Nếu Q C≤ : Chấp nhận giả thuyết H, và
− Nếu Q C> : Bác bỏ giả thuyết H.
Trong phần sau, dựa trên các bảng số liệu, ta lần lượt khảo sát các phép kiểm định :
− So sánh các bảng số liệu, mà người ta còn gọi là các phép kiểm định phi tham số, và
− So sánh tham số đặc trưng của các bảng số liệu, mà người ta còn gọi là các phép kiểm định tham số.