Mô hình hồi quy tuyến tính được phát biểu:
(2.10) Trong đó: - y: là biến đáp ứng - x: là biến giải tích - là hằng số - là hệ số (độ dốc) - là sai số
Trong thực tế, và là hai thông số (hay hệ số hồi quy), và là một biến số theo luật phân phối chuẩn với trung bình 0 và phương sai .
Các thông số , phải được ước tính từ dữ liệu. Phương pháp để ước tính các thông số này là phương pháp bình phương cực tiểu (least squares method). Như tên gọi, phương pháp bình phương cực tiểu tìm giá trị , sao cho:
∑ [ ] (2.11)
Có thể chứng minh dễ dàng rằng, ước số cho , đáp ứng điều kiện đó là:
̂ ∑ ̅ ̅
∑ ̅ (2.12)
̂ ̅ ̂ ̅ (2.13)
Trong đó:
- ̅ và ̅ là giá trị trung bình của biến số x và y
- ̂và ̂là hai ước số của , chứ không phải là , (không biết chính xác , nhưng chỉ có thể ước tính mà thôi).
Sau khi đã có ước số ̂và ̂, ta có thể tính:
̂ ̂ ̂ (2.14)
Tất nhiên, ̂ ở đây chỉ là số trung bình của và phần còn lại (tức ̂) gọi là phần dư (residual). Và phương sai của phần dư có thể ước tính như sau:
∑ ̂
(2.15)
chính là ước số của .
Trong phân tích hồi quy tuyến tính(HQTT) đơn giản, thông thường muốn biết hệ số =0 hay khác 0. Nếu =0, thì cũng có nghĩa là không có mối liên hệ gì giữa x và y; nếu ≠ 0 có nghĩa là x và y có liên quan nhau. Để kiểm định giả thiết =0 chúng ta dùng xét nghiệm t sau đây:
̂
̂ (2.16)
SE( ̂) có nghĩa là sai số chuẩn (standard error) của ước số ̂. Trong phương trình trên t tuân theo luật phân phối t với bậc tự do n-2 (nếu thật sự =0).
Giả định của phân tích hồi quy tuyến tính:
Tất cả các phân tích ở trên dựa vào một số giả định quan trọng sau:
1. x là một biến số cố địnhh (“cố định” ở đây có nghĩa là không có sai sót ngẫu nhiên trong đo lường).
2. phân phối theo luật phân phối chuẩn. 3. có giá trị trung bình là 0.
4. có phương sai cố định cho tất cả .
5. Các giá trị liên tục của không có liên hệ tương quan với nhau (nói cách khác
không có liên hệ với nhau).
Nếu các giả định này không được đáp ứng thì phương trình mà chúng ta ước tính có vấn đề hợp lý (validity). Do đó, trước khi trình bày và diễn dịch mô hình trên, cần phải kiểm tra xem các giả định trên có đáp ứng được hay không. Đối với các giả định 2, 3, 4, 5 cách kiểm tra đơn giản nhưng hữu hiệu nhất là bằng cách xem xét mối liên hệ giữa ̂ và phần dư ( ̂) bằng những đồ thị tán xạ.