Hồi quy là nghiên cứu sự tác động của biến độc lập đến biến phụ thuộc và nếu biết được giá trị của biến độc lập thì ta ước lượng được giá trị của biến phụ thuộc. Phương trình hồi quy tuyến tính tổng thể:
30 0 1 i i i Y =β +β X +ε Trong đó: Xi và Yi là các giá trị của biến độc lập và biến phụ thuộc của cặp quan sát thứ i β0: là hệ số tung độ gốc (hay hệ số chặn) β1: là hệ số dốc (hay hệ số góc)
Phương pháp bình phương nhỏ nhất (Ordinary least square - OLS) là một thủ thuật toán học được sử dụng đểước lượng hàm hồi quy tổng thể dựa trên số liệu mẫu. Khi sử dụng phương pháp này cần xem xét 5 giả thiết của OLS:
- Giả thiết 1: Mối quan hệ giữa biến phụ thuộc và biến độc lập là tuyến tính. Các biến độc lập cho trước và không ngẫu nhiên. (Có thể hiểu tính không ngẫu nhiên ởđây là giá trị của biến độc lập không đổi qua các lần đo - giá trị là lặp lại với mẫu lặp lại).
- Giả thiết 2: Sai số trong mô hình có giá trị trung bình bằng 0 và phương sai của sai số là không đổi.
- Giả thiết 3: Không có sự tương quan giữa các biến độc lập trong mô hình. (tương quan giữa các biến độc lập trong cùng một quan sát)
- Giả thiết 4: Không có sự tương quan giữa các sai số trong mô hình tương quan giữa các quan sát - nghĩa là số liệu thu thập từ người 1, không tương quan với số liệu thu thập được từ người thứ 2, 3..n;
- Giả thiết 5: Không có sự tương quan giữa biến độc lập và sai số trong mô hình.