Theo Mai Văn Năm (2008), phân tích hồi quy nghiên cứu mối quan hệ phụ thuộc của một biến (gọi là biến phụ thuộc hay biến được giải thích) với một hoặc nhiều biến khác (được gọi là biến độc lập hay biến giải thích) nhằm ước lượng và dự báo giá trị trung bình của biến phụ thuộc với các giá trị đã biết của biến độc lập.
Chúng ta cần xây dựng hàm hồi quy tuyến tính cho một tổng thể, nhưng vì trong thực tế phần lớn chúng ta chỉ có một mẫu ngẫu nhiên được lấy ra từ một tổng thể nên không thể xây dựng hàm hồi quy cho một tổng thể. Vì thế dựa trên các mẫu có được chúng ta phải ước lượng hàm hồi quy tổng thể. Phương pháp ước lượng (ước lượng các tham số) là phương pháp bình phương bé nhất (OLS), nghĩa là sao cho bình phương chênh lệch giữa giá trị ước lượng biến phụ thuộc và giá trị thực của nó là nhỏ nhất. Từ đó, ta thu được các giá trị ước lượng của các hệ số. Để có thể thực hiện theo phương pháp này, cần phải có một số giả thiết ban đầu:
Giả thiết 1: Mô hình tổng thể tuyến tính với các hệ số
Y = β0 + β1*X1 + β2*X2 + … + βk*Xk + u, với u là sai số (4.1)
Giả thiết 2: Mẫu ngẫu nhiên đồng nhất và độc lập, nghĩa là các quan sát là độc lập và mẫu có cùng phân phối với tổng thể
{xi1, xi2, xi3,……..., xik, yi} i: 1-n (4.2)
Giả thiết 3: Kỳ vọng có điều kiện của sai số u đối với x bằng 0
E [ui | xi1, xi2, xi3, …………..., xik] = 0 (4.3)
Giả thiết 4: Không có hiện tượng đa cộng tuyến hoàn hảo giữa các biến độc lập, hiện tượng tất cả các biến độc lập có quan hệ tuyến tính với nhau. Suy ra không biến nào là một hằng số.
Giả thiết 5: Phương sai của sai số là thuần nhất, phương sai là một hằng số
E [u2 | x1, x2, x3, ………., xk] = σ2 (4.4)
Với năm giả thuyết trên ước lượng bình phương nhỏ nhất là ước lượng tuyến tính không chệch có phương sai nhỏ nhất.