Hồi quy tuyến tính đa biến hay còn gọi là hồi quy đa biến, là một kỹ thuật trong thống kê trong đó sử dụng một vài biến giải thích (explainatory variables) để dự báo đầu ra của biến mục tiêu. Bản chất của MLR là mô hình hóa lại mối quan hệ tuyến tính giữa các biến giải thích (độc lập) và biến mục tiêu (phụ thuộc) [58].
Phương trình MLR có dạng như sau:
(2.2) Trong đó,
- là biến phụ thuộc;
- (p=1,2,…M) là biến độc lập (biến giải thích/dự báo); M là số biến độc lập
- là hằng số;
- là hệ số góc của mỗi biến giải thích trong phương trình;
- là phần sai lệch của môi hình hay còn gọi là phần dư (residuals). Để ước lượng được bộ tham số của mô hình hồi quy tuyến tính, phương pháp bình phương tối thiểu được sử dụng. Để đưa Phương trình (2.2)
được đưa về dạng ma trận, các biến trong phương trình (2.2) được viết lại dưới dạng ma trận như sau: [ ] ; [ ] ; (2.3) ; [ ] [ ]
Các vectơ và tương tự như đối với mô hình hồi quy tuyến đơn giản, tuy nhiên với các ma trận chứa thêm giá trị hồi quy và ma trận có chứa thêm các
cột giá trị 1, và các cột chứa giá trị của p-1 biến độc lập trong mô hình MLR. Phương trình (2.2) biểu diễn theo dạng ma trận sẽ có dạng như sau:
(2.4) Trong đó,
- Y là vectơ của biến phụ thuộc - X là ma trận hằng số
- là vectơ tham số
- là vectơ của biến ngẫu nhiên độc lập có giá trị kỳ vọng { } và ma trận hiệp phương sai như
sau:
{ } [ ]
(2.5) Từ đó, vectơ Y có giá trị kỳ vọng là:
{ } (2.6)
và ma trận phương sai - hiệp phương sai của Y sẽ tương tự như đối với :
{ } (2.7)
Như vậy, điều kiện Q ở trên sẽ được viết lại như sau:
∑( ) (2.8)
Các tham số ước tính theo phương pháp bình phương tối thiểu là các giá trị tương ứng làm giá trị của Q nhỏ nhất. Phương trình bình phương tối thiểu cho mô hình MLR như sau:
(2.9)
Tham số ước tính bình phương tối thiểu là:
( ) ( ) (2.10)