Nêu kết luận được hai biến có liên hệ chặt chẽ với nhau, đồng thời giả định rằng đã cân nhắc kỹ bản chất của mối liên hệ tiềm ẩn giữa hai biến, và xem như đã xác định đúng hướng của mối quan hệ nhân quả có thật giữa chúng thì ta có thể mô hình hóa mối quan hệ nhân quả của chúng bằng mô hình hồi quy tuến tính trong đó một biến được gọi là biến phụ thuộc (hay biến được giải thích - Y) và biến kia là biến độc lập (hay biến được giải thích - X). Mô hình này sẽ mô tả hình thức của mối liên hệ và qua đó giúp ta dự đoán được mức độ của biến phụ thuộc (với độ chính xác trong phạm vi giới hạn) khi biết trước giá trị của biến độc lập.
Mô hình hồi quy tuyến tính bội
Mô hình hồi quy bội mở rộng mô hình hồi quy tuyến tính hai biến bằng cách thêm vào một số biển độc lập để giải thích tốt hơn cho biến phụ thuộc.
Mô hình có dạng như sau:
Yi = 0 + 1X1i + 2X2i + ...+ pXpi + ei
Trong đó:
Xpi: biểu hiện giá trị của biến độc lập thứ p tại quan sát thứ i
k: hệ số hồi quy riêng phần
Ei: là một biến độc lập ngẫu nhiên có phân phối chuẩn đối với bất kỳ kết hợp nào của các biến độc lập trong mô hình.
Đánh giá độ phù hợp của mô hình hồi quy tuyến tính bội
Hệ số xác định R2 được chứng minh là hàm không giảm theo số biến độc lập được đưa vào mô hình, càng đưa thêm nhiều biến độc lập vào mô hình thì R2 càng tăng, tuy nhiên điều này cũng không được chứng minh rằng không phải phương trình càng có nhiều biến sẽ càng phù hợp hơn với dữ liệu (tức là tốt hơn).
Kiểm định độ phù hợp của mô hình
Kiểm định F sử dụng trong bảng phân tích phương sai vẫn là một phép kiểm định giả thuyết về độ phù hợp của mô hình hồi quy tuyến tính tổng thể. Ở đây biến phụ thuộc có liên hệ tuyến tính với toàn bộ tập hợp các biến độc lập hay không? Giả thuyết H0 là 1 = 2 = 3 = 4
Nếu giả thuyết H0 bị bác bỏ thì ta kết luận rằng: kết hợp các biến hiện có trong mô hình có thể giải thích được những thay đổi của Y, điều này có nghĩa là mô hình ta xây dựng là phù hợp với tập dữ liệu.
Kiểm định phần dư
Phần dư có phân phối chuẩn kiểm tra qua biểu đồ phân phối phần dư, biểu đồ P-P plot. Phương sai không đổi: vẽ mối liên hệ giữa biến phụ thuộc và phần dư, thực hiện phân tích hồi qui biến dự báo và phần dư.
Xác định tầm quan trọng của các biến trong mô hình
Trong hồi quy bội có nhiều biến độc lập, ta có thể muốn xác định với các biến được đưa vào mô hình. Biến nào có vai trò quan trọng hơn trong việc dự đoán giá trị lý thuyết của Y hay chúng quan trọng như nhau.