Nếu kết luận được hai biến có liên hệ chặt chẽ với nhau, đồng thời giả định rằng đã cân nhắc kỹ bản chất của mối liên hệ tiềm ẩn giữa hai biến, và xem như đã xác định đúng hướng của mối quan hệ nhân quả có thật giữa chúng thì ta có thể mô hình hóa mối quan hệ nhân quả của chúng bằng mô hình hồi qui tuyến tính . Trong đó một biến được gọi là biến phụ thuộc ( hay biến được giải thích – Y ) và biến kia là biến độc lập ( hay biến được giải thích – X ). Mô hình này sẽ mô tả hình thức của mối liên hệ và qua đó giúp ta dự đoán được mưc độ của biến phụ thuộc ( với độ chính xác trong phạm vi giới hạn ) khi biết trước giá trị của biến độc lập.
Mô hình hồi quy tuyến tính bội
Mô hình hồi quy bội mở rộng mô hình hồi qui tuyến tính hai biến bằng cách thêm vào một số biến độc lập để giải thích tốt hơn cho biến phụ thuộc . Mô hình có dạng như sau:
Yi = 0 + 1X1i + 2X2i + …+ pXpi + ei Trong đó:
Xpi : biểu hiện gía trị của biến độc lập thứ p tại quan sát thứ i k : hệ số hồi quy riêng phần
Ei : là một biến độc lập ngẫu nhiên có phân phối chuẩn đối với bất kì kết hợp nào của các biến độc lập trong mô hình.
Đánh giá độ phù hợp của mô hình hồi quy tuyến tính bội
Hệ số xác định R2 được chứng minh là hàm không giảm theo số biến độc lập được đưa vào mô hình, càng đưa thêm nhiều biến độc lập vào mô hình thì R2 càng tăng, tuy nhiên điều này cũng không được chứng minh rằng không phải chương trình càng có nhiều biến sẽ phù hợp hơn với dữ liệu ( tức là tốt hơn ).
Kiểm định độ phù hợp của mô hình
Kiểm định F sử dụng trong bảng phân tích phương sai vẫn là một phép kiểm định giả thuyết về độ phù hợp của mô hình hồi quy tuyến tính tổng thể.Ở đây biến phụ thuộc có liên hệ tuyến tính với toàn bộ tập hợp các biến độc lập hay không? Giả thuyết H0 là 1 = 2 = 3 = 4=….p=0
Nếu giả thuyết H0 được bác bỏ thì ta kết luận rằng: kết hợp các biến hiện có trong mô hình có thể giải thích được những thay đổi của Y, điều này có nghĩa là mô hình ta xây dựng là phù hợp với tập dữ liệu.
Xác định tầm quan trọng của các biến mô hình.
Trong hồi quy bội có nhiều biến độc lập, ta có thể muốn xác định với các biến được đưa vào mô hình . Biến nào có vai trò quan trọng hơn trong việc dự đoán giá trị lý thuyết của Y hay chúng quan trọng như nhau.