Khi kết luận được hai biến có liên hệ chặt chẽ với nhau, đồng thời giả định rằng đã cân nhắc kỹ bản chất của mối quan hệ nhân quả có thật giữa chúng thì ta có thể mô hình hóa mối quan hệ nhân quả của chúng bằng mô hình tuyến tính trong đó một biến đ ược gọi là biến phụ thuộc (hay biến được giải thích – Y) và biến kia là biến độc lập (hay biến giải thích – X). Mô hình này sẽ mô tả hình thức của mối liên hệ và qua đó giúp dự đoán được mức độ của biến phụ thuộc (với độ chính xác trong phạm vi giới hạn) khi biết tr ước giá trị của biến độc lập.
Mô hình hồi quy tuyến tính bội:
Mô hình hồi quy bội mở rộng mô hình hồi quy hai biến bằng cách thêm vào một số biến độc lập để giải thích tốt h ơn cho biến phụ thuộc.
Mô hình có dạng như sau:
Trong đó:
X1i: Giá trị của biến độc lập thứ p tại quan sát thứ i β0 : Hệ số hồi quy riêng phần thứ k
ei : Biến độc lập ngẫu nhiên (có phân phối chuẩn với trung bình là 0 và phương sai không đ ổi α2)
Mô hình hồi quy tuyến tính bội giả định rằng biến phụ thuộc có phân phối chuẩn đối với bất kỳ kết hợp nào của các biến độc lập trong mô hình.
Đánh giá sự phù hợp của mô hình hồi quy tuyến tính bội:
Hệ số xác định R2đãđược chứng minh là hàm không giảm theo số biến độc lập được đưa vào mô hình, càng đưa thêm nhiều biến độc lập vào mô hình thì R2 càng tăng. Tuy nhiên đi ều này cũng không được chứng minh rằng không phải phương trình càng có nhiều biến sẽ càng phù hợp hơn với dữ liệu (tức tốt hơn).
Kiểm định giả thuyết về độ phù hợp của mô hình:
Hệ số xác định R2 chỉ thể hiện sự phù hợp giữa mô hình với tập dữ liệu mẫu. Để kiểm định độ phù hợp của mô hình hồi quy tổng thể ta sử dụng kiểm định F trong bảng phân tích ph ương sai đểkiểm định giả thuyết về độ hợp lý của mô hình hồi quy tuyến tính tổng thể. Ở đây, ta xem xét liệu biến phụ thuộc có liên hệ tuyến tính với toàn bộ tập hợp các biến độc lập hay không. Ta lần lượt đặt giả thuyết cho các β1, β2, β3, β4… = 0 và kỳ vọng rằng giả thuyết này bị bác bỏ vì nếu có β nào bằng 0 thì yếu tố đó (biến độc lập) chẳng cóảnh hưởng gì đến biến phụ thuộc Y.
Khi kiểm định các giả thuyết tr ên, để rút ra các kết luận, ta so sánh mức ý nghĩa quan sát sig. với mức ý nghĩa ta chọn cho kiểm định là 5% (p= 0,05). Nếu các giá trị β khác 0 và sig < 0,05 thì những giá trị β đó có ý nghĩa về mặt thống kê. Và ngược lai, nếu các giá trị khác 0 và sig > 0,05 thì những giá trị đó không có ý nghĩa về mặt thống kê
Xác định tầm quan trọng của các biến trong mô hình:
Trong hồi quy bội có nhiều biến độc lập ta có thể muốn xác định với các biến đãđưa vào mô hình, biến nào có vai trò quan trọng hơn trong việc dự đoán giá trị lý thuyết của Y hay chúng quan trọng nh ư nhau.