Chương 2 Mơ hình hồi quy tuyến tính
2.1. Mơ hình hồi quy tuyến tính đơn
2.1.2 Ước lượng hệ số hồi quy
Bây giờ giả sử các biến y1,..., yn nhận các giá trị cụ thể nào đó, vẫn ký hiệu là y1,..., yn . Khi đó
i = yi - (axi + b) (2.1.5)
thể hiện độ lệch của quan sát thứ i so với đường hồi quy lý thuyết (xem Hình 2.2). Tổng bình phương các độ lệch
∑𝑛𝑖=1𝑒𝑖2 = ∑𝑛𝑖=1(𝑦𝑖− (𝑎 + 𝑏𝑥𝑖))2
thể hiện “chất lượng” của việc xấp xỉ số liệu bởi đường hồi quy lý thuyết. Ta không thể biết đường hồi quy lý thuyết, việc ta có thể làm là tìm các hệ số a, b để
ℓ(a, b) = ∑𝑛𝑖=1((𝑦𝑖− (𝑎 + 𝑏𝑥𝑖))2 → 𝑚𝑖𝑛 (2.16)
Vì ℓ(a,b) là đa thức bậc 2 của 2 ẩn a, b; điều kiện cần để nó đạt cực tiểu là
𝜕ℓ 𝜕𝑎= 𝜕ℓ
𝜕𝑏 = 0 (2.1.7)
Hình 2.2. Độ lệch và các đường hồi quy lý thuyết, thực nghiệm
Thực ra chứng minh được đây cũng là điều kiện đủ. Đây là hệ 2 phương trình tuyến tính bậc nhất của a, b. khơng khó khăn gì ta tính được nghiệm của hệ này là:
{𝑏̂ = 𝑥𝑦 ̅̅̅̅−𝑥̅.𝑦̅ 𝑆𝑥𝑥/𝑛 𝑎̂ = 𝑦̅ − 𝑏̂𝑥̅ (2.1.8) trong đó 𝑥̅ = 1 𝑛∑𝑛𝑖=1𝑥𝑖; 𝑦̅ = 1 𝑛∑𝑛𝑖=1𝑦𝑖; 𝑥𝑦̅̅̅ = 1 𝑛∑𝑛𝑖=1𝑥𝑖𝑦𝑖; 𝑆𝑥𝑥 = ∑𝑛 (𝑥𝑖 − 𝑥̅)2 𝑖=1 (2.1.10)
Đư ờng hồi quy
th ực nghiệm
Đường hồi quy
lý thuy ết
Độ lệch
Với các ước lượng này ta được phương trình hồi quy thực nghiệm
𝑦 = 𝑎̂𝑥𝑖+ 𝑏̂ (2.1.10)
Phương pháp tìm các ước lượng của hệ số như trên gọi là phương pháp bình phương cực tiểu.
Các phương trình (2.1.5) - (2.1.10) áp dụng với mọi giá trị cụ thể của các biến ngẫu nhiên y1,..., yn nên chúng cũng đúng cho các biến ngẫu nhiên này.
Dưới đây, khi áp dụng các phương trình này và khi không sợ lầm lẫn, ta không phân biệt các biến ngẫu nhiên y1,..., yn với các giá trị cụ thể của chúng.