Mơ hình (2.1.3) được gọi là mơ hình hồi quy tuyến tính đơn; x được gọi là biến hồi quy (hay biến độc lập, biến giải thích), Y được gọi là biến phản hồi (hay biến phụ thuộc, biến được giải thích); a, b được gọi là các tham số hồi quy, a: hệ số chặn, b: hệ số góc; đường thẳng y= ax + b được gọi là đường hồi quy (lý thuyết).
Mơ hình được gọi là tuyến tính vì nó tuyến tính với các tham số a, b (a, b có lũy thừa 1); được gọi là đơn vì có một biến hồi quy.
Giả sử ở quan sát thứ i biến X nhận giá trị xi , biến Y nhận giá trị yi và sai lầm ngẫu nhiên là i . Như vậy, dưới dạng quan sát, mơ hình (2.1.3) trở thành
{
𝑦1 = 𝑎 + 𝑏𝑥1+ 𝜀1 … … … … … … … . 𝑦𝑛 = 𝑎 + 𝑏𝑥𝑛 + 𝜀𝑛
(2.1.4)
Lưu ý rằng yi là các biến ngẫu nhiên.
Để khảo sát mơ hình chúng ta phải tiến hành các thí nghiệm, các phép đo đạc hay các phép quan sát, gọi chung là quan sát, để có bộ số liệu {(xi, yi)}. Thơng qua bộ số liệu này, người ta đưa ra các xấp xỉ (ước lượng) tốt cho các tham số. Mơ hình với các hệ số đã ước lượng được gọi là mơ hình thực nghiệm (empirical model) hay mơ hình lọc (filted model). Dùng mơ hình thực nghiệm chúng ta có thể tiến hành một số dự đốn, tính các giá trị cực trị cũng như các khía cạnh của vấn đề điều khiển.
1.6 1.4 1.2 1.0 .8 100 95 90 85
2.1.2 Ước lượng hệ số hồi quy
Bây giờ giả sử các biến y1,..., yn nhận các giá trị cụ thể nào đó, vẫn ký hiệu là y1,..., yn . Khi đó
i = yi - (axi + b) (2.1.5)
thể hiện độ lệch của quan sát thứ i so với đường hồi quy lý thuyết (xem Hình 2.2). Tổng bình phương các độ lệch
∑𝑛𝑖=1𝑒𝑖2 = ∑𝑛𝑖=1(𝑦𝑖− (𝑎 + 𝑏𝑥𝑖))2
thể hiện “chất lượng” của việc xấp xỉ số liệu bởi đường hồi quy lý thuyết. Ta không thể biết đường hồi quy lý thuyết, việc ta có thể làm là tìm các hệ số a, b để
ℓ(a, b) = ∑𝑛𝑖=1((𝑦𝑖− (𝑎 + 𝑏𝑥𝑖))2 → 𝑚𝑖𝑛 (2.16)
Vì ℓ(a,b) là đa thức bậc 2 của 2 ẩn a, b; điều kiện cần để nó đạt cực tiểu là
𝜕ℓ 𝜕𝑎= 𝜕ℓ
𝜕𝑏 = 0 (2.1.7)