AI. Hồi quy tuyến tinh
Trong các bài toán liên quan đến hồi quy, phương pháp bình phương cực tiểu là một phương pháp đơn giản nhưng hiệu quả được sử dụng thông dụng nhằm tìm biểu thức liên hệ giữa các đại lượng liên quan đến nhau [32]. Gia sử ta có một bộ dữ liệu N giá trị (x,y) của hai đại lượng x và y liên quan với nhau và mong muốn tìm một phương trình mô tả môi liên hệ y = f(x) sao cho gan với giá trị từ bộ dữ liệu nhất. De đánh giá được một hàm f(x) là phù hợp, ta có thê xét đến tông bình phương hiệu giữa các giá trị y; từ bộ dữ liệu và ƒ(z,) là
cực tiêu
N
s=) fa) -y¥0?. (1)
Trong trường hợp ta muốn phương trình hồi quy có dang bậc một f(x) = ax + b, thay vào
(1) ta được
N
S= 3 (ax, +b—y,)*. (2)
Ta thay S phụ thuộc và giá trị cô định a và b can tìm. Vậy dé giá trị của S là cực tiểu, ta phải chọn được đồng thời hai giá trị a và b phù hợp. Đề tìm giá trị a và b này, ta tiên hành đạo
hàm riêng phần S lần lượt theo a, b
a = 2Ð (ax; +b—y;)x; = 0N
3S ẻ ea
= 2Ð (ax, +b—y)=0
N . N N
a) (x) + bồ x - x =
mà 7 i (3b)
` ` Ny. vy — N x2 ẹ v.v,
Đề thu gọn biểu thức, ta đặt £ = AE, ÿ = EM x? = AL gy = EAM Khi đó các giá trị
a và b lần lượt có biểu thức tường minh là
54
am xy — XY
2 x? (4)
b=y¥-ax
Như vậy dựa vào (4) ta có thé xác định được o liên hệ tuyến tinh phù hợp giữa đại lượng
x và y đưới dang y = f(x).
A2. Hồi quy bậc hai
Trong trường hợp ta mong muốn có hàm hôi quy là một dạng một hàm bậc 2 là f(x) = ax? + bx +c, ta thực hiện lại tương tự các bước như hoi quy ham bac 1. Đầu tiên ta tiền
hành đạo hàm S theo các giá trị a, b, c
$= 2) (or +bx+e-y)x? =0
= = 3. + bx+c— y)x¡ =0 (5)
x
5 = ) (ax? +bx+c—y) =0
7
N N N N
a) (x) + b D 60” + 2o = Dn
í
“260” + ằ + cm Xà yi (6)N
seo" + > +Ne= Xằ
Hệ phương trình trên có thẻ viết lại đưới đạng ma trận như sau
Yao Sau! Xeằ XỔ~N
Yeo? Yor > x; >ằ |b|-| ằ (7)
Seo Sx N x
t t
Ung với mỗi bộ dữ liệu (x,y), giải hệ phương trình trên ta có thé tim được các hệ số a, b, c
tương ứng.
55
A3. Hệ số quyết định R và chênh lệch thang dư
Sau khi tìm được các hệ số phù hợp với với dang hàm hoi quy mong muốn, bước tiếp ta phải đánh giá xem liệu mô hình bình phương cực tiểu có thé sử dụng phù hợp trong trường hợp này. Một trong những cách đánh giá đỏ chính là dua vào hệ số quyết định R?. Một giá trị y; bất kỳ trong bộ dữ liệu có thé được phân tích thành tổng của giá trị dự đoán ƒ(x¿) và
giá trị thặng dư u.
y= f(x) + u. (8)
Trừ cả hai về cho giá trị ÿ và lấy tổng bình phương hai về
3 0i—ÿ)? =P.) +u— ÿ)?. (9)
Tiến hành thu gon biểu thức ta được
> %1-D? =D 6a - pF + Ye. (10)
Dé gon trong việc tinh toản, phương trình trên con có thé được viết đưới đạng tên quy ước
theo thứ tự
SST = SSE + SSR. (11)
Với SST chính là tong bình phương sai số, SSE là tông bình phương sai số được giải thích qua mô hình bình phương cực tiêu và SSR chính là tong bình phương thang dư, phan không được giải thích bằng mô hình bình phương cực tiểu. Chính vì thé để đánh giá mức độ phù
hợp của mô hình, hệ số quyết định R* được định nghĩa
_ SSE _ SSR
2¿=—-= — ——
x SST : SST ` 2)
Như vậy khi phan giải thích được từ mô hình bình phương cực tiêu càng lớn thì hệ số R* sẽ càng gan với 1, và ngược lại nếu hệ số R? càng gan với 0 nghĩa là phan dữ liệu được giải
thích bởi mô hình không cao. Bên cạnh đó ta có thé sử dụng hệ số R? được hiệu chỉnh
_. 5S N~1_„ X-fG)), N-1
Rea 1 sor NK TL Wn-P XNK
Hệ số hiệu chỉnh R? cũng có giá trị từ 0 đến 1 tương tự như hệ số R? thông thường. nhưng (13)
khác biệt là có tính đến việc thêm vào các biến độc lập K đề giải thích mô hình có đáng tin cậy hay không. Do đó đổi với hồi quy bậc hai, hệ số hiệu chỉnh R? cũng có thẻ được sử dụng
56
bên cạnh hệ số R? thông thường. Tuy nhiên hệ số hiệu chỉnh R* sẽ luôn có giá trị nhỏ hơn hệ số R?.
Bên cạnh hệ số quyết định R2, ta cũng có thé sử dung đỗ thị biéu dién giá tri thang dư
¡ tường ứng với các giá trị x, dé đánh giá độ tin cậy của mô hình. Nếu các giá trị tập trung ở một mức độ ôn định và phù hợp ta có thé chọn sử dụng. Hoặc nếu các giá trị thăng dư không ôn định ta có thẻ chuyển sang sử dụng các loại mô hình hồi quy khác phù hợp hon.
Trên thực tế, đối với mô hình hôi quy một biến, việc đánh giá qua hệ số quyết định R? và đỗ thị giá trị thang dư là tương đổi đáng tin cậy để đưa ra quyết định chọn sử dụng mô hình.
A4. Các ưu điểm và hạn chế của phương pháp bình phương tối thiểu
Trong luận văn trên đã lựa chọn phương pháp bình phương tôi thiêu trong việc hồi quy
các hàm số. Một rong những ưu điểm của phương pháp này đó chính là tính toán đơn giản và rat dé sử dung, có nhiều phần mềm hỗ trợ việc hỏi quy bằng phương pháp này. Việc đọc ý nghĩa kết quả dựa giữa biến phụ thuộc và biến độc lập qua các hệ số quyết định, đỗ thị giá trị thang du hay các thông số thông kê khác tương đôi đơn giản. Mặt khác kết quả từ phương pháp bình phương tối thiểu thường rất ôn định với độ sai lệch nhỏ so với giá trị thực tế.
Tuy nhiên phương pháp này vẫn có một số hạn chế như giả định rằng sai số giá trị tuân theo hàm phân phối chuẩn, có phương sai ôn định va có tính độc lập. Do đó nêu bộ dữ liệu không tuân theo những giả định trên sẽ cho ra kết quả sai lệch. Mặt khác phương pháp bình phương tối thiểu chỉ hiệu quả khi biết được dang của hàm hỏi quy cần tìm và giá trị dữ liệu phải được chọn lọc nhằm tránh giá trị ngoại lai. Các phương pháp khác như bình phương toi thiểu toàn phan, bình phương nhỏ nhất gia quyền, hồi quy tuyến tinh Bayes sẽ tương đổi phức tap và cong kénh hơn phương pháp bình phương tối thiểu, cũng như yêu cầu cao hơn về điều kiện bộ dữ liệu và thiết bị, phan mềm dé thực hiện hồi quy. Tuy nhiên các phương pháp này có thê tránh được ảnh hưởng giá trị ngoại lai cũng như cho thêm nhiều thông tin
về môi liên hệ giữa biên phụ thuộc và độc lập.
57