Định lý xấp xỉ tối ưu trong không gian vectơ và ứng dụng ứng dụng giải bài toán bình phương tối thiểu

PHÂN HIỆU - TRƯỜNG ĐẠI HỌC LÂM NGHIỆP KHOA KHOA HỌC CƠ BẢNBÁO CÁOSINH HOẠT HỌC THUẬT KHOA HỌC NĂM HOC 2018 - 2019Tên báo cáo: ĐỊNH LÝ XẤP XỈ TỐI ƯU TRONG KHÔNG GIAN VECTƠ VÀ ỨNG DỤNG ỨNG

PHÂN HIỆU - TRƯỜNG ĐẠI HỌC LÂM NGHIỆP

KHOA KHOA HỌC CƠ BẢN

BÁO CÁO SINH HOẠT HỌC THUẬT KHOA HỌC NĂM HOC 2018 - 2019

Tên báo cáo:

ĐỊNH LÝ XẤP XỈ TỐI ƯU TRONG KHÔNG GIAN VECTƠ VÀ ỨNG DỤNG ỨNG DỤNG GIẢI BÀI TOÁN BÌNH PHƯƠNG TỐI THIỂU

Đơn vị quản lý: KHOA KHCB

Báo cáo viên : LÊ ĐÌNH LƯƠNG

Đồng Nai, tháng 5 năm 2019

TÊN BÁO CÁO:

Định lý xấp xỉ tối ưu trong không gian vectơ và ứng dụng ứng dụng giải bài toán

bình phương tối thiểu ĐẶT VẤN ĐỀ:

Trong toán học, bài toán bình phương tối thiểu, còn gọi là bình phương nhỏ nhất hay bình phương trung bình tối thiểu, là một phương pháp tối ưu hóa để lựa chọn một đường khớp nhất cho một dải dữ liệu ứng với cực trị của tổng bình phương các sai

số giữa đường khớp và dữ liệu Phương pháp này có nhiều ứng dụng trong toán tối ưu Đặc biệt, các bài toán liên quan đến hồi quy tuyến tính Việc giải bài toán trên, thông thường, dựa vào cực trị của hàm nhiều biến Tuy nhiên, dưới góc độ của đại số tuyến tính, chúng ta hoàn toàn có thể giải bài toán bình phương tối thiểu trên một cách khá nhẹ nhàng thông qua việc áp dụng định lí xấp xỉ tối ưu

Tại phân hiệu trường Đại học Lâm nghiệp, việc ứng dụng đại số tuyến tính giải bài toán này cho phép trang bị thêm cho người học một công cụ toán học khá hữu hiệu để giải toán, đặc biệt là trong các bài toán hồi quy tuyến tính nhiều biến

Với lí do trên, tác giả đề xuất trình bày chuyên đề sinh hoạt học thuật “Định lý xấp

xỉ tối ưu trong không gian vectơ và ứng dụng ứng dụng giải bài toán bình phương tối thiểu”

PHẦN 1: MỤC TIÊU, NỘI DUNG, PHƯƠNG PHÁP NGHIÊN CỨU

1 Mục tiêu của báo cáo:

Phổ biến cho người học và người dạy nội dung về phương pháp ứng dụng đại

số tuyến tính (ma trận và hệ phương trình tuyến tính) giải bài toán bình phương tối thiểu và ứng dụng của nó trong bài toán bình phương tối thiểu

2 Nội dung nghiên cứu: Phép chiếu trực giao trong không gian vectơ, bài toán bình phương tối thiểu, bài toán hồi quy tuyến tính đơn, hồi quy tuyến tính bội

3 Đối tượng nghiên cứu: Đại số, giải tích và thống kê toán học

4 Phương pháp nghiên cứu: Tham khảo tài liệu

PHẦN 2 KẾT QUẢ NGHIÊN CỨU VÀ THẢO LUẬN

1 Kết quả nghiên cứu theo nội dung:

1.1 Tích trực giao

Để đi đến giải bài toán bình phương tối thiểu, ta cần trang bị một số khái niệm và tính chất về trực giao trong không gian vectơ như sau:

1.1.1 Tích trong của các vectơ trong không gian ℝn

Định nghĩa 1: Cho u và v là các vectơ trong ℝ ,ta có thể xem u , v như là các ma trận cỡ nx1 trong trường số thực Tích trong của chúng, kí hiệu là u v, là một số thực được định nghĩa như sau : 1

u v u= T

v

Ví dụ 1: Cho u=[2

−1

3], v=[1

0

−2].Kh đó:

u v u= T

v=[2 −1 3][1

0

Ta dễ dàng kiểm tra các tính chất sau:

Định lí 1: Cho u, v và w là các vectơ trong ℝn, a là một đại lượng vô hướng Khi đó:

(1) u v=v u

(2) (u+v) w= u w+ v w

(3) (au) v= a(u v)= u (av)

(4) u u≥0, u u=0⇔u=0

1.1.2 Độ dài của vectơ, khoảng cách giữa các vectơ

Sử dụng khái niệm tích trong, ta xây dựng độ dài của vectơ như sau:

Định nghĩa 2: Cho u là một vectơ trong ℝn,độ dài của u là một số thực, kí hiệu là

ǁuǁ, và được định nghĩa như sau:

ǁuǁ=√u u

Từ định nghĩa trên, ta dễ dàng có định lí sau:

Định lí 1.2: Cho u và v là hai vectơ trong ℝn

.ta có:

(1) ǁuǁ2= u u;ǁuǁ=ǁ− uǁ

(2) ǁu+ vǁ=√u u+2 u v +v v ;

(3) ǁu − vǁ=√u u − u v2 +v v ;

(4) ǁcuǁ=|c| ǁuǁ

1 [1], tr.371

Ví dụ 2: Cho u=[1

−1

0], v=[2

1

3].Ta có:

ǁuǁ=√u u=√1+1+ 0=√2;

ǁu+ vǁ=√2+2.1 +14=√16= 4 ;

ǁu − vǁ=√2 −2.1 +14 =√14 ;

ǁ3 uǁ= 3√1+1+0= 3√2

Ngoài ra, để tính ǁu ± vǁ,trước hết ta tính w= u ± vrồi tính ǁwǁ

Định nghĩa 3: Cho uvà u là các vectơ trong ℝn

.Khoảng cách giữa hai vectơ u và v, khí hiệu là dist(u , v), là độ dài của hiệu hai vectơ đó

dist(u , v)=ǁu − vǁ 1.1.3 Các vectơ trực giao, các tập trực giao

Định nghĩa 4: Hai vectơ u và v trong ℝn được gọi là trực giao với nhau, kí hiệu

là u⊥v , nếu tích trong của chúng bằng 0

Định lí 3: (Định lí Pythagore) u⊥v⇔ǁu+vǁ2

=ǁuǁ2

+ǁvǁ2

Định lí được suy ra trực tiếp từ định nghĩa 1.4 và định lí 1.2

Định nghĩa 5: Cho W là một không gian vectơ con của ℝn

.Vec tơ u thuộc ℝn

được gọi là trực giao với W, kí hiệu là u⊥W , nếu u trực giao với mọi vectơ x thuộc W Tập hợp các vectơ trong ℝntrực giao với W được gọi là phần bù trực giao của W trong ℝnvà được kí hiệu là Wo

Định nghĩa 6: Một tập các vectơ S ={u1,u2,… , uk} trong ℝnđược gọi là một tập hợp trực giao nếu hai vectơ bất kỳ, phân biệt thuộc S trực giao với nhau Khi đó: Nếu S là một cơ sở của không gian con W của ℝnthì S được gọi là mộ cơ sở trực của W

Nếu S là một cơ sở trực giao của W và ǁuǁi=1 với mọi i= 1, k thì S được gọi

là một cơ sở trực chuẩn của W Khi đó mỗi vectơ thuộc S đều gọi là vectơ đơn vị Nhận xét 1: Mỗi tập hợp trực giao gồm các vectơ khác không của ℝn là một tập độc lập tuyến tính

Định lí 4: Cho W là một không gian vectơ con của ℝnvà S={u1 ,u2 ,… , uk}là một

cơ sở trực giao của W Khi đó, với mỗi y∈Wcó được biểu diễn tổ hợp tuyến tính duy nhất của S với

i=1

ciu i Trong đó,

cj= y ui

uj.uj

với j=1,2, … , k Hơn nữa, đặt ^ui= ui

ǁuiǁ với i=1,2,…,k thì tập ^S={^u1, ^u2, … , ^uk} trở thành cơ

sở trực chuẩn của W

Chứng minh: Thực vậy, với mỗi j=1,2, … , k ta có

y uj=( ∑

i=1

k

ciui).uj= cjuj uJ

Vì uj≠0nên cj= y ui

uj.uj

với j= 1,2, … , k

Ta cũng dễ dàng kiểm tra đối với chuẩn hóa cơ sở S của W

Ví dụ 1.3: Cho u1=[1

1

2], u2=[ 1

1

−1] và u3=[ 1

−1

0] Dễ thấy

u1.u2= u1 u3= u2 u3= 0nên tậpS={u1 ,u2 ,u3}là tập trực giao Hơp nữa, vì các vectơ này đều khác 0 nên chúng tạo nên một cơ sở trực giao của ℝ3

.Xét vectơy=[ 0

1

−1],ta có

y u1= −1 y u2= 2 y u3= − 1

u1 u1= 6 u2 u2= 3 u3 u3= 2 Vậy nên

6 u1+ 2

3u2–1

2u3

1.1.4 Phép chiếu trực giao

Định lí 5

Cho W là một không gian vectơ con của ℝn có cơ sở trực giao S={ u1 ,u2,… , uk}, Xét vectơ y bất kỳ trong ℝn

Ta có thể phân tích duy nhất thành y = u+ v với u∈ W

và v∈ W0.

Chứng minh: Đặt u=∑

i =1

y ui

ui.ui

W ta chỉ cần chỉ ra v∈ W0. Thực vậy, với mỗi j=1,2,…,k ta có

v uj=(y−∑

i= 1

k y ui

ui.ui

ui) uj= y uj−∑

i≠ j

y ui

ui ui

ui uj−y uj

uj.uj

uj uj= y uj− y uj=0 Vậy nên v trực giao với cơ sở S của W tức là v trực giao với W Từ đó suy ra v∈ W0

Định nghĩa 1.7: Thành phân vectơ u của y được xác định trong định lí 1.5 được gọi là hình chiếu trực giao của y vào W, kí hiệu là projWy

Ta nhận thấy rằng với mỗi y∈ℝn và không gian con W = span (S) thì projWy là duy nhất Hơn nữa, nếu y∈W thì projWy= y

Ví dụ 4: Cho u1=[1

2

1] và u2=[ 1

−1

1] và y=[ 1

2] Vì u1 và u2 trực giao, đặt

Khi đó ta có:

y u1=1 y u2=4

u1.u1=6 u2 u2=3 Vậy nên

projWy=1

6u1+ 4

3u2=[3/2

−1 3/2] Cho ma trận A=[ aij]mxn trên trường số thực Nếu ta xem mỗi cột của A là một vectơ trong ℝm thì A như là một bộ gồm n vectơ trong ℝm và ta viết A=[u1 u2 un] với ui=[a1 i

a2 i

ami], (i= 1,2, n) Như vậy ta có thể xét tính trực giao của A như sau:

Định nghĩa 8: Ma trận A=[ aij]mxn được gọi là có các cột trực giao nếu {ui}i= 1

n là một cơ sở trực giao trong ℝn

Định lí 6: Ma trận A được xác định như trong Định nghĩa 1.8 có các cột trực giao khi và chỉ khi AT

thành In

Chứng minh:

Thực vậy, ta có thể viết ATA=[u1

T

u2T

un

T] [u1 u2 un]=[ui uj nxn] Vậy nên, nếu ATA= En thì ui.uj= 0 với mọi i≠ j và ui.ui=eii≠0

nhiên AT

A= En

Từ Định lí 6, ta rút ra tính chất quan trọng sau:

Định lí 7: Cho A=[ aij]nxm với các cột trực giao thõa mãn ATA=In thì với mọi vectơ x và y trong ℝn

, ta có:

(1) ǁ Axǁ=ǁ xǁ ;

(2) ( Ax ) (Ay)= x y ;

(3) ( Ax ) (Ay)= 0⇔x y =0.

1.2 Định lí xấp xỉ tối ưu

1.2.1 Định lí

Định lí 1.8: Cho W là một không gian con của ℝn và y là một vectơ bất

kỳ của ℝn

Đặt u proj= Wy , ta có

ǁ yư uǁ≤ǁ yư vǁ với mọi v∈W Dấu đẳng thức xãy ra khi và chì khi u= v

Chứng minh: Vì y ư v =( y ư u)+(uư v ) nên ta có uưv ∈W và yưu∈W0

nên theo định lí Pythagore, ta có

ǁ yư vǁ2=ǁ y ư uǁ2+ǁ u ư vǁ2

Từ đó, ta có điều phải chứng minh Hơn nữa, từ kết quả của phép phân tích trực giao thì u là duy nhất

1.2.2 Nghiệm bình phương tối thiểu

Định nghĩa 1.9: Nếu A là một ma trện cỡ mxn và b là vectơ trong

ℝm

, nghiệm bình phương tối thiểu của phương trình Ax b= là ^x∈ℝn sao cho

ǁbưA ^xǁ≤ǁbư A xǁ với mọi x∈ℝn

Ta cần xác định ^x∈ ColA như vậy sao cho A^x là ảnh của phép chiếu trực giao b lên ColA Đặt ^b= projColAb thì ^x là nghiệm của phương trình:

A x=^b (1) Giả sử (1) có một nghiệm ^x thõa mãn A ^x=^b Vì b−^b trực giao với ColA nên A ^x=^b khi và chỉ khi b− A ^x trực giao với các cột của A Điều đó tương đương với

AT( b− A ^x)= 0 (2) hay AT

A ^x= AT

b (3) Vậy, việc giải phương trình (1) quy về giải phương trình AT

A x= AT

b (còn được gọi là phương trình chuẩn) Từ đó, ta có định lí sau:

Tập nghiệm bình phương tối thiểu của phương trình

tập nghiệm của phương trình chuẩn ATA x= AT

b 1.2.3 Một số ứng dụng

1.2.3.1 Tính khoảng cách từ một vectơ trong ℝn đến một không gian con

Cho W = spant (u1,u2, , um) là một không gian con của ℝn và y là một vectơ trong ℝn

Kí hiệu dist( y , W ) là khoảng cách giữa y và W thì ta có dist( y , W )=ǁ y− uǁ với u proj= Wy

Ví dụ 2.1: Cho u1=[1

1

− 1], u2=[−1

1

3

1] và W=spant (u1,u2)

Ta có projWy=1

3u1+2 u2=[− 5/ 3

7 /3

− 1/ 3] nên dist( y , W ) =ǁ2

= 4

9+ 49+169= 249 hay dist( y , W )=2√6

1.2.3.2 Bài toán bình phương tối thiểu

Giả sử từ các kết quả thực nghiệm về hai đại lượng X và Y cho ta các kết quả như sau:

Từ một hệ hàm cơ sở {f1( x), f2(x ), … , fn(x)} ta cần tìm các hệ số {a1, a2, … , an} sao cho hàm số f(x)=∑

i= 1

n

aifi(x) cực tiểu hóa tổng bình phương các khoảng cách từ yj tới đường cong f( x) Tức là ∑

i= 1

n

(dist { yi, f(x )})2 đạt cực tiểu Để giải bài toán trên, ta đặt A=[ aij]mxn với aij=fi(xj) x=[ ai]nx1 và

đó, ^x được chọn thõa mãn bài toán khi và chỉ khi A^x là hình chiếu trực giao của

b trên f (x ) Vậy x là nghiệm bình phương tối thiểu của hệ phương trình

Ví dụ 1.5: Tìm đường thẳng dạng f(x)= a0+ a1x xấp xỉ bình phương tối thiểu các điểm dữ liệu :

Đường thẳng trên có hệ hàm cơ sở là {1, x }. Đặt A=[1 1

1 3

1 6

1 7], x=[a0

a1] và

b=[7

16

38

42] Thì các hệ số của f(x) là nghiệm bình phương tối thiểu của phương trình

571] Vậy phương trình chuẩn là

[4 17

17 95] [a0

a1]=[ 97

571]⇔[a0

a1]=[ 95 /91 −17 91/

571]=[−492/91

635 91/ ]

Vậy đường thẳng cần tìm là

f (x )=635

492 91

Ví dụ 1.6: Tìm đường cong dạng f(x)=a0+a1x+a2x2 xấp xỉ bình phương tối thiểu các điểm dữ liệu :

Đường thẳng trên có hệ hàm cơ sở là {1 , x , x2

} Đặt A=[1 1 1

1 5 25

1 7 49

a1

a2] và

4

−46

−103

−147] thì các hệ số của f(x) là nghiệm bình phương tối thiểu của phương trình

−2117

chuẩn là

[5 23 143

a1

a2]=[− 290

− 2117

− 15587]⇔[a0

a1

a2]=[− 391/ 159

2585/ 346

− 2348/ 733] Vậy đường thẳng cần tìm là

f (x)=− 391

159+ 2558346x−

2349

2

1.2.3.3 Mô hình hồi quy tuyến tính nhiều biến

Khi nghiên cứu mối quan hệ giữa biến phụ thuộc Y và các biến độc lập

X1, X2,… , Xk −1 Dựa trên n bộ số liệu quan sát {(Yi, X1 i, , X( k− 1)i)}i= 1n người ta lập hàm hồi quy tuyến tính tổng thể (PRF) dạng ngẫu nhiên ứng với từng số liệu quan sát là:

Y1=β0+β1X11+β2X21+ +βk−1X(k−1)1+U1

Y2=β0+β1X12+β2X22+ +βk−1X(k−1 )2+U2

Yn=β0+β1X1 n+β2X2 n+ +βk − 1X( k− 1) n+Un

Đặt Y=[Y1

Y2

Yn], β=[β0

β1

βk−1], U=[U1

U2

Un], và X=[1 X11 X21 X( − k 1)1

1 X12 X22 X( −k1)2

1 X1 n X2 n X(k−1)n] Khi đó PRF ngẫu nhiên có dạng ma trận sau: