phân tích thành phần chính: principal component analysis - pca

phân tích thành phần chính: principal component analysis - pca

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

KHOA TOÁN – TIN HỌC

Giảng viên : Phạm Thế Bảo

Nguyễn Thái Bình 0511002

Lê Thuận Giang 0511003

SƠ LƯỢC VỀ ĐẠI SỐ TUYẾN TÍNH

§1 KHÔNG GIAN TUYẾN TÍNH

1 Định nghĩa không gian tuyến tính thực

Cho E là tập không trống và R là tập các số thực E là không gian vector thực nếu:

a Trong E thõa mãn một phép cộng với các tính chất:

∀x và y ∈ E: x + y ∈ E

x + y = y + x (1.1.1)

∀x, y và z ∈ E: x + (y + z) = (x + y) +z (1.1.2) Tồn tại một phần tử 0 sao cho x + 0 = x (0 gọi là gốc) (1.1.3)

∀x ∈ E: ∃ (-x) ∈ E sao cho x + ( -x) = 0 (1.1.4)

b Ta xác định một phép nhân khi đưa vào các phần tử của R và E thỏa mãn các tính chất:

∀λ ∈ R và ∀x ∈ E, λ.x ∈ E (1.1.5) Nếu λ, μ ∈ R và x, y ∈ E thì:

(λ + μ)x = λ x + μx (1.1.6)

λ (x + y) = λx + λy (1.1.7)

λ (μx) = (λ μ)x (1.1.8) Nếu λ = 1 thì 1.x = x (1.1.9) Các phần tử của E gọi là các vector, còn các yếu tố của R gọi là các vô hướng, tức

là các số thực

2 Tổ hợp tuyến tính

Vector z ∈ E gọi là tổ hợp tuyến tính của các vector x1, x2, …, xm ∈ E, nếu có các

vô hướng (các số) α1, α2,…, αm ∈ R không ng không tất cả, sao cho: bằ

(1.1.10)

3 Vector độc lập tuyến tính

Các vector x1, x2, …, xm gọi là độc ập tuyến tính, nếu: l

α x 0

(1.1.10)’ khi và chỉ khi α1 = α2 = … = αm = 0, và gọi là phụ thuộc tuyến tính nếu (1.1.10)’ xảy ra với ít nhất một αj ≠ 0

1 Cơ sở của không gian

p vector độc lập tuyến tính e1, e2, …, ep ∈ E là hệ cơ sở của E nếu mọi vector x ∈ E đều là tổ hợp tuyến tính của hệ đó, tức là đều có thể biểu diễn dưới dạng:

x a e

(1.1.11) trong đó: {a1, a2, …, ap} ∈ R

x = (a1, a2, …, ap),

và khi đó x được gọi là vector dòng Nếu viết:

x

a a a

thì x là vector cột trong không gian đã cho

Rõ ràng rằng với phần tử 0 (vector 0) thì aj = 0 với mọi j = 1, 2,…, p, tức là:

0 = (0, 0,…, 0) Không gian E có p vector cơ sở như thế không gian tuyến tính p chiều, ký hiệu là

Rp Nếu ký hiệu số chiều của không gian E là dimE thì ta có dimRP = p

Không gian RP có thể có nhiều cơ sở, nhưng mọi cơ sở của nó đều gồm có p vector Các số thực (các vô hướng) a1, a2,…, ap gọi là các tọa độ của x trên hệ cơ sở e1,

e2, …, ep Ta chỉ xét các không gian có số chiều hữu hạn (p < ∞)

Ví dụ 1 Thống kê công thức bón phân N, P, K cho lúa và năng suất lúa tương ứng

trên 9 mảnh ruộng tại một vùng thuộc đồng bằng sông Hồng được bảng sau:

Mảnh

ruộng

N (kg/ha) P (kg/ha) K (kg/ha) NS

(tấn/ha) 4,10

e1 = (0, 1, 0, 0), số 1 biểu thị 1kg P/ha,

e1 = (0, 0, 1, 0), số 1 biểu thị 1kg K/ha,

e1 = (0, 0, 0, 1), số 1 biểu thị 1tấn thóc/ha

thì mỗi công thức bón phân và năng suất tương ứng được thể hiện bằng một vector x là

tổ hợp tuyến tính của hệ cơ sở e1, e2, e3, e4 Chẳng hạn, với công thức thứ nhất:

x1 = 100e1 + 90e2 + 42e3 + 4,1e4Với công thức thứ 2:

x2 = 120e1 + 85e2 + 45e3 + 4,2e4

Tập F được gọi là không gian con

của RP hay siêu phẳng, nếu với

mọi vector x, y ∈ F và mọi λ, μ ∈

R thì:

x = λx + μy ∈ F

Tất nhiên dimF ≤ dỉmp

Ví dụ 2 Trong bảng hình 3,

nếu chỉ quan tâm đến quan hệ giữa

đạm (N) và năng suất, ta được một

không gian hai chiều Đó là không

gian con của không gian bốn chiều đã nêu trên

Hệ cơ sở của không gian con này là:

e1 = (1, 0)

e4 = (0, 1)

mà ta có thể biểu diễn bằng mặt phẳng như trên hình 3

trong đó, với mảnh 1: x1 = 100e1 + 4,1e4

với mảnh 2: x2 = 120e1 + 4,2e4

với mảnh 3: x3 = 110e1 + 4,0e4

Ví dụ 3: Dễ dàng thấy rằng hai vector x1 và x2 trong ví dụ một độc lập tuyến tính với nhau Do đó, chúng có thể lập thành một siêu phẳng trong không gian 4 chiều

Không gian con (siêu phẳng) hai chiều này chứa mọi vector có dạng

x = (100λ + 120μ)e1 + (90λ + 85μ)e2 + (42λ + 45μ)e3 + (4,1λ + 4,2μ)e4 với λ và μ

Không gian con có các tính chất sau:

1 Nếu F1 và F2 là hai không gian con của Rp, thì F1 ∩ F2 cũng là không gian con của Rp

2 Cho F là không gian con của Rp, và cho t là một vector bất kỳ ∈ Rp Gọi:

F* = {y ∈ Rp: y = x + t, x ∈ F} (1.1.13) thì F* là siêu phẳng (không gian con) afin song song với F

3 Tổng trực tiếp của các không gian con

Cho F1, F2, …, Fk là k không gian con của Rp Nếu F1, F2, …, Fk tạo thành một phân hoạch trong Rp, tức là:

(1.1.14)

Fi ∩ Fj = Ø với mọi i ≠ j; i, j = 1, 2,…, k (1.1.15) thì với mỗi vector x ∈ Rp đều tồn tại một và chỉ một hệ vector x1, x2, …, xk, trong đó xj

Ví dụ 4 Trong bảng 3.1, nếu gọi F1 là không gian con 3 chiều, mà mỗi vector phần

tử của nó là một công thức phân bón, và F2 là không gian con một chiều mà mỗi phần tử của nó là một mức năng suất thì F1 là phần bù của F2

§2 MA TRẬN

1 Định nghĩa ma trận

Ma trận là một bảng số gồm n dòng và p cột, n và p có thể bất kì và hữu hạn Ký hiệu ma trận bằng các chữ hoa A, B, X, … Đôi khi để chỉ rõ số dòng và cột của ma trận,

ta ký hiệu An,p (n dòng và p cột) Như vậy,

A ,

aa

(1.2.1) trong đó aij là phần tử nằm ở dòng i, cột j của A

Ví dụ 1: Trong ví dụ 1 §1 ta có một ma trận 9 dòng 4 cột (ma trận chữ nhật) Nếu

cho tương ứng với mỗi cột một vector (gọi là vector – biến) thì ta được 4 vector 9 chiều

∈ R9, còn nếu cho tương ứng mỗi dòng một vector (gọi là vector - cá thể) thì ta được một không gian 4 chiều, ký hiệu R4

Như vậy, mỗi vector – cá thể (vector dòng) ở đây tương ứng với một mảnh ruộng, trên đó có các giá trị của N, P, K và NS; còn mỗi vector – biến (vector cột) tương ứng với một biến lượng, mà mỗi phần tử của vector là một trị của biến lượng đó

(Có cùng số dòng và số cột)

Tổng của hai ma trận A và B, ký hiệu là:

C A B c (1.2.2)

là ma trận n dòng p cột mà: cij = aij + bij với mọi i 1, n, j 1, p

Ma trận tổng là ma trận mà mỗi phần tử của nó bằng tổng của các phần tử tương ứng trong các ma trận thành phần

Khi đó ma trận tích:

C AB

cc

Ví dụ 5: Cho hai ma trận A và B như trong ví dụ 3 thì không tồn tại tích BA, vì số

cột của B không bằng số dòng của A

A 2 1

1 3 ; B 43 12

Ví dụ 6: Cho

AB 115 53 và BA 105 62thì

5 Ma trận chuyển vị, vết và ma trận con phụ

Cho ma trận An,p n dòng và p cột bất kỳ Ma trận chuyển vị của An,p ký hiệu ATp,n là

ma trận trong đó dòng i i 1, n của An,p trờ thành cột i i 1, n của AT

p,n Nói cách khác, nếu:

A

aa

là vector cột trong Rn thì vector dòng: xT = (x1, x2,…, xn) là vector chuyển vị của x, và tất nhiên xT ∈ Rn

Chú ý 1: Mọi tính chất đúng cho ma trận An,p (cho vector x) đều đúng cho ma trận chuyển vị ATp,n (cho vector xT) của nó

Do đó, từ đây trong toàn bộ trình bày, nếu không có gì đặc biệt, ta ký hiệu x, y,… là những vector cột và xT, yT,… là những vector dòng chuyển vị của x, y,…

Chú ý 2: cho A là ma trận p dòng, n cột và B là ma trận n dòng, q cột thì tích AB là

ma trận p dòng, q cột, đồng thời tích AB có tính chất sau:

(AB)T = BTAT (1.2.5)

Cho ma trận vuông Ap,p Gọi vết của A, ký hiệu là Tr(A), là tổng các phần tử trên đường chéo chính của A Nói ch k ác, n : cá h ếu

A

aa

thì TrA ∑ a a

Nếu A = AT (tức là aịj = aij; i, j 1, p) thì ma trận A gọi là đối xứng

Gọi aij là phần tử ở dòng i, cột j của ma trận vuông Ap,p Ta gọi ma trận con phụ của

aij, ký hiệu Aij, là ma trận thu được bằng cách bỏ dòng i và cột j của ma trận A

Ngoài xa, còn những định nghĩa tổng quát hơn về định thức

Định thức của ma trận vuông A cấp p cũng gọi là định thức cấp p

Định thức của ma trận con của A cũng gọi là định thức con

A aa aaVới ma trận cấp 2

Các tính chất sau đây giúp cho việc tính định thức dễ dàng:

1 Định thức của ma trận không thay đổi qua phép chuyển vị

3 Nếu tại một dòng i bất kỳ i 1, p , mà

a a a với m i j=1, 2, …, p, thì: ọ

aa

aa

aa

4 |A| = 0 nếu trong đó:

- Hoặc có một dòng gồm toàn số không

- Hoặc có một số dòng phụ thuộc tuyến tính (trường hợp đặc biệt nếu có hai dòng

tỉ lệ với nhau; trường hợp hai dòng bằng nhau là trường hợp riêng của tỉ lệ)

Từ trường hợp đặc biệt này ta có hệ quả:

với mọi k ≠ i; k, i 1, p

Hệ quả: Nếu rankA = r (r ≤ p) thì trong A tồn tại ít nhất một định thức con cấp r

khác không, và ngược lại Nói cách khác hạng của A chính là cấp cao nhất của định thức con khác 0 của A

5 Định thức không thay đổi nếu cộng vào dòng i một dòng k bất kỳ nhân với một số Nói cách khác:

a

…a

…

a a… ……

…a

…

Nhờ tính chất đó, có thể biến đổi sao cho trong dòng i của định thức mọi phần tử đều bằng không, trừ một phần tử k chá không, giả sử a ij≠ 0 Khi đó:

tức là việc tính định thức A cấp p đưa về việc tính định thức cấp (p - 1) Ta hạ cấp dần như vậy cho đến khi chỉ còn định thức cấp 3 hoặc định thức cấp 2

6 Định thức của tích các ma trận bằng tích các định thức của các ma trận đó, tức là:

|AB| |A||B| (1.2.7) Tất nhiên công thức (1.2.7) chỉ đúng khi A và B đều là các ma trận vuông cùng cấp

Giữ nguyên dòng hai trong định thức

Nhân dòng 2 với 2 rồi cộng vào dòng 1, được dòng 1 mới, nhân dòng 2 với -3 rồi cộng vào dòng 3 cũ, được dòng 3 mới, và nhân dòng 2 với -2 rồi cộng vào dòng 4 cũ, được dòng 4 mới của định thức Kết quả được:

Theo tính chất 6 của định thức thì |AB| = |A|.|B|

Đó là kết quả nhận được khi nhân hai định thức bằng hai cách khác nhau

Ma trận vuông A gọi là không suy biến nếu định thức của nó khác không,

|A| ≠ 0

8 Ma trận đơn vị

Ma trận vuông cấp k gọi là ma trận đơn vị cấp k, nếu các phần tử trên đường chéo chính của nó (tức là các aii, i 1, k) đều bằng 1, còn mọi phần tử khác đều bằng 0 Ký hiệu ma trận đơn vị cấp k là Ikk (hay đơn giản là I) thì:

Cho ma trận A vuông cấp k Nếu tồn tại một ma trận B vuông cấp k, sao cho AB=I, thì B gọi là ma trận nghịch đảo của A

Ký hiệu ma trận nghịch đảo của A là A-1 thì ta có:

AA-1 = A-1A = I Nhận xét:

1 Chỉ có các ma trận vuông mới có nghịch đảo

2 Cần và đủ để ma trận vuông A cấp k có ma trận nghịch đảo A-1 là A không suy biến, tức là |A| ≠ 0

3 Khác với phép nhân ma trận thông thường (không giao hoán hay AB≠BA), phép nhân ma trận vuông bất kỳ A với nghịch đảo của nó luôn giao hoán (xem (1.2.9)) Cách tìm ma trận nghịch đảo

Giả sử A = [aij]pp

Đặt A-1 = [aij-1]pp Để tìm A-1 t chỉ việca xác đị nh các aij-1 sao cho:

a a 1 với i0 với i kk

(1.2.10) Theo định nghĩa của định thức và hệ quả tính chất 4 của nó, để (1.2.10) thỏa mãn, chỉ việc cho:

a 1 A /|A| (1.2.11) trong đó Aij là ma trận con phụ của aij, và |A| là định thức của A

ma trận đơn vị cùng cấp Biến đổi theo dòng và chỉ theo dòng sao cho bên trái trở thành

ma trận đơn vị, khi đó bên phải sẽ là A-1

Nhân dòng 1 với -2 rồi cộng vào dòng 2, được dòng 2 mới, cộng dòng 1 vào dòng 3 được dòng 3 mới, kết quả ta được:

Giữ nguyên dòng 1 chia dòng 2 (nhân dòng 2 với ) cho 3 được dòng 2 mới Nhân dòng 2 mới với (-1) rồi cộng với dò g 3 mn ới, kết quả là:

, X

xxx, B

bbb

thì viết được hệ phương trình (1.2.12) dưới dạng ma trận:

AX = B (1.2.13)Nghiệm của phương trình (1.2.12) (tức là của (1.2.13)) là vector (α , α , … , α T

sao cho khi thay xj bởi αj j 1, p thì (1.2.12) thỏa mãn (tức là cả n phương trình đều trở thành đồng nhất thức)

Giải hệ phương trình (1.2.12) cũng là giải hệ phương trình (1.2.13), nên từ đây chỉ nói đến phương trình (1.2.13)

Ta xét các trường hợp sau:

1 A là ma trận vuông cấp p, không suy biến, tức là n = p và |A| ≠ 0 Nhân trái (1.2.13) với A-1, ta được:

A-1.A.X = A-1.B (A-1.A).X = A-1.B (1.2.14)

X = A-1.B Vector X thỏa mãn (1.2.14) chính là nghiệm của (1.2.13) và là nghiệm duy nhất Cũng có thể tìm nghiệm theo quy tắc Cramer:

x |A |

|A| , j 1, p

(1.2.15) trong đó Aj là ma trận được tạo nên bằng cách thay cột thứ j của ma trận A (tất nhiên A vuông cấp p và |A| ≠ 0) bởi cột (b1, b2,…, bp)T

2 A là ma trận vuông cấp p, và suy biến Ta giải bằng cách sau :

- Tìm ma trận vuông không suy biến cấp cao nhất chứa trong A Giả sử

nó có cấp q thì đương nhiện là q < p

- Trong (1.2.12) có thể đổi chỗ các phương trình và các biến sao các phần tử của ma trận Aq,q nằm tr ng q òng cột đầu của A Vì vậy không làm mất tính tổng quát, có thể g :

aa

aa ≠ 0,

Và với mọi k, q < k ≤ p đều có |Ak,k| = 0

- Loại bỏ (p - q) phương trìn à các ủa các ẩn không nằm trong Aq,q

A ,

aa

aa

aa, X

xxx, B

Vì các xq 1, xq 2, …, xp bây giờ có thể lấy các giá trị bất kỳ, nên nghiệm của (1.2.16)

là vô định (có vô số nghiệm)

3 A là ma trận chữ nhật Giải bằng cách hoàn toàn tương tự như phần 2 Theo (1.2.15) dễ dàng nhận thấy rằng với A vuông :

- Nếu |A| ≠ 0 thì nghiệm là duy nhất

- Nếu |A| = 0 với mọi |Aj| = 0; j 1

, p thì ng

- Nếu |A| = 0 và ít nhất một |Aj| ≠ 0; j 1, p

hiệm vô định

thì hệ phương trình vô nghiệm

Chú ý rằng với A chữ nhật, nếu n ≤ p và An,n không suy biến thì tìm nghiệm như phần 2, còn nếu n > p mà |Ap,p| ≠ 0; và trong những vector mà thành phần của chúng không phải là phần tử của Ap,p, có ít nhất một vector độc lập tuyến tinh với những vector nằm trong Ap,p thì hệ phương trình (1.2.12) là vô nghiệm

Nói cách khác, không tồn tại hệ (α1, α2, …, αp) nghiệm đúng hoàn toàn (1.2.12) Trong trường hợp đó người ta có thể tìm một siêu phẳng xấp xỉ tốt nhất hệ (1.2.12), tức là nếu đặt:

ai1x1 + ai2x2 + …+ aipxp –bi = εi; 1, ; thì có thể tìm giá trị của các xj ; j 1, p

- Nếu |A| ≠ 0 thì theo (1.2.15), hệ phương trình có nghiệm tầm thường

x 0; j 1, p)

- Nếu |A| = 0 thì theo hệ phương trình có nghiệm vô định Trường hợp này xảy ra trong đa số các phân tích nhiều chiều và là đối tượng chính mà ta quan tâm

§3 ÁNH XẠ TUYẾN TÍNH

1 Định nghĩa ánh xạ tuyến tính

Cho hai không gian vector Rp và Rn Gọi f là ánh xạ từ Rp vào Rn, ký hiệu là

R R , nếu f làm tương ứng mỗi vector x∈Rp một vector y = f(x)∈Rp

Ánh xạ f gọi là ánh xạ tuyến tính từ Rp và Rn nếu với mọi xi, xj∈Rp và λi, λj∈R đều

có :

f(λixi + λjxj) = λif(xi) + λjf(xj) ∈ Rn (1.3.1)

Ví dụ 1:

Trong R3, phép vị tự và phép quay quanh gốc tọa độ đều là các ánh xạ tuyến tính từ

R3 vào R3 Phép tịnh tiến không phải ánh xạ tuyến tính

Ảnh của Rp xác định bởi f, ký hiệu f(Rp), là tập mọi vector y∈Rn sao cho với mỗi x∈Rp đều có f(x) = y∈Rn

Dĩ nhiên là : f(Rp) ⊆ Rn

gọi dimf(Rp) là rankf (hạng của f) thì :

rankf ≤ p (1.3.2) Nếu Rp trùng với Rn (p = n) thì f là ánh xạ từ Rp vào chính nó

Ánh xạ f gọi là song ánh nếu với mỗi y∈Rn đều tồn tại một và chỉ một x∈Rp sao cho f(x) = y

Nếu n = p và nếu f là song ánh thì f gọi là đẳng cấu Hai không gian Rp và Rn khi đó gọi là đẳng cấu với nhau Chứng minh được rằng khi đó rankf = p

Nếu ánh xạ R R là y = f(x) thì ánh xạ ngược từ Rn vào Rp, ký hiệu R R , là

x = f-1(y) Chứng minh được rằng nếu f là ánh xạ tuyến tính thì f-1 cũng là tuyến tính

Giả sử ánh xạ f làm tương ứng mỗi vector cơ sở ej∈Rp một vector Rn, tức là :

f e

aa

…a

…a

R ; j 1, p

(1.3.3) Khi đó, vì f là tuyến tính, nên với mỗi x∈Rp, tức là x ∑ a e , đều có :

aaa

là ma trận của ánh xạ tuyến tính f, và đặt: xT = (a1, a , …, a2 p) là một vector thuộc Rp thì:

là một vector trong không gian tuyến tính Rn

Từ (1.3.4) và (1.3.6) suy ra: f(x) = Ax

Ký hiệu ánh xạ tuyến tính từ Rp vào Rn gắn với ma trận A là:

(1.3.8) Hạng của A gọi là hạng của ánh xạ tuyến tính f gắn với ma trận A

Ví dụ 3: Trong ví dụ 1 §1, nếu gọi R3 (p = 3) là tập hợp các công thức bón phân đã nêu trong bảng 2.1 và R1 (n =1) là tập hợp các mức năng suất tương ứng, thì ánh xạ f là kết quả của mỗi công thức bón phân được thể hiện bằng một mức năng suất

Ánh xạ từ R3 vào R1 đó có thể v diết ưới dạng nhân ma trận như sau:

4,14,244,154,054,104,154,104,20

rõ ràng rằng hàng của ánh xạ tuyến tính trên ạng(h của A) bằng 3 vì:

100 90 42

120 85 45

110 95 40

0

Tuy nhiên ở đây vector (a1, a2, a3) không xác định duy nhất, vì ma trận A có 9 dòng

và chỉ có 3 cột vấn đề ước lượng tốt nhất vector đó là nội dung của bài toán hồi qui tuyến tính

3 Các phép tính trên các ánh xạ tuyến tính

Mỗi ánh xạ tuyến tính f đều gắn với một ma trận A Do đó mỗi phép tính trên các ánh xạ tuyến tính đều tương ứng với một phép tính trên các ma trận

a Tổng hai ánh xạ tuyến tính:

Cho f1 và f2 là hai ánh xạ tuyến tính từ Rp vào Rn Khi đó với mọi x ∈ Rp đều có:

g(x) = (f1 + f2)(x) = f1(x) + f2(x) Nếu An,p gắn với f1 và Bn,p gắn với f2 thì Cn,p = An,p + Bn,p gắn với f1 + f2 (công thức 1.2.2)

b Nhân ánh xạ f với vô hướng α Nếu ánh xạ tuyến tính f gắn với ma trận A thì ánh xạ tuyến tính αf gắn với ma trận αA (công thức 1.2.3)

c ợp c

Cho R R (ánh xạ f gắn với ma trận A làm tương ứng mỗi vector x ∈ Rp một vector y = f(x) ∈ Rn), và cho R R Khi đó ánh xạ h, ký hiệu h = f ⊗ g tức h(x) = g[f(x)], làm tương ứng mỗi vector x ∈ Rp một vector z = h(x) ∈ Rq

H ác ánh xạ, ma trận tích

Ma trận gắn với ánh xạ h sẽ là ma trận tích Bq,n × An,p Ma trận này có q dòng và p cột Nếu ký hiệu:

R R thì C , B , A ,

d Ánh xạ ngược và ma trận nghịch đảo

Cho f là một đẳng cấu từ Rp vào Rp, (tức là với mỗi x ∈ Rp có duy nhất y = f(x) ∈

Rp và ngược lại, với mỗi y ∈ Rp có đều có một và chỉ một x ∈ Rp sao cho y = f(x)), và f-1

là ánh xạ ngược, chứng minh được rằng nếu f gắn với ma trận Ap,p thì f-1 gắn với ma trận

A , là nghịch đảo của Ap,p (xem (1.2.9))

Các tính chất sau tương đương nhau:

Cho Qp,p là ma trận vuông đối xứng cấp p, tức là:

gọi lả dạng toàn phương đối xứng trên RP

Dạng toàn phương đối xứng gọi là xác định dương (ma trân tương ứng với dạng đó

cũng gọi là ma trận xác định dương) nếu với mọi x ∈ Rp mà x ≠ 0 thì xTQx > 0; và

xTQx= 0 khi và chỉ khi x = 0 = (0, 0, … ,0)

Dạng đó gọi lả bán kính xác định dương nếu với mọi x ∈ Rp mà x ≠ 0, thì xTQx = 0,

và với mọi x còn lại đều có xTQx = 0, và với mọi x còn lại đều có xTQx > 0

2 Trường hợp đặc biệt

Nếu Qp,p = Ip,p (ma trận đon v cị ấp p) thì:

xTIx xTx x

(1.4.2) Cho ma trận An,p (p ≤ n) hạn k, và đặt Qp,p = ATp,n .An,p ta có các tính chất sau:

- Qp,p là ma trận đối xứng xác định dương nếu k = p

¾ Nếu Qp,p = Ip,p thì:

4 Chuẩn, khoảng cách và góc trong RP

Cho Qp,p xác định dương Chuẩn c P, ký hiệu || x ||, là một vô hướng mà:

ủa x trong R

||x|| xTQx (1.4.8) Nếu Qp,p = Ip,p thì:

(1.4.9) Công thức (1.4.9) hay (1.4.2) cho bình phương độ dài của vector xT=(x1, x2, … , xp) trong không gian Euclide p chiều thông thường

y, ký hiệu d(x,y) là căn b ủ

∈ R Từ (1.4.8) dễ dàng su ra ằng k

ậc hai c a:

d x, y x y x y TQ x y (1.4.10) Viết dưới dạng giải íc t h thì:

(1.4.10)’ trong đó

Nếu Q = I (tích vô hướng gắn với ma trận đơn vị) thì:

(1.4.11) Gọi góc giữa x và y là α, ta có:

cos α xTQx

x y

(1.4.12) Nếu ||x||2 = 1, thì:

xTQy y cosα (1.4.12)’ gọi là hình chiếu Q – trực giao của vector y trên vector x

Như vậy, nếu Q = I thì có định nghĩa cổ điển về khoảng cách và cosin của góc giữa hai vector x và y ∈ RP, và độ dài hình chiếu của y trên x Đó là khoảng cách và cosin của góc trong không gian Euclide p chiều

Nếu cosα = 0, tức xTQx = 0, thì x và y gọi là Q – trực giao, và ký hiệu là x ┴ y Ngược lại, nếu hoặc || x|| = 0, hoặc || y || =0, thì đương nhiên xTQy = 0, do đó vế phải của (1.4.12) không xác định Tuy nhiên, nếu xem hai vector x và y là Q – trực giao nếu xTQy = 0, thì vector: 0 = (0, 0, … ,0) (tức là vector x, mà || x ||2 =0) được xem là Q – trực giao với bất cứ vector nào ∈ RP

eTQe 0 với k0 với k jj thì hệ (e1, e2, …ej, … ,ep) là Q – trực giao

Ngược lại, mỗi bộ p vector trong RP thỏa mãn điều kiện trực giao từng đôi đều có thể là một cơ sở của không gian đó

Chú ý 2: Dễ dàng thấy rằng vecto :

eT

r1,0, … ,0

T

e 0,1, … ,0

… … …

eT 0,0, … ,1 hay hệ chuyển vị của chúng tạo thành một cơ sở I – trực chuẩn, hay gọi tắt là cơ sở trực chuẩn của RP

6 Không gian con Q – trực giao

Cho F1 và F2 là hai không gian con của RP Hai không gian đó là Q – trực giao với nhau (F1┴ F2), nếu mỗi x1 ∈ F1đều Q – trực giao với mọi x2 ∈ F2, tức là:

xTQx 0 x F , x F (1.4.14)

g hợp đó:

F F (1.4.15)

Dễ dàng chứng minh rằng trong trườn

7 Không gian con phụ Q – trực giao.

Cho không gian RP, và cho F là không gian con k chiều (tất nhiên k < p) của RP

Không gian con phụ Q – trực giao a F (ký hiệu Fcủ ┴) được xác định bởi:

=Chứng minh được rằng nếu F RP có k chiều thì F┴ có p – k chiều, và RP = F F┴

F┴ {x ∈ RP | XTQy = 0, y ∈ F} (1.4.16)

Với mỗi x ∈ RP đều có thể viết một cách duy nhất:

x = x1+x2 (1.4.17) trong đó x1 là hình chiếu Q – trực giao của x trên F và x2 là hình chiếu Q – trực giao của

x trên F┴ Hơn nữa:

||x||2 = || x1||2 + || x2 ||2 (1.4.18) Một cách tổng quát hơn nếu:

RP F F … F (1.4.19)

trong đó Fi đều Q – trực giao với Fj với mọi i ≠ j ; i, j 1, k thì mọi x ∈ RP đều viết một cách duy nhất:

x x , x F ; j 1, k

(1.4.20) và:

Nếu Ap,p là ma trận gắn với f thì x là vector riêng của f, nếu:

Ax = λx (1.5.1)

Để giải phương trình (1.5.1), chú ý rằng λx = (λI)x, trong đó I = Ip,p’ do đó từ (1.5.1) ta được:

(A - λI)x = 0 (1.5.2) trong đó vế phải là vector 0 – p chiều, 0T = (0, 0,…,0)

Vì x ≠ 0 (ít nhất có một phần tử xi ≠ 0) nên phải có:

|A - λI| = 0 (1.5.3) Giải phương trình (1.5.3), một phương trình đại số bậc p, ta tìm được hệ nghiệm

λ1, λ2,…, λp Đó là các giá trị riêng của ánh xạ f, tức là của ma trận A

Để đơn giản, giả sử p giá trị riêng đó đều thực và khác nhau, chuẩn của các vector riêng x đều bằng 1 (||x||2 = xTx =1)

2 Tính chất của các ma trận đối xứng

Cho A là ma trận vuông đối xứng, tức là AT = A Ta có các tính chất:

1 Mọi giá trị riêng (do đó mọi vector riêng) của A đều thực Hai vector riêng ứng với hai giá trị riêng khác nhau đều trực giao với nhau

2 Nếu A xác định dương thì các giá trị riêng là thực dương Nếu A bán xác định dương thì giá trị riêng là thực, không âm

3 Cho Ap,p là ma trận xác định dương Tồn tại ma trận Cp,p trực giao (tức

CTC = I – xem mục 10 §2) sao cho các cột của C là các vector riêng của A Hơn nữa:

A = CDCT (1.5.4) trong đó D là ma trận vuông cấp p, mà các phần tử trên đường chéo chính của nó là các giá trị riêng λ1, λ2, …, λp của A, còn các phần tử khác bằng không

4 Với Bp,n là ma trận p dòng n cột, và Ap,p là ma trận vuông đối xứng cấp p thì:

AB = BTA (1.5.5)

3 Vector riêng và giá trị riêng nếu tích vô hướng gắn với ma trận Q

Nếu trong Rp tích vô hướng gắn với ma trận Qp,p đối xứng xác định dương, và Ap,p

là một ma trận đối xứng thì:

1 Ma trận AQ có các giá trị riêng và vector riêng thực

2 Mọi vector riêng của AQ ứng với các giá trị riêng khác nhau sẽ trực giao Tìm giá trị riêng bằng phương trình:

|AQ - λI| = 0

4 Tìm vector riêng

Sau khi đã tìm được các giá trị riêng, ta tìm các vector riêng như sau:

Cách 1: Với mỗi giá trị riêng λj; j 1, p; giải hệ phương trình:

(A - λjI)x = 0 nếu tích vô hướng trong Rp là xTx (AQ - λjI)x = 0 nếu tích vô hướng trong Rp là xTQx

Cách 2: Áp dụng tính chất 3 của ma trận đối xứng

X

1 1 0

1 1 10

1 20 11

3 2 2

2 6 3

2 3 3Giải:

vì |A| = 15 ≠ 0, nên ma trận đối xứng A xác định dương (tính chất của dạng toàn phương) Mọi giá trị riêng của A đều thực, dương (tính chất 2 của ma trận đối xứng) Các vector riêng đều trực giao từng đôi

Để tìm giá trị riêng ta giải phương trình

Phương trình này có 3 nghiệm xấp xỉ: λ1 ≈ 2,1; λ2 ≈ 9,11; λ3 ≈ 0,79

Để tìm vector riêng ứng với giá trị riêng λ1 = 2,1, ta giải phương trình:

3 2,1 2 2

000tức hệ phương trình:

Tương tự, với λ2 ≈ 9,11 thì vector riêng tương ứng xấp xỉ:

z2T=(0,81k2;1,49k2;k2), và với λ3 ≈ 0,79 thì vector riêng là:

z3T=(-0,58k3;-0,35k3;k3)

Dễ dàng thử được rằng: zT1z2 ≈ zT2z3 ≈ zT3z1 ≈ 0, tức là z1, z2 và z3 tạo thành hệ trực giao

Vì:

||z || 3,05 2,33 1 k 18,7314k

||z || ,58 0,35nên muốn cho ||z || ||z || z 1, phả

11,2

§6 KHÔNG GIAN ĐỐI NGẪU

1 Dạng tuyến tính

Cho không gian RP với hệ cơ sở e1, e2,…,ep Nếu ánh xạ tuyến tính f cho ứng với vector x∈RP một phần tử ∈R (một số thực) thì ánh xạ tuyến tính đó được gọi là một dạng tuyến tính trên RP

Tập hợp các dạng tuyến tính trên RP cũng có cấu trúc của một không gian tuyến tính, vì nó thỏa mãn các tính chất của ánh xạ tuyến tính, tức là:

Với mọi x1, x2 ∈RP và λ1, λ2 ∈R đều có:

f(λ1x1+ λ2x2)= λ1f(x1)+ λ2f(x2) (1.6.1)

2 Không gian đối ngẫu của RP

Là tập hợp các dạng tuyến tính trên RP Ký hiệu không gian đối ngẫu của RP là RPđ Chứng minh được rằng số chiều của RP và RPđ bằng nhau, tức là:

dim RPđ = p Xét hệ vector Y1, Y2,…,Yp ∈ RP

đ thỏ mãn: a

Y e YTe 1,0, (1.6.2) với mọi j,k=1, p

Chứng minh được rằng hệ Y1, Y2,…, Yp tạo thành cơ sở của Rpđ Cơ sở đó gọi là cơ

sở đối ngẫu của cơ sở e1, e2, … ep ∈ Rp Mỗi vector Yj; j=1, p; tất nhiên cũng là một dạng tuyến tính trên RP

3 Đối ngẫu khi tích vô hướ ng trong RP gắn với Ip,p

Mỗi vector x∈RP đều có dạng x ∑ x e , và mỗi vector z∈ Rp

đ – dạng tuyến tính trên RP – đều có dạng:

z z Y

(1.6.3) trong đó z1, z2,…, zp là những số thực (tức là zj∈R)

Vì Yj cũng là dạng tuyến tính trên RP, nên từ (1.6.2) ta có:

(1.6.4) trong đó xj là tọa độ thứ j của x trên cơ sở e1, e2,…, ep

4 Đối ngẫu khi tích vô hướng trong RP gắn với Qp,p

Giả sử trong RP tích vô hướng gắn với ma trận Q đối xứng xác định dương, và cho

e1, e2, …, ep là cơ sở Q – trực chuẩn trong Rp (xem mục 4, 5, §4,)

Nhờ Q có thể xác định một ánh xạ tuyến tính từ Rp vào R (xem (1.3.3) – (1.3.8)) sao cho:

R Q R

e Y Qe với mọi j 1, p Chứng minh được rằng hệ Y1, Y2, …, Yp tạo thành cơ sở Q-1 – trực chuẩn của

Ngược lại, ma trận Q-1 xác định một ánh xạ từ R lên Rp, ánh xạ này biến đổi một

cơ sở Q-1 – trực chuẩn của R thành một cơ sở Q – trực chuẩn của Rp

Tính chất đó cho biết tại sao mỗi lần cho Rp một dạng toàn phương gắn với ma trận

Q thì lại cho R một dạng toàn phương gắn với Q-1

Cho x là một vector đơn vị trong Rp, ||x||2 = 1; Giả sử ma trận Q cho tương ứng với

x một vector z = Qx ∈ R Khi đó, do (1.4.8) và (1.6.6) ta có:

z(x) = xTQx = ||x||2 = 1 (1.6.7) Như vậy nếu trong Rp tích vô hướng gắn với Q, và nếu z = Qx ∈ R thì dạng tuyến tính z(x) cho tương ứng mỗi vector đơn vị x một số bằng đơn vị

5 Hình chiếu Q – trực giao trên một trục trong RP

Cho x là vector đơn vị trong Rp và u là một vector bất kì của Rp Khi đó z(u) bằng chiều dài hình chiếu Q – trực giao của u lên giá trị của x, tức là lên tập:

Rx = {y ∈ Rp: y = λx, λ ∈ R}

Thực vậy, từ (1.4.12) và (1.6.6) ta được:

uTQx = ||u||.||x|| cos (u, x) = uTz = z(u) (1.6.8)

Vì ||x||2 = 1, nên z(u) = ||u|| cos (u, Rx), chính là hình chiếu của u trên Rx

α

u

§7 BẢNG SỐ LIỆU TRONG PHÂN TÍCH NHIỀU

CHIỀU

1 Bảng số liệu loại định lượng

Giả sử tham gia vào bảng số liệu có p biến X1, X2,…,Xp và n cá thể; giá trị bằng số của mỗi biến đều đo được trên từng cá thể

; j 1, p

là những vector cột n chiều trong không gian Rn Để thuận tiện, ở đây sẽ thường viết:

XTj = (x1j, x2j, …, xip)

2 Biểu diễn các cá thể trong Rp

Như mục 1 đã nói, mỗi cá thể i (i 1, n tương ứng với một vector:

xTi = (xi1, xi2, …, xip)

và một trọng số pi

xi 

X 3   xi3 

X 1  

Các điểm ngọn của vector xT1, xT2,…, xTi,…, xTn ∈ Rp với các trọng số tương ứng

p1, p2,…, pi,…, pn (hay các số lần tương ứng n1, n2, …, nn) tọa thành một “đám mây điểm – cá thể” trong không gian Rp Gọi tập đám mây điểm đó là N

Hình trên biểu diễn đám mây điểm – cá thể trong không gian R3 (có 3 biến X1, X2,

X3 tham gia)

Với mọi vector x, y ∈ Rp thì tích vô hướng có thể gắn với ma trận đơn vị Ip,p cấp p, tức là có dạng xTy hoặc có thể gắn với một ma trận đối xứng xác định dương bất kì Qp,p, tức là có dạng xTQy

Ngoài ra, mỗi vector xi ∈ N đều viết đư c dưới dạng: ợ

(1.7.2) trong đó e1, e2, …, ep là cơ sở của Rp

3 Biểu diễn các biến trong Rp

Theo (1.6.2)

Y e 1,0,trong đó e1, e2,…, ep là hệ cơ sở ∈ Rp, và Y1, Y2, …, Yp là hệ cơ sở ∈ R nên ta có:

(1.7.3)