Luận văn phương pháp bình phương tối thiểu

1 MỞ ĐẦU Giải tích số hay còn gọi là phương pháp số là một môn khoa học thuộc lĩnh vực Toán ứng dụng, nhằm mục đích nghiên cứu cách giải gần đúng các phương trình, các bài toán xấp xỉ, các bài toán tố[.]

1 MỞ ĐẦU Giải tích số hay cịn gọi phương pháp số môn khoa học thuộc lĩnh vực Tốn ứng dụng, nhằm mục đích nghiên cứu cách giải gần phương trình, tốn xấp xỉ, toán tối ưu, Trong việc giải gần nghiệm phương trình, tơi xin đề cập luận văn phương pháp bình phương tối thiểu cho việc giải hệ phương trình tuyến tính Bình phương tối thiểu tuyến tính kỹ thuật để xấp xỉ nghiệm gần cho hệ phương trình tuyến tính với kiện khơng xác ứng dụng rộng rãi thống kê Hệ phương trình trường hợp xét thường hệ mà có số phương trình lớn số biến Các tốn bình phương tối thiểu chia thành hai loại: bình phương tối thiểu tuyến tính bình phương tối thiểu phi tuyến Trong luận văn này, tơi nghiên cứu phương pháp bình phương tối thiểu cho hệ phương trình tuyến tính Cụ thể là, chúng tơi tập trung trình bày cách hệ thống số tính chất nghiệm bình phương tối thiểu, phương pháp phân tích giá trị kỳ dị số ứng dụng đại số tuyến tính giải tốn ngược Luận văn chia làm ba chương sau: Chương 1: Chương nhắc lại số định nghĩa, định lý tính chất quan trọng Giải tích hàm phục vụ cho luận văn Chương 2: Nội dung phần trình bày định nghĩa, tính chất nghiệm bình phương tối thiểu, nghịch đảo suy rộng chứng minh tiêu chuẩn Picard, có mối liên hệ quan trọng với phương pháp bình phương tối thiểu việc phân tích giá trị kỳ dị Chương 3: Trong chương này, chúng tơi trình bày ứng dụng phương pháp bình phương tối thiểu đại số tuyến tính toán ngược CHƯƠNG Một số kiến thức sở Trong chương chúng tơi trình bày số khái niệm tính chất quan trọng Giải tích hàm để hỗ trợ cho phần sau Một số tính chất định lý khác chưa đề cập chương chúng tơi nêu cách xen kẽ chương Định nghĩa 1.0.1 [1], [2] Cho không gian vectơ X trường K = R Một ánh xạ cho k.k : X → K, x 7→ kxk gọi chuẩn X thỏa mãn tính chất sau: (i) kx + yk ≤ kxk + kyk với x, y ∈ X (ii) kαxk = |α|kxkvới x ∈ X , α ∈ K (iii) kxk ≥ với x ∈ X kxk = x = Khi khơng gian vectơ X với chuẩn gọi không gian định chuẩn Hơn nữa, không gian định chuẩn X gọi không gian Banach dãy (dãy Cauchy) X hội tụ tới điểm X , hay nói cách khác X không gian định chuẩn đầy đủ Định nghĩa 1.0.2 [1], [2] Cho không gian vectơ X trường K (K = R C) Một ánh xạ cho h.i : X × X → K, (x, y) 7→ hx, yi gọi tích vơ hướng X thỏa mãn tính chất sau (i) hx, yi = hy, xi với x, y ∈ X (ii) hx + y, zi = hx, zi + hy, zi với x, y, z ∈ X (iii) hαx, yi = αhx, yi với x, y ∈ X α ∈ K (iv) hx, xi ≥ với x ∈ X hx, xi = x = Một không gian vectơ X trường K với tích vơ hướng X gọi không gian tiền Hilbert Từ ta có định nghĩa khơng gian Hilbert khơng gian tiền Hilbert mà đồng thời không p gian Banach với chuẩn kxk = hx, xi, ∀x ∈ X Định nghĩa 1.0.3 [1], [2] Một tập M không gian metric X gọi compact dãy M chứa dãy hội tụ tới điểm thuộc M Từ ta có tính chất: tập compact khơng gian metric đóng hồn tồn bị chặn, mệnh đề ngược chưa đúng, ví dụ đơn giản hình cầu đóng khơng gian định chuẩn vơ hạn chiều khơng compact Tập M gọi compact tương đối (hay tiền compact) bao đóng compact Nói cách khác, M gọi compact tương đối dãy M chứa dãy hội tụ không gian X Tập M gọi hoàn toàn bị chặn với ε > cho trước, tồn phủ gồm hữu hạn hình cầu mở (Si ) với bán kính ε chứa M Và ta có tính chất tập hồn tồn bị chặn bị chặn Định lý 1.0.4 [1] Định lý Heine-Borel: Một tập M không gian metric X gọi compact phủ mở M chứa phủ hữu hạn chứa M Chứng minh Giả sử M có tính chất Heine-Borel Xét dãy (xn ) ⊂ M Với k = 1, 2, , kí hiệu Ak = {xn : n ≥ k} Cho Ak bao đóng T Ak Gk = X \ Ak Với tập hữu hạn I ⊂ {1, 2, }, rõ ràng k∈I Ak 6= S S T ∅, k∈I Ak 6= ∅, X \ k∈I (X \ Ak ) = X \ k∈I Gk 6= ∅, tức hợp tập mở Gk (k ∈ I ) khơng phủ X Vì điều với họ hữu hạn {Gk , k ∈ I} nên theo tính chất Heine-Borel họ khơng thể phủ M Vậy phải có x 6∈ Gk = X \ Ak , tức x ∈ Ak ∀k = 1, 2, Từ dễ dàng suy dãy (xnk ) hội tụ Thật vậy, với k , x ∈ Ak nên hình cầu tâm x bán kính 1/k phải chứa xnk ∈ (xn ) Ta có d(xnk , x) ≤ 1/k → k → ∞ Vậy M compact Để chứng minh phần đảo, giả sử M compact có phủ mở {Gα } khơng chứa phủ hữu hạn Ta lấy dãy số dương εn → Vì M compact nên phủ số hữu hạn hình cầu bán kính ε1 Trong số hình cầu phải có hình cầu, giả sử S1 cho T M1 = M S phủ số hữu hạn tập Gα (nếu khơng M phủ số hữu hạn tập Gα ) Tập M1 compact (vì tập đóng tập compact) nên phủ số hữu hạn T hình cầu bán kính ε2 , số có cái, giả sử S2 cho M2 = M1 S phủ số hữu hạn tập Gα Tập M2 compact nên phủ số hữu hạn hình cầu bán kính ε3 Tiếp tục thế, T ta thu dãy hình cầu Sn tập Mn = Mn−1 S n (n = 1, 2, ) Ta lấy tập Mn điểm xn Dĩ nhiên Mn ⊂ Mn−1 ⊂ ⊂ M nên xn ∈ M M compact nên có dãy (xnk ) hội tụ tới điểm x0 ∈ M Ta có x0 ∈ Gα0 Gα0 mở nên có hình cầu K tâm x0 nằm trọn Gα0 Gọi r bán kính K , ta chọn k0 đủ lớn để d(x0 , xnk0 ) < r/2 εnk0 < r/4 Khi với x ∈ Mnk0 , d(x, x0 ) ≤ d(x, xnk0 ) + d(xnk0 , x0 ) < 2εnk0 + r/2 < r, chứng tỏ Mnk0 ⊂ K ⊂ Gα0 , nghĩa Mnk0 phủ tập Gα0 , trái với cách xây dựng Vậy phủ M phải có phủ hữu hạn Định lý 1.0.5 [1] Định lý Hausdorff: Trong không gian metric đầy đủ (nghĩa dãy Cauchy hội tụ tới điểm không gian ban đầu), tập compact đóng hồn tồn bị chặn Chứng minh 1) Ta biết tính chất tập compact phải đóng Bây giả sử tập M compact khơng hồn tồn bị chặn Thế có ε > cho khơng thể phủ M số hữu hạn hình cầu bán kính ε Lấy điểm x1 ∈ M Hình cầu tâm x1 bán kính ε khơng phủ M , có điểm x2 ∈ M với khoảng cách d(x1 , x2 ) ≥ ε Hai hình cầu tâm x1 x2 bán kính ε khơng phủ M , có điểm x3 ∈ M cho d(x1 , x3 ) ≥ ε d(x2 , x3 ) ≥ ε Tiếp tục cách ta dãy xn ∈ M với d(xn , xm ) ≥ ε (n 6= m; n, m = 1, 2, ) Rõ ràng dãy (xn ) dãy bản, khơng thể hội tụ Như mâu thuẫn với giả thiết M compact Vậy M phải đóng hồn tồn bị chặn 2) Ngược lại, giả sử tập M đóng hồn tồn bị chặn không gian đầy đủ X xét dãy vơ hạn σ = (xn ) ⊂ M Vì tập M phủ số hữu hạn hình cầu bán kính 1, nên hình cầu này, chẳng hạn S1 , phải chứa vô số phần tử dãy σ Gọi dãy dãy σ chứa S1 σ1 Tập hợp M phủ số hữu hạn hình cầu bán kính 1/2, nên hình cầu này, giả sử S2 , phải chứa vô số phần tử σ1 Gọi dãy σ1 chứa S2 σ2 Tiếp tục theo cách ta có dãy σ1 , σ2 , σ3 , với σ ⊃ σ1 ⊃ σ2 ⊃ σk ⊂ Sk (k = 1, 2, ), Sk hình cầu bán kính 1/k Vì dãy σk có vơ số phần tử nên chọn σ1 phần tử xn1 , σ2 phần tử xn2 với n2 > n1 , σ3 phần tử xn3 với n3 > n2 tiếp tục trình Dãy (xnk ) dãy σ = (xn ), thấy dãy hội tụ X Thật với k < l σl ⊂ σk ⊂ Sk nên xnl , xnk thuộc hình cầu Sk d(xnl , xnk ) < 2/k → k, l → ∞, chứng tỏ (xn ) dãy bản, tức hội tụ theo giả thiết X khơng gian đủ Tóm lại dãy (xn ) ⊂ M chứa dãy hội tụ Vì M tập đóng nên giới hạn dãy thuộc M Vậy M tập compact Định lý 1.0.6 Cho X , Y không gian định chuẩn T tốn tử tuyến tính từ X vào Y Khi đó, T compact dãy (xn ) bị chặn X chứa dãy (xnk ) cho dãy (T xnk ) hội tụ Y Chứng minh (i) Giả sử (xn )n∈N ⊂ X bị chặn Để T compact dãy (T xn )n∈N phải compact tương đối Y Theo giả thiết, (xn )n∈N chứa dãy (xnk ) cho (T xnk ) ⊂ (T xn )n∈N (T xnk ) hội tụ Y Sử dụng định nghĩa compact tương đối, ta suy T toán tử compact (ii) Giả sử T compact Lấy (xn )n∈N bị chặn X , suy dãy (T xn )n∈N compact tương đối Y Do từ dãy (xn )n∈N , ta trích dãy (xnk ) mà (T xnk ) ⊂ (T xn )n∈N (T xnk ) hội tụ Y Sau đưa tiêu chuẩn để chứng minh tập compact Chúng phát biểu lại Định lý Arzelà-Ascoli dạng đơn giản sau: Cho D tập compact Rn Xét (C (D), k.k∞ ) Giả sử dãy hàm {fn }n∈N ⊂ C (D) thỏa mãn hai tính chất: (i) Bị chặn điểm D, tức với ∀x ∈ D, tập {fn (x)}n∈N bị chặn; (ii) Đồng liên tục đều, tức ∀ > 0, ∀x ∈ D, ∃δ = δ(x, ) > cho với ∀n ∈ N, ∀y ∈ B(x, δ) ∩ D ta ln có |fn (y) − fn (x)| ≤  Khi tồn dãy {fϕ(n) }n∈N (trong ϕ : N → N hàm tăng) hàm k.k∞ f ∈ C (D) cho fϕ(n) −→ f n → ∞ Các bước chứng minh: • Bước Chỉ thực chất dãy hàm {fn }n∈N đồng liên tục • Bước Lấy A = D ∩ Qn tập trù mật đếm D Sử dụng kỹ thuật "diagonal extraction" để có dãy ϕ(n) chung cho n→∞ x ∈ A mà fϕ(n) (x) −→ f (x), f (x) kết giới hạn dãy Diagonal extraction: Giả sử có họ đếm dãy {um }m∈N , m dãy um = {um n }n∈N , thỏa mãn tính chất ∀m ∈ N dãy u có dãy hội tụ đến điểm mà ta ký hiệu um ∞ Khi chọn dãy số chung cho tất dãy mà đảm bảo kết hội tụ cho dãy, tức tồn n→∞ m hàm ϕ : N → N tăng cho um ϕ(n) −→ u∞ với m ∈ N n→∞ • Bước Mở rộng từ A lên D để có fϕ(n) (x) −→ f (x) với x ∈ D, f (x) kết giới hạn dãy Tức dãy {fϕ(n) }n∈N hội tụ điểm D • Bước Chỉ f liên tục dãy {fϕ(n) }n∈N hội tụ f D Định lý 1.0.7 [1], [2] Định lý Riesz không gian Hilbert: Mọi phiếm hàm tuyến tính liên tục f ánh xạ khơng gian Hilbert X vào trường K (K = R C) biểu diễn cách dạng f (x) = hx, ai, với x ∈ X a phần tử thuộc X thỏa mãn kf k = kak Bây giờ, đề cập thêm hệ trực chuẩn bất đẳng thức Bessel Gọi (en )n∈N hệ trực chuẩn khơng gian Hilbert X ( nghĩa hệ trực giao chuẩn hóa ken k = với n ∈ N ) Khi đó, với x ∈ X , ta có bất đẳng thức Bessel sau ∞ X |hx, en i|2 ≤ kxk2 = hx, xi n=1 Hệ (en )n∈N gọi hệ trực chuẩn đầy đủ có vectơ trực giao với tất phần tử hệ Khi ấy, với x ∈ X , ta có đẳng thức x= ∞ X hx, en ien kxk = n=1 ∞ X |hx, en i|2 n=1 Đẳng thức cuối gọi đẳng thức Parseval Tiếp theo, muốn nhắc lại tính chất sau Bổ đề 1.0.8 [1] Cho (en )n∈N hệ trực chuẩn không gian Hilbert X ∞ X Khi với x ∈ X n ∈ N, chuỗi hx, ei iei hội tụ i=1   ∞ X x − hx, ei iei  ⊥ en i=1 Chứng minh Trước tiên chúng tơi chứng minh tính chất khơng gian ∞ X Hilbert: Chuỗi , {ai }∞ i=1 ⊂ X hệ trực giao, hội tụ chuỗi ∞ X i=1 kai k hội tụ Thật lấy sn = i=1 n X i=1 σn = n X kai k2 Với i=1 n > m, theo Định lý Pythagore ta có ksn − sm k2 = kam+1 + + an k2 = kam+1 k2 + + kan k2 = σn − σm Do ksn − sm k → σn − σm → Nhưng X không gian Hilbert tức không gian đầy đủ nên điều có nghĩa sn có giới hạn σn có giới hạn Do chuỗi ∞ X ∞ X hội tụ chuỗi i=1 kai k2 < ∞ i=1 Bây giờ, theo bất đẳng thức Bessel ta có ∞ X khx, ei iei k = i=1 ∞ X |hx, ei i|2 ≤ kxk2 < ∞, i=1 theo tính chất ta vừa chứng minh phía trên, chuỗi ∞ X hx, ei iei hội tụ i=1 Mặt khác, với n > m ta có hx − n X n X hx, ei iei , em i = hx, em i − hx, ei ihei , em i i=1 i=1 = hx, em i − hx, em i = ∞ X Cho n → ∞ ta hx − hx, ei iei , em i = với m, nghĩa i=1   ∞ X x − hx, ei iei  ⊥ en với n i=1 Trong phần nhắc lại kiến thức sở này, muốn đưa bổ đề sau Bổ đề 1.0.9 Cho X khơng gian Hilbert Khi đó, tập lồi đóng X tồn phần tử có chuẩn nhỏ Chứng minh Gọi E tập lồi đóng X Đặt λ = inf{kxk : x ∈ E} Do kxk ≥ nên λ ≥ > −∞ Do λ tồn Với x, y ∈ E , áp dụng đẳng thức hình bình hành cho x y2 , ta có 1 x+y kx − yk2 = kxk2 + kyk2 − k k 2 10 Từ E lồi ta suy (x + y) phải thuộc E Theo định nghĩa λ trên, ta có kx − yk2 ≤ 2kxk2 + 2kyk2 − 4λ2 (∗) Từ đây, kxk = kyk = λ kx − yk2 ≤ 0, suy x = y Như ta chứng minh tính phần tử có chuẩn nhỏ Tiếp theo, ta chứng minh tính tồn phần tử chuẩn nhỏ Từ định nghĩa λ suy tồn dãy (yn ) E thỏa mãn kyn k → λ n → ∞ Ta thay x, y yn , ym (∗), ta thu kyn − ym k2 ≤ 2kyn k2 + 2kym k2 − 4λ2 , với m, n Cho m, n tiến tới vơ vế trái bất đẳng thức tiến tới Suy (yn ) dãy Cauchy Vì X khơng gian Hilbert, tức khơng gian đầy đủ nên suy tồn x0 ∈ X cho yn → x0 n → ∞ Từ (yn ) nằm E tập đóng nên x0 ∈ E Từ tính liên tục hàm chuẩn, ta thu kx0 k = lim kyn k = λ n→∞ Vì E tồn phần tử có chuẩn nhỏ Ta có điều phải chứng minh ... chúng tơi giới thiệu, chứng minh số tính chất, định lý quan trọng phương pháp bình phương tối thiểu 2.1 Nghiệm bình phương tối thiểu phương trình tốn tử số tính chất Trước hết, ta nhắc lại định lý... + ([Ax]m − bm )2 (∗) Chính xuất phát từ lý cần làm tối thiểu bình phương chuẩn Ơclit kAx − bk2 ta có tên gọi "phương pháp bình phương tối thiểu" Ta biết: kvk2 = v T v , v T ma trận chuyển vị... chuẩn nhỏ Ta có điều phải chứng minh CHƯƠNG Phương pháp bình phương tối thiểu Trong chương này, chúng tơi trình bày số tính chất nghiệm bình phương tối thiểu, nghịch đảo suy rộng chứng minh tiêu