ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ THU HÀ VỀ XẤP XỈ HẠNG THẤP ĐỘNG LỰC LUẬN VĂN THẠC SĨ TOÁN HỌC THÁI NGUYÊN 2019 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN THỊ THU[.]
ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC - NGUYỄN THỊ THU HÀ VỀ XẤP XỈ HẠNG THẤP ĐỘNG LỰC LUẬN VĂN THẠC SĨ TOÁN HỌC THÁI NGUYÊN - 2019 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC - NGUYỄN THỊ THU HÀ VỀ XẤP XỈ HẠNG THẤP ĐỘNG LỰC Chuyên ngành: Toán ứng dụng Mã số : 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS Nguyễn Thanh Sơn THÁI NGUYÊN - 2019 Mục lục Mở đầu 1 Kiến thức chuẩn bị 1.1 Phân tích SVD 1.1.1 Định nghĩa 1.1.2 Phân tích Sơ lược đa tạp 1.2.1 Đa tạp khả vi 1.2.2 Đa tạp 12 1.2.3 Vectơ tiếp xúc, không gian tiếp xúc 14 Một số đa tạp cụ thể 16 1.3.1 Đa tạp Stiefel 16 1.3.2 Đa tạp ma trận có hạng cố định 17 1.2 1.3 Xấp xỉ hạng thấp động lực 22 2.1 Phát biểu toán 22 2.2 Phân tích kiểu SVD 23 2.3 Phương trình vi phân xác định nhân tử 23 2.4 Phép chiếu lên không gian tiếp xúc 25 2.5 Một số ước lượng sai số 29 2.5.1 Sai số tối ưu địa phương 29 2.5.2 Sai số khoảng 30 i 2.5.3 2.6 2.7 2.8 Sai số trường hợp hay ước lượng cao 32 Ứng dụng xấp xỉ hạng thấp nghiệm phương trình vi phân ma trận 36 Tích phân phương trình vi phân ma trận dựa lược đồ tách 38 2.7.1 Tích phân phương trình vi phân 39 2.7.2 Một trường hợp nghiệm 42 Ví dụ số 44 Kết luận 47 Tài liệu tham khảo 48 ii Bảng ký hiệu Mm×n tập ma trận thực cỡ m × n có hạng k k Vm,r đa tạp Stiefel Vn,k tập ma trận thực cỡ n × k TY (t) Mm×n khơng gian tiếp xúc Mm×n Y (t) r r Y˙ (t) đạo hàm Y theo t SO(r) không gian ma trận phản đối xứng cỡ r × r U T chuyển vị ma trận U U ⊥ ma trận trực giao với U Mở đầu Giới thiệu Phân tích giá trị kì dị ma trận A ∈ Rm×n dạng A = U ΣV T , (1) U ∈ Rm×m , V ∈ Rn×n ma trận trực giao Σ = diag(σ1 , , σr ) ∈ Rm×n , r ≤ min{m, n}, công cụ xấp xỉ ma trận hữu hiệu Ta biết xấp xỉ tốt A theo Frobenius tập ma trận cỡ với A, có hạng khơng q k ≤ min{m, n} ma trận Ak = u1 σ1 v1T + + uk σk vkT , (2) ui , vi vecto cột thứ i U V Tình phức tạp A phụ thuộc vào tham số t ∈ Rn×p ∗ Khi để có xấp xỉ hạng k A với t, ta cần phải tính phân tích SVD t: A(t) = U (t)Σ(t)V (t)T , tính xấp xỉ tương ứng theo công thức (2) Cách tiếp cận cũ khơng thích hợp ma trận có kích thước lớn Trong nhiều tình thực tế, đạo hàm ˙ A(t) theo t kí hiệu A(t), lại có hạng thấp Điều dẫn đến ý tưởng thay xấp ˙ Y˙ (t) khơi phục Y (t) phương pháp xỉ A(t) Y (t), ta xấp xỉ A(t) tích phân số phương trình vi phân ma trận 2 Mục đích Trình bày chi tiết phương pháp xấp xỉ hạng thấp động lực (dynamical low-rank approximation) để xấp xỉ ma trận phụ thuộc tham số mà đạo hàm có hạng thấp Để góp phần làm sáng tỏ vấn đề này, chọn đề tài "Về xấp xỉ hạng thấp động lực" để làm đề tài luận văn thạc sĩ Nội dung luận văn trình bày hai chương Chương Kiến thức chuẩn bị Trong chương này, chúng tơi trình bày số khái niệm, tính chất phân tích giá trị kì dị ma trận Đồng thời trình bày phương pháp SVD để giải phương trình vi phân ma trận Đây phương pháp giải số cho hệ phương trình vi phân ma trận tương đối kinh điển, áp dụng cho nhiều loại phương trình Đối tượng luận văn số tập ma trận có cấu trúc Những đối tượng lại lập thành đa tạp Do chúng tơi trình bày vắn tắt kiến thức liên quan đến đa tạp Chương Xấp xỉ hạng thấp động lực Chương trình bày phân tích hạng thấp ma trận, phân tích ma trận tiếp xúc, phương trình vi phân xác định nhân tử số ví dụ phương pháp tích phân dựa lược đồ tách Luận văn kết thúc với phần kết luận tài liệu tham khảo Mặc dù nghiêm túc cố gắng thực luận văn này, luận văn không tránh khỏi khiếm khuyết định Kính mong góp ý thầy để luận văn hoàn chỉnh ý nghĩa Luận văn thực Trường Đại học Khoa học - Đại học Thái Nguyên hoàn thành hướng dẫn TS Nguyễn Thanh Sơn Tác giả xin bày tỏ lòng biết ơn chân thành sâu sắc tới người hướng dẫn khoa học mình, người đặt vấn đề nghiên cứu, dành nhiều thời gian hướng dẫn tận tình đầy trách nhiệm để tác giả hoàn thành luận văn 3 Tác giả học tập nhiều kiến thức chuyên ngành bổ ích cho cơng tác nghiên cứu thân Nhân dịp tác giả xin gửi lời cảm ơn sâu sắc tới Thầy giáo, Cô giáo tham gia giảng dạy lớp Cao học Toán K11C; Nhà trường phòng chức Trường, Khoa Toán - Tin, trường Đại học Khoa học, Đại học Thái Nguyên quan tâm giúp đỡ tác giả suốt thời gian học tập trường Cuối tác giả xin cảm ơn gia đình, bạn bè đồng nghiệp động viên, ủng hộ tạo điều kiện cho tác giả suốt thời gian nghiên cứu học tập Thái Nguyên, tháng năm 2019 Tác giả luận văn Nguyễn Thị Thu Hà Chương Kiến thức chuẩn bị Trong chương này, trình bày hai mảng kiến thức tách biệt đối tượng nghiên cứu luận văn Thứ nhất, chúng tơi trình bày khái niệm phân tích giá trị kỳ dị (SVD) Đây phân tích quan trọng, phơi bày tất thông tin ma trận, chí cịn để tính số phân tích khác Sau phần hai, chúng tơi trình bày khái niệm đa tạp khả vi khơng gian tiếp xúc Sau đó, chúng tơi trình bày hai đa tạp ma trận với tính chất đặc biệt 1.1 Phân tích SVD Phần trình bày khái niệm tính chất quan trọng phân tích giá trị kì dị ma trận Tài liệu [8] nguồn tham khảo Luận văn [5] tài liệu tham khảo tốt tiếng Việt 1.1.1 Định nghĩa Cho ma trận A ∈ Rm×n với m ≥ n, khơng thiết có đầy đủ hạng, phân tích giá trị kỳ dị ma trận A phân tích A = U ΣV T , U ∈ Rm×m , V ∈ Rn×n ma trận trực chuẩn, Σ ∈ Rm×n ma trận đường chéo 5 1.1.2 Phân tích Các cột u1 , u2 , , un U gọi vectơ kỳ dị trái Các cột v1 , v2 , , V gọi vectơ kỳ dị phải σi gọi giá trị kỳ dị Khi Avj = σj uj , ≤ j ≤ n Phương trình vectơ biểu thị dạng ma trận sau σ1 h ih i h i σ2 = A v1 |v2 | |vn u1 |u2 | |un σn , ˆ AV = Uˆ Σ ˆ ma trận đường chéo kích thước n × n, Uˆ ma Trong phương trình ma trận trên, Σ trận kích thước n × n với cột trực chuẩn, V ma trận kích thước n × n với cột trực chuẩn Do V ma trận trực chuẩn, nhân bên phải hệ thức với V T để đạt ˆ T A = Uˆ ΣV Phân tích gọi phân tích giá trị kỳ dị thu gọn ma trận A Đây dạng thường sử dụng nhiều phân tích tiêu chuẩn Để cho tiện, ta bỏ qua dấu ˆ· đề cập đến phân tích thu gọn Định lý sau thiết lập số tính chất phân tích giá trị kỳ dị Định lí 1.1.1 Cho A = U ΣV T phân tích SVD ma trận A cỡ m × n với m ≥ n Giả sử A đối xứng, với giá trị riêng λi ứng với vectơ riêng trực chuẩn ui Nói cách khác A = U ΛU T phân tích giá trị riêng A, đó: Λ = diag(λ1 , λ2 , , λn ), U = [u1 , u2 , , un ], U U T = I Khi đó, SVD A A = U ΣV T , ta có σi = |λi | vi = sign(λi )ui , sign(0) = Các giá trị riêng ma trận đối xứng AT A σi2 , vectơ kỳ dị phải vi tương ứng với vectơ riêng trực chuẩn Các giá trị riêng ma trận đối xứng AAT σi2 m − n phần tử không Các véc tơ kỳ dị trái ui tương ứng vectơ riêng trực chuẩn với giá trị riêng σi2 Ta lấy m − n vectơ trực giao khác vectơ riêng tương ứng với giá trị riêng không Cho H= AT A , A ma trận vng A = U ΣV T khai triển SVD A Cho Σ = diag(σ1 , σ2 , , σn ), U = [u1 , u2 , , un ], V = [v1 , v2 , , ] Khi đó, 2n giá trị riêng H ±σi , ứng với vectơ riêng đơn vị tương ứng √1 v1 ±ui kAk2 = σi Nếu A ma trận vuông không kỳ dị, kA−1 k−1 = σn kAk2 kA−1 k2 = σ1 σn ; giá trị gọi số điều kiện ma trận Giả sử σ1 ≥ σ2 ≥ ≥ σr ≥ σr+1 = = σn = hạng A r Hạt nhân A không gian sinh cột từ r + đến n V : span(vr+1 , , ) Ảnh A không gian sinh cột thứ đến cột thứ r U : span(u1 , u2 , , ur ) A = U ΣV T = n X σi ui viT i=1 Khi ma trận hạng k < n gần A Ak = k X i=1 σi ui viT , kA − Ak k2 = σk+1 , ta viết Ak = U Σk V T , Σk = diag(σ1 , , σk , 0, , 0) Với ma trận B có hạng cao nhất, kA − Ak kF ≤ kA − BkF Chứng minh Suy từ định nghĩa phân tích SVD Ta có AT A = V ΣU T U ΣV T = V Σ2 V T phân tích giá trị riêng AT A, với cột V vectơ riêng đường chéo Σ2 giá trị riêng h i e cỡ m × (m − n) cho U, U e vuông trực chuẩn Ta viết: Chọn ma trận U i Σ2 h iT e e U, U AAT = U ΣV T V ΣU T = U Σ2 U T = U, U h 0 Đây phân tích giá trị riêng AAT Ta có kAx − bk22 = kU ΣV T x − bk22 h i e Do A hạng đầy nên Σ khả nghịch Cho U, U vng trực giao trên, T U (U ΣV T x − b) kU ΣV T x − bk22 = T e U 2 T T ΣV x − U b = T e −U b e T bk22 = kΣV T x − U T bk22 + kU Đại lượng cực tiểu hóa cách cho số hạng thứ không, tức x = V Σ−1 U T b Theo Định nghĩa 1.1.1 chuẩn giá trị tuyệt đối lớn đường chéo ma trận chéo chuẩn k · k2 Do kAk2 = kU T AV k2 = kΣk2 = σ1 , kA−1 k2 = kV T A−1 U k2 = kΣ−1 k2 = σn−1 h i e cỡ m × (m − n) cho ma trận U b = U, U e cỡ m × m trực Cho ma trận U b V không suy biến Ma trận A ma trận giao Do U Σn×n b b T AV = ≡ Σ, U 0m−n × n có hạng r b = Ta lại có v thuộc hạt nhân A V T v thuộc hạt nhân Σ b T AV (AT v) = Nhưng hạt nhân Σ b rõ ràng sinh cột r + đến U n ma trận đồng In cỡ n × n, nên hạt nhân A sinh V nhân với b cột Tức là, từ vr+1 đến Lập luận tương tự ta suy ảnh A U b T AV = Σ b Tức là, U b nhân với V cột Im hàng từ nhân với ảnh U u1 đến ur Do cách xây dựng, Ak có hạng k n σk+1 X T T σi ui vi = U kA − Ak k2 = V = σk+1 i=k+1 σn Ta cần phải khơng có ma trận hạng k gần A Cho B ma trận bậc k , hạt nhân có số chiều n − k Không gian sinh v1 , v2 , , vk+1 có số chiều k + Do tổng số chiều (n − k) + (k + 1) > n, hai không gian phải giao Cho h vectơ đơn vị phần giao Khi 2 kA − Bk22 ≥ k(A − B)hk22 = kAhk22 = U ΣV T h 2 = Σ(V T h) 2 2 V T h = σk+1 ≥ σk+1 Phép chứng minh định lí hồn thành 1.2 Sơ lược đa tạp Trong mục này, trước tiên, nhắc lại số kiến thức đa tạp Sau đó, chúng tơi trình bày hai đa tạp, đối tượng Chương II: Đa tạp Stiefel Đa tạp ma trận hạng cố định Kiến thức chung đa tạp tham khảo sách [1] luận văn [4], hai đa tạp ma trận tham khảo sách chuyên khảo [6] 1.2.1 Đa tạp khả vi Định nghĩa 1.2.1 Giả sử (M, τ ) không gian tô pô Hausdorff với sở đếm Khi M gọi đa tạp tơ pơ m− chiều đồng phôi địa phương với không gian Rm , nghĩa với điểm x ∈ M, tồn lân cận U x, có tập mở V ⊂ Rm phép đồng phôi ϕ : U → V 10 Cặp (U, ϕ) gọi đồ địa phương hay gọi tắt đồ M Ta viết Mm để thể đa tạp M có m chiều Với U tập mở Rn , ta nhắc lại kí hiệu C k (U, Rm ), C ∞ (U, Rm ), C ω (U, Rm ) tập tất ánh xạ khả vi liên tục tới cấp k , tập tất ánh xạ trơn tập tất ánh xạ giải tích từ U vào Rm Định nghĩa 1.2.2 Xét đa tạp tô pô Mm Họ A = {(Ui , ϕi ) : i ∈ I} đồ M gọi atlas lớp C k (k ≥ 1) hay C k − atlas hai điều kiện sau thỏa mãn: (i) Họ {Ui } phủ mở M; (ii) Với hai đồ (Ui , ϕi ) (Uj , ϕj ) mà Ui ∩ Uj 6= ∅ ánh xạ chuyển tiếp ϕj ◦ ϕ−1 i xác định ϕi (Ui ∩ Uj ) ánh xạ khả vi lớp C k từ ϕi (Ui ∩ Uj ) lên ϕj (Ui ∩ Uj ) Một đồ (U, ϕ) gọi tương thích với C k − atlas A hợp A ∪ {(U, ϕ)} C k − atlas ˆ gọi atlas cực đại chứa tất đồ tương thích với Atlas A ˆ gọi C k − cấu trúc Mm Khi A ˆ ) gọi C k − đa tạp hay đa tạp khả vi lớp C k Cặp (M, A 11 Nhận xét 1.2.3 Một C k − atlas A đa tạp tô pô M xác định C k − cấu trúc M Ví dụ 1.2.4 Xét M = Rm với tơ pơ Euclide Ta có C ω − cấu trúc tầm thường A = {(Rm , ϕ) : ϕ : x 7→ x} Xét không gian vectơ Rn×p ma trận thực cỡ n × p Ta xây dựng tích vơ hướng hX1 , X2 i := tr X1> X2 , tr(X) tổng phần tử đường chéo X Chuẩn tương ứng gọi chuẩn Frobenius kXkF = q tr X > X , tức kXk2F tổng bình phương phần tử X Khi Rn×p khơng gian tơ pơ Haussdorff với sở đếm Xét ánh xạ vec : Rn×p → Rnp X 7→ vec(X), vec(X) vectơ tạo thành cách xếp chồng theo thứ tự cột X Ánh xạ cho ta C k − cấu trúc Rn×p Ký hiệu S m mặt cầu đơn vị Rm+1 trang bị tô pô Euclide Ký hiệu N = (0, 0, , 0, 1), S = (0, 0, , 0, −1) cực bắc cực nam S m Đặt UN = S m \{N }, US = S m \{S} 12 định nghĩa ϕ N : U N → Rm (x1 , , xm+1 ) 7→ x1 xm , , − xm+1 − xm+1 , ϕ S : U S → Rm (x1 , , xm+1 ) 7→ x1 xm , , + xm+1 + xm+1 −1 Do vậy, hai ánh xạ chuyển tiếp ϕ−1 S ϕN ϕN ϕS cho công thức Rm \ {0} → Rm \ {0} x 7→ x kxk2 Khi A = {(UN , ϕN ), (US , ϕS )} C ω − Atlas S m Đa tạp lớp C ∞ ˆ ) gọi mặt cầu tiêu chuẩn m chiều (S m , A Phát biểu sau xây dựng tích Descartes hai đa tạp ˆ ) (M2 , A ˆ ) hai đa tạp khả vi lớp C k Cho M = Mệnh đề 1.2.5 Cho (M1 , A M1 × M2 tích Descartes hai khơng gian tơ pơ Khi đó, tồn atlas A ˆ ) đa tạp khả vi lớp C k có số chiều M cho (M, A dim M = dim M1 + dim M2 ˆ ) gọi đa tạp tích Descartes hai đa tạp (M1 , Aˆ1 ) Đa tạp (M, A (M2 , Aˆ2 ) 1.2.2 Đa tạp ˆ N ) đa tạp Định nghĩa 1.2.6 Cho m ≤ n số nguyên dương (N n , A khả vi lớp C k Một tập M N gọi đa tạp N với ˆ N cho x ∈ Ux ϕx : Ux ⊂ N → điểm x ∈ M, tồn đồ (Ux , ϕx ) ∈ A Rm × Rn−m thỏa mãn ϕx (Ux ∩ M ) = ϕx (Ux ) ∩ (Rm × {0}), 13 số n − m gọi đối chiều M N Phát biểu sau cung cấp chi tiết cấu trúc khả vi đa tạp ˆ N ) đa tạp khả Mệnh đề 1.2.7 Cho m ≤ n số nguyên dương (N n , A vi lớp C k Cho M đa tạp N trang bị tô pô Ký hiệu π : Rm × Rn−m → Rm , phép chiếu lên thành phần thứ Khi AM := {(Ux ∩ M, (π ◦ ϕx ) |Ux ∩M ) : x ∈ M} , ˆ M ) đa tạp khả vi m chiều lớp C k atlas lớp C k M Vì (M, A ˆ M M xác định mệnh đề gọi cấu trúc cảm Cấu trúc khả vi A ˆN sinh từ A Ta nhắc lại ma trận A cỡ m × n gọi hạng đủ rankA = min{m, n}, ánh xạ tuyến tính khơng gian hữu hạn chiều coi tương đương ma trận Định lý sau cho ta nguồn dồi ví dụ đa tạp Định lí 1.2.8 Cho m ≤ n số nguyên dương f : U → Rm ánh xạ lớp C k từ tập mở U ⊂ Rn Nếu x ∈ U, f (x) = y Jacobian df |x : Rn → Rm , hạng đủ f −1 ({y}) đa tạp khả vi lớp C k Rn có số chiều n − m Ví dụ 1.2.9 Cho f : Rm+1 → R x 7→ m+1 P i=1 x2i 14 Dễ thấy f thuộc lớp C ω Khi đó, đạo hàm f tính dfx = 2x Có thể thấy ∈ R giá trị thỏa mãn điều kiện định lý ánh xạ ẩn S m := x ∈ Rn+1 : kxk2 = = f −1 ({1}), đa tạp lớp C ω có số chiều m Đây mặt cầu tiêu chuẩn nêu Ví dụ 1.2.4 1.2.3 Vectơ tiếp xúc, không gian tiếp xúc Trước tiên, ta định nghĩa khái niệm không gian Rn quen thuộc Định nghĩa 1.2.10 Cho x điểm Rm ký hiệu Tx Rm tập tốn tử vi phân tuyến tính x triệt tiêu số Tức Tx Rm gồm ánh xạ α : ε(x) → R thỏa mãn (i) α(λf + µg) = λα(f ) + µα(g), (ii) α(f g) = α(f ) · g(x) + f (x)α(g), với α, µ ∈ R f, g ∈ ε(x) Dễ dàng nhận thấy tập Tx Rm có cấu trúc khơng gian vectơ thực với hai phép tốn (α + µ)(f ) := α(f ) + β(f ), (λα)(f ) := λα(f ) Định lí 1.2.11 Cho x ∈ Rm Khi đó, ánh xạ φ : Rm → Tx Rm v 7→ ∂v đẳng cấu không gian vectơ 15 Bây ta xét khái niệm đa tạp Định nghĩa 1.2.12 Cho M đa tạp khả vi, x ∈ M ε(x) tập hàm thực định nghĩa lân cận mở x Một vectơ tiếp xúc ξx x ánh xạ ξx : ε(x) → R thỏa mãn (i) ξx (λf + µg) = λξx (f ) + µξx (g), (ii) ξx (f g) = ξx (f )g(x) + f (x)ξx (g), với λ, µ ∈ R f, g ∈ ε(x) Tập vectơ tiếp xúc M x gọi không gian tiếp xúc x ký hiệu Tx M Phép cộng phép nhân với vô hướng Tx M định nghĩa sau (ξx + ζx )(f ) = ξx (f ) + ζx (f ), (λξx )(f ) = λξx (f ), với ξx , ζx ∈ Tx M, f ∈ ε(x) λ ∈ R Ví dụ 1.2.13 Cho γ : I → S m cung mặt cầu đơn vị Rm+1 cho γ(0) ˙ = ξ Do γ(t) nằm S m nên γ(t)> γ(t) = 1, ∀ t ∈ I Đạo hàm hai vế cho ta γ(t) ˙ > γ(t) = γ(t)> γ(t) ˙ > = 0, hay γ(t) ˙ > γ(t) = Từ đó, ta suy với x ∈ S m , ξ vectơ tiếp xúc x ξ > x = hay ∀ ξ ∈ Tx S m , ξ⊥x Do vậy, ta viết Tx S m = ξ ∈ Rm+1 : ξ > x = ...ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC - NGUYỄN THỊ THU HÀ VỀ XẤP XỈ HẠNG THẤP ĐỘNG LỰC Chuyên ngành: Toán ứng dụng Mã số : 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI... xấp xỉ hạng thấp động lực (dynamical low-rank approximation) để xấp xỉ ma trận phụ thuộc tham số mà đạo hàm có hạng thấp Để góp phần làm sáng tỏ vấn đề này, chọn đề tài "Về xấp xỉ hạng thấp động. .. nghiêm túc cố gắng thực luận văn này, luận văn không tránh khỏi khiếm khuyết định Kính mong góp ý thầy để luận văn hồn chỉnh ý nghĩa Luận văn thực Trường Đại học Khoa học - Đại học Thái Nguyên hoàn