MÔN ĐẠI SỐ TUYẾN TÍNH ĐỀ TÀI PHÂN RÃ A = QR BẰNG PHÉP BIẾN ĐỔI HOUSEHOLDER.pdf

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA  Giảng viên hướng dẫn: Đặng Văn Vinh ĐỀ TÀI PHÂN RÃ A = QR BẰNG PHÉP BIẾN ĐỔI HOUSEHOLDER MƠN: ĐẠI SỐ TUYẾN TÍNH Lớp: L06 – Nhóm: Danh sách thành viên: Họ tên MSSV Trần Minh Anh 2112816 Phạm Nguyễn Thành Danh 2110072 Hà Nguyễn Minh Huy 2113469 Đặng Trần Vĩ Khang 2113654 Trần Anh Khoa 2013513 Hồ Thị Huỳnh Như 2111957 Phạm Trường Thịnh 2114900 Nguyễn Thúy Vy 2115351 BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH TP.HỒ CHÍ MINH, tháng năm 2022 BẢNG PHÂN CÔNG CÔNG VIỆC VÀ MỨC ĐỘ HỒN THÀNH CƠNG VIỆC CỦA CÁC THÀNH VIÊN Họ tên MSSV Công việc Trần Minh Anh 2112816 Cơ sở lý thuyết, cách thực hiện, ví dụ Phạm Nguyễn Thành Danh 2110072 Cơ sở lý thuyết, cách thực hiện, ví dụ Hà Nguyễn Minh Huy 2113469 Làm thuyết trình Đặng Trần Vĩ Khang 2113654 Ứng dụng Trần Anh Khoa 2013513 Nghiên cứu ứng dụng code Hồ Thị Huỳnh Như 2111957 Làm thuyết trình Phạm Trường Thịnh 2114900 Chỉnh sửa word, làm thuyết trình Nguyễn Thúy Vy 2115351 Ứng dụng, chỉnh sửa word MỤC LỤC 1.1 Lí chọn đề tài .1 1.2 Giới thiệu đề tài 1.2.1 Đối tượng nghiên cứu 1.2.2 Phạm vi nghiên cứu 1.2.3 Phương pháp nghiên cứu 1.2.4 Mục đích nghiên cứu .1 CHƯƠNG II CƠ SỞ LÝ THUYẾT .2 2.1 Phép biến đổi Householder 2.1.1 Cơ sở lý thuyết 2.1.2 Thuật toán phép biến đổi Householder 2.2 Phân rã A = QR Householder CHƯƠNG III MỘT SỐ VÍ DỤ 3.1 Ma trận vuông 3.2 Ma trận hình chữ nhật CHƯƠNG IV ỨNG DỤNG 4.1 Bình phương tối thiểu đẳng thức rang buộc tuyến tính (LSE) .8 4.2 Mơ hình hồi quy tuyến tính 11 4.3 Giải phương trình Ax = b .15 CHƯƠNG V TÀI LIỆU THAM KHẢO 17 PHỤ LỤC 18 LỜI CẢM ƠN 20 BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH CHƯƠNG I MỞ ĐẦU 1.1 Lí chọn đề tài Phân rã A = QR sử dụng phép biến đổi Householder tối ưu phương pháp trực giao Gram - Schmidt 1.2 Giới thiệu đề tài Trong đại số tuyến tính, phân rã QR, cịn gọi phân tích nhân tố QR phân tích nhân tố QU phân rã ma trận A thành tích A = QR ma trận trực giao Q ma trận tam giác R Phân rã QR thường sử dụng để giải vấn đề bình phương tối thiểu tuyến tính sở cho thuật tốn eigenvalue cụ thể, thuật tốn QR Gram – Schmidt khơng ổn định mặt số học, có nghĩa đầu vào thay đổi nhỏ dẫn đến thay đổi tương đối lớn đầu (nguồn) Cách ổn định sử dụng phản chiếu Householder Householder chiếu vecto qua “tấm gương” Chúng ta có vecto x mà muốn phản ánh vecto Qx Để phản ánh, sử dụng ma trận trực giao Q 1.2.1 Đối tượng nghiên cứu Thuật toán phân rã A = QR phép biến đổi Householder 1.2.2 Phạm vi nghiên cứu  Ma trận vuông  Ma trận hình chữ nhật 1.2.3 Phương pháp nghiên cứu Sử dụng thuật toán để giải toán, chạy chương trình Matlab để phân rã A = QR phép biến đổi Householder 1.2.4 Mục đích nghiên cứu Đề tài nhằm đáp ứng nhu cầu học tập học sinh, sinh viên Giải toán liên quan đến trực giao ma trận với sai số nhỏ nhằm giải toán ứng dụng thực tế xác BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH CHƯƠNG II CƠ SỞ LÝ THUYẾT 2.1 Phép biến đổi Householder 2.1.1 Cơ sở lý thuyết Nếu a vecto khác vecto không gian R2 R3, tồn mối quan hệ phép chiếu trực giao qua tập sinh a ảnh phép chiếu lên phần bù vng góc khơng gian F sinh a (được minh họa hình 7.10.1 R3 ) Nếu ký hiệu hình chiếu vecto x đường thẳng proja x ⊥ phép chiếu x qua phần bù vng góc khơng gian F refla x ⊥ Từ suy ra: x -refla x ⊥ = proj a x⊥ (refla x ⊥ + proj a x⊥ = x) refla x ⊥ = x - proj a x⊥ Từ kết ta có:  Nếu a vecto khác vecto không gian Rn , x vecto khơng gian Rn , phép chiếu vecto x qua F⊥ a ký hiệu refla x xác định công thức: refla x ⊥ = x - proj a x⊥  Một ma trận vng n x n có dạng: H = I - 2 T aa T a a (16) BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH Trong đó: a vecto khác Rn H gọi ma trận Householder Về mặt hình học, H ma trận tiêu chuẩn cho phép chiếu vectơ x phân biệt qua phần bù vng góc không gian F sinh a  Phép chiếu Householder Rncó điểm tương đồng với phép chiếu không gian R2 R3  Ma trận Householder mang tính đối xứng trực giao 2.1.2 Thuật toán phép biến đổi Householder Giả sử u vectơ khác khơng tùy ý, hình chiếu vng góc vectơ v lên không gian F sinh vectơ u pru(v) = uuTv Vectơ v phân tích thành v = a + b, với a hình chiếu vng góc u lên F b hình chiếu vng góc v lên F Ta có: ( ) ( ) uu T u uT uu T ⃗ ⃗ ⃗ ⃗ ON =OH + HN ⇒ y=ON = I − T v − T v = I−2 T v u u u u u u Vậy ta có phép đối xứng qua Householder) F ⊥ (phép biến đổi gọi phép biến đổi 2.2 Phân rã A = QR Householder ( ) X X X X X X X X X X X X với X, Y, Z số tùy ý (có thể khác nhau) B1: Tạo vecto u=A ¿1−||A ¿1||∗e với A¿ cột thứ ma trận A B2: Dùng phép biển đổi Householder để khử cột A: ( Q1= I −2 T ) uu =¿) uT u với v= u ‖u‖ BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH ( ) Y Y Y Y Y Khi Q1∗A= Y Y Y Y ( ) Y Y Y Y Ta xét M 11=A 2= Y Y B3: Lặp lại Bước 1,2 Tạo vecto u2= A ¿1 −|| A¿ 1||∗e1 (2) ( (2) )( Z Q = I−2 T = Z u2 u2 Z ' u u2 T Z Z Z Z Z Z ) Nếu Q'2∗A 2có dạng: hàng cuối gồm số ma trận vng phía có dạng tam giác ( ( ) Z Q ∗A 2= 0 ' dừng lại ( 0 Z Đặt Q2= Z Z Z Z Z Z Z Z Z Z ) (Thêm hàng 1, cột vào Q'2 ) Thì R=Q2∗Q1∗A Q=Q T1 Q T2 CHƯƠNG III MỘT SỐ VÍ DỤ 3.1 Ma trận vng ( 12 −20 A= 10 ) BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH Đầu tiên, cần dùng phép phản chiếu để biến đổi cột ma trận A, vector a 1=( 12 )T , có ‖a1‖=13 Bây ta có: u=a1−‖a1‖e 1=(−1 ) v= u ‖u‖ v= [ −1 ]T √26 T Do đó: ( Q1= I −2 ) u uT T =(I −2 v v ) T u u Q1=I − √ 26 √26 () ( )( −1 −3 −4 12/13 3/13 /13 (−1 )¿ I − −3 12 ¿ /13 /13 −12 /13 13 −4 12 16 4/13 −12/13 −3 /13 ) Từ ta có: ( 13 87 /13 −19 /13 Q1 A= 38 /13 −168 /13 −36 /13 −146 /13 ) *Chúng ta gần có ma trận hình tam giác, cịn cần số khơng hóa cho giá trị hàng cột Lấy (1,1) phụ hợp, sau áp dụng lại quy trình cho ' A =M 11= 38/13 (−36 /13 −168/13 −146/13 ) Bằng phương pháp tương tự trên, ta có ma trận phép biến đổi Householder BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH ( 0 Q2= 0.726 −0.687 −0.687 −0.726 ) Tiếp theo ta tính ( 0.923 −0.044 −0.382 Q=QT1 Q T2 = 0.231 0.858 −0.458 0.308 −0.511 −0.802 ) ( 13 6.692 −14.49 R=Q2 Q1 A=Q A= 4.02 −1.66 0 17.04 T ) 3.2 Ma trận hình chữ nhật ( −1 D= −2 −2 −1 ) Đầu tiên, cần dùng phép phản chiếu để biến đổi cột ma trận A, vector a 1=( 1 1 )T , có ‖a1‖=2 Bây ta có: u=a1−‖a1‖e 1=(−1 1 ) Đặt v= T u ‖u‖ Do đó: v1 =v= u1 ‖u1‖ (−0.5 0.5 0.5 0.5 ) T BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH ( T ) uu T Q1= I −2 T =(I −2 v v ) u u ( 0.5 0.5 0.5 0.5 0.5 0.5 −0.5 −0.5 Q 1= 0.5 −0.5 0.5 −0.5 0.5 −0.5 −0.5 0.5 ) Từ ta có: ( ) 0 Q1 D= 0 −5 Chúng ta tiếp tục để tìm ma trận tam giác bên phải kích thước 3x3, cịn hàng cuối ( 0 ) Lấy (1,1) phụ hợp, sau áp dụng lại quy trình cho ( ) 0 ' A =M 11= −5 Bằng phương pháp tương tự trên, ta có ma trận phép biến đổi Householder ( 0 Q 2= 0 −1 0 −1 0 ) Tiếp theo ta tính ( ) −5 −2 R=Q2 Q1 A=Q A= Trong trình biến đổi, tình cờ thu 0 0 T ma trận R 4x3 với ma trận vuông 3x3 ma trận tam giác bên phải, BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH hàng gồm số Như tìm ma trận R mà làm bước biến đổi Householder lần thứ *Lưu ý: Đây trường hợp đặc biệt, trường hợp khác phải làm thêm bước biến đổi Householder tương tự ( 0.5 −0.5 0.5 0.5 T T 0.5 0.5 −0.5 −0.5 Q=Q1 Q = 0.5 0.5 0.5 −0.5 0.5 −0.5 −0.5 −0.5 ) CHƯƠNG IV ỨNG DỤNG 4.1 Bình phương tối thiểu đẳng thức ràng buộc tuyến tính (LSE) Bài tốn bình phương tối thiểu đẳng thức ràng buộc tuyến tính thường phát sinh việc điều chỉnh bề mặt bị ràng buộc, tối ưu hóa có ràng buộc, điều chỉnh bình phương tối thiểu trắc địa, xử lý tín hiệu ứng dụng khác Bài toán phát biểu sau: Tìm n-vecto x để: max minBx −d =‖ Ax−b‖ Trong đó: Bx – d: đẳng thức ràng buộc tuyến tính (Bx ⩾ d Bx ⩽ d) Ax – b : đẳng thức mục tiêu Bài tốn: Ta tìm x đẳng thức ràng buộc Bx – d cho độ dài cho Ax – b có giá trị lớn (hoặc nhỏ nhất) Giải: Ta áp dụng phân rã A = QR để giải đẳng thức sau: Giả sử ban đầu: Bx – d = BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH Ax – b = Ta được: R2 x = Q T2 d R1 x = QT1 b Từ ta giải nghiệm x Ứng dụng toán dùng để tính tốn độ dài nhỏ nhất/ lớn (ý nghĩa hình học); tính tốn số lượng sản phẩm cần tạo với đẳng thức ràng buộc nhu cầu thị trường (ý nghĩa kinh tế),… 4.2 Mơ hình hồi quy tuyến tính Bài tốn mơ hình hồi quy tuyến tính tổng qt viết sau: b = Ax+ ω, Trong ω sai số ngẫu nhiên (giá trị nhỏ) Ta ứng dụng phân rã A=QR để giải phương trình Ứng dụng toán dùng lĩnh vực kinh tế, phân tích liệu,… 4.3 Giải phương trình Ax = b (ứng dụng phân rã A=QR) Với việc phân tích A = QR, ta có: A x=b ⇔ QR x=b T ⇔ R x=Q b { x1 +3 x 2+ x 3=−2 x + x =3 Cho hệ phương trình x + x1 +22x =−1 Tính x1, x2, x3 x1 +3 x 2+3 x 3=2 BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH ( ) 1 Gọi A =  1 1 ( ) ()( ) ( )  .  Tạo ra véctơ  u  = A *1 - ||A *1|| .  e  = ( ) 1 1 T u u 1 −1 −1 → Q1=(I−2 )= × → Q1 A=R1 = ‖u‖ −1 −1 −1 −1 ( ) ( ) 1 −1 1 −2 =      1 1 0 0 2 ( ) 0 0 ' ' A = Tạo vecto u  Q =  Q A = Gọi Khi 2 ⇒ 0 0 ( Đặt Q2= 0 0 0 ) →Q Q 1.A = 0 ( ) =R 0 0 ( 1 1 1 −1 −1 T ⇒Q= ( Q2 Q1 ) = × −1 −1 1 −1 −1 10 ) BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH 11 BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH CHƯƠNG V TÀI LIỆU THAM KHẢO - Giáo trình đại số tuyến tính – Đại học Bách Khoa (tác giả: Đặng Văn Vinh) QR FACTORIZATION (tác giả: E.Anderson, Z.Bai and J Dongarra) QR decomposition - Wikipedia Tài liệu hướng dẫn sử dụng Matlab Tài liệu anh chị khóa trước 12 BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH PHỤ LỤC Đoạn code: function [Q,R] = qr(A) 2.% Compute the QR decomposition of an m-by-n matrix A using 3.% Householder transformations 4.A=input('nhap A:'); 5.[m,n] = size(A); 6.Q = eye(m); % Orthogonal transform so far 7.R = A; % Transformed matrix so far 8.for j = 1:n 9.% Find H = I-tau*w*w’ to put zeros below R(j,j) 10.normx = norm(R(j:end,j)); 11.s = -sign(R(j,j)); 12.u1 = R(j,j) - s*normx; 13.w = R(j:end,j)/u1; 14.w(1) = 1; 15.tau = -s*u1/normx; 16.% R := HR, Q := QH 17.R(j:end,:) = R(j:end,:)-(tau*w)*(w'*R(j:end,:)); 13 BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH 18.Q(:,j:end) = Q(:,j:end)-(Q(:,j:end)*w)*(tau*w)'; 19.end 14 BÁO CÁO ĐSTT GVHD: ĐẶNG VĂN VINH LỜI CẢM ƠN Nhóm chúng em xin ghi nhận hỗ trợ thời gian Trường Đại học Bách Khoa Tp.HCM – Đại học Quốc gia Tp.HCM Xin gửi lời cảm ơn tới giảng viên hướng dẫn thầy Đặng Văn Vinh hướng dẫn nhóm chúng em hoàn thành báo cáo 15 ... chọn đề tài Phân rã A = QR sử dụng phép biến đổi Householder tối ưu phương pháp trực giao Gram - Schmidt 1.2 Giới thiệu đề tài Trong đại số tuyến tính, phân rã QR, cịn gọi phân tích nhân tố QR phân. .. Householder transformations 4 .A= input(''nhap A: ''); 5.[m,n] = size (A) ; 6.Q = eye(m); % Orthogonal transform so far 7.R = A; % Transformed matrix so far 8.for j = 1:n 9.% Find H = I-tau*w*w’ to put... ta có ma trận phép biến đổi Householder ( 0 Q 2= 0 −1 0 −1 0 ) Tiếp theo ta tính ( ) −5 −2 R=Q2 Q1 A= Q A= Trong trình biến đổi, tình cờ thu 0 0 T ma trận R 4x3 với ma trận vuông 3x3 ma trận tam