CÁC PHÉP BIẾN ĐỔI TUYẾN TÍNH DÙNG TRONG MẠNG NEURAL

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐÀO TẠO SAU ĐẠI HỌC BÀI TẬP LỚN MÔN CHUYÊN ĐỀ ĐỀ TÀI CHƯƠNG 6 CÁC PHÉP BIẾN ĐỔI TUYẾN TÍNH DÙNG TRONG MẠNG NEURAL Giảng viên hướng dẫn TS LÊ DŨNG Học viên cao học ĐỖ XUÂN PHONG HOÀNG VĂN SAO THÂN VĂN TRƯỜNG Lớp KTTT1B Hà Nội, tháng 022022 6 Các phép biến đổi tuyến tính dùng trong mạng Neural Nội dung Các mục tiêu Lý thuyết và các ví dụ Các phép biến đổi tuyến tính Các biểu diễn bằng ma trận Biến đổi cơ sở Vector riêng và giá trị riêng.

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐÀO TẠO SAU ĐẠI HỌC BÀI TẬP LỚN MÔN CHUYÊN ĐỀ ĐỀ TÀI: CHƯƠNG : CÁC PHÉP BIẾN ĐỔI TUYẾN TÍNH DÙNG TRONG MẠNG NEURAL Giảng viên hướng dẫn Học viên cao học Lớp : TS LÊ DŨNG : ĐỖ XUÂN PHONG HOÀNG VĂN SAO THÂN VĂN TRƯỜNG : KTTT1B Hà Nội, tháng 02/2022 Các phép biến đổi tuyến tính dùng mạng Neural Nội dung: Các mục tiêu Lý thuyết ví dụ: - Các phép biến đổi tuyến tính - Các biểu diễn ma trận - Biến đổi sở - Vector riêng giá trị riêng - Diagonalization Tóm tắt kết Các vấn đề giải Phần kết Xem thêm Bài tập Mục tiêu: Chương tiếp tục công việc chương việc trình bày sở tốn học cho việc phân tích mạng Neural Trong chương xem xét lại không gian vectơ; chương khám phá phép biến đổi tuyến tính chúng ap dụng cho mạng nơron Như thấy chương trước, việc nhân véc tơ với ma trận trọng số phép toán thực mạng nơron Phép toán phép biến đổi tuyến tính Chúng ta tìm hiểu phép biến đổi tuyến tính nói chung xác định đặc điểm chúng Các khái niệm chương này, giá trị riêng, vector riêng biến đổi bản, quan trọng cho việc hiểu chủ đề mạng neural học thực thi (bao gồm luật Widrow-Hoff lan truyền ngược lại) hội tụ mạng Hopfield Lý thuyết ví dụ: Nhớ lại mạng Hopfield thảo luận chương (xem hình 6.1) đầu mạng cập nhập cách đồng theo phương trình a(t +l) = satlin(Wa(t) + b) (6.1) Chú ý lặp lại đầu mạng nhân lại với ma trận trọng số W Hiệu phép phép tốn lặp lại gì? Chúng ta xác định đầu mạng hội tụ vài giá trị trạng thái ổn định, dẫn đến vô cùng, dao động? Trong chương trình bày sở để trả lời câu hỏi này, với nhiều vấn đề khác mạng neural mô tả sách Các phép biến đổi tuyến tính Chúng ta bắt đầu vơi vài định nghĩa chung ∗ Phép biến đổi tuyến tính Một phép biến đổi tuyến tính gồm phần Một tập thành phần X= { }, gọi miền (domain), Một tập thành phần Y = { }, gọi dải (range), Một quy tắc liên kết với thành phần ∗ Phép biến đổi tuyến tính: phép biến đổi A gọi tuyến tính nếu: Với Đối với x ∈ X, a ∈ R, A(ax) = a A(x) Quan sát, ví dụ, phép biến đổi nhận cách quay vectơ miền với góc quay θ, hình Hai hình mơ tả thuộc tính thỏa mãn việc quay Chúng thể ban muốn quay tổng véc tơ, bạn quay véc tơ trước sau cộng chúng Hình thứ mơ tả thuộc tính Nếu bạn muốn quay véc tơ vẽ theo tỉ lệ, bạn quay trước sau vẽ theo tỷ lệ Do phép quay phép tốn tuyến tính Các biểu diễn ma trận Như đề cập phần đầu chương này, nhân ma trận ví dụ phép biến đổi tuyến tính Chúng ta thấy phép biến đổi tuyến tinhs hai khơng gian véc tơ biểu diễn bới ma trận ( chương trước trình bày véc tơ tổng quát không gian véc tơ thứ nguyên hữu hạn biểu diễn cột số Để thể điều sử dụng phần lơnc khái niệm chương trước Cho { } sở không gian véc tơ X, { } sở không gian véc tơ Y Điều có nghĩa hai véc tơ x ∈ X y ∈Y (6.2) A phép biến đổi tuyến tính với X Y (A: X → Y), t hì A(x) = y (6.3) Có thể viết Vì A phép tốn tuyến tính, phương trình (6.4) viết Vì vector A( ) thành phần Y, nên chúng viết tổ hợp tuyến tính vector sở Y: (lưu ý phép quay dùng cho hệ số khai triển này, , không chọn ngẫu nhiên) Nếu thay phương trình (6.6) vào phương trình 6.5 nhận Thứ tự tổng đảo ngược, để đưa Phương trình xếp lại, để nhận Nhắc lại tạo tập sở nên chúng thiết phải độc lập Điều có nghĩa hệ số nhân với phương trình (5.4)), phương trình (6.9) phải khơng (xem Đây phép nhân ma trận, Chúng ta tổng kết kết sau: phép biến đổi tuyến tính hai khơng gian vector thứ ngun hữu hạn có biểu diễn ma trận Khi nhân ma trận với khai triển vector vector “x”, nhận khai triển vector vector chuyển đổi “y” Luôn nhớ biểu diễn ma trận (chỉ biểu diễn vector tổng quát cột số – xem chương 5) Nếu thay đổi tập sở miền (domain) dải (range), biểu diễn ma trận thay đổi Chúng ta sử dụng lập luận cho lợi chương sau Một ví dụ biểu diễn ma trận, xem xét phép biến đổi quay Hãy tìm biểu diễn ma traan cho phép biến đổi Bước quan trọng đưa phương trình (6.6) Chúng ta phải biến đổi vector sở cho miền (domain) sau khai triển dạng vector sở dải (range) Trong ví dụ domain range giống (X=Y=R 2), để đơn giản dùng sở chuẩn cho hai ( ), thể hình bên cạnh Bước bến đổi vector sở khai triển kết vector chuyển dạng vector sở Nếu quay s ngược chiều kim đồng hồ góc θ nhận Như thấy hình bên trái Hai hệ số khai triển tạo thành cột biểu diễn ma trận Bước chuyển đổi vector sở thứ hai Nếu quay s ngược chiều kim đồng hồ góc θ nhận Như thấy hình bên trái phía Từ khai triển nhận cột thứ ma biểu diễn ma trận Biểu diễn ma trận đầy đủ cho bởi: Ta thấy nhân vector với ma trận phương trình (6.14), vector quay góc θ Nói tóm lại, để nhận biểu diễn ma trận phép biến đổi sử dụng phương trình (6.6) Chúng ta chuyển đổi vector sở miền (domain) khai triển dạng vector sở dải (range) Các hệ số khai triển tạo cột ma trận Để kiểm tra hình ảnh trình tạo biểu diễn ma trận, dùng phép biến đổi tuyến tính biểu diễn thiết kế mạng neural Biến đổi sở Chúng ta để ý từ phần trước mà biểu diễn ma trận phép biến đổi tuyến tính khơng phải Biểu diễn phụ thuộc vào tập sở sử dụng cho domain range phép biến đổi Trong phần chũng ta thảo luận cách xác biểu diễn ma trận thay đổi tập sở thay đổi Xem xét chuyển đổi tuyến tính A: x → Y Cho { } sở cho không gian vector X cho { } sở cho khơng gian vector Y Do đó, vectỏ x ϵ X viết Và vector y ϵY viết Như thể Thì biểu diễn ma trận là: A(x) = y (6.17) Hoặc Ax = y (6.19) Bây giả sử sử dụng tập sở khác cho X Y Cho tập { } sở cho X, tập { Với sở mới, vector x ∈ X viết: } sở cho Y vector y ϵY viết sau: Điều dẫn tời biểu diễn ma trận mới: Hoặc Mối liên hệ A gì? Để tìm ra, cần tìm mối liên hệ hai tập sở Đầu tiên, thành phần X, chúng khai triển dạng sở ban đầu X: Tiếp theo, thành phần Y, nên chúng khai triển dạng sở ban đầu Y: Do đó, vecotr viết cột số: Định nghĩa ma trận mà cột Sau viết phương trình (6.20) dạng ma trận: Phương trình biểu diên mối quan hệ hai biểu diễn khác vector x (lưu ý điều thực tế giống với phương trình (5.43) Bạn muốn xem lại mô tả vector sở tương hỗ chương 5.) Bây định nghĩa ma trận mà cột : Điều cho phép viết phương trình (6.21) dạng ma trận, mà sau biểu thị mối liên hệ cho hai biểu diễn khác vector y Bây thay phương trình (6.28) phương trình (6.30) vào phương trình (6.19): Nếu nhân hai vế phương trình với nhận Một so sánh phương trình (6.32) phương trình (6.32) suy phép tốn sau mộ chuyển đổi sở: Kết quan trọng này, mà mơ tả mối quan hệ hai biểu diễn ma trận biến đổi tuyến tính đưa ra, gọi phép chuyển đổi đồng dạng (similarity transform) [Brog91] Nó dùng nhiều chương sau Hóa với việc chọn vector sở bên phải nhận biểu diễn ma trận mà biểu lộ đặc tính chủ yếu phép chuyển đổi tuyến tính biểu diễn Điều mơ tả phần ví dụ sở dùng để biến đổi, ta xem lại ví dụ quay vector phần trước Trong phần biểu diễn ma trận trình bày cách dùng tập có sở chuẩn { } Và ta hay tìm biểu diễn dùng sở { }, thể hình bên cạnh (chú ý ví dụ sở dùng cho hai main range.) Bước khai triển dạng sở chuẩn, phương trình (6.24) phương trình (6.25) Bằng cách xem xét ký hính bên cạnh thấy rằng: Theo viết Bây tạo ma trận Và, dùng sở cho domain range phép biến đổi, (6.38) Bây tính tốn biểu diễn ma trận từ phương trình (6.33): (6.39) Chọn, chẳng hạn, trường hợp mà θ = 30o Và Để kiểm tra ma trận xác, ta thử vector kiểm tra , tương ứng với (lưu ý vector biểu diễn x hai) Vector kiểm tra chuyển đổi là thành phần tập sở thứ tương ứng với với = Chúng ta kiểm tra để thấy tương ứng với y? Cả hai nên biểu diễn vector, y, dạng hai tập sở khác nhau; y dùng cho sở { } dùng cho sở { } Trong chương dùng vector sở tương hỗ để chuyển biểu diễn thành biểu diễn khác (xem phương trình (5.43) Dùng khái niệm có Điều kiểm tra kết trước Các vector hiển thị hình bên trái Kiểm tra hình ảnh thấy hai biểu diễn, y , đưa phương trình (6.43) phương trình (6.44), hợp lý Giá trị riêng giá trị vecto Trong phần cuối thảo luận giá trị riêng giá trị vecto phép biến đổi tuyến tính Những giá trị giúp trả lời câu hỏi quan trọng hoạt động mạng neural ví dụ câu hỏi liên quan đến ổn định mạng Hopfield mà đề cập đầu chương Trước hết ta định nghĩa giá trị riêng giá trị vecto Xét biến đổi tuyến tính A: X > X Những vecto z ε X khác thỏa mãn Trong z giá trị vecto λ giá trị riêng Chú ý khái niệm giá trị vecto khơng gian vecto z thỏa mãn (6.46) az thỏa mãn Do giá trị vecto biến đổi cho trước đại diện cho hướng mà vecto theo hướng biến đổi tiếp tục hướng tỉ lệ theo giá trị riêng Xét lại ví dụ góc quay phần trước Liệu có vecto mà bị quay 30o lại tiếp tục hướng giống vậy? Câu trả lời không, trường hợp giá trị riêng Bằng cách tính toán giá trị riêng giá trị vecto? Giả thiết vecto sở chọn cho không gian vecto n chiều X Khi đó, ma trận X biểu diễn cho phương trình 6.46 sau {λ1, λ2, , λn} giá trị riêng ma trận A Kết hữu ích phân tích hoạt động mạng neural chương sau Tóm tắt kết Những biến đổi Một biến đổi gồm phần: Tập giá trị X = {xi} gọi miền Tập giá trị Y = {yi} gọi dải giá trị Luật mối liên hệ giá trị xi với giá trị yi Biến đổi tuyến tính Một biến đổi A tuyến tính nếu: Với tất x1, x2 thuộc X, A(x1+x2) = A(x1) + A(x2) Với tất x thuộc X, a thuộc R, A(ax) = aA(x) Biểu diễn dạng ma trận Xét {v1, v2, , vn} tập khôn gian vecto X, xét {u 1, u2, , um} tập không gian vecto Y Xét A biến đổi tuyến tính với vùng X dải Y: Các hệ số ma trận lấy sau: Sự thay đổi Giá trị riêng giá trị vecto Chéo hóa Trong {z1, z2, , zn} giá trị vecto ma trận vuông A P6.1 Xét mạng đơn tầng có chức biến đổi tuyến tính hình P6.1 Liệu biến đổi từ vecto đầu vào đến vecto đầu có tuyến tính? Hình 6.1 Mạng đơn neural Phương trình mạng Để biến đổi tuyến tính cần thỏa mãn: Kiểm tra điều kiện thứ So sánh với phương trình b = Do , biến đổi khơng phải biến đổi tuyến tính Những biến đổi điển gọi biến đổi affine P6.2 Chúng ta thảo luận chương Phép chiếu có phải biến đổi tuyến tính? Phép chiếu vecto X lên vecto v tính Trong (x,v) tích x với v Chúng ta xét xem biến đổi có thỏa mãn điều kiện phép biến đổi tuyến tính hay khơng Xét điều kiện thứ nhất: Kiểm tra điều kiện thứ hai: Như vậy, phép chiếu biến đổi tuyến tính P6.3 Xét biến đổi A tạo ánh xạ vecto x miền R theo đường x1 + x2 = Tìm ma trận biến đổi theo tiêu chuẩn R2 Hình 6.2 Biến đổi ánh xạ Phương trình (6.6) cách tìm ma trận Ta cần biến đổi vecto miền sau mở rộng kết theo khái niệm vecto theo dải Mỗi lần mở rộng ta lại có cột ma trận Trong trường hợp tập cho domain dãy {s 1, s2} Thực biến đổi thứ trước Nếu ta ánh xạ s1 theo đường x1 + x2 = 0, ta có: Cho ta cột ma trận Biến đổi đến s2: Cho ta cột thứ ma trận Kết cuối cùng: Kiểm tra kết cách biến đổi vecto x = [1,1]T Sự ánh xạ x biểu diễn hình 6.3: Hình 6.3 Kiểm tra hoạt động ánh xạ (Bạn đốn giá trị riêng giá trị vecto biến đổi không? Sử dụng biến đổi tuyến tính dùng mạng neural để kiểm tra Tính tốn kết giá trị riêng giá trị vecto, sử dụng chức Matlab để kiểm tra dự đốn) P6.4 Xét khơng gian số phức Đây không gian vecto X, coi tập {1 + j, -j) Xét A: X > X kết hợp i Tìm ma trận biến đổi A theo tập cho ii Tìm giá trị riêng giá trị vecto biến đổi iii Tìm ma trận biểu diễn A theo giá trị vecto i Để tìm ma trận biến đổi, ta biến đổi vecto bản: Từ suy ma trận biểu diễn: Để tìm giá trị riêng, ta dùng phương trình (6.49) Vậy giá trị riêng λ = 1; λ = -1 Để tìm giá trị vecto, sử dụng phương trình (6.48) Cho λ = λ = ta có Hay Vì véc tơ riêng là: Hay tích vơ hướng khác Với véc tơ riêng thứ hai ta sử dụng Hay Do véc tơ riêng thứ hai Hay tích vơ hướng khác Chú ý véc tơ riêng cột số, thực tế chúng số phức Ví dụ: Kiểm tra chúng véc tơ riêng thực iii Để thực phép chuyển đổi sở ta cần sử dụng phương trình (6.33): Trong (Chúng ta sử dụng sở cho miền xác định tập xác định) Vì ta có Được suy từ phương trình (6.69), ta chéo hóa biểu diễn ma trận P.65-Chéo hóa ma trận sau : Bước tìm trị riêng V ậy trị riêng Với Hoặc : Vì véc tơ riêng thứ : Để tìm véc tơ riêng, Hay tích vơ hướng khác Với Hoặc Do véc tơ riêng thứ hai : Hay tích vơ hướng khác Để chéo hóa ma trận ta sử dụng phương trình (6.69) Trong Vì ta có : P6.6-Xét phép biến đổi sau sở chuẩn : biểu diễn ma trận tập Tìm ma trận cho phép biến đổi tập sở sau : Bước lập ma trận Bây ta sử dụng phương trình (6.33) để lập biểu diễn ma trận Vậy ma trận chuyển đổi từ tập sở T sang W P6.7-Xét phép biến đổi tập sở R cho sau i Tìm ma trận chuyển đổi A tập sở V cho ii Xét tập sở Tìm ma trận chuyển đổi A tập sở W cho i Mỗi phương trình hai phương trình cho ta cột ma trận, xác định phương trình (6.6) Vì ma trận có dạng ii Ta biểu diễn tập véc tơ sở W dạng cột theo tập véc tơ sở V Ta lập ma trận sở mà ta cần để thực biến đổi đồng dạng Biểu diễn ma trận thu từ phương trình (6.33) P6.8-Xét khơng gian véc tơ đa thức có bậc nhỏ Một sở không gian véc tơ i ii i Tìm ma trận phép biến đổi tập sở V Tìm trị riêng véc tơ riêng phép biến đổi Bước biến đổi véc tơ sở Ma trận phép biến đổi cho ii Xét phép biến đổi vi phân Để tìm trị riêng ta phải giải Vậy tất ba trị riêng Để tìm véc tơ riêng ta cần giải Với ta có Điều có nghĩa Vì ta có véc tơ riêng đơn Do đa thức mà đạo hàm tích vơ hướng có đa thức (đa thức bậc khơng) P6.9-Xét phép biến đổi Hai ví dụ véc tơ biến đổi cho hình P6.4 Để tìm ma trận chuyển đổi phép biến đổi tập sở chuẩn Hình P6.4 Biến đổi toán P6.9 Với toán ta véc tơ sở biến đổi nào, nên ta sử dụng phương trình (6.6) để tìm biểu diễn ma trận Tuy nhiên ta biết chuyển đổi hai véc tơ ta biết cách biểu diễn hai véc tơ tập sở Từ hình P6.4 ta viết phương trình sau Sau ta kết hợp hai phương trình thu Vì Đây biểu diễn ma trận phép biến đổi liên quan tới tập sở chuẩn Quy trình sử dụng “Neural Network Design Demonstration Linear Transformations” Phần kết Trong chương ta xem lại tính chất phép biến đổi tuyến tính ma trận quan trọng nghiên cứu mạng nơ ron Các khái niệm trị riêng, véc tơ riêng, chuyển đổi sở (phép biến đổi đồng dạng) chéo hóa tiếp tục sử dụng suốt phần cịn lại Nếu khơng có tảng đại số tuyến tính, nghiên cứu mạng nơ ron nông cạn Trong chương ta sử dụng đại số tuyến tính để phân tích họat động thuật tốn huấn luyện mạng nơ ron, luật Hebb Tài liệu tham khảo [Brog91] W.L.Brogan, Modern Control Theory, 3rd Ed., Englewood Cliffs, NJ: Prentice-Hall, 1991 Đây tài liệu viết tốt chủ đề hệ thống tuyến tính Nửa đầu sách nói đại số tuyến tính Đây phần quan trọng để giải biến đổi vi phân tuyến tính tính ổn định hệ thống tuyến tính phi tuyến [Stra76] G Strang, Linear Algebra and Its Applications, New York: Academic Press, 1980 Strang viết đại số tuyến tính tốt Rất nhiều ứng dụng đại số tuyến tính viết sách Bài tập E6.1 Biến đổi tuyến tính ma trận có phải chuyển vị ma trận khơng? E6.2 Giả sử có mạng neutral hình P6.1 Chỉ đường chéo vector b mạng có thực biến đổi tuyến tính khơng E6.3 Giả sử có biến đổi tuyến tính minh họa hình E6.1 Tìm ma trận liên hệ biểu diễn phép biến đổi tập hợp sở chuẩn Tìm ma trận liên hệ biểu diễn phép biến đổi tập sở {v 1,v2} Hình E6.1 Ví dụ minh họa phép biến đổi dùng tập E6.3 E6.4 Giả sử có không gian số phức, không gian vector X, tập sở X (1+j, 1-j) Phép biến đổi A: X  X thực cách nhân với (1+j) (ví dụ: A(χ) = (1+j)χ) i Tìm ma trận liên hệ phép biến đổi A với tập hợp cho ii Tìm giá trị đặc trưng vector đặc trưng phép biến đổi iii Tìm cách biểu diễn ma trận cho miền A cho vector đặc trưng vector sở iv Kiểm tra tính sai câu trả lời MATLAB E6.5 Giả sử có phép biến đổi A: P2  P3, từ khơng gian đa thức bậc tới không gian đa thức bậc 3, định nghĩa sau: χ = a0 + a1t + a2t2 A(χ) = a0(t+1) + a1(t+1)2 + a2(t+1)3 Tìm cách biểu diễn ma trận liên hệ miền V2 = {1,t,t2}, V3 = {1,t,t2,t3} E6.6 Giả sử có khơng gian hàm có dạng αsin(t+ ) Tập sở cho không gian V = {sint, cost} Giả sử có biến đổi vi phân D i Tìm ma trận biến đổi D miền tập hợp sở V ii Tìm giá trị đặc trưng vector đặc trưng phép biến đổi Chỉ vector đặc trưng cột số hàm t iii Tìm cách biểu diễn ma trận liên hệ cho vector đặc trưng vector sở E6.7 Giả sử có khơng gian vector P2 P3 đa thức bậc bậc Tìm cách biểu diễn ma trận phép biến đổi tích hợp I:P2  P3 miền V2 = {1,t,t2}, V3 = {1,t,t2,t3} E6.8 Một phép biến đổi tuyến tính A:R2  R2 có cách biểu diễn ma trận miền tập hợp sở là: A= Tìm biểu diễn ma trận phép biến đổi với miền mới: V= E6.9 Biết biến đổi tuyến tính A:R2  R2 có giá trị đặc trưng vector đặc trưng sau: =1 z1 = =2 z2 = (Các vector đặc trưng biểu diễn tập hợp sở) i Tìm biểu diễn ma trận phép biến đổ A tập hợp sở ii Tìm biểu diễn ma trận miền: V= E6.10 Giả sử có tập hợp miền R2: V = {v1,v2} = (các vector sở biểu diễn tập hợp sở) i Tìm vector sở tương hỗ tập hợp sở ii Giả sử có phép biến đổi A: R2  R2 Biểu diễn ma trận cho phép biến đổi A miền R2 là: A= iii iv v Tìm mở rộng Av1 miền tập hợp sở V (sử dụng vector sở tương hỗ) Tìm mở rộng Av2 miền tập hợp sở V Tìm biểu diễn ma trận cho phép biến đổi A miền tập hợp sở V ...6 Các phép biến đổi tuyến tính dùng mạng Neural Nội dung: Các mục tiêu Lý thuyết ví dụ: - Các phép biến đổi tuyến tính - Các biểu diễn ma trận - Biến đổi sở - Vector riêng... với nhiều vấn đề khác mạng neural mô tả sách Các phép biến đổi tuyến tính Chúng ta bắt đầu vơi vài định nghĩa chung ∗ Phép biến đổi tuyến tính Một phép biến đổi tuyến tính gồm phần Một tập thành... , biến đổi khơng phải biến đổi tuyến tính Những biến đổi điển gọi biến đổi affine P6.2 Chúng ta thảo luận chương Phép chiếu có phải biến đổi tuyến tính? Phép chiếu vecto X lên vecto v tính Trong