Cơ sở Toán học cho Machine Learning. Trường Đại Học Bách Khoa Hà Nội Năm 2021

Cơ sở Toán học cho Machine Learning Nguyễn Văn Sơn VinAI Research Thân Quang Khoát Trường Đại Học Bách Khoa Hà Nội Năm 2021 Phần Đại số tuyến tính Chuyển vị Hermitian q Cho 𝐴 ∈ 𝑅!×# , ta nói 𝐵 ∈ 𝑅#×! chuyển vị A nếu: 𝑏$% = 𝑎%$ ∀1 ≤ 𝑖 ≤ 𝑛, ≤ 𝑗 ≤ 𝑚 Ký hiệu: 𝐵 = 𝐴& Nếu 𝐴 = 𝐴& ta gọi A ma trận đối xứng q Cho 𝐴 ∈ 𝑅!×# , ta nói 𝐵 ∈ 𝑅#×! chuyển vị liên hợp A nếu: 𝑏$% = 𝑎%$ ∀1 ≤ 𝑖 ≤ 𝑛, ≤ 𝑗 ≤ 𝑚 Ký hiệu: 𝐵 = 𝐴' Nếu 𝐴 = 𝐴' ta gọi A ma trận Hermitian Phép nhân hai ma trận qCho hai ma trận 𝐴 ∈ 𝑅!×# , 𝐵 ∈ 𝑅#×$ , tích hai ma trận ký hiệu 𝐶 ∈ 𝑅!×$ với: # 𝑐%& = ) 𝑎%' 𝑏'& , ≤ 𝑖 ≤ 𝑚, ≤ 𝑗 ≤ 𝑝 '() Tính chất: § Phép nhân hai ma trận khơng có tính giao hốn: 𝐴𝐵 ≠ 𝐵𝐴 § Tính kết hợp: 𝐴𝐵𝐶 = 𝐴𝐵 𝐶 = 𝐴(𝐵𝐶) § Tính phân phối phép cộng: 𝐴 𝐵 + 𝐶 = 𝐴𝐵 + 𝐴𝐶 § 𝐴𝐵 * = 𝐴* 𝐵* Ma trận đơn vị, Ma trận nghịch đảo q Một ma trận vuông với phần tử đường chéo 1, cịn lại gọi ma trận đơn vị, ký hiệu 𝐼# q Cho ma trận vng 𝐴 ∈ 𝑅#×# , tồn ma trận vng B ∈ 𝑅#×# cho: 𝐴𝐵 = 𝐼# ta nói A khả nghịch B gọi ma trận nghịch đảo A Ký hiệu 𝐵 = 𝐴+) Tính chất: § 𝐴 𝐴+) = 𝐼# § 𝐴𝐵 +) = 𝐵+) 𝐴+) Định thức q Định nghĩa: Định thức ma trận vuông A ký hiệu 𝑑𝑒𝑡𝐴 § Với 𝑛 = 1, detA phần tử ma trận § Với ma trận vuông bậc 𝑛 > 1: Với 𝐴%& ma trận thu cách xoá hang thứ i cột thứ j ma trận A, hay gọi phần bù đại số A ứng với phần tử hang i, cột j Định thức q Tính chất: § 𝑑𝑒𝑡𝐴 = 𝑑𝑒𝑡𝐴* § 𝑑𝑒𝑡𝐼# = § det 𝐴𝐵 = 𝑑𝑒𝑡𝐴 𝑑𝑒𝑡𝐵 § 𝑑𝑒𝑡𝐴+) = ) ,-./ § Nếu ma trận có hang cột vecto định thức § Một ma trận khả nghịch định thức khác § Định thức ma trận tam giác (vng) tích phần tử đường chéo Tổ hợp tuyến tính-Khơng gian sinh q Tổ hợp tuyến tính Cho vecto khác khơng 𝑎) , … , 𝑎# ∈ 𝑅! số thực 𝑥) , 𝑥0 , … , 𝑥# Khi vecto: 𝑏 = 𝑥) 𝑎) + 𝑥0 𝑎0 + ⋯ + 𝑥# 𝑎# gọi tổ hợp tuyến tính 𝑎) , … , 𝑎# ∈ 𝑅! Xét ma trận 𝐴 = [𝑎) , 𝑎0 , … , 𝑎# ] ∈ 𝑅!×# 𝑥 = 𝑥) , 𝑥0 , … , 𝑥# * , ta viết lại: 𝑏 = 𝐴𝑥 b tổ hợp tuyến tính cột A Tổ hợp tuyến tính-Khơng gian sinh q Tập hợp tất vecto biểu diễn tổ hợp tuyến tính vecto khác khơng 𝑎) , … , 𝑎# ∈ 𝑅! gọi không gian sinh (span space) hệ vecto đó, ký hiệu span(𝑎) , … , 𝑎# ) q Nếu phương trình: 𝑥) 𝑎) + 𝑥0 𝑎0 + ⋯ + 𝑥# 𝑎# = Có nghiệm 𝑥) = 𝑥0 = ⋯ = 𝑥# = ta nói hệ 𝑎) , 𝑎0 , … , 𝑎# độc lập tuyến tính Ngược lại ta nói hệ phụ thuộc tuyến tính 10 Cơ sở không gian q Một hệ vecto 𝑎) , 𝑎0 , … , 𝑎# không gian vecto m chiều 𝑉 = 𝑅! gọi sở hai điều kiện sau thoả mãn: § 𝑉 ≡ 𝑠𝑝𝑎𝑛(𝑎) , 𝑎0 , … , 𝑎# ) § 𝑎) , 𝑎0 , … , 𝑎# hệ độc lập tuyến tính Nhận thấy: n=m Khi đó, vecto 𝑏 ∈ 𝑉 biểu diễn dạng tổ hợp tuyến tính 𝑎% 50 Convex set q Định nghĩa: Một tập hợp C gọi tập lồi với hai điểm 𝑥) , 𝑥0 ∈ 𝐶 điểm 𝑥! = 𝜃𝑥" + − 𝜃 𝑥# nằm C với 𝜃 ∈ 0, 51 Convex set q Một số ví dụ tập lồi: § Siêu phằng (Hyerplane): 𝑎) 𝑥) + 𝑎0 𝑥0 + ⋯ + 𝑎# 𝑥# = 𝑎* 𝑥 = 𝑏 § Nửa khơng gian (Halfspace): 𝑎) 𝑥) + 𝑎0 𝑥0 + ⋯ + 𝑎# 𝑥# = 𝑎* 𝑥 ≤ 𝑏 § Norm ball: 𝐵 𝑥B , 𝑟 = 𝑥| 𝑥 − 𝑥B ≤ 𝑟 = 𝑥B + 𝑟𝑢| 𝑢 ≤1 52 Convex function q Định nghĩa: Một hàm số 𝑓: 𝑅# → 𝑅 gọi hàm lồi 𝑑𝑜𝑚𝑓 hàm lồi và: 𝑓 𝜃𝑥 + − 𝜃 𝑦 ≤ 𝜃𝑓 𝑥 + − 𝜃 𝑓(𝑦) Với 𝑥, 𝑦 ∈ 𝑑𝑜𝑚𝑓 ≤ 𝜃 ≤ 53 Convex function qCác tính chất bản: § Nếu f(x) convex af(x) convex với a>0, concave a