Xấp xỉ hạng thấp đa tuyến tính cho các ten-xơ (Multilinear Low Rank Tensor Approximation-MLRTA) có thể được coi là một trường hợp mở rộng của phương pháp xấp xỉ hạng thấp cho các ma trận [22]. MLRTA của một ten-xơXyêu cầu hàm tối ưu hóa sau:
arg min r X fMLRTA }X rX}2 F, s.t. Xr G1U12U2 n Un, rankpUkq ¤rk, vớik 1,2, . . . , n. (1.36)
trong đóGlà ten-xơ lõi của ten-xơX,tUkun
k1được gọi là các ma trận của ten-xơX, vàtrkun
k1là các hạng thấp đa tuyến tính.
Hiện nay, đã có rất nhiều phương pháp được đề xuất để giải bài toán MLRTA [22, 48]. Hầu hết các thuật toán cho MLRTA đều xuất phát từ phân tích ten-xơ như phân tích CP/PARAFAC, phân tích Tucker và phân tích Tucker với ràng buộc không âm. Sau đây, luận án sẽ trình bày mối liên hệ giữa MLRTA với một số phương pháp phân tích ten-xơ.
1.10.1. Phân tích CP
Phân tích CP có thể được coi là MLRTA có ràng buộc khi ten-xơ lõi G được ràng buộc là ten-xơ đường chéo và các ma trậnUk có cùng hạng làr. Đặc biệt,fMLRTA có thể được biểu diễn theo mô hình phân tích CP như sau:
arg min r X fCP }X rX}2 F, s.t. Xr r ¸ i1 λiU1p:, iq Unp:, iq, rankpUkq r, vớik 1,2, . . . , n. (1.37)
trong đó: “” biểu diễn phép tích ngoại; các ma trậnUk P RIkr là hạng đủ;tλiur i1
là các phần tử đường chéo của ten-xơ lõiG.
Để giải fCP trong phương trình (1.37), các phương pháp đều dựa trên phương pháp bình phương tối thiểu xen kẽ [54, 75]. Thuật toán ALS (thuật toán1) được sử dụng để phân tích ten-xơ bậcN Xthànhrthành phần theo mô hình phân tích CP:
1.10.2. Phân tích Tucker
Phân tích Tucker mềm dẻo hơn phân tích CP trong đó ten-xơ lõi thu được từ phép phân tích Tucker không cần là ten-xơ đường chéo và các ma trận thu được từ phép phân tích Tucker phải là các ma trận trực giao, tức là:
arg min r X fTucker }X rX}2 F s.t. Xr G1U12U2 nUn, UTkUk Irk, vớik 1,2, . . . , n. (1.38)
Algorithm 1:Thuật toán ALS để tính phân tích ten-xơ bậcNXthànhrthành phần theo mô hình phân tích CP 1 procedure CP-ALSpX, rq 2 Khởi tạo: 3 Các ma trậnApnqPRInrvớin1, . . . , N 4 Lặp: 5 Forn1, . . . , Ndo 6 VÐAp1qTAp1qf fApn1qTApn1qfApn 1qTApn 1qfApNqTApNq 7 ApnqÐXpnq AN d dAn 1dAn1d dA1 V#
8 Chuẩn hóa các cột củaApnq
9 end for
10 Đến khi dừng hội tụ hoặc hết lặp
11 Trả về kết quảλ,A1,A2, . . . ,AN
12 end procedure
Kết quả là, nghiệmfTuckertrong phương trình (1.38) là không duy nhất, tuy nhiên không gian con chứa các ma trậntUkun
k1 là duy nhất [75, Mục 4].
Algorithm 2:Phương pháp 1 của Tucker để tính hạngr1, r2, . . . , rncủa ten-xơ bậcNXhay còn gọi là HOSVD
1 procedure HOSVDpX, r1, r2, . . . , rnq
2 Forn1, . . . , Ndo
3 ApnqÐrnvéc tơ riêng chính bên trái củaXpnq
4 end for
5 GÐX1Ap1qT 2Ap2qT N ApNqT
6 Trả về kết quảG,A1,A2, . . . ,AN
7 end procedure
Hai thuật toán thông dụng để giảifTuckerlà HOSVD (thuật toán 2) và Tucker-ALS (thuật toán 3). Tùy theo từng ứng dụng, cả hai thuật toán này HOSVD và Tucker-ALS đều có thể đưa ra xấp xỉ tốt. Tuy nhiên, rất nhiều ứng dụng trong thực tế sử dụng HOSVD để khởi tạo và Tucker-ALS để tăng tốc độ hội tụ [30].
1.10.3. Phân tích ten-xơ với ràng buộc không âm
Phân tích ten-xơ với ràng buộc không âmcó thể được coi là trường hợp mở rộng của hệ số hóa ma trận không âm (Nonnegative Matrix Factorization-NMF) cho các ten-xơ, trong đó ràng buộc không âm được áp dụng đối với các ma trận và/ hoặc ten- xơ lõi [24]. Đặc biệt, phân tích ten-xơ với ràng buộc không âm có thể được xem là
Algorithm 3:Thuật toán ALS của Tucker để tính hạngr1, r2, . . . , rncủa ten-xơ bậcNXhay còn gọi là HOOI 1 procedure HOOIpX, r1, r2, . . . , rnq 2 Khởi tạo: 3 Các ma trậnApnqPRInrvớin1, . . . , Nsử dụng HOSVD 4 Lặp: 5 Forn1, . . . , Ndo 6 YÐX1Ap1qT n1Apn1qT n 1Apn 1qT NApNqT
7 ApnqÐrnvéc tơ riêng chính bên trái củaYpnq
8 end for
9 Đến khi dừng hội tụ hoặc hết lặp
10 GÐX1Ap1qT 2Ap2qT N ApNqT
11 Trả về kết quảλ,A1,A2, . . . ,AN
12 end procedure
fMLRTA không âm như sau:
arg min r X fNTD }X rX}2 F, s.t. Xr G1U12U2 nUn, G¥0,Uk ¥0, k 1,2, . . . , n (1.39)
trong đó ký hiệu¥ có nghĩa là tất cả các phần tử của ma trậnUk và ten-xơ lõiG là không âm. Có hai mô hình phân tích ten-xơ với ràng buộc không âm là phân tích CP với ràng buộc không âm (Nonnegative CP-NCP) và phân tích Tucker với ràng buộc không âm (Nonnegative Tucker Decomposition-NTD). NCP tương ứng với trường hợp khi ten-xơ lõiGlà một ten-xơ đường chéo, và NTD tương ứng với trường hợp ten-xơ lõiG là thưa và các ma trậnUk là các ma trận trực giao. Hầu hết các thuật toán phân tích ten-xơ với ràng buộc không âm đều xuất phát từ NMF, tức là một ma trận được tối ưu trong khi các ma trận khác được giữ cố định. Các thuật toán phân tích NTD có thể được tham khảo chi tiết trong [24, 138].
Ràng buộc không âm được áp dụng cho phép phân tích ten-xơ có thể đưa ra một số hiệu quả là (i) các biểu thức kết quả toàn là phép cộng (không có phép trừ) và (ii) các ma trận thường được gắn với biểu diễn thưa, tức là có thể được định nghĩa bởi một số ít các thành phần và do đó (iii) cho phép định vị một phần của dữ liệu.
1.10.4. Phân tích CP với ràng buộc không âm
Cho một ten-xơXPRI1I2Ik, phân tích CP củaXđược biểu diễn như sau: XI1U12U2 kUk R ¸ i1 λiU1p:, iq U2p:, iq Ukp:, iq, (1.40)
trong đóR là hạng của ten-xơ, I P RRRR là ten-xơ đường chéo, Ui P RIiR là các ma trận và () biểu diễn tích ngoại của hai véc tơ. Trong mô hình CP, ràng buộc không âm được áp dụng trên các ma trận, tức làUi ¥0, i1,2, . . . k.
Hầu hết các thuật toán chuẩn cho các mô hình NCP được lấy cảm hứng từ NMF, trong đó tối ưu hóa một ma trận thành phần trong khi các ma trận khác được giữ nguyên. Hàm mục tiêu cho mô hình NCP được biểu diễn như sau:
FN CP 1 2 k ¸ i1 }Xpiq UiSi}2 F, s.t.Ui ¥0 (1.41)
trong đóXpnq là ma trận hóa chế độ ncủa ten-xơXđược tính như sau:
Xpnq UnrUn1d dU2dU1dUkdUk1d. . .Un 1sT
(1.42)
UnSn.
Các ma trận không âm có thể thu được từ thuật giải heuristic để hệ số hóa các ma trận không âm (NMF), tức là:
Un ÐUnfrXpnq{pUnSnqsS T n
1zT , (1.43)
vớizpiq °jrSnpi, jqsvàfbiểu diễn phép nhân Hadamard.
1.10.5. Phân tích Tucker với ràng buộc không âm
Cho một ten-xơX P RI1I2Ik, phân tích Tucker của Xcó thể được biểu diễn như sau:
trong đó ten-xơ lõi G có kích thước là R1 R2 Rk, các ma trận Ui P RIiRi. Trong NTD, cả ten-xơ lõiGvà các ma trậnUphải là không âm.
Để tối ưuUn, xét một dạng tương đương của mô hình NCP như sau:
FN T D 1 2 k ¸ i1 }Xpiq UiSi}2 F, s.t.Ui ¥0. (1.45)
hoặc xét phiên bản véc tơ hóa như sau:
FN T D 1
2}vecpXq FvecpGq}, s.t.G¥0 (1.46) vớiF bUn. Lấy đạo hàm của FN T D tương ứng vớiUn vàG, ta có quy tắc cập nhật như sau: Un UnαfBFN T D BUn (1.47) GGαf BFN T D BvecpGq, (1.48) trong đó đạo hàm BFN T D
BUn được tính như sau:
BFN T D
BUn UnVnTVn XpnqVn (1.49)
BFN T D
BvecpGq FTFvecpGq FTvecpXq, (1.50)
với V bpn Up
GT
pnq, và bước nhảy α Un m pUnXpnqGT
pnqq, vớif,mbiểu diễn phép nhân Hadamand và chia hai ma trận.