3 Kĩ thuật phân tích ma trận cho hệ thống khuyến nghị
3.3.1 Tính có thể tráo đổi được (interchangeability)
Nói chung việc chạy phân tán thuật toán SGD là khó vì các bước cập nhật trong quá trình thực hiện phụ thuộc lẫn nhau:
θn+1=πHhθn−εnLb0(θn)i
Như công thức trên ta thấy θn phải có trước để tính θn+1, tuy nhiên với bài toán phân tích ma trận quá trình tính toán của SGD có một số đặc tính mà ta có thể khai thác được, ta sẽ tập trung vào bài toán tối thiểu sai số trong đó sai số có dạng:
L(θ) = X
z∈Z
Lz(θ) (3.7)
Định nghĩa 3.1. Hai điểm huấn luyện z1, z2 ∈ Z được gọi là có thể tráo đổi với nhau nếu tất cả các hàm sai số L có dạng tổng như (3.7) thỏa mãn: với mọi θ ∈H, ε >0
L0z1(θ) =L0z1 θ−εL0z2(θ)
L0z2(θ) =L0z2 θ−εL0z1(θ)
Hai tập không giao nhau Z1, Z2 ⊂Z được gọi là có thể tráo đổi cho nhau nếuz1, z2 có thể tráo đổi với mọi z1 ∈Z1, z2 ∈Z2
3.3 Thuật toán DSGD 33
Như vậy, theo định nghĩa trên ta có thể thay đổi thứ tự của các bước SGD trên các điểm có đặc tính tráo đổi được này mà không làm ảnh hưởng đến kết quả cuối cùng của quá trình thực hiện thuât toán.
Bây giờ ta quay lại bài toán phân tích ma trận với hàm số L có dạng:
L(W, H) = X
(i,j)∈Z
Lij(W, H)
với
Lij(W, H) = l(Vij, Wi∗, H∗j)
Định lý 3.1. Hai điểm huấn luyện z1 = (i1, j1), z2 = (i2, j2) được gọi là có thể tráo đổi được nếu chúng không ở cùng hàng và cũng không cùng cột hay nói cách khác i1 6=i2 và
j1 6=j2
Thực ra đây là một kết quả trực tiếp từ việc định nghĩa hàm sai số toàn cục bằng tổng của các hàm sai số cục bộ. Từ định nghĩa 3.1 và định lý 3.1 trên ta có thể thấy nếu 2 khối của ma trậnV không có chung hàng và cột nào thì tập hợp các điểm huấn luyện trong 2 khối này có tính tráo đổi được với nhau.