Phương sai between-class của lớp thứ i (𝑆𝐵𝑖) biểu diễn khoảng cách giữa kỳ vọng của lớp thứ i (𝜇𝑖) và kỳ vọng trung bình (𝜇). Kỹ thuật LDA tìm một không gian chiều thấp, được sử dụng để cực đại hóa phương sai between-class, hoặc cực đại khoảng cách tách biệt giữa các lớp. Để giải thích phương sai between-class hoặc ma trận between-class (𝑆𝐵) có thể được tính như thế nào, các giải thiết sau đây được đưa ra. Ma trận dữ liệu gốc 𝑋 = {𝑥1, 𝑥2, … 𝑥𝑁}, ở đây 𝑥𝑖 biểu diễn mẫu thứ i hoặc quan sát và N là tổng số các mẫu. Mỗi mẫu được biểu diễn bởi M đặc trưng (𝑥𝑖 ∈ 𝑅𝑀). Nói cách khác, mỗi mẫu được biểu diễn bằng một điểm trong không gian M chiều. Giả sử ma trận dữ liệu được phân hoạch thành c=3 lớp như sau, 𝑋 = (𝜔1, 𝜔2, 𝜔3) như hình 2.5 bước A dưới đây. Mỗi lớp có 5 mẫu (tức
𝑛1 = 𝑛2 = 𝑛3 = 5), ở đây 𝑛𝑖 biểu diễn số các mẫu của lớp thứ i. Tổng số mẫu (N) được tính như sau: 𝑁 = ∑3𝑖=1𝑛𝑖 .
Để tính phương sai between-class (𝑆𝐵), khoảng cách tách biệt giữa các lớp khác nhau, được biểu thị bởi (𝑚𝑖 − 𝑚) sẽ được tính như sau:
Hình 2.5. Các bước được trực quan hóa để tính một không gian con chiều thấp hơn của kỹ thuật LDA.
Ở đây 𝑚𝑖 biểu diễn chiếu của kỳ vọng của lớp thứ i và nó được tính như sau,
như sau 𝑚 = 𝑊𝑇𝜇, 𝑊 biểu diễn ma trận biến đổi của LDA, 𝜇𝑖(1 × 𝑀) biểu diễn kỳ vọng của lớp thứ i và nó được tính như trong phương trình (2), và 𝜇(1 × 𝑀)
là tổng kỳ vọng của tất cả các lớp và nó có thể được tính như trong phương trình (3). Hình 2.1 chỉ ra kỳ vọng của mỗi lớp và tổng kỳ vọng trong Bước (B) và (C) tương ứng. 𝜇𝑗 = 1 𝑛𝑗∑𝑥𝑖∈𝑤𝑗𝑥𝑖 (2) 𝜇 = 1 𝑁∑𝑁𝑖=1𝑥𝑖 = ∑ 𝑛𝑖 𝑁 𝜇𝑖 𝑐 𝑖=1 (3)
ở đây c biểu diễn tổng số các lớp (trong ví dụ c=3).
Số hạng (𝜇𝑖 − 𝜇)(𝜇𝑖 − 𝜇)𝑇 trong phương trình (1) biểu diễn khoảng cách tách biệt giữa kỳ vọng của lớp thứ i (𝜇𝑖) và tổng kỳ vọng (𝜇), hoặc đơn giản nó biểu diễn phương sai between-class của lớp thứ i (𝑆𝐵𝑖). Thay thế 𝑆𝐵𝑖 trong phương trình (1) như sau:
(𝑚𝑖 − 𝑚)2 = 𝑊𝑇𝑆𝐵𝑖𝑊 (4)
Tổng phương sai between-class được tính như sau, 𝑆𝐵 = ∑𝑐𝑖=1𝑛𝑖𝑆𝐵𝑖. Hình 2.5 (bước D) chỉ ra đầu tiên ma trận between-class của lớp đầu tiên (𝑆𝐵1) được tính như thế nào và sau đó ma trận tổng between-class (𝑆𝐵) được tính bằng cộng tổng tất cả các ma trận between-class của tất cả các lớp như thế nào.