Để minh họa mô hình ICA theo thuật ngữ thống kê, ta xét hai thành phần độc lập có các phân bốđồng nhất sau: 1/ 2 3, ( ) 0, i p s ⎧⎪ = ⎨ ⎪⎩ / | | 3 ˆ _ i khi s kha c tren ≤ (2.12)
Miền giá trị của phân bố này được chọn sao cho trị trung bình bằng không và phương sai bằng đơn vị. Khi đó, mật độ kết hợp của s1 và s2 là đồng nhất trên một hình vuông, và được minh họa trong hình 2.5.
Hình 2.5 Phân bố kết hợp của các thành phần độc lập s1 và s2 có phân bốđồng nhất. (Trục ngang: s1, trục đứng: s2)
Bây giờ, ta sẽ trộn lận hai thành phần độc lập này bằng ví dụ ma trận trộn lẫn sau: 0 5 10 10 2 A ⎛ ⎞ ⎜ ⎟ ⎝ ⎠ (2.13)
Kết quả, ta có hai biến sau trộn lẫn là x1 và x2, và chúng có một phân bố đồng nhất trên một hình bình hành nhưở hình 2.6. Lưu ý rằng các biến ngẫu nhiên x1 và x2
không còn độc lập vì không thể dựđoán giá trị của x1 từ x2 hay ngược lại.
Hình 2.6 Phân bố kết hợp của các trộn lẫn x1 và x2. (Trục ngang: x1, trục đứng: x2) Bài toán xấp xỉ mô hình dữ liệu bây giờ phải xấp xỉ ma trận trộn lẫn A mà chỉ
sử dụng thông tin chứa trong các trộn lẫn x1 và x2. Thật ra, từ hình 2.6 ta có thể xấp xỉ
Điều này có nghĩa là chúng ta có thể xấp xỉ mô hình ICA bằng cách trước hết xấp xỉ
mật độ kết hợp của x1 và x2, và sau đó định vị các cạnh. Do đó, bài toán dường nhưđã có lời giải.
Mặt khác, ta xét một trộn lẫn các thành phần độc lập với một kiểu phân bố khác, phân bố siêu gauss. Các biến ngẫu nhiên siêu gauss thường có pdf với đỉnh ở zero, hình 2.7. Phân bố kết hợp của các thành phần độc lập ban đầu được cho ở hình 2.8 và các trộn lẫn ở hình 2.9. Ở đây, ta cũng thấy được dạng các cạnh nhưng ở những vị trí rất khác biệt.
Tuy nhiên, trong thực tế, việc định vị các cạnh là một phương pháp rất không hiệu quả vì nó chỉ áp dụng được cho các biến có các phân bố rất đặc biệt. Trong hầu hết các trường hợp, không thể tìm ra được các cạnh như vậy. Hơn nữa, các phương pháp dựa vào tìm các cạnh hay các phương pháp thực nghiệm (heuristic) tương tự
khác, thường có các tính toán rất phức tạp và không tin cậy. Cái chúng ta cần là một phương pháp áp dụng được cho mọi phân bố của các thành phần độc lập, hoạt động có hiệu quả và đáng tin cậy.
Hình 2.8 Phân bố kết hợp của các trộn lẫn s1 và s2, có được từ các thành phần độc lập siêu gauss. (Trục ngang: x1, trục đứng: x2)
Hình 2.9 Phân bố kết hợp của các trộn lẫn x1 và x2, có được từ các thành phần độc lập siêu gauss. (Trục ngang: x1, trục đứng: x2)