Định nghĩa và những thuộc tính cơ bản
Để định nghĩa sự độc lập, ta đưa ra hai biến ngẫu nhiên có giá trị vô hướng y1
và y2. Cơ bản, hai biến y1 và y2 được cho là độc lập nếu thông tin giá trị của y1 không cho bất kỳ thông tin giá trị nào của y2, và ngược lại. Ở trên, chúng ta chú ý rằng đây là trường hợp với những biến s s1, 2 nhưng không với những biến trộn x x1, 2.
Về mặt ngữ nghĩa, sựđộc lập có thể được định nghĩa bởi mật độ xác suất. Như
chúng ta đã định nghĩa p y y( , )1 2 là hàm mật độ xác suất kết hợp (pdf – probability density function) của y1 và y2. Định nghĩa rộng hơn p y1( )1 là hàm mật độ xác suất lề
của y1, … hàm mật độ xác suất của y1 khi nó được đưa ra một mình:
1( )1 ( , )1 2 2
Và tương tự cho y2. Khi đó, chúng ta định nghĩa y1 và y2 là độc lập nếu và chỉ
nếu mật độ xác suất kết hợp là thừa số theo cách sau:
1 2 1 1 2 2
( , ) ( ) ( )
p y y = p y p y (2.29)
Định nghĩa này mở rộng đương nhiên cho bất kỳ số n biến ngẫu nhiên, trong trường hợp mật độ kết hợp phải là một tích của những giới hạn n.
Định nghĩa có thể được dùng bắt nguồn từ một thuộc tính quan trọng nhất của những biến ngẫu nhiên độc lập. Cho hai hàm h1 và h2, chúng ta luôn có:
( )
{ 1 1 2( )2 } { 1( )1 } { 2( )2 }
E h y h y =E h y E h y (2.30)
Điều này có thểđược chứng minh như sau:
{ 1( ) ( )1 2 2 } 1( ) ( ) ( , )1 2 2 1 2 1 2 E h y h y =∫∫h y h y p y y dy dy 1( ) ( ) ( ) ( )1 1 1 2 2 2 2 1 2 h y p y h y p y dy dy =∫∫ 1( ) ( )1 1 1 1 2( ) ( )2 2 2 2 h y p y dy h y p y dy =∫ ∫ { 1( )1 } { 2( )2 } E h y E h y = (2.31)
Những biến phi tương quan chỉ là độc lập một phần
Một dạng yếu hơn của tính độc lập là tính phi tương quan. Hai biến ngẫu nhiên
1
y và y2 được cho là phi tương quan nếu sự khác biệt của chúng là zero:
{ 1 2} { } { }1 2 0
E y y −E y E y = (2.32)
Nếu các biến là độc lập, chúng sẽ phi tương quan, từ phương trình (2.30),
1( )1 1
h y =y và h y2( )2 =y2.
Mặt khác, phi tương quan thì không hàm ý độc lập. Ví dụ, cho rằng (y y1, 2) là những giá trị rời rạc và có một phân bố xác suất ¼ với bất cứ những giá trị sau:
(0,1), (0,-1), (1,0), (-1,0). Khi đó, y1 và y2 là phi tương quan, như có thể được tính toán một cách đơn giản. Mặt khác:
{ }2 2 { } { }2 2 1 2 1 2 1 0 4 E y y = ≠ =E y E y (2.33)
Đối chiếu với phương trình (2.30) là vi phạm, và các biến không thể là độc lập.
Như vậy, sự độc lập hàm ý phi tương quan, nhiều phương pháp ICA ép buộc
những phương pháp ước lượng sao cho nó luôn đưa ra những ước lượng phi tương quan của những thành phần độc lập. Điều này giảm bớt con số tham số tự do và đơn
giản đi vấn đề.
Vì sao những biến gauss không cho phép?
Hạn chế cơ bản trong ICA là những thành phần độc lập phải là phi gauss.
Để thấy vì sao những biến gauss làm ICA không thể thực hiện được, cho ma trận trộn là trực giao và si là gauss. Khi đó x1 và x2 là gauss, phi tương quan và của biến đơn vị. Mật độ kết hợp của chúng được cho bởi:
2 2 1 2 1 2 1 ( , ) exp 2 2 x x p x x π ⎛ + ⎞ = ⎜− ⎟ ⎝ ⎠ (2.34)
Hình 2.12 Phân bốđa biến của hai biến gauss độc lập
Hình vẽ chỉ ra mật độ cân đối hoàn toàn. Do đó, nó sẽ không hàm chứa bất kỳ
thông tin nào về những hướng dựa trên những cột của ma trận trộn A. Điều này là tại sao A không thểước lượng.
Chặt chẽ hơn, chúng ta có thể chứng minh phân bố của bất kỳ biến đổi trực giao gauss (x x1, 2) có chính xác cùng một phân bố (x x1, 2), và x1 và x2 là độc lập. Do đó, trong trường hợp của những biến gauss, chúng ta chỉ có thể ước lượng mô hình ICA cho một biến đổi trực giao. Nói cách khác, ma trận A không xác định cho những thành phần độc lập gauss. (Thật vậy, với những thành phần độc lập là gauss, mô hình ICA chỉ