về hướng các cột của m trận trộn lẫn A, đó là lí do tại sao ma trận trộn lẫn không thể xấp xỉ được.
A.4.7. Các nguyên tắc chính của ước lượng ICA: A.4.7.1 Phi Gauss là độc lập:
Như đã nói ở trên, chìa khóa để ước lượng mô hình ICA là tính phi Gauss [10], theo định lý giới hạn trung tâm – một kết quả kinh điển trong lý thuyết xác suất
cho biết phân bố của một tổng các biến ngẫu nhiễn độc lập có khuynh hướng tiến tới phân bố Gauss dưới một số điều kiện nào đó, do đó tổng của hai biến ngẫu nhiên độc lập thường có phân bố gần phân bố Gauss hơn hai biến ngẫu nhiên thành phần.
Bây giờ ta giả sử rằng véctơ dữ liệu x được phân bố theo mô hình dữ liệu ICA như trong phương trình (A.4.3_2), nghĩa là nó là một hỗn hợp của các thành phần độc lập, để đơn giản ta giả sử rằng tất cả các thành phần độc lập có cùng phân phối, để ước lượng một thành phần độc lập ta xét một tổ hợp tuyến tính của xi, đặt
với w là một véc tơ đã được xác định, nếu wT là một trong các hàng của ma trận ngịch đảo của A thì tổ hợp tuyến tính này sẽ bằng một trong các thành phần độc lập. Câu hỏi đặt ra bây giờ là ta phải áp dụng định lý giới hạn trung tâm như thế nào để xác định wT
sao cho nó là một hàng của ma trận nghịch đảo của A (hay đi tìm w), thực tế chúng ta không thể xác định w một cách chính xác vì chúng ta không biết ma trận A, nhưng chúng ta có thể tìm ước lượng của A.
Đặt z = ATw, ta có y = wTx = wTAs = zTs (vì (AB)T = BTAT)
Do đó y là một tổ hợp tuyến tính của các si với các trọng số là zi. Vì tổng của hai biến ngẫu nhiên độc lập có phân phối Gauss hơn các biến thành phần, zTs thì có phân phối Gauss hơn mọi si , và trở thành ít gauss nhất khi nó bằng chính một trong các si, trong trường hợp đó, rõ ràng chỉ có một trong các thành phần zi của z là khác không.
Vì vậy chúng ta có thể chọn w như một véc tơ để cực đại tính phi Gauss của wTx, như thế một véc tơ sẽ tương ứng với z mà chỉ có một thành phần khác không, điều đó có nghĩa là wTx = zTs bằng một trong các thành phần độc lập. Cực đại tính phi Gauss của wTx cho ta một trong các thành phần độc lập.
A.4.7.2 Các độ đo tính phi Gauss:
Để sử dụng tính phi gauss trong ước lượng ICA, chúng ta cần phải có một độ đo tính phi gauss của biến ngẫu nhiên y, để đơn giản giả sử rằng y có trung bình không và có phương sai đơn vị.
A.4.7.2.1 Kurtosis:
Phép đo cổ điển của tính phi Gauss là kurtosis hay tích lũy bậc bốn, kurtosis của y được định nghĩa:
Kurt(y) = E{y4} – 3(E{y2})2
Vì ta giả sử y có phương sai đơn vị và trung bình không nên vế phải trở thành E{y4}-3. Điều này cho thấy kurtosis là một phiên bản của moment bậc bốn E{y4.
Với một biến gauss y, moment bậc bốn bằng 3(E{y2})2, vì vậy kurtosis của một biến ngẫu nhiên gauss thì bằng 0. Phần lớn với các biến ngẫu nhiên phi gauss kurtosis khác không.
Kurtosis có thể âm hoặc dương, với các biến ngẫu nhiên có kurtosis âm được gọi là dưới gauss (subgaussian), và có kurtosis dương đươc gọi là siêu gauss (supergaussian). Phân bố siêu Gauss không còn dạng hình chuông như Gauss mà tăng nhanh ở trung tâm tương tự như phân bố Laplace (Hình A.4.7.2.1 - 1), còn phân bố dưới Gauss không nhô lên ở phần giữa như phân bố Gauss mà tiến đến phân bố đều và rất nhỏ ở các giá trị xa trung tâm.
Phân bố Laplace: exp( 2| |)
2 1 )
(y y
p =
Hình A.4.7.2.1 - 1: Hàm mật độ của phân phối Laplace, một điển hình của phân phối siêu Gauss, so với phân phối Gauss ở đường gạch nét, cả hai mật độ được chuẩn hóa phương sai đơn vị.