Nguyên lý ước lượng trong ICA

ICA thực hiện ước lượng tín hiệu bằng cách tìm ma trận giải trộn W=A⁻¹ sao cho các tín hiệu được ước lượng càng độc lập thống kê càng tốt, do đó cần có phép đo để đánh giá tính độc lập của tín hiệu ước lượng. Mỗi phép đo thể hiện một cách tiếp cận giải quyết bài toán ICA. Có 3 hướng tiếp cận phổ biến là cực đại tính phi Gaussian, ước lượng khả năng cực đại và tối thiểu thông tin tương hỗ.

3.2.1.1 Cực đại tính tính phi Gaussian

Đây là nguyên lý đơn giản nhất trong giải quyết bài toán ICA dựa trên đặc tính phân bố của tín hiệu độc lập. Theo định lý giới hạn trung tâm (CLT) trong lý thuyết xác suất, tổng của các tín hiệu độc lập sẽ có phân bố gần với phân bố Gaussian hơn tổng của các tính hiệu không độc lập. Dựa và lý định lý trên, ta xét một tín hiệu ước lượng ở Công thức (3.4) được viết lại như sau:

1 1

T

y =w x (3.5)

Tín hiệu y₁ là tổng của các tín hiệu x nên có phân bố tiến đến phân bố Gaussian. Tín hiệu y₁ chính là tín hiệu ước lượng của một tín hiệu gốc s nào đó nếu

1

T

w x chỉ là tổng của 1 tín hiệu, hay ₁T

w x có phân bố khác Gaussian (phi Gaussian) nhất và khi đó y₁ là tín hiệu cần tìm.

3.2.1.2 Ước lượng khả năng cực đại (MLE)

Ước lượng khả năng cực đại là một công cụ thống kê ứng dụng phổ biến trong việc tìm các thông số sao cho có thể biến đổi phân bố của một tín hiệu về gần nhất một phân bố cho trước. Trong bài toán ICA nếu máy thu biết trước dạng phân bố pdf của tín hiệu gốc, MLE thực hiện tìm ma trận W sao cho tín hiệu ước lượng

nguyên lý ước lượng khả năng cực đại là bộ ước lượng biết trước pdf của tín hiệu gốc. Khi đó, hàm khả năng cực đại L(W) của W là:

( ) ( )

L W = p Wx W (3.6)

Ma trận W cần tìm là ma trận làm cực đại hàm L(W), có thể được tìm bởi phương pháp tính gradient cho Công thức (3.6) [22].

3.2.1.3 Tối thiểu thông tin tương hỗ

Đây là phép đo tính độc lập của các tín hiệu dựa vào lý thuyết thông tin. Thông tin tương hỗ dựa trên đại lượng entropy của tín hiệu. Entropy của một biến ngẫu nhiên x là tính không xác định hay tính không chắc chắn (uncertainly) của nó và được cho bởi:

( )

( )

(

( ))

H x E p τ p τ dτ

∞ −∞

= −

∫

Một biến có tính ngẫu nhiên càng lớn hay tính không xác định càng cao thì có entropy càng lớn. Entropy của biến ngẫu nhiên có phân bố Gaussian là lớn nhất so với các kiểu phân bố khác có cùng trị trung bình và phương sai. Từ lý thuyết entropy, ta định nghĩa thông tin tương hỗ giữa 2 biến ngẫu nhiên x và y là hiệu số entropy:

(

) ( ) (

) ( ) (

)

I x y =H x −H x y =H y −H y x (3.8) trong đó H

(α β

)