S là các nguồn độc lập chưa biết. Ma trận A xem như là tập ảnh cơ sở. Mỗi ảnh trong tập dữ liệu X được xem như là tổ hợp tuyến tính của tập ảnh cơ sở trong ma trận A. Tập
ảnh cơ sở được kết hợp với một tập các nguồn độc lập S. A = WI-1 với WI được ước lượng thông qua ICA.
U chứa các hệ số độc lập cho sự kết hợp tuyến tính của các ảnh cơ sở trong A để cấu thành nên mỗi ảnh trong X
A.4.11 Các so sánh về mặt lý thuyết giữa ICA và PCA [18]: A.4.11.1 So sánh PCA và ICA:
- Cái đích của PCA là tìm một tập ảnh cơ sở tốt hơn, để trong tập ảnh cơ sở mới này sự phối hợp các ảnh là không tương quan (các thành phần chính là không tương quan), và để tìm tập dữ liệu mới không tương quan, PCA đã sử dụng thống kê bậc hai (ma trận hiệp phương sai). Vì vậy các sự phụ thuộc thống kê bậc cao vẫn còn tồn tại trong phép phân tích PCA.
Trong các công việc như nhận dạng mặt người, nhiều thông tin quan trọng có thể được chứa trong mối quan hệ thống kê bậc cao giữa các pixel của ảnh, không chỉ là thống kê bậc hai, như PCA. Vì vậy chúng ta cần tìm một phương pháp tống quát hơn PCA, ICA (independent component analysis) là một phương pháp.
- ICA đã được áp dụng thành công trong bài toán tách nguồn mù (cock tail party problem), tách tín hiệu điện não đồ (Electroencephalo gram – EEG).
- PCA có thể được xem như một trường hợp đặc biệt của ICA khi các nguồn có phân phối Gauss, trong trường hợp này thì ma trận trộn không xác định được ( đã trình bày trong định nghĩa ICA).
Phương pháp PCA chưa phải là một phương pháp tốt trong trường hợp các nguồn có phân phối phi Gauss. Theo kinh nghiệm quan sát, người ta đã xác định được rằng nhiều tìn hiệu tự nhiên như âm thanh, ảnh tự nhiên, và EEG là sự tổ hợp tuyến tính của các
nguồn với phân phối siêu Gauss (kurtosis dương), trong trường hợp này, ICA là một phương pháp tốt hơn PCA vì:
1. Cung cấp một mô hình xác suất tốt hơn của dữ liệu. 2. Nó xác định duy nhất ma trận trộn.
3. Nó tìm thấy một cơ sở không cần thiết trực giao mà có thể xây dựng lại dữ liệu tốt hơn PCA.
4. Nó áp dụng các thống kê bậc cao trong dữ liệu không chỉ là ma trận hiệp phương sai như PCA.
5. ICA tốt hơn PCA trong môi trường nhiễu chẵng hạn như độ sáng biến đỗi, các biến đổi cảm xúc trên khuôn mặt, trang điểm trên khuôn mặt.
Hình A.4.11.1 - 2 chỉ ra các mẫu trong một không gian ba chiều, được xây dựng bởi sự kết hợp tuyến tính của hai nguồn có phân phối siêu Gauss.
Các vector cơ sở của PCA và ICA cũng được xác định, bởi vì ba vectơ cơ sở của ICA là không trực giao nên chúng sẽ thay đổi khoảng cách giữa các điểm dữ liệu, vì nếu các vecto là trực giao thì khi chiếu dữ liệu xuốn g không gian trực giao mới này thì khoảng cách giữa các điểm dữ liệu không thay đổi (PCA). Điều này có thể hữu dụng cho các thuật toán phân lớp, giống như người láng giềng gần nhất, luật quyết định dựa trên khoảng cách giữa các điểm dữ liệu.
Hình A.4.11.1- 2. Sự phân phối dữ liệu trong không gian 3 chiều và các trục tương ứng của PCA và ICA. Mỗi trục là một cột của ma trận nghịch đảo của ma trận trộn W-1 tìm thấy bới PCA và ICA. Các trục
của PCA trực giao trong khi ICA thì không, do đó khoảng cách các điểm dữ liệu sẽ thay đổi khi chiếu xuống không gian mới này.
A.5 Support vetor Machine (SVM) [1][2][3][24]
Mục đích của các giải thuật SVM là tìm một siêu phẳng (hyperplane) tối ưu, cho phép chia tập các điểm trong không gian n chiều thành 2 phần sao cho các điểm cùng một lớp nằm trong cùng một phần
A.5.1. SVM tuyến tính
Ta bắt đầu với trường hợp đơn giản nhất: máy học được huấn luyện trên bộ dữ liệu có thể phân loại tuyến tính.
Bộ học S = {xi, yi}, i = 1,...,n. Trong đó yi∈{-1,1}, xi ∈ Rn. Mục đích của SVM là tìm ra siêu mặt phân cách thỏa :
wTxi + b ≥ +1 với yi = +1 (1)
wTxi + b ≤ -1 với yi = -1 (2)
Với w ∈ Rn là vector pháp tuyến của siêu mặt phân cách. Kết hợp (1) và (2) thành một bất đẳng thức ràng buộc:
yi(wTxi + b) ≥ 1 , i = 1,2,..,n (3)
Nếu tất cả các thành phần của tập học S thỏa bất phương trình (3) thì ta nói đây là trường hợp phân cách tuyến tính.
Hình A.5.1 - 1 : Siêu mặt phân cách tuyến tính cho trường hợp phân cách được và