TÌM HIỂU VỀ CÁC KỸ THUẬT TÍNH TOÁN MỀM
Các kỹ thuật tính toán mềm ứng dụng trong đề tài
Trong nghiên cứu này, chúng tôi tập trung vào ba nhóm kỹ thuật chính Nhóm đầu tiên bao gồm các phương pháp trích chọn không gian biểu diễn mẫu như Phân tích thành phần chính (PCA), Phân tích thành phần độc lập (ICA) và Phân tích tách lớp tuyến tính (LDA) Nhóm thứ hai là các kỹ thuật phân lớp mẫu phổ cập, bao gồm Phân lớp tuyến tính (Ada-Boost), phân lớp bằng mạng Nơron nhân tạo (ANN) và phân lớp Suport Vector Machine (SVM) Cuối cùng, nhóm ba bao gồm các kỹ thuật tính toán gần đúng hỗ trợ cho bài toán nhận dạng mẫu, bao gồm Số mờ (Fuzzy) và Thuật giải di truyền (GA).
Các kỹ thuật trích chọn không gian biểu diễn mẫu
1.2.1 Phương pháp phân tích thành phần chính :
Quá trình rút trích đặc trưng được thực hiện qua các phương pháp truyền thống như chia ô lưới, phân tích thành phần chính (PCA) và phân tích đặc trưng hình học, nhằm xác định các thành phần quan trọng của khuôn mặt như mắt, mũi, và miệng Trong số các phương pháp này, PCA là phương pháp phổ biến nhất.
PCA (Principal Componens Analysis) [4][5][6] còn được gọi là Karhunen-Loeve Transform (KLT) hay Hotelling transform PCA tìm phép biến đổi tuyến tính để:
Giảm số chiều của không gian đặc trưng nhưng vẫn giữ được các đặc trưng chính
Cực tiểu hóa việc mất mát thông tin
Phương pháp PCA chiếu dữ liệu theo chiều biến đổi nhiều nhất
Hình 1-1 Hướng của vector riêng
Ví dụ của phương pháp PCA: Rút trích đặc trưng cho tập mẫu khuôn mặt
Các tác giả đã giới thiệu một phương pháp rút trích đặc trưng ảnh mặt người bằng cách kết hợp các đặc trưng hình học và phân tích thành phần chính (PCA) Ý tưởng cốt lõi của phương pháp này là tối ưu hóa việc nhận diện và phân tích khuôn mặt thông qua sự kết hợp hiệu quả giữa các đặc trưng hình học và PCA.
Khuôn mặt sau khi chuẩn hoá sẽ được biểu diễn bằng vector có kích thước 30x30:
Sau đó vector x sẽ được ánh xạ vào trong không gian đặc trưng của khuôn mặt Vector biểu diễn trong không gian đặc trưng của khuôn mặt:
K: số chiều trong không gian đặc trưng
Vector trên được gọi là vector toàn cục của khuôn mặt
Quá trình rút trích đặc trưng cho tập mẫu học bao gồm hai bước quan trọng: đầu tiên là phân tích các thành phần chính của tập mẫu, sau đó là ánh xạ tập mẫu vào miền không gian đặc trưng.
Các bước PCA rút trích đặc trưng cho tập mẫu khuôn mặt:
Tính vector trung bình của tập mẫu M có kích thước 900 (30 x 30)
Tính ma trận hiệp phương sai C (900 x 900)
Tính các giá trị riêng (eigenvalue) và vector riêng (eigenvector) tương ứng của ma trận hiệp phương sai C
Chọn K vector riêng tương ứng với K giá trị riêng tương ứng lớn nhất
Xây dựng ma trận U mà mỗi cột là một vector đặc trưng 900 chiều Vậy kích thước của ma trận U là 900 x K
Ánh xạ toàn bộ tập mẫu khuôn mặt vào miền không gian đặc trưng (K chiều)
Qua quá trình thực nghiệm, chọn giá trị K = 100 cho tất cả các bộ dữ liệu thử nghiệm vì nó đáp ứng được yêu cầu nhận dạng
Phương pháp PCA có những khuyết điểm nhất định, chủ yếu là mục tiêu của nó là tìm ra một tập ảnh cơ sở tốt hơn, trong đó các ảnh không có sự tương quan Để đạt được điều này, PCA sử dụng thống kê bậc hai thông qua ma trận hiệp phương sai Tuy nhiên, điều này dẫn đến việc các sự phụ thuộc thống kê bậc cao vẫn tồn tại trong quá trình phân tích PCA.
Trong nhận dạng khuôn mặt, thông tin quan trọng thường nằm trong mối quan hệ thống kê phức tạp giữa các pixel, vượt ra ngoài các thống kê bậc hai như PCA Do đó, cần thiết phải phát triển một phương pháp tổng quát hơn so với PCA để khai thác triệt để các thông tin này.
1.2.2 Phương pháp phân tích thành phần độc lập:
Với các khuyết điểm của PCA ta cần tìm một phương pháp tổng quát hơn PCA, đó chính là ICA (Independent Component Analysis) [2][10][13][14]
ICA đã được áp dụng thành công trong bài toán tách nguồn mù (cocktail party problem), tách tín hiệu điện não đồ (Electroencephalo gram – EEG)
PCA có thể coi là một trường hợp đặc biệt của ICA khi các nguồn có phân phối Gauss, nhưng không thể xác định ma trận trộn trong tình huống này Tuy nhiên, PCA không hiệu quả khi các nguồn có phân phối phi Gauss Nghiên cứu cho thấy nhiều tín hiệu tự nhiên như âm thanh, ảnh tự nhiên và EEG thường là sự kết hợp tuyến tính của các nguồn có phân phối siêu Gauss (kurtosis dương) Do đó, ICA được xem là phương pháp ưu việt hơn PCA trong những trường hợp này.
Cung cấp một mô hình xác suất tốt hơn của dữ liệu
Nó xác định duy nhất ma trận trộn
Nó tìm thấy một cơ sở không cần thiết trực giao mà có thể xây dựng lại dữ liệu tốt hơn PCA
Nó áp dụng các thống kê bậc cao trong dữ liệu không chỉ là ma trận hiệp phương sai như PCA
ICA tốt hơn PCA trong môi trường nhiễu chẳng hạn như độ sáng biến đổi, các biến đổi cảm xúc trên khuôn mặt, trang điểm trên khuôn mặt
Hình 1-2 chỉ ra các mẫu trong một không gian ba chiều, được xây dựng bởi sự kết hợp tuyến tính của hai nguồn có phân phối siêu Gauss
Các vector cơ sở trong PCA và ICA được xác định khác nhau; trong khi PCA sử dụng các vector trực giao, ICA có ba vector không trực giao, dẫn đến sự thay đổi khoảng cách giữa các điểm dữ liệu Điều này có ý nghĩa quan trọng trong các thuật toán phân lớp, như thuật toán người láng giềng gần nhất, nơi mà quyết định phân loại dựa vào khoảng cách giữa các điểm dữ liệu.
Hình 1-2 Sự phân phối dữ liệu, và các trục tương ứng của PCA & ICA
Mỗi trục trong ma trận nghịch đảo W -1 được xác định bởi PCA và ICA đại diện cho một cột của ma trận này Trong khi các trục của PCA là trực giao, các trục của ICA không có tính chất này, dẫn đến sự thay đổi khoảng cách giữa các điểm dữ liệu khi chúng được chiếu xuống không gian mới.
Có hai kiến trúc để áp dụng ICA rút trích đặc trưng trong ảnh
Hàng giữa trong hình 1-3 trình bày 8 ảnh cơ sở được tạo ra từ kiến trúc 1, xác định không gian khuôn mặt khác biệt so với PCA (hàng trên) và ICA kiến trúc 2 (hàng cuối) Barlett [10][13] đã đầu tiên áp dụng PCA để giảm chiều dữ liệu xuống không gian con m chiều, nhằm kiểm soát số thành phần độc lập do ICA xác định Một trong các thuật toán ICA được sử dụng để tối thiểu hóa sự phụ thuộc thống kê giữa các ảnh cơ sở kết quả, cho phép PCA loại bỏ sự tương quan trong dữ liệu đầu vào, trong khi ICA tách biệt các sự phụ thuộc bậc cao còn lại.
Hình 1-3 Vector đặc trƣng cho mỗi kĩ thuật
Hàng đầu chứa 8 vector riêng với 8 trị riêng lớn nhất trong PCA
Hàng 2 chứa các vectơ đặc trưng trong ICA với kiến trúc I
Hàng 3 chỉ ra 8 vector đặc trưng trong ICA với kiến trúc 2
Áp dụng ICA (Independent Component Analysis) trong việc rút trích đặc trưng từ ảnh, chúng ta định nghĩa ma trận dữ liệu X với nr hàng và nc cột Các cột của ma trận này sẽ được xem xét để phân tích và trích xuất thông tin cần thiết.
X đại diện cho các kết quả quan sát từ các thử nghiệm độc lập trong các thực nghiệm ngẫu nhiên Hàng thứ i của X được coi là các giá trị quan sát được của biến ngẫu nhiên.
Xi được thông qua trong lần thử nghiệm độc lập Xác suất phân phối của các biến X1, …, Xnr trong mỗi cột của X là 1/nc Hai hàng i và j của X được coi là độc lập khi không thể dự đoán giá trị của Xj dựa trên các cột tương ứng với giá trị của Xi.
Mục tiêu của chúng tôi là xác định một tập ảnh cơ sở chất lượng để đại diện cho tập ảnh khuôn mặt Mỗi ảnh trong cơ sở dữ liệu được sắp xếp thành một vectơ với số chiều tương ứng với số pixel của ảnh Chúng tôi áp dụng hai phương pháp tiếp cận khác nhau để thực hiện điều này.
Chúng ta tổ chức ma trận dữ liệu X, trong đó mỗi hàng đại diện cho một ảnh khác nhau Trong cách tiếp cận này, các ảnh được coi là các biến ngẫu nhiên và các pixel là các quan sát, tạo ra cảm giác về sự độc lập giữa các ảnh Hai ảnh i và j được xem là độc lập nếu không thể dự đoán giá trị pixel trên ảnh j dựa vào giá trị pixel tương ứng trên ảnh i.
Hình 1-4 Minh họa kiến trúc 1 trong mô hình ICA
Kiến trúc 2 tổ chức các ảnh thành các cột trong ma trận dữ liệu X, trong đó các pixel được coi là các biến ngẫu nhiên Số lượng pixel của mỗi ảnh tương ứng với số micro và số thành phần độc lập, trong khi các ảnh là các quan sát Cách sắp xếp này nhấn mạnh tính độc lập của các pixel; ví dụ, pixel i và j được xem là độc lập nếu không thể dự đoán giá trị của pixel i từ giá trị của pixel j trên cùng một ảnh.
Hình 1-5 Minh họa kiến trúc 2 trong mô hình ICA
Minh họa ICA cho kiến trúc 2:
Hình 1-6 Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA
Hình 1-7 Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA trên pixel
Các kỹ thuật phân lớp mẫu phổ cập
Kỹ thuật Boosting là phương pháp nâng cao độ chính xác cho các thuật toán học máy bằng cách kết hợp nhiều bộ phân loại yếu thành một bộ phân loại mạnh Các bộ phân loại yếu là những mô hình đơn giản có độ chính xác trên 50% Khi áp dụng kỹ thuật này, bộ phân loại sẽ được cải thiện đáng kể, tạo ra một hệ thống phân loại hiệu quả hơn.
Xét 1 bài toán phân loại 2 lớp (mẫu cần nhận dạng được phân vào 1 trong 2 lớp) với D là tập huấn luyện gồm có n mẫu Trước tiên, chúng ta sẽ chọn ngẫu nhiên n 1 mẫu từ tập D (n 1
