Bƣớc 1: Vector hóa tập mẫu.
Đây là bước biểu diễn ảnh đen vào máy tính, dữ liệu ảnh biểu diễn là cường độ sáng của điểm ảnh tại vị trí x và y gọi là (I(x,y)).
Kích thước ảnh đầu vào (pixels).
Cách tổ chức dữ liệu: Biểu diễn ma trận ảnh 2 chiều dưới dạng mảng vector một chiều trong máy tính bằng cách: đọc từng dòng từ trên xuống, mỗi dòng bố trí liên tục nhau trên một mảng số thực một chiều. Như vậy ảnh có kích thước pixels ta biểu diễn thành vector mảng 1 chiều
.
Bƣớc 2: Rút trích đặc trưng của ảnh đen
Giai đoạn rút trích đặc trưng của ảnh đen bao gồm các bước chính đó là thực hiện phép phân tích thành phần chính, ánh xạ tập mẫu vào không gian đặc trưng và chuẩn hóa không gian mẫu.
Trong tất cả các hệ nhận dạng mà đặc biệt là các hệ nhận dạng tự động nói riêng, mức độ thành công không những phụ thuộc vào các thuật toán nhận dạng tốt mà còn phụ thuộc rất nhiều vào tập mẫu dữ liệu huấn luyện. Nhiều tập mẫu huấn luyện nhập nhằng do điều kiện thời tiết lúc chụp, môi trường, độ sáng, khoảng cách cự ly lấy mẫu hay chính tại chất lượng của thiết bị thu hình. Để tiền xử lý cũng như thực hiện rút trích các đặc trưng để thực hiện
việc huấn luyện cũng như xử lý cần đến một kỹ thuật rút trích đặc trưng tự động (như kỹ thuật PCA, Wavelet Haar, Gabor,..).
Để áp dụng cho huấn luyện trong hệ thống phát hiện ảnh đen sử dụng SVM, trước hết sử dụng kỹ thuật rút trích để rút ra các eigenvector (vector đặc trưng) hay các eigenimage (ảnh đặc trưng) của các ảnh đen huấn luyện. Sau đó ánh xạ các thành phần này vào không gian đặc trưng sẽ hình thành không gian mẫu mới hay còn gọi là không gian mẫu đặc trưng.
Qua phép phân tích thành phần chính, số chiều của tập mẫu học sẽ được giảm xuống, và đây là thành phần chính quan trọng nhất của mẫu học, chính các thành phần này tạo ra sự khác biệt cho các vector mẫu trong tập mẫu ban đầu.
Bƣớc 3:Tạo bộ phân loại nhị phân
Chúng ta cần phải nhấn mạnh rằng SVM là một bộ phân loại nhị phân và có khả năng phân loại tốt với tính tổng quát cao từ tập mẫu dữ liệu được tổ chức thành hai lớp. Vì lẽ đó SVM được sử dụng rất tốt trong việc xử lý liên quan đến ảnh đen đó là dò tìm bộ phận đen trên ảnh (hay phát hiện ảnh đen) mà trong đó chỉ có duy nhất hai lớp: Lớp thuộc về ảnh đen và lớp không phải là ảnh đen.
Để huấn luyện hệ thống SVM cho ứng dụng phát hiện ảnh đen đơn giản là tạo bộ phân loại nhị phân từ tập mẫu. Tập mẫu phân loại cần cho mục đích phát hiện ảnh đen sẽ được biểu diễn trong máy tính và chúng ta thực hiện gán nhãn theo hai lớp (ảnh đen và không phải đen).
Các bước huấn luyện: Tập huấn luyện có dạng:
là mẫu thứ i trong tập học d
là nhãn được gán cho mẫu i ( .
Gọi là tham số tương ứng với trong tập học. Xây dựng phương trình siêu mặt .
Trong đó: (suy từ 2.10)
Sao cho thỏa bất đẳng thức:
Nhưng để tính được w, b thì ta phải tính được tham số đặc trưng cho mẫu ảnh đen từ tập dữ liệu học ( > 0).
Huấn luyện một bộ phân loại nhị phân với phương pháp SVM từ tập mẫu cho mục đích phân biệt ảnh đen và không phải ảnh đen theo 3 bước sau:
Bƣớc 1: Giai đoạn tìm các vector hỗ trợ (Support Vector) hay
còn đƣợc gọi là đi xác định tham số .
Theo lý thuyết tổng quát về SVM, cấp độ và mức độ phức tạp của SVM khác nhau tùy thuộc vào mức độ phức tạp khác nhau của tập dữ liệu học.
Trong trường hợp tập mẫu phân loại có kiểu phân bố như vậy thì phương pháp tính các vector hỗ trợ bằng cách sử dụng công thức như sau:
.
Ràng buộc này được chuyển sang giải quyết bài toán phương trình Lagrangian theo công thức:
Để cực đại bờ phân tách cùng với các vector hỗ trợ
tìm được thì phương trình Lp phải cực tiểu theo w,b và Lp
đạo hàm bậc 1 là một phương trình theo .
Ta có được: (*)
Theo tính chất hai mặt của phương trình Lagrangian thì tính cực tiểu Lp khó và theo công thức (2.10) thay vào đó ta sẽ tính cực đại theo dạng đối ngẫu LD :
nên LD là đạo hàm triệt tiêu theo .
Vì LD là một phương trình đa biến, để tính được LD‟ bằng cách lấy đạo hàm riêng từng phần trên từng biến . (**)
Kết hợp (*) và (**) ta sẽ dễ dàng tính được tham số .
Các vector hỗ trợ được chọn tương ứng với mẫu nào thỏa mãn
Nhưng trong nhiều trường hợp khác ta lại sử dụng bộ phân loại nhị phân phi tuyến để xây dựng siêu mặt phân lớp đó là khi dữ liệu mẫu quá phức tạp, vì thế chúng ta sử dụng một số loại hàm phi tuyến (phổ biến là 1 số hàm bậc 2, bậc 3 hay bậc 4) bởi vì chính các siêu mặt đa thức mới đủ khả năng len lỏi vào từng mẫu để tìm ra các đặc trưng cần thiết để phân lớp theo mong đợi.
Trong trường hợp tập mẫu cần phân loại có kiểu phân bố như dạng trong hình 2.7 trên thì phương pháp tính các vector hỗ trợ bằng cách sử dụng công thức sau:
Đối với dữ liệu phân bố như trong trường hợp trên, chúng ta định nghĩa thêm một biến mới là
Ràng buộc này được chuyển qua giải quyết phương trình Lagrange theo công thức :
Như vậy, nếu một mẫu ảnh đen bị phân loại lỗi thì , nên ta có thể xem như là đường biên hay còn gọi là chặn trên của lỗi trên tập mẫu huấn luyện, như vậy chúng ta có thể xác định được chi phí tạo thêm lỗi nhằm đưa hàm mục đích cực tiểu dạng sang tính cực tiểu ở dạng , và C do người dùng chọn C càng lớn thì tỉ lệ phân loại lỗi trên tập huấn luyện càng thấp.
Dựa vào biến mà ta có thể kiểm soát được mẫu ảnh đen nào bị phân loại lỗi xảy ra trong lúc huấn luyện bộ phân loại nhị phân bằng tuyến tính
- Để khắc phục được lỗi này, chúng ta có thể gắn khi xử lý SVM với hàm xử lý tuyến tính. Nhất thiết phải xử lý SVM với hàm xử lý phi tuyến.
ta đặt là hàm ánh xạ phi tuyến nhằm mục đích ánh xạ xi vào không gian đặc trưng H:
- Ràng buộc trên phương trình Lagrange:
Để cực đại bờ phân tách cùng với các vector hỗ trợ tìm được thì phương trình Lp phải cực tiểu theo w,b và đạo hàm bậc 1 là một phương trình theo ( .
và (***)
Việc tính toán cũng giống như trường hợp xử lý tuyến tính, theo tính chất hai mặt của phương trình Lagrange thì tính cực tiểu khó và thay vào đó ta sẽ tính cực đại theo dạng đối ngẫu :
Nên là đạo hàm triệt tiêu theo . (****)
Kết hợp (***) và (****) ta sẽ tính được tương ứng cho mẫu i.
Bƣớc 2: Xây dựng siêu mặt phân loại dựa trên các mẫu gọi là
Sau khi tìm được số vector hỗ trợ cần thiết cho bộ phân loại nhị phân trong cả trường hợp hàm xử lý chính là dạng tuyến tính hay dạng đa thức bậc cao. Bây giờ chúng ta sẽ khảo sát cách xây dựng siêu mặt phân loại tập dữ liệu nhị phân từ các vector hỗ trợ mà hệ thống đã tìm được đó chính là các mẫu huấn luyện trong tập học với tham số .
Đối với trường hợp SVM sử dụng hàm xử lý tuyến tính:
Đây chính là phương trình siêu mặt mà chúng ta cần phải xây dựng từ SVM sử dụng hàm xử lý chính dạng tuyến tính. Đối với trường hợp SVM sử dụng hàm phi tuyến thì
phải có cơ chế chuyển tập dữ liệu phân phối phi tuyến sang dạng phân phối tuyến tính trong không gian đặc trưng có số chiều cao H bằng một phép ánh xạ φ. Khi đó w sẽ được tính có dạng sau đây:
Bƣớc 3: Xác định ngƣỡng b
Khi ta đã xác định được giá trị trọng số w tối ưu cho siêu mặt phân loại nhị phân dựa trên các mẫu ảnh đen được gọi là các vector hỗ trợ thì hoàn toàn có thể tính được ngưỡng b :
Đối với SVM tuyến tính:
o Sau khi đã thỏa các ràng buộc tối ưu theo công thức (2.14) điều kiện KKT ta có
o Chọn một điểm mẫu bất kì để thay vào công thức trên là có thể tính được b
Đối với SVM phi tuyến
o Theo công thức (2.15) của điều kiện KKT ta có:
o Chọn một điểm mẫu bất kì để thay vào công thức ta có thể tính được b