3. Ý nghĩa khoa học và thực tiễn của đề tài
2.6. Phương pháp phân lớp SVM
SVM (Support Vector Machine) là một khái niệm trong thống kê và khoa học máy tính cho một tập hợp các phương pháp học có giám sát liên quan đến nhau để phân loại và phân tích hồi quy.
SVM là một thuật toán phân loại nhị phân, SVM nhận dữ liệu vào và phân loại chúng vào hai lớp khác nhau. Với một bộ các ví dụ luyện tập thuộc hai thể loại cho trước, thuật toán luyện tập SVM xây dựng một mô hình SVM để phân loại các ví dụ khác vào hai thể loại đó.
Hàm mục tiêu của một máy phân lớp SVM nhị phân có thể được phát biểu như sau: [15]
𝑔(𝑥) = 𝑤. 𝛷(𝑥) + 𝑏 (4)
Trong đó, véc tơ đầu vào 𝑥 ∈ 𝑅𝐷 , w là véc tơ chuẩn của siêu phẳng phân cách trong không gian đặc trưng được sinh ra từ ánh xạ Φ(x): 𝑅𝐷 – 𝑅𝐹 (F > D, Φ(x) có thể tuyến tính hoặc phi tuyến) và b là độ lệch so với gốc tọa độ. Ban đầu, SVM được thiết kế cho bài toán phân lớp nhị phân, do đó dấu của g(x) cho biết véc tơ x thuộc lớp +1 hay lớp -1.
Cho tập mẫu {(𝑥1, 𝑦1,),...,( 𝑥𝑁,, 𝑦𝑁,)} trong đó xi∈𝑅𝐷 và yi∈{±1}, mục tiêu của phương pháp phân lớp SVM là tìm một siêu phẳng phân cách sao cho khoảng cách lề (margin) giữa hai lớp đạt cực đại (Hình 2.16).
Khoảng cách lề giữa hai lớp là 2
𝑊.𝑊 = 2
‖𝑤‖2 Để nới lỏng điều kiện phân lớp, thêm vào một số yếu tố cân bằng và việc huấn luyện SVM chính là giải bài toán tối ưu có ràng buộc: min 𝑤,𝑏 1 2𝑤. 𝑤 + 𝐶 ∑𝑁𝑖=1𝜉𝑖 (5) Sao cho 𝑦𝑖(𝑤. 𝛷(𝑥𝑖) + 𝑏) ≥ 1 − 𝜉𝑖
𝜉𝑖 ≥ 0, ∀i, trong đó C là tham số nới lỏng điều kiện phân lớp [15]
Thay vì giải bài toán (5), ta giải bài toán đối ngẫu của nó bằng cách giải bài toán qui hoạch toàn phương (QP-Quadratic programming):
max ( 𝛼
𝛼1−1
2𝛼𝑇𝐻𝛼) (6) thỏa mãn: 0 ≤ 𝛼 ≤ 𝐶, ∀𝑖 và ∑𝑁𝑖=1𝛼𝑖𝑦𝑖 = 0
trong đó 𝛼 = [𝛼1, . . . , 𝛼𝑁] 𝑇và H là ma trận kích thước N×N được gọi là ma trận nhân (kernel matrix) với mỗi phần tử 𝐻(𝑖, 𝑗) = 𝑦𝑖𝑦𝑗𝛷(𝑥𝑖). 𝛷(𝑥𝑗).
Giải bài toán QP (6) ta thu được:
𝑤 = ∑𝑁𝑖=1𝛼𝑖𝑦𝑖𝛷(𝑥𝑖) (7)
Mỗi mẫu huấn luyện xi tương ứng với một hệ số Lagrange 𝛼𝑖. Sau khi huấn luyện, các mẫu có 𝛼𝑖>0 được gọi là véc tơ hỗ trợ.
Thế (7) vào (4), ta có :
𝑔(𝑥) = ∑𝑁 𝛼𝑖𝑦𝑖𝛷(𝑥𝑖)
𝑖=1 . 𝛷(𝑥) + 𝑏 (8)
Giả sử 𝛷(𝑥𝑖). 𝛷(𝑥𝑗) = 𝐾(𝑥𝑖, 𝑥𝑗). Nghĩa là, tích vô hướng trong không gian đặc trưng tương đương với một hàm nhân K của không gian đầu vào. Vì vậy, ta không cần phải tính trực tiếp các giá trị Φ(𝑥𝑖), Φ(𝑥𝑗) mà chỉ cần tính tích vô hướng <Φ(𝑥𝑖).Φ(𝑥𝑗)> gián tiếp thông qua hàm nhân K(𝑥𝑖, 𝑥𝑗). Nếu sử dụng hàm nhân là hàm tuyến tính thì SVM được gọi là SVM tuyến tính, ngược lại thì gọi là SVM phi tuyến. Như vậy, hàm mục tiêu cho bài toán phân lớp SVM nhị phân có dạng:
Chỉ có các véc tơ hỗ trợ tham gia vào việc xây dựng siêu phẳng phân cách, do đó một mẫu x sẽ được phân lớp theo hàm quyết định:
𝑓(𝑥) = 𝑠𝑔𝑛(∑𝑁𝑆𝑉𝛼𝑖𝑦𝑖𝐾
𝑖=1 (𝑥𝑖, 𝑥) + 𝑏) (10)
Trong đó, NSV là số véc tơ hỗ trợ.
Các bước để phát hiện mặt người với đăc trưng HOG
1. Chuẩn bị P mẫu là ảnh mặt người và trích xuất các vector đặc trưng HOG từ các bức ảnh này
2. Chuẩn bị N mẫu là ảnh không phải là ảnh mặt người (N rất lớn so với P) và trích xuất các vector HOG từ các bức ảnh này
3. Sử dụng bộ phân loại SVM tuyến tính để học với các vector của các mẫu đúng (Positive) và mẫu sai (Negative) đã chuẩn bị
4. Đối với mỗi bức ảnh trong bộ ảnh mẫu đúng, sử dụng một cửa sổ trượt di chuyển qua tất cả các vị trí có thể của ảnh input. Tại mỗi vị trí của cửa sổ trượt tính vector HOG của cửa sổ và đưa vào bộ phân lớp. Nếu bộ phân lớp phân lớp sai một cửa sổ là ảnh mặt thì ghi lại vector tương ứng cùng với xác xuất phân lớp
5. Lấy các mẫu nhận dạng sai ở bước 4 xắp sếp chúng theo mức nhận dạng sai và cho bộ phân lớp học lại sử dụng các mẫu sai này
6. Áp dụng bộ phân lớp đã được học lại với các ảnh cần phát hiện mặt người
Tổng kết chương 2
Trong chương này, chúng tôi đã trình bày đặc trưng HOG, phương pháp phát hiện mặt người sử dụng đặc trưng HOG, các bước rút trích đặc trưng HOG trong ảnh, chuẩn hóa vector đặc trưng cho từng block, tích phân ảnh Integral Image, chuẩn hóa ánh sáng với bộ lọc Retinal filter, phương pháp phân lớp SVM trong việc kết hợp với HOG phát hiện mặt người.
Chương 3, luận văn sẽ trình bày xây dựng chương trình, môi trường thử nghiệm, dữ liệu thử nghiệm, kết quả thử nghiệm và đánh giá kết quả. Giao diện và hoạt động của chương trình.
CHƯƠNG 3. XÂY DỰNG CHƯƠNG TRÌNH, THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ