CHƢƠNG 1 TỔNG QUAN
2.4 Phương pháp SVM
2.4.1 Trường hợp dữ liệu có thể phân tách được
Ta sẽ bắt đầu bằng bài toán phân lớp nhị phân, dữ liệu dùng chop ha huấn luyện có thể phân tách tuyến tính. Hình 2.10 mơ tả dữ liệu trong khơng gian hai chiều phân tách tuyến tính.
Hình 2.10 Hai cách phân lớp trên một tập dữ liệu
Hình 2.11 Nhiều cách phân lớp khác nhau
Cho tập dữ liệu huấn luyện {xi , yi }, xi ∈ Rd
, i = 1, …, n và yi ∈ {−1, 1}. Giả sử tồn tại một siêu mặt phẳng phân loại các dữ liệu mẫu thành hai loại mẫu dương với mẫu âm. Điểm x (trong không gian d chiều) nằm trên siêu mặt thỏa
w. x + b = 0, trong đó w là pháp tuyến của siêu mặt, |b|/ ||w|| là khoảng cách từ siêu mặt đến gốc toạ độ, và ||w|| là độ lớn (theo khoảng cách Euclide) của w. Đặt (d +) và (d_) là khoảng cách ngắn nhất tương ứng từ siêu mặt phân cách đến điểm mẫu dương và âm gần nhất. Định nghĩa bờ (margin) của siêu mặt phân
cách (kí hiêu r) là (d +) (d_). Rõ ràng với một tập dữ liệu phân tách tuyến tính sẽ tồn tại nhiều siêu mặt thỏa mãn yêu cầu, mục tiêu của thuật tốn SVM sẽ tìm siêu mặt có khoảng cách bờ r là cực đại (hình 2.12).
Hình 2.12 Ví dụ về lề phân cách
Ta có thể mơ hình hóa ý tưởng trên đây bằng tốn học như sau: Giả sử mọi điểm trong tập mẫu thỏa các ràng buộc:
xiw + b ≥ + 1 với yi = + 1 (2.1) xiw + b ≤ - 1 với yi = - 1 (2.2)
Kết hợp hai bất đẳng thức trên thành một bất đẳng thức ràng buộc như sau: yi(xiw + b) – 1 ≥ 0 i (2.3)
Các mẫu dữ liệu thỏa công thức (2.1) nằm trên siêu mặt H1 xiw + b =1 có vector pháp tuyến là w, và khoảng cách đến gốc tọa độ là |1 − b|/||w||. Tương tự, các
mẫu thỏa công thức (2.2) nằm trên siêu mặt H2: xiw + b = - 1, có pháp tuyến là
w là khoảng cách đến gốc tọa độ là |-1 - b|/ ||w|| . Khi đó, d+ = d_ = 1 / ||w|| và
bở r =2 /||w|| . Lưu ý rằng H1 và H2 song song với nhau và khơng có điểm dữ liệu nào nằm giữa chúng. Vì vậy, ta có thể tìm cặp siêu mặt có bờ là cực đại, bằng việc cực tiểu ||w|| với ràng buộc (2.3). Ta mong muốn lời giải cho trường hợp khơng gian hai chiều có dạng như trong hình 2.13. Những điểm huấn luyện thoả phương trình (2.3) (tức những điểm nằm trên một trong hai siêu mặt H1, H2), và việc loại bỏ chúng sẽ làm thay đổi lời giải, được gọi là các vector hỗ trợ, đó là các điểm được bao bằng các hình trịn trong hình 2.13 và kí hiệu các support vector chính là các điểm được bao bằng viền trịn.
Hình 2.13 Siêu mặt phân cách tuyến tính cho trường hợp dữ liệu tuyến tính
Như vậy để tìm siêu phẳng tối ưu tương ứng với việc giải bài toán sau: cực tiểu 2
2 1
w với yiwxi b1
Sử dụng phương pháp Lagrange, bài toán trên chuyển về việc tìm các điểm yên ngựa của hàm sau:
n i i i i y wx b w b w L 1 2 1 . 2 1 , ,
với i là các hệ số Lagrange. Phương trình trên trở thành cực tiểu L(w, b, ) với
i 0 với mọi i.
Lấy vi phân từng phần của L ta có:
M i i i i x y w b w w L 1 0 , , M i i i y b w w L 1 0 , ,
Thay vào cơng thức trên, bài tốn tối ưu chuyển về bài toán cực đại hàm sau:
n i n j i j i j i j i i y y x x W 1 , 1 . 2 1
Bài tốn cực đại hóa hàm mục tiêu trên là giải được theo phương pháp quy hoạch toàn phương phổ biến. Và hàm phân lớp sẽ có dạng sau:
b x x y x f n i i i i 1 0 . sgn
Đối với trường hợp dữ liệu có nhiễu, chẳng hạn như hình:
Trong hình 2.14 trên điểm màu xanh (chẳng hạn thuộc lớp +1) lại nằm vào lớp điểm maud đỏ (thuộc lớp -1) và ngược lại. Trong trường hợp này thuật tốn SVM cố gắng tìm siêu phẳng phân tách và thỏa mãn lỗi phát sinh là nhỏ nhất có thể.
2.4.2 Trƣờng hợp dữ liệu huấn luyện khơng phân tách tuyến tính
Thuật tốn trên chỉ phù hợp cho trường hợp tập dữ liệu huấn luyện có thể phân tách tuyến tính được, trong phần này chúng ta sẽ đi nghiên cứu trường hợp dữ liệu huấn luyện là khơng phân tách tuyến tính được.
Hình 2.15 Ví dụ về dữ liệu huấn luyện khơng phân tách tuyến tính
Hình 2.15 cho ta một ví dụ về hai lớp phân tách được nhưng biên phân tách khơng phải là tuyến tính.
Ý tưởng cơ bản để giải bài tốn trên là đi tìm một phép biến đổi dữ liệu đầu vào sang khơng gian có số chiều lớn hơn sao cho trong không gian này dữ liệu là phân tách tuyến tính bằng cách sử dụng một hàm hạt nhân K (Kernel function). Giả sử rằng có một phép ánh xạ : x (x), ta sẽ có: n i n j i j i j i j i i y y x x W 1 , 1 . 2 1
Thuật toán huấn luyện sẻ chỉ phụ thuộc duy nhất vào tích vơ hướng trong khơng gian đặc trưng – tức là hàm (xi) . (xj). Giả sử rằng chúng ta có một hàm đối xứng K(xi, xj) = (xi) . (xj), khi đó thuật tốn luyện chỉ cần duy nhất K mà khơng cần sử dụng đến ánh xạ (xem hình 2.16).
Cho một ánh xạ , ta sẽ tính được K, tuy nhiên cho hàm K, câu hỏi đặt ra là
điều kiện gì để tồn tại ánh xạ ?. Điều này được xác định bằng điều kiện
Mercer của định lý sau đây:
Định lý 2.1 (Mercer 1909). Cho K(x,y) là một hàm đối xứng liên tục trong
L2(2). Điều kiện tồn tại ánh xạ và một khai triển:
1 . , i i i y x y x K
Nếu và chỉ nếu, với mọi tập đóng C và g L2(C),
C
C K x,y g x g y dxdy 0
Khi có hàm K thỏa mãn điều kiện trên được sử dụng, hàm quyết định phân lớp sẽ là: b x x K y x f n i i i i 1 , sgn
Một số hàm hạt nhân được nghiên cứu và giới thiệu bởi Vapnik như sau:
Hàm Polynomial: K(x,y) = (x.y + 1)p
Hàm Radial: K(x,y) = exp(-||x-y||2/22
)
Hàm Nơ ron: K(x,y) = tank(a.x.y - b)
2.4.3 Phƣơng pháp SVM cho bài toán nhiều lớp
Các nghiên cứu ở trên ứng với trường hợp bài toán phân lớp nhị phân, đối với trường hợp k lớp, chúng ta sử dụng phương án phân tách từng lớp với các lớp còn lại. Như vậy chúng ta sẽ thực hiện k(k-1)/2 lần phân lớp nhị phân trong trường hợp này.
Hình 2.17 minh họa SVM trong trường hợp nhiều lớp.
CHƢƠNG 3. KẾT QUẢ THỰC NGHIỆM
3.1 Giới thiệu bài tốn
Mục đích của bài toán nhận dạng mặt người qua ảnh (camera) là đi xác định ảnh của một người được thu nhận có trong cơ sở dữ liệu ảnh hay khơng. Trong phần thực nghiệm của luận văn này, chúng tôi xây dựng một hệ thống nhận dạng mặt người qua ảnh hoặc qua thu trực tiếp từ camera. Kết quả trả ra là định danh hay tên của người đó.
Sơ đồ tổng quan của hệ thống như sau:
Hình 3.1 Hệ thống nhận dạng mặt người
Cho m ảnh mặt người kèm theo nhãn của nó (nhãn ở đây là định danh của mỗi khuôn mặt – chẳng hạn tên), hãy xây dựng hệ thống cho phép xác định khuôn mặt mới Inew là nhãn bao nhiêu?
Bài tốn trên có nhiều ứng dụng, chẳng hạn như việc xác thực ảnh cho bài toán tuyển sinh: Hàng năm các trường Đại học đều tuyển các thí sinh mới, việc xác nhận các thí sinh này so với ảnh đã đăng ký thi đại học (hay tại kỳ thi quốc gia chung) là rất cần thiết. Trên cơ sở dữ liệu ảnh thí sinh đã sử dụng để tham dự kỳ thi, sau khi vào trường, thí sinh sẽ được yêu cầu chụp ảnh mới để làm thẻ sinh viên, thẻ thư viện,… Hệ thống nhận dạng mặt người sẽ kiểm chứng ảnh của
Training Clustering algorithm Inew I1, I2,…,Im Classifier: f(.) yi ? f(.)
thí sinh lúc vào trường có trùng với ảnh của thí sinh lúc đăng ký dự thi hay không ?.
3.2 Lựa chọn giải thuật và lập trình 3.2.1 Giải thuật 3.2.1 Giải thuật
Như đã trình bày trong chương 2, có nhiều phương pháp để giải quyết bài toán nhận dạng, trong khuôn khổ luận văn này tôi chọn phương pháp PCA - một phương pháp đơn giản dễ hiểu, dễ sử dụng.
Hệ thống nhận dạng mặt người gồm các bước sau: - Đọc dữ liệu huấn luyện
- Trích chọn đặc trưng (ở đây là trích ra các khn mặt)
- Sử dụng thuật toán PCA - Kiểm thử với dữ liệu mới
Sau khi có tập dữ liệu dùng cho pha huấn luyện thì vấn đề khó nhất là việc phát hiện khn mặt (face detection), có một số thuật tốn phát hiện khn mặt đã được nghiên cứu và sử dụng. Trong phần thực nghiệm này tơi sử dụng thuật tốn Haarcascade, một trong những thuật toán nổi tiếng nhất về phát hiện khn mặt. Tồn bộ hàm thực hiện điều này có trong thư viện Emgu CV của công đồng nghiên cứu và chúng ta hồn tồn có thể sử dụng nó.
3.2.2 Cơng cụ phát triển
Ngơn ngữ lập trình chúng tơi sử dụng là C#, một trong những mơi trường lập trình mạnh của bộ Visual Studio. Từ các cơng cụ đã có, chúng tôi thiết kế giao diện cũng như xử lý việc ghi dữ liệu cũng như sử dụng hàm trích chọn đặc trưng theo phương pháp PCA.
3.3 Kết quả thực nghiệm
Giao diện của hệ thống như hình vẽ
Hình 3.2 Giao diện của hệ thống
Từ giao diện của chương trình, chúng ta tạo các tập huấn luyện bằng việc sử dụng chức năng Thêm ảnh huấn luyện. Ảnh này sẽ được cập nhật vào tập huấn luyện cùng với tên của nó.
Hình 3.4 Pha nhận dạng từ ảnh thẻ
Để kiểm tra xem nhãn của khn mặt mới là gì chúng ta có thể sử dụng came ra hoặc sử dụng ảnh thẻ qua hệ thống camera hoặc máy quét để định danh khuôn mặt trong ảnh. Kết quả thử nghiệm với nhiều trường hợp khác nhau (hình 3.4-3.5) thuật tốn cho kết quả tương đối tốt và hồn tốn có tính ứng dụng thực tế. Hệ thống này hồn tốn đáp ứng cho bài toán xác thực ảnh trong tuyển sinh của các trường Đại học tại Việt Nam.
Hình 3.5. Giao diện khi nhận dạng mặt từ camera
Theo [14], chất lượng của bài toán nhận dạng phụ thuộc vào tập dữ liệu huấn luyện cũng như các dữ liệu thử nghiệm. Nếu hệ thống các ảnh luyện cũng như là các ảnh kiểm thử là tương đồng nhau, chỉ khác nhau về độ sáng của ảnh thì kết quả đạt được là 96%, tuy nhiên nếu thay đổi về hướng của mặt thì kết quả đạt khoảng 85%.
Kết quả trên được giả thích là nếu thay đổi độ sang thì các điểm kề nhau vẫn giữ được sự tương quan của nó, trong khí nếu chúng ta thay đổi hướng của khuôn mặt sẽ làm mất đi thông tin giữa các điểm ảnh nên chất lượng nhận dạng
ảnh sẽ giảm đi rõ rệt. Rõ ràng trong bài tốn nhận dạng ảnh thì quy định về ảnh như các ảnh phải có cùng kích thước, mặt người phải ở tâm ảnh,… là quan trọng vì để giải quyết bài toán dạng này chúng ta cần biểu diễn dạng vector các số nên nếu ảnh đầu vào có sai khác thì giá trị các phép tốn cũng sai khác theo.
CHƢƠNG 4. KẾT LUẬN Những kết quả đã đạt đƣợc Những kết quả đã đạt đƣợc
Sau khi thực hiện luận văn với chủ đề nghiên cứu phương pháp phân phân lớp PCA và SVM và ứng dụng cho bài toán nhận dạng mặt người, tôi đã thực hiện được các công việc sau đây:
- Đã nghiên cứu và tìm hiểu hai phương pháp PCA và SVM cũng như các lý thuyết tổng quát về trí tuệ nhân tạo và học máy
- Đã tìm hiểu và năm bắt lý thuyết về xử lý ảnh, các kỹ thuật cơ bản dùng trong xử lý ảnh cũng như ứng dụng của xử lý ảnh trong thực tế,
- Đã lập trình trên ngơn ngữ C# cho bài toán nhận dạng mặt người trong ảnh ứng dụng cho bài toán điểm danh. Các kết quả cho thấy đề tài có khả năng ứng dụng vào thực tiễn trong các ứng dụng về xử lý ảnh. Bước đầu hiểu và biết cách sử dụng thư viện Emgu CV, một thư viện nổi tiếng về thị giác máy của cộng đồng các nhà nghiên cứu về lịch vực này trên thế giới.
Hƣớng phát triển của đề tài
Do thời gian và kiến thức cịn hạn chế, trong khn khổ của luận văn tôi không thể nghiên cứu kỹ và tồn diện bài tốn phân cụm. Trong tương lai, một số hướng nghiên cứu mà tôi dự kiến tiếp tục như sau:
- Trong thời gian tới tơi mong muốn tìm hiểu kỹ hơn về các phương pháp phân lớp khác như mạng Nơ ron hoặc phương pháp cây quyết định. - So sánh các phương pháp phân lớp hiện tại với các tập dữ liệu khác
nhau trong các không gian nhiều chiều, dữ liệu phức tạp và có thể khơng phải là dữ liệu số.
- Tơi cũng mong muốn tìm hiểu sau hơn về các bài toán học máy khác như phân cụm, phương pháp học nửa giám sát cũng như so sánh
phương pháp phân lớp có giám sát và phân cụm nửa giám sát. - Cuối cùng tơi mong muốn có thể áp dụng được các lý thuyết về học
máy cũng như trí tuệ nhân tạo vào các bài tốn trong thực tế như sinh học, y học, ngân hàng,…
Tài liệu tham khảo
Tiếng Việt
[1]. Phạm Việt Bình, Đỗ Năng Tồn (2008), Xử lý ảnh, Nhà xuất bản Khoa học và Kỹ thuật, 2008.
[2]. Vũ Mạnh Hùng (2013), Nhận dạng mặt người sử dụng đặc trưng PCA,
Luận Văn Thạc sỹ Công nghệ Thơng tin, Học Viện Cơng nghệ Bưu Chính Viễn thơng (Hà Nơi).
[3]. Nguyễn Thi Len (2014), Đề xuất phương pháp nhận dạng khuôn mặt người
và ứng dụng chống gian lận trong thi cử, Luận Văn Thạc sỹ Công nghệ Thông
tin, Học Viện Cơng nghệ Bưu Chính Viễn thơng (Hà Nội).
[4]. Nguyễn Thị Lan Anh (2013), Nghiên cứu thuật toán học máy SVM và ứng
dụng trong bài toán khai phá ý kiến phản hổi của khách hàng trên website, Luận
Văn Thạc sỹ ngành Hệ thống Thông tin, Học Viện Công nghệ Bưu Chính Viễn thơng (Hà Nơi).
[5]. Trần Minh Tân (2012), Nghiên cứu ký thuật SVM trong kiểm soạt nội dung
hình ảnh, Luận Văn Thạc sỹ Cơng nghệ Thơng tin, Trường Đại học Lạc Hồng.
[6]. Phan Thị Thu Hồng, Đoàn Thị Thu Hà, Nguyễn Thị Thủy (2013), Ứng dụng
phân lớp ảnh chụp lá cây bằng phương pháp máy vector hỗ trợ, Tạp chí Khoa
học và Phát triển, tập 11, số 7, trang: 1045-1052.
Tiếng Anh
[7]. Rafael C. Gonzalez and Richard E. Woods (2007), Digital Image Processing, Prentice Hall; 3 edition.
[8]. http://www.emgu.com/
[9]. Paul Viola, Michael J Jones, Robust Real-Time Face Detection: International Journal of Computer Vision 57, pp. 137-154, Netherlands, 2004. [10] Vladimir N.Vapnik, The Nature of Statistical Learning Theory, AT&Labs- Research, London University.
[11] Jeffrey Huang, David Li, Xuhui Shao, và Harry Wechsler, Pose Discriminantion và Eye Detection Using Support Vector Machines (SVM), Department of Computer Science George Mason University
[12] Christopher J.C. Burges, A Tutorial on Support Vector Machines for Patter Recognitio, (http://citeseer.nj.nec.com/burges98tutorial.html)
[13] Stuart Russell, Peter Norvig, Artificial Intelligence: A Modern Approach,
Prentice Hall, 2009.
[14] L. Sirovich and M. Kirby, Low-dimetional procedure for the characterization of human face. Journal of the optical Society of America A,