Trích chọn đặc trưng kết cấu màu cục bộ cho bài toán nhận dạng ảnh màu mặt người

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC CÔNG NGHỆ TP HCM - NGUYỄN ĐỨC DŨNG TRÍCH CHỌN ĐẶC TRƢNG KẾT CẤU MÀU CỤC BỘ CHO BÀI TOÁN NHẬN DẠNG ẢNH MÀU MẶT NGƢỜI LUẬN VĂN THẠC SĨ Chuyên ngành: Công nghệ thông tin Mã số ngành: 60480201 TP HỒ CHÍ MINH, tháng năm 2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC CÔNG NGHỆ TP HCM - NGUYỄN ĐỨC DŨNG TRÍCH CHỌN ĐẶC TRƢNG KẾT CẤU MÀU CỤC BỘ CHO BÀI TOÁN NHẬN DẠNG ẢNH MÀU MẶT NGƢỜI LUẬN VĂN THẠC SĨ Chuyên ngành: Công nghệ thông tin Mã số ngành: 60480201 CÁN BỘ HƢỚNG DẪN KHOA HỌC: TS ĐẶNG THANH DŨNG TP HỒ CHÍ MINH, tháng năm 2015 CÔNG TRÌNH ĐƢỢC HOÀN THÀNH TẠI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ TP HCM Cán hƣớng dẫn khoa học: TS ĐẶNG THANH DŨNG Luận văn Thạc sĩ đƣợc bảo vệ Trƣờng Đại học Công nghệ TP HCM ngày … tháng … năm … Thành phần Hội đồng đánh giá Luận văn Thạc sĩ gồm: TT Họ tên PSG TSKH Nguyễn Xuân Huy PGS TS Đỗ Phúc TS Võ Đình Bảy TS Trần Đức Khánh TS Cao Tùng Anh Chức danh Hội đồng Chủ tịch Phản biện Phản biện Ủy viên Ủy viên, Thƣ ký Xác nhận Chủ tịch Hội đồng đánh giá Luận sau Luận văn đƣợc sửa chữa (nếu có) Chủ tịch Hội đồng đánh giá LV TRƢỜNG ĐH CÔNG NGHỆ TP HCM PHÒNG QLKH – ĐTSĐH CỘNG HÕA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc TP HCM, ngày … tháng… năm 20 … NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Đức Dũng Giới tính: Nam Ngày, tháng, năm sinh: 07/05/1989 Nơi sinh: TP.HCM Chuyên ngành: Công nghệ thông tin MSHV: 1341860004 I- Tên đề tài: Trích chọn đặc trƣng kết cấu màu cục cho toán nhận diện ảnh màu mặt ngƣời II- Nhiệm vụ nội dung: Nhiệm vụ tổng quát đề tài là: Đề xuất đƣợc phƣơng pháp trích chọn đặc trƣng kết cấu màu cục cho toán nhận dạng ảnh màu mặt ngƣời, sở cải tiến phƣơng pháp Choi đồng sự, cho tăng độ xác nhận dạng (so với phƣơng pháp Choi đồng sự) III- Ngày giao nhiệm vụ: 18/08/2014 IV- Ngày hoàn thành nhiệm vụ: 15/6/2015 V- Cán hƣớng dẫn: TS Đặng Thanh Dũng CÁN BỘ HƢỚNG DẪN (Họ tên chữ ký) KHOA QUẢN LÝ CHUYÊN NGÀNH (Họ tên chữ ký) i LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng Các số liệu, kết nêu Luận văn trung thực chƣa đƣợc công bố công trình khác Tôi xin cam đoan giúp đỡ cho việc thực Luận văn đƣợc cảm ơn thông tin trích dẫn Luận văn đƣợc rõ nguồn gốc Học viên thực Luận văn Nguyễn Đức Dũng ii LỜI CÁM ƠN Để hoàn thành luận văn này, tác giả xin tỏ lòng biết ơn sâu sắc đến Thầy TS Đặng Thanh Dũng, ngƣời tận tình hƣớng dẫn suốt trình viết luận văn Đồng thời, tác giả xin chân thành cảm ơn gia đình, bạn bè anh chị em Công ty CP Giải pháp CNTT Tân Cảng giúp đỡ tạo điều kiện thuận lợi để tác giả hoàn thành luận văn thạc sỹ Tác giả xin chân thành cảm ơn quý Thầy, Cô khoa Công nghệ thông tin, trƣờng Đại học Công Nghệ TP Hồ Chí Minh tận tình truyền đạt kiến thức năm tháng học tập Với vốn kiến thức đƣợc tiếp thu trình học không tảng cho trình nghiên cứu mà hành trang quí báu để tác giả bƣớc vào đời cách vững tự tin Cuối cùng, tác giả xin kính chúc quý Thầy, Cô dồi sức khỏe thành công nghiệp, đạt đƣợc nhiều thành công tốt đẹp công việc sống Học viên thực Luận văn Nguyễn Đức Dũng iii TÓM TẮT Trong cáo cáo “Color Local Texture Features for Color Face Recognition” Choi đồng năm 2012, nhóm tác giả Choi đề xuất phƣơng pháp kết hợp đặc trƣng kết cấu cục LBP trích từ kênh màu khác ảnh màu mặt ngƣời (đƣợc biểu diễn không gian màu, chẳng hạn RQCr) để làm đặc tả ảnh màu mặt ngƣời (color face descriptor) Đặc tả đƣợc nhóm tác giả gọi đặc trƣng kết cấu màu cục (color local texture feature – CLTF) Kết thí nghiệm đƣợc tiến hành báo cáo chứng tỏ CLTF giúp tăng độ xác nhận dạng Tuy nhiên, nhóm tác giả phần kết luận số hạn chế phƣơng pháp xây dựng CLTF đƣợc nêu công trình Một hạn chế là, xây dựng CLTF, đặc trƣng kết cấu cục (local texture feature, LTF) thành phần đƣợc trích chọn từ không gian màu gồm thành phần (ví dụ RQCr) Xử lý theo cách không tận dụng đƣợc điểm mạnh không gian màu khác Mỗi không gian màu có đặc điểm riêng đƣợc tận dụng để làm tăng độ xác nhận dạng Trong nghiên cứu này, tác giả xây dựng đặc trƣng kết cấu màu cục (CLTF), thành phần đặc trƣng kết cấu cục đƣợc chọn lọc từ không gian màu khác cách phù hợp, cho chứa đƣợc nhiều thông tin phân loại (discriminant information) Tác giả xây dựng không gian màu cách kết hợp thành phần màu từ không gian màu cố định sau thử nghiệm độ xác không gian màu kết hợp liệu hình ảnh Ở tác giả sử dụng liệu Color Feret so sánh kết thực nghiệm phƣơng pháp nhóm tác giả Choi phƣơng pháp cải tiến nhằm nâng cao hiệu suất nhận diện khuôn mặt màu cách tốt iv ABSTRACT In the paper "Color Local Texture Features for Color Face Recognition" by Choi et al 2012, Choi et al have proposed a new color local texture feature was Color Local Binary Pattern (CLBP) by using LBP extract from image face‟s different color channels (represented on a color space, such as RQCr) to be a color face descriptor The results of experiments conducted in paper prove that CLTF help improve the accuracy of face regconition However, Choi et al‟ authors also pointed out in the conclusion some limitations of this methods outlined in this work One of them is, when constructing CLTF, local texture features – LTF selected components are extracted from the same color space consists of components (eg RQCr) Handling it by this way will not take the strengths of the different color spaces Each color space has its own characteristics that can be utilized to increase the accuracy of identification In this study, the author will construct specific Color local texture feature (CLTF), in which components featured local structures are selected from different color spaces appropriately, so that they contain more discriminant information as much as possible Authors will build the color space by combining color components from the fixed color space and then test the accuracy of the color space combined on the same dataset of image Here, author uses dataset ColorFeret and compare experimental results between the method of Choi đồng and innovative methods to enhance performance color face regconition v MỤC LỤC CHƢƠNG 1: TỔNG QUAN 1.1 Giới thiệu 1.1.1 Đặt vấn đề 1.1.2 Tính cấp thiết đề tài 1.2 Mục tiêu đề tài 1.3 Nội dung nghiên cứu CHƢƠNG 2: CÁC KIẾN THỨC NỀN TẢNG VỀ NHẬN DIỆN ẢNH MẶT NGƢỜI 2.1 Các không gian màu 2.1.1 Không gian màu RGB 2.1.2 Không gian màu CMYK 2.1.3 Không gian màu HSV 2.1.4 Các không gian màu CIE 2.2 Bài toán nhận dạng ảnh mặt ngƣời 10 2.3.1 Các độ đo khoảng cách đối tƣợng 13 2.3.2 Độ đo khoảng cách dãy 14 2.3.3 Độ đo theo lý thuyết thông tin 18 CHƢƠNG 3: KỸ THUẬT TRÍCH CHỌN KẾT CẤU ĐẶC TRƢNG MÀU CỤC BỘ 22 3.1 Mẫu nhị phân cục (Local Binary Pattern – LBP) 22 3.1.1 Thuật toán LBP 22 3.1.2 Thuật toán Opponent color LBP (OCLBP) 23 3.1.3 Mẫu nhị phân đồng dạng – Uniform Pattern 24 3.2 Các bƣớc xử lý phƣơng pháp trích trọn đặc trƣng 25 3.2.1 Mô hình trích chọn đặc trƣng Choi đồng 25 3.2.2 Trích chọn đặc trƣng LBP màu (CLBP) 26 3.2.5 Kết hợp 29 CHƢƠNG 4: MÔ HÌNH ĐỀ XUẤT VÀ THỰC NGHIỆM 32 4.1 Mô hình đề xuất 32 4.2 Các không gian màu lựa chọn 34 vi 4.2.1 Không gian màu YIQ 34 4.2.2 Không gian màu ZRG 35 4.2.3 Không gian màu RCrQ 35 4.2.4 Kết hợp không gian màu 35 4.3 Cơ sở liệu ảnh màu Color Feret 36 4.3.1 Giới thiệu 36 4.3.2 Quy tắc đặt tên hình ảnh 37 4.3.2 Ground Truth File 38 4.4 Cơ sở lý thuyết PCA 39 4.4.1 Giới thiệu 39 4.1.2 Thuật toán PCA 41 4.5 Khoảng cách Mahalanobis 43 4.5.1 Giới thiệu 43 4.5.2 Định nghĩa tính chất 44 4.6 Mô tả thí nghiệm 44 4.7 Kết thực nghiệm 47 4.8 Đánh giá thực nghiệm 47 CHƢƠNG 5: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 48 5.1 Kết luận 48 5.2 Thách thức hƣớng phát triển 48 TÀI LIỆU THAM KHẢO 50 39 4.4 Cơ sở lý thuyết PCA 4.4.1 Giới thiệu Phƣơng pháp phân tích thành phần (Principal Component Analysis – PCA) phƣơng pháp phân tích liệu nhiều biến đơn giản Trong toán thống kê, thông thƣờng cần phải “nghiên cứu” liệu trƣớc xây dựng mô hình suy diễn dựa liệu Tuy nhiên liệu có số chiều lớn, suy diễn không gian có số chiều lớn Do đó, cần phải tìm cách đƣa liệu không gian có số chiều nhỏ PCA phƣơng pháp nhƣ thế, nhƣng thế, PCA thể đa với nhiều đặc tính tốt: Làm giảm số chiều liệu Thay giữ lại trục tọa độ không gian cũ, PCA xây dựng không gian chiều hơn, nhƣng lại có khả biểu diễn liệu tốt tƣơng đƣơng không gian cũ, nghĩa đảm bảo độ biến thiên (variability) liệu chiều Các trục tọa độ không gian tổ hợp tuyến tính không gian cũ, mặt ngữ nghĩa, PCA xây dựng feature dựa feature quan sát đƣợc Điểm feature biểu diễn tốt liệu ban đầu Trong không gian mới, liên kết tiềm ẩn liệu đƣợc khám phá, mà đặt không gian cũ khó phát hơn, liên kết nhƣ rõ Nói cách ngắn gọn hơn, mục tiêu PCA tìm không gian (với số chiều nhỏ không gian cũ) Các trục tọa độ không gian đƣợc xây dựng cho trục, độ biến thiên liệu lớn (maximize the variability) 40 Hình 4.2 Ví dụ mô tả số lƣợng chiều liệu Một ví dụ kinh điển hình ảnh lạc đà Cùng lạc đà, nhƣng nhìn từ bên hông ta có đƣợc đầy đủ thông tin nhất, nhìn từ phía trƣớc thật khó để xác định đƣợc lạc đà Một ví dụ thuyết phục đƣợc minh họa hình sau: 41 A Chiều Chiều C B Giảm số chiều Các biến không gian đa chiều Hai chiều Hình 4.3 Minh họa biến thiên liệu không gian đa chiều trƣớc sau sử dụng thuật toán PCA Giả sử tập liệu ban đầu (tập điểm màu xanh) đƣợc quan sát không gian chiều (trục màu đen) nhƣ hình bên trái Rõ ràng trục không biểu diễn đƣợc tốt mức độ biến thiên liệu PCA tìm hệ trục tọa độ (là hệ trục màu đỏ hình bên trái) Sau tìm đƣợc không gian mới, liệu đƣợc chuyển sang không gian để đƣợc biểu diễn nhƣ hình bên phải Rõ ràng hình bên phải cần trục tọa độ nhƣng biểu diễn tốt độ biến thiên liệu so với hệ trục chiều ban đầu Một điểm PCA trục tọa độ không gian đảm bảo trực giao đôi với nhau, không gian ban đầu, trục không trực giao 4.1.2 Thuật toán PCA Cho ma trận  Tiền xử lý { } Các bƣớc PCA lần lƣợt nhƣ sau: 42 Dữ liệu ban đầu có giá trị thay đổi bất thƣờng Ví dụ feature (cột ) giá trị thay đổi khoảng (0, 1), feature lại biến thiên đoạn (-100, 100) Rõ ràng cần phải có bƣớc tiền xử lí để chuẩn hóa giá trị cột ma trận X Có cách tiền xử lí thƣờng đƣợc dùng cho PCA Centered PCA Normed PCA Centered PCA mang tất feature (các cột X) gốc tọa độ: ̂ *̂ + ̂ √ ∑ Trong mean cột thứ , đƣợc tính nhƣ số dòng , Normed PCA mang tất feature gốc tọa độ, đồng thời chuẩn hóa quãng standard-deviation 1: ̂ ̂ Trong *̂ + √ độ lệch chuẩn (standard deviation) cột thứ Thông thƣờng Normed PCA hay đƣợc dùng Sau bƣớc tiền xử lí, ma trận ̂ đầu vào cho bƣớc  Xây dựng không gian Tính ma trận hiệp phƣơng sai (covariance) feature ̂ : ̂ ̂ Do tích ma trận ̂ với chuyển vị nên positive semidefinite kích thƣớc Hơn có ma trận trị riêng Tiếp theo, PCA tìm trị riêng vector riêng tƣơng ứng , xếp theo thứ tự giảm dần trị riêng Giả sử trị riêng là: 43 p vector riêng tƣơng ứng Khi trục không gian vector riêng trên, đƣơng nhiên vector riêng hoàn toàn độc lập tuyến tính (nghĩa trực giao đôi một) Chuyển liệu từ không gian ban đầu vào không gian Thông thƣờng không gian không đƣợc xây dựng tất p vector riêng (4), mà thông thƣờng từ k vector riêng đầu tiên, với Tại vector đầu tiên, chọn k tốt, ta bàn phần cuối Nhƣ gọi , | | | - Khi tọa độ điểm hệ tọa độ là: ̂  Một số hạn chế PCA: - Chỉ làm việc với liệu numeric, - Nhạy cảm với điểm outlier/extreme, - Không phù hợp với mô hình phi tuyến, PCA hoàn toàn dựa biến đổi tuyến tính 4.5 Khoảng cách Mahalanobis 4.5.1 Giới thiệu Khoảng cách Mahalanobis thƣớc đo khoảng cách điểm P phân phối chuẩn D, đƣợc giới thiệu P C Mahalanobis vào năm 1936.(“Mahalanobis distance,” 2015) Nó tổng quát đa chiều việc có độ lệch chuẩn (standard deviations) khỏi P từ bình quân (mean) D Khoảng cách P mean D, khoảng cách ngày lớn P cách xa khỏi mean Dọc theo trục thành phần (PCA), đo lƣờng số lƣợng độ lệch chuẩn từ P đến mean D Nếu trục đƣợc thay đổi tỷ lệ để có đơn vị có 44 phƣơng sai khoảng cách Mahalanobis tƣơng đƣơng với khoảng cách Euclide tiêu chuẩn không gian chuyển đổi 4.5.2 Định nghĩa tính chất ( Khoảng cách Mahalanobis observation ( tập hợp observation với với mean phƣơng sai ) từ ) ma trận hiệp đƣợc định nghĩa nhƣ sau: ( ) √*( ) ( )+ Khoảng cách Mahalanobis đƣợc định nghĩa nhƣ độ đo tƣơng tự hai vectơ ngẫu nhiên ⃗ ⃗ phân phối với ma trận hiệp biến S: (⃗ ⃗ ) √(( ⃗ ⃗) (⃗ ⃗ )) Nếu ma trận hiệp phƣơng sai ma trận nhận dạng (identity matrix), khoảng cách Mahalanobis làm giảm khoảng cách Euclide Nếu ma trận hiệp phƣơng sai đƣờng chéo (diagonal), độ đo khoảng cách thu đƣợc đƣợc gọi khoảng cách Euclide chuẩn hóa (normalized Euclidean distance): ( ⃗ ⃗) Với độ lệch chuẩn √∑ ( ) tập mẫu 4.6 Mô tả thí nghiệm Sử dụng chƣơng trình Matlab liệu Color Feret với 5429 liệu hình chủ yếu dup fa, fb rc 1028 chủ thể Các hình ảnh trƣớc tiên đƣợc tinh chỉnh cắt gƣơng mặt từ hình ảnh gốc dựa vào vị trí tọa độ mắt Các vị trí tọa độ đƣợc cung cấp kèm theo liệu sau đƣợc điều chỉnh kích thƣớc 120x120 pixel Sau bƣớc tiền xử lý, hình ảnh mặt ngƣời đƣợc chuyển đổi không gian màu khác Trong báo cáo này, hình ảnh mặt ngƣời đƣợc 45 chuyển đổi lần lƣợt thành 56 không gian màu đƣợc tách thành không gian màu đơn sắc (gray scale) Để chuyển đổi thành phần không gian màu Các thành phần không gian màu đƣợc lựa chọn: YIQ, ZRG, YCbCr Lƣu ý không gian màu ZRG ( Z đƣợc lấy từ không gian màu “XYZ”, R G đƣợc lấy từ “RGB”) Tại đây, hình ảnh màu đơn sắc 120 x 120 pixel đƣợc chia nhỏ thành 64 vùng cục (mỗi vùng có kích thƣớc 15 x 15 pixel ) tính toán đặc trƣng kết cấu vùng cục phƣơng pháp CLBP nêu mô hình đề xuất, sử dụng toán tử LBP(8,1) (P=8, R=1) Từ đây, vector đặc trƣng trở thành vector đặc trƣng kết cấu màu cục Để giảm số chiều đặc trƣng màu cục làm tăng tính phân biệt, phƣơng pháp PCA đƣợc áp dụng vector đặc trƣng Do không gian làm việc (workspace) chƣơng trình Matlab có hạn, nên tất liệu vector đặc trƣng tập liệu hình ảnh 56 không gian màu sau đƣợc xử lý kỹ thuật giảm số chiều đƣợc lƣu riêng biệt thành file *.mat bên để tránh tình trạng tràn liệu dẫn đến sai lệch kết tính toán sau sử dụng độ đo khoảng cách Mahalanobis để xác định hình ảnh cần tìm gần Kết thu đƣợc từ kênh màu trộn lẫn đƣợc thống kê so sánh với thuật toán gốc Mr.Choi để xác định màu tối ƣu cho toán nhận dạng ảnh màu mặt ngƣời 46 Chia nhỏ vùng cục Vector đặc trƣng Chuyển đổi không gian màu Trích xuất đặc trƣng Vector đặc trƣng Tiền xử lý Vector đặc trƣng Hình 5.1: Mô hình thực nghiệm 47 4.7 Kết thực nghiệm Độ xác (%) 100 90 80 70 60 50 40 30 20 10 QRb IQR RGb Rbr YQR IGb YIZ ZGb YIR YZR ZRr ZRG RIQ YQG Ibr QGb YIG QGr QZR YQr IGr YQb IZG IZR YIr QRr IQZ YIQ Gbr IRb QZr QZG IZb YZG YGr QRG IQr YRr IRr Ybr Qbr YZr IZr YRG IQb YGb YQZ IRG RGr YZb YIb ZRb YRb Zbr QZb IQG ZGr ZGr YRb QZb YIb RGr YQZ IZr IQb IRr Qbr IQr YGr IZb QZr Gbr YIr IQZ IGr IZG QZR Ibr YIG ZRr RIQ YIZ YIR RGb YQR QRb Hình 5.2: Đồ thị mô tả độ xác không gian màu 4.8 Đánh giá thực nghiệm Qua ngày thực chƣơng trình, kết cho đƣợc độ xác không gian màu Dựa vào kết thực nghiệm, thấy số không gian màu cho kết nhận diện tốt so với không gian màu cố định mà nhóm nghiên cứu Choi đồng sử dụng (Choi et al., 2012) (ZRG YCbCr) Một số không gian màu cho kết nhận diện tốt nhƣ RQCb, RIQ, RGCb cho kết tốt (hơn 96%) 48 CHƢƠNG 5: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 5.1 Kết luận Thuật toán nhận dạng khuôn mặt phƣơng pháp trích chọn đặc trƣng kết cấu màu cục (Choi et al., 2012) cho kết nhận dạng khuôn mặt tốt điều kiện cụ thể (ví dụ nhƣ thiếu sáng hay hình ảnh có độ phân giải thấp) Tuy nhiên thuật toán có mặt hạn chế sử dụng cấu hình có thành phần màu sắc cố định nhƣ YCbCr ZRG (Choi et al., 2012) Nhằm cải tiến hạn chế trên, qua trình thực nghiệm, báo cáo tác giả đóng góp phần nhỏ vào việc nâng cao hiệu suất nhận dạng khuôn mặt việc kết hợp không gian màu tìm kiếm vài không gian màu cho kết nhận diện khuôn mặt tốt với độ xác cao, cụ thể nhƣ RIQ, RQCb Có thể thấy không gian màu khác cho độ xác nhận diện khuôn mặt khác Tuy nhiên, báo cáo số mặt hạn chế nhƣ: (1) Phạm vi toán khai thác đƣợc phần trích chọn đặc trƣng Choi đồng phƣơng pháp sử dụng Mẫu đặc trƣng màu cục (Color LBP) nên hiệu suất toán nhận dạng khuôn mặt chƣa thật xác (2) Hạn chế mặt thời gian không cho phép tác giả thực thuật toán nhiều sở liệu nên kết chƣa xác mang tính chất tƣơng đối Trong tƣơng lai, để cải tiến hiệu suất nhận dạng khuôn mặt (độ xác tăng ~ 98%), tác giả kết hợp với việc trích xuất kết cấu màu cục bộ, chẳng hạn nhƣ kết hợp với phƣơng pháp Color Gabor Wavelet nhằm tăng tính phân biệt cho đặc trƣng kết cấu cục sử dụng trọng số cho kênh màu, từ xác định đƣợc không gian màu sắc tối ƣu cách tự động cho trƣờng hợp cụ thể nhận diện khuôn mặt (ví dụ: sử dụng không gian màu RQCr cho ảnh khuôn mặt độ sáng thấp, sử dụng không gian màu XYZ ảnh khuôn mặt độ phân giải thấp,…) 5.2 Thách thức hƣớng phát triển Hiện nhiều thách thức đề tài: 49 + Vấn đề hƣớng (pose variations): Các kết với ảnh có hƣớng thay đổi (>45 độ, diện) khiêm tốn thiếu xác Nhận dạng hình ảnh 3D có lẽ hƣớng giải tốt vấn đề + Vấn đề ảnh có độ phân giải thấp (low resolution): Ảnh thu đƣợc từ camera giám sát (surveillance camera) thƣờng có kích thƣớc chất lƣợng thấp, kết nhận diện khuôn mặt với độ phân giải thấp thiếu xác + Làm việc với liệu video (video based face recognition): Với phát triển phƣơng tiện multimedia, thông tin mặt ngƣời liệu video vô nhiều, nhiên hầu hết phƣơng pháp nhận dạng làm việc với ảnh tĩnh trích xuất từ liệu video, chƣa có phƣơng pháp tốt tận dụng hết ƣu liệu video, phƣơng pháp nhận dạng thời gian thực hƣớng mà đề tài theo đuổi + Vấn đề với hệ thống cực lớn (very large scale systems): sở liệu (CSDL) ảnh mặt ngƣời đƣợc thực đề tài nhỏ (vài chục nghìn ảnh mặt), nhiên thực tế CSDL lớn, ví dụ CSDL ảnh mặt cảnh sát nƣớc chứa từ hàng triệu tới tỉ ảnh, thời gian xử lý ảnh CSDL nhƣ nhiều thời gian công sức + Vấn đề tuổi tác (aging condition): việc nhận dạng ảnh mặt thay đổi theo thời gian thực vấn đề lớn khả nhận dạng ngƣời + Vấn đề thiếu sáng (illumination): thách thức lớn nhận dạng mặt, chƣa có phƣơng pháp tốt cho ảnh chụp điều kiện trời 50 TÀI LIỆU THAM KHẢO Ahonen, T., Hadid, A., Pietikainen, M., (2006) Face Description with Local Binary Patterns: Application to Face Recognition IEEE Trans Pattern Anal Mach Intell 28, 2037–2041 doi:10.1109/TPAMI.2006.244 Bowyer, K.W., (2004) Face recognition technology: security versus privacy IEEE Technol Soc Mag 23, 9–19 doi:10.1109/MTAS.2004.1273467 Chaudhuri, B.B., Rosenfeld, A., (1999) A modified Hausdorff distance between fuzzy sets Inf Sci 118, 159–171 doi:10.1016/S0020-0255(99)00037-7 Choi, J.Y., De Neve, W., Ro, Y.M., Plataniotis, K.N., (2010) Automatic Face Annotation in Personal Photo Collections Using Context-Based Unsupervised Clustering and Face Information Fusion IEEE Trans Circuits Syst Video Technol 20, 1292–1309 doi:10.1109/TCSVT.2010.2058470 Choi, J.Y., Ro, Y.M., Plataniotis, K.N., (2012) Color Local Texture Features for Color Face Recognition Trans Img Proc 21, 1366–1380 doi:10.1109/TIP.2011.2168413 Choi, J.Y., Ro, Y.M., Plataniotis, K.N., (2011) Boosting Color Feature Selection for Color Face Recognition IEEE Trans Image Process 20, 1425–1434 doi:10.1109/TIP.2010.2093906 Choi, J.Y., Ro, Y.M., Plataniotis, K.N., (2009) Color Face Recognition for Degraded Face Images Trans Sys Man Cyber Part B 39, 1217–1230 doi:10.1109/TSMCB.2009.2014245 Wikipedia Free Encycl (2015) CMYK color model, [online] from: http://en.wikipedia.org/w/index.php?title=CMYK_color_model&oldid=6623589 11 Wikipedia Free Encycl (2015) HSL and HSV, [online] from: http://en.wikipedia.org/w/index.php?title=HSL_and_HSV&oldid=657413113 Wikipedia Free Encycl (2015) International Commission on Illumination, [online] from: http://en.wikipedia.org/w/index.php?title=International_Commission_on_Illumi nation&oldid=661018747 Wikipedia Free Encycl (2015) Mahalanobis distance, [online] from: http://en.wikipedia.org/w/index.php?title=Mahalanobis_distance&oldid=661196 628 Ojala, T., Pietikainen, M., Maenpaa, T., (2002) Multiresolution gray-scale and rotation invariant texture classification with local binary patterns IEEE Trans Pattern Anal Mach Intell 24, 971–987 doi:10.1109/TPAMI.2002.1017623 51 Pękalska, E., Duin, R.P.W., (2005) The Dissimilarity Representation for Pattern Recognition: Foundations and Applications World Scientific Phillips, P.J., Moon, H., Rizvi, S.A., Rauss, P.J., (2000) The FERET Evaluation Methodology for Face-Recognition Algorithms IEEE Trans Pattern Anal Mach Intell 22, 1090–1104 doi:10.1109/34.879790 Wikipedia Free Encycl (2015) RGB color model, [online] from: http://en.wikipedia.org/w/index.php?title=RGB_color_model&oldid=66052069 PHỤ LỤC Bảng thống kê độ xác tập liệu không gian màu Không gian màu Độ xác (%) Số hình ảnh nhận diện Số hình ảnh nhận diện sai Số lƣợng ảnh tập Probe Số lƣợng ảnh tập Gallery QRb IQR RGb Rbr YQR IGb YIZ ZGb YIR YZR ZRr RIQ YQG Ibr QGb YIG QGr QZR YQr IGr ZRG YQb IZG IZR YIr QRr IQZ YIQ Gbr IRb QZr QZG 97.69 97.06 96.07 94.2 94.09 93.1 91.92 91.81 91.61 91.21 90.99 90.4 90.05 89.86 88.91 88.6 88.36 88.07 88.01 87.85 87.46 87.37 87.23 87.19 87.06 86.85 86.84 85.95 85.91 85.88 85.72 85.4 2483 2467 2442 2395 2392 2367 2337 2334 2329 2319 2313 2298 2289 2284 2260 2252 2246 2239 2237 2233 2223 2221 2217 2216 2213 2208 2207 2185 2184 2183 2179 2171 59 75 100 147 150 175 205 208 213 223 229 244 253 258 282 290 296 303 305 309 319 321 325 326 329 334 335 357 358 359 363 371 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 IZb YZG YGr QRG IQr YRr IRr Ybr Qbr YZr IZr YRG IQb YGb YQZ IRG RGr YZb YIb ZRb YRb Zbr QZb IQG ZGr 84.97 84.92 84.32 84.2 83.81 83.59 82.83 82.68 82.51 82.49 82.44 82.43 80.84 80.58 80.51 79.89 79.21 78.66 78.39 78.16 77.78 77.19 76.74 75.66 74.56 2160 2159 2143 2140 2130 2125 2106 2102 2097 2097 2096 2095 2055 2048 2047 2031 2014 2000 1993 1987 1977 1962 1951 1923 1895 382 383 399 402 412 417 436 440 445 445 446 447 487 494 495 511 528 542 549 555 565 580 591 619 647 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 2542 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 5433 [...]... nhận dạng (so với phƣơng pháp của Choi và các đồng sự ) - Mục tiêu cụ thể của đề tài bao gồm: 1 Chọn các không gian màu phù hợp 2 Chọn các kênh màu phù hợp trong từng không gian màu trên 3 Trích chọn đặc trƣng kết cấu màu cục bộ cho từng kênh màu nêu trong (2) 4 4 Tìm cách kết hợp các đặc trƣng kết cấu cục bộ để cho ra đƣợc Đặc trƣng kết cấu màu cục bộ cho ảnh màu mặt ngƣời 5 Cài đặt thử nghiệm và... cách kết hợp các đặc trƣng từ các kênh màu nêu trên Các giả thuyết đƣợc dùng trong luận văn: - Đặc trƣng kết cấu màu cục bộ chứa nhiều thông tin nhận dạng hơn đặc trƣng kết cấu toàn cục (Ahonen et al., 2006) - Đặc trƣng ảnh màu chứa thông tin kết cấu (texture information) từ các kênh màu khác nhau chứa nhiều thông tin nhận dạng hơn đặc trƣng ảnh chứa thông tin kết cấu từ một kênh màu duy nhất (Choi... thông tin nhận dạng đƣợc rút trích từ các không gian màu khác nhau sẽ có ảnh hƣởng khác nhau đến kết quả nhận dạng (Stokman and Gevers, 2007) 1.2 Mục tiêu của đề tài - Mục tiêu tổng quát của đề tài là: Đề xuất đƣợc phƣơng pháp trích chọn đặc trƣng kết cấu màu cục bộ cho bài toán nhận dạng ảnh màu mặt ngƣời, trên cơ sở cải tiến phƣơng pháp của Choi và các đồng sự, sao cho tăng độ chính xác nhận dạng (so... trong ảnh đen trắng cho đến mở rộng cho ảnh màu và có nhiều mặt ngƣời trong ảnh Đến nay các bài toán xác định mặt ngƣời đã mở rộng với nhiều miền nghiên cứu nhƣ nhận dạng khuôn mặt, định vị khuôn mặt, theo dõi mặt ngƣời hay nhận dạng cảm xúc mặt ngƣời…(Bowyer, 2004) 11 Phát hiện mặt ngƣời trong ảnh là phần đầu tiên của một hệ thống nhận dạng mặt ngƣời Các hệ thống nhận dạng khuôn mặt đƣợc bắt đầu xây... diễn màu và các không gian màu 2 Khái quát về trích chọn đặc trƣng ảnh và nhận dạng dựa trên đặc trƣng ảnh 3 Thuật toán LBP và Local Ternary Pattern (LTP) (Tan and Triggs, 2007) 4 Tìm hiểu phƣơng pháp rút trích đặc trƣng ảnh đề xuất bởi Choi và các đồng sự năm 2012 5 Tìm hiểu phƣơng pháp chọn lựa kênh màu đƣợc trình bày trong (Choi et al., 2011) 6 Đề xuất phƣơng pháp rút trích đặc trƣng kết cấu màu cục. .. trên gƣơng mặt (do xõa tóc, đội nón, đeo kính)(Choi et al., 2010), v v Đặc biệt, đặc trƣng mẫu nhị phân cục bộ (Local binary pattern texture feature – LBP texture feature) đã đƣợc chứng minh là một đặc tả mặt rất tốt cho FR (Ahonen et al., 2006) Trong (Choi et al., 2012), nhóm tác giả đã đề xuất phƣơng pháp kết hợp các đặc trƣng kết cấu cục bộ LBP trích từ các kênh màu khác nhau của ảnh màu mặt ngƣời... Wavelet 6 7 8 9 LTF HCI PIN ATM 10 CIE 11 PCA 12 LDA 13 EBGM 14 OCLBP 15 NTSC 16 NIST 17 NN 18 19 PAL CSDL Nghĩa tiếng việt Nhận diện khuôn mặt Mẫu nhị phân cục bộ Đặc trƣng kết cấu màu cục bộ Mẫu nhị phân cục bộ màu Gabor Wavelet cục bộ màu Local Texture Feature Đặc trƣng kết cấu cục bộ Human–computer interaction Tƣơng tác ngƣời - máy Personal identification number Mã số định danh cá nhân Automated Teller... dựng đặc trƣng ảnh màu mặt ngƣời, bằng cách cải biên phƣơng pháp do Choi và các đồng sự đƣa ra vào năm 2012 Để đạt đƣợc mục tiêu này, luận văn sẽ phải giải quyết các câu hỏi sau đây: - Tìm hiểu đặc điểm của các không gian màu quan trọng (chẳng hạn RGB, ZRG, RQCr) trong bài toán nhận dạng ảnh màu mặt ngƣời - Chọn lọc các kênh màu (từ các không gian màu thích hợp) sẽ đƣợc sử dụng cho việc rút trích đặc. .. (computer vision) và nhận dạng mẫu (pattern regconition) Trích chọn đặc trƣng (feature extraction) ảnh mặt ngƣời là một bƣớc xử lý rất quan trọng trong toàn bộ quá trình xử lý tính toán cho FR Gần đây, đặc trƣng kết cấu cục bộ (local texture feature) đƣợc xem là một đặc tả mặt (face descriptor) tốt bởi nó ít thay đổi trong điều kiện có thay đổi về biểu hiện cảm xúc trên mặt, về độ nghiêng gƣơng mặt đƣợc chụp,... bộ 3 thông số RGB vào trong 1 hệ khác chỉ sử dụng hoàn toàn các giá trị dƣơng, đƣợc gọi là XYZ Đây cũng chính là mô hình mẫu đầu tiên của CIE, còn gọi là không gian màu CIE XYZ (Yang et al., 2010) 2.2 Bài toán nhận dạng ảnh mặt ngƣời Trong nhiều năm qua, có rất nhiều công trình nghiên cứu về bài toán nhận dạng mặt ngƣời Các nghiên cứu đi từ bài toán đơn giản, từ việc nhận dạng một mặt ngƣời trong ảnh ... gồm: Chọn không gian màu phù hợp Chọn kênh màu phù hợp không gian màu Trích chọn đặc trƣng kết cấu màu cục cho kênh màu nêu (2) 4 Tìm cách kết hợp đặc trƣng kết cấu cục đƣợc Đặc trƣng kết cấu màu. .. đƣợc phƣơng pháp trích chọn đặc trƣng kết cấu màu cục cho toán nhận dạng ảnh màu mặt ngƣời, sở cải tiến phƣơng pháp Choi đồng sự, cho tăng độ xác nhận dạng (so với phƣơng pháp Choi đồng ) - Mục... hợp đặc trƣng kết cấu màu sắc cục để cải thiện hiệu suất nhận dạng khuôn mặt 3.2.2 Trích chọn đặc trƣng LBP màu (CLBP) Ở đây, tác giả trình bày phƣơng pháp trích chọn đặc trƣng kết cấu màu cục