Nhận dạng khuôn mặt người với thông tin mặt người không đầy đủ

Nhận dạng khuôn mặt người có nhiều ứng dụng trong đời sống. Tuy nhiên, bài toán này vẫn còn một số những thách thức nhất định vì ảnh mặt người thu được đôi khi bị mất hay bị nhiễu thông tin. Do đó, trình bày một cách giải quyết vấn đề trên. Từ ảnh ban đầu, tôi phát hiện khuôn mặt và phân vùng mặt theo superpixel, từ đó tách mặt ra thành các vùng riêng biệt.

Giải thưởng Sinh viên Nghiên cứu khoa học Euréka lần thứ XIX năm 2017 Kỷ yếu khoa học NHẬN DẠNG KHUÔN MẶT NGƯỜI VỚI THÔNG TIN MẶT NGƯỜI KHÔNG ĐẦY ĐỦ Võ Hoàng Trọng* Trường Đại học Khoa học Tự nhiên – Đại học Quốc gia TP Hồ Chí Minh *Tác giả liên hệ: hoangtrong2305@gmail.com TĨM TẮT Nhận dạng khn mặt người có nhiều ứng dụng đời sống Tuy nhiên, tốn cịn số thách thức định ảnh mặt người thu đơi bị hay bị nhiễu thơng tin Do đó, tơi trình bày cách giải vấn đề Từ ảnh ban đầu, phát khuôn mặt phân vùng mặt theo superpixel, từ tách mặt thành vùng riêng biệt Sau đó, tơi áp dụng Mạng neural tích chập để huấn luyện vùng mặt Khi kiểm tra, sử dụng vài vùng thơng tin có khn mặt để nhận dạng, sau đó, tơi đề xuất cách kết hợp trễ vùng phương pháp bầu chọn, thông qua hàm tính điểm để từ đưa kết luận danh tính khn mặt ảnh Tơi thực nghiệm phương pháp dựa toàn mặt vài phần khn mặt người Từ khóa: Nhận dạng khn mặt người, mạng neural tích chập, superpixel, kết hợp trễ FACE RECOGNITION BASED ON INCOMPLETED FACE INFORMATION Vo Hoang Trong* University of Science – VNU Ho Chi Minh City *Corresponding Author: hoangtrong2305@gmail.com ABSTRACT Face recognition has many applications in real life However, this problem still has some major challenges because face image captured from a camera can be lost or has noise information In this paper, I proposed a solution to solve those problems Given a face image, first, I detect face on that image and partition face into individual areas by using superpixel On testing, I recognize face by using areas that exist on the face, used a late fusion by voting method and a score function to determine the identification of the face I experimented on the frontal face as well as some areas of the face Keywords: Face recognition, convolutional neural network, superpixel, late fusion TỒNG QUAN Nhận dạng khuôn mặt người toán thu hút nhiều quan tâm ngành thị giác máy tính qua thập kỉ Bài toán phương pháp sinh trắc học giúp xác định danh tính người sở hữu khn mặt cần kiểm tra Thời gian gần đây, với phát triển mạnh mẽ Máy học, nhiều thuật toán đời giải toán nhận dạng mặt người với độ xác cao Bài tốn nhận dạng khn mặt người áp dụng rộng rãi nhiều lĩnh vực khác Để bắt kịp ưu Cuộc cách mạng công nghiệp lần thứ xây dựng Thành phố thông minh, ta cần ứng dụng tốn nhận dạng khn mặt người thơng qua camera giám sát công cộng nhằm phát đối tượng đám đông sân bay, sân vận động hay phát người vi phạm giao thơng ngồi đường phố Ngoài ra, ứng dụng liên quan đến nhận dạng khn mặt kể như: Hệ thống phát tội phạm, hệ thống theo dõi nhân đơn vị, hệ thống tìm kiếm thơng tin ảnh, video dựa nội dung Tuy nhiên, toán số thách thức định áp dụng vào thực tế ảnh mặt người thu bị nhiễu sáng, mặt bị nghiêng hay chụp phần mặt, khiến thông tin mặt khơng đầy đủ, phương pháp áp dụng tồn khn mặt trước đạt kết không cao áp dụng phần khuôn mặt Do đó, báo trình bày cách giải tốn nhận dạng khn mặt người với thông tin mặt người không đầy đủ khuôn mặt người bị nghiêng Dựa vào đặc điểm thông tin không đầy đủ 124 Giải thưởng Sinh viên Nghiên cứu khoa học Euréka lần thứ XIX năm 2017 mặt người nên tơi giải tốn theo hướng tiếp cận cục mặt, cụ thể, phân vùng mặt thành vùng nhỏ nhận dạng vùng, sau đó, tuỳ thuộc vào lượng thơng tin có ảnh kiểm tra, tơi lấy kết nhận dạng vùng tương ứng, sử dụng cách kết hợp trễ vùng riêng biệt dựa phương pháp bầu chọn xây dựng hàm tính điểm, từ đưa danh tính ảnh mặt người kiểm tra VẬT LIỆU VÀ PHƯƠNG PHÁP Phát mặt người phân vùng mặt Superpixel Cho ảnh ban đầu, tơi sử dụng thuật tốn Biểu đồ độ dốc định hướng (Histogram of Oriented Gradients – HOG) để phát khuôn mặt ảnh Sau phát khn mặt mặt bị nghiêng, điều làm nhiễu số thơng tin mặt, tơi cần phải canh chỉnh lại khuôn mặt cách phân bố 68 điểm mốc lên khuôn mặt Từ 68 điểm mốc, xác định tâm mắt trái 𝐼mắt trái tâm mắt phải 𝐼mắt phải , từ đó, ta canh chỉnh khn mặt (nếu khuôn mặt bị nghiêng) để đường thẳng qua 𝐼mắt trái 𝐼mắt phải song song với cạnh khuôn mặt Đồng thời, sử dụng điểm mốc biên mặt để phân đoạn mặt người Do ảnh mặt người chịu ảnh hưởng nguồn sáng 𝐿 q trình thu ảnh nên tơi dùng Kỷ yếu khoa học Hiệu chỉnh Gamma để khôi phục nguyên trạng bề mặt khuôn mặt người Tôi đề xuất phương pháp để tự động xác định 𝛾, xét tập mức xám vùng có mặt người, tơi tính mật độ xác suất, từ tính giá trị trung vị mode Tôi xác định tập điểm ảnh tụ nhiều vùng tối giá trị xám trung vị mode nằm vùng tối, trung vị mode nằm vùng sáng tơi nói tập điểm ảnh tụ nhiều vùng sáng, ngược lại tập điểm ảnh tụ nhiều vùng trung bình Trên mặt người có vùng đặc biệt mà từ tơi phân biệt người với người mắt, mũi, miệng, da, đó, tơi tách mặt thành vùng riêng biệt mắt, mũi, miệng, má, trán, nên đề xuất cách chia thành 12 vùng Tôi thấy 12 phân vùng tạm thời có chứa vùng có nhiều thông tin quan trọng mặt miệng (vùng 5), mắt trái (vùng 8), mắt phải (vùng 10) mũi (vùng 11) Nhận xét vùng da quanh mắt, mũi miệng có mức xám tương đương nên tơi sử dụng superpixel tồn mặt, mảng superpixel nằm vùng nhiều thuộc vùng đó, sau vùng tơi lấy biên superpixel biên vùng, 12 phân vùng Sau xác định vùng tương ứng superpixel, 12 phân vùng theo biên superpixel Hình Cho ảnh vào (ảnh trái), tơi phát khuôn mặt, hiệu chỉnh Gamma phân vùng theo superpixel (ảnh giữa), sau đó, tơi thu 12 phân vùng theo biên superpixel (ảnh phải) 125 Giải thưởng Sinh viên Nghiên cứu khoa học Euréka lần thứ XIX năm 2017 Huấn luyện vùng CNN Ngoài đặc trưng trội hình dạng, màu sắc vùng, vùng cịn có đặc trưng nhỏ nốt ruồi, vết sẹo, nếp nhăn Do đó, tơi mong muốn sau phân vùng, tơi lấy nhiều đặc trưng nhỏ vùng nên tơi sử dụng Mạng neural tích chập (Convolutional Neural Network - CNN) để huấn luyện vùng CNN có khả phát đặc trưng nhỏ vùng cách hiệu Tơi sử dụng kiến trúc CNN dựa kiến trúc mạng VGG đơn giản hơn, chủ yếu lớp CONV  CONV  MAXPOOLING lặp lại nhiều lần nhằm tiết kiệm thời gian có bước đánh giá sơ khởi đề tài (Hình 3) Trong trình huấn luyện, tơi dùng softmax kết hợp cross entropy để tính tốn sai số Adam để tổi thiểu hoá sai số Ngồi ra, huấn luyện mơ hình, thơng thường ta cần giảm tốc độ Kỷ yếu khoa học học xuống, tơi sử dụng phân rã dạng hàm mũ với giá trị tốc độ học mà khai báo ban đầu để có giá trị tốc độ học huấn luyện (ban đầu khai báo tốc độ học 0.001) CNN học trọng số trình huấn luyện cách cộng vector sai số, nhân với tốc độ học trượt dốc bước lan truyền ngược để tạo ma trận trọng số Khi nhân với tốc độ học, khơng chuẩn hóa liệu miền phân phối giá trị đặc trưng đặc trưng khác nhau, tốc độ học hiệu chỉnh chiều khác nhau, tơi muốn đặc trưng phải có miền xác định Tơi tiến hành chuẩn hóa cách tính trung bình độ lệch chuẩn điểm ảnh kênh toàn liệu huấn luyện kiểm tra, sau đó, kênh ảnh trừ giá trị trung bình để trung bình kênh chia cho độ lệch chuẩn tương ứng kênh Hình Kiến trúc CNN sử dụng đề tài Phương pháp phân loại từ nhiều phân loại xác Khi đó, hệ số 𝛼𝑖 𝛽𝑖 chia cho khác tổng độ xác Tơi thu giá trị 𝑃𝑖 (𝑎) Vì lý thơng tin vùng có q trình huấn luyện vùng, vùng khơng có thơng tin nên tơi xây dựng với 𝑃𝑖 (𝑎) xác suất vùng 𝑖 đối tượng 𝑎 phân loại kết hợp trễ từ 𝑛 kết 𝑛 giống với vùng 𝑖 ảnh kiểm tra phân loại trước dựa vào trọng số xác suất Sau kiểm tra 𝑛 vùng, áp dụng biểu phân loại Mỗi kết thức arg max 𝑓(𝑢), đối tượng có điểm 𝑢 phân loại xem biến ngẫu cao tơi kết luận ảnh kiểm tra nhiên đối tượng Cho ảnh kiểm tra, giả sử chia mặt thành 𝑛 vùng, với vùng 𝑖, tơi chọn 𝑘 đối KẾT QUẢ VÀ THẢO LUẬN tượng có vùng 𝑖 mặt có xác suất giống Tơi thực nghiệm máy sử dụng hệ điều với vùng 𝑖 ảnh kiểm tra nhất, sau tơi hành Windows 10 Pro 64 bit với RAM tính điểm 𝑘 đối tượng Sau 𝑛 vùng, đối 24GB, Intel(R) Core(TM) i7-6700K CPU @ tượng có điểm cao nhất, tơi kết luận 4.00GHz, huấn luyện GPU NVIDIA đối tượng thuộc ảnh kiểm tra Tôi GeForce GTX 980, dung lượng GB Trong xác định hệ số vùng cách sau huấn q trình huấn luyện, tơi sử dụng Python kết luyện vùng 𝑖 tập huấn luyện, hợp với thư viện mã nguồn mở TensorFlow đưa vùng 𝑖 tập duyệt vào để xác định Google phát triển độ xác 𝛽𝑖 , sau đó, tơi tính tổng độ Tơi sử dụng liệu FaceScrub (Hình 4), 126 Giải thưởng Sinh viên Nghiên cứu khoa học Euréka lần thứ XIX năm 2017 liệu sử dụng số ảnh công khai mạng, bao gồm 530 người tiếng tổng cộng có 106863 ảnh, trung bình người có khoảng 200 ảnh, ảnh liệu đa dạng với nhiều góc nghiêng mặt, đối tượng, khn mặt có nhiều đặc điểm khác đeo kính, đa dạng kiểu tóc, râu, ảnh già, trẻ chất lượng ảnh khơng đồng đều, có ảnh bị nhiễu sáng, ảnh bị mờ Những ảnh lấy từ cảnh thực mạng với nhiều điều kiện, môi trường lấy ảnh khác Bộ liệu FaceScrub sử dụng làm liệu thi nhận dạng mặt người MegaFace trường Đại học Washington, Hoa kỳ tổ chức Khi thực nghiệm, sử dụng 50 đối tượng, Kỷ yếu khoa học đối tượng có 80 ảnh có đủ 12 vùng mặt Tơi chia đối tượng có 48 ảnh huấn luyện, 16 ảnh duyệt 16 ảnh kiểm tra Để tránh tượng khớp huấn luyện liệu đối tượng nhỏ, tăng số lượng ảnh huấn luyện cách ảnh, tạo thêm 30 ảnh khác Tôi huấn luyện 12 vùng riêng biện CNN, thu độ xác vùng dựa tập duyệt Sau đó, Tơi thực nghiệm cách tổ hợp tồn 12 vùng mặt Ngồi ra, tơi cịn nhận dạng mặt sử dụng số vùng nhằm đảm bảo tính thiếu thơng tin mặt người Khi thực nghiệm, thực nghiệm trường hợp: Tập duyệt, tập kiểm tra tập kết hợp từ tập duyệt kiểm tra Hình Một số ảnh liệu FaceScrub Bảng Một số trường hợp thông tin không đầy đủ mặt dùng để thực nghiệm (1) (2) (3) 127 (4) Giải thưởng Sinh viên Nghiên cứu khoa học Euréka lần thứ XIX năm 2017 Kỷ yếu khoa học Bảng Kết nhận dạng trường hợp Trường hợp Độ xác tập kiểm tra Độ xác tập duyệt Độ xác ghép tập duyệt kiểm tra (1) 85.6250% 86.0000% 85.8125% (2) 79.0000% 80.8750% 79.9375% (3) 72.8750% 73.0000% 72.9375% (4) 64.8750% 63.7500% 64.3125% KẾT LUẬN VÀ ĐỀ NGHỊ Cơng trình đề xuất phương pháp nhận dạng khuôn mặt người với thông tin không đầy đủ mặt người Tôi đề xuất phương pháp chia mặt thành 12 vùng theo superpixel, sau áp dụng CNN để nhận dạng vùng Khi đưa ảnh kiểm tra để nhận dạng, tuỳ vào lượng thông tin có ảnh, tơi lấy vùng tương ứng, sau áp dụng cách kết hợp trễ phương pháp bầu chọn dựa vào vector xác suất, sau tổ hợp kết nhận dạng vùng, chọn đối tượng có điểm cao nhất, từ đưa kết luận ảnh kiểm tra thuộc đối tượng Dựa vào Bảng 1, tơi thấy khn mặt có thêm vùng chứa nhiều thơng tin mắt, mũi, miệng kết nhận dạng cao so với vùng chứa thông tin trán, má Hướng phát triển tới, huấn luyện với nhiều ảnh nghiên cứu cách áp dụng thuật toán vào mặt nghiên hẳn phía đề xuất phương pháp tự phát vùng thơng tin có mặt người Ngồi ra, vùng mặt có đặc điểm khác nên cần có kiến trúc học đặc thù thay tơi dùng kiến trúc mạng VGG cho toàn 12 vùng TÀI LIỆU THAM KHẢO ACHANTA, R ET AL., (2012): SLIC superpixels compared to state-of-the-art superpixel methods IEEE transactions on pattern analysis and machine intelligence, 34(11), pp 2274-2282 DALAL, N & TRIGGS, B., (2005): Histograms of oriented gradients for human detection Computer Vision and Pattern Recognition, 2005 CVPR 2005 IEEE Computer Society Conference on, June, Volume 1, pp 886-893 GOOGLE BRAIN TEAM, (2015): TensorFlow: An open-source software library for Machine Intelligence KAZEMI, V & SULLIVAN, J., (2014): One millisecond face alignment with an ensemble of regression trees Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp 1867-1874 KINGMA, D & BA, J., (2014): Adam: A method for stochastic optimization arXiv preprint arXiv:1412.6980 VISION & INTERACTION GROUP, (2016) FaceScrub: A Dataset With Over 100,000 Face Images of 530 People 128 ... nhận dạng khuôn mặt người với thông tin không đầy đủ mặt người Tôi đề xuất phương pháp chia mặt thành 12 vùng theo superpixel, sau áp dụng CNN để nhận dạng vùng Khi đưa ảnh kiểm tra để nhận dạng, ... canh chỉnh khuôn mặt (nếu khuôn mặt bị nghiêng) để đường thẳng qua