Xây dựng công cụ nhận dạng khuôn mặt theo thời gian thực hiện trên nền hệ điều hành mã nguồn mỡ

ViÖc nhËn diÖn sù cã mÆt cña mÆt ®èi t­îng trong ¶nh ®­îc tiÕn hµnh dùa vµo viÖc sö dông c¸c líp ®èi t­îng Haar Cascade trong OpenCV... Giao diÖn chÝnh cña hÖ nhËn d¹ng khu«n mÆt.[r]

Xây dựng công cụ nhận Dạng khuôn mặt theo thời gian thực hệ điều hµnh

m· nguån më

Nguyễn Bá Đại*, Dương Quốc Dũng**

Tóm tắt: Bài báo trình bày kết nghiên cứu xây dựng phần mềm nhận diện khuôn mặt theo thời gian thực hệ điều hành mã nguồn mở áp dụng phương pháp trích rút thành phần ma trận đặc trưng, đặc tính màu ảnh Phần mềm thử nghiệm kít phát triển Pandaboard hãng Texas Instrument sử dụng chip 02 lõi ARM-Cotex A9 với hệ điều hành Linux Kết thử nghiệm ban đầu cho thấy công cụ làm việc hiệu có khả áp dụng vào thực tiễn nhiều lĩnh vực

Từ khóa: Thị giác máy, Xử lý ảnh, Nhận dạng đối tượng, Mã nguồn mở, Nhận dạng mặt, PCA

1 đặt vấn đề

Khn mặt người đóng vai trị quan trọng tương tác xã hội chúng ta, cho phép nhận dạng người với người khác Việc nhận dạng đối tượng dựa vào khuôn mặt nhận quan tâm đáng kể năm gần tiềm cho hàng loạt ứng dụng điều khiển robot, ứng dụng an ninh xuất nhập cảnh, quản lý tịa nhà, quản lý ca kíp làm việc phân xưởng, nhận dạng truy bắt tội phạm Nhận dạng mặt người (Face Recognition) lĩnh vực nghiên cứu ngành thị giác máy (Computer Vision) có liện hệ mật thiết với nghiên cứu ngành sinh trắc học Nó có nhiều điểm tương tự với nghiên cứu nhận diện mống mắt hay nhận dạng vân tay mà nghiên cứu đạt đến chín muồi Tuy nhiên nhận khn mặt vấn đề phức tạp, khoa học gặp nhiều khó khăn giải đặc biệt toán xây dựng hệ thống làm việc theo thời gian thực giới hạn tốc độ, nhớ lưu trữ Board hoạt động độc lập

Hệ thống nhận dạng khuôn mặt thời gian thực hệ thống nhận dạng khuôn mặt từ hình ảnh video mà cung cấp camera Như vậy, hệ thống sử dụng lúc hai kỹ thuật kỹ thuật nhận diện khn mặt kỹ thuật nhận dạng, phân lớp đối tượng

Ngày nay, hệ thống nhúng phát triển mạnh mẽ ứng dụng rộng rãi hệ thống kỹ thuật thiết bị cầm tay Hệ thống nhúng với hệ điều hành đóng vai trị quan trọng q trình phát triển Có nhiều hệ điều hành nhúng đời hệ điều hành Windows CE, VxWorks (Wind River Systems), Windows NT, QNX RTOS Linux

người dùng can thiệp sâu, tối ưu hóa phép tốn để tăng khả tính tốn, đáp ứng u cầu thời gian thực số toán

Mục tiêu đề tài nghiên cứu xây dựng cơng cụ nhận dạng mặt thiết bị có tốc độ xử lý tài nguyên hữu hạn để áp dụng cho toán thực tiễn cụ thể làm việc theo thời gian thực, ví dụ chấm công cho nhân viên công ty, nhà máy; thiết bị giám sát vào cho đơn vị có tính an ninh, bảo mật cao Thiết bị phải đảm bảo gọn nhẹ, hoạt động ổn định nhận diện đối tượng di chuyển tốc độ người bình thường Trong phạm vi báo, tác giả nghiên cứu ứng dụng kỹ thuật nhận diện đối tượng, phương pháp sử dụng khuôn mặt đặc trưng (Eigenfaces) kết hợp với phương pháp so sánh tương quan để so khớp nhận dạng đối tượng Trong đó, tác giả tập trung nghiên cứu khả ứng dụng phương pháp mặt đặc trưng (Eigenfaces) cho toán xây dựng đặc trưng nhận dạng mặt, đồng thời xem xét thông số ảnh hưởng đến thời gian tính tính tốn, ước lượng để đưa thông số ảnh đầu vào đảm bảo tốc độ tính tốn đáp ứng u cầu tốn thời gian thực board nhúng Từ thông số thu được, tác giả tiến hành thử nghiệm kít phát triển Pandaboard hãng Texas Instrument sử dụng chip 02 lõi ARM-Cotex A9 với hệ điều hành Linux thu kết khả quan

2 nội dung giải 2.1 Lựa chọn phương pháp

Như nói trên, để giải tốn nhận dạng mặt người theo thời gian thực, cần giải vấn đề nhận diện khuôn mặt nhận dạng, phân lớp đối tượng

Để giải tốn nhận dạng khn mặt người, có hai hướng sử dụng là:

Nhận dạng dựa đặc trưng phần tử khn mặt (Feature Based Face Fecognition) Khi đó, chi tiết khn mặt (như vị trí, diện tích, hình dạng mắt, mũi, miệng) mối quan hệ hình học chúng (như khoảng cách hai mắt, khoảng cách hai lông mày, tương quan phận ) sử dụng làm đặc trưng cho toán so khớp đối tượng giai đoạn Phương pháp có ưu điểm gần với cách người sử dụng để nhận biết khn mặt, ngồi phương pháp loại bỏ sai số trường hợp ảnh bị nghiêng hay nhiễu điều kiện ánh sáng Tuy nhiên nhược điểm lớn nhấtcủa phương pháp thuật toán phức tạp, khối lượng tính tốn lớn kết xử lý thấp đối tượng khoảng cách xa

của tập hợp vector liệu ban đầu Từ đó, Matthew A Turk Alex P Pentland phát triển phương pháp nhận dạng mặt sử dụng khuôn mặt đặc trưng[2], phương pháp cụ thể cho toán nhận dạng mặt mà tác giả sử dụng cho việc xây dựng cơng cụ Khi đó, tốn giải qua bước sau:

1 Khởi tạo: tính tốn khn mặt đặc trưng từ tập ảnh liệu đầu vào xây dựng không gian đặc trưng nhiều chiều cho ảnh đặc trưng

2 Đối với ảnh cần nhận dạng, thực việc biểu diễn không gian đặc trưng, tính tốn độ tương quan với vector tập liệu

3 Đánh giá độ tương quan để truy xuất kết

2.2 Các bước tiến hành

Xây dựng không gian đặc trưng cho tập ảnh liệu

Giả sử ảnh mặt I(x,y) biểu diễn thành mảng giá trị cường độ sáng hai chiều có kích thước W H, biểu diễn thành dạng vector khơng gian, kích thước vector hay nói cách khác chiều khơng gian WH Ví dụ, ảnh liệu có dạng hình vng kích thước 256, số chiều khơng gian để biểu diễn ảnh 65,536

Nếu tập ảnh đầu vào gồm m phần tử, phần tử biểu diễn dạng vector cột Xi, ta có giá trị trung bình ảnh mặt là:

1 m

i i

X X

m 

 (1)

Sai khác mặt với giá trị trung bình tính theo công tức:

i Xi X

   (2)

Từ đó, tập hợp giá trị sai khác tập ảnh liệu so với giá trị trung bình tạo thành ma trận A có dạng:

 m

A    (3)

Từ xây dựng ma trận hiệp phương sai Ở ta sử dụng thủ thuật Mathew A.Turk Alex P.Pentland [2] đảo chiều nhân ma trận làm giảm đáng kể số chiều ma trận để tìm vector giá trị riêng dễ dàng mà hiệu tốt : C AT*A AT ma trận chuyển vị ma trận liệu đầu

vào A, C ma trận hiệp phương sai Khi giá trị riêng xác định là12 m0, vector riêng a1, ,am,thực đánh giá lựa chọn số trị riêng vector riêng làm sở trực chuẩn cho không gian Gọi ma trận sở trực chuẩn cho không gian ME Các vector liệu ban đầu biểu diễn không gian đặc trưng thơng qua phép tốn quay:

*

T

MF ME A (4)

Trong MF ma trận chứa tọa độ vector ảnh tập liệu khơng gian

Tính toán độ tương quan ảnh nhận dạng với tập ảnh liệu

Đối với ảnh nhận dạng: ảnh chuẩn hóa kích thước so với tập liệu ảnh sở Mỗi ảnh đầu vào trình nhận dạng có dạng vector cột X có cỡ kích thước WH

X X

   (5)

Toạ độ vector ảnh đầu vào biểu diễn không gian đặc trưng có dạng: *

T

IFME  (6)

Độ tương quanSigiữa ảnh cần nhận dạng tập ảnh liệu xác định thông qua khoảng cách Euclide vector IF với cột ma trận MF:

 

1

1 i

Si

IF MF 

  (7)

Giá trị Si lớn ảnh đầu vào giống với thành phần Fi ma trận MF, từ ta đưa kết luận cho ảnh cần nhận dạng

3 Xây dựng công cụ lựa chọn tham số 3.1 Phương pháp, công cụ thực

Công cụ xây dựng hệ điều hành mã nguồn mở Ubuntu với hỗ trợ thư viện xử lý ảnh OpenCV Các ảnh tập huấn luyện ảnh nhận dạng thu trải qua trình nhận diện, tiền xử lý chuẩn hóa kích thước tương tự tương tự với điều kiện tiến hành nhận dạng Việc nhận diện có mặt mặt đối tượng ảnh tiến hành dựa vào việc sử dụng lớp đối tượng Haar Cascade OpenCV

Trong chương trình, chúng tơi thử nghiệm nhận diện đồng nghiệp quan, đối tượng nhận dạng đưa vào sở liệu ảnh, trạng thái khác với số lượng ảnh download từ internet Số lượng đối tượng sử dụng cho cho việc nhận dạng thử nghiệm 50 người, số ảnh sở liệu 500 Việc tiền xử lý liệu sở ban đầu, tính tốn ma trận tương quan giá trị riêng tác giả sử dụng cơng tốn hỗ trợ q trình tính tốn thực khởi động chương trình Các kết thu lưu trữ vào file truy xuất q trình tính tốn Nhờ cách xử lý làm giảm đáng kể thời gian tính tốn

H×nh Lưu đồ thuật tốn chương trình nhận dạng.

H×nh Giao diƯn chÝnh hệ nhận dạng khuôn mặt Giao diện gm có phần chính:

1 Vùng hiển thị tín hiệu video từ camera

2 Vùng khuôn mặt phát cắt phục vụ cho trình nhận dạng Vùng hiển thị kết khuôn mặt sau nhận dạng

4 Vựng hiển thị thông số q trình nhận dạng bao gồm thời gian tính toán, số mặt tương quan lớn giá trị tương quan Vùng thể dạng text thay đổi có xuất mặt người trường quan sát camera

Tuy nhiên, trình thực hiện, thiết bị phần cứng cụ thể, sử dụng Pandaboard ARM-Cotex A9, tác giả nhận thấy có nhiều yếu tố ảnh hưởng tới đặc tính hoạt động chương trình thời gian tính tốn, khoảng cách tới đối tượng chương trình bắt đầu nhận diện, độ xác thuật tốn Ngồi yếu tố thuộc tính thiết bị tốc độ xử lý chip thuật tốn chương trình tối ưu hóa, kích thước tập ảnh liệu ảnh nhận dạng có yếu tố có ảnh hưởng lớn tới đặc tính hoạt động Rõ ràng kích thước ảnh giảm xuống, thời gian tính tốn giảm, nhiên việc giảm chiều liệu làm nhiều thông tin ảnh, hiển nhiên làm độ xác nhận dạng giảm xuống Như để đảm bảo yêu cầu làm việc theo thời gian thực độ xác làm việc thiết bị, cần cân nhắc kỹ để lựa chọn kích thước ảnh hợp lý Nhận thấy việc tính tốn thời gian xử lý chương trình theo kích thước ảnh cách xác khó khăn, tác giả đề xuất tìm thơng số kích thước ảnh hợp lý thông qua việc thử nghiệm giá trị khác Ngồi ra, từ việc thử nghiệm ta cịn đánh giá số đặc tính chương trình thay đổi theo kích thước ảnh

Bảng Kết thử nghiệm thuật toán với kích thước ảnh khác Kích thước ảnh

mỈt(pixel) 40x44 80x88 100x110 150x165 200x220 232x256 Thêi gian tÝnh trung

b×nh (ms) 12 23 31 39

Khoảng cách trung bình bắt đầu trình

nhËn diÖn(m)

3.5 2.5 2.2 1.8 1.5 1.2

Độ xác 64.6% 78.7% 82.3% 88.2% 92.2% 94.1%

Trong trình truy xuất kết quả, để tránh xảy điểm bất thường, tác giả nhận thấy, việc xuất kết sai thường xảy cách ngẫu nhiên sau lại trả giá trị chân lý Tác giả đề xuất đưa việc chấp nhận kết nhận dạng truy xuất có liên tiếp số lần nhận dạng có kết Trường hợp nhận dạng có kết sai số lần liên tiếp khác xảy nên cách xử lý làm cho kết nhận dạng tăng lên cách đáng kể Với việc truy xuất kết cho ba lần xử lý liên tiếp, tác giả thu kết khả quan hơn:

Bảng Kết thử nghiệm thuật tốn với kích thước ảnh khác sau ba lần trùng khớp kết Kích thước ảnh

mỈt(pixel) 40x44 80x88 100x110 150x165 200x220 232x256 Thêi gian tÝnh trung

b×nh (ms) 12 27 36 69 93 117

Khoảng cách trung bình bắt đầu trình

nhận diện(m)

3.5 2.5 2.2 1.8 1.5 1.2

Độ xác 87.4% 90.2% 94.5% 95.6% 96.4% 97.1%

4 KÕt luËn

Từ kết thử nghiệm, tác giả nhận thấy, mục đích sử dụng cơng cụ (chấm công, quản lý đối tượng vào khu vực, hay làm nhiệm vụ cảnh báo an ninh) đánh giá yêu cầu để lựa chọn thông số hợp lý

Với mục đích chương trình hoạt động thử nghiệm nhận diện theo thời gian thực đối tượng vào quan (Khoa), tác giả vào kết lựa chọn yếu tố định đến tính tốn kích thước ảnh chuẩn cho tập liệu cho ảnh mặt đầu vào nhận diện Với kích thước ảnh đầu vào có kích thước 640x480 kích thước quy chuẩn mặt đối tượng 100x110, tốc độ phát mặt nhận dạng mặt chương trình nhanh, đảm bảo phát tách mặt đối tượng, xử lý đưa 27 kết nhận dang giây, đảm bảo tốc độ yêu cầu

Trong trình thực nghiệm, tác giả nhận thấy hệ thống cần cải tiến thuật tốn để loại bỏ tối đa yếu tố nhiễu môi trường nhận dạng, tối ưu hóa tốc độ chương trình nhằm giảm cơng suất làm việc cho chíp nhằm đảm bảo tính tin cậy tài nguyên hệ nhúng Đồng thời thử nghiệm tập mẫu thực lớn nhắm đánh giá xác kết

Lời cảm ơn: Nhóm tác giả xin gửi lời cám ơn chân thành tới giáo viên Khoa Hàng không vũ trụ, Học viện kỹ thuật Quân giúp đỡ nhiệt tình nhóm nghiên cứu q trình tiến hành thử nghiệm thuật tốn

Tµi liƯu tham kh¶o

[1] Herve Abdi and Lynne J Williams, “Principal component analysis,” Wiley Interdisciplinary Reviews: Computational Statistics, 2: 433–459

[2] Matthew A Turk and Alex P Pentland, “Face recognition using eigenfaces.” In Proceedings CVPR 91, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1991

[3] Peter N Belhumeur, Joao P Hespanha, and David J Kriegman, “Eigenfaces

vs fisherfaces: Recognition using class specific linear projection,” IEEE

Transactions On Pattern Analysis And Machine Intelligence, 19(7):711–720, July 1996

[4] W Zhao, R Chellappa, P J Phillips, and A Rosenfeld “Face recognition: A literature survey,” ACM Computing Surveys,35(4):399-458, December 2003 [5] Rafael C Gonzalez, Richard E Woods, “Digital Image Processing,” 2nd

edition, Prentice Hall, Upper Saddle River, NJ, pp 693-750

[6] Robert Laganière, “OpenCV Computer Vision Application Programming Cookbook,” Published by Packt Publishing Ltd 32 Lincoln Road, Olton,Birmingham, B27 6PA, UK

[7] I.T Jolliffe, ‘Principal Companent Analysis,” 2nd edition, Springer, New York, 2005

abstract

building face recognition tool in real time based open source

This paper presents research building face recognition tool in real time based open source with using principal companent analysis Initial test results show that the tool has worked quite effectively and be able to apply in practice in many fields.

Keywords: Computer vision, Image processing, Face recognition, PCA

Nhận ngày 08 tháng năm 2013 Hoàn thiện ngày 08 tháng 01 năm 2013 Chấp nhận đăng ngày 14 tháng 01năm 2014 Địa chỉ: * Khoa Hàng không Vũ trụ, Học viÖn KTQS