Bài báo trình bày kết quả nghiên cứu xây dựng phần mềm nhận diện khuôn mặt theo thời gian thực trên hệ điều hành mã nguồn mở áp dụng phương pháp trích rút các thành phần chính ma trận đặc trưng, đặc tính màu của ảnh. Phần mềm được thử nghiệm trên kít phát triển Pandaboard của hãng Texas Instrument sử dụng chip 02 lõi ARM-Cotex A9 với hệ điều hành Linux. Kết quả thử nghiệm ban đầu cho thấy công cụ đã làm việc khá hiệu quả và có khả năng áp dụng vào thực tiễn trên nhiều lĩnh vực.
Nghiên cứu khoa học công nghệ Xây dựng công cụ nhận Dạng khuôn mặt theo thời gian thực hệ điều hành mã nguồn mở Nguyễn Bá Đại*, Dương Quốc Dũng** Tóm tt: Bài báo trình bày kết nghiên cứu xây dựng phần mềm nhận diện khuôn mặt theo thời gian thực hệ điều hành mã nguồn mở áp dụng phương pháp trích rút thành phần ma trận đặc trưng, đặc tính màu ảnh Phần mềm thử nghiệm kít phát triển Pandaboard cđa h·ng Texas Instrument sư dơng chip 02 lâi ARM-Cotex A9 với hệ điều hành Linux Kết thử nghiệm ban đầu cho thấy công cụ làm việc hiệu có khả áp dụng vào thực tiễn nhiều lĩnh vực Từ khóa: Thị giác máy, Xử lý ảnh, Nhận dạng đối tượng, Mã nguồn mở, Nhận dạng mặt, PCA đặt vấn đề Khuôn mặt người đóng vai trò quan trọng tương tác x· héi cđa chóng ta, cho phÐp chóng ta nhËn dạng người với người khác Việc nhận dạng đối tượng dựa vào khuôn mặt nhận quan tâm đáng kể năm gần tiềm cho hàng loạt ứng dụng ®iỊu khiĨn robot, c¸c øng dơng an ninh nh xuất nhập cảnh, quản lý tòa nhà, quản lý ca kíp làm việc phân xưởng, nhận dạng truy bắt tội phạm Nhận dạng mặt người (Face Recognition) lĩnh vực nghiên cứu ngành thị giác máy (Computer Vision) có liện hệ mật thiết với nghiên cứu ngành sinh trắc học Nó có nhiều điểm tương tự với nghiên cứu nhận diện mống mắt hay nhận dạng vân tay mà nghiên cứu đạt đến chín muồi Tuy nhiên nhận khuôn mặt vấn đề phức tạp, khoa học gặp nhiều khó khăn giải đặc biệt toán xây dựng hệ thống làm việc theo thời gian thực giới hạn tốc độ, nhớ lưu trữ Board hoạt động độc lập Hệ thống nhận dạng khuôn mặt thời gian thực hệ thống nhận dạng khuôn mặt từ hình ảnh video mà cung cÊp bëi camera Nh vËy, hƯ thèng nµy sư dơng lúc hai kỹ thuật kỹ thuật nhận diện khuôn mặt kỹ thuật nhận dạng, phân lớp đối tượng Ngày nay, hệ thống nhúng phát triển mạnh mẽ ứng dụng rộng rãi hệ thống kỹ thuật thiết bị cầm tay Hệ thống nhúng với hệ điều hành đóng vai trò quan trọng trình phát triển Có nhiều hệ điều hành nhúng đời hệ điều hành Windows CE, VxWorks (Wind River Systems), Windows NT, QNX RTOS Linux Trong hệ điều hành trên, hệ điều hành mã nguồn mở Linux đặc biệt quan tâm sức mạnh tài nguyên to lớn cho việc phát triển hệ thống nhúng với CPU đa lõi Một thực tế phủ nhận Linux hay nói chung dòng hệ điều hành phát triển từ Unix tốc độ xử lý nhanh hẳn Window lý Linux đạt hiệu cao việc quản lý sử dụng tài nguyên hệ thống Ngoài hệ điều hành miễn phí với mã nguồn mở, cho phép Tạp chí Nghiên cứu KH&CN Qu©n sù, Sè 29, 02 - 2014 53 Kü thuËt ®iƯn tư & Khoa häc m¸y tÝnh ngêi dïng can thiệp sâu, tối ưu hóa phép toán để tăng khả tính toán, đáp ứng yêu cầu thời gian thực số toán Mục tiêu đề tài nghiên cứu xây dựng công cụ nhận dạng mặt thiết bị có tốc độ xử lý tài nguyên hữu hạn để áp dụng cho toán thực tiễn cụ thể làm việc theo thời gian thực, ví dụ chấm công cho nhân viên công ty, nhà máy; thiết bị giám sát vào cho đơn vị có tính an ninh, bảo mật cao Thiết bị phải đảm bảo gọn nhẹ, hoạt động ổn định nhận diện ®èi tỵng ®ang di chun ë tèc ®é cđa ngêi bình thường Trong phạm vi báo, tác giả nghiên cứu ứng dụng kỹ thuật nhận diện đối tượng, phương pháp sử dụng khuôn mặt đặc trưng (Eigenfaces) kết hợp với phương pháp so sánh tương quan để so khớp nhận dạng đối tượng Trong đó, tác giả tập trung nghiên cứu khả ứng dụng phương pháp mặt đặc trưng (Eigenfaces) cho toán xây dựng đặc trưng nhận dạng mặt, đồng thời xem xét thông số ảnh hưởng đến thời gian tính tính toán, ước lượng để đưa thông số ảnh đầu vào đảm bảo tốc độ tính toán đáp ứng yêu cầu toán thời gian thực board nhúng Từ thông số thu được, tác giả tiến hành thử nghiệm kít phát triển Pandaboard cđa h·ng Texas Instrument sư dơng chip 02 lâi ARM-Cotex A9 với hệ điều hành Linux thu kết qu¶ kh¶ quan néi dung gi¶i quyÕt 2.1 Lùa chọn phương pháp Như nói trên, để giải toán nhận dạng mặt người theo thời gian thực, cần giải vấn đề nhận diện khuôn mặt nhận dạng, phân lớp đối tượng Để giải toán nhận dạng khuôn mặt người, có hai hướng sử dụng là: Nhận dạng dựa đặc trưng phần tử khuôn mặt (Feature Based Face Fecognition) Khi đó, chi tiết khuôn mặt (như vị trí, diện tích, hình dạng mắt, mũi, miệng) mối quan hệ hình học chúng (như khoảng cách hai mắt, khoảng cách hai lông mày, tương quan phận ) sử dụng làm đặc trưng cho toán so khớp đối tượng giai đoạn Phương pháp có ưu điểm gần với cách người sử dụng để nhận biết khuôn mặt, phương pháp loại bỏ sai số trường hợp ảnh bị nghiêng hay nhiễu điều kiện ánh sáng Tuy nhiên nhược điểm lớn nhấtcủa phương pháp thuật toán phức tạp, khối lượng tính toán lớn kết xử lý thấp đối tượng khoảng cách xa Nhận dạng dựa tổng thể khuôn mặt (Appearance Based Face Recognition) Lúc trình nhận dạng không xét chi tiết khuôn mặt nữa, mà xem khuôn mặt vector không gian nhiều chiều từ đánh giá tương quan đối tượng thông qua đánh giá vị trí tương quan vector Tuy nhiên việc sử dụng tất liệu ảnh để dùng cho toán nhận dạng, phân lớp không cần thiết, đặc biệt nhóm liệu có chiều hướng biến đổi mặt người, nên phương pháp phân tích thành phần đề xuất sử dụng phổ biến cho lớp toán Ưu điểm phương pháp phân tích thành phần (Principal Companent Analysis PCA) tác Herve Abdi Lynne J.William tổng hợp nghiên cứu [1] loại bỏ số chiều không gian liệu mà trì biến đổi nhiều 54 N.B Đại, D.Q Dũng , Xây dựng công cụ nhận dạng khuụn mặt mó ngun m Nghiên cứu khoa học công nghệ tập hợp vector liệu ban đầu Từ đó, Matthew A Turk Alex P Pentland phát triển phương pháp nhận dạng mặt sử dụng khuôn mặt đặc trưng[2], phương pháp cụ thể cho toán nhận dạng mặt mà tác giả sử dụng cho việc xây dựng công cụ Khi đó, toán giải qua bước sau: Khởi tạo: tính toán khuôn mặt đặc trưng từ tập ảnh liệu đầu vào xây dựng không gian đặc trưng nhiều chiều cho ảnh đặc trưng Đối với ảnh cần nhận dạng, thực việc biểu diễn không gian đặc trưng, tính toán độ tương quan với vector tập liệu Đánh giá độ tương quan để truy xuất kết 2.2 Các bước tiến hành Xây dựng không gian đặc trưng cho tập ảnh liệu Giả sử ảnh mặt I(x,y) biểu diễn thành mảng giá trị cường độ sáng hai chiều có kích thước W H, biểu diễn thành dạng vector không gian, kích thước vector hay nói cách khác chiều không gian WH Ví dụ, ảnh liệu có dạng hình vuông kích thước 256, số chiều không gian để biểu diễn ảnh 65,536 Nếu tập ảnh đầu vào gồm m phần tử, phần tử biểu diễn dạng vector cột Xi, ta có giá trị trung bình ảnh mặt là: m X Xi (1) m i Sai khác mặt với giá trị trung bình tính theo công tøc: (2) i X i X Tõ ®ã, tập hợp giá trị sai khác tập ảnh liệu so với giá trị trung bình tạo thành ma trËn A cã d¹ng: A 1 m (3) Từ xây dựng ma trận hiệp phương sai ta sử dụng mét thđ tht cđa Mathew A.Turk vµ Alex P.Pentland [2] đảo chiều nhân ma trận làm giảm đáng kể số chiều ma trận để tìm vector giá trị riêng dễ dàng mà hiệu tốt : C AT * A AT ma trận chuyển vị ma trận liệu đầu vào A, C ma trận hiệp phương sai Khi giá trị riêng xác định m , vector riªng a1 , , am ,thực đánh giá lựa chọn số trị riêng vector riêng làm sở trực chuẩn cho không gian míi Gäi ma trËn c¬ së trùc chn cho không gian ME Các vector liệu ban đầu biểu diễn không gian đặc trưng thông qua phÐp to¸n quay: (4) MF ME T * A Trong MF ma trận chứa tọa độ vector ảnh tập liệu không gian Tính toán độ tương quan ảnh nhận dạng với tập ảnh liệu Đối với ảnh nhận dạng: ảnh chuẩn hóa kích thước so với tập liệu ảnh sở Mỗi ảnh đầu vào trình nhận dạng có dạng vector cột X có cỡ kích thước WH Sai khác ảnh đầu vào giá trị trung bình tập liệu: Tạp chí Nghiên cứu KH&CN Quân sự, Số 29, 02 - 2014 55 Kü tht ®iƯn tư & Khoa häc máy tính (5) X X Toạ độ vector ảnh đầu vào biểu diễn không gian đặc trưng có dạng: (6) IF ME T * Độ tương quan Si ảnh cần nhận dạng tập ảnh liệu xác định thông qua khoảng cách Euclide cđa vector IF víi c¸c cét cđa ma trËn MF: Si (7) 1 IF MFi Giá trị Si lớn ảnh đầu vào giống với thành phần Fi ma trận MF, từ ®ã ta cã thĨ ®a kÕt ln cho ¶nh cần nhận dạng Xây dựng công cụ lựa chọn tham số 3.1 Phương pháp, công cụ thực Công cụ xây dựng hệ điều hành mã nguồn mở Ubuntu với hỗ trợ thư viện xử lý ảnh OpenCV Các ảnh tập huấn luyện ảnh nhận dạng thu trải qua trình nhận diện, tiền xử lý chuẩn hóa kích thước tương tự tương tự với điều kiện tiến hành nhận dạng Việc nhận diện có mặt mặt đối tượng ảnh tiến hành dựa vào việc sử dụng lớp đối tượng Haar Cascade OpenCV Trong chương trình, thử nghiệm nhận diện đồng nghiệp quan, đối tượng nhận dạng đưa vào sở liệu ảnh, trạng thái khác với số lượng ảnh download từ internet Số lượng đối tượng sử dụng cho cho việc nhận dạng thử nghiệm 50 người, số ảnh sở liệu 500 Việc tiền xử lý liệu sở ban đầu, tính toán ma trận tương quan giá trị riêng tác giả sử dụng công toán hỗ trợ trình tính toán thực khởi động chương trình Các kết thu lưu trữ vào file truy xuất trình tính toán Nhờ cách xử lý làm giảm đáng kể thời gian tính toán Hình Lu thut toỏn chng trỡnh nhn dng Từ thuật toán trên, tác giả xây dựng công cụ phần mềm chạy Pandaboard ARM-Cotex A9, giao diện thể hình 56 N.B Đại, D.Q Dũng , Xây dựng công cụ nhận dạng khuụn mặt mó ngun m Nghiên cứu khoa học công nghệ Hình Giao diện hệ nhận dạng khuôn mặt Giao diện gm cú phn chính: Vùng hiển thị tín hiệu video từ camera Vùng khuôn mặt phát cắt phục vụ cho trình nhận dạng Vùng hiển thị kết khuôn mặt sau nhận dạng Vùng hin th thông số trình nhận dạng bao gồm thời gian tính toán, số mặt tương quan lớn giá trị tương quan Vùng ny c thể dạng text thay đổi cã sù xt hiƯn cđa mỈt ngêi trêng quan sát camera Tuy nhiên, trình thực hiện, thiết bị phần cứng cụ thể, sử dụng Pandaboard ARM-Cotex A9, tác giả nhận thấy có nhiều yếu tố ảnh hưởng tới đặc tính hoạt động chương trình thời gian tính toán, khoảng cách tới đối tượng chương trình bắt đầu nhận diện, độ xác thuật toán Ngoài yếu tố thuộc tính thiết bị tốc độ xử lý chip thuật toán chương trình tối ưu hóa, kích thước tập ảnh liệu ảnh nhận dạng có yếu tố có ảnh hưởng lớn tới đặc tính hoạt động Rõ ràng kích thước ảnh giảm xuống, thời gian tính toán giảm, nhiên việc giảm chiều liệu làm nhiều thông tin ảnh, hiển nhiên làm độ xác nhận dạng giảm xuống Như để đảm bảo yêu cầu làm việc theo thời gian thực độ xác làm việc thiết bị, cần cân nhắc kỹ để lựa chọn kích thước ảnh hợp lý Nhận thấy việc tính toán thời gian xử lý chương trình theo kích thước ảnh cách xác khó khăn, tác giả đề xuất tìm thông số kích thước ảnh hợp lý thông qua việc thử nghiệm giá trị khác Ngoài ra, từ việc thử nghiệm ta đánh giá số đặc tính chương trình thay đổi theo kích thước ảnh Tạp chí Nghiên cứu KH&CN Quân sự, Số 29, 02 - 2014 57 Kỹ thuật điện tử & Khoa học máy tính Bảng Kết thử nghiệm thuật toán với kích thước ảnh khác Kích thước ảnh 40x44 80x88 100x110 150x165 200x220 232x256 mỈt(pixel) Thêi gian tÝnh trung 12 23 31 39 bình (ms) Khoảng cách trung bình bắt đầu trình 3.5 2.5 2.2 1.8 1.5 1.2 nhận diện(m) Độ xác 64.6% 78.7% 82.3% 88.2% 92.2% 94.1% Trong trình truy xuất kết quả, để tránh xảy điểm bất thường, tác giả nhận thÊy, viƯc xt kÕt qu¶ sai thêng chØ x¶y cách ngẫu nhiên sau lại trả giá trị chân lý Tác giả đề xuất đưa việc chấp nhận kết nhận dạng truy xuất có liên tiếp số lần nhận dạng có kết Trường hợp nhận dạng có kết sai số lần liên tiếp khác xảy nên cách xử lý làm cho kết nhận dạng tăng lên cách đáng kể Với việc truy xuất kết cho ba lần xử lý liên tiếp, tác giả thu kết khả quan : Bảng Kết thử nghiệm thuật toán với kích thước ảnh khác sau ba lần trùng khớp kết Kích thước ảnh mặt(pixel) Thời gian tính trung bình (ms) Khoảng cách trung bình bắt đầu trình nhận diện(m) §é chÝnh x¸c 40x44 80x88 100x110 150x165 200x220 232x256 12 27 36 69 93 117 3.5 2.5 2.2 1.8 1.5 1.2 94.5% 95.6% 96.4% 97.1% 87.4% 90.2% KÕt luËn Từ kết thử nghiệm, tác giả nhận thấy, ®èi víi tõng mơc ®Ých sư dơng c«ng (chÊm công, quản lý đối tượng vào khu vực, hay làm nhiệm vụ cảnh báo an ninh) đánh giá yêu cầu để lựa chọn thông số hợp lý Với mục đích chương trình hoạt động thử nghiệm nhận diện theo thời gian thực đối tượng vào quan (Khoa), tác giả vào kết lựa chọn yếu tố định đến tính toán kích thước ảnh chuẩn cho tập liệu cho ảnh mặt đầu vào nhận diện Với kích thước ảnh đầu vào có kích thước 640x480 kích thước quy chuẩn mặt đối tượng 100x110, tốc độ phát mặt nhận dạng mặt chương trình nhanh, đảm bảo phát tách mặt đối tượng, xử lý đưa 27 kết nhận dang giây, đảm bảo tốc độ yêu cầu Độ xác thống kê thực nghiệm tập ảnh sở liệu thực (cán giáo viên Khoa) đạt xấp xỉ 94.5% kết xác tổng số lần mà chương trình truy xuất kết 58 N.B Đại, D.Q Dũng , Xây dựng công cụ nhận dạng khuụn mặt mó ngun m Nghiên cứu khoa học công nghệ Trong trình thực nghiệm, tác giả nhận thấy hệ thống cần cải tiến thuật toán để loại bỏ tối đa yếu tố nhiễu môi trường nhận dạng, tối ưu hóa tốc độ chương trình nhằm giảm công suất làm việc cho chíp nhằm đảm bảo tính tin cậy tài nguyên hệ nhúng Đồng thời thử nghiệm tập mẫu thực lớn nhắm đánh giá xác kết Lời cảm ơn: Nhóm tác giả xin gửi lời cám ơn chân thành tới giáo viên Khoa Hàng không vũ trụ, Học viện kỹ thuật Quân giúp đỡ nhiệt tình nhóm nghiên cứu trình tiến hành thử nghiệm thuật toán Tài liệu tham khảo [1] Herve Abdi and Lynne J Williams, “Principal component analysis,” Wiley Interdisciplinary Reviews: Computational Statistics, 2: 433–459 [2] Matthew A Turk and Alex P Pentland, “Face recognition using eigenfaces.” In Proceedings CVPR 91, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1991 [3] Peter N Belhumeur, Joao P Hespanha, and David J Kriegman, “Eigenfaces vs fisherfaces: Recognition using class specific linear projection,” IEEE Transactions On Pattern Analysis And Machine Intelligence, 19(7):711–720, July 1996 [4] W Zhao, R Chellappa, P J Phillips, and A Rosenfeld “Face recognition: A literature survey,” ACM Computing Surveys,35(4):399-458, December 2003 [5] Rafael C Gonzalez, Richard E Woods, “Digital Image Processing,” 2nd edition, Prentice Hall, Upper Saddle River, NJ, pp 693-750 [6] Robert Laganière, “OpenCV Computer Vision Application Programming Cookbook,” Published by Packt Publishing Ltd 32 Lincoln Road, Olton,Birmingham, B27 6PA, UK [7] I.T Jolliffe, ‘Principal Companent Analysis,” 2nd edition, Springer, New York, 2005 abstract building face recognition tool in real time based open source This paper presents research building face recognition tool in real time based open source with using principal companent analysis Initial test results show that the tool has worked quite effectively and be able to apply in practice in many fields Keywords: Computer vision, Image processing, Face recognition, PCA Nhận ngày 08 tháng năm 2013 Hoàn thiện ngày 08 tháng 01 năm 2013 Chấp nhận đăng ngày 14 tháng 01năm 2014 Địa chỉ: * Khoa Hàng không Vũ trụ, Học viện KTQS ** Khoa Kỹ thuật điều khiển, Học viện KTQS Tạp chí Nghiên cøu KH&CN Qu©n sù, Sè 29, 02 - 2014 59 ... giống với thành phần Fi ma trận MF, tõ ®ã ta cã thĨ ®a kÕt ln cho ảnh cần nhận dạng Xây dựng công cụ lựa chọn tham số 3.1 Phương pháp, công cụ thực Công cụ xây dựng hệ điều hành mã nguồn mở Ubuntu... phương pháp Như nói trên, để giải toán nhận dạng mặt người theo thời gian thực, cần giải vấn đề nhận diện khuôn mặt nhận dạng, phân lớp đối tượng Để giải toán nhận dạng khuôn mặt người, có hai... yêu cầu thời gian thực số toán Mục tiêu đề tài nghiên cứu xây dựng công cụ nhận dạng mặt thiết bị có tốc độ xử lý tài nguyên hữu hạn để áp dụng cho toán thực tiễn cụ thể làm viƯc theo thêi gian