Luận văn thạc sĩ Kỹ thuật điện tử: Thiết kế hệ thống giám sát thông minh dựa trên việc phát hiện và nhận dạng khuôn mặt

Trongluận văn nảy trình bày về một hệ thống phát hiện khuôn mặt nhanh và chính xác, cóthé đạt được tốc độ xử lý trên 10 hình ảnh có kích thước trung bình trong một giâyvới tỷ lệ phát hiệ

Trang 1

TRƯỜNG ĐẠI HỌC BÁCH KHOA TP.HCM

KHOA ĐIỆN - ĐIỆN TỬNGÀNH KỸ THUẬT ĐIỆN TỬ

Trang 2

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên

ngành sau khi luận văn đã được sửa chữa (nêu có).

CHỦ TỊCH HỘI ĐÔNG TRƯỞNG KHOA ĐIỆN-ĐIỆN TỬ

Trang 3

ĐẠI HỌC QUÓC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc Lập — Tự Do — Hạnh Phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨHọ tên học viên : LÊ ĐÌNH NGỌC MSHV: 12214211

Ngày thang năm sinh : 08/08/1989 Nơi sinh: Bình PhướcChuyên ngành : Kỹ thuật điện tử Mã ngành: 60 52 70

I TEN DE TÀI: THIẾT KE HE THONG GIÁM SÁT THONG MINH DUA TRENVIEC PHAT HIEN VA NHAN DANG KHUON MAT

Il NHIEM VU VA NOI DUNG:

e Tìm hiểu co sở lý thuyết về các thuật toán phát hiện, xử lý, nhận dạng khuôn mặt

e© Xây dựng ứng dụng bảo mật bằng cách phát hiện, xử lý hình ảnh, nhận dạng khuôn

mặt người trên Kit Raspberry Pi 2

Ill NGÀY GIAO NHIEM VU: 30/9/2014IV NGAY HOAN THANH NHIEM VU: 13/07/2015V CÁN BO HUONG DAN: TS Trương Công Dung Nghi

- Tp HCM, ngày tháng năm 2016

CAN BỘ HUONG DAN CHU NHIEM BO MON DAO TAO

(Ho tén va chit ky) (Ho tén va chit ky)

TRUONG KHOA DIEN DIEN TU

(Ho tên và chữ ky)

Trang 4

LỜI CÁM ƠN!Em xin được gửi lời cam ơn chân thành đến các thay cô khoa Điện — ĐiệnTử, các thay, Cô Phòng Dao Tao Sau Đại Học Bách Khoa TP.HCM đã giúp đỡ và

giảng dạy Em trong quá trình học cao Học Tại Trường Đại Học Bách Khoa TPHCM.

Dé có thé hoàn thành được luận văn này, đó là sự giúp đỡ, giảng dạy nhiệt tình, hếtsức của tất cả các Thầy, Cô trong suốt quá trình học của Em tại Trường Đại Học

Bách Khoa TP HCM.

Em xin gửi lời cảm ơn sâu sac đến Cô Trương Công Dung Nghỉ Người đãtận tình chia sẻ, hướng dẫn, chỉ bảo Em trong suốt một năm qua để Em có thể hoàn

thành được luận văn này đúng hạn Nhờ sự hướng dẫn tận tình của cô, Em đã có

được nhiều kiến thức bố ích trong một lĩnh vực hoàn toán mới lạ đối với Em trướckhi thực thực hiện luận văn này Một lần nữa Em xin chân thành cảm ơn đến cô

Sau cùng, em xin kính chúc quý Thay Cô trong khoa Điện — Điện Tử, cácthay, cô Phòng Đào Tạo Sau Đại Học Bách Khoa TP.HCM thật dồi dào sức khỏe,niềm tin để tiếp tục thực hiện sứ mệnh cao đẹp của mình là truyền đạt kiến thức cho

thê hệ mai sau.

Sinh Viên.Lê Đình Ngọc

Trang 5

Thiết Kế Hệ Thống Giám Sát Thông Minh Dựa GVHD: TS Trương Công Dung Nghi

Trên Việc Phát Hiện Và Nhận Dạng Khuôn Mặt

TOM TAT LUẬN VĂN

Phát hiện và Nhận dạng mặt người là một trong những vấn đề rất thách thứctrong lĩnh vực thị giác máy tính và máy học Các công trình nghiên cứu gần đây đãnâng khá cao độ chính xác của hệ thống phát hiện và nhận dạng khuôn mặt Trongluận văn nảy trình bày về một hệ thống phát hiện khuôn mặt nhanh và chính xác, cóthé đạt được tốc độ xử lý trên 10 hình ảnh có kích thước trung bình trong một giâyvới tỷ lệ phát hiện đúng có thể đạt tới 95% băng cách kết hợp các đặc trưng HaarLike với thuật toán AdaBoost và mô hình phân tầng Cascade Điều này cho phép hệthống có thé phát hiện khuôn mặt từ camera thời gian thực Sau đó, áp dụng thuậttoán PCA để trích rút đặc trưng đưa vào phục vụ quá trình nhận dạng Hệ thống

phát hiện, nhận dạng khuôn mặt được thực hiện trên kit Rasperi Pi 2, với ngôn ngữ

mã nguồn mỡ Open CV Các chức năng của hệ thông phát hiện và nhận dạng khuôn

mặt bao gôm:

e Phat hiện, nhận dạng khuôn mặt từ camera.

e Cảnh báo khi có đối tượng xâm nhập trái phép.e Đăng nhập kiểm soát người dùng

Qua kiểm tra thực nghiệm, hệ thống cho sự chính xác lên đến 97% ở điều kiện ánhsáng tốt Tuy nhiên với điều kiện ánh sáng thấp, khuôn mặt bị nghiêng, hay che mộtphan he thong chua dat duoc két qua tốt như mong đợi

Trang 6

ABSTRACTFace detection and identification is a very challenging problem in the field ofcomputer vision and machine learning The recent study has increased quite highaccuracy of face detection and recognition system.This thesis presents the facedetection and recognition system that, can achieve a processing speed of over 10images in one second and the detection rate can reach 95 % by combining the Haarcharacteristics and AdaBoost algorithm Such a system can detect faces fromcameras in real time The PCA algorithm is then applied for face recognition Theface detection and recognition system is performed on Raspberry Pi 2 board.

Through experimental tests, the system accurate up to 97% in good lightingconditions However, with low lighting conditions, faces tilted, or cover partsystems have not achieved good results as expected.

Trang 7

Thiết Kế Hệ Thống Giám Sát Thông Minh Dựa GVHD: TS Trương Công Dung Nghi

Trên Việc Phát Hiện Và Nhận Dạng Khuôn Mặt

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu được hoàn thành bởi bản thân tôi với

sự hướng dẫn của Cô Trương Công Dung Nghỉ Các số liệu có nguồn gốc rõ ràngvà tuân thủ đúng nguyên tắc Các kết quả thực nghiệm do tôi tìm hiểu, thu thập một

cách trung thực khách quan phù hợp với thực nghiệm.

Tp HCM Ngày Tháng Năm

Sinh Viên

Trang 8

MỤC LỤC

;79I©e0:i97.V001600577 5

Danh sách các thuật ngữ dùng trong luận văn c6 5 56655556655 SS°°eee9999666 5

CHƯƠNG 1: GIỚI THIEU DE TAL << << se se S2 S2 S2 4s £seses 61.1 Giới Thiệu Dé Tài << << << sưng 902 esesesesesesee 61.2 Phạm Vi đề tài -5-5- << << << 9E gn g 0606060909956 7

1.3 Phương pháp nghiên CỨU c6 6G G5559 9.999966669959595959889888666666 8

1.4 Gidi han dé tai c.cccccscscscscscsssssssssessssscssscssssssssssssscesesssssssesssessssssssssssasecesecs 8CHUONG 2: TINH HINH NGHIEN CUU VA LY THUYET TONG QUAN

LIEN QUAN DEN DE TAL .csessssscsscnssensccsscnsccsscnsscnsscnscnssensccnscnscencnscenccessenssenenseenes 9

2.1 Tình Hình Nghiên Cứu Nhận Dang Khuôn Mặt Người 9

2.2 Tổng quát hệ thong nhận dạng khuôn mặt . << <ses 10CHƯƠNG 3: TONG QUAN VE CÁC PHƯƠNG PHAP PHÁT HIỆN VA

NHAN DẠNG KHUÔN IMẶTT << << S2 s9 S4 9959 39523952 15

3.1 Cac phương pháp phát hiện khuôn mặt người . - << 15

3.1.1 Phương pháp phát hiện khuôn mặt dựa trên hình ảnh khuôn mặt 15

3.1.2 Phương pháp nhận dạng khuôn mặt dựa trên cấu trúc hình học của

KUO MAE ec 20

3.2 Cac phương nhận dang khuôn mặt nØưi 5555 ssssssseseess 23

3.2.1 Nhận dang dựa trên các đặc trưng khuôn mat, - 233.2.2 Nhận dang dựa trên xét toàn diện khuôn mặt - - - - <5: 23CHƯƠNG 4: GIẢI THUẬT ADABOOST CHO VIỆC PHÁT HIỆN KHUÔN

lu 25

4.1 Tổng quan về Ada00SẮ o ° << << < << 3 x24 sex 25

4.2 Ly do lựa chọn phương pháp Adab00SÍ oooooo S5 656666566666566 254.3 Giải thuật AdaDOOS << << 6 66 000000004906000006606666666888666666 254.4 Đặc trưng Haar like cccccccssssssssssscccsssscsssssssssssssssscccscssscssssssssssssseeees 28

4.4.1 Xây dựng bộ phân lớp yếu từ những đặc trưng Haar . 5-5-5 2555: 314.4.2 Xếp tang các bộ phân lớp (Cascade of Boosted Classifiers) - 31

CHƯƠNG 5: NHẬN DANG KHUÔN MAT BANG PHƯƠNG PHAP PCA 36

5.1 Phương Pháp PCA (Principle Components AnalÌysIS) 365.2 Trích rút đặc trurng cccccccsccsssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssses 38

5.3 Nhận dang khuôn mặt bằng các EIGENEACES -< << <2 43

Trang 9

Thiết Kế Hệ Thống Giám Sát Thông Minh Dua GVHD: TS Trương Công Dung Nghi

Trên Việc Phát Hiện Và Nhận Dang Khuôn Mặt

CHUONG 6: THIẾT KE, XÂY DUNG HE THONG GIÁM SAT THONG

MINH BANG VIEC NHAN DANG KHUON MAT TREN KIT RASPBERRYPI 244

6.1 Mục tiều đặt ra o0 G555 9 9 9.9.9.9 9.96 6009909 9000000049666060066666966 44

6.2 Sơ đồ giải tÌhuật - << << << xưng 090909000 ssesesee 456.2.1 Lưu Đồ Giải Thuật Tổng quátt 5-5-5 << << se se se se se se eseseses 456.2.2 Lưu đồ phát hiện khuôn mặt . - << << «se e«sesesesesesese 48

6.3 Phát hiện khuôn mặt và thu thập hình ánh 5- <5 -5-s=se< 50

CHƯƠNG 7: KET QUÁ THUC HIỆNN 2 5 << << se se se se se eseseseses 55

7.1 Môi trường thực nghiỆm << <6 5 S S S6 9 99999.999.999 0006666666666 55

7.2 Kết quả thực nghiệm «<< << se ssssEsEseseeeesesesesese 55CHƯƠNG 8: KET LUẬN VÀ HUONG PHAT TRIÊN .5- 5 <<<cs 608.1 KOt IWAN “44 608.2 Hướng phat triỄn .cccccscscscsssssssssscssssssssssssssssscscscsssssssssssssssssssssssssssesees 61

3108000 0 62

CHUONG 9: XÂY DUNG CHƯƠNG TRÌNH NHAN DẠNG MAT NGƯỜI 629.1 Giới Thiệu VỀ Open C\V eo << << sư SE 665 52sssesee 62

9.2 V1 Sa0 lea ChON 000) D022 64

9.3 Cấu trúc và nội dung OpenCC V s-sssscs sec sseseseseseseseseseseses 64

9.4 Các Ham I/O Trong Opency sccccssssssssscccssssssssssccscssssssssccccssssssscees 66

9.5 Hướng Dan cài đặt thư viện OPEN CV trên Window 70CHƯƠNG 10: GIỚI THIỆU KIT RASPBERRY PI 2 VÀ CÁCH CÀI ĐẶT

THU VIEN OPEN CV TREN KIT RASPBERRY PI 2 5 °-55<s- 80

10.1 Giới thiệu kit Raspberry PI 2 << s2 9999666559956668666666 80

10.2 Cài đặt hệ điều hành raspberry PI 2 s- << << se se seseseseseses 84CHUONG 11: TÀI LIEU THAM KHAO .c.cccccssssssssssssssssssssesessssesssesesessssessceces 102

Trang 10

LỜI MỞ ĐẦU

Nhận dạng khuôn mặt là một trong những nghiên cứu trong lĩnh vực thị giác

máy tính và nhận dạng mẫu Nhận dạng khuôn mặt là một khái niệm được phát triểnvào những năm 60 của thế kỷ trước Khi đó, người ta phải dùng tới những phươngpháp tính toán thủ công dé xác định vi trí, khoảng cách va các bộ phận trên khuônmặt VỀ sau, vào cuối thập niên 80, kỹ thuật nhận diện khuôn mặt dần được cảithiện khi M Kirby và L Sirovich phát triển phương pháp tìm mặt riêng (eigenface)sử dụng phương pháp phân tích thành phần chính (PCA), một cột mốc mới trong

ngành công nghệ nhận diện khuôn mặt Ngày nay, công nghệ nhận diện khuôn mặt

đã được nghiên cứu và phát triển trong nhiều lĩnh vực như trong việc điều tra tội

phạm, kiểm tra hành khách ở sân bay, xác thực truy cập vào hệ thống, giám sát hệ

thống vv

Nhận dạng khuôn mặt người (Face recognition) là một lĩnh vực nghiên cứu

của ngành sinh trắc học như nhận dạng vân tay — Fingerprint recognition, hay nhậndạng mồng mắt — Iris recognition Trong khi nhận dạng vân tay va mong mat đã đạttới độ chín, tức là có thể áp dụng trên thực tế một cách rộng rãi thì nhận dạng mặtngười vẫn còn nhiều thách thức và vẫn là một lĩnh vực nghiên cứu thú vị với nhiềungười và còn nhiều hạn chế

Hiện nay có rất nhiều các các phương pháp nhận dạng khác nhau được xâydựng để nhận dạng một người cụ thể trong thế giới thực Tuy nhiên việc nhận dạngđược một người trong thế giới thực là vô cùng khó khăn, bởi vì dé nhận dạng được

ta phải xây dựng được tập cơ sở dữ liệu đủ lớn và việc xử ly dữ liệu lớn này đòi hỏiphải nhanh và chính xác Nhiệm vụ đặt ra là nghiên cứu và xây dựng một chương

trình sử dụng phương pháp nhận dạng có độ chính xác cao mà khối lượng và thờigian tính toán lại ít Để giải quết vẫn để trên có một phương pháp cho phép phântích các thành phần chính của khuôn mặt, giảm bớt số thành phân không cần thiếttạo ra hiệu quả tính toán nhanh mà vẫn đảm bảo được độ chính xác Đó là phương

pháp Principal Components Analysis (PCA) hay còn gọi là: “phân tích các thành

phân chính” Và luận văn tập trung nghiên cứu phương pháp PCA để nhận dạng mặt

người.

Trang 11

Nội dung luận văn gôm 8 chương:Chương 1: Mở dau

Chương 2: Lý thuyết tong quan các va tình hình nghiên cứu liên quan đến đề tai.Chương 3: Sử dụng giải thuật Adaboost dé phát hiện khuôn mặt nhanh

Chương 4 Giải thuật nhận dạng khuôn mặt băng phương pháp PCA

Chương 5: Xây dựng một chương trình demo phát hiện mặt người sử dụng thư viện

mã nguồn mở Opencv và phần mềm Visual c ++

Chương 6: Giới thiệu kit Raspberry pi 2 và cach cai đặt thư viện Open Cv trên kit

Raspberry pI 2.

Chương 7:Thiết kế, xây dựng hệ thống giám sát thông minh băng việc nhận dạng

khuôn mặt trên kit Raspberry pi 2.

Chương 8: Kết luận và hướng phát triển

Trang 12

BANG THUẬT NGỮ

Danh sách các thuật ngữ dùng trong luận văn.Thuật ngữ Giải thích

Classifier Một bộ phân loại được xây dựng theo một thuật toán học

(bộ phân loại) máy nao day, dùng dé phân loại các đối tượng (khuôn mặt

hay không phải khuôn mặt)

False alarm Là ti lệ nhận dang sai cua các bộ phân loại

Feature(đặc trưng)

Các thông tin giúp nhận biết đôi tượng

Haar-like feature Các đặc trưng của đôi tượng trong ảnh Các đặc trưng này

thường được định nghĩa bằng các tính toán với tong điểm

ảnh của một vùng nào đó trên bức ảnh.

Hit rate Là ti lệ nhận dang dung cua các bộ phan loại

Max false alarm Đạt được tỉ lệ sai này thì bộ phân loại được xây dựng

thành công, tỉ lệ sai này là một giá trị bé, có thể chấp nhận

được trong bài toán phân loại.

Strong classifier(bộ phân loại mạnh)

Bộ phân loại được xây dựng từ nhiêu bộ phân loại yêu, có

(bộ phân loại yếu)

Bộ phân loại đơn giản có độ chính xác khoảng 50%.

Trang 13

CHƯƠNG 1: GIỚI THIỆU DE TÀI

1.1 Giới Thiệu Đề Tài.Trong nhiều năm qua, có rất nhiều công trình nghiên cứu về bài toán phát hiện, nhận

dạng mặt người Các nghiên cứu đi từ bài toán đơn giản, từ việc nhận dạng một mặt

người trong ảnh đen trắng cho đến mở rộng cho ảnh màu và có nhiều mặt người trongảnh Đến nay các bài toán phát hiện, nhận dạng mặt người đã mở rộng với nhiều miễn

nghiên cứu như nhận dạng khuôn mặt, định vị khuôn mặt, theo dõi mặt người haynhận dạng cảm xúc con người dựa vào khuôn mặt và đã được ứng dụng rộng rãi trong

nhiều lĩnh vực của đời sống như nhận dạng trong lĩnh vực thương mại, an ninh, phát

hiện tội phạm trong lĩnh vực an ninh, hay trong lĩnh vực xử lý video, hình anh.

Vì vậy, nghiên cứu hệ thống phát hiện, nhận dạng khuôn mặt là một trong những lĩnh

vực thiết yếu, quan trọng của xử lý ảnh Một hệ thống phát hiện, nhận dạng khuôn mặt

gôm có nhiều khối khác nhau, trong đó có 3 khối chính là: Khối phát hiện khuôn mặt,

khôi xử lý, căn chỉnh hình ảnh khuôn mặt, khôi nhận dạng khuôn mặt.

FACE FEATURE

EXTRACTION

{Trích rút đặc

trưng khuônALIGNMENT

Hình 1 1 So đồ khối hệ thống nhận dang tong quát.

Phát hiện khuôn mặt chiêm phân quan trọng trong hệ thông nhận dạng Vì nêu hông

thé phat hiện được khuôn mặt thi sé không có dữ liệu dé nhận dạng được Đã có ratnhiều phương pháp được đưa ra cho van đề phát hiện khuôn mặt Và một trong những

phương pháp được quan tâm, mang lại hiệu quả cao hiện nay là phương pháp

AdaBoost Phương pháp AdaBoost có thể đạt được tốc độ xử lý trên 10 hình ảnh cókích thước trung bình trong một giây với tý lệ phát hiện đúng có thể đạt tới 95% Tốcđộ này cho phép phát hiện khuôn mặt thời gian thực Sau hi phát hiện khuôn mặt khốixử lý ảnh sẽ tiến hành chuẩn hóa hình ảnh để đưa vào khối nhận dạng hình ảnh Hiệnnay có rất nhiều phương pháp nhận dạng khác nhau được xây dựng để phát hiện và

Trang 14

khan ma lĩnh vực nay đang gặp phải Trên thực tế các phương pháp nhận dạng mặt ra

hiểu, xây dựng một hệ thống phát hiện, nhận dạng khuôn mặt bằng cách kết hợp haiphương pháp AdaBoost và PCA.

1.2 Pham vi đề tài.Tìm hiểu bài toán phát hiện và nhận dạng khuôn mặt, đưa ra cái nhìn tong quat véhệ thống phát hiện, nhận dạng khuôn mặt, những hướng tiếp cận chính trong những

nghiên cứu hiện nay.

Tập trung vào việc nghiên cứu giải thuật Adaboost [5] để phát hiện khuôn mặtkhuôn mặt trong ảnh, video Từ đây lưu khuôn mặt tìm được vào CƠ SỞ DỮ LIỆUđể phục vụ cho các mục đích xây dưng hệ thống giám sát thông minh

Tìm hiểu về phương pháp nhận dạng khuôn mặt dựa trên PCA [8] và những van décơ bản về phương pháp PCA

Tìm hiểu Kit Raspberry Raspberry Pi2, cài đặt hệ điều hành Rabian, thư viện Open

nhận, xu ly phát hiện và nhận dạng trên hình ảnh độngXây dựng chương trình

Demo để phát hiện, nhận dạng mặt người trong video thời gian thực

Trang 15

Ap dụng giải thuật dé phát hiện khuôn mặt trên Raspberry pi 2.Áp dụng giải thuật trích rút đặc trưng PCA để nhận dạng khuôn mặt trên kít

Raspberry P12.

Xây dựng hệ thống nhận dạng khuôn mặt trên kit Raspberry pi2 có các chế độ sau:

o_ Chế độ huấn luyện.o Chế độ nhận dang.o Chế độ thêm, xóa ảnh trong cơ sở đữ liệu

o Cảnh báo trên màn hình, phát tín hiệu tại ngõ ra cua kit khiphát hiện xâm nhập của người không có trong cơ sở dữ liệuPhân biệt được người và ảnh của người.

O

o Nhận dạng được người khi đeo kính va không deo kính là

giống nhau.Đưa ra được các kết quả thực nghiệm, những điểm còn hạn chế của hệ thống.LuậnánXây dựng hệ thống giám sát thông minh đáp ứng tốt nhu cau thực tiễn với kitRaspberry pi 2 và các thiết bị phần cứng

1.3 Phương pháp nghiên cứu.

Tham khảo các giải thuật liên quan đã được đề xuất trong các công trình nghiêncứu Đánh giá ưu điểm và hạn chế của từng thuật toán để chọn lọc và áp dụng cho

việc nghiên cứu.

Kế thừa và kết hợp các thế mạnh của các thuật toán và cải tiến một số bước dé thuậttoán giải quyết hiệu quả bài toán đặt ra

Xây dựng chương trình phát hiện, nhận dạng mặt người trong ảnh, video So sánh

kết quả đạt được với kết quả của các công trình nghiên cứu trước đó để đánh giá

mức độ hiệu quả của giải thuật.

1.4 Giới hạn đề tài.Luận ánLuận án chỉ phát hiện và nhận dạng khuôn mặt sau đó điều khiến tín hiệungoai vi bang cách xuất một tin hiệu điện áp ở ngõ ra, dé có thé điều khiến thiết bị

khác như chuông báo.vv.

Luận án chỉ chạy trên kit Raspberry pi2 kết hợp với thư viện mã nguồn mỡ OPENCV [9], vì vậy nó mang nhiều tính chất nghiên cứu hơn so với việc ứng dụng thựctế Dé ứng dụng vao thực tế cần xây dựng thiết bị phần cứng phù hợp hon dé có thé

Trang 16

CHUONG 2: TINH HÌNH NGHIÊN CỨU VÀ LY THUYET TONG QUAN LIEN

QUAN DEN DE TAI

2.1 Tinh Hình Nghiên Cứu Nhận Dang Khuôn Mat Người.

Mặc dù có hơn 20 năm nghiên cứu sâu rong, sô lượng lớn các bai báo đăng trêncác tạp chí và hội nghị dành riêng cho lĩnh vực này Nhưng nhận diện khuôn mặt vânlà một vân đê còn nhiều khó khăn, thách thức vân chưa được giải quyết triệt dé

Những khó khăn mà lĩnh vực nhận diện khuôn mặt đang gặp phải chủ yếu là dođiều kiện chụp khó khăn như ánh sáng, góc chụp, sự chuyển động của cơ thé và do các

yếu t6 khác như lão hóa, nét mặt vv Ngày wnay các lĩnh vực nghiên cứu thi giác máytính, xử lý và phân tích ảnh, nhận dạng mẫu, học máy đang được kết hợp với nhaunhăm thúc đây các ứng dụng có độ tin cậy cao và khả thi hơn trong thực tế.

Các nhà nghiên cứu từ tam nhìn máy tinh, phân tích hình anh và xử lý, nhận dạngmau, học máy và các khu vực khác đang làm việc cùng nhau, thúc đây chủ yếu bởimột số ứng dụng thực tế có thể

Ngày nay, hệ thống nhận diện khuôn mặt được triển khai khá rộng rãi ở Mỹ,vốn trước kia chỉ dành cho các co quan thực thi pháp luật của nước này Chính phủMỹ hiện đang ứng dụng công nghệ này để đảm bảo an ninh quốc gia thông qua việcnhận diện khuôn mặt kẻ tội phạm ngay khi chúng xuống sân bay và loại bỏ những láphiếu gian lận thông qua việc xác định khuôn mặt người đi bầu cử Một ứng dụng khácrất tiềm năng là việc xác thực rút tiền từ máy rút tiền tự động ATM một giải pháp bảomật hứa hen sẽ trở nên pho biến trong tương lai gan

Trên lĩnh vực điện thoại di động, ứng dụng nhận diện khuôn mặt để mở máy đã cótrong hệ điều hành Android 4.x, thành quả thu được của Google sau thăng lợi trongcuộc chiến bằng sáng chế trước các đối thủ cạnh tranh Cùng thời điểm đó, Apple cũngđã tiết lộ bang sáng chế khóa và mở khóa các dòng sản phâm của hãng ứng dụng côngnghệ nhận diện khuôn mặt, tuy nhiên, đến khi iOS 6 ra đời, tính năng này vẫn mat hút.Tuy nhiên, người dùng iOS vẫn có thé tải về ứng dụng bên thứ ba có tinh năng tương

tự mang tên Face Vault.Tháng 6/2012, việc mạng xã hội Facebook mua lại công ty nhận diện khuôn mặt

Face.com đã tạo ra những hy vọng nhất định cho các công ty hoạt động trong lĩnh vực

này Trước đó, Google và Sony cũng đã ứng dụng công nghệ nhận diện khuôn mặt

trong các phần mềm của ho, tương ứng là Picasa và Picture Motion Browser Tất

nhiên, tât cả mới chỉ dừng lại ở việc tạo sự thuận tiện cho người sử dụng.

Trang 17

& ~ ———

on

- ^ — 7

ˆ-jE ee —Hình 2 1 ứng dụng nhận dạng khuôn mặt cho bảo mật dé sử dụng ATM

Hiện nay đã có rất nhiều các bài báo khoa học với nhiều phương pháp nhậndạng khuôn mặt được đưa ra Mỗi mô hình nghiên cứu tập trung giải quyết những vẫnđề khó khăn mà lĩnh vực nhận dạng khuôn mặt đang gặp phải trong mà khi kết hợp lạivới nhau có thé tạo ra một hệ thống nhận dạng có sự tin cậy cao có thé ung dung trongthuc té cũng như trong việc chế tạo robot

2.2 Tổng quát hệ thống nhận dạng khuôn mặt

Nhiệm vụ của hệ thống nhận dạng mặt người là xử lý tự động thông tin từ các ảnh đểtìm ra độ tương tự giữa các khuôn mặt và đưa ra quyết định vẻ tính đồng nhất giữachúng Cau trúc của hệ thống nhận dạng mặt người được thé hiện như hình sau:

Trang 18

{Trích rút đặc

trưng khuôn

mặt)

FACEALIGNMENT

(Căn chỉnh hìnhảnh khuôn mặt)

ID, Nhận Dang KhuônMặt

Hình 2 2 Sơ đồ khối hệ thống nhận dạng tổng quát.

Tập ảnh mẫu: Là những ảnh được chuẩn bị trước gồm những ảnh có chứa mộtkhuôn mặt gọi là những ảnh khuôn mặt và những ảnh bất kỳ không chứa khuôn mặtnào gọi là những ảnh không-phải-là-mặt Những ảnh khuôn mặt được chuẩn hóa

thống nhất về vị trí và kích thước; những đặc trưng trên khuôn mặt như mắt, miệngthường được dóng ngang hàng nhau.

Tách khuôn mặt (FD): Đây là một khâu quan trọng trong quá trình nhận dạng

khuôn mặt có nhiệm vụ xác định vị trí, kích cỡ của một hoặc nhiều khuôn mặt từảnh chụp từ đó tách ra phần mặt Phần ảnh mặt đươc tách ra thường nhỏ hơn nhiềuso với ảnh chụp ban đầu, nó sẽ là các khuôn mặt cần tìm và sử dụng cho bước nhận

dạng.

Tiên xử lý (Pre-Processing): Chức năng nay dé chuẩn hóa anh cần tìm giúp cho việctìm kiếm được hiệu quả hơn Các công việc trong bước tiền xử lý có thé là: Chuanhóa kích cỡ giữa ảnh trong CƠ SỞ DỮ LIỆU và ảnh cần tìm, hiệu chỉnh độ sáng tốicủa ảnh, khử nhiễu, chuẩn hóa về vị trí, tư thế ảnh khuônmặt

Trích rút đặc trưng (FE): Ö bước này một phương pháp trích chọn đặc điểm nao đó(Local Binary Pattern — LBP, Gabor wavelets ) sẽ được sử dụng với ảnh mặt đểtrích xuất các thông tin đặc trưng của ảnh, kết quả là mỗi ảnh sẽ được biéu diễndưới dạng một vector đặc trưng (feature vector) Các vector này sẽ được sử dụng déphục vụ cho quá trình so sánh nhận dạng ảnhmặt cần tìm và ảnh mặt trong CƠ SỞ

DỮ LIỆU

Nhận dạng (Regconization): Thực hiện việc chiếu các ảnh cần nhận dạng vào

không gian vector đặc trưng tạo ra các vector khuôn mặt trong không gian đặc

trưng, sau đó so sánh khoảng cách giữa các vector nay với vector của tập ảnh mẫu(cũng chiếu vào không gian đặc trưng) dé chọn ra ảnh thuộc tập training gan với nó

Trang 19

nhât O bước này các hàm khoảng cách: euclidean, mahalanobis, cosine angle

đistance.

2.3 Những khó khăn và thách thức đối với bài toán nhận dạng khuôn mặt

Việc nhận dạng khuôn mặt người có những khó khăn nhất định như:

nhìn từ trên xuống Cùng trong một ảnh có thể có nhiều khuôn mặt ở những tưthế khác nhau

Sự có mặt của các chỉ tiết không phải là đặc trưng riêng của khuôn mặt người,như: râu quai nón, mắt kính,

Biểu cảm trên khuôn mặt (facial expression) khác nhau như: vui, buồn, ngạcnhién, Sự biểu cảm có thé làm thay đổi đáng ké các đặc trưng và thông số củakhuôn mặt, ví dụ như khuôn mặt của cùng một người sẽ rất khác khi người day

cười, tức giận hay sợ hãi

Mặt người bị che khuất bởi các đối tượng khác có trong ảnh.Khoảng cách khuôn mặt đến vị trí camera Với một hệ thống giám sát thôngminh thật khó để nhận dạng chính xác một đối tượng với khoảng cách từ xa.Ảnh có phông nên quá phức tạp

Các ứng dụng của hệ thống nhận dạng mặt người

Nhận dạng mặt người thường được dùng trong giám sát video, giao tiếp người

máy và quản lý cơ sở dữ liệu ảnh Các ứng cơ bản của nhận dạng mặt người cóthê kê đên là:

Xác minh toi phạm.

Dựa vào ảnh của một người, nhận dạng xem người đấy có phải là tội phạm haykhông bằng cách so sách với các ảnh tội phạm đang được lưu trữ Hoặc có thể sử

Trang 20

dụng camera dé phát hiện tội phạm trong đám đông Ứng dụng này giúp cơ quan anninh quản lý con người tốt hơn.

Camera chong trộm.Các hệ thống camera sẽ nhận dang đâu là con người va theo dõi xem conngười đó có làm gì phạm pháp không, vi dụ như lay trộm đồ, xâm nhập bat hợp

pháp vào một khu vực nào đó.

Bao mật.

Các ứng dụng về bảo mật rất đa dạng, một trong số đó là công nghệ nhận dạngmặt người của laptop, công nghệ này cho phép chủ nhân của máy tính chỉ cần ngồitrước máy là có thé đăng nhập được Dé sử dụng công nghệ này, người dùng phảisử dụng một webcam để chụp ảnh khuôn mặt của mình và cho máy “học” thuộc cácđặc điểm của khuôn mặt giúp cho quá trình đăng nhập sau này

Lưu trữ khuôn mặt.

Nhận dạng mặt người có thể được ứng dụng trong các trạm rút tiền tự động(ATM) dé lưu trữ khuôn mặt của người rút tiền Hiện nay có những người bị ngườikhác lay trộm thẻ ATM va mã PIN, và bị rút tiền trộm, hoặc có những chủ tài khoảnđi rút tiền nhưng lại báo với ngân hàng là bị mất thẻ va bị rút tiền trộm Nếu lưu trữ

được khuôn mặt của người rút tiên, ngân hàng có thê đôi chứng và xử lý dê dànghơn.

Các ứng dụng khúc.- Điều khiến vào ra: văn phòng, công ty, trụ sở, máy tính, Palm, Kết hợp thêm

vân tay và méng mắt Cho phép nhân viên được ra vao nơi cần thiết.- An ninh sân bay, xuất nhập cảnh (hiện nay co quan xuất nhập cảnh Mỹ đã áp

dụng) Dùng camera quan sát để xác thực người nhập cảnh và kiểm tra xemngười day có phải là tội phạm hay phan tử khủng bố không

- Tìm kiếm và t6 chức dữ liệu liên quan đến con người thông qua khuôn mặt ngườitrên nhiều hệ cơ sở đữ liệu lưu trữ thật lớn, như internet, các hãng truyền hình, Ví dụ: tim các đoạn video có tổng thống Bush phát biểu, tìm các phim có

diễn viên Lý Liên Kiệt đóng, tìm các trận đá bóng có Ronaldo đá,

- Kiểm tra trạng thái người lái xe có ngủ gật, mat tập trung hay không, và hỗ trợthông báo khi cần thiết

Trang 21

- Tương lai sẽ phát triển các loại thẻ thông minh có tích hợp sẵn đặc trưng củangười dùng trên đó, khi bất cứ người dùng khác dùng để truy cập hay xử lý tạicác hệ thông sẽ được yêu cầu kiểm tra các đặc trưng khuôn mặt so với thé dé biết

nay có phải là chủ thẻ hay không.- Hãng máy chụp hình Canon đã ứng dụng bài toán nhận dạng khuôn mặt người

vào máy chụp hình thế hệ mới để cho kết quả hình ảnh đẹp hơn, nhất là khuôn

mặt người.

Trang 22

CHUONG 3: CÁC PHƯƠNG PHAP PHÁT HIỆN VÀ NHAN DchH

KHUÔN MAT

Phát hiện khuôn mặt người là một kỹ thuật máy tính dé nhận dạng các vi tri vàkích thước của các khuôn mặt người trong các ảnh bất kì và bỏ qua những thứ khácnhư: tòa nhà, cây cối, cơ thé

Đây là một khâu quan trọng trong hệ thông nhận dạng khuôn mặt Trong nhiềunăm qua, có rất nhiều công trình nghiên cứu về bài toán nhận dạng mặt người Các

nghiên cứu đi từ bài toán đơn giản, từ việc nhận dạng một mặt người trong ảnh đen

trắng cho đến mở rộng cho ảnh mau và có nhiều mặt người trong ảnh Đến nay cácbài toán nhận dạng mặt người đã mở rộng với nhiều miền nghiên cứu như nhận

dạng khuôn mặt, định vị khuôn mặt, theo dõi mặt người hay nhận dạng cảm xúcmặt người

Phát hiện mặt người trong ảnh là phan đầu tiên của một hệ thống nhận dạngmặt người Các hệ thống nhận dạng khuôn mặt được bắt đầu xây dựng từ nhữngnăm 1970, tuy nhiên do còn han chế về các luật nhận dạng mặt người nên chỉ đượcáp dụng trong một số ứng dụng như nhận dạng thẻ căn cước Nó chỉ được phát triểnmạnh mẽ từ những năm 1990 khi có những tiến bộ trong công nghệ video và ngàynay thì các ứng dụng của nhận dạng mặt người đã trở nên phổ biến trong cuộc sống

3.1 Các phương pháp phát hiện khuôn mặt người.

Dựa vào tính chất của các phương pháp phát hiện mặt người trên ảnh, các phương

pháp phát hiện khuôn mặt được chia thành 2 nhóm phương pháp chính, tương ứng

với hai hướng tiếp cận khác nhau bao gồm:

- — Những phương pháp dựa trên hình ảnh khuôn mặt.

- _ Những phương pháp dựa trên cau trúc khuôn mặt

3.1.1 Phuong pháp phát hiện khuôn mặt dựa trên hình ảnh khuôn mặt.

Những phương pháp này tìm cách huấn luyện một bộ phân lớp có khả năngphân biệt tốt những cửa số chứa khuôn mặt và những cửa số không chứa khuôn mặtbang việc hoc trên một một tập những anh mẫu cho trước

Phương pháp dựa trên hình ảnh khuôn mặt áp dụng các kỹ thuật theo hướng

xác suất thống kê và học máy để tìm những đặc tính liên quan của khuôn mặt và

không phải là khuôn mặt Các đặc tính đã được học ở trong hình thái các mô hìnhphân bô hay các tham sô của một hàm sô nên có thê dùng các đặc tính này đê nhận

Trang 23

dạng khuôn mặt người Đồng thời, bài toán giảm số chiều thường được quan tâm để

tăng hiệu quả tính toán cũng như hiệu quả nhận dạng khuôn mặt.

3.1.1.1 Adaboost.

AdaBoost được giới thiệu đầu tiên vào năm 1995 bởi hai nhà nghiên cứuFreund và Schapire [3] Được đánh giá là phương phát tiếp cận nhanh nhất trongcác thuật toán học máy Nó thường được kết hợp với các mô hình cascade ofclassifiers để tăng tốc độ phát hiện khuôn mặt trong ảnh Tư tưởng của thuật toánadaboost day là kết hợp các bộ phân loại yếu thành một bộ phân loại mạnh Trongquá trình xây dựng, bộ phân loại yếu tiếp theo sẽ được xây dựng dựa trên các đánhgiá về các bộ phân loại yếu trước, cuối cùng các bộ phân loại yếu sẽ được kết hợpđể trở thành bộ phân loại mạnh

Viola và Jones [1] dùng AdaBoost két hop cascade dé nhan dạng khuôn mặtngười với các đặc trưng dạng Haar-like Tốc độ xử lý khá nhanh và tỷ lệ chính xáchơn 80% Ngoài ra Schneiderman va Kanade dùng wavelet dé trích đặc trưng, sauđây cũng xây dựng hệ thống học với Adaboost, dựa trên xác suất để nhận dạngkhuôn mặt người Tỷ lệ chính xác trên của phương pháp này lên đến 90%

Ước lượng các đặcTính các đặc Vea

trung nhanh tir

Anh —_ _>i (ac hàm Haar eo han

_

VvIntegral Imagegoc

Cau tric phan tang

(Cascade of

Sô lượng lớn Chọn đặc

các đặc trưng |(a (cn x Điều chỉnh

<< thông số

Một tập nhỏ Adaboostcác đặc trưng

v

\Z

Trang 24

Mang Neural rat hay được sử dụng trong các bài toán nhận dang mẫu, nhậndạng mặt người cũng có thể xem là một bài toán nhận dạng với hai loại mẫu (mặtngười hoặc không phải mặt người) và như vậy có thể sử dụng mạng Neural khá hiệuquả ké cả khi các mẫu khuôn mặt có độ phức tạp cao Tuy nhiên, một điều trở ngạiđó là các kiến trúc mạng đều có tính tổng quát cao, do đó, khi áp dụng ta phải tính

toán rõ số lượng tang, số lượng node, tỷ lệ học cho từng trường hợp cu thé

e Chuẩn bị tập anh huấn luyện mau.Việc huấn luyện được thực hiện trên một tập lớn những ảnh khuôn mặt, trongđó những điểm đặc trưng trên khuôn mặt được gan nhãn bang tay Vị trí của nhữngđiểm đặc trưng này được lay trung bình trên toàn bộ tập anh huấn luyện, và đượckhớp với những điểm nhận dạng trước Mỗi ảnh huấn luyện sau đó được dóng thănghàng với vi trí trung bình thu được Quá trình này được lặp lại để thu được bộ dirliệu khuôn mặt mẫu chuẩn Dé xây dựng bộ dữ liệu ảnh không-phải-là-mặt, chiến

lược boostrapping được áp dụng.

Việc phát hiện khuôn mặt sử dụng mạng nơron được thực hiện lần lượt theo hai

Trang 25

Input image pyramid Extracted window Corrected lighting Histogram equalized Receptive fields

(2 20 by 20 pixels) Hidden units

on = fa zia ~=”°o

Ƒ—OQ

pjNetwork ø ° Output

°

Input

88

———— ®® ®\ / \

V

Preprocessing Neural network

oO

Hình 3.2 Bộ phát hiện khuôn mặt dựa trên mang noron.

Ảnh đầu vào ban đầu được phân tích thành những ảnh theo mô hình kim tựtháp để có thể phát hiện được những khuôn mặt có kích thước lớn hơn kích thướccơ sở Bước này cho lại ty lệ phát hiện rất cao (nếu như tập ảnh huấn luyện đượcchuẩn bị kỹ lưỡng), tuy nhiên tỷ lệ phát hiện sai còn khá lớn

e Két hợp những phát hiện trùng lặpĐể có thé giảm được tỷ lệ phát hiện sai, hai mạng noron được huấn luyện độclập với những tham số đầu vào khác nhau (tập ảnh huấn luyện khác nhau, trong sốkhởi đầu khác nhau )

Mặc dù mỗi mạng nơron độc lập có tỷ lệ phát hiện sai cao, nhưng những pháthiện sai thường khác nhau với mỗi mạng noron Do đó, việc kết hợp kết quả của haimạng nơron băng một chiến lược quyết định đơn giản sẽ cho phép cải thiện đáng kểkết quả phát hiện Thông thường, một cửa sé quét chỉ được coi là khuôn mặt nếunhư cả hai mang noron đều phát hiện ra nó

3.1.1.3 Mô hình Markov an

Mô hình Markov an đã được Samaria va Young [7] áp dụng đầu tiên trongviệc phát hiện khuôn mặt Nguyên tắc của phương pháp là phân chia khuôn mặtthành những vùng khác nhau như: trán, mắt, mũi, miệng và căm và tìm cách pháthiện lần lượt những đặc trưng này

Mô hình HMM thường được áp dụng trên một chuỗi những tín hiệu 1 chiềuliên tục (vector đặc trưng) Tuy nhiên các ảnh số sử dụng làm đầu vào thường được

Trang 26

xuông dưới cùng của ảnh Vùng ảnh trong cửa sô được đưa vào mô hình HMM đêxử lý như một vector 1 chiêu Các cửa sô quét có thê phủ lên nhau dé tránh bỏ quanhững đặc trưng quan trọng trên khuôn mặt.

£ c>+“<>È›<>cac nos<— mouth chin

Ca) = = “m2 ee Ð ee sD

ait a22 a 3 3 aa 41 41 as5S

Hình 3.3 Phương pháp phát hiện khuôn mặt dựa trên mô hình Markov ẩn.

3.1.1.4 May vector hỗ trợ

Máy vector hỗ trợ là một kỹ thuật được Osuna [8] áp dụng để thực hiện pháthiện khuôn mặt Phương pháp này rất hiệu quả với những bộ dữ liệu lớn cỡ hàng

nghìn mẫu

Nguyên tắc chung của phương pháp là tìm ra những mặt phắng quyết định

làm cực đại ranh giới giữa lớp khuôn mặt và lớp không-phải-là-mặt Một trong

những giới hạn đơn giản có thể được sử dụng chính là khoảng cách giữa nhữngđiểm gần nhất giữa hai lớp Những điểm này cho phép nhận dạng đường ranh giới

giữa hai lớp khuôn mặt và không-phải-là-mặt.

Trang 27

Thiết Kế Hệ Thống Giám Sát Thông Minh Dua

GVHD: TS Trương Công Dung Nghĩ

cứu tìm cách giải quyết bài toán phát hiện khuôn mặt dựa trên những đặc trưng đặctrưng trên khuôn mặt cũng như cấu trúc hình học giữa chúng

Những phương pháp đi theo hướng tiếp cận này có thể được chia làm hai nhóm:- _ Nhóm những phương pháp trên-xuống: Khuôn mặt được xem xét một cách tong

thể, hướng tiếp cận này đã được sử dụng trong những nghiên cứu của Yang và

Huang, va cua Lanitis.

- Nhóm những phương pháp dưới-lên: Hướng tiếp cận này cố gang tim ra tất cảnhững đặc trưng đặc trưng của khuôn mặt hiện diện trong hình ảnh, sau đó kếthợp thành từng nhóm đặc trưng dé biểu diễn nên khuôn mặt dựa vào những kiến

thức cho trước về câu trúc khuôn mặt Các nhà nghiên cứu Leung va Sumi đã

xây dựng hệ thống của họ theo cách này

Trang 28

3.1.2.1 Những Phương Pháp Từ Trên Xuống (Top-Down)

Phan lớn trong số những phương pháp này sử dụng dấu hiệu về màu sắc củada thịt con người dé tìm kiếm khuôn mặt trong ảnh Bên cạnh đó, các phương phápcòn kết hợp sử dụng những giải thuật phân vùng như thuật toán lan tỏa vùng, thuậttoán lọc trường ngẫu nhiên Gibbs, dé tách các khuôn mặt ra khỏi nên

Mau sắc da thịt của con người là một trong những dau hiệu được nhận biết đầu tiêntrong hệ thống nhãn quang của con người Ưu điểm của phương pháp là việc pháthiện có thể được thực hiện rất nhanh Tuy nhiên phương pháp cũng còn nhiều hạnchế:

- Mau sắc da thịt con người thu nhận trong ảnh rất đa dạng, tùy theo chủng tộc,điều kiện ánh sáng,

- Mau sắc cũng không phải là dẫu hiệu đặc trưng của riêng khuôn mặt, trong anhcó thé có nhiều vùng nền có màu tương tự, những bộ phận khác của cơ thé cũngcó thé gây nhằm lẫn

- Khong thé áp dụng với những ảnh có màu sac bị biến đổi như ảnh đa mức xám,

anh đã qua xử lý màu sac.3.1.2.1.1 Phương pháp phát hiện khuôn mặt của Yang và Ahuja dựa vào màu

sắc da thịt con người

Những nghiên cứu của họ chỉ ra rằng, mặc dù màu sắc đa thịt con người có

sự khác biệt giữa các ví dụ, nhưng sự khác biệt này chủ yếu nam ở tham số cườngđộ sáng chứ không phải ở dau hiệu màu sắc Họ sử dụng một phân bố Gaussian đểmô hình sự phân bố của màu sắc đặc trưng cho da thịt con người

Tất cả các điểm ảnh được kiểm tra, néu phản hồi của chúng lớn hơn mộtngưỡng nào đó thì chúng sẽ được coi là có màu sắc da thịt con người Cuối cùng,những vùng có lớn hơn 70% điểm ảnh có màu sắc da thịt sẽ đựoc coi là một khuôn

~

mat.

3.1.2.1.2 Phương pháp phat hiện khuôn mặt của Saber va Tekalp sử dụng bộ

lọc trường ngẫu nhiên Gibbs

Phương pháp này sử dụng bộ lọc trường ngẫu nhiên Gibbs dé thực hiện phânvùng ảnh Sau khi phân vùng, mỗi vùng được xấp xỉ với một hình ellipse Khoảngcách giữa đường ellipse với biên của vùng được nhận dạng bang cách sử dụng phépđo khoảng cách Hausdorff Nếu khoảng cách này lớn hơn một ngưỡng nhận dạng

trước, vùng đó sẽ bị loại bỏ.

Trang 29

Với những vùng còn lại, một thủ tục tìm kiếm đặc trưng đặc trưng sẽ đượcthực hiện dé nhận dạng xem vùng đó có thật sự là khuôn mặt hay không

3.1.2.2 Những Phương Pháp Từ Dưới Lên (Bottom-Up).

Tư tưởng chính của phương pháp là tìm ra những đặc trưng đặc trưng và bấtbiến của khuôn mặt Những đặc trưng này phải bất biến với các tham số như tỷ lệ,tư thé chụp, điều kiện ánh sáng, Những đặc trưng đặc trưng được quan tam nhấtlà: hai mắt, mũi, miệng và đường mép tóc Thông thường những đặc trưng này đượctách bằng việc sử dụng những bộ phát hiện biên

Hướng tiếp cận từ dưới lên gồm hai bước:Bước l: cố gang tìm ra tất cả những đặc trưng đặc trưng của khuôn mặt hiện diện

- - Một trong những phương pháp được đề xuất đầu tiên là của Govindaraju Trong

phương pháp này, những đặc trưng của khuôn mặt được đặc trưng bởi những

đường cong và mối quan hệ về cau trúc liên kết giữa chúng.- Phuong pháp của Leung sử dụng phép đối chiếu đỗ thị ngẫu nhiên bằng việc áp

dụng một tập những bộ lọc Gaussian và so sánh với một đồ thị mẫu biểu diễn

khuôn mặt (Việc so sánh cũng thường được thực hiện thông qua một gia tringưỡng đơn giản).

- Yow và Cipolla sử dung một tập các bộ lọc để chọn ra những đặc trưng cạnhnhư vùng đuôi mắt, khóe miệng, và chỉ giữ lại những đặc trưng có nhữngthuộc tính nhất định (chang hạn như đặc trưng phải có hai cạnh song song ).Những đặc trưng còn lại sẽ được liên kết với nhau để xây dựng mô hình khuônmặt.

- - Một phương pháp khác sử dụng dấu hiệu màu sắc do Cai và Goshtasby đề xuất.Họ phát hiện khuôn mặt bang cách kiểm tra sự hiện diện của những đặc trưng cómàu khác với màu da thịt trên những vùng da thịt đã được tìm thấy

Trang 30

3.2 Các phương nhận dạng khuôn mặt người.

Có hai phương pháp nhận dạng phố biến hiện nay là:- - Nhận dạng dựa trên đặc trưng của các phan tir trên khuôn mặt: Bién đổi

Sóng Wavelet (Gabor Wavelet) và Mạng Noron (Neural Network) [5],Support Vector Machine (SVN).

- _ Nhận dạng dựa trên xét tổng thé toàn khuôn mặt: Phuong pháp Phân tíchthành phan chính (Principal Component Analysis — PCA), phương pháp Phântích sự khác biệt tuyến tinh (Linear Discriminant Analysis — LDA), phươngpháp Phân tích đặc điểm vùng (Local Feature Analysis — LFA) Nhận dang

khuôn mặt dùng Eigenfaces [4] và mang Noron [5] mang lại hiệu quả nhận dạng

cao bởi nó hoạt động ôn định và có tính thích nghi cao.- _ Phương pháp lai (hybrid) là sự kết hợp của hai phương pháp toàn cục va local

feature).

Hiện nay các phương pháp nhận dạng mặt 3D cũng đang được phát triển cho sự bảo

mật cao, chính xác hơn so với nhận diện trên ảnh tinh 2D.

3.2.1 © Nhận dạng dựa trên các đặc trưng khuôn mặt.- Pay là phương pháp nhận dạng khuôn mặt dựa trên việc xác định các đặc trưng

hình học của các chỉ tiết trên một khuôn mặt (như vi trí, diện tích, hình dạng cuamat, mũi, miệng, ), và mối quan hệ giữa chúng (như khoảng cách của hai mắt,

khoảng cách của hai lông may, ).

- Uu điểm của phương pháp này là nó gần với cách ma con người sử dụng đểnhận biết khuôn mặt Hơn nữa với việc xác định đặc tính và các mỗi quan hệ,phương pháp này có thể cho kết quả tốt trong các trường hợp ảnh có nhiều nhiễunhư bị nghiêng, bị xoay hoặc ánh sáng thay đổi

- Nhược điểm của phương pháp này là cài đặt thuật toán phức tap do việc xácđịnh mối quan hệ giữa các đặc tính đòi hỏi các thuật toán phức tạp Mặt khác,

với các ảnh kích thước bé thì các đặc tính sẽ khó phân biệt do đó khó tính toánđược các đặc trưng trên khuôn mặt.

3.2.2 Nhận dạng dựa trên xét toàn điện khuôn mặt.

Nhận dạng đựa trên toàn diện khuôn mặt, có nghĩa mình sẽ không đi xét đến từngthành phần đặc trưng trên khuôn mặt nữa Mình sẽ xem khuôn mặt là một khônggian cụ thể và mình tìm những đặc trưng, những đặc điểm chính trên không gian đó

Trang 31

Nội dung chính của hướng tiếp cận này là xem mỗi ảnh có kích thước RxC là mộtvector trong không gian RxC chiều Ta sẽ xây dựng một không gian mới có chiềunhỏ hơn sao cho khi biểu diễn trong không gian đó các đặc điểm chính của mộtkhuôn mặt không bị mat đi Trong không gian đó, các ảnh của cùng một người séđược tập trung lại thành một nhóm gân nhau và cách xa các nhóm khác

Hai phương pháp thường được sử dụng là trong hướng tiếp cận này:

o PCA (Principle Components Analysis)o LDA (Linear Discriminant Analysis)

Với những ưu điểm trên, trong luận văn nay uu tiên xây dựng hệ thống theo hướngnhận dạng dựa trên xét toàn diện khuôn mặt bằng giải thuật PCA Phương pháp nàycho phép nhận dạng chính xác đến 98% khi chụp ảnh ở điều kiện tốt

Trang 32

CHƯƠNG 4: GIẢI THUAT ADABOOST CHO VIỆC PHÁT HIỆN KHUÔN MAT.

4.1 Tong quan về Adaboost

Giải thuật AdaBoost được giới thiệu đầu tiên vào năm 1995 bởi hai nhànghiên cứu Freund và Schapire [3] Giải thuật do họ đưa ra đã giải quyết được ratnhiều khó khăn thực tế của những giải thuật boosting trước đó

Năm 2001, trong bai báo mang tên “Robust real-time object detection”, hai

nhà nghiên cứu Paul Viola va Micheal Jones [1] đã dé xuất việc áp dụng giải thuậtAdaBoost trong việc phát hiện đối tượng nói chung Những nghiên cứu của họ đãđưa đến việc xây dựng thành công hệ thống phát hiện khuôn mặt có tốc độ phát hiệnđược coi là nhanh nhất hiện nay trong khi vẫn bảo đảm một tỷ lệ phát hiện cao

4.2 Ly do lựa chọn phương pháp Adaboost.

Mục tiêu của Luận án này là tìm hiểu và xây dựng một chương trình cho phép

phát hiện khuôn mặt trên hình tĩnh cũng như trên hình động (phát lại từ các tệp tin

video hay thu nhận trực tiếp từ các thiết bị camera) Tốc độ phát hiện khuôn mặt làmột tiêu chí quan trọng hàng dau, tuy nhiên tỷ lệ phát hiện đúng của phương phápcũng phải được bảo đảm ở một mức nhất định Do đó phương pháp lựa chọn cần cótốc độ phát hiện nhanh mà vẫn bảo đảm được mức độ chính xác cần thiết Phươngpháp phát hiện khuôn mặt nhanh dựa trên giải thuật AdaBoost đáp ứng tốt nhấtnhững yêu cầu này

Phương pháp AdaBoost có thể đạt được tốc độ xử lý trên 10 hình ảnh có kíchthước trung bình trong một giây với tỷ lệ phát hiện đúng có thé đạt tới 95% Tốc độ

nay cho phép phát hiện khuôn mặt thời gian thực.

Phương pháp phát hiện khuôn mặt nhanh dựa trên giải thuật AdaBoost có thécoi là sự kết hợp giữa cả hai hướng tiếp cận, nó sử dụng giải thuật AdaBoost cho việcxây dựng bộ phân lớp mạnh bang việc huan luyện và kết hợp những bộ phân lớp yếutrên một tập ảnh mẫu ban đầu Những tiêu chí được sử dụng trong bộ phân lớp mạnhcuối cùng có liên quan gián tiếp đến những đặc trưng đặc trưng trên khuôn mặt

4.3 Giải thuật AdaboostMô hình giải thuật:

Trang 33

Tập ảnh huấn luyện

AdaBoostMột bộ phân lớp mạnh duy nhat——>Họ các bộ phan lớp yếu——>

Hình 4 1 Hệ thống Adaboost.

1 Cho một tập gồm n mẫu có đánh dau (x1, 1), (X2,V2), (Xn,Yn) VỚI Xk € (XkI, Xk2,

, Xkm) là vector đặc trưng va yx € (-1, 1) là nhãn của mẫu (1 ứng với object, -1 ứng

œ¿= +In(—) (4.3.5)

2 ej

Z,: Hệ số dùng dé đưa W,,, về đoạn [0,1] (normalization factor)

4 Strong classifier được xây dung:

H(x) = dấuŒ‡-¡ % h,(%)) (4.3.6)

Trang 34

Sơ Đồ KhốiTập các mẫu và Bắt đầu Khởi tạo tập đặc

trọng sô huân luyện trưng ban đâuMẫu Mẫu A

sal dung Vv Vv

Xác định các đặc Đặc trưngtrưng trongtừng [" haar-likemau, xây dựng các

bộ phân loại yêu

tương ứng

Cập nhật lại trọng số Tính toán giá trị lỗi

r` cho mỗi đặc trưng

(false alarm)

Sai ỶTT, Xác định ngưỡng

Kêt thúc,strong i

classifierd Ạ Chọn weak Lưu weak

uợc xây " ges ce

dun classifier có gia trị >| classifier

me lỗi bé nhát được chọn

Hình 4 2 Sơ đồ khối thuật toán nhận dạng Adaboost.

Qúa trình huấn luyện bộ phân loại sẽ thực hiện bang một vòng lặp mà ở mỗi bước lặp,thuật toán sẽ chọn ra bộ phân loại yếu h(t) Bộ phân loại yếu này sẽ thực hiện phân loạicác mẫu ảnh khuôn mặt đầu vào với lỗi nhỏ nhất Và tập hợp nhiều bộ phân loại yếu h-(t) sẽ cho ta một bộ phân loại mạnh Sau mỗi lần tính được một bộ phân loại yếu h(t),thuật toán Adaboost sẽ tiến hành cập nhật lại giá tri a, nhằm giảm thiểu giá trị lỗi Ej

œ<,—= 3 int )

JT

H(x) = dau ) x, h(a)

t=1Công thức trên cho thấy giá tri x, nghịch đảo với giá tri £; Bởi vi h(t) được chọn vớitiêu chí £; nhỏ nhất, do đó giá trị «, sẽ lớn nhất

Trang 35

Sau khi tính được các giá tri «¿, Adaboost sẽ tiễn hành cập nhật trọng số của các mẫubăng cách tăng trọng số cho các mẫu nhận dạng sai (mặt người mà lại phân loại không

phải mặt người, không phải mặt người mà lại phân loại thành mặt người ) giảm

trọng số cho các mẫu mà h(t) phân loại đúng

Wek oe h;(Xụ) = Vx

Wtitk — ZT t

Zt e*, hyŒXy) # VyBăng cách này các bộ phân loại yêu h(t) xây dựng sau sẽ ưu tiên vào các mâu mà bộ

phân loại yếu h(t) trước đó nhận dang sai

4.4 Đặc trưng Haar like.

Viola va Jones dung 4 đặc trưng cơ bản [1] để xác định khuôn mặt người Mỗi đặctrưng Haar-like là sự kết hợp của hai hay ba hình chữ nhật "trắng" hay "đen" như

trong hình sau:

Những đặc trưng cạnh: Gồm 2 hình chữ nhật Giá trị của những đặc trưng này đượctính bằng chênh lệch giữa tổng của các điểm ảnh trong hai vùng chữ nhật Hai vùngnày có cùng hình dạng và kích thước, năm ngang nhau hoặc năm dọc

i “i ae

Hình 4 3 Cac đặc trưng cạnh Haar like

Những đặc trưng đường: Gồm 3 hình chữ nhật Giá trị của chung được tinh bangcách tính tông giá trị của các điểm ảnh trong hai hình chữ nhật hai bên và trừ đi tổnggiá trị của các điểm ảnh trong hình chữ nhật ở giữa Những hình chữ nhật này cũng

(h)có kích thước và hình dạng giống nhau

nos

(a) (Œ) (c) @ (e) @Hình 4 4 Hình các đặc trưng đường Haar like

Những đặc trưng đường chéo: Gồm 4 hình chữ nhật Giá trị của nó chính là chênh

Trang 36

(a)

Hình 4 5 Các đặc trưng đường chéo Haar like

Đặc trưng bao quanh.

|_|(a) (b)

Hình 4 6 Các đặc trưng bao quanh Haar like

Lợi ích của các đặc trưng Haar-like là nó diễn đạt được tri thức về các đối tượngtrong ảnh (bởi vi nó biểu diễn mối liên hệ giữa các bộ phận của đối tượng), điều màbản thân từng điểm ảnh không diễn đạt được Đề tính giá trị các đặc trưng haar-like, tatính sự chênh lệch giữa tổng của các pixel của các vùng đen và các vùng trắng như

trong công thức sau:

f(x) = TổnB vùng den(pixel) - Tổng vàng tráng(piXel) (4.4.1)Như vậy ta có thé thay rang, dé tinh các giá trị của đặc trưng Haar-like, ta phải tinhtong của các vung pixel trên ảnh Nhưng để tính toán các giá trị của các đặc trưngHaar-like cho tat cả các vị trí trên ảnh đòi hỏi chi phí tính toán khá lớn, không đáp ứng

được cho các ứng dung đòi hỏi tính run-time Do đó Viola va Jones [1] đưa ra một

khái niệm gọi là Integral Image để tính toán nhanh cho khác feature cơ bản Sau nay,Lienhart [10] kế thừa gọi Integral Image là SAT — Summed Area Table và đưa ra thêmkhái niệm RSAT — Rotated Summed Area Table dùng dé tính toán nhanh cho các đặctrưng xoay 1 góc 45o Integral Image là một mảng 2 chiều với kích thước bang vớikích của ảnh cần tính các đặc trưng Haar-like, với mỗi phần tử của mảng này đượctính băng cách tính tổng của điểm ảnh phía trên (dòng-1) và bên trái (cột-l) của nó.Bắt đầu từ vị trí trên, bên trái đến vị trí dưới, phải của ảnh, việc tính toán này đơnthuần chi dua trên phép cộng số nguyên đơn giản, do đó tốc độ thực hiện rất nhanh

Po, y)

Hình 4 7 Cách tinh Integral Image của anh

Trang 37

P(x,y) = Lixtexyley UX’) (4.4.2)

Sau khi đã tinh duoc Integral Image, việc tinh tong điểm ảnh của một vùng bat kỳnào đó trên ảnh thực hiện rất đơn giản theo cách sau: (Giả sử ta cần tính tổng điểm ảnh

của vùng D như trong hình 11):D=A+B+C+D—(A+B)—(A+C) +A (4.4.3)

Với A+B+C+D chính là giá trị tại diém P4 trên Integral Image, tương tự nhưvậy A+B là giá trị tại điểm P2, A+C là giá trị tại điểm P3, va A là giá trị tại điểm PI.Vậy ta có thé viết lại biểu thức tính D ở trên như sau:

Tổng pixel của một vùng bất kỳ trên ảnh vẫn

duoc tinh theo cach sauz gg A

D=A+B+C+D-—(A+B)—(A+C) +A § Ỉ

Như vậy tông các điêm anh trong một hình chữ <w>

nhật (kế cả trường hop xoay 45°) bat kì đều có thé

được tính nhanh dựa trên integral image tại 4 đỉnh

Trang 38

Đặt H và W là kích thước chiêu dài và chiêu cao của cửa sô.w và h là kích thước của một loại đặc trưng trong cửa sô đó X, Y là hệ sô chia lớnnhât của cửa sô ứng với đặc trưng này

4.5 Xây dựng bộ phân lớp yếu từ những đặc trưng Haar

Một bộ phân lớp yếu là một bộ quyết định xem một ảnh đầu vào thuộc vào lớp ảnh

khuôn mặt hay ảnh không-phải-là mặt dựa trên một tiêu chí nào đó Bộ phân lớp yếukhông cần phải đưa ra quyết định với độ chính xác cao mà chỉ cần tốt hơn so với sự

lựa chọn ngẫu nhiên là đủ

Phản hồi của một đặc trưng Haar được nhận dạng chính bang giá tri chênh lệch giữatông giá trị các điểm ảnh trong những vùng lân cận (giữa những vùng trắng và vùngđen) Các nhà nghiên cứu hy vọng rang việc sử dụng những phản hồi đơn giản này cóthé cho phép ho phân biệt được những ảnh khuôn mặt và không-phải-là-mặt

Một bộ phân lớp yếu có thé được xây dựng bang cách sử dung phản hồi ƒ của mộtđặc trưng Haar và một giá trị ngưỡng tối ưu Ø, Gia tri ngưỡng tối ưu phải làm cho sốlượng những mẫu bị phân lớp sai là nhỏ nhất

0,65)={ if p,f; (*)< P/O,

0 otherwise

trong đó x là một ảnh mẫu và p; dùng dé chỉ chiều của bat dang thức.4.6 Xếp tầng các bộ phân lớp (Cascade of Boosted Classifiers)

Tư tưởng chung của phương pháp này là tìm cách loại bỏ nhanh chóng phan lớn

những cửa sô quét không chứa khuôn mặt mà vân giữ được tât cả (hoặc gân như toànbộ) những khuôn mặt có trong ảnh.

Trang 39

Cascade of Boosted Classifiers là mô hình phân tầng với mỗi tầng là một mô hìnhAdaBoost sử dụng bộ phân lớp yếu là cây quyết định với các đặc trưng Haar-Like.Trong quá trình huấn luyện, bộ phân lớp phải duyệt qua tất cả các đặc trưng của mẫutrong tập huấn luyện Việc này tốn rất nhiều thời gian Tuy nhiên, trong các mẫu đưavào, không phải mẫu nào cũng thuộc loại khó nhận dang, có những mẫu backgroundrất dễ nhận ra (gọi đây những mẫu background đơn giản) Đối với những mẫu nảy, chỉcần xét một hay một vài đặc trưng đơn giản là có thé nhận dạng được chứ không cầnxét tất cả các đặc trưng Nhưng đối với các bộ phân loại thông thường thì cho dù mẫucần nhận dạng là dễ hay khó nó vẫn phải xét tất cả các đặc trưng mà nó rút ra đượctrong quá trình học Do do, chúng tốn thời gian xử lý một cách không cần thiết

trì được hiệu quả phát hiện khuôn mặt.

Về cơ bản, từ ảnh gốc ban dau, hệ thống sẽ chia ảnh thành vô số vùng nhỏ để tínhcác đặc trưng, sau đây đưa các đặc trưng Tiếp theo, chương trình sẽ xác định các vùngkhả quan (các ứng viên) có thé là khuôn mặt, cuối cùng các ứng viên nay sẽ được đưa

Trang 40

Vi Du mô phóng về phát hiển j khuôn mặt

Bước 1: Tính giá tri haar cho anh.

Cho 1 tập ảnh gồm 6976 anh, 2429 ảnh khuôn mặt và 4547 ảnh không phải khuôn mặt