Nhận dạng khuôn mặt bằng điện thoại thông minh

Chương 2: Phương pháp nhận dạng khuôn mặt Trong chương này, sẽ đề xuất một phương pháp nhận dạngkhuôn mặt phù hợp với khả năng tính toán hạn chế của các thiết bịnhư điện thoại thông minh

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

Luận văn được hoàn thành tại:

Người hướng dẫn khoa học: TS PHAM VĂN CƯỜNG

Phản biện Ï: - 2222 22222222111 27112271110211112.1E.ceeriei

Phản biện 2: -522222+2222112222211127111112271111 2.2111 ceerrke.

Luận văn sẽ được bảo vệ trước Hội đông châm luận văn thạc sĩ tại

Học viện Công nghệ Bưu chính Viễn thông

Vào lúc: giờ

Có thê tìm hiệu luận văn tại:

- Thư viện của Học viện Công nghệ Bưu chính Viễn thông

MỞ ĐẦU

Ngày nay với các tiễn bộ của khoa học kỹ thuật thì mọi côngviệc hầu như đều có thé tiến hành trên máy tính một cách tự độnghóa hoàn toàn hoặc một phan Một trong những sự thay đối lớn đó là

cách thức chúng ta thu nhận và xử lý dữ liệu Các công cụ nhập liệu

như bàn phím hay máy scan dần bị thay thế băng các thiết bị tiện lợi

hơn như màn hình cảm ứng, camera

Hơn thế nữa, các máy tính để bàn không còn là công cụ duy nhất

có thê hỗ trợ cho con người Chúng ta bước sang thế kỷ 21 với sựphát triển mạnh mẽ của các thiết bị di động, giải trí cầm tay haysmartphone Với kích thước ngày càng nhỏ gọn và hiệu suất làmviệc thì không ngừng được cải tiến, các công cụ mini này hứa hẹn sẽ

là một phần không thê thiếu trong xã hội hiện đại Do đó, phát triểncác ứng dụng trên các thiết bi này cũng là một xu thé tất yếu

Công nghệ nhận dạng là một trong các công nghệ đang được áp

dụng cho các thiết bị di động hiện nay Hầu hết các điện thoại hiệnnay có mật khâu để giải quyết vấn đề bảo mật Tuy nhiên, sử dụng

phương pháp nhận dạng khuôn mặt là an toàn hơn và linh hoạt:

phương pháp này cung cấp thông tin đặc biệt dé truy cập và người sửdụng không cần phải ghi nhớ mật khâu và tránh trường hợp mậtkhâu bị đánh cắp hay quên mật khẩu Vi vậy tôi đã quyết định chon

đề tài “Nhận dạng khuôn mặt bằng điện thoại thông minh” cho luận

về cách tiếp cận giải quyết bài toán nhận dạng khuôn mặt Một sốvan đề ảnh hưởng đến chất lượng nhận dạng khuôn mặt cũng séđược thảo luận trong chương này Ngoai ra, phạm vi và một số giảđịnh cho nghiên cứu cũng sẽ được trình bày trong phần cuối chương

Chương 2: Phương pháp nhận dạng khuôn mặt

Trong chương này, sẽ đề xuất một phương pháp nhận dạngkhuôn mặt phù hợp với khả năng tính toán hạn chế của các thiết bịnhư điện thoại thông minh hay các thiết bị cầm tay Trong đó, giảipháp được đề xuất sẽ được tiến thành theo ba bước: (1) Tiền xử lý,(2) Trích chọn các đặc trưng, và (3) Đề xuất thuật toán nhận

Chương 3: Thử nghiệm và đánh giá

Nội dung chương này dé cập về quá trình tiến hành thựcnghiệm, phân tích và đánh giá các đề xuất được nêu ra trong Chương

2 Đồng thời, chương này cũng trình bày những kết quả thử nghiệmthu được Cuối cùng, kết chương là những thảo luận, kiến nghị vàhướng phát triển cho nghiên cứu

Chương 1: TONG QUAN VE NHAN DẠNG KHUÔN MAT

1.1 Bai toán nhận dang khuôn mặt

1.1.1 Tính cấp thiết của đề tài

Từ khi máy tính điện tử ra đời, đặc biệt là khi kha năng xử ly

tính toán vượt trội của nó được ứng dụng vào các hệ thống trợ giúpcon người, con người không ngừng mong muốn có thể tạo ra những

cỗ máy có khả năng xử lý và quan sát phân tích hình ảnh giống với

hệ thống thị giác con người

Một loạt các thành tựu trong lĩnh vực này có thé kế đến như bốt giống người của Softbank, trong đó có khả năng tương tác vớingười và thực hiện việc đối thoại với các biểu cảm phù hợp thôngqua việc phân tích biểu hiện khuôn mặt và giọng nói Hệ thống hỗ

rô-trợ lái xe tự động trong các cuộc thi giải DAPRA.

Là một trong các ứng dụng thành công và có tính thực tiễn cao

của lĩnh vực phân tích và xử lý hình ảnh, nhận dạng khuôn mặt

người là lĩnh vực nhận được rất nhiều quan tâm Chăng hạn việcnhận dạng khuôn mặt cho phép tăng tính “giống người” của các hệthống tương tác người-máy (các thiết bị trợ giúp, rô-bốt Việc nhận

dạng nhanh và chính xác giúp cho việc quản lý an ninh, xác định tội

phạm tốt hơn Với đặc trưng riêng của mặt người, việc nhận dạngcũng có thể coi là việc xác định đặc tính sinh trắc học (biometrics)

cho phép dam bảo an ninh, an toàn thông tin cá nhân (bảo mật truy nhập, mật mã tài khoản ngân hàng, ).

Với mục đích đưa những tiễn bộ công nghệ vào phục vụ cho cuộc

song, tôi xin chọn dé tài nghiên cứu “Nhận dạng khuôn mặt bang

điện thoại thông mình.

1.1.2 Tổng quan hệ thông nhận dạng khuôn mặt

Một hệ thống nhận dạng khuôn mặt tổng quát có sơ đồ khối nhưhình 1 Ảnh thu nhận được, có thể là ảnh tĩnh hoặc các khung ảnhcủa một dòng dữ liệu video, trước hết được thực hiện quá trình tiền

xử lý nhằm tăng chất lượng dữ liệu ảnh Việc tiền xử lý tăng cườngchất lượng ảnh có thể chỉ đơn giản là lọc nhiễu bằng các bộ lọc.Nhưng cũng có thể là một tổ hợp các phép xử lý nhằm mục đích

“chuẩn hóa” ảnh sao cho những thông tin cần thiết của ảnh đượctăng cường trong khi những thông tin không cần thiết hoặc gây nhiễu

sẽ được giảm bớt hoặc loại bỏ Sau đó, nhiệm vụ quan trọng tiếptheo của hệ thống là thực hiện phát hiện và định vị khuôn mặt (nếu

có) trong dữ liệu ảnh Trong một ảnh hay một khung ảnh, thường có

mặt rất nhiều các đối tượng Vì thế, để giảm nhỏ khối lượng tínhtoán trong quá trình nhận dạng cũng như để tăng khả năng nhậndạng chính xác của hệ thống, đầu vào của quá trình nhận dạng chỉnên là các dữ liệu tương ứng với vùng khuôn mặt xuất hiện hoặc cókhả năng xuất hiện với xác suất lớn trong ảnh Kết quả của khối phát

hiện và định vị khuôn mặt là vị trí và vùng mở rộng của khuôn mặt.

Trong một số trường hợp, kết quả của khối này có thé là những phânvùng khuôn mặt đã được phát hiện và định vi ĐỀ việc phát hiện va

định vị có tính chính xác cao thì quá trình phát hiện và định vị khuôn

mặt cũng có thé phải sử dung một SỐ phương pháp trích chọn đặctrưng, chăng hạn như trích chọn các đường, các điểm chuẩn, các đặctrưng khác trên khuôn mặt như mắt, mũi, lỗ mũi, miệng, lông mày,

V,.V Trong trường hop dữ liệu vào là dòng video va với các Ứng dụng thời gian thực thì sau khi phát hiện và định vị được khuôn mặt

ở một khung hình, hệ thống phải thực hiện nhiệm vụ bám theo sựthay đổi vị trí và hướng của khuôn mặt

Sau khi một khuôn mặt hoặc một nhóm khuôn mặt đã được định

vi cùng với các đặc trưng của nó được trích chọn, nó được đưa vào

khối nhận dạng khuôn mặt Khối nhận dạng khuôn mặt sử dụng cácđặc trưng đã trích xuất được để xác định xem khuôn mặt đó là ai dựa

trên việc so sánh với cơ sở dữ liệu đã có.

Ảnh/ Video đầu vào

Hình 1.1: So đồ tổng quát của một hệ thống nhận dạng khuôn mat

1.1.3 Bài toán nhận dạng khuôn mặt bằng điện thoại thông minh

Về cơ bản, bài toán nhận dạng khuôn mặt bằng điện thoại thôngminh không khác biệt nhiều so với bài toán nhận dạng khuôn mặtthông thường với hệ thống được trình bay trong hình 1.1

Hệ thống nhận dạng khuôn mặt bằng điện thoại thông minh được

minh họa trong hình 1.2.

Hình 1 2: Sơ đồ tổng quát hệ thống nhận dạng khuôn mặt bằng

điện thoại thông minh

Ý tưởng của đề tài là phát triển ứng dụng nhận dạng khuôn mặttrên điện thoại thông minh chạy hệ điều hành Android Ảnh được thunhận băng camera của điện thoại Ảnh sau đó được thực hiện tiền xử

lý và phát hiện khuôn mặt Kết quả khuôn mặt phát hiện được sẽ

được trích chọn đặc trưng Dựa trên cơ sở dữ liệu, ứng dụng sẽ thực

hiện việc trả về kết quả nhận dạng

1.2 Các nghiên cứu trước đây

1.3 Mục tiêu, phương pháp và phạm vi nghiên cứu

Việc nhận dạng khuôn mặt có thể được tiếp cận theo các cáchkhác nhau tùy thuộc vào dữ liệu đầu vào và đáp ứng của hệ thống

nhận dạng : Nhận dạng dựa trên ảnh tĩnh hoặc dãy ảnh/video; Hệ

thống nhận dạng thời gian thực hoặc hệ thống nhận dạng thông

thường,

Mặc dù các thuật toán nhận dạng khuôn mặt được phát triển đạtđược chất lượng rất cao khi hoạt động trong điều kiện được kiểmsoát, hầu hết các thuật toán này cho kết quả không tốt khi có sự thay

đôi dẫn đến sự thay đôi biểu hiện của khuôn mặt Nói một cách khác,

đa số các thuật toán nhận dạng khuôn mặt nhạy cảm với các yếu tốnhư: Sự thay đổi chiếu sáng, Sự thay đổi biểu hiện cảm xúc, Sự thay

đôi góc chụp của Camera, Sự thay đôi tư thế đầu,

Để giảm sự ảnh hưởng của các yếu tô thay đổi đến chất lượngcủa hệ thống nhận dạng khuôn mặt, cần thiết phải có các phươngpháp thực hiện tiền xử lý phù hop Chang hạn dé giảm sự ảnh hưởngcủa sự thay đôi chiếu sảng, trước khi thực hiện nhận dạng các ảnh cóthé được tiền xử lý bằng bù sự thay đổi chiếu sáng

Mặt khác, hầu hết các thuật toán nhận dạng thường mặc địnhđược phát triển trên nền tảng máy tính cá nhân, ở đó khả năng tínhtoán đủ mạnh cũng như tài nguyên (bộ nhớ, ) có thể đáp ứng tốtvới khối lượng tính toán lớn của các thuật toán Mặc dù các thiết bịcầm tay hiện nay được đầu tư phát triển nhanh chóng, với tốc đỗchip lõi tăng đáng kể Tuy nhiên so với sự phát triển về khả năng xử

lý tính toán của máy tính cá nhân thì vẫn còn cần phải có mộtkhoảng thời gian dài Do đó, việc áp dụng trực tiếp các thuật toánnày cho các thiết bị cầm tay có tài nguyên hữu hạn (Light-weightdevices) sẽ gặp khó khăn nếu không muốn nói là không khả thị, ítnhất là trong tương lai gần

Từ những nhận định trên, đề tài được đặt ra với mục tiêu tìmhiểu, nghiên cứu triển khai một phương pháp nhận dạng khuôn mặt

sử dụng điện thoại thông minh.

Đề tài sẽ tập trung vào nghiên cứu bài toán nhận dạng mặt ngườitrong điều kiện có sự thay đổi về chiếu sáng và được thực hiện trêncác thiết bị có tài nguyên hạn chế nhu điện thoại di động

Phương pháp nghiên cứu của đề tài bao gồm cả phần nghiên cứu

lý thuyết và triển khai thực nghiệm Trước hết, đề tài tập trung tìm

hiệu bài toán nhận dạng khuôn mặt người, nghiên cứu các phương

pháp nhận dang khuôn mặt người, từ đó lựa chon một phương pháp

nhận dạng khuôn mặt người phù hợp cho cài đặt trên các thiết bị diđộng Sau đó, dựa trên tập dữ liệu lựa chọn, đề tài sẽ thực hiện việcphân tích và đánh giá phương pháp đề xuất Với những kết quả đánhgiá, đề tài sẽ đề xuất những hướng phát triển hoàn thiện trong cácnghiên cứu kế tiếp

1.4 Một số giả định

Trong đề tài này, VIỆC tiến hành nghiên cứu được thực hiện dựatrên một số giả định sau với tập dữ liệu huấn luyện:

- Di liệu ảnh huấn luyện gồm các ảnh nhìn thăng

- Các anh có hướng trùng với hướng khuôn mặt thông thường

được quan sát (thăng, đứng)

- Su chiếu sáng của ảnh và nền ảnh được kiểm soát theo yêu cầu

- Độ lớn của tập dit liệu là hữu han, trong đó mỗi đối tượng chỉ

có một ảnh mẫu duy nhất

- Các ảnh là ảnh tĩnh

Ngoài ra, do quá trình huấn luyện là một quá trình tốn thời giannên dữ liệu được sử dụng va huấn luyện với mô hình trên máy tính.Kết quả huấn luyện sẽ được xuất ra file kết quả với định dạng *.xml

Phần nhận dạng sẽ sử dụng file kết quả này dé thực hiện việc nhận

dạng.

1.5 Kết luận chương

Chương này đã tập trung trình bày về bài toán nhận dạng khuônmặt, các nghiên cứu trước đây về cách tiếp cận giải quyết bài toánnhận dạng khuôn mặt, một số van dé ảnh hưởng đến chất lượng nhận

dạng khuôn mặt cũng sẽ được thảo luận trong chương này Ngoài ra,

phạm vi và một số giả định cho nghiên cứu cũng đã được trình bàytrong phần cuối chương

Chương 2: PHƯƠNG PHÁP NHAN DẠNG KHUÔN MAT

2.1 Mở đầu

Bài toán nhận dạng đối tượng ảnh nói chung, nhận dạng khuônmặt người nói riêng là một bài toán rất phức tạp Nếu nhìn tổng thể

toàn bộ quá trình thì đây là một bài toán hoàn chỉnh của xử lý ảnh

bao gồm từ những bước đầu tiên là thu nhận ảnh, tiền xử lý nâng cao

chất lượng ảnh, cho đến hiểu ảnh Mỗi một khâu trong quá trình đều

có một vai trò nhất định và có ảnh hưởng không nhỏ đến chất lượng

chung của toàn hệ thống, trong đó với bai toán nhận dạng khuôn mặt

người là tính chính xác của việc nhận dạng.

Trong phạm vi luận văn này, giả thiết là dữ liệu ảnh số đã có sẵn(có thé đã được lưu trữ trong hệ thống hoặc có thé dễ dang thu nhậnvới sự hỗ trợ của hệ thống camera số) Vì vậy, trong phần này,chúng tôi sẽ chỉ tập trung vào xem xét từ quá trình tiền xử lý cho đến

so với những điêm ảnh xung quanh.

2.2.2 Tăng cường tính sắc nét của ảnh

Mục tiêu của phép làm tăng cường tính sắc nét của ảnh làtăng cường tính tương phản cục bộ của ảnh Kết quả của phép xử lý

sẽ làm các biên của đối tượng ảnh rõ nét hơn Từ đó, cho phép thực

hiện việc phân tách đối tượng, trích chọn đặc trưng đối tượng dễ

dàng và chính xác hơn.

2.2.3 Phát hiện biên ảnh

Phát hiện biên ảnh là thao tác bước đầu chuẩn bị tiến tới tríchchọn đặc trưng va hiểu ảnh Mặc dù chưa có định nghĩa chính chínhthức về biên ảnh, nhưng có một khái niệm được chấp nhận rộng rãi

đó là biên anh là một tập hợp điểm liên kết có sự thay đổi đột ngột

về giá trị mức xám Tập các điểm ảnh biên tạo thành biên ảnh haycòn gọi là đường bao của đối tượng ảnh

2.2.4 Phân vùng ảnh

Phân vùng ảnh là bước tiếp theo sau phát hiện biên Tuy nhiêntrong thực tế thường được thực hiện đồng thời với quá trình pháthiện biên Phát hiện biên và phân vùng ảnh là hai cách tiếp cận đối

ngẫu trong phân tích ảnh.

Mục tiêu của phân vùng ảnh là thực hiện việc chia ảnh đầu vảothành các vùng cau thành hoặc các đối tượng Mức độ chi tiết củaviệc phân vùng phụ thuộc vảo bài toán cần giải quyết Nói một cách

cụ thé, quá trình phân vùng ảnh sẽ kết thúc khi các đối tượng hoặc

vùng quan tâm trong ảnh được phân chia và được phát hiện.

2.3 Trích chọn đặc trưng

Dựa trên các kết quả đạt được của quá trình phân vùng đối tượngảnh, các đối tượng ảnh được tiếp tục đưa vào phân đoạn xử lý dé tìmcác đặc trưng Đặc trưng đối tượng có thể xem là những tham sốbiểu diễn hoặc tập những tham số biểu diễn cho phép mô tả tốt đối

tượng và phan nao giúp việc phân biệt giữa một đối tượng với mộtđối tượng khác

Việc trích chọn các đặc trưng hiệu quả sẽ cho phép việc khai

thác thông tin ảnh tốt hơn, nhận dạng các đối tượng ảnh nhanh hơn,

khối lượng dữ liệu (tập dtr liệu) mô tả các đối tượng ảnh sẽ giảm di.

2.3.1 Các đặc trưng cơ bản của đối tượng ảnh

2.3.1.1 Các đặc trưng mô tả đường bao đối tượng ảnh

Dé mô tả biên (đường bao) của đối tượng ảnh chúng ta có thé sửdụng các mô tả đơn giản như: chiều dài đường bao, đường kính

đường bao, các trục chính/phụ của đường bao, hình chữ nhận cơ sở của đường bao, độ lệch tâm của hình dạng đường bao, độ cong của đường bao,

Bên cạnh các mô ta don giản ké trên, đường bao đối tượng còn cóthé được mô tả bởi chi số hình dạng Chỉ số hình dạng được địnhnghĩa là vi sai mã chuỗi của biên được dịch vòng ứng với số nguyênnhỏ nhất

2.3.1.2 Các mô tả vùng ảnh

Các mô tả vùng đơn giản nhất là: diện tích của vùng, chu vi của

vùng, mức độ gọn của vùng, độ tròn của vùng,

Vùng còn có thể mô tả băng các giá trị trung bình, trung vị, lớn nhất

hoặc nhỏ của các mức xám của vùng.

2.3.1.3 Mô tả bằng các thành phân chỉnh

Như đã có đề cập trong chương đầu của luận văn, mục tiêu củaviệc sử dụng các đặc trưng mô tả là các thành phần chính là việc sửdụng các công cụ toán của đại số tuyến tính thực hiện việc phân tích

dữ liệu theo các thành phan cơ bản Các thành phan cơ bản là nhữngvéc-to trị riêng có hướng trùng với những hướng thay đổi lớn của dữ

liệu cần biểu diễn Nhờ đó, ta có thé chọn các biểu diễn xấp xi, haycòn gọi là giảm bậc/giảm chiều, trong cách biéu diễn

2.3.1.4 Mô tả quan hệ

Mô ta quan hệ thuộc nhóm mô ta cau trúc quan hệ giữa các thành

phần đối tượng ảnh Trước hết, người ta thực hiện việc định nghĩa

các phần tử mô tả nguyên tô như các góc hướng, các luật phân bố.Sau đó, các phần tử mô tả nguyên tố này được sử dụng đề thực hiện

mô tả đối tượng ảnh theo một luật mô tả, hoặc theo chuỗi mô tả,

hoặc theo cây mô tả.

2.3.2 Các đặc trưng cơ bản của khuôn mặt

Ngoài việc áp dụng một số đặc trưng mô tả cơ bản chung của cácđối tượng ảnh đã đề cập ở trên, khuôn mặt người còn thường đượcbiểu diễn bởi một số đặc trưng riêng của khuôn mặt Các điểm riêng

này được gọi chung là đặc trưng thuộc mặt.

Bang cách áp dụng các thuộc tính thị giác của con người trongnhận dạng khuôn mặt, đặc tính đầu tiên nhận thay với khuôn mặt

người đó là tính đối xứng Khuôn mặt người được cầu thành từ cặp

mắt, mũi, miệng, cằm Những khác biệt về hình dạng, kích thước

và cau trúc của các bộ phan này sẽ cho ta một độ đo tương đối chínhxác dé phân biệt các khuôn mặt với nhau

2.3.3 Một số phương pháp cơ bản trích chọn đặc trưng khuôn mặt

Có nhiều phương pháp trích chọn đặc trưng khuôn mặt Cáchphân loại đơn giản nhất là nhóm phương pháp toàn cục và nhóm

phương pháp cục bộ Trong nhóm phương pháp toàn cục, toàn bộ

ảnh được sử dụng như là đầu vào để trích chọn đặc trưng Trongnhóm phương pháp cục bộ, vùng cục bộ của ảnh được sử dụng dé

trích chọn các đặc trưng cục bộ.

2.3.3.1 Bộ lọc Gabor