Khóa luận tốt nghiệp Kỹ thuật máy tính: Xây dựng hệ thống nhận dạng lòng bàn tay

Hình 5 Ảnh mô tả điểm tham chiếu đã được cắtHình 6 Ảnh sau khi được xoay 90 độ và nhận diện cạnh bàn tay Hình 7 Thay đổi khoảng cách ngang và dọc Hình 8 Sau khi loc x 'p bang cửa sô hình

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH TRUONG DAI HQC CONG NGHE THONG TIN

KHOA KY THUAT MAY TÍNH

LUONG VAN TRÍ

KHOA LUAN TOT NGHIEP

XÂY DỰNG HE THONG NHAN DANG LONG BAN TAY

PALM PRINT RECOGNITION SYSTEM

KỸ SU NGÀNH KY THUAT MAY TÍNH

TP HO CHÍ MINH - NĂM 2023

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH TRUONG DAI HQC CONG NGHE THONG TIN

KHOA KỸ THUAT MAY TÍNH

LUONG VAN TRÍ - 18521526

KHÓA LUẬN TÓT NGHIỆP

XÂY DỰNG HỆ THÓNG NHẬN DẠNG LÒNG BÀN TAY

PALM PRINT RECOGNITION SYSTEM

KỸ SƯ NGÀNH KỸ THUẬT MAY TÍNH

GIẢNG VIÊN HƯỚNG DẪN

TS PHAM QUOC HÙNG

TP HÒ CHÍ MINH, 2023

THONG TIN HOI DONG CHAM KHÓA LUẬN TOT NGHIỆP

Quyết định số 75/QD-DHCNTT ngày 15 tháng 02 năm 2023.

Lời cảm ơn

Lời đầu tiên, xin gửi lời cảm ơn tới TS Phạm Quốc Hùng đã hướng dẫn tận tình dé

em có được định hướng tốt nhất, xác định được đúng dé tải, mục tiêu, quy trình cần thiết

dé xây dựng và hoàn thiện khoá luận này Bên cạnh đó, thầy còn giúp em chỉnh sửa cũngnhư bồ sung những thiếu sót trong quá trình thực hiện

Xin được cảm ơn quý thầy cô cũng như Trường Đại học Công nghệ thông tin đã tạo điều kiện về cơ sở vật chất, hệ thống thư viện, tài liệu cũng như kiến thức cho em trong

quá trình tìm hiểu và làm khoá luận Cảm ơn hội đồng chấm khoá luận đã đưa ra nhiều góp

ý dé giúp hoàn thiện dé tài

Cảm ơn gia đình, người thân đã tạo động lực, điều kiện dé em có thé hoàn toàn tập

trung và nỗ lực Cảm ơn bạn bè đã giúp đỡ, hỗ trợ em trong quá trình thực hiện khoá luận

`

này.

Chương 2, TONG QUAN ©2¿-©5£+2E‡EE9EE2EEE9EE1271211211211211711211211 11.111.011 1y 5

2.1 Bài toán nhận diện lòng ban fay - - c1 E231 v1 1H nh ng Hy 5 2.2 Những khó khăn và thách thức trong bài toán nhận diện lòng bàn tay 6 2.3 Các ứng dụng của bài toán nhận diện lòng bàn fay s5 5 + + *svEvsesseesseerse 6

2.4 Máy tính nhúng Raspberry Pi và Ứng Ụng - s2 112v ng ngư 7

PS Raspberry Pi Camera 9

Chương 3 LY THUYÊT 2-©22©++2E+++EEE+EEE+EEEEEEEEtEEESEEEEEEEEEEErrkrrrrrrrrrrre 11

3.1 Phát hiện ban tay và trích xuất vùng quan tâm: -¿ -¿sz++++xz+xz+zxzxesres 11

3.1.1 Cơ sở lý thuyết thuật toán phát hiện lòng ban tay: -2- 22s+cx+zxe=ss 11

3.1.2 Landmark detection [ 3], - - ¿- + << SE 2 1333223183211 8 E33 8v kg ve 21

3.1.3 Điều chỉnh hướng của lòng bàn tay 2- 2£ 22S2+EE+EE+EEeEEEEEEEEEEEEerkerkrrkrree 22

3.2 _ Thuật toán rút trích đặc trung LMTrp [3] -¿- ¿2c 55+ S+E**E+EEvEEeeEeeEseeeeeeeeeereers 22

3.3 Áp dụng Kernel-PCA đề giảm số lượng thành phần 2-2 2£ z2 £+£2£++zze+rez 34 3.4 Mô hình máy học dé phân loại (Suport Vector Machine) [7] «« «<<<ex<s 35 3.5 Huấn luyện mô hình máy học :-:- 22 ©+22+++E+++EE+t2EE+2EE+tEExttrxrerkrerrrrrrrrees 37

3.6 _ Mului-Threading va Mul(I-PrOC€SSINBE 6 c9 ng, 39

3.7 Triển khai phần cứng và phần mềm ¿2© £+E££EE+EE£+EEtEEE+EEEEEEtEEEEEErrkrrrerred 42 Chương 4 KẾT QUÁ THỰC NGHIỆM 2-2 5S2ESE22EE2EE2E127E7E211211211221 2211 xe 45

41 Kết QUA Cat QUOC 11 43 45

4.1.1 _ Thuật toán phát hiện lòng bàn fay 6 6 6 1231919 HH HH gi, 45

4.1.2 _ Nhận dạng lòng bàn tay 0 eee eeecscesecsseceseeseeseeesecesecsceecesseeeseceaeceeeeeeeeeeeeeeeaeees 48

4.1.3 Thiết kế giao diện -2- 2-52 +222EESEEEEEEE12211211211211111111211211211211 11111 xe 51 4.1.4 Mô hình hệ thống nhận dạng lòng bàn tay cccceccecsesseeseesessessessesseestessessessesseeaees 57 4.2 _ Ưu điểm — Nhược điỂm: ¿- 5 tt EESEEEEESEEEEEEEEEEEEE21111111211111111211 1E EExcreE 58

4.2.1 Ưuđiểm ch HH nh re 58 4.2.2 Nhược điểm -c22rvvtthnHHHHHHHHHH HH ru 59 Chương 5 KET LUAN.ieccsscsscsssesssesssessusssecssecssessecssecsusssessscsssssesssecsusssesssessusssesssecsuessessseesseess 61

5.1 _ Các kết quả đã thực hiện ¿- 22 ©++2++2EE+#EEEt2EE+EEEEEEEEEEEEEEEEEEEECEELrrrkrrrrrrrrei 61 5.2 Những đóng góp, dé xuất MOie ccc ecccssessessessessessecsecssessessessessessessesstesesseeseeseesees 61

Chương 6 HUONG PHAT TRIỂN 2- 2£ ©£2E£+EE£2EE+EEEEEEEEEEEEEEEEEEEEEEEEEEEErkrrrrrree 63

6.1 Về tính áp dụng của mô hình: 2-2 ©£ ++SEE+EE£+EE£EEE+EE2EEEEEEEEE2E1711271221x 2E crk 63 6.2 Về mô hình nhận dạng lòng bàn tay 2-22 S¿+2+£+£+EE£2EEtEEEEEEESEEEEEEEEErrrkerkerree 63 TÀI LIEU THAM KHẢO - 2 %+Ss+E9SE£2E2EE2E12E157157171121121121121111111111111 1111111 cce 64

Hình 5 Ảnh mô tả điểm tham chiếu đã được cắt

Hình 6 Ảnh sau khi được xoay 90 độ và nhận diện cạnh bàn tay

Hình 7 Thay đổi khoảng cách ngang và dọc

Hình 8 Sau khi loc x '(p) bang cửa sô hình chữ nhật

Hình 9 Giá trị thô của điểm tham chiếu (màu đỏ) và điểm tham chiếu đã sửa (màu xanh)

Hình 10 Điểm tham chiếu trên hình ảnh vân lòng bàn tay đã cắt trước khi xoay

Hình 11 Điểm tham chiếu trên cùng một hình ảnh vân lòng bàn tay đã cắt sau khi xoay

Hình 12 Điểm tham chiếu trên anh Palm trước khi xoay

Hình 13 Điểm tham chiếu trên ảnh Palm sau khi xoay

Hình 14 Hình ảnh vân lòng bàn tay mẫu

Hình 15 Vùng được trích xuất cho hình ảnh vân lòng bàn tay

Hình 16 Mediapipe cho bàn tay

Hình 17 Sơ đồ khối về nhận dạng lòng bàn tay dựa trên bộ mô tả LMTrP

Hình 18 Framework nhận dang lòng bàn tay dựa trên bộ mô ta LMTrP

Hình 19 Kết quả bộ loc Gabor với các hướng 0 = 0, x/ 6, 2/6, 31m / 6, 4m / 6, 5 / 6.

Hình 20 Đặc tính về độ rộng và đặc tính về hướng thu được từ bộ lọc Gabor

Hình 21 Các pixel liền kề với khoảng cách R dọc theo góc B

Hình 22 Đạo hàm theo quy tắc LMTrP theo phương ngang và phương dọc

Hình 23 Bốn hướng tham chiếu của LMTrP

Hình 24 Kết quả sau khi mã hóa theo hướng tham chiếu

Hình 25 Hình ảnh 12 mẫu nhị phân được tạo thành từ 4 hướng tham chiếu

Hình 26 Biéu diễn bit tương ứng của các mau góc phan tư của LMTrP trong đó k €[I,

Hình 27 Các mẫu góc phần tư và mẫu nhị phân của LMTTP 29

Hình 28 Các bước trích xuất và tính toán biểu đồ

Hình 29 Kết quả của việc tính toán biểu đồ 30

Hình 30 Ví dụ về sử dụng Kernel PCA đề phân tách dữ liệu một cách tuyến tính

Hình 31 Kết quả sau khi sử dụng Kernel PCA để giảm kích thước vector đặc trưng

Hình 32 Kết quả của quá trình trích xuất đặc trưng sử dụng mô ta LMTrP

Hình 33 Hình (a) biéu diễn dit liệu có margin nhỏ hơn (b)

Hình 34 Dữ liệu lòng bàn tay xét trong không gian 2 chiều

Hình 35 Các bước của quá trình Hyperparameter cho mô hình SVM

Hình 36 Sơ đồ liên kết của các Thread

Hình 37 Quá trình trích xuất hình ảnh lòng bàn thay khi áp dụng thuật toán

Hình 38 Trích xuất lòng bàn tay từ ảnh tay

Hình 39 Tiền xử lý ảnh bị xoay

Hình 40 Hình ảnh mẫu sử dụng trong việc đánh giá

Hình 41 Kết quả sau khi áp dụng mô hình lên tập dữ liệu tự xây dựng

Hình 42 Sử dụng Figma trong việc thiết kết giao diện

Hình 43 Giao diện nhận dạng

Hình 44 Giao diện mở khóa bằng mật khâu

Hình 45 Giao diện lay mẫu

16

17

18

18 19 20

21 21

23 23 25 26

26

27 28 28

29 30

31

32 33 34 34 35 36 38 39

42

45 47

48 49

51 52 54 55

56

Hình 46 Giao diện training 57

DANH MỤC BANG

Bảng 1 Thời gian training trên các thiết bi

Bảng 2 Kết quả quá trình trích xuất ảnh từ video.

Bảng 3 Các thông số trung bình của quá trình Hyperparameter trên tập dữ liệu Test

Bảng 4 Kết quả chỉ tiết của 15 đối tượng với các kernel riêng biệt trên tập validation

43

45 49

50

DANH MỤC TU VIET TAT

GPU Graphics Processing Unit

SVM Support Vector Machine

PCA Principal Components Analysis

OpenCV Open Source Computer Vision Library

FPS Frames Per Second

AI Artificial Intelligence

Gaussian RBF Gaussian radial basis function

CPU Central Processing Unit

RAM Random-access memory

GPIO General Purpose Input/Output

ROI Region Of Interest

LMTRP Local Micro-structure Tetra Pattern

GUI Graphic User Interface

PC Personal Computer

TÓM TẮT ĐÈ TÀI

Hiện nay trong kỷ nguyên của công nghệ - kỹ thuật, rất nhiều hệ thống luôn gặp phải nhữngrắc rối, bat cập xung quanh van dé bảo mật Dé giải quyết van dé này, các giải pháp bảomật liên tục được cải thiện, cập nhật Trong đề tài này, em sẽ áp dụng mô hình nhận dạng

lòng bàn tay lên một hệ thống có tích hợp khả năng phát hiện, nhận dạng và hiền thị quá

trình nhận dạng hoan toàn tự động Dé tài hướng đến việc xây dựng mô hình có chi phí

thấp tuy nhiên vẫn đảm bảo được độ chính xác cũng như tốc độ phản hồi nhanh Hệ thống

sẽ cạnh tranh trực tiếp các hệ thống nhận dạng hiện có trên thị trường với ưu điểm về độ

bảo mật và khả năng tối giản, đồng thời tiếp cận tới đa dạng đối tượng trong các lĩnh vực

nhà ở, ô tô hay ngân hang Do đó, việc lựa chon phan cứng cũng như phương pháp họcmáy là bước quan trọng hàng đầu Raspberry PI 4 là một máy tính nhúng với kích thướcnhỏ gọn, được tích hợp GPU nên thích hợp cho việc huấn luyện các mô hình học máy(Machine Learning) và xử lý quá trình hiển thị cũng như điều khiển phần cứng khác Việc

nhận dang lòng bàn tay bao gồm hai quá trình là phát hiện và nhận dạng Em sử dụng

phương pháp phát hiện bàn tay [2] và phát hiện các đốt trên ngón tay rồi tiến hành trích

xuất vùng lòng bàn tay từ các điểm tìm được cho việc phát hiện lòng bàn tay

Sau khi đã trích xuất được vùng lòng bàn tay sẽ tiến hành rút trích đặc trưng sử dụng môhình Tetra cấu trúc vi mô cục bộ dé trích xuất đặc trưng về các đường vân trên lòng bàntay Sau đó sẽ tiến hành sử dung SVM va PCA cho nhận dang lòng bàn tay Đặt trongtrường hợp triển khai mô hình trên một hệ thống nhúng có cấu hình hạn chế, hơn nữa đây

còn là xử lý ảnh thì việc giảm chiều dữ liệu nhưng vẫn giữ lại được những chỉ tiết chính sẽ

tăng tốc độ xử lý Sau khi đã giảm được chiều đữ liệu thì việc còn lại là sử dụng một bộphân loại đơn giản, không áp dụng học sâu dé nhận dạng lòng ban tay, ở đây em sẽ dùngmột phương pháp phổ biến là Support Vector Machine bởi vì mô hình này không sử dụngtài nguyên nhiều như các bộ phân loại học sâu, đây là yếu tố then chốt đề lựa chọn khi màRaspberry Pi là một loại máy tính nhúng có cấu hình hạn chế

Chương 1 MO DAU

1.1 Lí do chọn đề tài

Từ những năm 70 trở lại đây, đã có rất nhiều thiết bị hoặc hệ thống được sản xuất và sử dụng công nghệ sinh trắc học bao gồm điện thoại di động, khóa cửa thông mình để xác định danh tính.

Chương trình FERET [8] — những năm 1990/2000, dự án liên quan đến việc tạo ra một cơ

sở dữ liệu về hình ảnh khuôn mặt Trong bộ thử nghiệm, có tới 2.413 ảnh tĩnh đại diện cho

856 người Chương trình nay là bước ngoặt lớn cho công nghệ nhận diện khuôn mặt va

những ngành nghề liên quan tới nó Từ những năm 2010, Facebook đã bắt đầu triển khaichức năng nhận diện khuôn mặt giúp xác định những người xuất hiện trong ảnh đăngFacebook Công nghệ nhận diện khuôn mặt ngay sau đó đã được ứng dụng nhiều hơn vàocác thiết bị thông minh trong cuộc sống Cu thé, công nghệ nay đã được sử dụng thay chokhóa mở điện thoại FaceID ngay lập tức trở thành từ khóa hot nhất, và là chìa khóa khiếnIphone X bán chạy hơn bao giờ hết Tuy nhiên lại có khá nhiều vấn đề về nhận dạng bằngkhuôn mặt, trước hết là độ chính xác và tính khả thi khi áp dụng Dé có được hình ảnh đốichiếu, hệ thống yêu cầu khách hàng phải quay ít nhất 35 độ về phía camera và không sửdụng khẩu trang, mũ, nón Tiếp theo là yêu cầu về bảo mật thông tin, đã có rất nhiều ý kiếntrái chiều về tính năng lưu trữ thông tin của khách hàng Ở khía cạnh liên quan đến bảomật, tính năng này đang vi phạm đến nhân quyền của khách hàng Tại Mỹ, đã có rất nhiều

tổ chức lên tiếng phản ánh về tinh năng này khi nó được xem là hệ thống theo dõi hành vi,thông tin cá nhân của khách hàng, xâm phạm đến quyền riêng tư Nhưng đối với lòng bàn

tay các khuyết điểm trên trên được khắc phục qua các ý chính của câu hỏi vì sao người ta

sử dụng lòng bản tay dé nhận dạng và bảo mật? Thứ nhất là sự riêng biệt của dòng máu

nóng trong lòng bàn tay Sơ đồ tĩnh mạch và các đường vân là riêng biệt và duy nhất, không

có sự trùng lặp giống nhau ké cả giữa anh em sinh đôi cùng trứng Trên thực tế cũng như

vân tay mỗi bàn tay có một sơ đồ tĩnh mạch và vân lòng bàn tay duy nhất [9] Thứ hai, khi

xem một hình ảnh về lòng bàn tay thì chăng ai có thê kết luận ngay tức thì nói nó thuộc về

ai cả Trong cuộc sống thường ngày, lòng bàn tay thường co lại, nên nếu không chủ động

hợp tác, rất khó dé người khác hay các camera 4n có thé đánh cắp thông tin lòng ban tay

của bạn Chính vì vậy mà các nhà nghiên cứu đã chuyên hướng và tập trung nghiên cứu

vào công nghệ nhận dạng lòng bàn tay Trong năm 2016 ZKTeco lần đầu tiên giới thiệucông nghệ nhận dạng lòng bàn tay Đó là phát súng mở đầu cho công cuộc chạy đua sinhtrắc học mang tên "Xác minh lòng bàn tay" Đến năm 2017, tới lượt Samsung cũng cho rađời công nghệ nhận dạng lòng bàn tay của mình Nhận thấy tính thực tế tiềm năng nghiêncứu, phát triển của mô hình nhận dạng lòng bản tay hiện nay, em thực hiện xây dựng môhình cửa tự động áp dụng nhận dạng lòng bàn tay cho đề tài nghiên cứu.

1.2 Mục đích nghiên cứu

Ứng dụng hai xu hướng công nghệ hiện nay là máy học (Machine Learning để xâydựng một mô hình gồm phần cứng và giao diện cho ứng dụng công nghệ nhận dạng lòngbàn tay nhằm khắc phục một số hạn chế cũng như phát triển thêm các tính năng, ưu điểmcho hệ thống này Cụ thể là:

- Tìm hiểu và ứng dụng các phương pháp trích xuất vùng quan tâm cho phát hiệnlòng bàn tay, PCA và SVM, tối ưu và tỉnh chỉnh trên mô hình máy học dé dat được độ

chính xác cao.

- Tiền xử lý ảnh bằng các phương pháp như chuyền đổi ảnh xám, chuyên đổi tỉ lệảnh, trích xuất landmarks, điều chỉnh hướng nghiêng lòng bàn tay

- Khai thác kha năng Multi-Threading, Multi-Processing dé tăng FPS cũng như khả

năng chạy nhiều công việc đồng thời cho giao diện người dùng cũng như tăng thời gian đáp ứng cho hệ thống.

- Điều khiển và xử ly các tín hiệu, ngoại vi trên Raspberry chính xác

- Thiết kết giao điện phục vụ quá trình nhận dạng lấy mẫu cho hệ thống

- Mô hình thực hiện được phải có tính hợp lý và ứng dụng cao Đảm bảo các mặt

hạn chế về chỉ phí

1.3 Pham vi nghiên cứu

Phạm vi của đề tài là giải quyết hai vẫn đề chính Thứ nhất là nhận dạng lòng bàntay, thực hiện tiền xử ly anh, phát hiện và nhận dạng lòng ban tay Thứ hai là giao diệnngười dùng: xử lý tín hiệu thu và nhận đề điều khién hiển thị cho hệ thống giao diện, tăngkhả năng tương tác giữa người dùng và hệ thống

Việc xây dựng một mô hình nhận dạng lòng bàn tay bao gồm ba vấn đề chính cầnquan tâm để đánh giá là tài nguyên, công suất, độ chính xác và tốc độ xử lý Tuy nhiên,trong dé tài này chỉ tập trung cải thiện độ chính xác, tốc độ xử lý và phát triển dao diện dénăng cao trải nghiệm người dùng, bỏ qua các vấn đề về công suất và bảo mật.

Với đề tài lần này, em sẽ thực hiện trên tập dữ liệu Polyu gồm 3000 ảnh bàn tayphải cho việc đánh giá quá trình phát hiện lòng bàn tay Tiếp theo em sẽ tiến hành sưu tamtập đữ liệu về lòng bàn tay người Việt Nam gồm 15 đối tượng, mỗi đối tượng sẽ tiến hànhchụp 50 ảnh lòng bàn tay đề đánh giá hệ thống nhận dạng lòng bàn tay

Về độ chính xác, với hệ thống phát hiện em sẽ cải tiến các thuật toán đã ồn định [2]

giúp tăng độ chính xác và tăng khả năng tích nghi ở môi trường thực tế Với mô hình nhậndạng em sẽ tối ưu về cả hai phía là lập trình và thuật toán nhận đạng sao cho mô hình đápứng tốt khi áp dụng vào các hệ thống cửa cho nhà ở và phương tiện giao thông

Chuong 2 TONG QUAN

2.1 Bài toán nhận diện long ban tay

Gần đây, sinh trắc học đã nồi lên như một công nghệ đáng tin cậy dé cung cấp mức

độ bảo mật cao hơn cho hệ thống xác thực cá nhân Trong số các đặc điểm sinh trắc học

khác nhau có thể được sử dụng để nhận biết một người, bàn tay con người là hình thức

công nghệ sinh trắc học lâu đời nhất và có lẽ là thành công nhất Các tính năng có thể đượctrích xuất từ bàn tay bao gồm hình học bàn tay, dấu vân tay, lòng bàn tay, đốt ngón tay.Những tinh chat tay là ôn định và đáng tin cậy Khi một người đã đến tuổi trưởng thành,cau trúc và cau hình ban tay vẫn tương đối 6n định trong suốt cuộc đời của người đó Ngoài

ra, công nghệ quét tay thường được coi là không xâm lấn so với các hệ thông quét méng

mắt hoặc võng mac Người ding không cần phải nhận thức về cách ho tương tác với hệ

thống Đặc biệt, ưu điểm của nhận điện lòng bàn tay là nó có tính bảo vệ quyền riêng tư

con người hơn so với khuôn mặt, Những lợi thế này đã tạo điều kiện thuận lợi cho việctriển khai các đặc tính của tay trong các ứng dụng sinh trắc học [10] Hiện nay, hầu hết cácthiết bị thu nhận tay đều dựa trên thiết kế dựa trên cảm ứng Người dùng được yêu cầuchạm vào thiết bị hoặc giữ một số chốt hướng dẫn hoặc ngoại vi dé chụp ảnh ban tay của

họ Ba loại mô hình đường được nhìn thấy rõ ràng trên lòng bàn tay Những mẫu đườngnày được gọi là đường chính, nếp nhăn và đường vân Đường chính là đường dài nhất, đậmnhất và rộng nhất trên lòng bàn tay Các đường chính đặc trưng cho các tính năng dễphânbiệt nhất trên lòng bàn tay Hầu hết mọi người có ba đường chính, được đặt tên là đường

tình yêu, đường trí tuệ và đường sinh mệnh (hình 1) Nếp nhăn được coi là các mẫu đường

mỏng hơn và không đều Các nếp nhăn, đặc biệt là các nếp nhăn rõ rệt xung quanh cácđường chính, cũng có thể đóng góp cho việc phân biệt của dấu bàn tay Mặt khác, cácđường van là kết cầu đường mảnh phân bồ khắp bề mặt lòng bàn tay Khi hình ảnh bàn taycủa họ được chụp, các vùng quan tâm (ROI) của lòng bàn tay sẽ được trích xuất ROI chứathông tin quan trong của bàn tay được sử dụng dé nhận dạng ROI được xử lý trước dé kếtcau lòng bàn tay có thé phân biệt được với nền Sau đó, các tính năng phân biệt trong ROI

có thể được trích xuất băng cách sử dụng các kỹ thuật khác và các thuật toán đa dạng được

áp dụng dé xác định, nhận diện lòng bàn tay đó là ai theo từng yêu cau cụ thé của mỗi bài

toán.

2.2 Những khó khăn và thách thức trong bài toán nhận diện lòng bàn tay

Bài toán nhận diện lòng bàn tay người cũng không phải là vấn đề mới Tuy nhiên,đây là một bài toán khó nên những nghiên cứu hiện tại vẫn chưa đạt được kết quả mong

muốn Có thê kế đến những khó khăn của bài toán nhận lòng bàn tay người như sau:

e Góc chụp: Ảnh chụp lòng bàn tay có thê thay đôi rất nhiều bởi góc chụp giữa camera

và bàn tay Chăng hạn như: chụp thăng, chụp chéo bên trái, bên phải ở các góc khác

nhau ).

e Điều kiện của ảnh: Ảnh được chụp trong các điều kiện khác nhau về chiếu sang, vé

tính chất camera (máy kỹ thuật số, máy ảnh hồng ngoại ) ảnh hưởng rất nhiều đếnchất lượng ảnh lòng bàn tay

2.3 Các ứng dụng của bài toán nhận diện long bàn tay

Ung dụng của bài toán nhận diện lòng bàn tay có rất nhiều và đã được triển khai rấthiệu quả trong thực tế Có thé kế đến một số ứng dụng điền hình sau đây[ 1 1]:

e Ứng dụng trong các trạm rút tiền tự động (ATM)

° Ứng dụng trong việc điều tra tội phạm trong các vụ án dé lại dấu lòng bàn tay.

Ngoài ra nó còn được dùng cho các cuộc điều tra khủng bố hoặc các sự kiện đặc

biệt cần có dau ban tay để nhận dạng

e Bảo mật: Các ứng dụng về bảo mật rất đa dạng, một trong sốđó là công nghệ nhận

diện lòng bàn tay Công nghệ này cho phép người dùng có thêđăng nhập hoặc truy

cập vào một thiết bị hoặc một ứng dụng nào đó thay cho việc dùng Password như

thông thường.

e Các ứng dụng khác: - Điều khiển vào ra: Nhà ở, văn phòng, công ty Kết hợp

thêm với nhận diện khuôn mặt cho phép chủ nhà, nhân viên ra vào, điểm danh

2.4 Máy tính nhúng Raspberry Pi và ứng dụng

Raspberry Pi là một họ máy tính nhúng nhỏ, giá thành thấp, tiêu thụ ít năng lượngđược phát triển bởi Raspberry Foundation — là tổ chức phi lợi nhuận có trụ sở tại Vươngquốc Anh, với tiêu chí xây dựng hệ thống mà nhiều người có thể sử dụng được trong nhữngcông việc tùy biến khác nhau Nó được phát trién dé đây mạnh việc giảng day khoa họcmáy tính tại các trường học và ở các nước đang phát triển So sánh với PC thông thườnghay các chiếc điện thoại thông minh thì khả năng xử lý của một máy tính nhúng Raspberry

Pi kém hon đáng ké Nhưng do có tính đa năng trong nhiều nhiệm vụ và thế mạnh là chiphí rẻ, nên nó đã trở nên ngày càng phổ biến thậm chí xa hơn han so với mục đích sản xuấthướng tới ban dau Raspberry Pi không thay thế hoàn toàn hệ thống dé bàn hoặc máy xáchtay Người dùng không thê chạy Windows trên đó vì BCM2835 dựa trên cấu trúc ARMnên không hỗ trợ mã x86/x64, nhưng vẫn có thể chạy bang Linux với các tiện ích như lướtweb, môi trường màn hình và các nhiệm vụ khác Tuy nhiên Raspberry Pi là một thiết bị

đa năng đáng ngạc nhiên với nhiều phần cứng có giá thành rẻ nhưng rất hoàn hảo chonhững hệ thống điện tử, những dự án DIY, thiết lập hệ thống tính toán rẻ tiền cho nhữngbài học trải nghiệm lập trình Cấu hình phần cứng Raspberry Pi 4 Model B Trong đề tài

này, em sử dụng máy tính nhúng Raspberry Pi 4 Model B phiên ban RAM 4GB được ra

mắt vào ngày 24/06/2019 Raspberry Pi 4 Model B là một phiên bản nâng cấp củaRaspberry Pi 3 Model B + đã được ra mắt trước đó 1 năm Với thế hệ Raspberry Pi 4 mớinhất và mạnh nhất hiện nay trong dòng Raspberry Pi, bản nâng cấp này mang đến tốc độ

nhanh hơn về mọi mặt Cụ thể, điểm nồi bật chính của Raspberry Pi 4 Model B là vi xử lý

và kết nối mang Model B dùng vi xử ly Broadcom BCM2711B0 4 nhân 1.5GHz (tốc độ

xửlý cao gap 3 lần so với BCM2837B0 1.4GHz trên Pi 3 Model B+) Trong các công việc

đòi hỏi tốc độ mạng nhanh, Raspberry Pi 4 Model B có thé đáp ứng với kết nối Wi-Fi 2

băng tan 2.4GHz và 5GHz (Dual-band), Ethernet chuyên đổi từ Gigabit Ethernet 300Mbps

trên Pi 3 B+ sang Gigabit Ethernet Thiết bị cũng hỗ trợ Bluetooth 5.0 va Bluetooth Low

Energy giúp kết nói tốt hơn với các thiết bị thông minh khác Hơn nữa, Pi 4 Model B con

có Power over Ethernet (PoE) giúp cung cấp nguồn điện cho thiết bị thông qua dây cắm

Ethernet nhưng phải thông qua một HAT mở rộng.

40-Pin General-Purpose Broadcom | PoE HAT Header |

Input/Output Header BCM2711 CPU ff 8GB RAM Mieibilillliiantd

2.4/5GHz Wi-Fi | Oe oe pi zole = Bi , Gigabit Ethernet

Bluetooth 5.0 ee ie a Z| i

Micro SD Card Slot F " | 2xUSB30 |

2-Lane MIPI DSI —N "lữ = dể

Display Port ,

USB-C Power

Port 5V/3A

2 xMicro HDMI 2-Lane MIPI CSI

Ports (Úp to 4Kó0P) Camera Port

Hình 2 Raspberyy Pi 4 Model B [12]

Cấu hình chi tiết Raspberry Pi 4 Model B:

— VI xử ly: Broadcom BCM2711, quad-core Cortex-A72 (ARM v8) 64-bit SoC @

1.5GHz

— RAM: IGB, 2GB or 4GB LPDDR4

— Kêtnôi:

o 2.4 GHz and 5.0 GHz IEEE 802.11b/g/n/ac wireless

o LAN, Bluetooth 5.0, BLE

o Gigabit Ethernet

o 2céng USB 3.0

o 2céng USB 2.0

— GPIO : 40 chân cắm GPIO tiêu chuẩn

— Video và âm than :

o_ 2 công micro HDMI (Hỗ trợ video 4Kp60)

o 1 công MIPI DSI display

o 1 công MIPI CSI camera

© 2-pole stereo audio and composite video port

— Đa phương tiện:

o H.265 (giải mã video 4Kp60)

o H.264 (giải mã video 1080p60, mã hóa video 1080p30)

o_ Đồ họa OpenGL ES, 3.0

— Lưu trữ: Thẻ Micro SD

— Nguồn cung cấp:

o_ 5VDC kết nối băng USB-C (minimum 3A)o_ 5VDC kết nối qua chân cắm GPIO (minimum 3A)

o Tính năng Power over Ethernet (PoE)

— Môi trường làm việc: Hoạt động trong môi trường 0—50°C

2.5 Raspberry Pi Camera

Camera được sử dung trong dé tai là Camera Raspberry Pi Module V2 8MP Camerađược kết nối với máy tinh thông qua đoạn cáp 15cm qua cổng CSI trên Raspberry Pi.Camera Module có thể được sử dụng đề chụp ảnh tĩnh, quay video với độ phân giải cao lêntới 8 megapixel Nó kha dé dàng dé sử dụng cho người mới bắt đầu, nhưng cũng có rấtnhiều giải pháp mở rộng để cung cấp cho người dùng yêu cầu cao Có rất nhiều bài giớithiệu của người dùng về công dụng của Camera Module như chụp Time-Lapse, Slow-Motion và rất nhiều ứng dụng khác Raspberry Pi Camera Module V2 là một bước nhảy

vọt về chât lượng hình ảnh, màu sắc trung thực và hiệu suất ánh sáng thấp Chiếc camera

này tương thích với tất cả các phiên bản của máy tinh Raspberry Pi 1, 2,3 và 4.

3 Camera V2.1

Made in PRE

Hinh 3 Camera raspberry

Thông số kỹ thuật:

e_ Ong kính tiêu cự cô định, điều chỉnh bằng chiết áp tay.

e_ Cảm biến độ phân giải 8 megapixel cho kha năng chụp ảnh kích thước 3280 x

2464.

e H6 trợ video 1080p30, 720p60 và 640x480p90

e Kich thước 25mm x 23mm x 9mm.

Trọng lượng chi hon 3g.

e Kết nối với Raspberry Pi thông qua cáp đi kèm dài 15 cm

e Camera Module được hỗ trợ với phiên bản mới nhất của Raspbian

10

Chương 3 LÝ THUYET

3.1 Phát hiện bàn tay và trích xuất vùng quan tâm:

3.1.1 Cơ sở lý thuyết thuật toán phát hiện lòng bàn tay:

Tiền xử lý, là bước đầu tiên trong thuật toán được phát triển vì nó được sử dụng

trong nhiều hệ thống sinh trắc học, là một trong những phần quan trọng nhất của thuật toán

nhận dạng vân lòng bàn tay được phát triển Trước bước trích xuất đặc trưng và so khớp,tat cả các hình ảnh trong cơ sở dữ liệu phải được xử lý trước và phải lay được khu vựctrung tâm của lòng bàn tay Các thuật toán tiền xử lý sẽ được sử dụng cho mục đích nàynên được chọn sao cho thuật toán nên được áp dụng cho tất cả các hình ảnh trong cơ sở dit

liệu và phải đạt được độ chính xác của lòng bàn tay với độ chính xác cao Tóm lại, độ chính

xác của thuật toán tiền xử lý là rất quan trọng, vì các lỗi có thé xảy ra trong bước xử lý nàynày sẽ ảnh hưởng đến các bước xử lý tiếp theo Sau khi kiểm tra tất cả các hình ảnh trong

cơ sở đữ liệu, em quyết định xác định hệ tọa độ như được đưa ra trong Hình 5 dé căn chỉnhcác hình anh lòng bàn tay khác nhau Điểm A và Điểm B trong Hình 5 thé hiện các điểmcạnh được tìm thấy trong quá trình tiền xử lý và đường màu đen dọc đi qua cả Điểm A vàĐiểm B tạo thành trục Y Đường màu den nằm ngang vuông góc với trục Y, do đó nó tạothành trục X Tuy nhiên, có thé vẽ vô số đường thang vuông góc với Y-axis, trừ khi điểm

giao nhau của chúng là I được chỉ định Vi thế, điểm giao nhau I phải được chỉ định dé có

trục X và Y duy nhất Trung điểm của A và B được chon làm điểm giao nhau I Tính duynhất của trục X và Y có thể được chứng minh như sau: Vì chỉ một đường thắng có thê điqua hai điểm khác nhau nên Y-axis là duy nhất Vì trục Y thu được, độ đốc của nó được

biết và do trục X vuông góc với trục Y, nên độ dốc của X-axis cũng được biết Như ở trên

đã dé cập, trung điểm của A và B được chọn là điểm giao nhau, do đó, trục X di qua I Mộtđiểm trên trục X và độ đốc của trục X được biết, do đó phương trình của trục X được biết

và nó là duy nhất

11

Hình 4 Hệ thống tọa độ

Muốn xác định được tọa độ như trên, em tiền hành xác định được điểm A và B déxác định được điểm A và B xem hình 6

Diem tham chiều

Hình 5 Ảnh mô tả điểm tham chiếu đã được cắt

Sau khi chỉnh ảnh vân lòng bàn tay được cắt em tiến hành xoay hình theo góc 90

độ, như hình 6.

12

Hình 6 Ảnh sau khi được xoay 90 độ và nhận điện cạnh bàn tay

Như được thấy trong Hình 7, sau khi có được ranh giới của vùng mong muốn Bướctiếp theo là tìm các điểm tham chiếu A và B, nằm trên ranh giới này Tuy nhiên, điều đángchú ý ở đây là, ngay cả những lỗi rất nhỏ ở các vị trí của các điểm tham chiếu có thê ảnhhưởng đáng kế đến hệ tọa độ, bởi vì các điểm tham chiếu xác định cả gốc của hệ tọa độ,

đó là I và độ đốc của X và Y-axis Đặt góc trên bên trái của Hình 7 là gốc tọa độ được biêu

thị bởi O (0, 0) và đề bất kỳ điểm p nào trong Hình 7 được ký hiệu là (x (p), y (p)), trong

đó x (p) là khoảng cách ngang của điểm p đến điểm gốc tính bang pixel và y (p) là khoảng

cách dọc của cùng điểm với điểm gốc tính bằng pixel Di chuyên qua ranh giới được hiển

thi trong Hình 7 từ trái sang phải, các giá tri (x (p), y (p)) thay đổi như trong Hình 8

13

Hình 7 Thay đối khoảng cách ngang và doc

Các điểm tham chiếu được thể hiện trong Hình 8 Như có thé thấy khoảng cách dọccủa điểm p đến gốc O, y (p), gần như không đôi giữa các điểm tham chiếu, trong khi khoảngcách ngang của cùng một điểm với gốc O, x (p), tăng rất nhanh trong cùng một khoảng.Khi quan sát hình Hình 7, khi đi qua ranh giới giữa các điểm tham chiếu từ trái sang phải,tiến hành di chuyền theo chiều ngang, do đó x (p) tăng tuyến tính và y (p) gần như khôngđổi Cũng thấy răng, trong hình 8 rằng tăng các giá trị x (p) là nhanh nhất giữa các điểmtham chiếu Đó là ly do tai sao khi đạo hàm của x (p), chi là sự khác biệt của hai phan tửliên tiếp x (n) và x (n - 1) vì x (p) là một hàm rời rạc của p, được lọc bằng một cửa số hìnhchữ nhật với chiều dài N, giá trị thô của các điểm tham chiếu có thé thu được Điều này là

do giá trị của hàm kết quả giữa các điểm tham chiếu sẽ ở giá trị tối đa của nó và cũng sẽrất gần với N Điều này được hiển thị trong Hình 9, trong đó N được đặt theo kinh nghiệm

là 40.

14

Hình 8 Sau khi loc x '{p) bang cửa số hình chữ nhật

Như đã nêu ở trên, y (p) gần như không đổi giữa các điểm tham chiếu và thông tinnảy có thể được sử dụng dé sửa vị trí của các điểm tham chiếu, nếu cần Đề tìm vi trí chínhxác của các điểm tham chiếu, các giá trị thô của các điểm tham chiếu được hién thị trongHình 9 Điểm giữa của các điểm nay được lấy làm điểm bat đầu và thuật toán tìm kiếm các

điểm trong đó y (p) bat đầu thay đồi theo cả hai hướng Tuy nhiên, có thé có các biến thé nhỏ trong y (p) theo ca hai hướng và thuật toán không nên diễn giải các biến thé này khi y

(p) thay đổi Điều này được thực hiện bằng cách lọc đạo hàm của y (p) với cửa số hình chữnhật có độ dài 7 và so sánh hàm kết quả với ngưỡng Giá trị thô của các điểm tham chiếu

được tìm thấy sau khi lọc đạo hàm của x (p) được hiển thị màu đỏ trong Hình 10 Các điểm tham chiếu đã sửa được sau khi lọc đạo hàm của y (p) được hiển thị bằng màu xanh lamnhư hình bên dưới.

15

Hình 9 Giá trị thô của điểm tham chiếu (màu đỏ) và điểm tham chiếu đã sửa (màu xanh)

Như đã nêu, các vị tri của các điểm tham chiếu là đủ dé tạo thành hệ tọa độ nhưtrong Hình 5 Vùng hình chữ nhật trong Hình 5 là vùng lòng bàn tay mong muốn và cáccạnh dọc của vùng hình chữ nhật này song song với trục Y Đó là lý do tại sao khi góc đốccủa trục Y khác với 90°, góc dốc của các cạnh dọc hình chữ nhật cũng khác với 90° Điều

đáng chú ý ở đây là các giá trị pixel trong ảnh nằm trên lưới hình chữ nhật và khi góc dốc của các cạnh dọc khác với 90°, vùng hình chữ nhật được trích xuất không khớp với lưới

hình chữ nhật Các đơn giản để giải quyết vấn đề này là hình ảnh lòng bàn tay phải đượcxoay theo một góc Ø° theo chiều kim đồng hồ nếu góc dốc của trục Y là (90 +)° và nó phải

được xoay bởi một góc là Ø 0 theo hướng ngược chiều kim đồng hồ nếu góc đốc của trục

Y là (90-) 0 Khi tat cả các hình ảnh trong cơ sở dit liệu được kiểm tra, có thé thay rang

giá trị tối đa sẽ ở khoảng 70 Xoay hình ảnh có góc khác với (n * 90) °, trong đó n là số

nguyên, cần nội suy và nội suy làm giảm chất lượng của hình ảnh Tuy nhiên, vì góc xoay

khá nhỏ và tất cả các hình ảnh trong cơ sở dữ liệu đều có thể xoay, tức là tất cả các hình

ảnh trong cơ sở dt liệu đều bị ảnh hưởng theo cách tương tự, suy giảm chất lượng hình ảnhgây ra bởi xoay là không đáng kể Sau khi quay, trục Y sẽ có góc dốc 900 , do đó vùnghình chữ nhật được trích xuất sẽ phù hợp với lưới hình chữ nhật Đặt các điểm tham chiếu

16

ở A (xA, yA) và B (xB, yB), sau đó góc quay theo hướng ngược chiều kim đồng hồ có thé

được tính như sau:

Ya + Ye

Xa + Xp

0= (90 — tan} ( )) được tinh bằng độ (1)

Sau khi hình anh lòng ban tay được xoay theo một góc Ø°, các thao tác tương tựđược thực hiện dé xác định vi trí các điểm tham chiếu trên hình ảnh được xoay Hình 10

Hình 11, Hình 12 và Hình 13 hiển thị các điểm tham chiếu nằm trên cùng một hình anh

lòng bản tay trước và sau khi xoay

Hình 10 Điểm tham chiếu trên hình ảnh vân lòng bàn tay đã cắt trước khi xoay

17

Hình 11 Điểm tham chiếu trên cùng một hình ảnh vân lòng bàn tay đã cắt sau khi xoay

Hình 12 Điểm tham chiếu trên ảnh Palm trước khi xoay

18

Sau khi các điểm tham chiếu được đặt trên các hình ảnh vân lòng ban tay, bước tiếptheo là trích xuất vùng vân lòng bàn tay trung tâm, đó là vùng hình chữ nhật được hiển thịtrong Hình 14 Sau khi quay, góc dốc của trục Y là 90°, góc dốc của khu vực hình chữ nhậtmặt đứng dọc cũng là 90 ° Điều này dẫn đến việc vùng hình chữ nhật được trích xuất vừa

với lưới hình chữ nhật Do trục X vuông góc với trục Y, góc dốc của trục X là 00 Đặt các

điểm tham chiếu ở A (xA, yA), B (xB, yB) và lưu ý rằng xA = xB sau khi quay, sau đó tọa

độ của trung điểm của A và B, (x0, y0), có thể được tìm thấy như sau:

Xo = XA = XB

_ Yat Ye (2)

2

Yo

Vùng hình chữ nhật có chiều dai 180 pixel theo hướng ngang và chiều rộng 150pixel

theo hướng dọc Ngoài ra, khoảng cách vuông góc giữa cạnh dọc bên trái của vùng hình

chữ nhật và trục Y là 15 pixel Đặt R1(x1, yl) biểu thị tọa độ của góc trên bên trái của khu

vực hình chữ nhật và tương tự, R2(x2, y2) biểu thị tọa độ của góc dưới bên trái của khu

vực hình chữ nhật, sau đó:

19

X2 = Xo + 15

Sau khi tọa độ của góc dưới và góc trên bên trái được ước tính, tọa độ của góc trên

bên phải, R3(x3, y3) và góc dưới bên phải, có thé thu được R4(x4, y4) như sau:

20

Hình 15 Vùng được trích xuất cho hình ảnh vân lòng bàn tay

3.1.2 Landmark detection [13]

Bởi vì phương pháp phát hiện lòng bàn tay được nêu ở trên có khá nhiều nhượcđiểm về quá trình xát định bàn tay từ ảnh thu thập được như độ xoay, background, màu dacũng như ánh sáng chiếu vào làm giảm đi độ chính xác của mô hình Và vấn đề này liênquan đến thuật toán, hơn nữa dataset là một tập hợp rất nhiều ảnh cho nên việc kiểm soátthủ công vấn đề này hầu như là không thé Chính vi vậy, việc nomalize data trước khitraining model hoặc trước khi dự đoán sẽ trở nên rất quan trọng trong trường hợp này, trong

sô đó sẽ có landmark detection.

Vậy landmark detection là gì? Đây là một phương pháp trích xuất những đặc trưng

của ban tay làm cho quá trình phát hiện ban tay trở nên chính xác và hơn nữa thư viện nay

có giúp đánh dấu các điểm trên bàn tay, nếu áp dụng các điểm tìm được vào thuật toán sẽgiúp phát hiện lòng bà tay chính xác hơn phương pháp truyền thống Ở đây em sẽ dùnglandmark detection cho việc phát hiện các điểm trên bàn tay sau đó áp dụng cơ sở lý thuyết

ở trên dé thực hiện ROT, cách làm trên sẽ trở nên dễ dàng hơn cho việc phát hiện lòng bàntay và độ chính sát cao hơn cách truyền thống rất nhiều

3.1.3 Điều chỉnh hướng của lòng ban tay

Sau khi tìm hiểu về một số bài báo khoa học liên quan đến thuật toán ROI lòng bàntay như [1], [2], đa phần thuật toán chỉ áp dụng được trong bai toan với hình ảnh bàn tayđược căn chỉnh sẵn và độ xoay hầu như không có, điều đó làm cho khả năng tối ưu khi ápdụng vao thực tế bị giảm sút Điều đó là một nhược điểm khá lớn vì tiền đề của nhận dạng

lòng bàn chính trích xuất vùng lòng bàn tay Chính vì lý do làm cho quá trình phát hiệnlong bàn tay trong thực tế có thé bị xoay dich do người dùng có tính hoặc vô ý đặt ban tayxoay một góc khá lớn khi tiễn hành chụp ảnh, nó gây khó khăn rất lớn trong quá trình

training và đặc biệt là ảnh hưởng rất nhiều đến độ chính xác của mô hình Vì thế quá trìnhđiều chỉnh lòng bàn tay trước khi chụp ảnh cung cấp input cho mô hình rất là quan trọng

Trong phạm vi khóa luận lần này, em tiễn hành cải tiến thuật toán ROI dé có théphát hiện những bàn tay có góc nghiêng từ 0 — 30° Đề thực hiện điều đó, trước tiên phảidựa vào model hand landmark dé xát định các điểm trên bàn tay nêu ở trên, dựa vào cácđiểm đó dé tính góc nghiêng giữa cô tay và phần trên cô tay, từ đó xoay một góc để cănchỉnh bàn tay theo yêu cầu của thuật toán nêu trên từ đó xát định được vị trí lòng bàn taymột cách nhất quán và bị xoay dịch một ngưỡng có thé chap nhận được

3.2 Thuật toán rút trích đặc trung LmTrp [3]

Như đã trình bày về vấn đề lòng bàn tay bị xoay dịch ở trên, tuy đã khắc phục tìnhtrạng lòng ban tay sau khi ROI bị xoay dịch, tuy nhiên đây chỉ cải thiện một phan vì khi ápdụng thuật toán sẽ có một vai sai số dẫn đến vẫn còn bị xoay một góc nhỏ, hơn nữa trongquá trình nhận hình ảnh từ camera sẽ có một số điều kiện như ánh sảng, chuyển động sẽ

lam cho ảnh dau vào bi mờ Điêu đó kha ảnh hưởng đên việc traing sau này Sau khi có tìm

22

hiểu một số bài báo liên quan đến nhận dạng lòng bàn tay, em có tìm thấy phương pháp

nhận diện lòng bàn tay bang mô hình Tetra cấu trúc vi mô cục bộ (LMTrP) khắc phục được

tính trạng nêu trên Do phương pháp này sử dụng bộ lọc Gabor giúp loại bỏ một số đặc tínhkhông cần thiết cũng như tận dụng được lợi thế về độ rộng cũng như hướng của các đườngchính trên lòng bàn tay đem lại kết quả nhận diện vượt trội Chính vì lý do này, em quyếtđịnh chọn phương pháp LMTrP dé thực nghiệm trên đề tài '“Xây dựng hệ thống nhận dang

lòng bàn tay”.

Mô hình Tetra cấu trúc vi mô cục bộ tận dụng lợi thế của mô tả cục bộ hướng cũng

như độ dày của các đường chính trên lòng bàn tay Hình ảnh palmprint đầu tiên được lọc

bằng bộ lọc để loại bỏ các đặc không cần thiết Sau đó, biểu đồ cấu trúc vi mô mục bộLMTrP được trích xuất và ghép vao một vectơ đặc trưng đề théhién hình ảnh đã cho Cuốicùng, phân tích kernel PCA được áp dụng trên vecto đặc trưng dé giảm kích thước

¬

Dimension |] ¬ Reduction H Similarity

(KLDA) I

Palmprint Feature Representation Palmprint Feature Matching

Hình 17 Sơ dé khối về nhận dang lòng ban tay dựa trên bộ mô tả LMTrP

Các bước thực hiện của mô hình Tetra cấu trúc vi mô cục bộ (LMTrP):

Bước 1: Trích xuất đặc tính về độ rộng (magnitude) bởi bộ lọc Gabor Sử dụng bộ

loc Gabor dé trích xuất các đặc tính đường (line features) từcác hình anh lòng bàn tay

(palmprint images).

Ở đây em sử dụng bộ lọc Gabor được định nghĩa bởi A W - Kong and D Zhang

(2004) in "Competitive coding scheme for palmprint verification," doi:

10.1109/ICPR.2004 1334184.

K

w? r r or 2W(x, y, @, 8) = TS— ewezx 17) (eos -e"*) (7)

Trong đó ơ là băng thông nửa biên độ của đáp ứng tần số Thông số bộ lọc Gabor

trong bài toán này :

+ Kích thước mẫu của bộ lọc là 35x35 với vị trí trung tâm (17x17)

ta=o=1.5

+ Cac định hướng 0 = 0, 2/6, 27/6, 32/6, 4m / 6 và 51m / 6.

24

Gabor response (min rule) Gabor response (min rule)

Hình 19 Kết quả bộ loc Gabor với các hướng 0 = 0, 2/6, 2x/6, 3m/6, 4m/6, 5 /6.

mm) K là số

Đặt Gp(x, y, Am) là phần thực của bộ lọc Gabor ở góc On với Om =

hướng (orientations) va /so,(+,y) vùng quan tâm (ROI) của hình ảnh palmprint Do vậy,

đặc tính độ rộng Mag(x, y)g và đặc tính về hướng Orient (x, y) có thê được trích xuất bằng

cách tính tích chập của Ipg;(x, y) và Gg(+, y, Om)

Mag(x,y)¿ = Tnin(ao¡(x,y) ® ứn(, y, Om)) (9)

Orinet(x,y)g = argmin, (roi(x,y) ® Gr(X,¥, Om) (10)

25

palmprint image Gabor response (min rule)

Hình 20 Đặc tính về độ rộng và đặc tính về hướng thu được từ bộ lọc Gabor

Bước 2 : Áp dung đạo ham theo quy tắc LMTrP (sử dụng ml và m2 cho 'độ rộngđường) Dé trích xuất bộ mô tả LMTrP, g, là pixel lân cận (được đánh dấu bằng màu xanh)của tham chiếu vị tri (được đánh dau bang màu đỏ) va Ser là các pixel liền kề (được đánh

dau bằng màu vàng) của g„ dọc theo hướng với khoảng cách R trong một vùng cục bộnhất định Các pIxel liền kề của g, đọc theo một góc nhất định và vị trí tham chiếu như

hình.

Các cặp đạo hàm cấp (n-1) là I„1(g ) và P(g.) của bộ mô tả LMTrP doc theo

hướng ngang và dọc được định nghĩa là :

26

Derivative - input(Gabor response)

Hình 22 Đạo ham theo quy tắc LMTrP theo phương ngang và phương doc

Bước 3 : Áp dụng quy tắc cho LMTrP1(4 orientations) Hướng thứ (n —1) của pixel tham chiếu 171 ( 9.) có thé được mã hóa thành bốn giá

trị góc phần tư như sau :

27