Nghiên cứu ứng dụng trí tuệ nhân tạo vào bài toán nhận dạng lòng bàn tay người

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Đào Văn Hậu NGHIÊN CỨU ỨNG DỤNG TRÍ TUỆ NHÂN TẠO VÀO BÀI TỐN NHẬN DẠNG LỊNG BÀN TAY NGƯỜI LUẬN VĂN THẠC SĨ KHOA HỌC NGÀNH KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA Hà Nội – 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LUẬN VĂN THẠC SĨ NGHIÊN CỨU ỨNG DỤNG TRÍ TUỆ NHÂN TẠO VÀO BÀI TỐN NHẬN DẠNG LỊNG BÀN TAY NGƯỜI ĐÀO VĂN HẬU daovanhau96hust@gmail.com Chuyên ngành Kỹ thuật điều khiển tự động hóa Giảng viên hướng dẫn: TS Trần Thị Thảo Chữ ký GVHD Khoa: Tự động hóa Trường: Điện-Điện tử CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Đào Văn Hậu Đề tài luận văn: Nghiên cứu ứng dụng trí tuệ nhân tạo vào tốn nhận dạng lòng bàn tay người Chuyên ngành: Kỹ thuật điều khiển Tự động hóa Mã số HV: 20202915M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 29/04/2022 với nội dung sau: - Chỉnh sửa số lỗi tả, trình bày - Bổ sung trích dẫn tham khảo trình bày chương - Bổ sung lưu đồ tổng thể cho toán - Giải thích có sai số tốn phát lòng bàn tay trực tiếp Ngày 06 tháng 05 năm 2022 Giáo viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG LỜI CAM ĐOAN Tôi xin cam đoan Luận văn có tên “Nghiên cứu ứng dụng trí tuệ nhân tạo vào tốn nhận dạng lịng bàn tay người” cơng trình nghiên cứu khoa học độc lập riêng Các số liệu sử dụng phân tích luận văn có nguồn gốc rõ ràng, tin cậy công bố theo quy định Kết nghiên cứu luận văn tự tìm hiểu, phân tích cách trung thực, khách quan phù hợp với thực tiễn Các kết chưa công bố nghiên cứu khác Vậy viết Lời cam đoan đề nghị Khoa Tự động hóa, Trường Điện-Điện tử, Đại học Bách khoa Hà Nội xem xét để tơi bảo vệ luận văn theo quy định Tôi xin chân thành cảm ơn! Hà Nội, ngày 06 tháng 05 năm 2022 Học viên thực (Ký ghi rõ họ tên) Đào Văn Hậu LỜI CẢM ƠN Trong thời gian làm luận văn tốt nghiệp, em nhận giúp đỡ, đóng góp ý kiến bảo nhiệt tình thầy cơ, gia đình bạn bè Em xin gửi lời cảm ơn chân thành đến cô giáo TS Trần Thị Thảo, giảng viên môn Kỹ thuật đo & Tin học công nghiệp –Đại học Bách Khoa Hà Nội người tận tình hướng dẫn, chia sẻ kinh nghiệm đưa ý kiến đóng góp quý báu động viên tinh thần suốt trình nghiên cứu thực luận văn Đồng thời em gửi lời cảm ơn đến Công ty TNHH MLAB tận tình giúp đỡ, hỗ trợ em xây dựng sở liệu để hoàn thành luận văn Cuối cùng, xin cảm ơn gia đình, bạn bè đồng nghiệp bên cạnh động viên tạo điều kiện thuận lợi giúp em suốt trình học tập hồn thành luận văn Do thời gian thực có hạn, kiến thức chun mơn cịn nhiều hạn chế nên luận văn em thực khơng tránh khỏi thiếu sót Em mong nhận ý kiến đóng góp quý báu quý thầy cô bạn đọc Em xin chân thành cảm ơn! Tác giả luận văn Đào Văn Hậu MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC HÌNH ẢNH DANH MỤC BẢNG BIỂU DANH MỤC TỪ VIẾT TẮT, KÝ HIỆU LỜI NÓI ĐẦU CHƯƠNG TỔNG QUAN VỀ NHẬN DẠNG LÒNG BÀN TAY NGƯỜI …1 1.1 Giới thiệu tốn nhận diện lịng bàn tay 1.2 Những khó khăn thách thức tốn nhận diện lịng bàn tay 1.3 Các ứng dụng toán nhận diện lòng bàn tay CHƯƠNG PHƯƠNG PHÁP XÁC ĐỊNH LÒNG BÀN TAY TRỰC TIẾP .5 2.1 Cơ sở lý thuyết xác định lòng bàn tay 2.1.1 Cơ sở lý thuyết thuật tốn trích xuất vùng quan tâm (ROI) 2.1.2 Thuật tốn trích xuất ROI 2.2 Phương pháp xác định lòng bàn tay trực tiếp CHƯƠNG PHƯƠNG PHÁP NHẬN DIỆN LÒNG BÀN TAY SỬ DỤNG ĐẶC TRƯNG VỀ HƯỚNG VÀ ĐỘ LỚN CỦA ĐƯỜNG VÂN 3.1 Thuật tốn biến đổi sóng Gabor 3.2 Một số phương pháp trích xuất đặc trưng lịng bàn tay điển hình 10 3.2.1 Eigenpalms 10 3.2.2 Fisherpalms 16 3.2.3 Local Binary Patterns Histograms (LBPH) 18 3.2.4 Phương pháp biến đổi Radon vùng cục (LRT) 20 3.2.5 Phương pháp thực nhận diện lịng bàn tay mơ hình Tetra cấu trúc vi mô cục 24 3.2.6 Phương pháp thực Phương pháp mã hóa sơ đồ định hướng (CompCode) 33 3.2.7 Phương pháp nhị phân hóa sơ đồ mã hóa định hướng (BOCV) 38 3.3 Phương pháp nhận diện lòng bàn tay sử dụng đặc trưng hướng độ lớn đường vân 41 3.3.1.Trích xuất đặc tính đường vân lịng bàn tay phép biến đổi sóng Gabor 41 3.3.2 Phương pháp đối sánh ảnh để nhận diện người từ hai sơ đồ mã hóa nhận 47 CHƯƠNG TRIỂN KHAI VÀ KẾT QUẢ THỰC NGHIỆM 49 4.1 Triển khai thực tế phát lòng bàn tay trực tiếp 49 4.2 Triển khai thực tế bước thực nhận dạng lòng bàn tay 52 4.2.1 Tập data Palm Print tham khảo 52 4.2.2 Tập data Palm Print tự thu thập 52 4.3 Triển khai hệ thống Google Colaboratory 53 4.3.1 Tốc độ xử lý hệ thống Palm Print sử dụng công cụ Google Colab 53 4.3.2 Kết thực nghiệm thu Google Colab 54 4.3.3 Hệ thống thu thập liệu kiểm thử 55 4.3.4 Kiểm tra, đánh giá kết phương pháp xác định lòng bàn tay trực tiếp 56 4.3.5 Kiểm tra, đánh giá q trình nhận diện lịng bàn tay 61 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 65 TÀI LIỆU THAM KHẢO 67 DANH MỤC HÌNH VẼ Hình 1.1 Các hệ thống nhận diện người qua đặc điểm sinh học Hình 1.2 Các đặc điểm lòng bàn tay Hình 1.3 Hệ thống nhận diện lòng bàn tay người thực tế Hình 1.4 Ảnh hưởng góc xoay đến việc nhận dạng lịng bàn tay Hình 1.5 Ứng dụng trạm rút tiền tự động (ATM) Hình 2.1 Minh họa bước thuật tốn trích xuất ROI (a): ảnh chụp lòng bàn tay; (b) ảnh lấy ngưỡng; (c) đường bao lòng bàn tay; (d): xác định tiếp tuyến khoảng trống hệ tọa độ; (e): ROI đặt ảnh gốc; (f): hình ảnh vùng ROI cắt cho việc xử lý Hình 2.2 Các bước kiểm tra thay đổi màu lòng bàn tay theo nhịp tim Hình 2.3 So sánh tín hiệu tương ứng với thay đổi cường độ sáng ảnh lòng bàn tay thực ảnh giả (a): tín hiệu thực thu từ tập hình ảnh có diện người định danh (b): tín hiệu giả từ tập hình ảnh in người Hình 3.1 Biểu diễn ma trận 𝐼𝑖 11 Hình 3.2 Chuyển đổi sang vectơ 11 Hình 3.3 Biểu diễn tính ma trận hiệp phương sai 12 Hình 3.4 Tính độ dài vectơ 14 Hình 3.5 Một số mẫu ảnh lòng bàn tay Eigenpalm tạo từ mẫu 15 Hình 3.6 Một mẫu ảnh lịng bàn tay Fisherpalm tạo từ mẫu 17 Hình 3.7 Minh họa tính tốn hình vng mẫu 3x3 18 Hình 3.8 Các dấu hiệu cụ thể phát 19 Hình 3.9 Vùng cục 9×9 với góc định hướng iπ/6, độ rộng 𝑋𝑝 pixel 21 Hình 3.10 Vùng cục 14×14 với góc định hướng iπ/6, độ rộng 𝑋𝑝 pixel 21 Hình 3.11 a): ảnh ROI, b): sơ đồ mã hóa định hướng sử dụng LRT 22 Hình 3.12 a) ~ c) : đối sánh pixel to pixel, pixel to cross-shape pixel to area…23 Hình 3.13.Sơ đồ khối nhận dạng lịng bàn tay dựa mơ tả LMTrP 25 Hình 3.14 Framework nhận dạng lịng bàn tay dựa mơ tả LMTrP 25 Hình 3.15 Đặc tính độ rộng đặc tính hướng thu từ lọc Gabor….26 Hình 3.16 Đạo hàm theo quy tắc LMTrP theo phương ngang phương dọc 27 Hình 3.17 Bốn hướng tham chiếu LMTrP 27 Hình 3.18 Kết sau mã hóa theo hướng tham chiếu 28 Hình 3.19 Hình ảnh 12 mẫu nhị phân tạo thành từ hướng tham chiếu 29 Hình 3.20 Các bước trích xuất tính tốn biểu đồ 29 Hình 3.21 Kết việc tính tốn biểu đồ 30 Hình 3.22 Ví dụ sử dụng Kernel PCA để phân tách liệu cách tuyến tính 31 Hình 3.23 Kết sau sử dụng Kernel PCA để giảm kích thước vector đặc trưng 31 Hình 3.24 Kết q trình trích xuất đặc trưng sử dụng mơ tả LMTrP 31 Hình 3.25 a)~d) Hình ảnh ROI, e)~h) sơ đồ mã hóa định hướng 35 Hình 3.26 a), b) minh họa lòng bàn tay lệch khỏi trục, c), d) mask a) b) 36 Hình 3.27 Vector BOCV với hướng θ = 0, π/6, π/3, π/2, 2π/3, 5π/6 39 Hình 3.28 Kết phép biến đổi Gabor với hướng θ = 0, π/6, 2π/6, 3π/6, 4π/6, 5π/6…………………………………………………………………………… 42 Hình 3.29 Hình ảnh ROI (a)~(d) sơ đồ mã hóa định hướng tương ứng (e)~(h) 44 Hình 3.30 Hình ảnh ROI (a)~(d) sơ đồ mã hóa độ rộng tương ứng (e)~(h)….46 Hình 4.1 Sơ đồ tổng thể tốn……………… ………………………… 49 Hình 4.2 Các khung hình video tách ………………………… 49 Hình 4.3 Hệ thống thu thập liệu kiểm thử…………………………………55 Hình 4.4 Kết đo nhịp tim dựa vào thay đổi màu sắc da lòng bàn tay đối tượng số 1…………………………………………………………….…… 56 Hình 4.5 Kết đo nhịp tim dựa vào thay đổi màu sắc da lòng bàn tay đối tượng số 2…………………………………………………………… …….57 Hình 4.6 Kết đo nhịp tim dựa vào thay đổi màu sắc da lòng bàn tay đối tượng số 3………………………………………………………………… 57 Hình 4.7 Kết đo nhịp tim dựa vào thay đổi màu sắc da lòng bàn tay đối tượng số 4……………………………………………………………………58 Hình 4.8 Kết đo nhịp tim dựa vào thay đổi màu sắc da lòng bàn tay đối tượng số 5……………………………………………………………… ….58 Hình 4.9 Kết đo nhịp tim đối tượng giả mạo số 1………………………59 Hình 4.10 Kết đo nhịp tim đối tượng giả mạo số 2…………………… 59 Hình 4.11 Kiểm tra hệ thống có ánh sáng mơi trường………………….…61 Hình 4.12 Kiểm tra hệ thống có thêm ánh sáng mơi trường…………………61 Hình 4.13 Kiểm tra hệ thống điều kiện xoay góc nhỏ …………………… 62 Hình 4.14 Kiểm tra hệ thống điều kiện ngón tay bị xoay góc lớn…………63 Hình 4.15 Kiểm tra đối tượng không thuộc sở liệu…………………….…63 Nhận xét 1: Tốc độ xử lý phương pháp BOCV nhanh nhất, trung bình khoảng 0.7 giây để trích xuất đặc trưng 0.002 giây để đối sánh ảnh 1-1 Tốc độ xử lý phương pháp ImcompCode & MagCode đạt tốc độ trung bình, áp dụng cho hệ thống có lượng sở liệu lớn, tốc độ nhận diện chậm Như toán này, thời gian để nhận diện hình ảnh đầu vào bao gồm thời gian trích xuất liệu cộng với thời gian đối sánh ảnh (cụ thể 0.85  0.030  640  20s ) 4.3.2 Kết thực nghiệm thu Google Colab Dựa sở liệu tham khảo em trình bày mục 4.2.1 phía trên, em tiến hành phân chia sở liệu thành hai tập, sử dụng trình đánh giá hiệu hệ thống nhận diện Palm Print em, bao gồm:  Tập Dataset: bao gồm 800 ảnh 160 người (mỗi người em sử dụng 4/5 ảnh lấy cách bất kỳ)  Tập Test: bao gồm 160 ảnh 160 người (mỗi người em sử dụng ảnh lại sở liệu) Sau tính tốn áp dụng phương pháp, em thu kết thực nghiệm tỷ lệ số lần nhận diện xác tổng số lần nhận diện Phương pháp Kết thực nghiệm Độ xác CompCode 152/160 95.00% BOCV 150/160 93.75% ImcompCode & MagCode 155/160 96.88% Bảng 4.5 So sánh kết thực nghiệm phương pháp Nhận xét 2: Kết thực nghiệm cho thấy phương pháp nhận diện lòng bàn tay sử dụng trích xuất đặc tính đường vân (ImCompCode & MagCode) đạt độ xác cao (96.88%), phương pháp CompCode BOCV đạt độ xác cao (lần lượt 95.00% 93.75%) 54 4.3.3 Hệ thống thu thập liệu kiểm thử Dựa nhận xét mục 4.3.1 mục 4.3.2, em thấy phương pháp BOCV đáp ứng đủ tiêu chí tốc độ tính tốn nhanh (0.4 giây cho phần trích xuất đặc trưng 0.002 giây cho phần đối sánh ảnh) độ xác cao (xấp xỉ 93.75%), thích hợp cho việc triển khai hệ thống nhận diện lịng bàn tay để kiểm thử Hình 4.3 Hệ thống thu thập liệu kiểm thử 55 4.3.4 Kiểm tra, đánh giá kết phương pháp xác định lịng bàn tay trực tiếp Q trình trích xuất liệu kênh màu RGB em tiến hành trực tiếp Paspberry Pi Sau thu liệu dạng file.txt em tiến hành tính tốn nhịp tim máy tính cá nhân sử dụng phần mềm Matlab Dưới số kết thu số người mà em tiến hành thử nghiệm ⮚ Khi đầu vào đoạn video ghi lại trực tiếp từ Pi camera: Hình 4.4 Kết đo nhịp tim dựa vào thay đổi màu sắc da lòng bàn tay đối tượng số 56 Hình 4.5 Kết đo nhịp tim dựa vào thay đổi màu sắc da lòng bàn tay đối tượng số Hình 4.6 Kết đo nhịp tim dựa vào thay đổi màu sắc da lòng bàn tay đối tượng số 57 Hình 4.7 Kết đo nhịp tim dựa vào thay đổi màu sắc da lòng bàn tay đối tượng số Hình 4.8 Kết đo nhịp tim dựa vào thay đổi màu sắc da lòng bàn tay đối tượng số ⮚ Khi đầu vào đoạn video ghi lại qua ảnh hình lịng bàn tay đối tượng: 58 Hình 4.9 Kết đo nhịp tim đối tượng giả mạo số Hình 4.10 Kết đo nhịp tim đối tượng giả mạo số 59 Em thực thu thập liệu, kiểm tra đánh giá việc nhận biết lòng bàn tay trực tiếp hệ thống người khác Cụ thể, hình lịng bàn tay in lên giấy người thật Em thực ghi hình video có độ dài 10 giây cho lịng bàn tay thời điểm khách để kiểm tra thay đổi tín hiệu cường độ điểm ảnh trung bình Kết em tổng hợp bảng đánh giá bên dưới: Phát người thật Phát người giả Nhận biết 8/10 9/10 Tỷ lệ (%) 80% 90% Bảng 4.6 Kết đánh giá phát lòng bàn tay trực tiếp Kết thực nghiệm cho thấy phương pháp phát lịng bàn tay trực tiếp có kết tốt Tuy nhiên, có trường hợp nhận diện sai đối tượng Bảng 4.5 nhiễu rung tay cầm ảnh Cụ thể để đánh giá xác cần thời gian nghiên cứu thêm cần nhiều liệu Với đối tượng người thật nhịp tim ước lượng tương ứng với nhịp tim người bình thường (kênh màu xanh cho kết tốt kênh màu) Đây giải pháp giúp tăng tính bảo mật cho hệ thống đảm bảo đối tượng tương tác với hệ thống người thật, chống lại giả mạo ảnh hình lịng bàn tay video quay trước Phương án tiếp cận phát triển chạy luồng song song, tách biệt chạy trước so với luồng nhận diện lòng bàn tay nên đòi hỏi thời gian chờ, chưa xử lý chạy trực tuyến thời gian thực Phương pháp phát lòng bàn tay trực tiếp em với nhóm giới thiệu báo đăng Tạp chí Nghiên cứu KH&CN quân [22] 60 4.3.5 Kiểm tra, đánh giá q trình nhận diện lịng bàn tay + Kết kiểm tra thực nghiệm hệ thống có ánh sáng mơi trường: Hình 4.11 Kiểm tra hệ thống có ánh sáng mơi trường + Kết kiểm tra thực nghiệm hệ thống có thêm nhiều ánh sáng mơi trường: Hình 4.12 Kiểm tra hệ thống có thêm ánh sáng mơi trường 61 + Kết kiểm tra thực nghiệm hệ thống điều kiện xoay bàn tay theo góc nhỏ: Hình 4.13 Kiểm tra hệ thống điều kiện xoay góc nhỏ Hệ thống bố trí hộp kín để để đảm bảo cường độ sáng ổn định vùng quan tâm Kết thử nghiệm cho thấy hệ thống làm việc tốt điều kiện ánh sáng bên ngồi khác (có nhiều ánh sáng mơi trường tác động khơng có ánh sáng mơi trường, ban đêm) Khi thực thử nghiệm với điều kiện lịng bàn tay xoay góc nhỏ (góc nhỏ độ) hệ thống nhận diện tương đối xác Nhưng trường hợp góc xoay lớn làm cho vùng quan tâm không bắt đường vân lịng bàn tay hệ thống khơng nhận diện Khoảng cách đối sánh trả lớn ngưỡng nên kết trả lòng bàn tay người lạ (Unknown) Đó lý em thiết kế hệ thống với phần khối cố định giúp cho lịng bàn tay người khơng bị xoay q nhiều sử dụng, giúp tăng độ xác hệ thống 62 Hình 4.14 Kiểm tra hệ thống điều kiện ngón tay bị xoay góc lớn Em sử dụng hình ảnh bị xoay để thử nghiệm hệ thống, kết trả cho thấy khoảng cách đối sánh lớn so với ngưỡng, hệ thống không nhận diện (trả kết Unknown) Hình 4.15 Kiểm tra đối tượng khơng thuộc sở liệu 63 Sau trình triển khai cá nhân, em thực kiểm tra, đánh giá hệ thống người với hình ảnh lịng bàn tay hai bên trái phải (4 trái phải) định danh liệu Thực kiểm tra lòng bàn tay, người kiểm tra 10 lần với tay trái tay phải Bên cạnh em thực kiểm tra thực tế bàn tay lạ khác (những bàn tay người định danh) Em kiểm thử lòng bàn tay người lạ lòng bàn tay chưa xuất tập liệu người lạ sẵn có Mỗi bàn tay thực kiểm tra 10 lần Bàn tay định danh Bàn tay chưa định danh Số lần xác 75/80 38/40 Tỷ lệ 93.75% 95% Bảng 4.7 Kết đánh giá nhận diện lòng bàn tay Nhận xét: Kết thực nghiệm cho thấy hệ thống đạt độ xác cao (93.75% cho liệu định danh, 95% cho liệu chưa định danh) Bên cạnh đó, để cải thiện độ xác nhận diện lòng bàn tay chưa định danh (hệ thống nhận diện người lạ), em đặt ngưỡng nhận diện nhỏ hơn, việc làm giảm độ xác nhận diện người định danh có sở liệu Kết luận chương 4: Sau triển khai toàn phương pháp Google Colab, em trình bày kết thực nghiệm mục 4.3.2, từ em đưa nhận xét lựa chọn phương pháp BOCV để triển khai Hệ thống đạt độ xác cao (93.75% nhận diện người định danh 95% nhận diện người lạ) tốc độ nhận diện nhanh (xấp xỉ 11 giây cho lượng sở liệu 80 ảnh) Bên cạnh đó, tốc độ xử lý hệ thống phụ thuộc vào số lượng hình ảnh có tập sở liệu kích thước hình ảnh đầu vào hệ thống Để cải thiện tốc độ xử lý hệ thống, giảm số lượng hình ảnh định danh người, bên cạnh giảm kích thước hình ảnh đầu vào hệ thống 64 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Sau thời gian nghiên cứu đề tài “Ứng dụng trí tuệ nhân tạo vào tốn nhận dạng lịng bàn tay người”, với giúp đỡ tận tình giáo TS Trần Thị Thảo, em tìm hiểu phương pháp ứng dụng trí tuệ nhân tạo (AI) nhận dạng lịng bàn tay với bước là: Trích xuất vùng quan tâm ROI, trích chọn đặc trưng, đối sánh nhận dạng Áp dụng kỹ thuật xử lý ảnh học máy để thực kỹ thuật Về phương pháp trích chọn đặc trưng, bên cạnh phương pháp cổ điển, em tìm hiểu nhiều phương pháp tiên tiến như: mơ hình Tetra cấu trúc vi mơ cục bộ; Mã hóa sơ đồ định hướng (CompCode); Nhị phân hóa sơ đồ mã hóa định hướng (BOCV); Sử dụng đặc trưng hướng độ lớn (IncompCode) Đồng thời phương pháp đối sánh dựa loại đặc trưng thực thi đánh giá xử lý GPU Colab máy tính nhúng Raspeberry Pi Phương pháp nhận diện lòng bàn tay phương pháp Tetra cấu trúc vi mô cục em đề xuất với nhóm nghiên cứu báo đăng Tạp chí Nghiên cứu KH&CN quân [22] Đặc biệt phương pháp trích xuất đặc trưng đối sánh đề cập trên, phương pháp IncompCode vốn đề xuất nghiên cứu cho nhận diện khớp ngón tay em tìm hiểu áp dụng cho nhận dạng lòng bàn tay, nhận thấy kết có độ xác cao Các phương pháp đề xuất áp dụng vào tập liệu mở Trường Đại học Bách Khoa HongKong, tập liệu mà em tự thu thập Bên cạnh đề xuất thực thi tốn nhận dạng lịng bàn tay, em đề xuất giải pháp phát lòng bàn tay trực tiếp Để tránh giả mạo có hình ảnh mà thực tế khơng phải người thật đặt tay lên thiết bị thu thập, thực bước tính tốn nhịp tim sở thay đổi mức xám ảnh lòng bàn tay, coi tính lựa chọn thiết bị trước thực toán nhận dạng, xác thực người có thuộc, sở liệu Một số kết thu sau: Thứ nhất, Sử dụng công cụ Google Colab Kết thực nghiệm cho thấy phương pháp nhận diện lịng bàn tay sử dụng trích xuất đặc tính đường vân (ImCompCode & MagCode) đạt độ xác cao (96.88%), phương pháp CompCode BOCV đạt độ xác cao (lần lượt 95.00% 93.75%) Thứ hai, Hệ thống nhận diện triển khai thực 65 tế ứng dụng phương pháp BOCV đạt dộ xác 93.75% nhận diện 80 lần với người sở liệu 95% với người không sở liệu Tuy nhiên, thời gian xử lý nhận dạng chưa tối ưu, phương pháp bảo mật cịn sai số Đặc biệt q trình ước tính nhịp tim địi hỏi thời gian chờ cịn dài hạn chế phần cứng nên em chưa tích hợp vào hệ thống mà dừng việc thử nghiệm máy tính cá nhân dựa vào liệu đầu vào thu Định hướng phát triển sau em cải tiến trình ước tính nhịp tim để tích hợp vào hệ thống cải tiến thuật toán học sâu nhằm tăng độ tin cậy, tính an tồn hệ thống Trong q trình nghiên cứu hồn thiện luận, khơng tránh khỏi thiếu sót Em mong nhận góp ý q báu q thầy, để việc nghiên cứu phát triển ứng dụng ngày hoàn thiện Em xin chân thành cảm ơn hướng dẫn giúp đỡ tận tình giáo TS Trần Thị Thảo kiến thức thiết bị trình làm luận văn Em xin chân thành cảm ơn ! 66 TÀI LIỆU THAM KHẢO [1] D Zhang, Z Guo, G Lu, L Zhang, and W Zuo, “An Online System of Multispectral Palmprint Verification”, IEEE Trans on Instrument and Measurement, vol 59, no 2, pp 480-490, Feb 2010 [2] M Turk; A Pentland (1991) "Face recognition using eigenfaces".IEEE Conference on Computer Vision and Pattern Recognition pp 586–591 [3] Lu G, Zhang D, Wang K“Palmprint recognition using eigenpalms features” Pattern Recogn Lett 24(9–10):1463–1467, 2003 [4] P Belhumeur; J Hespanha; D Kriegman (July 1997) "Eigenfaces vs Fisherfaces: Recognition Using Class Specific Linear Projection" IEEE Transactions on Pattern Analysis and Machine Intelligence [5] Wu X, Zhang D, Wang K “Fisherpalms based palmprint recognition” Pattern Recogn Lett 24:2829–2838, 2003 [6] Ahonen, Hadid, & Pietik, “Face Recognition with Local Binary Patterns” Computer Vision - ECCV 2004 [7] Gen Li, Jaihie Kim, “Palmprint recognition with Local Micro-structure Tetra Pattern” in Pattern Recognition, Volume 61, 2017 [8] A.W Kong and D Zhang, “Competitive coding scheme for palmprint verification”, Proceedings of the 17th International Conference on Pattern Recognition, 2004 ICPR 2004 [9] Yörük E Dutağaci H Sankur B.“Hand biometrics” Image and Vision Computing, 24:5483-497, 2006 [10] Lunke Fei, Guangming Lu, Wei Jia, Shaohua Teng & David Zhang, “Feature Extraction Methods for Palmprint Recognition: A Survey and Evaluation” IEEE Transactions on Systems, Man, and Cybernetics: Systems, Volume: 49, Issue: 2, Feb 2019 [11] “Palmprint Image Database version 1,” IIT, Delhi, India, 2007, https://www4.comp.polyu.edu.hk/~csajaykr/IITD/Database_Palm.htm 67 [12] Lin Zhang, Lei Zhang, Hailong Zhu, "Online Finger-Knuckle-Print Verification for Persional Authentication", 2010 [13] Lin Zhang, Lei Zhang, Hailong Zhu, "Online Finger-Knuckle-Print Verification for Persional Authentication", 2010 [14] Wei Jia, De- Shuang Huang, “Palmprint verification based on robust line orientation code”, 2008 [15] Abdelouahab Attia, Abdelouahab Moussaoui, Mourad Chaa, Youssef Chahir, "Finger Knuckle Print Recognition based on Features-Level Fusion of Real and Imaginary Image", 2018 [16] Lin Zhang, Member, “Fragile Bits in Palmprint Recognition”, 2012 [17] Zhenhua Guo, David Zhang, Lei Zhang, Wangmeng Zuo, "Palmprint verification using binary orientation co-occurrence vector", 2009 [18] Adams Wai-Kin Kong, David Zhang, "Competitive Coding Scheme for Palmprint Verification", 2004 [19] David Zhang, Jane You, “Online Palmprint Identification”, 2003 [20] Shubhangi Neware, Kamal Mehta, A.S.Zadgaonkar, "Finger Knuckle Print Identification using Gabor Features", 2014 [21] Ajay Kumar, Yingbo Zhou, "Human Identification Using KnuckleCodes", 2009 [22] Van-Truong Pham, Thi-Thao Tran, Dao Van Hau “Phát lòng bàn tay trực tiếp nhận dạng người sử dụng mơ hình Tetra cấu trúc vi mơ cục bộ,” Tạp chí Nghiên cứu khoa học Cơng nghệ Qn sự, No 73 pp 29-39, 2021 [23] David Zhang, Wai-Kin Kong, Jane You, & Michael Wong (2003) Online palmprint identification IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(9), 1041–1050 [24] https://www.belmarrahealth.com/resting-heart-rate-chart-factors-influenceheart-rate-elderly/ 68 ... văn em nghiên cứu ứng dụng trí tuệ nhân tạo vào tốn nhận dạng lịng bàn tay người Chương 1: Tổng quan nhận dạng lòng bàn người Chương 2: Phương pháp xác định người trực tiếp qua ảnh lòng bàn tay. .. ưu điểm nhận diện lịng bàn tay có tính bảo vệ quyền riêng tư người so với khuôn mặt…Đó lý để em định lựa chọn đề tài ? ?Nghiên cứu ứng dụng trí tuệ nhân tạo vào tốn nhận dạng lịng bàn tay người ”... QUAN VỀ NHẬN DẠNG LÒNG BÀN TAY NGƯỜI …1 1.1 Giới thiệu toán nhận diện lòng bàn tay 1.2 Những khó khăn thách thức tốn nhận diện lịng bàn tay 1.3 Các ứng dụng tốn nhận diện