Nhận dạng vân tay sử dụng mạng neural nhân tạo ứng dụng vào hệ thống thang máy (tt)

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGÔ VĂN TIẾN NHẬN DẠNG VÂN TAY SỬ DỤNG MẠNG NEURAL NHÂN TẠO ỨNG DỤNG VÀO C C R UT.L HỆ THỐNG THANG MÁY D Chuyên ngành : Kỹ thuật Điện tử Mã số : 852.02.03 LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỆN TỬ Đà Nẵng - Năm 2020 Cơng trình hoàn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: TS TĂNG ANH TUẤN PGS.TS TĂNG TẤN CHIẾN Phản biện 1: TS Võ Tuấn Minh Phản biện 2: TS Trần Thế Sơn C C R UT.L D Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Kỹ thuật Điện tử họp trường Đại học Bách Khoa vào ngày 25 tháng 10 năm 2020 Có thể tìm hiểu luận văn tại:  Trung tâm Học liệu, Đại học Đà Nẵng Trường Đại học Bách khoa  Thư viện Khoa Điện tử - Viễn thông Trường Đại học Bách khoa ĐHĐN MỞ ĐẦU Tính cấp thiết đề tài Nhận dạng dấu vân tay công nghệ sinh trắc học ứng dụng rộng rãi Sự phát triển công nghệ làm thay đổi từ việc lăn tay mực lưu trữ giấy sang quét máy lưu trữ kỹ thuật số Nhờ đạt nhiều kết quan trọng trở thành phương pháp sinh trắc học tin cậy Mục tiêu nghiên cứu Xây dựng chương trình phần mềm hệ thống nhận dạng vân tay sử dụng mạng neural tích chập với phương pháp oneshot learning máy tính với hiệu suất 90% độ tin cao C C R UT.L ứng dụng vào hệ thống điều khiển thang máy Đối tượng phạm vi nghiên cứu D 3.1 Đối tượng nghiên cứu: 3.2 Phạm vi nghiên cứu: Phương pháp nghiên cứu Ý nghĩa khoa học thực tiễn đề tài Cấu trúc luận văn Với đề tài “Nhận dạng vân tay sử dụng mạng neural nhân tạo ứng dụng vào hệ thống máy”, Tập trung vào việc nghiên cứu, xây dựng thực thi hệ thống nhận dạng dấu vân tay sử dụng mạng neural tích chập với phép học one-shot Nội dung đồ án gồm chương : Chương : Tổng quan phương pháp nhận dạng vân tay Chương : Giới thiệu mạng neural nhân tạo, mạng neural tích chập one-shot learning Chương : Thiết kế, xây dựng chương trình nhận diện vân tay sử dụng one-shot learning ứng dụng vào hệ thống thang máy Chương : Thực nghiệm kết đánh giá D C C R UT.L Chương TỔNG QUAN VỀ CÁC PHƯƠNG PHÁP NHẬN DIỆN DẤU VÂN TAY 1.1 Tổng quát hệ thống sinh trắc học Hình 1.1 Mơ tả quy trình lấy mẫu vân tay đầu vào Hệ thống đăng ký mẫu Hệ thống xác thực (Verification System) Hệ thống định danh (Identification System) C C R UT.L D Hình 1.2 Sơ đồ khối hệ thống đăng ký [6] Hình 1.3 Sơ đồ khối hệ thống xác thực [6] Hình 1.4 Sơ đồ khối hệ thống định danh [6] 1.1.1 Các khối chức Scanner: khối quan trọng để thu thập mẫu vân tay thông qua cảm biến sinh trắc học thường đầu đọc vân tay 4 Feature extractor: khối rút trích đặc trưng từ vân tay thu thập từ khối scanner đầu vào Template Storage: khối dùng để lưu trữ tập đặc trưng ứng với vân tay sau xếp lưu trữ hệ thống Matcher: khối đối sánh thực so khớp tập đặc trưng lưu trữ khối lưu trữ 1.1.2 Các bước xử lý Sử dụng bốn thành phần trên, ba bước xử lý thực đăng ký, xác thực định danh Đăng ký: người dùng đăng ký thông tin cá nhân vào hệ thống lưu trữ sinh trắc học Xác thực: bước xác thực thích hợp cho việc khẳng định lại C C R UT.L việc khai báo định danh đối tượng - Định danh: q trình định danh, đối tượng khơng cần khai báo ID D 1.2 Cơ sở lý thuyết vân tay 1.2.1 Đặc tính vân tay Tính cá thể: khơng có giống tuyệt đối hai vân tay hai người giới dù song sinh trứng Tính bền vững: vân tay người không thay đổi suốt thời gian sống Tính pháp lý: vân tay ghi nhận mặt pháp lý 1.2.2 Cấu trúc vân tay Vân tay thu nhận từ lớp biểu bì da với cấu trúc dễ nhận thấy vân lồi vân lõm 1.2.3 Các đặc trưng vân tay cách biểu diễn Trên ảnh vân tay có đặc điểm đặc trưng Đó điểm đặc biệt mà vị trí khơng trùng lặp vân tay khác Điểm đặc trưng vân tay phân thành hai loại singularity minutiae 1.2.3.1 Điểm Singularity Đây vùng có cấu trúc khác thường so với vùng bình thường khác (thường có cấu trúc song song) gọi singularity Có hai loại singularity core delta 1.2.3.2 Điểm Minutiate Những điểm đường vân kết thúc (Rigde Ending) rẽ nhánh (Bifurcation) gọi chung minutiae 1.2.3.3 Cách biểu diễn vân tay Hình ảnh vân tay thường biểu diễn bề mặt hai chiều C C R UT.L 1.3 Các yếu tố ảnh hưởng đến nhận dạng vân tay Nhận dạng dấu vân tay bái toán khó, chủ yếu D thay đổi dấu in vân tay Các yếu tố làm dấu in khác trình bày đây: - Sự đổi chỗ: ngón tay đặt vị trí khác cảm biến làm tịnh tiến ảnh vân tay - Sự quay: vân tay quay góc quay khác bề mặt cảm biến - Sự chồng chéo đường vân: đổi chỗ quay vân tay thường làm cho phần vân tay bị đổ ngồi vùng nhìn thấy cảm biến - Sự nhiễu phi tuyến méo vân: áp lực da gây biến dạng kéo dãn khác nhau, mồ hôi bề mặt vân cảm biến gây nhiễu với nhiều mức độ 6 - Các lỗi trích chọn đặc trưng: tính gần tính chất khơng hồn hảo phép biến đổi làm cho gây lỗi trích chọn đặc trưng trước nhận dạng 1.4 Kết luận chương Qua chương này, ta có nhìn tổng quan hệ thống sinh trắc học nói chung hệ thống nhận dạng dấu vân tay nói riêng khái niệm cấu tạo, đặc tính vân tay D C C R UT.L Chương GIỚI THIỆU MẠNG NEURAL NHÂN TẠO, MẠNG NEURAL TÍCH CHẬP VÀ ONE-SHOT LEARNING Chương tập trung nói mạng neural nhân tạo, mạng neural tích chập phép học one-shot, tìm hiểu mơ tình mạng, thuật tốn huấn luyện 2.1 Tổng quan mạng neural nhân tạo 2.1.1 Mạng neural nhân tạo ? Mạng neural nhân tạo, Artificial Neural Network (ANN) gọi tắt mạng neural 2.1.2 Cấu trúc mạng neural nhân tạo Để mô tế bào thần kinh khớp nối thần kinh C C R UT.L não người 2.2 Kiến trúc mạng neural D Cách thức kết nối neural mạng xác định kiến trúc mạng 2.3 Huấn luyện mạng neural nhận tạo 2.3.1 Các phương pháp học Học trình thay đổi hành vi vật theo cách làm cho chúng thực tốt tương lai 2.3.2 Thuật toán huấn luyện mạng neural Huấn luyện mạng neural điều chỉnh, xác lập giá trị trọng số liên kết – gọi trọng số kết nối mạng (ký hiệu W) neural mạng ngưỡng theo thuật tốn 2.3.3 Thuật tốn tối ưu Adam Adaptive Moment Estimation (Adam) thuật toán tối ưu có khả cập nhật trọng số mạng neural 8 2.4 Mạng neural tích chập (CNN) 2.4.1 Định nghĩa mạng neural tích chập Những năm gần đây, ta chứng kiến nhiều thành tựu vượt bậc ngành Thị giác máy tính (Computer Vision) 2.4.2 Lớp tích chập Tích chập sử dụng nhiều xử lý tín hiệu số (Digital signal processing) 2.4.3 Lớp tích chập chuyển vị (Transposed Conlution layer) 2.4.4 Lớp tinh chỉnh đơn vị tuyến tính (ReLU layer) Lớp thường cài đặt sau lớp Convolutional Lớp sử dụng hàm kích hoạt ReLU: C C R UT.L D Hình 2.1 Đồ thị hàm ReLU Hàm ReLU có cơng thức sau : f(x)=max(0, x) 2.4.5 Pooling layer Mục đích pooling đơn giản, làm giảm số hyperparameter mà ta cần phải tính tốn, từ giảm thời gian tính tốn xuống tránh tượng overfitting 2.4.6 Lớp kết nối hoàn chỉnh (The Fully connected layer) Lớp tương tự với lớp mạng neural truyền thẳng, giá trị ảnh liên kết đầy đủ vào node lớp 2.4.7 Hàm mát (Loss function) Trong toán nhận dạng, phân loại đối tượng, ta cần biết kết dự đoán cuối mà mơ hình dự đốn đối tượng đầu vào thuộc nhóm 2.5 One-shot learning One-shot learning toán phân loại đối tượng, áp dụng chủ yếu lĩnh vực thị giác máy tính Trong tốn phân loại đối tượng thơng thường yêu cầu huấn luyện hàng trăm hàng nghìn mẫu cho nhãn 2.6 Kết luận Chương Chương tập trung trình bày tổng quan mạng neural tích chập học lần (One-shot learning), giúp ta hiểu thành phần mạng tích chập, kiến trúc thuật toán huấn luyện mạng Từ để chọn cấu hình mơ hình mạng C C R UT.L neural tích chập tốt cho đề tài D 10 Chương THIẾT KẾ, XÂY DỰNG CHƯƠNG TRÌNH NHẬN DIỆN VÂN TAY SỬ DỤNG ONE-SHOT LEARNING ỨNG DỤNG VÀO HỆ THỐNG THANG MÁY Chương trình bày chức hệ thống có chi tiết quy trình thiết kế, xây dựng chương trình nhận diện vân tay sử dụng phép học one-shot ứng dụng vào hệ thống thang máy 3.1 Thiết kế mơ hình nhận diện vân tay phiên với lọc Gabor Sơ đồ khối mơ hình mơ tả hình : C C R UT.L D Hình 3.1 Sơ đồ mơ tả mơ hình nhận diện vân tay phiên với lọc Gabor 3.1.1 Nâng cao hình ảnh vân tay Đối với khối nâng cao hình ảnh vân tay, sử dụng phương pháp chuẩn hoá, phân vùng, dự đoán phục hồi đường vân cho vân tay 3.1.2 Nhận dạng hình ảnh vân tay Hình ảnh vân tay sau phục hồi rõ ràng đường vân 11 đưa vào mạng neural tích chập huấn luyện để trích xuất đặc trưng dạng vector có khả phân biệt vân tay khác 3.2 Thiết kế mô hình nhận diện vân tay phiên với mạng tích chập Sơ đồ khối mơ hình mơ tả hình : C C R UT.L D Hình 3.2 Sơ đồ mơ tả mơ hình nhận diện vân tay phiên với mạng tích chập Khối mơ hình (nâng cao hình ảnh vân tay) sử dụng mơ hình tích chập có khả phân vùng ngữ nghĩa 3.2.1 Nâng cao hình ảnh vân tay sử dụng mạng phân vùng ngữ nghĩa Lựa chọn mô hình mạng tích chập phân vùng ngữ nghĩa cho thời gian tính tốn nhanh mà giữ độ xác Mơ hình chọn để sử dụng tốt thiết bị di động, máy tính nhúng gọi MobileNet-Unet có kiến trúc hình : 12 C C R UT.L Hình 3.3 Kiến trúc mạng MobileNet-Unet Mạng MobileNet-Unet chia làm hai phần với D MobileNet có nhiệm vụ trích xuất đặc trưng từ hình ảnh đầu vào Unet dựa vào kết đặc trưng nội suy phân vùng vân tay, cụ thể:  Phần trích xuất đặc trưng (hay cịn gọi encoder) tập hợp lớp tích chập thơng thường với lọc trọng số có nhiệm vụ trích xuất đặc trưng hình ảnh vân tay, làm kích thước ảnh đầu vào giảm dần theo lớp tích chập  Phần nội suy (hay cịn gọi decoder) có mục đích khơi phục lại kích thước ảnh đầu vào phân loại đường vân hay pixel, tập hợp lớp tích chập chuyển vị, 3.2.2 Nhận dạng hình ảnh vân tay Vì hình ảnh kết nâng cao phục hồi đường vân hình ảnh vân tay tương tự phiên với lọc Gabor nên tái sử dụng nhận diện hình ảnh vân tay mục 3.1 13 3.3 Thiết kế thiết bị thu thập, nhận diện vân tay điều khiển hệ thống thang máy Hình 3.12 mơ tả sơ đồ khối thiết bị thu thập, nhận diện vân tay điều khiển hệ thống thang máy Hình 3.4 Sơ đồ khối chức 3.3.1 Khối thu thập vân tay C C R UT.L Đầu đọc vân tay R305 bao gồm cảm biến vân tay quang học, có hiệu suất ổn định, cấu trúc đơn giản, tiêu thụ điện cực thấp D có giá thành rẻ loại đầu đọc vân tay có thị trường khác R305 sử dụng giao tiếp UART (với tốc độ baud tối đa lên đến 115200) Hình ảnh vân tay thu có độ phân giải 256x288 pixel, 8-bit tương đương 256 mức xám Sử dụng đầu đọc R305 kết hợp với mạch chuyển USB-UART giúp giao tiếp dễ dàng qua cổng USB Hình 3.5 Đầu đọc vân tay R305 14 3.3.2 Khối xử lý nhận dạng Máy tính nhúng Raspberry Pi Model B đảm nhận vai trò khối xử lý nhận dạng đồng thời gửi tín hiệu điều khiển thang máy Thơng số cấu hình máy tính nhúng :  Sử dụng chip Cortex-A72 (ARMv8) 64-bit SoC @ 1.5GHz  Dung lượng RAM : 4GB LPDDR2 SDRAM  2.4GHz and 5GHz IEEE 802.11.b/g/n/ac wireless LAN, Bluetooth 5.0, BLE  Có 40 cổng GPIO  Hỗ trợ cổng micro HDMI với độ phân giải lên tới 4K  cổng USB 3.0 cổng USB 2.0 C C R UT.L  Sử dụng thẻ nhớ micro-SD để lưu trữ hệ điều hành liệu  Nguồn vào : 5V/3A DC chuẩn USB-C D Hình 3.6 Máy tính nhúng Raspberry Pi Model B Sơ đồ khối phần mềm hình 3.15 Phần mềm xây dựng dựa cấu trúc hệ thống lắp đặt gồm có phần chính: - Phần giao tiếp với camera 15 - Phần xử lý tín hiệu video nhận từ camera đưa cảnh báo Hình 3.7 Sơ đồ khối chi tiết phần mềm nhận dạng Phần gồm có khối nâng cao phục hồi đường vân vân tay khối nhận dạng vân tay kiểm tra định danh thông tin đối tượng Vì phần địi hỏi phải tính tốn phức tạp với khối lượng tính tốn lớn nên xây dựng thư viện ngôn ngữ Python Các khối xây dựng dựa thuật tốn trình bày phần 3.1 3.2 Giao diện xây dựng thư viên phần mềm chỉnh sửa C C R UT.L kèm PyQt5 Qt Designer Giao diện thiết kế phù hợp, D đầy đủ tính phục vụ cho nhiệm vụ nhận diện vân tay điều khiển thang máy đăng ký người dùng 16 Hình 3.8 Giao diện chương trình nhận diện vân tay trước vào sau nhận diện C C R UT.L D Hình 3.9 Giao diện đăng ký vân tay 3.4 Kết luận Chương Quy trình thiết kế xây dựng chương trình nhận diện vân tay sử dụng phép học one-shot ứng dụng vào hệ thống thang máy máy tính nhúng trình bày chương Các phương pháp nâng cao hình ảnh nhận dạng thiết kết xây dựng 17 Việc kết nối khối mô tả sơ đồ tổng thể tồn hệ thống Q trình xây dựng sở liệu đánh giá hiệu nhận dạng mơ hình thiết kế phân tích chương D C C R UT.L 18 Chương KẾT QUẢ Chương trình bày quy trình thực hiện, đánh giá phân tích hiệu chương trình nhận dạng việc định danh vân tay 4.1 Tiêu chí đánh giá Có nhiều phương pháp đánh giá hệ thống nhận dạng, luận văn sử dụng ma trận phân loại đối tượng Confusion Matrix Xây dựng chương trình nhận dạng dấu vân tay có khơng có chương trình, cần sử dụng lớp phân loại Với C C R UT.L lớp thực tế, ứng với dấu vân tay ánh xạ vào tập hợp {P, N}, với P tích cực (Positive) ứng với dấu vân tay đối tượng có D hệ thống, N tiêu cực (Negative) ứng với dấu vân tay đối tượng khơng có hệ thống Một mơ hình phân loại xây dựng để phán đoán kết quả, sử dụng nhãn {T, F} để mô tả cho lớp phân loại hệ thống, với T phân loại dấu vân tay có hệ thống F phân loại dấu vân tay khơng có hệ thống Hình 4.1 Ma trận phân lớp cho hai loại đối tượng đó: 4.2 Xây dựng sở liệu phân tích kết 4.2.1 Xây dựng sở liệu Trong luận văn này, sở liệu CrossFingerprint trường Đại học Bách khoa Hong Kong bao gồm 2976 ảnh vân tay 336 người 19 khác từ tháng 9/2014 đến tháng 2/2017 sử dụng Dữ liệu qua tiền xử lý giúp nâng cao hình ảnh vân tay chia làm liệu huấn luyện kiểm tra theo tỉ lệ 8/2 Cụ thể 2320 ảnh huấn luyện 656 ảnh kiểm tra Hình 4.2 Các ví dụ mẫu có sở liệu vân tay 4.2.2 Đánh giá so sánh thời gian xử lý, kết nhận C C R UT.L dạng mô hình nhận diện vân tay phiên với lọc Gabor với mạng tích chập D So sánh hai mơ hình nhận diện vân tay phiên với lọc Gabor (mục 3.1) phiên với mạng tích chập (mục 3.2) khởi chạy đánh giá liệu kiểm tra (gồm 656 ảnh vân tay 336 người), cấu hình phần cứng đọc hình ảnh vân tay (R305) phần cứng xử lý (Raspberry Pi 4) Bảng 4.1 So sánh thời gian xử lý hai phiên Phiên với lọc Gabor Lấy hình ảnh vân tay từ cảm biến Nâng cao vân tay Nhận dạng Phiên với mạng tích chập Thời gian xử lý: giây Thời gian xử lý: 20 Thời gian xử lý: 1,2 giây giây Thời gian xử lý: 0.01 giây 20 Thời gian xử lý khối nâng cao phục hồi đường vân hình ảnh vân tay phiên với lọc Gabor sử dụng lọc gabor 20 giây, khoảng thời gian lớn kết nhận dạng, mơ hình phiên với mạng tích chập sử dụng mạng phân vùng ngữ nghĩa nhanh gần 20 lần (1,2 giây) so với phiên với lọc Gabor Bảng 4.2 Kết nhận dạng cho mơ hình phiên với lọc Gabor với liệu kiểm tra Cho phép Từ chối Có thẩm quyền 286 23 Khơng thẩm quyền 35 307 Bảng 4.3 Kết nhận dạng cho mơ hình phiên với mạng tích C C R UT.L chập với liệu kiểm tra Cho phép Từ chối Có thẩm quyền 297 12 Không thẩm quyền 29 312 D Bảng 4.4 Bảng so sánh kết thống kê EER, ACC, FAR, FRR hai phiên với liệu kiểm tra Phiên với Phiên với lọc Gabor mạng tích chập EER [%] 8,8 7,0 ACC[%] 90,4 92,8 FAR[%] 10,2 10,1 FRR[%] 7,4 3,9 Mức độ hiệu mà chương trình mang lại xem 21 xét có diện đối tượng lạ tức khơng có sở liệu EER ACC dùng để đánh giá độ tin cậy chương trình EER nhỏ tốt ACC lớn tốt 4.3 Kết luận chương Trong chương này, lực nhận dạng chương trình kiểm tra điều kiện liệu thực tế với độ xác 92,8% D C C R UT.L 22 KẾT LUẬN Luân văn này trình bày kết nghiên cứu xây dựng thiết bị nhận dạng vân tay ứng dụng vào hệ thống thang máy Tơi xây dựng mơ hình nâng cao hình ảnh vân tay sử dụng phương pháp phân vùng ngữ nghĩa, trích đặc trưng mạng sử dụng phép học one-shot kiểm tra độ trùng khớp công thức khoảng cách euclid có kết tương đối xác Kết phân tích đánh giá chương trình : - Mạng neural tích chập sử dụng phép học one-shot sau huấn luyện cho kết với độ xác Acc = 92,8% - Chương trình điều khiển tương tác với người dùng thân C C R UT.L thiện, dễ sử dụng Từ kết đạt được, kiến nghị hướng nghiên cứu phát triển : D - Lưu trữ lịch sử thống kê đối tượng sử dụng thang máy Quản lý liệu đăng ký vân tay website, thuận tiện cho người quản lý  ... Với đề tài ? ?Nhận dạng vân tay sử dụng mạng neural nhân tạo ứng dụng vào hệ thống máy? ??, Tập trung vào việc nghiên cứu, xây dựng thực thi hệ thống nhận dạng dấu vân tay sử dụng mạng neural tích... luyện 2.1 Tổng quan mạng neural nhân tạo 2.1.1 Mạng neural nhân tạo ? Mạng neural nhân tạo, Artificial Neural Network (ANN) gọi tắt mạng neural 2.1.2 Cấu trúc mạng neural nhân tạo Để mô tế bào thần... TRÌNH NHẬN DIỆN VÂN TAY SỬ DỤNG ONE-SHOT LEARNING ỨNG DỤNG VÀO HỆ THỐNG THANG MÁY Chương trình bày chức hệ thống có chi tiết quy trình thiết kế, xây dựng chương trình nhận diện vân tay sử dụng