Xác thực người dùng dựa trên sinh trắc học cho thiết bị di động thông minh báo cáo tổng kết kết quả đề tài khcn cấp trường msđt t khmt 2013 21

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA FOG BÁO CÁO TỔNG KẾT KẾT QUẢ ĐỀ TÀI KHCN CẤP TRƯỜNG Tên đề tài: Xác thực người dùng dựa sinh trắc học cho thiết bị di động thông minh Mã số đề tài: T-KHMT-2013-21 Thời gian thực hiện: 5/2013 đến 5/2014 Chủ nhiệm đề tài: ThS Trương Quỳnh Chi Cán tham gia đề tài:1 ThS Đặng Trần Trí ThS Nguyễn Ngọc Thiên An ThS Nguyễn Thị Ái Thảo Thành phố Hồ Chí Minh – Tháng /2014 Mục lục   I GIỚI THIỆU ĐỀ TÀI 4  II MỤC TIÊU CỦA ĐỀ TÀI 5  III TÓM TẮT NỘI DUNG CỦA ĐỀ TÀI 5  3.1 Nội dung 1: 5  3.2 Nội dung 2: 6  3.3 Nội dung 3: 6  IV NỘI DUNG THỰC HIỆN 7  4.1 Tìm hiểu xác thực dựa sinh trắc học (biometrics) 7  4.1.1 Xác thực 4.1.2 Sinh trắc học 4.1.3 Phân loại đặc điểm sinh trắc học 4.1.4 Phân loại hệ thống xác thực sinh trắc học 4.1.5 Xác thực dựa sinh trắc học thiết bị di động 10 4.1.6 Xác thực khuôn mặt phương pháp PCA 10 4.1.7 Xác thực giọng nói MFCC 12 4.2 Thiết kế thực hệ thống 17  4.2.1 Thiết kế hệ thống 17 4.2.2 Hiện thực thống 20 4.2.3 Giao diện hệ thống 23 4.3 Đánh giá hệ thống 25  4.3.1 Tỉ lệ chấp nhận sai Tỉ lệ từ chối sai 25 4.3.2 Tập liệu 26 4.3.3 Kết 26 V CÁC KẾT QUẢ ĐẠT ĐƯỢC CỦA ĐỀ TÀI 29  VI KẾT LUẬN VÀ KIẾN NGHỊ 29  Danh sách cán tham gia thực đề tài CHỦ NHIỆM ĐỀ TÀI: Họ tên: TRƯƠNG QUỲNH CHI Mã số cán bộ: 0.2889 Học vị: Học hàm: Thạc sĩ Khoa: Khoa học & Kỹ thuật Máy tính Bộ mơn: Hệ thống thơng tin Điện thoại BM: 8-38647256 (5841) Email: tqchi@cse.hcmut.edu.vn CÁN BỘ THAM GIA ĐỀ TÀI: Họ tên: ĐẶNG TRẦN TRÍ Học vị: Thạc sĩ Khoa: Khoa học & Kỹ thuật Máy tính Mã số cán bộ: 0.3078 Học hàm: Bộ môn: Hệ thống thông tin Điện thoại BM: 8-38647256 (5841) Email: tridang@cse.hcmut.edu.vn Họ tên: NGUYỄN NGỌC THIÊN AN Học vị: Thạc sĩ Khoa: Khoa học & Kỹ thuật Máy tính Mã số cán bộ: 1.3184 Học hàm: Bộ môn: Hệ thống thông tin Điện thoại BM: 8-38647256 (5841) Email: annguyen@cse.hcmut.edu.vn Họ tên: NGUYỄN THỊ ÁI THẢO Học vị: Thạc sĩ Khoa: Khoa học & Kỹ thuật Máy tính Điện thoại BM: 8-38647256 (5841) Email: thaonguyen@cse.hcmut.edu.vn Mã số cán bộ: 1.3183 Học hàm: Bộ môn: Hệ thống thông tin I GIỚI THIỆU ĐỀ TÀI Theo thống kê Micro Trax [1], phút trơi qua, có 113 điện thoại bị bị đánh cắp cắp Mỹ, tức khoản gần 60 triệu điện thoại bị bị đánh cắp năm Một số khổng lồ đất nước tiến có đến 96% dân số sử dụng điện thoại (thống kê Lockout Mobile Security [2]) cung cấp nhiều dịch vụ tiện ích di động Điều đáng nói điện thoại thường nơi có chứa thơng tin nhạy cảmvà quan trọng danh bạ điện thoại, tải khoản ngân hang, hình ảnh cá nhân hay quan trọng mối quan hệ cơng việc ảnh hưởng đến chủ nhân thiết bị gấp nhiều lần Thử tưởng tượng, bạn có 100 số điện thoại liên lạc chẳng may điện thoại bạn bị mất, điều đồng nghĩa với việc bạn phải 100 liên lạc bạn bè đối tác bạn phải tốn khoản chi phí lớn để khơi phục số lượng liên lạc đó, chưa kể kẻ trộm dùng số liên lạc bạn để thực giao dịch đặc biệt làm tổn hại đến quan hệ công việc Cũng theo thống kê trên, có đến 54% thiết bị di động không hỗ trợ mật dẫn đến liệu di động trở thành mồi ngon cho kẻ cơng Và thị trường Việt Nam không ngoại lệ với tốc độ phát triển viễn thơng nhanh chóng, theo số liệu nhất, số lượng người dùng di động 30,2 triệu người (theo số liệu Bộ Thông tin Truyền thông, năm 2010 [3]), vấn đề an toàn liệu thiết bị di động cần quan tâm cách xác đáng Bên cạnh đó, Việt Nam, với bùng nổ thiết bị di động ưu việt, nhỏ gọn, tiện lợi phát triển mạnh mẽ công nghệ, dịch vụ dành riêng cho thiết bị di động ngày nở rộ hệ thống tin nhắn qua tổng đài, toán trực tuyến qua thiết bị di động, xác thực tin nhắn, chuyển khoản, tra cứu số dư Đi kèm theo điều thông tin cá nhân hay đặc biệt thông tin nhạy cảm lưu trữ thiết bị di động danh bạ liên lạc, tin nhắn, email hay file hình ảnh, video clips, v.v Chính bảo mật liệu thiết bị di động trở thành nhu cầu thiếu người dùng nhằm tránh cố bị lộ liệu đáng tiếc điện thoại sử dụng dịnh vụ sửa chữa thiết bị di động chẳng hạn Để bảo vệ thơng tin cá nhân thiết bị di dộng việc xác thực bước cần thực Xác thực người dùng trước họ sử dụng thiết bị di động đóng vai trị cánh cửa cho ngơi nhà Cửa có chắn đảm bảo an tồn cho ngơi nhà Hầu hết thiết bị di động có trang bị phương thức xác thực người dùng dùng password mã pin Đây phương pháp đơn giản có hiệu tốt Tuy nhiên, ngày nay, kẻ công ngày trở nên tinh vi phương pháp xác thực dễ dàng bị đánh bại cách thử sai (do độ phức tạp password/mã pin thiết bị di động không cao), cách social engineering, đơn giản ý thức bảo vệ liệu cá nhân người dùng chưa cao (viết password/mã pin giấy, dùng password/mã pin mặc định, …) Do thiết bị di động cần trang bị thêm phương pháp xác thực khác để bảo vệ người dùng Với phát triển nhanh chóng kỹ thuật công nghệ, thiết bị di động ngày trở nên “thông minh” (smart phone) trang bị thêm nhiều tính tiện ích Camera, Microphone, built-in finger scanner hay thiết bị đo gia tốc, từ trường mang lại tính khả thi cho phương xác thực người dùng thông qua đặc điểm sinh học người II MỤC TIÊU CỦA ĐỀ TÀI a) Tìm hiểu phương pháp xác thực dựa sinh trắc học (biometrics) nhận dạng dấu vân tay, cử chỉ, khn mặt, giọng nói, mống mắt, b) Phân tích,lựa chọn đề nghị phương pháp xác thực dựa sinh trắc học phù hợp để áp dụng thiết bị di động thông minh (smart phone) qua nhằm bảo vệ liệu nhân người dùng hình ảnh, danh bạ, SMS, hiệu c) Kết hợp phương pháp xác thực dựa sinh trắc học với phương pháp xác thực thông thường (dùng password, mã pin, …) để tăng khả bảo vệ cho thiết bị di động thông minh d) Xây dựng hệ thống xác thực dựa sinh trắc học cho thiết bị di động thông minh e) Đánh giá hệ thống III TÓM TẮT NỘI DUNG CỦA ĐỀ TÀI 3.1 Nội dung 1: Mục tiêu: Tìm hiểu xác thực dựa sinh trắc học (biometrics) đề xuất phương pháp xác thực dựa sinh trắc học thiết bị di động Chỉ tiêu đánh giá: báo cáo Kế hoạch thực hiện: tháng Stt Nội dung thực Người thực Từ đến (tháng) 1.1 Tìm hiểu phương pháp xác thực thông thường phương pháp xác thực dựa sinh trắc học (biometrics) Đặng Trần Trí 1-3 1.2 Tìm hiểu kỹ thuật công nghệ hệ thống xác thực có Nguyễn Thị Ái Thảo, 1-2 1.3 Tìm hiểu thiết bị di động thông minh Nguyễn Thị Ái Thảo, 1.4 Đề xuất phương pháp xác thực dựa sinh trắc học phù hợp thiết Đặng Trần Trí Nguyễn Ngọc Thiên An Nguyễn Ngọc Thiên An 4-5 bị di động thơng minh Phương pháp: • Tìm hiểu xác thực người dùng, thức tiến hành, ưu khuyết điểm phương pháp xác thực • Các cơng nghệ/kỹ thuật liên quan nhằm phục vụ cho việc xác thực tìm hiểu hệ thống xác thực dựa sinh trắc học có • Đi sâu vào tìm hiểu nghiên cứu phương pháp xác thực dựa sinh trắc học • Lựa chọn thiết bị di động thông minh đề xuất phương pháp phù hợp để xác thực thiết bị di động thơng minh Phân tích diễn giải số liệu thu được: • Các phương pháp xác thực 3.2 Nội dung 2: Mục tiêu: Thiết kế thực hệ thống Chỉ tiêu đánh giá: phần mềm Kế hoạch thực hiện: tháng Stt Nội dung thực Người thực 2.1 Thiết kế hệ thống Đặng Trần Trí 6-7 Nguyễn Thị Ái Thảo, 8-10 2.2 Hiện thực hệ thống Từ đến (tháng) Nguyễn Ngọc Thiên An, Đặng Trần Trí 2.3 Viết báo khoa học Đặng Trần Trí 8-11 Phương pháp: • Thiết kế kiến trúc hệ thống xác thực cho phương pháp đề xuất nội dung • Hiên thực hệ thống với chức phục vụ cho việc xác thực dựa sinh trắc học • Tích hợp với phương pháp xác thực thơng thường • Kiểm thử đánh giá hệ thống Phân tích diễn giải số liệu thu được: • Đánh giá hệ thống xác thực dựa tỷ lệ lỗi tỷ lệ chấp nhận sai (FAR) tỷ lệ từ chối sai (FRR) 3.3 Nội dung 3: Mục tiêu: Viết báo cáo tổng kết Chỉ tiêu đánh giá: báo cáo Kế hoạch thực hiện: tháng Stt Nội dung thực Người thực 3.1 Viết báo cáo Trương Quỳnh Chi, • Từ đến (tháng) 12 Phương pháp: Viết báo cáo Phân tích diễn giải số liệu thu được: IV NỘI DUNG THỰC HIỆN 4.1 Tìm hiểu xác thực dựa sinh trắc học (biometrics) 4.1.1 Xác thực Trong lĩnh vực bảo mật hệ thống thông tin, điều khiển truy xuất (access control) đóng vai quan trọng, liên quan đến việc quản lý truy cập vào tài nguyên hệ thống Điều khiển truy xuất gồm có hai bước xác thực (authentication) ủy quyền (authorization) Xác thực định nghĩa “quá trình kiểm tra/xác minh danh định người dùng với họ” [4] Trong đó, ủy quyền “q trình giới hạn hành vi phép làm người dùng xác thực” [5] Nói cách khác, xác thực dùng để trả lời cho câu hỏi “bạn ai?” ủy quyền dùng để trả lời cho câu hỏi “bạn phép làm gì?” Trong giới hạn đề tài, đề cương đề cập đến lý thuyết liên quan đến phần xác thực Để xác thực người dùng trước tiên họ cần thực việc đăng ký (register, enronment) với hệ thống Việc đăng ký cần hai thông tin danh định (identity) chứng để kiểm tra sau Loại chứng kèm với danh định dùng để xác thực chia làm ba loại sau [5]: • Những bạn biết (something we know): mật (password), số PIN • Những bạn có (something we have): smart card (token) • Những bạn (something we are): Sinh trắc học (biometrics) 4.1.2 Sinh trắc học Sinh trắc học (biometrics) trình tự động xác thực cá thể người dựa đặc điểm sinh lý hay hành vi riêng họ (Biometrics is the automated recognition of individuals based on their behavioral and biological characteristics)1 Xác thực dựa sinh trắc học khơng phải ngành khoa học xác (an exact science) Kết việc xác thực dựa vào tỷ lệ (phần trăm) giống (match score) input mẫu (template) lưu CSDL Một hệ thống sử dụng xác thực sinh trắc 1 ISO/IEC JTC1/SC37 Standing Document 2: Harmonized Biometric Vocabulary  học định nghĩa ngưỡng (threshold) Nếu tỷ lệ giống input mẫu lớn ngưỡng người dùng xác thực thành cơng, cịn nếu tỷ lệ giống input mẫu thấp ngưỡng việc xác thực khơng thành cơng Hệ thống xác thực dựa sinh trắc học có loại tỷ lệ sai (error rates): • Tỷ lệ chấp nhận sai (a false accept rate, FAR): chấp nhận sai người dùng giả mạo hệ thống xác thực • Tỷ lệ từ chối sai (a false reject rate, FRR): từ chối sai người dùng hệ thống xác thực giả mạo từ chối truy cập/giao dịch Æ Cần cân FAR FRR: ngưỡng (threshold) cao FAR giảm (tăng tính bảo mật), FRR tăng (giảm tính tiện dụng) ngược lại Một đặc điểm sinh học dùng việc xác thực đáp ứng đủ yếu tố [6] • Tính phố biến (Universality): Mọi người sở hữu đặc tính • Tính (Uniqueness): Khơng có người khác có chung đặc tính • Tính khơng thay đổi theo thời gian (Permanence): Tính chất không thay đổi theo thời gian thay đổi khơng đáng kể • Tính tính tốn (Measurability): Đặc tính sinh học số hóa so sánh cá nhân • Tính hiệu (Performance): Đặc tính phải so sánh thời gian nguồn tài ngun giới hạn • Tính chấp nhận (Acceptability): Mọi người chấp nhận phương pháp xác thực hệ thống • Tính khơng thể gian lận (Circumvention): Đặc điểm sinh học phải khơng thể khó làm giả 4.1.3 Phân loại đặc điểm sinh trắc học Các đặc điểm sinh học phân loại vào nhóm sau: • Đặc điểm sinh lý (Physiological) o Vân tay (fingerprint) o Mống mắt (iris) o Võng mạc (retina) o Khn mặt (face) o Hình học bàn tay (hand geometry) o DNA o Biểu đồ nhiệt khn mặt (facial thermography) o Hình học ngón tay (finger geometry) o Hình dạng lỗ tai (ear shape) o Mùi (smell, odor) o Tĩnh mạch tay (hand vein) • Đặc điểm hành vi (Behavioral) o Giọng nói (voice) o Cách gõ phím (typing pattern, keyboard strokes) o Chữ ký (signature) o Dáng (gait) 4.1.4 Phân loại hệ thống xác thực sinh trắc học Việc phân loại hệ thống xác thực sinh trắc học dựa cách thu thập, sử dụng kết hợp đặc điểm sinh trắc học vào việc xác thực Hệ thống xác thực dựa sinh trắc học đơn sử dụng đặc điểm sinh trắc học để xác thực Hệ thống xác thực đa yếu tố, sử dụng xác thực sinh trắc học với yếu tố xác thực khác mật khẩu, số PIN Hệ thống xác thực kết hợp nhiều đặc điểm sinh trắc: cách kết hợp nhiều đặc điểm sinh trắc học vào hệ thống xác thực: • Thu thập nhiều hình ảnh loại sinh trắc Ỉ kết hợp nhiều lần để tạo mẫu có độ xác tốt nhất, vector chuẩn Ỉ so sánh với mẫu CSDL dựa theo ngưỡng Ỉ kết luận [7] o Multi-sensor systems: thu thập nhiều hình ảnh mẫu sinh trắc từ nhiều (loại) cảm ứng khác (sensor) o Multi-algorithm systems: tạo vector đặc điểm mẫu sinh trắc từ nhiều giải thuật khác o Multi-instance systems: thu thập nhiều (instance) mẫu sinh trắc, ví dụ: chụp khn mặt từ nhiều góc độ, mắt trái mắt phải o Multi-sample systems: đọc mẫu sinh trắc nhiều lần để tăng độ xác mẫu • Thu thập nhiều loại sinh trắc khác người dùng Ỉ đánh giá tỷ lệ trùng hợp loại so sánh với ngưỡng Ỉ thơng hàm hàm kết hợp đại số luận lý Æ kết luận [7] o Multimodal systems: kết hợp nhiều loại sinh trắc học khác người dùng • Hybrid-systems: kết hợp hai cách 4.1.5 Xác thực dựa sinh trắc học thiết bị di động Hệ thống sinh trắc học tích hợp vào thiết bị di động theo hai hướng Hướng thứ thiết bị di động đóng vài trị thiết bị thu thập liệu sinh trắc học hướng thứ hai hệ thống độc lập sử dụng sinh trắc học để bảo vệ liệu thiết bị động Trong hướng đầu tiên, thiết bị di động lấy liệu sinh trắc học từ người dùng truyền qua Internet đến hệ thống xác thực chuyên biệt để xử lý so trùng Cách chứng minh hữu dụng giao dịch khoảng cách xa yêu cầu người dùng cần phải xác minh Ví dụ có khách hàng gọi đến ngân hàng yêu cầu giao dịch, khách hàng giới thiệu John Smith để xác minh danh tính, yêu cầu phải đọc mật Giọng nói ghi lại, xử lý so sánh với mẫu liệu mà hệ thống ghi lại người dùng đăng nhập vào hệ thống Khuôn mặt, chữ ký hay gõ bàn phím đặc điểm sinh trắc học mà điện thoại ngày có khả ghi lại chuyển chúng sang địa điểm khoảng cách xa Một cách thực khác hệ thống sinh trắc học thiết bị di động toàn hệ thống tích hợp thiết bị di động phục vụ cho mục đích ngăn chặn truy xuất không cho phép vào điện thoại Đây cách mà đề tài hướng đến Do đặc tính nhỏ gọn tiện dụng nên việc áp dụng xác thực sinh trắc học thiết bị di động cần dựa vào thiết bị built-in có sẵn thiết bị Các đặc điểm sinh trắc có tính khả thi cao áp dụng thiết bị di động: • Khn mặt: thơng qua camera thiết bị • Giọng nói: thơng qua microphone • Chữ ký: với thiết bị di động có hình cảm ứng • Cách gõ bàn phím Trong đề tài này, chúng tơi chọn khn mặt giọng nói để xác thực người dùng 4.1.6 Xác thực khuôn mặt phương pháp PCA Bằng phương pháp PCA, biến đổi hình ảnh ban đầu tập học (training set) thành eigenfaces tương ứng Một tính quan trọng PCA người ta tái tạo lại cấu trúc hình ảnh ban đầu từ tập học cách kết hợp eigenfaces Do nói hình ảnh khn mặt ban đầu dựng lại từ eigenfaces cách kết hợp eigenfaces tỉ lệ Mỗi eigenface đại diện số đặc điểm khn mặt, có khơng có hình ảnh ban đầu.Nếu đặc điểm có ảnh gốc với mức độ cao hơn, phần đóng góp eigenface tương ứng tập eigenfaces lớn.Nếu ngược lại, đặc điểm khơng có diện ảnh ban đầu eigenface tương ứng đóng góp phần nhỏ tập eigenfaces Vì để tái tạo hình ảnh ban đầu từ eigenfaces, xây dựng nên tập tổng hợp trọng số tất eigenfaces Để tái tạo lại hình ảnh đầu cách tổng hợp tất eigenfaces, eigenface có Hình Dãy lọc không gian Mel bao gồm 27 lọc hình tam giác Như thấy, lọc tăng tuyến tính kHz tăng theo hàm hũ 1kHz Log Compression Discrete Cosine Transforming Bước thứ áp dụng trình né cách sử dụng hàm logarith kết lọc Y(i) áp dụng discrete cosine transform mà cho hệ số MFCCs c[n] dựa vào công thức sau: Tính Delta Delta-Delta Coefficients Hệ số delta delta-delta sử dụng để thêm thông tin thay đổi mặt thời gian Kết dẫn xuất gọi hệ số delta kết gọi hệ số deltadelta Các đơn giản phân biệt hai hệ số Với đặc tính thứ n-th delta định nghĩa sau: Và thuộc tính thứ n-th delta-delta định nghĩa sau: Với M thường từ đến khung Sự phân biệt thực riêng biệt cho vector tính 4.2 Thiết kế thực hệ thống 4.2.1 Thiết kế hệ thống Hệ thống chia thành hệ thống sau: Hình 7.Thhành phần hệệ thống, với hệ thống ccon Training Set Manageer: • Hệ thống H n quản lýý việc thu thậập liệu thhô đầu vào vvà thực nhiệm n vụ huuấn luyện ữ liệu • Dữ liệu thô ban đầu ản D nh chụp từ caamera mẫẫu âm thu từ micro đư ược thu thập thành phầần Face Imag ge Capturer Voice Reecorder Đối với ảnh khu uôn mặt, hệ y cung cấp th hêm thành pphần phát hiệện khuôn mặặt người tronng ảnh thhống chhụp (F Face Detectorr), sau thuu nhỏ lại kícch thước ảnhh, thực tiền t xử lý ảnnh để ứng dụng có c thể hoạt động đ tốt nhấất việc nhận dạng d khn mặt • Thành phần T c hệ thống n thành phần trích xxuất thơng tinn sinh trắc học đặc trưng g người đ huấn luuyện (Featurre Extractor)) Thành phầần áp ảnh khuôn mặt mẫuu dụụng giảii thuật nhận dạng tríchh xuất điểm đặc trưng từ giiọng nói • Hệ thống tương H t tác vớ ới phận lư ưu trữ điệện thoại (Phoone Storage)), thực viiệc ghi liệu, liệu trao đổi cáác đặc điểm sinh trắc họcc đặc trưng c người đư ược huấn luyyện Dữ liệuu đượcc lưu trữ tron ng tập tin faace_data.xmll khhuôn mặt vàà voice_data.txt ggiọng nói Recognizer • Hệ thống quản lý việc thực trình nhận dạng đối tượng cần tương tác với hệ thống • Nó chứa thành phần để lấy ảnh khn mặt, thu giọng nói y Training Set Manager, thành phần thay đổi Hệ thống cung cấp phận nhận dạng dựa vào giải thuật thực Đối với khuôn mặt, phận nhận dạng chiếu liệu ảnh khuôn mặt người cần nhận dạng vào không gian tập liệu huấn luyện, từ trích xuất nét đặc trưng ảnh.Đối với giọng nói, thành phần tính giá trị MFCC mẫu giọng nói, sau tính tốn giá trị khoảng cách tới mẫu giọng nói khác tập liệu huấn luyện • Kết nhận dạng sinh hệ thống Nó thực việc so sánh kết tính tốn (độ tin cậy ảnh khuôn mặt so với ảnh tập huấn luyện, hay khoảng cách mẫu giọng nói với tập huấn luyện) với mức ngưỡng phương thức nhận dạng thiết lập tính tốn trước • Hệ thống tương tác với phần lưu trữ điện thoại (Phone Storage), thực tác vụ đọc liệu từ nhớ Phone Storage • Bộ phận lưu trữ thông tin điện thoại, gọi Phone Storage.Đối với điện thoại Android, ta lưu trữ liệu nhớ (thẻ nhớ - SDcard) nhớ điện thoại • Nếu liệu sinh trắc học thu thập lưu trữ nhớ ngoài, khả bị mất, đánh cắp, hư hỏng, … từ đối tượng khác cao, không đạt yêu cầu bảo mật hệ thống Vì vậy, thành phần lưu trữ thơng tin nhớ điện thoại Android Vì ứng dụng cung cấp vùng nhớ riêng biệt, với vài thiết lập việc khởi tạo tập tin bên trong, liệu lưu trữ nhớ điện thoại bị truy xuất người khác, ứng dụng khác điện thoại Điều đảm bảo yêu cầu bảo mật liệu sinh trắc học hệ thống Cấu trúc tập tin liệu đặc trưng khn mặt giọng nói • Khn mặt: o Tập tin face_data.xml chứa điểm đặc trưng khuôn mặt mà giải thuật PCA thu thập Những điểm đặc trưng dùng lại lần giai đoạn nhận dạng đối tượng vào hệ thống o Đối với việc lưu trữ thông tin khuôn mặt vào tập tin face_data.xml, thư viện JavaCV cung cấp phương thức lưu trữ vô tiện lợi hiệu Tập tin thông tin có định dạng tập tin XML (eXtensible Markup Language), thông tin cần thiết nằm tag với tên tag ta ấn định Tag gốc tập tin có tên opencv_storage, tên JavaCV định nghĩa o Các thông tin khuôn mặt thông tin cần thiết cho thành phần nhận dạng khn mặt hoạt động gồm: • ƒ Số lượng Eigenfaces (nEigens) ƒ Số lượng ảnh khuôn mặt dùng để huấn luyện (nTrainFaces) ƒ Ma trận chứa giá trị eigenFace (tức eigenValue) ƒ Ma trận gồm nTrainFaces hàng nEigens cột, chứa giá trị ma trận không gian mà ảnh khuôn mặt tập huấn luyện ánh xạ sang (projectedTrainFaceMat) ƒ Giá trị ảnh trung bình ảnh khn mặt huấn luyện ƒ Giá trị nEigens ảnh thu thập từ nEigens eigenValue, ảnh có tên tag file face_data.xml eigenVect_i với i thứ tự eigenValue ma trận eigenValue Giọng nói: o Tập tin voice_data.txt chứa giá trị đặc trưng giọng nói đối tượng thu thập sử dụng giải thuật MFCC o Tập tin chia thành N khối, với N số lượng mẫu âm sử dụng trình huấn luyện Mỗi khối chứa thông tin điểm đặc trưng mẫu âm o Một khối thông tin mẫu âm bao gồm 16 hàng, hàng chứa 20 cột giá trị.Ngồi ra, ta cịn thêm dịng cuối khối để chứa giá trị ngưỡng tính tốn cho giọng nói củangười huấn luyện 4.2.2 Hiện thực thống Môi trường phát triển kiểm thử: • Eclipse IDE for Java Developer – version 1.4.0 • Android Development Tool s(ADT) – version 20.0.3 • JavaCV 0.3 • Comirva 0.36 • Ứng dụng kiểm thử máy tính bảng Google Nexus (Android version 4.1) Sơ đồ đặc tả hệ thống mức thực: ứng dụng phân gói (package) riêng biệt (gói tập tin thiết lập giao diện ứng dụng, gói tập tin phục vụ nhận dạng khn mặt, gói tập tin phục vụ nhận dạng giọng nói, gói API tiện ích thơng số ứng dụng, góói thư việện kèm) Vì vậy, việcc tích hợp thhêm thànhh phần nhận dạng trrở nên đơn đ giản đốii với hệ thốnng Hình Đặc tả hệ thhống trìình Trainingg Đặc tả hệ thốống trình h Recognizinng Hình 9.Đ H thống bao Hệ o gồm qu trình sau: • Thu thập liệu thô o Dữ liệu thô ứng dụng ảnh khn mặt mẫu giọng nói Qúa trình thu thập thực camera micro điện thoại o Đối với ảnh khuôn mặt, ứng dụng thực việc phát khuôn mặt ảnh, trích xuất ảnh khn mặt, thu nhỏ kích thước ảnh mong muốn thực tiền xử lý để thu ảnh chất lượng tốt o Đối với mẫu giọng nói, người dùng ấn nút Record, thu giọng nói ứng dụng lưu trữ mẫu giọng nói • Thực q trình huấn luyện o Áp dụng giải thuật nhận dạng thư viện hỗ trợ, ứng dụng thực việc trích xuất thơng tin đặc trưng ảnh khn mặt mẫu giọng nói thu o Sau trích xuất điểm đặc trưng, liệu đặc trưng lưu trữ nhớ điện thoại • Thực q trình nhận dạng o Thu thập liệu điểm đặc trưng đối tượng lưu trữ nhớ điện thoại o Thu thập liệu từ ảnh khuôn mặt giọng nói đối tượng cần nhận dạng, trích xuất điểm đặc trưng mẫu Đối với ảnh khuôn mặt, điểm đặc trưng ảnh chiếu trực tiếp lên không gian tập liệu huấn luyện Từ đây, ta thu giá trị độ tin cậy (confidence) ảnh khuôn mặt với ảnh tập huấn luyện Đối với mẫu giọng nói, điểm đặc trưng trích xuất bình thường sử dụng giải thuật MFCC Sau đó, ứng dụng tính khoảng cách mẫu giọng nói với mẫu tập huấn luyện, giá trị giá trị khoảng cách (distance) o Kết nhận dạng đánh giá riêng biệt kết hợp tùy thuộc vào chế độ nhận dạng ứng dụng • Tiền xử lý ƒ Khi nhận dạng riêng biệt, giá trị confidence/distance phải vượt qua ngưỡng để chấp nhận nhận dạng ƒ Khi nhận dạng tuần tự, giá trị confidence/distance phải vượt qua ngưỡng phương pháp nhận dạng trước bắt đầu vào phương pháp nhận dạng thứ hai ƒ Khi nhận dạng kết hợp, giá trị confidence/distance phải đồng thời vượt qua mức ngưỡng với cặp tỉ lệ chấp nhận ứng dụng qui định sẵn o Đối với liệu thơ (khn mặt giọng nói), chúng tơi trải qua giai đoạn tiền xử lý trước đưa vào trình huấn luyện nhận dạng.Quá trình tiền xử lý giúp mẫu liệu tốt hơn, độ xác giải thuật cao o Với ảnh khn mặt, sau chụp ảnh đối tượng, thực việc phát khn mặt, thay đổi kích thước ảnh (nhỏ theo kích thước qui định sẵn) có chứa khuôn mặt, thực việc cân sáng cho ảnh sử dụng kỹ thuật Histogram Equalization, tạo ảnh grayscale với định dạng *.PGM cung cấp cho giải thuật thực 4.2.3 Giao diện hệ thống Ứng dụng tạo với mục đích xác thực Khn mặt Giọng nói, giao diện thực tương đối đơn giản dễ sử dụng Màn hình chào ứng dụng: xuất khởi động ứng dụng, không cung cấp nút chức Nếu ứng dụng huấn luyện khn mặt giọng nói trước đó, ứng dụng cung cấp nút chức năng: nút Recognize để bắt đầu nhận dạng nút Settings để đến hình thiết lập ứng dụng: Hình 10 Màn hình chào Màn hình huấn luyện ảnh khn mặt: cung cấp nút chức năng: nút Capture để chụp ảnh khuôn mặt nút Train để huấn luyện ảnh vừa chụp Màn hình thu giọng nói Micro: chạm vào hình Micro để bắt đầu thu âm, ấn nút Save để lưu mẫu giọng vừa thu, ấn nút Cancel để hủy mẫu giọng nói Màn hình thiết lập ứng dụng: thiết lập thông tin chế độ nhận dạng mức ngưỡng cho thành phần nhận dạng khn mặt Hình 11.Màn hình thiết lập ứng dụng Màn hình nhận dạng khn mặt: cung cấp nút Capture để chụp ảnh khuôn mặt, bắt đầu nhận dạng khn mặt Màn hình nhận dạng giọng nói: cung cấp nút Record để thu giọng nói, bắt đầu nhận dạng giọng nói (a) (b) Hình 12.Màn hình nhận dạng khn mặt (a) giọng nói (b) 4.3 Đánh giá hệ thống 4.3.1 Tỉ lệ chấp nhận sai Tỉ lệ từ chối sai Tỉ lệ chấp nhận sai (False Accept Rate - FAR) nhận dạng đặc tính sinh trắc học xác suất mà người lạ (kẻ mạo danh, hay người chưa xác nhận) chấp nhận hệ thống nhận dạng.Tỉ lệ tính thương số tổng lần chấp nhận sai tổng số mẫu liệu đưa vào Bởi FAR lớn dẫn đến nguy hại cho hệ thống, FAR thông thường quan tâm thông số cần đo đạc để tối ưu an ninh cho hệ thống nhận dạng Tỉ lệ từ chối sai (False Reject Rate - FRR) nhận dạng đặc tính sinh trắc học xác xuất mà người có thơng tin xác nhận bên hệ thống trở nên bị từ chối truy xuất trước hệ thống nhận dạng FRR thông thường tiêu chí xác định lỗi mang tính thoải mái FAR, việc từ chối sai mang lại quấy nhiễu người dùng, gây xâm hại vào an ninh hệ thống Dựa vào FAR FRR thu thập trình kiểm thử, ta thống kê lựa chọn mức ngưỡng phù hợp cho ứng dụng hoạt động Mức ngưỡng khơng thể tốt nhất, đảm bảo độ xác cao đó, mức lỗi thấp độ xác chấp nhận 4.3.2 Tập liệu Khuôn mặt: tập liệu sử dụng cho việc kiểm thử bao gồm tập liệu từ đại học Yale tập liệu thu thập từ thực tiễn: • Tập liệu chuẩn lấy từ sở liệu khuôn mặt đại học Yale (USA) Tập liệu bao gồm 39 người, người gồm 65 ảnh khn mặt, khn mặt có thay đổi độ chiếu sáng góc chiếu sáng đến khn mặt Do tập liệu chứa số ảnh tối, loại bỏ giữ lại 40 ảnh người • Tập liệu thực tế thu thập từ thành viên người khác người thân, đồng nghiệp Mỗi người khoảng 10-15 ảnh, gồm tất người Chất lượng ảnh đa dạng với thay đổi góc độ chụp, biểu cảm khuôn mặt, hướng độ sáng nguồn sáng, chất lượng camera Giọng nói: tập liệu sử dụng cho việc kiểm thử gồm mẫu giọng thu thập thực tế, người gồm 6-15 mẫu giọng nói Các mẫu âm khác độ dài, cường độ, mức độ nhiễu môi trường (môi trường yên tĩnh hay môi trường ồn ào,…) Tập huấn luyện tập kiểm thử thực mẫu âm có độ dài từ 7s đến 35s, nhận thấy độ dài mẫu âm nằm vào khoảng 10s-20s chương trình hoạt động xác 4.3.3 Kết 4.3.3.1 Kiểm thử xác thực khuôn mặt Ta thực việc kiểm thử với tập liệu mô tả trên: • Hàng ngang mức ngưỡng dùng việc kiểm thử • Cột dọc mức độ lỗi Kiểm thử với tập liệu từ đại học Yale: tập liệu này, ta thực việc kiểm thử 20 người chọn ngẫu nhiên sở liệu Mỗi người sử dụng ảnh khuôn mặt để huấn luyện, giai đoạn kiểm thử thực với 16 ảnh khác người ảnh 16 người bất kỳ, người 20 ảnh 0.45 0.4 0.35 0.3 0.25 FRR 0.2 FAR 0.15 Total 0.1 0.05 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 Hình 13.Kết kiểm thử khn mặt với tập liệu Yale Kiểm thử với tập liệu thực tế: tập liệu thực tế sử dụng gồm 10 người, nam nữ, chất lượng ảnh đa dạng Mỗi người sử dụng ảnh khuôn mặt để huấn luyện, giai đoạn kiểm thử thực với ảnh khác người (từ đến 17 ảnh) ảnh người tập liệu, người có số ảnh từ đến 15 ảnh 0.8 0.7 0.6 0.5 FRR 0.4 FAR 0.3 Total 0.2 0.1 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 Hình 14.Kết kiểm thử khuôn mặt với tập liệu thực tế 4.3.3.2 Kiểm thử xác thực giọng nói Đối với việc nhận dạng giọng nói mà chúng tơi thực, giọng nói người có điểm đặc trưng khác tần số, biên độ âm, …, nên sử dụng mức ngưỡng từ kết kiểm thử Mức ngưỡng giọng nói người xác định sau: 1) Dữ liệu đầu vào n tập tin liệu giọng nói (tập tin *.wav), tập biểu diễn I{x1, x2, , xn}, dựa vào MFCC, xây dựng cụm (cluster) bao gồm n giá trị Kmeans 2) Tính khoảng cách trung bình file với tập liệu huấn luyện, ta có tập giá trị khoảng cách D{dis1, dis2,…,disn} n ∑ dis 3) Sau tính khoảng cách trung bình X = i i =1 n 4) Giá trị ngưỡng mức âm cộng thêm giá trị gia tăng, giá trị n tính sau: increaseThreshold = ∑ dis − X i i =1 n 5) Vậy ngưỡng threshold = X + increaseThreshold Kiểm thử với tập liệu thực: • Hàng ngang biểu thị số lần huấn luyện mẫu giọng nói • Cột dọc mức độ lỗi Tập liệu bao gồm người: nam, nữ Những mẫu giọng nói thu thập có chất lượng tương đối đa dạng (độ dài từ 7-35s, nói liên tục, nói nhỏ, tiếng ồn…) Tiến hành huấn luyện người với số mẫu 2, 3, 4, 5, mẫu (samples) 0.12 0.1 0.08 FRR 0.06 FAR Total 0.04 0.02 2 samples 3 samples 4 samples 5 samples 6 samples Hình 15.Kết kiểm thử giọng nói 4.3.3.3 Kiểm thử kết hợp khn mặt giọng nói Ta tính giá trị kết sau áp dụng giải thuật nhận dạng khn mặt giọng nói, lưu giữ giá trị, áp dụng công thức kết hợp để đánh giá kết Ta sử dụng kết hợp AND với cặp giá trị tỉ lệ FR (face rate) VR (voice rate), tức là, đối tượng cần nhận dạng phải đạt đồng thời mức ngưỡng khn mặt giọng nói Các giá trị kết hợp thử nghiệm (F viết tắt cho face, V viết tắc cho voice) {90%F, 90%V}, {90%F, 85%V}, {90%F, 80%V}, {85%F, 80%V}… Kết ngưỡng cho khuôn mặt lấy giá trị threshold = 0.75 0.1400 0.1200 0.1000 0.0800 FRR 0.0600 FAR 0.0400 Total 0.0200 0.0000 90%F,90%V 90%F, 85%V 90%F, 80%V 85%F, 85%V Hình 16 Kết kiếm thử kết hợp nhận dạng khn mặt nhận dạng giọng nói V CÁC KẾT QUẢ ĐẠT ĐƯỢC CỦA ĐỀ TÀI Stt Tên sản phẩm Hệ thống xác thực dựa sinh trắc học cho thiết bị di động thông minh Bài báo hội nghị khoa học/tạp chí chuyên ngành: Báo cáo khoa học tổng kết cho đề tài Số lượng 1 Ghi Khả ứng dụng hệ thống: việc xây dựng thành công hệ thống xác thực dựa sinh trắc học phù hợp với thiết bị di động thông minh giúp cho người dùng có thêm cơng cụ để bảo vệ liệu cá nhân thiết bị di động thông minh TRUONG Quynh Chi, DANG Tran Khanh: A Survey on Biometric Transformations for Biometric Template Protection In Proceedings of the Regional Conference on Computer and Information Engineering (RCCIE), August 22– 23, 2013, Bangkok, Thailand, pp 62-67 VI KINH PHÍ Đà CHI CHO CÁC NỘI DUNG CỦA ĐỀ TÀI Mục Nội dung chi Xây dựng thuyết minh chi tiết đề tài Tìm hiểu xác thực dựa sinh trắc học (biometrics) đề xuất phương pháp xác thực dựa sinh trắc học thiết bị di động 2.1 Tìm hiểu phương pháp xác thực thông thường phương pháp xác thực dựa sinh trắc học (biometrics) Số tiền 1.000.000 đồng 10.000.000 đồng 3.000.000 đồng 2.2 Tìm hiểu kỹ thuật công nghệ hệ thống xác thực 3.000.000 đồng 2.3 Tìm hiểu thiết bị di động thơng minh 2.000.000 đồng 2.4 Đề xuất phương pháp xác thực dựa sinh trắc học phù hợp thiết bị di động thông minh Thiết kế thực hệ thống 3.1 Thiết kế hệ thống 3.2 Hiện thực hệ thống 3.3 Viết báo khoa học Viết báo cáo tổng kết khoa học kỹ thuật đề tài Phụ cấp chủ nhiệm đề tài TỔNG CỘNG 2.000.000 đồng 10.000.000 đồng 2.000.000 đồng 5.000.000 đồng 3.000.000 đồng 3.000.000 đồng 6.000.000 đồng 30.000.000 đồng VI KẾT LUẬN VÀ KIẾN NGHỊ Việc ứng dụng sinh trắc học vào xác thực ngày trở nên phố biến tính tiện dụng, an toàn bảo mật cao Trong đề tài chúng tơi tìm hiểu kỹ thuật hệ thống xác thực dùng sinh trắc học Đồng thời dựa vào tìm hiểu để thiết kế thực hệ thống xác sử dụng sinh trắc học dành cho thiết bị di động Với hệ thống người dùng có thêm cơng cụ để bảo vệ liệu thiết bị di động Tuy nhiên, hệ thống xây dựng đề tài trọng đến việc nhận diện xác thực người dùng, chưa xem xét đến khía cạnh khác bảo vệ mẫu sinh trắc học lưu máy đề dùng cho việc xác thực, bảo vệ liệu người dùng cách mã hóa dùng đặc trưng sinh trắc học Đây chủ đề nghiên cứu phát triển thêm để hoàn thiện hệ thống xác thực bảo vệ liệu người dùng sinh trắc học thiết bị di động Tp.HCM, ngày 30 tháng 06 năm 2014 Chủ nhiệm đề tài ThS Trương Quỳnh Chi Tp.HCM, ngày tháng năm 2014 TL HIỆU TRƯỞNG Tài liệu tham khảo [1] [2] [3] [4] [5] [6] [7] [8] [9] http://www.micro-trax.com/statistics/ (tham khảo vào ngày 18/1/2012) http://www.comscore.com/ (tham khảo vào ngày 15/1/2012) http://vneconomy.vn/20111014052132519p0c16/phat-trien-thue-bao-dien-thoai-didong-van-day-du-dia.htm (tham khảo vào ngày 18/1/2012) Lawrence O'Gorman, Comparing passwords, tokens, and biometrics for user authentication, Proceedings of the IEEE, Vol 91, No 12, pp 2019-2040, 2003 Mark Stamp, Information Security: Principles and Practice, JohnWiley & Sons, Inc., Hoboken, New Jersey, ISBN-13 978-0-471-73848-0, 2006 Joseph N Pato and Lynette I Millett, Biometric Recognition Challenges and Opportunities, National Research Council of the National Academes Press, 2010 Arun A Ross, Karthik Nandakumar, and Anil K Jain, Handbook of Multibiometrics, International Series on Biometrics, Springer-Verlag New York, Inc., Secaucus, NJ, USA, 2006 Dimitri Pissarenko, Eigenface-based facial recognition, 2002 Atahan Tolunay, Text-Dependent Speaker Verification Implemented in Matlab Using MFCC and DTW, Master Thesis, Institutionen för systemteknik, 2010 ... pháp xác thực dựa sinh trắc học phù hợp thi? ?t bị di động thông minh Thi? ?t kế thực hệ thống 3.1 Thi? ?t kế hệ thống 3.2 Hiện thực hệ thống 3.3 Vi? ?t báo khoa học Vi? ?t báo cáo t? ??ng k? ?t khoa học kỹ thu? ?t. .. CÁC K? ?T QUẢ Đ? ?T ĐƯỢC CỦA ĐỀ T? ?I Stt T? ?n sản phẩm Hệ thống xác thực dựa sinh trắc học cho thi? ?t bị di động thông minh Bài báo hội nghị khoa học/ t? ??p chí chuyên ngành: Báo cáo khoa học t? ??ng k? ?t cho. .. systems: k? ?t hợp nhiều loại sinh trắc học khác người dùng • Hybrid-systems: k? ?t hợp hai cách 4.1.5 Xác thực dựa sinh trắc học thi? ?t bị di động Hệ thống sinh trắc học t? ?ch hợp vào thi? ?t bị di động theo