1 Số hoá bởi Trung tâm Học liệu – ĐHTN http //www lrc tnu edu vn ®¹i häc th¸i nguyªn Trêng ®¹i häc c«ng nghÖ th«ng tin vµ truyÒn th«ng NGUYỄN THẾ THỤY PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT TỪ CAMERA, ỨNG[.]
đại học thái nguyên Trường đại học công nghệ thông tin truyền thông NGUYN TH THY PHT HIN V NHẬN DẠNG KHUÔN MẶT TỪ CAMERA, ỨNG DỤNG TRONG ĐIỂM DANH LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2015 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI CAM ĐOAN Tôi - Nguyễn Thế Thụy xin cam đoan nội dung trình bày luận văn kết tìm hiểu, nghiên cứu thân dƣới hƣớng dẫn TS Nguyễn Văn Tảo tham khảo từ nhà nghiên cứu trƣớc Nội dung tham khảo, kế thừa, phát triển từ cơng trình đƣợc cơng bố đƣợc trích dẫn, ghi rõ nguồn gốc Nếu có sai phạm tơi xin hồn tồn chịu trách nhiệm Ngƣời cam đoan Nguyễn Thế Thụy Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI CẢM ƠN Trong trình thực luận văn gặp nhiều khó khăn nhƣng em nhận đƣợc quan tâm, giúp đỡ từ thầy cô, đồng nghiệp, bạn bè ngƣời thân Đây nguồn động lực giúp em hoàn thành luận văn Em xin gửi lời cảm ơn chân thành tới TS Nguyễn Văn Tảo tận tình giúp đỡ, hƣớng dẫn bảo trình thực luận văn Em xin chân thành cảm ơn tới quý Thầy, Cô giáo công tác Viện Công nghệ thông tin Việt Nam, Trƣờng Đại học Công nghệ thơng tin Truyền thơng Thái Ngun tận tình bảo, truyền đạt kiến thức qúy báu giúp em hoàn thành nhiệm vụ học tập suốt thời gian theo học trƣờng Quý Thầy Cô giúp em có đƣợc kiến thức quan trọng lĩnh vực Công nghệ thông tin, tảng vững cho nghiên cứu thân thời gian tới Em xin cảm ơn đồng nghiệp giúp đỡ, ủng hộ tinh thần thời gian em tham gia học tập nghiên cứu Cuối cùng, em xin cảm ơn tất ngƣời luôn quan tâm, sẻ chia động viên em Thái Nguyên, ngày 17 tháng 07 năm 2015 Nguyễn Thế Thụy Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC HÌNH VẼ LỜI MỞ ĐẦU CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TỐN NHẬN DẠNG KHN MẶT ỨNG DỤNG TRONG ĐIỂM DANH 1.1 Tổng quan sinh trắc học 1.1.1 Hệ thống sinh trắc học 10 1.1.1.1 Hệ thẩm định (Verification) .10 1.1.1.2 Nhận dạng (Identification, Recognition) 11 1.1.1.3 Các thành phần chức chủ yếu 11 1.1.1.4 Hoạt động hệ thống 11 1.1.2 Đánh giá hiệu chất lƣợng hoạt động hệ sinh trắc học 11 1.1.3 Hệ thống an ninh bảo mật dựa sinh trắc học 13 1.2 Phát nhận dạng khuôn mặt 13 1.3 Những khó khăn thách thức tốn nhận dạng khn mặt 16 1.4 Các ứng dụng tốn nhận dạng khn mặt 16 1.5 Bài toán điểm danh dựa khuôn mặt 18 1.5.1 Bài toán điểm danh quản lý nhân 18 1.5.2 Đầu vào toán 19 1.5.3 Đầu ý nghĩa thực tiễn 20 CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT21 2.1 Một số kỹ thuật phát mặt ngƣời ảnh 21 2.1.1 Hƣớng tiếp cận dựa đặc trƣng ảnh 22 2.1.1.1 Phân tích mức thấp (Low level analysis) 23 2.1.1.2 Phân tích đặc trƣng (Feature Analysis) 27 2.1.1.3 Mơ hình hình dạng động (Active shape models) 33 2.1.2 Hƣớng tiếp cận dựa ảnh (Image based detection) 37 2.1.2.1 Phƣơng pháp khơng gian tuyến tính (Linear subspace methods) 38 2.1.2.2 Mạng neural 41 2.1.2.3 Phƣơng pháp thống kê (Statistical approachs) 44 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 2.2 Một số kỹ thuật nhận dạng khuôn mặt .47 2.2.1 Phƣơng pháp phân tích thành phần (PCA) 48 2.2.2 Phƣơng pháp phân tách tuyến tính (LDA) 49 2.2.3 Phƣơng pháp mạng neural 52 CHƢƠNG 3: CÀI ĐẶT THỬ NGHIỆM 54 3.1 Yêu cầu thực nghiệm, ứng dụng 54 3.2 Phân tích lựa chọn giải pháp, công cụ .55 3.3 Một số kết cài đặt thực nghiệm 56 3.3.1 Giao diện chƣơng trình 56 3.3.2 Một số kết điểm danh dựa khuôn mặt 60 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 64 TÀI LIỆU THAM KHẢO 65 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn DANH MỤC CÁC HÌNH VẼ Hình 1.1 Các đặc trƣng sinh trắc phổ biến .8 Hình 1.2 Mơ hình hệ thống sinh trắc học .9 Hình 1.3 Các giá trị ngƣỡng FAR FRR 11 Hình 1.4 Mơ hình hệ thống nhận dạng mặt ngƣời Error! Bookmark not defined Hình 2.1 Sơ đồ hƣớng tiếp cận phƣơng pháp phát mặt ngƣời Error! Bookmark not defined Hình 2.2 Hệ thống tìm kiếm mặt Maio Maltoni Error! Bookmark not defined Hình 2.3 Một số không gian riêng CSDL ảnh ORL 38 Hình 2.4 Mơ hình mạng neural Rowley cộng sựError! Bookmark not defined Hình 2.5 Hệ thống nhận dạng khuôn mặt Error! Bookmark not defined Hình 2.6 Ví dụ minh họa LDA .47 Hình 2.7 Ảnh sau biến đổi theo LDA .49 Hình 2.8 Mạng neural lớp truyền thẳng Error! Bookmark not defined Hình 3.1 Quy trình hoạt động hệ thống điểm danh dựa khuôn mặt …Error! Bookmark n Hình 3.2 Giao diện chƣơng trình Error! Bookmark not defined Hình 3.3 Hình ảnh từ camera xử lý tƣơng ứng Error! Bookmark not defined Hình 3.4 Giao diện quản lý danh sách điểm danh điểm danhError! Bookmark not defined Hình 3.5 Giao diện quản lý danh sách ảnh 60 Hình 3.6 Cơ sở liệu ảnh 60 Hình 3.7 Giao diện lựa chọn thực đơn 61 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI MỞ ĐẦU Công nghệ Sinh trắc học (Biometric) công nghệ sử dụng thuộc tính vật lý mẫu hành vi, đặc điểm sinh học đặc trƣng nhƣ dấu vân tay, mẫu mống mắt, giọng nói, khn mặt, dáng để nhận diện ngƣời Công nghệ sinh trắc học đƣợc áp dụng phổ biến lâu đời, phƣơng pháp sử dụng nhận dạng khuôn mặt tự nhiên Phƣơng pháp đƣợc thân ngƣời sử dụng từ đƣợc sinh để phân biệt ngƣời ngƣời khác Ứng dụng khả phân biệt dựa đặc điểm khác khn mặt, tốn “Phát nhận dạng khn mặt từ camera, ứng dụng điểm danh” tốn có khả ứng dụng cao với chi phí thấp đƣợc áp dụng quan, doanh nghiệp Với hỗ trợ camera, máy tính phần mềm điểm danh, nhà quản lý thu đƣợc thông tin có mặt thời gian làm việc ngƣời lao động cách xác khách quan với chi phí thấp Việc áp dụng nhận dạng khn mặt đƣợc sử dụng cách độc lập với ƣu điểm phƣơng pháp sinh trắc học khác tính tự nhiên nó, đồng thời phƣơng pháp đƣợc sử dụng kết hợp với phƣơng pháp sinh trắc khác để nâng cao tính xác hệ thống vận hành Chính tầm quan trọng phát hiện, nhận dạng khn mặt nói riêng cơng nghệ sinh trắc nói chung, tơi thực đề tài “Phát nhận dạng khuôn mặt từ camera, ứng dụng điểm danh” với mục tiêu tìm hiểu thuật tốn phát nhận dạng khn mặt ngƣời từ xây dựng chƣơng trình điểm danh dựa khn mặt Tơi hy vọng đề tài đem lại số kiến thức hữu ích cho quan tâm đến vấn đề phát nhận dạng khôn mặt nhƣ lĩnh vực sinh trắc học Nội dung luận văn đƣợc chia làm phần chính: Chƣơng trình bày khái quát quản lý học viên tốn điểm danh, nêu rõ đầu vào đầu toán nhƣ ứng dụng thực tiễn toán Chƣơng nghiên cứu, tìm hiểu thuật tốn phát nhận dạng khn mặt Chƣơng trình bày thực nghiệm ứng dụng chƣơng trình điểm danh dựa nhận dạng khuôn mặt Phần cuối kết luận hƣớng phát triển luận văn Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TỐN NHẬN DẠNG KHN MẶT ỨNG DỤNG TRONG ĐIỂM DANH 1.1 Tổng quan sinh trắc học Sinh trắc học hay công nghệ sinh trắc học (thuật ngữ khoa học Biometric) công nghệ sử dụng thuộc tính vật lý, đặc điểm sinh học riêng cá nhân nhƣ vân tay, mống mắt, khuôn mặt để nhận diện Thuật ngữ sinh trắc học (Biometric) đƣợc dùng ghép theo tiếng Hy Lạp từ từ: Bio (thuộc thực thể sinh vật sống) metriko (kỹ thuật độ đo, đo lƣờng), thuật ngữ đƣợc hình thành trình phát triển loài ngƣời đƣợc biết đến từ lâu để thể đặc trƣng thể chất hay hành vi cá thể ngƣời Có nhiều loại đặc trƣng sinh trắc học: vân tay (Fingerprint), lịng bàn tay (Palm print), dạng hình học bàn tay (Hand geometry), chữ ký viết tay (Hand written Signature), khuôn mặt (Face), tiếng nói (Voice), ngƣơi mắt (Iris), võng mạc (Retina) Những đặc trƣng đƣợc phát từ sớm để nhận dạng, xác thực chủ thể ngƣời đƣợc quan tâm nghiên cứu triển khai ứng dụng lĩnh vực an ninh, quốc phịng, thƣơng mại, cơng nghiệp, dịch vụ Các đặc trƣng sinh trắc học thể ngƣời đƣợc sử dụng phải đảm bảo tiêu chuẩn sau đây: [1] - Tính rộng rãi: tính chất cho biết thơng thƣờng ngƣời có đặc trƣng này, tạo khả sử dụng hệ thống an ninh sinh trắc học cho số lƣợng ngƣời lớn - Tính phân biệt: tính chất phân biệt đặc trƣng sinh trắc học hai ngƣời phải khác nhau, đảm bảo chủ thể sinh trắc - Tính ổn định: tính chất mà đặc trƣng sinh trắc phải có tính ổn định thời gian tƣơng đối dài - Tính dễ thu thập: tính chất đặc trƣng sinh trắc học phải dễ dàng thu nhận mẫu đăng ký, kiểm tra xác thực, nâng cao tính khả thi sử dụng - Tính hiệu quả: tính chất mà việc xác thực sinh trắc phải xác, nhanh chóng tài nguyên cần sử dụng đƣợc chấp nhận - Tính chấp nhận đƣợc: tính chất mà q trình thu thập mẫu sinh trắc phải đƣợc đồng ý ngƣời dùng Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn - Chống giả mạo: tính chất ƣu việt việc sử dụng đặc trƣng sinh trắc, khả mẫu sinh trắc khó bị giả mạo cao Hình 1.1 Các đặc trưng sinh trắc phổ biến Đã có nhiều đặc trƣng sinh học khác đƣợc sử dụng Mỗi loại đặc trƣng sinh trắc có điểm mạnh điểm yếu riêng Tuy nhiên không đặc trƣng thỏa mãn tốt đầy đủ tất yêu cầu tính chất đặc trƣng sinh trắc học nêu trên, nghĩa khơng có đặc trƣng sinh trắc học hồn tồn tối ƣu Trong cơng trình nghiên cứu, chuyên gia đƣa bảng so sánh khái quát tiêu chuẩn đánh giá tính chất tƣơng ứng đặc trƣng sinh trắc học sau đây: [1] Bảng 1.1: So sánh công nghệ nhận dạng sinh trắc học Tính Tính rộng phân ổn rãi biệt định M M M M M M L M M M H M M M Vân tay M H H M H M M Dáng M L L H L H M Khuôn mặt H L M H L H H Võng mạc H H M L H L L Mống mắt H H H M H L L Chỉ tay M H H M H M M Giọng nói M L L M L H H Đặc trƣng sinh trắc học Vân bàn tay Dạng hình học bàn tay Tính dễ thu thập Tính Tính Tính hiệu chấp Chống nhận giả mạo đƣợc Trong đó: Các ký hiệu có ý nghĩa nhƣ sau: H (cao), M (trung bình) L (thấp) Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 1.1.1 Hệ thống sinh trắc học Hình 1.2 Mơ hình hệ thống sinh trắc học [2] Một hệ thống sinh trắc học (Biometric System) thực chất hệ nhận dạng dựa đặc điểm hành vi hay thuộc tính vật lý ngƣời cần nhận dạng Hệ thống sinh trắc học đƣợc phân thành hai loại chính: hệ thẩm định (Verification) hệ nhận dạng (Identification, Recognition) [1] 1.1.1.1 Hệ thẩm định (Verification) Hệ thẩm định (Verification) hệ thống thực nhiệm vụ đối sánh 1-1 mẫu sinh trắc học thu nhận đƣợc (biometric sample) với mẫu dạng sinh trắc học (biometric template) có hệ thống từ trƣớc Kết trả lời câu hỏi mẫu sinh trắc thu nhận có liên quan tới mẫu dạng sinh trắc hay khơng? Thơng thƣờng hệ thẩm định có kết hợp với thông tin định danh chủ thể để thực chức xác thực 10 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn thẩm định sinh trắc (Authentication) Trong hệ xác thực thẩm định đòi hỏi cao độ xác để kết trả lời câu hỏi “Sinh trắc học sống thu nhận đƣợc (biometric sample) có phải sinh trắc chủ thể lƣu hệ thống không?” [1] 1.1.1.2 Nhận dạng (Identification, Recognition) Hệ nhận dạng (Identification, Recognition) hệ thống thực chức tìm kiếm (1-n) từ sở liệu lƣu trữ tập mẫu sinh trắc học để tìm mẫu sinh trắc cụ thể mẫu khuôn dạng sinh trắc thu thập từ trƣớc sau thực đối sánh xấp xỉ để nhận dạng phân lớp (Classification) nhận dạng đồng (Identification), ví dụ nhƣ việc tìm mẫu vân tay tội phạm hồ sơ vân tay, từ xác định danh tính chủ sở hữu vân tay [1] 1.1.1.3 Các thành phần chức chủ yếu - Thu nhận (Sensor, Capture): thành phần có chức thu nhận mẫu sinh trắc học biểu diễn chúng dƣới dạng số hóa - Xử lý trích chọn đặc trƣng (Feature Extraction): thành phần chức thực phép xử lý phân tích trích chọn đặc trƣng từ mẫu sinh trắc học - Đối sánh (Matching): thành phần chức thực so sánh đặc trƣng vừa trích chọn với khn mẫu sinh trắc có trƣớc - Ra định (Decision): thành phần chức khẳng định danh tính ngƣời dùng (với hệ nhận dạng) dựa kết đối sánh chức đối sánh câu trả lời câu trả lời sai mẫu sinh trắc học so với khn mẫu sinh trắc có từ trƣớc (với hệ thẩm định) [1] 1.1.1.4 Hoạt động hệ thống Hoạt động hệ thống sinh trắc bao gồm giai đoạn sau đây: - Đăng ký (Enrollment): giai đoạn đăng ký mẫu sinh trắc vào hệ thống - Thẩm định nhận dạng (Verification/Identification): giai đoạn thẩm định, nhận dạng mẫu sinh trắc vừa trích chọn với khn mẫu sinh trắc có trƣớc 1.1.2 Đánh giá hiệu chất lƣợng hoạt động hệ sinh trắc học Một hệ sinh trắc học hoạt động thƣờng gặp hai vấn đề lỗi sau đây: 11 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn - Lỗi phát sinh đối sánh mẫu sinh trắc hai ngƣời khác nhƣng cho kết ngƣời Lỗi đƣợc gọi loại bỏ sai (false reject hay false match) - Lỗi phát sinh đối sánh hai mẫu sinh trắc ngƣời nhƣng cho kết sai, cho hai ngƣời khác Lỗi đƣợc gọi chấp nhận sai (false accept hay false nonmatch) Để đo lƣờng mức độ lỗi hệ thống sinh trắc, độ đo lƣờng thƣờng dùng đƣợc định nghĩa nhƣ sau: - FMR (False Match Rate): gọi FAR (False Accept Ratio) - Tỷ số chấp nhận sai: cho biết tỉ lệ trả lời liệu vào sai - FNMR (False Nonmatch Rate): gọi FRR (False Rejection Ratio) - Tỷ số từ chối sai: cho biết tỉ lệ trả lời sai liệu vào Một vấn đề hai độ đo lƣờng có ràng buộc với nhƣ sau: FAR cao FRR giảm tƣơng đối ngƣợc lại Mức độ chấp nhận đƣợc FAR FRR tùy thuộc vào hệ xác thực sinh trắc cụ thể Với hệ yêu cầu tính bảo mật cao, đặt nặng vấn đề an toàn xác thực tiện dụng ngƣời dùng, FAR nhỏ FRR cao Ngoài hai độ đo trên, ngƣời ta sử dụng độ đo FTC (Failure To Capture - thu nhận mẫu thất bại) FTE (Failure to Enroll - chấp nhận mẫu thất bại) để đánh giá hiệu hệ xác thực sinh trắc học [1] Hình 1.3 Các giá trị ngưỡng FAR FRR [3] 12 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 1.1.3 Hệ thống an ninh bảo mật dựa sinh trắc học Hệ thống sinh trắc học có ƣu điểm mà hệ bảo mật thơng thƣờng khơng có, nghiên cứu hệ thống an ninh, bảo mật dựa hệ sinh trắc học (Biometric Security System) đƣợc quan tâm nghiên cứu đƣa vào ứng dụng thực tiễn Hƣớng nghiên xây dựng hệ thống sở kết hợp hệ thống sinh trắc học với hệ mật mã (Biometric Cryptosystem) vấn đề thời đƣợc quan tâm nghiên cứu phát triển Sự kết hợp nhằm mục tiêu nâng cao tính an toàn hệ mật mã dựa ƣu điểm hệ thống sinh trắc học Hệ thống an ninh, bảo mật sinh trắc học (Biometric based Security System) dựa nhận biết thẩm định đặc trƣng thể chất hay hành vi ngƣời để nhận dạng, xác thực chủ thể Cùng với phát triển nhanh chóng CNTT truyền thơng, hệ thống an ninh dựa nhận dạng, thẩm định xác thực sinh trắc học đƣợc quan tâm nghiên cứu có nhiều triển khai ứng dụng năm gần giới Đối với giao dịch điện tử truyền thông, hƣớng tiếp cận an ninh thơng tin mạng, an tồn liệu Phƣơng pháp mở triển vọng lớn an toàn giao dịch điện tử, phủ điện tử, thƣơng mại điện tử [1] Các lĩnh vực nghiên cứu hệ thống an ninh sinh trắc học (Biometric Security Systems) - Các nghiên cứu loại sinh trắc học, phƣơng pháp trích chọn đặc trƣng sinh trắc nhận dạng, thẩm định xác thực chủ thể ngƣời - Các hệ nhận dạng, thẩm định xác thực sinh trắc học chủ thể hệ thống - Mật mã sinh trắc học (Biometric Cryptography) Trong hệ mật mã thông thƣờng, điểm yếu thƣờng q trình bảo vệ, quản lý phân phối khóa Nguy đe dọa mục tiêu xác thực chống phủ nhận Hệ sinh trắc học đƣợc ứng dụng giải vấn đề Hiện có hai hƣớng tiếp cận để kết hợp sinh trắc học mật mã học nhƣ sau: [1] - Dùng sinh trắc học quản lý khóa (biometric-based key release) - Dùng sinh trắc học để tạo khóa (biometric-based key generation) 1.2 Phát nhận dạng khuôn mặt Vấn đề nhận dạng mặt ngƣời trình bày cách tổng quan nhƣ sau: Cho ảnh tĩnh hay đoạn video, phát nhận ngƣời ảnh hay 13 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn đoạn video dựa tập cho trƣớc liệu mặt ngƣời biết Giải pháp cho vấn đề bao gồm bốn vấn đề: phát mặt ngƣời từ ảnh (video), trích chọn đặc trƣng từ vùng ảnh, nhận dạng ảnh xác minh Với trình nhận dạng, đầu vào ảnh chƣa biết, sau trình nhận dạng, hệ thống đƣa định danh ngƣời ảnh trình xác minh, hệ thống phải đƣợc xác định việc nhận dạng xác hay không Về mặt tổng quát, phƣơng pháp nhận dạng mặt ngƣời đƣợc chia thành module: Module phát mặt ngƣời ảnh module nhận dạng mặt ngƣời Đƣợc khởi đầu vào năm 70, nhận dạng mặt ngƣời ứng dụng phân tích xử lý ảnh đạt đƣợc nhiều thành tựu Trong thời gian gần đây, phát triển nhƣ vũ bão khoa học máy tính yêu cầu thực tiễn lĩnh vực kinh tế, luật pháp…, vấn đề nhận dạng mặt ngƣời đƣợc đặc biệt ý Một loạt hội thảo đƣợc tổ chức bàn vấn đề nhƣ AFGR, AVBPA đánh giá mang tính hệ thống kỹ thuật nhận dạng mặt ngƣời (Face Recognition Techniques - FRT), bao gồm phƣơng pháp FERET XM2VTS Nhu cầu cấp thiết hệ thống thân thiện với ngƣời sử dụng đảm bảo cho nghiên cứu sau khơng bị lãng phí hàng loạt nghiên cứu đƣợc thực thi trƣớc Hiện nay, để rút tiền từ ATM ta phải nhập PIN, hay để truy cập máy tính ta phải nhập mật hay hàng loạt phƣơng pháp khác để truy cập vào Internet Hiện có hàng loạt phƣơng pháp nhận dạng có độ tin cậy cao dựa vào kỹ thuật nhân trắc học; chẳng hạn nhƣ, kỹ thuật phát vân tay hay kỹ thuật quét nhận dạng võng mạc Tuy nhiên, hệ thống có chung nhƣợc điểm phức tạp yêu cầu cần có phối hợp nhiều ngƣời xử lý Bên cạnh đó, hệ thống nhận dạng dựa kỹ thuật phân tích ảnh mặt nhìn thẳng ngƣời đơn giản nhiều, khơng địi hỏi có nhiều ngƣời xử lý khơng địi hỏi kiến thức chun mơn sâu Chính thế, hệ thống nhận dạng ngƣời dựa kỹ thuật phân tích ảnh mặt ngày đƣợc ứng dụng rộng rãi Bảng 1.2 Các ứng dụng tiêu biểu nhận dạng mặt người Lĩnh vực Các ứng dụng đặc trƣng Driver’s licences, Entitlement Programs Nhân trắc học Immigration, National ID, Passports, Voter Registration 14 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Welfare Desktop Logon (Windows 95, Windows NT) Application Security, Database Security, File Encryption An tồn thơng tin Intranet Security, Internet Access, Medical Records Secure Trading Terminals Advanced Video Surveillance, CCTV Control Law Enforcement and Surveillance Portal Control, Post-Event Analysis Shoftlifting and Suspect Tracking and Investigation SmartCards Access Control Stored Value Security, User Authentification Facility Access, Vehicular Access Một hệ thống nhận dạng mặt ngƣời điển hình bao gồm thành phần nhƣ Hình 1.4 Ảnh mặt ngƣời Trích chọn đặc trƣng Nhận dạng mặt ngƣời Thơng tin ngƣời đƣợc nhận dạng Hình 1.4 Mơ hình hệ thống nhận dạng mặt người Nhận dạng mặt ngƣời (Face recognition) đƣợc nghiên cứu từ năm 1980, lĩnh vực nghiên cứu ngành thị giác máy tính (Computer Vision) đƣợc xem lĩnh vực nghiên cứu ngành sinh trắc học (Biometrics) tƣơng tự nhƣ nhận dạng vân tay (Fingerprint recognition), hay nhận dạng mống mắt (Iris recognition)… Trong nhận dạng vân tay mống mắt áp dụng thực tế cách rộng rãi nhận dạng mặt ngƣời nhiều thách thức So với nhận dạng vân tay mống mắt, nhận dạng mặt có nguồn liệu phong phú địi hỏi tƣơng tác có kiểm sốt Bài tốn nhận dạng mặt ngƣời nhiều thách thức nên hàng năm ngồi nƣớc có nhiều nghiên cứu phƣơng pháp nhận dạng mặt ngƣời 15 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Nhận dạng khuôn mặt nhiệm vụ dễ dàng ngƣời Thí nghiệm [9] ra, trẻ sơ sinh 1-3 ngày tuổi phân biệt khn mặt Nhƣng làm với máy tính? Cho đến biết nhận dạng ngƣời Có phải đặc điểm bên (mắt, mũi, miệng) đặc điểm bên ngồi (hình dạng đầu, chân tóc) đƣợc sử dụng cho nhận dạng khn mặt Bộ não ngƣời phân tích hình ảnh mã hóa nhƣ nào? Theo nghiên cứu đƣợc David Hubel Torsten Wiesel, não có tế bào thần kinh chuyên biệt phản ứng với hoàn cảnh cụ thể, chẳng hạn nhƣ đƣờng, cạnh, góc độ chuyển động Vì khơng nhìn thấy giới nhƣ mảnh phân tán, vỏ não cách phải kết hợp nguồn thông tin khác vào mẫu hữu ích Nhận diện khn mặt tách đặc điểm có ý nghĩa từ hình ảnh, đƣa chúng vào biểu diễn hữu ích thực số phân loại 1.3 Những khó khăn thách thức tốn nhận dạng khn mặt Việc xác định khn mặt ngƣời có khó khăn định nhƣ: - Hƣớng (pose) khuôn mặt máy ảnh, nhƣ: nhìn thẳng, nhìn nghiêng hay nhìn từ xuống Cùng ảnh có nhiều khn mặt tƣ khác - Sự có mặt chi tiết đặc trƣng riêng khn mặt ngƣời, nhƣ: râu quai nón, mắt kính - Các nét mặt (facial expression) khác khuôn mặt, nhƣ: vui, buồn, ngạc nhiên - Mặt ngƣời bị che khuất đối tƣợng khác có ảnh - Sự biểu cảm khn mặt (The expression of the face): biểu cảm làm thay đổi đáng kể đặc trƣng thông số khn mặt, ví dụ nhƣ khn mặt ngƣời khác ngƣời cƣời, tức giận hay sợ hãi… 1.4 Các ứng dụng tốn nhận dạng khn mặt Xác định mặt ngƣời thƣờng phần hệ thống (facial recognition system) [4] Nó thƣờng đƣợc dùng giám sát video, giao tiếp ngƣời - máy quản lý sở liệu ảnh… Các ứng dụng xác định mặt ngƣời kể đến là: 16 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn - Xác minh tội phạm: Dựa vào ảnh ngƣời, nhận dạng xem ngƣời có phải tội phạm hay không cách so sách với ảnh tội phạm đƣợc lƣu trữ Hoặc sử dụng camera để phát tội phạm đám đông Ứng dụng giúp quan an ninh quản lý ngƣời tốt - Camera chống trộm: Các hệ thống camera xác định đâu ngƣời theo dõi xem ngƣời có làm phạm pháp khơng, ví dụ nhƣ lấy trộm đồ, xâm nhập bất hợp pháp vào khu vực - Bảo mật: Các ứng dụng bảo mật đa dạng, số cơng nghệ nhận dạng mặt ngƣời laptop, công nghệ cho phép chủ nhân máy tính cần ngồi trƣớc máy đăng nhập đƣợc Để sử dụng cơng nghệ này, ngƣời dùng phải sử dụng webcam để chụp ảnh khn mặt cho máy “học” thuộc đặc điểm khn mặt giúp cho q trình đăng nhập sau - Lƣu trữ khuôn mặt: Xác định mặt ngƣời đƣợc ứng dụng trạm rút tiền tự động (ATM) để lƣu trữ khuôn mặt ngƣời rút tiền Hiện có ngƣời bị ngƣời khác lấy trộm thẻ ATM, mã PIN bị rút tiền trộm có chủ tài khoản rút tiền nhƣng lại báo với ngân hàng bị thẻ bị rút tiền trộm Nếu lƣu trữ đƣợc khuôn mặt ngƣời rút tiền, ngân hàng đối chứng xử lý dễ dàng Một số ứng dụng khác: - Điều khiển vào ra: Văn phịng, cơng ty, trụ sở, máy tính, Palm,… kết hợp thêm vân tay mống mắt, cho phép nhân viên đƣợc vào nơi cần thiết - An ninh sân bay, xuất nhập cảnh (hiện quan xuất nhập cảnh Mỹ sử dụng) Dùng camera quan sát để xác thực ngƣời nhập cảnh kiểm tra xem ngƣời có phải tội phạm hay phần tử khủng bố khơng - Tìm kiếm tổ chức liệu liên quan đến ngƣời thông qua khuôn mặt ngƣời nhiều hệ sở liệu lƣu trữ thật lớn, nhƣ internet, hãng truyền hình… Ví dụ: tìm đoạn video có tổng thống Obama phát biểu, tìm phim có diễn viên Thành Long đóng… 17 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn - Kiểm tra trạng thái ngƣời lái xe có ngủ gật, tập trung hay không hỗ trợ thông báo cần thiết - Tƣơng lai phát triển loại thẻ thơng minh có tích hợp sẵn đặc trƣng ngƣời dùng đó, ngƣời dùng khác dùng để truy cập hay xử lý hệ thống đƣợc yêu cầu kiểm tra đặc trƣng khuôn mặt so với thẻ để biết ngƣời có phải chủ thẻ hay khơng - Hãng máy chụp hình Canon ứng dụng tốn xác định khn mặt ngƣời vào máy chụp hình hệ kết hình ảnh đẹp hơn, khn mặt ngƣời 1.5 Bài tốn điểm danh dựa khn mặt 1.5.1 Bài tốn điểm danh quản lý nhân Trong thời đại ngày nay, với phát triển khoa học kỹ thuật xu hƣớng cơng nghiệp hóa, đại hóa: máy móc tiếp tục thay ngƣời cơng việc nặng nhọc mang tính lặp lặp lại Máy móc có ƣu điểm khơng thể phủ nhận nhƣ mệt mỏi, sẵn sàng phục vụ liên tục, khơng mang tính chủ quan, khả xử lý nhanh, lƣu trữ lớn Đối với tốn điểm danh, chấm cơng với mục tiêu chủ yếu kiểm soát nguồn nhân lực thời gian Các nhà quản lý quan tâm tới hai vấn đề lao động tên “A” có mặt hay khơng, có hay khơng, “A” có làm đủ số quy định hay không? Để giải tốn thơng thƣờng cơng ty, doanh nghiệp, nhà quản lý sử dụng nhóm ngƣời có chức chấm công quản lý sử dụng hệ thống sinh trắc học Đối với việc sử dụng ngƣời có nhiều nhƣợc điểm nhƣ: chi phí lớn, tính khách quan khơng cao, khơng hoạt động tốt liên tục nhiều liền, sử dụng với phạm vi lớn (một cán chấm công nhớ đƣợc nhiều ngƣời, đặc biệt với ngƣời gặp vài lần) Vì hệ thống sinh trắc học tỏ hiệu lựa chọn hàng đầu toán Với hỗ trợ camera, máy tính phần mềm điểm danh, nhà quản lý thu đƣợc thông tin có mặt thời gian làm việc ngƣời lao động cách xác khách quan với chi phí thấp Việc áp dụng nhận dạng khn mặt đƣợc sử dụng cách độc lập với ƣu điểm phƣơng pháp sinh trắc học khác tính tự nhiên 18 Số hố Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn nó, đồng thời phƣơng pháp đƣợc sử dụng kết hợp với phƣơng pháp sinh trắc khác để nâng cao tính xác hệ thống vận hành 1.5.2 Đầu vào toán Với tốn điểm danh, nội dung luận văn tơi lựa chọn phƣơng pháp nhận dạng khuôn mặt làm sở để xây dựng hệ thống Với đầu vào ảnh ngƣời cần đƣợc điểm danh hệ thống nhận diện hình ảnh đốn nhận xác tên ngƣời có ảnh, từ sở để điểm danh Nhƣ vậy, đầu vào toán ảnh thu đƣợc từ camera đặt vị trí quan sát Vị trí thƣờng trƣớc cửa quan, doanh nghiệp, thƣờng lối vào đơn vị cần đƣợc điểm danh Trong trƣờng hợp có nhiều cửa vào cho đơn vị cần đƣợc điểm danh, hệ thống thiết đặt camera cổng vào Kết điểm danh kết tổng hợp camera vị trí khác Trong trƣờng hợp ngƣời quản lý cần xác định rõ thời gian làm việc lao động (cần xác định rõ thời gian vào thời gian ngƣời) hệ thống cần thiết đặt hai camera cổng, camera hƣớng để điểm danh ngƣời lao động vào camera hƣớng vào để điểm danh ngƣời lao động khỏi khu vực làm việc Hiệu thời gian lần lần vào thời gian ngƣời cần đƣợc điểm danh có mặt khu vực làm việc Để đảm bảo hệ thống làm việc hiệu quả, xác cần xây dựng tiêu chuẩn để hệ thống làm việc Đây thiết lập cần thiết để nâng cao tính xác khả làm việc hệ thống Các thiết đặt xuất phát từ khó khăn tồn thuật tốn xác định nhận diện khn mặt này: - Các khn mặt đƣợc chụp thẳng góc nghiêng không đáng kể (nhỏ 10o) - Phông ảnh không phức tạp - Ảnh đƣợc chụp điều kiện ánh sáng bình thƣờng - Ngƣời đƣợc điểm danh khơng có vật dụng với độ che phủ cao khn mặt (kính đen, trang, râu giả ) - Khơng mang vác ảnh có mặt ngƣời qua khu vực điểm danh (sử dụng ảnh 2D chụp ngƣời để điểm danh hộ, gây nhầm lẫn hệ thống) 19 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 1.5.3 Đầu ý nghĩa thực tiễn Bài toán điểm danh với đầu vào ảnh thu đƣợc từ camera, dựa công nghệ sinh trắc học nhận diện qua khuôn mặt trả lại kết danh sách tên ngƣời lao động, đối tƣợng ngƣời lao động tồn hai trạng thái đƣợc điểm danh không đƣợc điểm danh Để xác định đối tƣợng cần đƣợc điểm danh trạng thái nào, hệ thống dựa tập ảnh đƣợc lƣu sở liệu, trình nhận dạng đối tƣợng qua nhìn phía camera Hệ thống nhận diện khuôn mặt thu đƣợc từ camera xác định xem đối tƣợng có nằm danh sách điểm danh hay khơng, có đối tƣợng tƣơng ứng đƣợc xác định trạng thái “có mặt” Ngƣợc lại đối tƣợng cần điểm danh không xuất thời gian điểm danh trạng thái đối tƣợng phiên làm việc đƣợc xác định trạng thái “vắng” Nhƣ vậy, đầu tổng quát toán xác định hình ảnh ngƣời ảnh vào có tƣơng ứng với định danh ảnh có sở liệu hay khơng Nếu có định dang tƣơng ứng Dựa định danh đƣợc cung cấp hệ thống nhận dạng ta xây dựng chƣơng trình điểm danh với hai trạng thái “vắng” “có mặt” Nếu phiên làm việc định danh đƣợc hệ thống xác nhận trạng thái đƣợc xác định có mặt ngƣợc lại Trong trƣờng hợp cần xác định thời gian làm việc đối tƣợng theo dõi ta cần xác định thêm tham số thời gian đối tƣợng đƣợc hệ thống định danh theo chiều vào thời gian đối tƣợng đƣợc hệ thống định danh theo chiều 20 Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ... phát hiện, nhận dạng khn mặt nói riêng cơng nghệ sinh trắc nói chung, tơi thực đề tài ? ?Phát nhận dạng khuôn mặt từ camera, ứng dụng điểm danh? ?? với mục tiêu tìm hiểu thuật tốn phát nhận dạng khn mặt. .. ngƣời ngƣời khác Ứng dụng khả phân biệt dựa đặc điểm khác khn mặt, tốn ? ?Phát nhận dạng khuôn mặt từ camera, ứng dụng điểm danh? ?? tốn có khả ứng dụng cao với chi phí thấp đƣợc áp dụng quan, doanh... điểm danh dựa nhận dạng khn mặt Phần cuối kết luận hƣớng phát triển luận văn Số hoá Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TỐN NHẬN DẠNG KHN MẶT ỨNG DỤNG