Phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh

LỜI CAM ĐOAN Tôi - Nguyễn Thế Thụy xin cam đoan nội dung trình bày luận văn kết tìm hiểu, nghiên cứu thân dƣới hƣớng dẫn TS Nguyễn Văn Tảo tham khảo từ nhà nghiên cứu trƣớc Nội dung tham khảo, kế thừa, phát triển từ cơng trình đƣợc cơng bố đƣợc trích dẫn, ghi rõ nguồn gốc Nếu có sai phạm tơi xin hồn tồn chịu trách nhiệm Ngƣời cam đoan Nguyễn Thế Thụy Số hoá Trung tâm Học liệu – ĐHTN n LỜI CẢM ƠN Trong trình thực luận văn gặp nhiều khó khăn nhƣng em ln nhận đƣợc quan tâm, giúp đỡ từ thầy cô, đồng nghiệp, bạn bè ngƣời thân Đây nguồn động lực giúp em hoàn thành luận văn Em xin gửi lời cảm ơn chân thành tới TS Nguyễn Văn Tảo tận tình giúp đỡ, hƣớng dẫn bảo trình thực luận văn Em xin chân thành cảm ơn tới quý Thầy, Cô giáo công tác Viện Công nghệ thông tn Việt Nam, Trƣờng Đại học Công nghệ thông tin Truyền thơng Thái Ngun tận tình bảo, truyền đạt kiến thức qúy báu giúp em hoàn thành nhiệm vụ học tập suốt thời gian theo học trƣờng Q Thầy Cơ giúp em có đƣợc kiến thức quan trọng lĩnh vực Công nghệ thông tn, tảng vững cho nghiên cứu thân thời gian tới Em xin cảm ơn đồng nghiệp giúp đỡ, ủng hộ tnh thần thời gian em tham gia học tập nghiên cứu Cuối cùng, em xin cảm ơn tất ngƣời luôn quan tâm, sẻ chia động viên em Thái Nguyên, ngày 17 tháng 07 năm 2015 Nguyễn Thế Thụy Số hoá Trung tâm Học liệu – ĐHTN n MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC HÌNH VẼ LỜI MỞ ĐẦU CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TỐN NHẬN DẠNG KHN MẶT ỨNG DỤNG TRONG ĐIỂM DANH 1.1 Tổng quan sinh trắc học 1.1.1 Hệ thống sinh trắc học 10 1.1.1.1 Hệ thẩm định (Verificaton) .10 1.1.1.2 Nhận dạng (Identficaton, Recogniton) 11 1.1.1.3 Các thành phần chức chủ yếu 11 1.1.1.4 Hoạt động hệ thống 11 1.1.2 Đánh giá hiệu chất lƣợng hoạt động hệ sinh trắc học 11 1.1.3 Hệ thống an ninh bảo mật dựa sinh trắc học 13 1.2 Phát nhận dạng khuôn mặt 13 1.3 Những khó khăn thách thức tốn nhận dạng khuôn mặt 16 1.4 Các ứng dụng tốn nhận dạng khn mặt 16 1.5 Bài toán điểm danh dựa khuôn mặt 18 1.5.1 Bài toán điểm danh quản lý nhân 18 1.5.2 Đầu vào toán 19 1.5.3 Đầu ý nghĩa thực tễn 20 CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT21 2.1 Một số kỹ thuật phát mặt ngƣời ảnh 21 2.1.1 Hƣớng tếp cận dựa đặc trƣng ảnh 22 2.1.1.1 Phân tích mức thấp (Low level analysis) 23 2.1.1.2 Phân tích đặc trƣng (Feature Analysis) 27 2.1.1.3 Mô hình hình dạng động (Actve shape models) 33 2.1.2 Hƣớng tếp cận dựa ảnh (Image based detecton) 37 2.1.2.1 Phƣơng pháp không gian tuyến tính (Linear subspace methods) 38 2.1.2.2 Mạng neural 41 2.1.2.3 Phƣơng pháp thống kê (Statstcal approachs) 44 Số hoá Trung tâm Học liệu – ĐHTN n 2.2 Một số kỹ thuật nhận dạng khuôn mặt .47 2.2.1 Phƣơng pháp phân tích thành phần (PCA) 48 2.2.2 Phƣơng pháp phân tách tuyến tính (LDA) 49 2.2.3 Phƣơng pháp mạng neural 52 CHƢƠNG 3: CÀI ĐẶT THỬ NGHIỆM 54 3.1 Yêu cầu thực nghiệm, ứng dụng 54 3.2 Phân tích lựa chọn giải pháp, cơng cụ .55 3.3 Một số kết cài đặt thực nghiệm 56 3.3.1 Giao diện chƣơng trình 56 3.3.2 Một số kết điểm danh dựa khuôn mặt 60 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 64 TÀI LIỆU THAM KHẢO 65 Số hoá Trung tâm Học liệu – ĐHTN n DANH MỤC CÁC HÌNH VẼ Hình 1.1 Các đặc trƣng sinh trắc phổ biến .8 Hình 1.2 Mơ hình hệ thống sinh trắc học .9 Hình 1.3 Các giá trị ngƣỡng FAR FRR 11 Hình 1.4 Mơ hình hệ thống nhận dạng mặt ngƣời .Error! Bookmark not defined Hình 2.1 Sơ đồ hƣớng tếp cận phƣơng pháp phát mặt ngƣời Error! Bookmark not defined Hình 2.2 Hệ thống tìm kiếm mặt Maio MaltoniError! Bookmark not defined Hình 2.3 Một số không gian riêng CSDL ảnh ORL 38 Hình 2.4 Mơ hình mạng neural Rowley cộng sựError! Bookmark not defined Hình 2.5 Hệ thống nhận dạng khuôn mặt .Error! Bookmark not defined Hình 2.6 Ví dụ minh họa LDA .47 Hình 2.7 Ảnh sau biến đổi theo LDA 49 Hình 2.8 Mạng neural lớp truyền thẳng Error! Bookmark not defined Hình 3.1 Quy trình hoạt động hệ thống điểm danh dựa khuôn mặt …Error! Bookmark Hình 3.2 Giao diện chƣơng trình Error! Bookmark not defined Hình 3.3 Hình ảnh từ camera xử lý tƣơng ứng Error! Bookmark not defined Hình 3.4 Giao diện quản lý danh sách điểm danh điểm danhError! Bookmark not defined Hình 3.5 Giao diện quản lý danh sách ảnh 60 Hình 3.6 Cơ sở liệu ảnh 60 Hình 3.7 Giao diện lựa chọn thực đơn 61 Số hoá Trung tâm Học liệu – ĐHTN n LỜI MỞ ĐẦU Công nghệ Sinh trắc học (Biometric) cơng nghệ sử dụng thuộc tính vật lý mẫu hành vi, đặc điểm sinh học đặc trƣng nhƣ dấu vân tay, mẫu mống mắt, giọng nói, khn mặt, dáng để nhận diện ngƣời Công nghệ sinh trắc học đƣợc áp dụng phổ biến lâu đời, phƣơng pháp sử dụng nhận dạng khuôn mặt tự nhiên Phƣơng pháp đƣợc thân ngƣời sử dụng từ đƣợc sinh để phân biệt ngƣời ngƣời khác Ứng dụng khả phân biệt dựa đặc điểm khác khuôn mặt, tốn “Phát nhận dạng khn mặt từ camera, ứng dụng điểm danh” toán có khả ứng dụng cao với chi phí thấp đƣợc áp dụng quan, doanh nghiệp Với hỗ trợ camera, máy tính phần mềm điểm danh, nhà quản lý thu đƣợc thông tn có mặt thời gian làm việc ngƣời lao động cách xác khách quan với chi phí thấp Việc áp dụng nhận dạng khn mặt đƣợc sử dụng cách độc lập với ƣu điểm phƣơng pháp sinh trắc học khác tính tự nhiên nó, đồng thời phƣơng pháp đƣợc sử dụng kết hợp với phƣơng pháp sinh trắc khác để nâng cao tính xác hệ thống vận hành Chính tầm quan trọng phát hiện, nhận dạng khn mặt nói riêng cơng nghệ sinh trắc nói chung, thực đề tài “Phát nhận dạng khuôn mặt từ camera, ứng dụng điểm danh” với mục têu tìm hiểu thuật tốn phát nhận dạng khn mặt ngƣời từ xây dựng chƣơng trình điểm danh dựa khn mặt Tơi hy vọng đề tài đem lại số kiến thức hữu ích cho quan tâm đến vấn đề phát nhận dạng khôn mặt nhƣ lĩnh vực sinh trắc học Nội dung luận văn đƣợc chia làm phần chính: Chƣơng trình bày khái quát quản lý học viên toán điểm danh, nêu rõ đầu vào đầu toán nhƣ ứng dụng thực tễn tốn Chƣơng nghiên cứu, tìm hiểu thuật toán phát nhận dạng khn mặt Chƣơng trình bày thực nghiệm ứng dụng chƣơng trình điểm danh dựa nhận dạng khuôn mặt Phần cuối kết luận hƣớng phát triển tếp theo luận văn Số hoá Trung tâm Học liệu – ĐHTN n CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TỐN NHẬN DẠNG KHN MẶT ỨNG DỤNG TRONG ĐIỂM DANH 1.1 Tổng quan sinh trắc học Sinh trắc học hay công nghệ sinh trắc học (thuật ngữ khoa học Biometric) công nghệ sử dụng thuộc tính vật lý, đặc điểm sinh học riêng cá nhân nhƣ vân tay, mống mắt, khuôn mặt để nhận diện Thuật ngữ sinh trắc học (Biometric) đƣợc dùng ghép theo tếng Hy Lạp từ từ: Bio (thuộc thực thể sinh vật sống) metriko (kỹ thuật độ đo, đo lƣờng), thuật ngữ đƣợc hình thành trình phát triển loài ngƣời đƣợc biết đến từ lâu để thể đặc trƣng thể chất hay hành vi cá thể ngƣời Có nhiều loại đặc trƣng sinh trắc học: vân tay (Fingerprint), lòng bàn tay (Palm print), dạng hình học bàn tay (Hand geometry), chữ ký viết tay (Hand written Signature), khuôn mặt (Face), tếng nói (Voice), ngƣơi mắt (Iris), võng mạc (Retina) Những đặc trƣng đƣợc phát từ sớm để nhận dạng, xác thực chủ thể ngƣời đƣợc quan tâm nghiên cứu triển khai ứng dụng lĩnh vực an ninh, quốc phòng, thƣơng mại, cơng nghiệp, dịch vụ Các đặc trƣng sinh trắc học thể ngƣời đƣợc sử dụng phải đảm bảo têu chuẩn sau đây: [1] - Tính rộng rãi: tính chất cho biết thơng thƣờng ngƣời có đặc trƣng này, tạo khả sử dụng hệ thống an ninh sinh trắc học cho số lƣợng ngƣời lớn - Tính phân biệt: tính chất phân biệt đặc trƣng sinh trắc học hai ngƣời phải khác nhau, đảm bảo chủ thể sinh trắc - Tính ổn định: tính chất mà đặc trƣng sinh trắc phải có tính ổn định thời gian tƣơng đối dài - Tính dễ thu thập: tính chất đặc trƣng sinh trắc học phải dễ dàng thu nhận mẫu đăng ký, kiểm tra xác thực, nâng cao tính khả thi sử dụng - Tính hiệu quả: tính chất mà việc xác thực sinh trắc phải xác, nhanh chóng tài nguyên cần sử dụng đƣợc chấp nhận - Tính chấp nhận đƣợc: tính chất mà q trình thu thập mẫu sinh trắc phải đƣợc đồng ý ngƣời dùng Số hoá Trung tâm Học liệu – ĐHTN n - Chống giả mạo: tính chất ƣu việt việc sử dụng đặc trƣng sinh trắc, khả mẫu sinh trắc khó bị giả mạo cao Hình 1.1 Các đặc trưng sinh trắc phổ biến Đã có nhiều đặc trƣng sinh học khác đƣợc sử dụng Mỗi loại đặc trƣng sinh trắc có điểm mạnh điểm yếu riêng Tuy nhiên không đặc trƣng thỏa mãn tốt đầy đủ tất yêu cầu tính chất đặc trƣng sinh trắc học nêu trên, nghĩa khơng có đặc trƣng sinh trắc học hồn tồn tối ƣu Trong cơng trình nghiên cứu, chun gia đƣa bảng so sánh khái quát têu chuẩn đánh giá tính chất tƣơng ứng đặc trƣng sinh trắc học sau đây: [1] Bảng 1.1: So sánh công nghệ nhận dạng sinh trắc học Tính Tính Tính rộng phân ổn rãi biệt định M M M M M M M Vân tay M H Dáng M Khn mặt Đặc trƣng sinh Tính chấp Chống nhận giả mạo M đƣợc M L H M M M H M H M M L L H L H M H L M H L H H Võng mạc H H M L H L L Mống mắt H H H M H L L Chỉ tay M H H M H M M Giọng nói M L L M L H H trắc học Vân bàn tay Dạng hình học bàn tay Tính dễ Tính thu thập hiệu Trong đó: Các ký hiệu có ý nghĩa nhƣ sau: H (cao), M (trung bình) L (thấp) Số hoá Trung tâm Học liệu – ĐHTN n 1.1.1 Hệ thống sinh trắc học Hình 1.2 Mơ hình hệ thống sinh trắc học [2] Một hệ thống sinh trắc học (Biometric System) thực chất hệ nhận dạng dựa đặc điểm hành vi hay thuộc tính vật lý ngƣời cần nhận dạng Hệ thống sinh trắc học đƣợc phân thành hai loại chính: hệ thẩm định (Verificaton) hệ nhận dạng (Identificaton, Recogniton) [1] 1.1.1.1 Hệ thẩm định (Verificaton) Hệ thẩm định (Verificaton) hệ thống thực nhiệm vụ đối sánh 1-1 mẫu sinh trắc học thu nhận đƣợc (biometric sample) với mẫu dạng sinh trắc học (biometric template) có hệ thống từ trƣớc Kết trả lời câu hỏi mẫu sinh trắc thu nhận có liên quan tới mẫu dạng sinh trắc hay khơng? Thơng thƣờng hệ thẩm định có kết hợp với thông tn định danh chủ thể để thực chức xác thực Số hoá Trung tâm Học liệu – ĐHTN n thẩm định sinh trắc (Authentcaton) Trong hệ xác thực thẩm định đòi hỏi cao độ xác để kết trả lời câu hỏi “Sinh trắc học sống thu nhận đƣợc (biometric sample) có phải sinh trắc chủ thể lƣu hệ thống không?” [1] 1.1.1.2 Nhận dạng (Identfication, Recogniton) Hệ nhận dạng (Identficaton, Recogniton) hệ thống thực chức tìm kiếm (1-n) từ sở liệu lƣu trữ tập mẫu sinh trắc học để tìm mẫu sinh trắc cụ thể mẫu khuôn dạng sinh trắc thu thập từ trƣớc sau thực đối sánh xấp xỉ để nhận dạng phân lớp (Classificaton) nhận dạng đồng (Identficaton), ví dụ nhƣ việc tìm mẫu vân tay tội phạm hồ sơ vân tay, từ xác định danh tính chủ sở hữu vân tay [1] 1.1.1.3 Các thành phần chức chủ yếu - Thu nhận (Sensor, Capture): thành phần có chức thu nhận mẫu sinh trắc học biểu diễn chúng dƣới dạng số hóa - Xử lý trích chọn đặc trƣng (Feature Extracton): thành phần chức thực phép xử lý phân tích trích chọn đặc trƣng từ mẫu sinh trắc học - Đối sánh (Matching): thành phần chức thực so sánh đặc trƣng vừa trích chọn với khn mẫu sinh trắc có trƣớc - Ra định (Decision): thành phần chức khẳng định danh tính ngƣời dùng (với hệ nhận dạng) dựa kết đối sánh chức đối sánh câu trả lời câu trả lời sai mẫu sinh trắc học so với khn mẫu sinh trắc có từ trƣớc (với hệ thẩm định) [1] 1.1.1.4 Hoạt động hệ thống Hoạt động hệ thống sinh trắc bao gồm giai đoạn sau đây: - Đăng ký (Enrollment): giai đoạn đăng ký mẫu sinh trắc vào hệ thống - Thẩm định nhận dạng (Verificaton/Identfication): giai đoạn thẩm định, nhận dạng mẫu sinh trắc vừa trích chọn với khn mẫu sinh trắc có trƣớc 1.1.2 Đánh giá hiệu chất lƣợng hoạt động hệ sinh trắc học Một hệ sinh trắc học hoạt động thƣờng gặp hai vấn đề lỗi sau đây: 10 Số hoá Trung tâm Học liệu – ĐHTN n Hình 2.7 Ảnh sau biến đổi theo LDA 2.2.3 Phƣơng pháp mạng neural Là kỹ thuật tái tạo mạng nơron thần kinh ngƣời máy tính Nó bao gồm phần tử đơn giản (còn gọi nơron) hoạt động song song đƣợc nối với liên kết có trọng số để kích thích ức chế nơron Có nhiều cấu trúc mạng nơron khác nhƣ mạng hồi quy (feedback), mạng tự tổ chức (self- organizing), mạng truyền thẳng (feedforward) Đề tài tập trung với mạng truyền thẳng đa lớp với thuật toán lan truyền ngƣợc (back propagaton) sai số [6][7][8] Hình 2.8 Mạng noron lớp truyền thẳng Quá trình huấn luyện mạng: Quá trình huấn luyện mạng q trình huấn luyện mẫu học Xs={x1, x2, …,xn} để giá trị cuối Ts={t1, t2, …,tn} nhƣ ta mong muốn - Quá trình truyền thẳng: Giá trị đầu nơron j lớp bất kì: out j  Input Số hoá Trun layergm tâ m với net j  i 0 w ji (20) 1 x ji net j e Hidden layer ọc ệu li 52 Output –layer Đ HTN http://www.lrc.tnu.edu.vn Trong wji gọi số liên kết từ đầu vào thứ i đến nơron j, xji giá trị đầu vào thứ i đến nơron j, m số phần từ lớp trƣớc - Q trình lan truyền ngƣợc sai số: Tại nơron đầu k ta tính lỗi giá trị:  k  ok (1  ok )(tk  ok ) (21) Với tk giá trị đầu mong muốn thứ k Đối với nơron lớp ẩn  h :  h  oh (1  oh ) koutputs w (22) jk k Với outputs tập hợp nơron lớp ra, wjk trọng số liên kết từ k nơron lớp đến nơron j lớp ẩn Quá trình cập nhật lại trọng số: wjk  wjk + wjk (23) Nếu gọi η hệ số học wjk = η  h ok (24) Sau cập nhật trọng số này, mẫu tập Xs lại tếp tục đƣa vào mạng, trình diễn giá trị lỗi E < ε cho trƣớc: dE  (tk  kout puts )  ok (25) Với outputs tập hợp nơron lớp ra, tk giá trị mong muốn nơron k cho mẫu huấn luyện d ok giá trị thực nơron k 53 Số hoá Trung tâm Học liệu – ĐHTN n CHƢƠNG 3: CÀI ĐẶT THỬ NGHIỆM 3.1 Yêu cầu thực nghiệm, ứng dụng Nhƣ trình bày chƣơng 1, tốn điểm danh, chấm cơng số tốn phổ biến đƣợc cơng nghệ hóa nhiều quan, doanh nghiệp Qua tìm hiểu nghiên cứu thuật tốn phát nhận dạng mặt ngƣời tơi lựa chọn khn mặt làm têu chí để phân biệt đối tƣợng cần đƣợc điểm danh Đây đặc trƣng phổ dụng đƣợc thân ngƣời sử dụng từ hàng nghìn năm Việc cài đặt, thực nghiệm hệ thống minh chứng cho lý thuyết đƣợc tìm hiểu chƣơng luận văn Đối với tốn điểm danh, chấm cơng với mục têu chủ yếu kiểm soát nguồn nhân lực thời gian Các nhà quản lý quan tâm tới hai vấn đề lao động tên “A” có mặt hay khơng?, có hay khơng?, “A” có làm đủ số quy định hay khơng? Với u cầu tơi lựa chọn cài đặt thuật tốn PCA (phân tích thành phần chính) áp dụng cho toán điểm danh Với đầu vào đƣợc thu trực tếp từ camera, đầu định danh đối tƣợng đƣợc kiểm tra, chƣơng trình thực quy trình điểm danh nhƣ sau: Hình 3.1 Quy trình hoạt động hệ thống điểm danh dựa khuôn mặt Trong hệ thống điểm danh dựa đặc trƣng khn mặt, đầu tên chƣơng trình thu hình ảnh trực tếp từ camera Sau đó, dựa thuật tốn đƣợc lựa chọn tến hành xác định đặc trƣng từ tách riêng phần ảnh có tồn khn mặt từ ảnh đầu vào Ảnh khuôn mặt sau đƣợc tách riêng tếp tục đƣợc so sánh với tập ảnh có sở liệu khn mặt dùng để điểm danh Trong thực tế tập khuôn mặt đƣợc ngƣời sử dụng chƣơng trình xây dựng trƣớc điểm danh, có tất ảnh nhân viên, ngƣời lao động cần đƣợc điểm danh phiên làm việc Việc so sánh với sở liệu ảnh cho đầu định danh, định danh tên ngƣời có sở liệu ảnh thơng báo khơng có sở liệu ảnh Dựa định danh chƣơng trình tến hành tích chọn điểm danh cho ngƣời đƣợc nhận dạng Nhƣ phiên làm việc, đầu tên bảng điểm danh đƣợc khởi tạo với trạng thái mặc định “vắng”, đối tƣợng đƣợc xác định “có mặt” thơng qua hệ thống nhận dạng trạng thái ứng với tên đối tƣợng có mặt đƣợc thay đổi thành “có mặt” Nhƣ vậy, cuối phiên làm việc nhà quản lý xác định đƣợc ngƣời lao động có đến làm việc hay khơng dựa bảng trạng thái “vắng”, “có mặt” mà máy tính cung cấp 3.2 Phân tch lựa chọn giải pháp, cơng cụ Dựa quy trình làm việc chƣơng trình điểm danh dựa đặc trƣng khn mặt trình bày phần trên, thấy thành phần cần phải có chƣơng trình cần phải có nhƣ sau: - Camera thu nhận tín hiệu từ mơi trƣờng ngồi - Hệ sở liệu ảnh đối tƣợng cần nhận dạng - Phần mềm xác định, nhận dạng khuôn mặt điểm danh Nhƣ vậy, đầu tên cần phải lựa chọn thiết bị phần cứng camera, thị trƣờng camera đặc biệt camera giám sát tƣơng đối phát triển Đây thiết bị phần cứng phổ dụng đƣợc sử dụng rộng rãi quan, doanh nghiệp Đối với hệ thống nhận dạng khuôn mặt cần lựa chọn camera với độ phân giải thích hợp, xây dựng kết nối camera phầm mềm đảm bảo hai vấn đề quan trọng: Thứ chất lƣợng hình ảnh phải đảm bảo đủ để hệ thống nhận dạng xác, ảnh q mờ khó nhận dạng Thứ hai chất lƣợng hình ảnh khơng q cao để đảm bảo tốc độ xử lý hệ thống máy tính Nếu ảnh q lớn máy tính khơng thể xử lý kịp dẫn tới đình trệ trình điểm danh Trong luận văn này, qua q trình thực nghiệm tơi lựa chọn độ phân giải camera từ đến triệu điểm ảnh (2 đến Megapixel) làm đầu vào cho toán điểm danh Đối với hệ sở liệu ảnh, có nhiều sở liệu cho phép lƣu truy xuất ảnh Ảnh đầu vào đƣợc xử lý lƣu lại sở liệu, điều đảm bảo tính bảo mật quản lý tốt trình truy xuất, tìm kiếm tập ảnh Tuy nhiên việc lƣu trữ ảnh sở liệu tồn hạn chế riêng: cần phải có hệ thống quản trị sở liệu ảnh giao diện tƣơng tác với hệ thống này, đồng thời hệ thống xử lý ảnh điều quan trọng tốc độ xử lý ảnh tính quản lý Vì lý chƣơng trình thực nghiệm tơi lựa chọn việc lƣu trữ ảnh trực tếp ổ cứng Điều đảm bảo tính đơn giản chƣơng trình khả truy nhập trực tếp với ảnh số Phầm mềm xác định, định danh khuôn mặt điểm danh đƣợc xây dựng đảm bảo kết nối đƣợc với camera lấy hình ảnh thời gian thực Điều đảm bảo tốc độ vận hành xử lý chƣơng trình Đồng thời dựa thuật toán PCA đƣợc lựa chọn chƣơng trình cần tến hành xử lý ảnh đầu vào từ đƣa định điểm danh đối tƣợng đầu vào Hệ thống điểm danh dựa đặc trƣng khuôn mặt hệ thống xử lý hình ảnh tƣơng đối điển hình Vì vậy, yêu cầu đặt tến hành xây dựng phần mềm tốc độ xử lý hình ảnh Ngôn ngữ thƣờng đƣợc lựa chọn cài đặt thƣờng C++, C#, java Trong C++ đƣợc nhiều nhà nghiên cứu lựa chọn với ƣu tốc độ tính truyền thống nó, C# java ngơn ngữ lập trình phát triển sau nhƣng mang nhiều mạnh xây dựng ứng dụng Trong luận văn này, tơi lựa chọn ngơn ngữ lập trình Visual C# để cài đặt thuật toán ứng dụng Đây ngơn ngữ lập trình mạnh với tính phát triển ứng dụng nhanh hiệu Trong luận văn sử dụng thƣ viện đọc ảnh đƣợc cung cấp sẵn tảng framework 4.5 Nhờ nhà phát triển nghiên cứu, phát triển ứng dụng nhanh không cần quan tâm tới cấu trúc ảnh đƣợc đọc 3.3 Một số kết cài đặt thực nghiệm 3.3.1 Giao diện chƣơng trình Chƣơng trình cài đặt với mục têu điểm danh nguồn nhân lực dựa khn mặt minh họa thuật tốn PCA đƣợc trình bày chƣơng Với tính thành phần đƣợc phân tích trên, tơi tến hành cài đặt xây dựng chƣơng trình với thành phần giao diện nhƣ hình bên dƣới Hình 3.2 Giao diện chương trình Giao diện chƣơng trình gồm có phần chính: - Phần 1: hình ảnh thu đƣợc từ camera, nơi hiển thị tất hình ảnh thu đƣợc từ camera, qua ngƣời sử dụng nhìn thấy hình ảnh đối tƣợng đƣợc quan sát số xử lý tƣơng ứng hệ thống nhận dạng - Phần 2: hiển thị lựa chọn danh sách điểm danh, thơng báo q trình điểm danh, bảng điểm danh sở liệu hình ảnh - Phần 3: menu lựa chọn tính khác chƣơng trình điểm danh Hình 3.3 Hình ảnh từ camera xử lý tương ứng Trong giao diện hiển thị hình ảnh thu đƣợc từ camera xử lý phát nhận dạng khuôn mặt tƣơng ứng chƣơng trình Trong đó, khn mặt đƣợc khoanh vùng hình chữ nhật màu đỏ, phía tập kí tự mơ tả tên đối tƣợng đƣợc nhận dạng hình chữ nhật đƣợc khoanh vùng Trong chƣơng trình lúc phát nhận dạng nhiều khn mặt thời điểm Hình 3.4 Giao diện quản lý danh sách điểm danh điểm danh Trong giao diện quản lý danh sách điểm danh cho phép ngƣời sử dụng lựa chọn danh sách đối tƣợng cần đƣợc điểm danh Khi danh sách đƣợc hiển thị lên phầm mềm với trạng thái bắt đầu “Vắng” Trong phiên làm việc đối tƣợng cần đƣợc điểm danh đƣợc xác định có mặt trạng thái đƣợc thay đổi thành “Có mặt” Trong phiên làm việc trạng thái đối tƣợng chuyển từ “Vắng” sang “Có mặt” chuyển lần Giao diện quản lý danh sách điểm danh nằm tab với giao diện quản lý sở liệu ảnh Khi lựa chọn hai giao diện có xuất nút chọn tƣơng ứng giao diện Hình 3.5 Giao diện quản lý danh sách ảnh Giao diện quản lý danh sách ảnh với hai thành phần hiển thị danh sách ảnh đƣợc quản lý công cụ thêm ảnh vào danh sách ảnh đƣợc quản lý Với danh sách hiển thị ảnh đƣợc quản lý, chƣơng trình hiển thị ảnh đối tƣợng cần quản lý định danh tƣơng ứng phía dƣới ảnh Để thêm ảnh vào chƣơng trình cần kích chuột vào lựa chọn “Thêm vào sở liệu”, đối tƣợng đƣợc quan sát đƣợc thêm vào sở liệu ảnh với định danh tƣơng ứng đƣợc nhập vào ô “Tên:” bên Cơ sở liệu ảnh đƣợc quan sát thƣ mục có đƣờng dẫn với chƣơng trình chạy, ảnh đƣợc đặt tên theo thứ tự chƣơng trình Hình 3.6 Cơ sở liệu ảnh Cuối danh sách lựa chọn thực đơn chƣơng trình, ngƣời sử dụng lựa chọn tính cần thiết sử dụng chƣơng trình Nút bấm “Bắt đầu” khởi động liên kết với camera sau ngƣời sử dụng lựa chọn danh sách cần đƣợc điểm danh Tiếp số tính cần thiết nhƣ “Lựa chọn danh sách”, “Thêm danh sách mới”, “Làm sở liệu ảnh”, “Thống kế số người vắng danh sách”, “Xem sở liệu ảnh”, “Kết thúc ” Hình 3.7 Giao diện lựa chọn thực đơn 3.3.2 Một số kết điểm danh dựa khuôn mặt Sau cài đặt chƣơng trình thực nghiệm tơi tến hành thực nghiệm chƣơng trình điểm danh với nhóm gồm 30 đối tƣợng cần đƣợc điểm danh Kết điểm danh qua 20 lần cho thấy chƣơng trình hoạt động tốt số điều kiện định có hạn chế cần tếp tục nghiên cứu phát triển Với ứng dụng lƣu trữ 30 ảnh khác cho đối tƣợng cần đƣợc điểm danh tến hành điểm danh điều kiện ánh sáng bình thƣờng kết thực nghiệm chƣơng trình đƣợc thống kê bảng dƣới đây: Bảng 3.1 Kết thực nghiệm điều kiện ánh sáng bình thường Lần Tổng Đúng Sai Lần Tổng Đúng Sai 30 25 11 30 24 30 23 12 30 25 30 24 13 30 24 30 25 14 30 23 30 25 15 30 24 6 30 25 16 30 25 30 24 17 30 25 30 25 18 30 24 30 25 19 30 25 10 30 24 20 30 24 Kết thực nghiệm cho thấy độ xác điểm danh giao động từ 77% tới 82%, kết điểm danh với độ xác tƣơng đối tốt nhƣng không đủ để đáp ứng sử dụng tốn điểm danh, chấm cơng Đồng thời áp dụng chƣơng trình với điều kiện ánh sáng khác cho kết khác nhau, tến hành thực nghiệm điều kiện thiếu ánh sáng ánh sáng bị lóa, kết thực nghiệm cho thấy khả nhận dạng chƣơng trình giảm rõ rệt Kết đƣợc thể bảng sau: Bảng 3.2 Kết thực nghiệm điều kiện ánh sáng chói thiếu ánh sáng Lần Điều kiện ánh sáng Tổng Đúng Sai Thiếu ánh sáng 30 20 10 Thiếu ánh sáng 30 17 13 Thiếu ánh sáng 30 18 12 Thiếu ánh sáng 30 18 12 Thiếu ánh sáng 30 17 13 Thiếu ánh sáng 30 19 11 Thiếu ánh sáng 30 18 12 Ánh sáng chói 30 16 14 Ánh sáng chói 30 20 10 10 Ánh sáng chói 30 16 14 11 Ánh sáng chói 30 18 12 12 Ánh sáng chói 30 17 13 13 Ánh sáng chói 30 16 14 14 Ánh sáng chói 30 16 14 Dựa kết thực nghiệm thấy việc điểm danh đƣợc thực điều kiện ánh sáng đầy đủ khơng q chói Thuật tốn chƣơng trình gặp khó khăn tến hành điều kiện thiếu ánh sáng ánh sáng chói Tuy nhiên điểm danh ta xây dựng đƣợc điều kiện ánh sáng hệ thống điểm danh đƣợc đặt nhà có hệ thống chiếu sáng riêng Nhƣ cần đƣa giải pháp nâng cao độ xác hệ thống điểm danh điều kiện ánh sáng thƣờng Khi kết hệ thơng điểm danh đáng tin cậy đƣợc sử dụng làm têu chí nhận dạng hệ thống gồm nhiều bƣớc sinh trắc học Trong trình tìm hiểu nguyên nhân ảnh hƣởng tới khả nhận dạng hệ thống, nguyên nhân điều kiện mơi trƣờng tồn ngun nhân tới từ ngƣời cần đƣợc nhận dạng Sự thay đổi khuôn mặt đối tƣợng điều đƣơng nhiên dẫn tới độ xác q trình nhận dạng Bên cạnh với góc nhìn khác cho hình ảnh khác đối tƣợng Nhƣ để giải vấn đề cần quan tâm tới tốn trích rút đặc trƣng khn mặt nắn chỉnh góc nghiêng đối tƣợng cần quan sát Đây toán khó, đòi hỏi nhiều lỗ lực nghiên cứu tìm hiểu vấn đề nhận dạng, trích rút đặc trƣng, quan sát đối tƣợng với góc nhìn khác Vì giới hạn thời gian nội dung luận văn không đề cập tới vấn đề Tuy nhiên, để sử dụng đƣợc chƣơng trình cần nâng cao độ xác q trình nhận dạng Để giải vấn đề giải pháp đƣợc đƣa sử dụng nhiều ảnh cho đối tƣợng trình nhận dạng Tức thay sử dụng ảnh sở liệu ảnh, chƣơng trình sử dụng nhiều ảnh với định danh, góc nhìn khác đối tƣợng trạng thái khác đƣợc mơ tả sở liệu Với việc sử dụng ảnh cho đối tƣợng, thực nghiệm cho thấy sử dụng nhiều ảnh kết nhận dạng đƣợc nâng lên, kết đƣợc thể bảng sau: Bảng 3.3 Kết thực nghiệm điều kiện ánh sáng bình thường với ảnh cho đối tượng Lần Tổng Đúng Sai Lần Tổng Đúng Sai 30 30 11 30 30 30 29 12 30 29 30 29 13 30 29 30 30 14 30 28 30 28 15 30 28 30 29 16 30 25 30 29 17 30 25 30 29 18 30 24 30 29 19 30 25 10 30 28 20 30 30 Tiếp tục thực nghiệm với nhiều ảnh cho đối tƣợng điều kiện ánh sáng chói thiếu ánh sáng, chƣơng trình thực nghiệm cho kết tốt so với sử dụng ảnh nhất, nhiên kết nhận đƣợc tƣơng đối khiêm tốn Sau bảng thực nghiệm với điều kiện ánh sáng chói thiếu ánh sáng với việc sử dụng ảnh cho đối tƣợng: Bảng 3.4: Kết thực nghiệm điều kiện ánh sáng chói thiếu ánh sáng với ảnh cho đối tượng Lần Điều kiện ánh sáng Tổng Đúng Sai Thiếu ánh sáng 30 20 10 Thiếu ánh sáng 30 21 Thiếu ánh sáng 30 21 Thiếu ánh sáng 30 19 11 Thiếu ánh sáng 30 20 10 Thiếu ánh sáng 30 21 Thiếu ánh sáng 30 21 Ánh sáng chói 30 20 10 Ánh sáng chói 30 20 10 10 Ánh sáng chói 30 19 11 11 Ánh sáng chói 30 19 11 12 Ánh sáng chói 30 21 13 Ánh sáng chói 30 21 14 Ánh sáng chói 30 20 10 Qua thực nghiệm cho thấy chƣơng trình chạy tốt điều kiện ánh sáng bình thƣờng có nhiều ảnh mơ tả đối tƣợng Tuy nhiên tồn sai số trình điểm danh, cần tếp tục nghiên cứu, tìm hiểu hồn thiện phƣơng pháp nhận dạng, định danh khn mặt ngƣời để áp dụng vào thực tế Đồng thời qua thực nghiệm cho thấy với điều kiện ánh sáng không phù hợp khả nhận dạng thuật toán giảm nhiều, vấn đề đòi hỏi cần tìm hiểu phƣơng pháp giải thách thức lĩnh vực thị giác máy khả quan sát máy tính thua xa so với ngƣời KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Trong luận văn này, tơi hồn thành mục têu nghiên cứu đề Cụ thể: 1- Luận văn nêu đƣợc tầm quan trọng việc xác định vị trí khn mặt hệ thống nhận dạng mặt ngƣời nói riêng nhƣ hệ thống sinh trắc học nói chung 2- Luận văn nêu đánh giá thuật toán phƣơng pháp xác định nhận dạng mặt ngƣời đƣợc sử dụng, nhƣ đƣa đƣợc đánh giá ƣu điểm nhƣợc điểm phƣơng pháp Trên sở lựa chọn thuật tốn có ƣu điểm cài đặt cho toán 3- Trong chƣơng đƣa xây dựng thuật toán xác định vị trí mặt ngƣời nhận dạng mặt ngƣời, nhƣ đƣa đƣợc tốn có ý nghĩa thực tễn tốn điểm danh dựa thuật tốn xác định vị trí mặt ngƣời nhận dạng mặt ngƣời 4- Trong phần thực nghiệm thử nghiệm sở liệu FERET COLOR - sở liệu đƣợc sử dụng rộng rãi hệ thống nhận dạng mặt ngƣời Hƣớng phát triển Trong tƣơng lai tếp tục nghiên cứu, phát triển đề tài, thử nghiệm đặc trƣng khác, thử nghiệm thuật toán tối ƣu khác, áp dụng thử nghiệm sở liệu ảnh mặt ngƣời lớn để đánh giá hiệu phƣơng pháp cách khách quan xác Từ xây dựng hệ thống chuẩn đƣa vào ứng dụng thực tế cho hiệu quả, chi phí thấp giải phóng sức lao động ngƣời TÀI LIỆU THAM KHẢO [1] PGS.TS Nguyễn Thị Hồng Lan (2009), “Hệ thống an ninh thơng tn dựa sinh trắc học Bio-PKI (Bio-PKI Based Informaton Security System)”, Báo cáo đề tài theo nghị định thƣ, Trƣờng Đại học Bách khoa Hà Nội [2] TS Hồ Văn Hƣơng (2009), Mật mã sinh trắc, http://antoanthongtin.vn, ngày 04/10/2009 [3] Sinh trắc học, http://www.biometria.sk [4] Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phú Doãn (2007), “Tổng quan phƣơng pháp xác định khuôn mặt ngƣời”, Báo cáo khoa học [5] Ion Marqués (2010), Face recognition Algorithms, Universidad del País Vasco [6] Byung-Joo Oh (2003), “Face Recognition by Using Neural Network Classifiers based on PCA and LDA”, Daejeon, Korea [7] D Maio and D Maltoni, “Real-time face location on grayscale static images”, Pattern Recogniton, vol.33, no 9, pp 1525-1539, Sept 2000 [8] H A Rowley, S Baluja, and T Kanade, “Neural NetworkBased Face Detection”, IEEE Trans PAMI, vol 20, pp 23-38, Jan 1998 [9] M Abdel-Mottaleb and A Elgammal, “Face Detection in complex environments from color images”, IEEE ICIP, pp 622- 626, Oct 1999 [10] H Martn Hunke (1994), Locating and tracking of human faces with neural network, Master’s thesis, University of Karlsruhe ... trọng phát hiện, nhận dạng khn mặt nói riêng cơng nghệ sinh trắc nói chung, thực đề tài Phát nhận dạng khuôn mặt từ camera, ứng dụng điểm danh với mục têu tìm hiểu thuật tốn phát nhận dạng khn mặt. .. 13 1.2 Phát nhận dạng khuôn mặt 13 1.3 Những khó khăn thách thức tốn nhận dạng khuôn mặt 16 1.4 Các ứng dụng tốn nhận dạng khn mặt 16 1.5 Bài toán điểm danh dựa khuôn mặt ... sử dụng nhận dạng khuôn mặt tự nhiên Phƣơng pháp đƣợc thân ngƣời sử dụng từ đƣợc sinh để phân biệt ngƣời ngƣời khác Ứng dụng khả phân biệt dựa đặc điểm khác khuôn mặt, tốn Phát nhận dạng khn mặt