LUẬN văn THẠC sĩ HAY phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh

đại học thái nguyên Trường đại học công nghệ thông tin truyền thông NGUYN TH THY PHT HIN V NHẬN DẠNG KHUÔN MẶT TỪ CAMERA, ỨNG DỤNG TRONG ĐIỂM DANH LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2015 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com LỜI CAM ĐOAN Tôi - Nguyễn Thế Thụy xin cam đoan nội dung trình bày luận văn kết tìm hiểu, nghiên cứu thân dƣới hƣớng dẫn TS Nguyễn Văn Tảo tham khảo từ nhà nghiên cứu trƣớc Nội dung tham khảo, kế thừa, phát triển từ cơng trình đƣợc cơng bố đƣợc trích dẫn, ghi rõ nguồn gốc Nếu có sai phạm tơi xin hồn tồn chịu trách nhiệm Ngƣời cam đoan Nguyễn Thế Thụy Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com LỜI CẢM ƠN Trong trình thực luận văn gặp nhiều khó khăn nhƣng em ln nhận đƣợc quan tâm, giúp đỡ từ thầy cô, đồng nghiệp, bạn bè ngƣời thân Đây nguồn động lực giúp em hoàn thành luận văn Em xin gửi lời cảm ơn chân thành tới TS Nguyễn Văn Tảo tận tình giúp đỡ, hƣớng dẫn bảo trình thực luận văn Em xin chân thành cảm ơn tới quý Thầy, Cô giáo công tác Viện Công nghệ thông tin Việt Nam, Trƣờng Đại học Công nghệ thông tin Truyền thông Thái Nguyên tận tình bảo, truyền đạt kiến thức qúy báu giúp em hoàn thành nhiệm vụ học tập suốt thời gian theo học trƣờng Quý Thầy Cô giúp em có đƣợc kiến thức quan trọng lĩnh vực Công nghệ thông tin, tảng vững cho nghiên cứu thân thời gian tới Em xin cảm ơn đồng nghiệp giúp đỡ, ủng hộ tinh thần thời gian em tham gia học tập nghiên cứu Cuối cùng, em xin cảm ơn tất ngƣời luôn quan tâm, sẻ chia động viên em Thái Nguyên, ngày 17 tháng 07 năm 2015 Nguyễn Thế Thụy Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC HÌNH VẼ LỜI MỞ ĐẦU CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TOÁN NHẬN DẠNG KHUÔN MẶT ỨNG DỤNG TRONG ĐIỂM DANH 1.1 Tổng quan sinh trắc học 1.1.1 Hệ thống sinh trắc học 10 1.1.1.1 Hệ thẩm định (Verification) .10 1.1.1.2 Nhận dạng (Identification, Recognition) 11 1.1.1.3 Các thành phần chức chủ yếu 11 1.1.1.4 Hoạt động hệ thống 11 1.1.2 Đánh giá hiệu chất lƣợng hoạt động hệ sinh trắc học 11 1.1.3 Hệ thống an ninh bảo mật dựa sinh trắc học 13 1.2 Phát nhận dạng khuôn mặt 13 1.3 Những khó khăn thách thức tốn nhận dạng khuôn mặt 16 1.4 Các ứng dụng tốn nhận dạng khn mặt 16 1.5 Bài toán điểm danh dựa khuôn mặt 18 1.5.1 Bài toán điểm danh quản lý nhân 18 1.5.2 Đầu vào toán 19 1.5.3 Đầu ý nghĩa thực tiễn 20 CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT21 2.1 Một số kỹ thuật phát mặt ngƣời ảnh 21 2.1.1 Hƣớng tiếp cận dựa đặc trƣng ảnh 22 2.1.1.1 Phân tích mức thấp (Low level analysis) 23 2.1.1.2 Phân tích đặc trƣng (Feature Analysis) 27 2.1.1.3 Mơ hình hình dạng động (Active shape models) 33 2.1.2 Hƣớng tiếp cận dựa ảnh (Image based detection) 37 2.1.2.1 Phƣơng pháp khơng gian tuyến tính (Linear subspace methods) 38 2.1.2.2 Mạng neural 41 2.1.2.3 Phƣơng pháp thống kê (Statistical approachs) 44 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com 2.2 Một số kỹ thuật nhận dạng khuôn mặt .47 2.2.1 Phƣơng pháp phân tích thành phần (PCA) 48 2.2.2 Phƣơng pháp phân tách tuyến tính (LDA) 49 2.2.3 Phƣơng pháp mạng neural 52 CHƢƠNG 3: CÀI ĐẶT THỬ NGHIỆM 54 3.1 Yêu cầu thực nghiệm, ứng dụng 54 3.2 Phân tích lựa chọn giải pháp, cơng cụ .55 3.3 Một số kết cài đặt thực nghiệm 56 3.3.1 Giao diện chƣơng trình 56 3.3.2 Một số kết điểm danh dựa khuôn mặt 60 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 64 TÀI LIỆU THAM KHẢO 65 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com DANH MỤC CÁC HÌNH VẼ Hình 1.1 Các đặc trƣng sinh trắc phổ biến .8 Hình 1.2 Mơ hình hệ thống sinh trắc học .9 Hình 1.3 Các giá trị ngƣỡng FAR FRR 11 Hình 1.4 Mơ hình hệ thống nhận dạng mặt ngƣời Error! Bookmark not defined Hình 2.1 Sơ đồ hƣớng tiếp cận phƣơng pháp phát mặt ngƣời Error! Bookmark not defined Hình 2.2 Hệ thống tìm kiếm mặt Maio Maltoni Error! Bookmark not defined Hình 2.3 Một số không gian riêng CSDL ảnh ORL 38 Hình 2.4 Mơ hình mạng neural Rowley cộng sựError! Bookmark not defined Hình 2.5 Hệ thống nhận dạng khuôn mặt Error! Bookmark not defined Hình 2.6 Ví dụ minh họa LDA .47 Hình 2.7 Ảnh sau biến đổi theo LDA .49 Hình 2.8 Mạng neural lớp truyền thẳng Error! Bookmark not defined Hình 3.1 Quy trình hoạt động hệ thống điểm danh dựa khuôn mặt …Error! Bookmark n Hình 3.2 Giao diện chƣơng trình Error! Bookmark not defined Hình 3.3 Hình ảnh từ camera xử lý tƣơng ứng Error! Bookmark not defined Hình 3.4 Giao diện quản lý danh sách điểm danh điểm danhError! Bookmark not defined Hình 3.5 Giao diện quản lý danh sách ảnh 60 Hình 3.6 Cơ sở liệu ảnh 60 Hình 3.7 Giao diện lựa chọn thực đơn 61 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com LỜI MỞ ĐẦU Công nghệ Sinh trắc học (Biometric) cơng nghệ sử dụng thuộc tính vật lý mẫu hành vi, đặc điểm sinh học đặc trƣng nhƣ dấu vân tay, mẫu mống mắt, giọng nói, khuôn mặt, dáng để nhận diện ngƣời Công nghệ sinh trắc học đƣợc áp dụng phổ biến lâu đời, phƣơng pháp sử dụng nhận dạng khuôn mặt tự nhiên Phƣơng pháp đƣợc thân ngƣời sử dụng từ đƣợc sinh để phân biệt ngƣời ngƣời khác Ứng dụng khả phân biệt dựa đặc điểm khác khn mặt, tốn “Phát nhận dạng khuôn mặt từ camera, ứng dụng điểm danh” tốn có khả ứng dụng cao với chi phí thấp đƣợc áp dụng quan, doanh nghiệp Với hỗ trợ camera, máy tính phần mềm điểm danh, nhà quản lý thu đƣợc thơng tin có mặt thời gian làm việc ngƣời lao động cách xác khách quan với chi phí thấp Việc áp dụng nhận dạng khn mặt đƣợc sử dụng cách độc lập với ƣu điểm phƣơng pháp sinh trắc học khác tính tự nhiên nó, đồng thời phƣơng pháp đƣợc sử dụng kết hợp với phƣơng pháp sinh trắc khác để nâng cao tính xác hệ thống vận hành Chính tầm quan trọng phát hiện, nhận dạng khn mặt nói riêng cơng nghệ sinh trắc nói chung, tơi thực đề tài “Phát nhận dạng khuôn mặt từ camera, ứng dụng điểm danh” với mục tiêu tìm hiểu thuật tốn phát nhận dạng khn mặt ngƣời từ xây dựng chƣơng trình điểm danh dựa khuôn mặt Tôi hy vọng đề tài đem lại số kiến thức hữu ích cho quan tâm đến vấn đề phát nhận dạng khôn mặt nhƣ lĩnh vực sinh trắc học Nội dung luận văn đƣợc chia làm phần chính: Chƣơng trình bày khái qt quản lý học viên toán điểm danh, nêu rõ đầu vào đầu toán nhƣ ứng dụng thực tiễn toán Chƣơng nghiên cứu, tìm hiểu thuật tốn phát nhận dạng khn mặt Chƣơng trình bày thực nghiệm ứng dụng chƣơng trình điểm danh dựa nhận dạng khn mặt Phần cuối kết luận hƣớng phát triển luận văn Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TOÁN NHẬN DẠNG KHUÔN MẶT ỨNG DỤNG TRONG ĐIỂM DANH 1.1 Tổng quan sinh trắc học Sinh trắc học hay công nghệ sinh trắc học (thuật ngữ khoa học Biometric) cơng nghệ sử dụng thuộc tính vật lý, đặc điểm sinh học riêng cá nhân nhƣ vân tay, mống mắt, khuôn mặt để nhận diện Thuật ngữ sinh trắc học (Biometric) đƣợc dùng ghép theo tiếng Hy Lạp từ từ: Bio (thuộc thực thể sinh vật sống) metriko (kỹ thuật độ đo, đo lƣờng), thuật ngữ đƣợc hình thành q trình phát triển lồi ngƣời đƣợc biết đến từ lâu để thể đặc trƣng thể chất hay hành vi cá thể ngƣời Có nhiều loại đặc trƣng sinh trắc học: vân tay (Fingerprint), lịng bàn tay (Palm print), dạng hình học bàn tay (Hand geometry), chữ ký viết tay (Hand written Signature), khn mặt (Face), tiếng nói (Voice), ngƣơi mắt (Iris), võng mạc (Retina) Những đặc trƣng đƣợc phát từ sớm để nhận dạng, xác thực chủ thể ngƣời đƣợc quan tâm nghiên cứu triển khai ứng dụng lĩnh vực an ninh, quốc phịng, thƣơng mại, cơng nghiệp, dịch vụ Các đặc trƣng sinh trắc học thể ngƣời đƣợc sử dụng phải đảm bảo tiêu chuẩn sau đây: [1] - Tính rộng rãi: tính chất cho biết thơng thƣờng ngƣời có đặc trƣng này, tạo khả sử dụng hệ thống an ninh sinh trắc học cho số lƣợng ngƣời lớn - Tính phân biệt: tính chất phân biệt đặc trƣng sinh trắc học hai ngƣời phải khác nhau, đảm bảo chủ thể sinh trắc - Tính ổn định: tính chất mà đặc trƣng sinh trắc phải có tính ổn định thời gian tƣơng đối dài - Tính dễ thu thập: tính chất đặc trƣng sinh trắc học phải dễ dàng thu nhận mẫu đăng ký, kiểm tra xác thực, nâng cao tính khả thi sử dụng - Tính hiệu quả: tính chất mà việc xác thực sinh trắc phải xác, nhanh chóng tài nguyên cần sử dụng đƣợc chấp nhận - Tính chấp nhận đƣợc: tính chất mà trình thu thập mẫu sinh trắc phải đƣợc đồng ý ngƣời dùng Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com - Chống giả mạo: tính chất ƣu việt việc sử dụng đặc trƣng sinh trắc, khả mẫu sinh trắc khó bị giả mạo cao Hình 1.1 Các đặc trưng sinh trắc phổ biến Đã có nhiều đặc trƣng sinh học khác đƣợc sử dụng Mỗi loại đặc trƣng sinh trắc có điểm mạnh điểm yếu riêng Tuy nhiên không đặc trƣng thỏa mãn tốt đầy đủ tất yêu cầu tính chất đặc trƣng sinh trắc học nêu trên, nghĩa đặc trƣng sinh trắc học hồn tồn tối ƣu Trong cơng trình nghiên cứu, chun gia đƣa bảng so sánh khái quát tiêu chuẩn đánh giá tính chất tƣơng ứng đặc trƣng sinh trắc học sau đây: [1] Bảng 1.1: So sánh công nghệ nhận dạng sinh trắc học Tính Tính rộng phân ổn rãi biệt định M M M M M M L M M M H M M M Vân tay M H H M H M M Dáng M L L H L H M Khuôn mặt H L M H L H H Võng mạc H H M L H L L Mống mắt H H H M H L L Chỉ tay M H H M H M M Giọng nói M L L M L H H Đặc trƣng sinh trắc học Vân bàn tay Dạng hình học bàn tay Tính dễ thu thập Tính Tính Tính hiệu chấp Chống nhận giả mạo đƣợc Trong đó: Các ký hiệu có ý nghĩa nhƣ sau: H (cao), M (trung bình) L (thấp) Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com 1.1.1 Hệ thống sinh trắc học Hình 1.2 Mơ hình hệ thống sinh trắc học [2] Một hệ thống sinh trắc học (Biometric System) thực chất hệ nhận dạng dựa đặc điểm hành vi hay thuộc tính vật lý ngƣời cần nhận dạng Hệ thống sinh trắc học đƣợc phân thành hai loại chính: hệ thẩm định (Verification) hệ nhận dạng (Identification, Recognition) [1] 1.1.1.1 Hệ thẩm định (Verification) Hệ thẩm định (Verification) hệ thống thực nhiệm vụ đối sánh 1-1 mẫu sinh trắc học thu nhận đƣợc (biometric sample) với mẫu dạng sinh trắc học (biometric template) có hệ thống từ trƣớc Kết trả lời câu hỏi mẫu sinh trắc thu nhận có liên quan tới mẫu dạng sinh trắc hay không? Thông thƣờng hệ thẩm định có kết hợp với thơng tin định danh chủ thể để thực chức xác thực 10 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com thức (17) đạt cực đại vector W vector riêng S w-1Sb Đối với toán nhận dạng mặt ngƣời, ma trận Sw thƣờng khơng khả nghịch, số lƣợng ảnh nhỏ nhiều so với số chiều biểu diễn ảnh Có nhiều phƣơng pháp khác để giải vấn đề LDA nhƣ phƣơng pháp giả nghịch đảo, phƣơng pháp không gian phƣơng pháp không gian null Trong luận văn này, phƣơng pháp giả nghịch đảo đƣợc dùng để giải vấn đề Vì ảnh gốc có kích thƣớc 112×92, ảnh coi điểm khơng gian 10304 chiều, số chiều lớn để thực LDA nên trƣớc hết cần sử dụng phƣơng pháp PCA để giảm bớt số chiều không gian Sau đó, áp dụng phƣơng pháp giả nghịch đảo với tập liệu để tìm ma trận biến đổi W Để tính ma trận giả nghịch đảo S w+ , Sw đƣợc phân tích nhƣ sau: S w  Q1Q1T (18) Trong đó: -  = diag(1, , k) chứa giá trị riêng dƣơng Sw, nghĩa phần tử đƣờng chéo  giá trị riêng Sw, phần tử khác - k hạng Sw - Q1 chứa vector riêng Sw tƣơng ứng với k giá trị riêng dƣơng Khi ma trận giả nghịch đảo Sw là: S w+  Q1 1Q1T (19) Cuối cùng, vector riêng S w+ ứng với giá trị riêng dƣơng vector cột ma trận biến đổi W Hình 2.7 số ảnh sau biến đổi theo phƣơng pháp phân lớp tuyến tính 51 Số hố Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com Hình 2.7 Ảnh sau biến đổi theo LDA 2.2.3 Phƣơng pháp mạng neural Là kỹ thuật tái tạo mạng nơron thần kinh ngƣời máy tính Nó bao gồm phần tử đơn giản (cịn gọi nơron) hoạt động song song đƣợc nối với liên kết có trọng số để kích thích ức chế nơron Có nhiều cấu trúc mạng nơron khác nhƣ mạng hồi quy (feedback), mạng tự tổ chức (selforganizing), mạng truyền thẳng (feedforward) Đề tài tập trung với mạng truyền thẳng đa lớp với thuật toán lan truyền ngƣợc (back propagation) sai số [6][7][8] Hình 2.8 Mạng noron lớp truyền thẳng Quá trình huấn luyện mạng: Quá trình huấn luyện mạng q trình huấn luyện mẫu học Xs={x1, x2, …,xn} để giá trị cuối Ts={t1, t2, …,tn} nhƣ ta mong muốn - Quá trình truyền thẳng: Giá trị đầu nơron j lớp bất kì: out j  Input layer m với net j  i 0 w ji x ji (20)  net j 1 e Hidden layer 52 Output layer Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com Trong wji gọi số liên kết từ đầu vào thứ i đến nơron j, xji giá trị đầu vào thứ i đến nơron j, m số phần từ lớp trƣớc - Q trình lan truyền ngƣợc sai số: Tại nơron đầu k ta tính lỗi giá trị:  k  ok (1  ok )(tk  ok ) (21) Với tk giá trị đầu mong muốn thứ k Đối với nơron lớp ẩn  h :  h  oh (1  oh ) koutputs w jk k (22) Với outputs tập hợp nơron lớp ra, wjk trọng số liên kết từ k nơron lớp đến nơron j lớp ẩn Quá trình cập nhật lại trọng số: wjk  wjk + wjk (23) Nếu gọi η hệ số học wjk = η  h ok (24) Sau cập nhật trọng số này, mẫu tập Xs lại tiếp tục đƣa vào mạng, trình diễn giá trị lỗi E < ε cho trƣớc: Ed  (t  ok )  koutputs k (25) Với outputs tập hợp nơron lớp ra, tk giá trị mong muốn nơron k cho mẫu huấn luyện d ok giá trị thực nơron k 53 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com CHƢƠNG 3: CÀI ĐẶT THỬ NGHIỆM 3.1 Yêu cầu thực nghiệm, ứng dụng Nhƣ trình bày chƣơng 1, tốn điểm danh, chấm cơng số toán phổ biến đƣợc cơng nghệ hóa nhiều quan, doanh nghiệp Qua tìm hiểu nghiên cứu thuật tốn phát nhận dạng mặt ngƣời lựa chọn khuôn mặt làm tiêu chí để phân biệt đối tƣợng cần đƣợc điểm danh Đây đặc trƣng phổ dụng đƣợc thân ngƣời sử dụng từ hàng nghìn năm Việc cài đặt, thực nghiệm hệ thống minh chứng cho lý thuyết đƣợc tìm hiểu chƣơng luận văn Đối với tốn điểm danh, chấm cơng với mục tiêu chủ yếu kiểm soát nguồn nhân lực thời gian Các nhà quản lý quan tâm tới hai vấn đề lao động tên “A” có mặt hay khơng?, có hay khơng?, “A” có làm đủ số quy định hay khơng? Với u cầu tơi lựa chọn cài đặt thuật tốn PCA (phân tích thành phần chính) áp dụng cho toán điểm danh Với đầu vào đƣợc thu trực tiếp từ camera, đầu định danh đối tƣợng đƣợc kiểm tra, chƣơng trình thực quy trình điểm danh nhƣ sau: Hình 3.1 Quy trình hoạt động hệ thống điểm danh dựa khuôn mặt Trong hệ thống điểm danh dựa đặc trƣng khuôn mặt, chƣơng trình thu hình ảnh trực tiếp từ camera Sau đó, dựa thuật tốn đƣợc lựa chọn tiến hành xác định đặc trƣng từ tách riêng phần ảnh có tồn khn mặt từ ảnh đầu vào Ảnh khuôn mặt sau đƣợc tách riêng tiếp tục đƣợc so sánh với tập ảnh có sở liệu khuôn mặt dùng để điểm danh Trong thực tế tập khuôn mặt đƣợc 54 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com ngƣời sử dụng chƣơng trình xây dựng trƣớc điểm danh, có tất ảnh nhân viên, ngƣời lao động cần đƣợc điểm danh phiên làm việc Việc so sánh với sở liệu ảnh cho đầu định danh, định danh tên ngƣời có sở liệu ảnh thơng báo khơng có sở liệu ảnh Dựa định danh chƣơng trình tiến hành tích chọn điểm danh cho ngƣời đƣợc nhận dạng Nhƣ phiên làm việc, bảng điểm danh đƣợc khởi tạo với trạng thái mặc định “vắng”, đối tƣợng đƣợc xác định “có mặt” thơng qua hệ thống nhận dạng trạng thái ứng với tên đối tƣợng có mặt đƣợc thay đổi thành “có mặt” Nhƣ vậy, cuối phiên làm việc nhà quản lý xác định đƣợc ngƣời lao động có đến làm việc hay khơng dựa bảng trạng thái “vắng”, “có mặt” mà máy tính cung cấp 3.2 Phân tích lựa chọn giải pháp, cơng cụ Dựa quy trình làm việc chƣơng trình điểm danh dựa đặc trƣng khn mặt trình bày phần trên, thấy thành phần cần phải có chƣơng trình cần phải có nhƣ sau: - Camera thu nhận tín hiệu từ mơi trƣờng - Hệ sở liệu ảnh đối tƣợng cần nhận dạng - Phần mềm xác định, nhận dạng khuôn mặt điểm danh Nhƣ vậy, cần phải lựa chọn thiết bị phần cứng camera, thị trƣờng camera đặc biệt camera giám sát tƣơng đối phát triển Đây thiết bị phần cứng phổ dụng đƣợc sử dụng rộng rãi quan, doanh nghiệp Đối với hệ thống nhận dạng khuôn mặt cần lựa chọn camera với độ phân giải thích hợp, xây dựng kết nối camera phầm mềm đảm bảo hai vấn đề quan trọng: Thứ chất lƣợng hình ảnh phải đảm bảo đủ để hệ thống nhận dạng xác, ảnh q mờ khó nhận dạng Thứ hai chất lƣợng hình ảnh khơng cao để đảm bảo tốc độ xử lý hệ thống máy tính Nếu ảnh lớn máy tính khơng thể xử lý kịp dẫn tới đình trệ trình điểm danh Trong luận văn này, qua q trình thực nghiệm tơi lựa chọn độ phân giải camera từ đến triệu điểm ảnh (2 đến Megapixel) làm đầu vào cho toán điểm danh Đối với hệ sở liệu ảnh, có nhiều sở liệu cho phép lƣu truy xuất ảnh Ảnh đầu vào đƣợc xử lý lƣu lại sở liệu, điều đảm bảo tính bảo mật quản lý tốt trình truy xuất, tìm kiếm tập ảnh Tuy 55 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com nhiên việc lƣu trữ ảnh sở liệu tồn hạn chế riêng: cần phải có hệ thống quản trị sở liệu ảnh giao diện tƣơng tác với hệ thống này, đồng thời hệ thống xử lý ảnh điều quan trọng tốc độ xử lý ảnh khơng phải tính quản lý Vì lý chƣơng trình thực nghiệm tơi lựa chọn việc lƣu trữ ảnh trực tiếp ổ cứng Điều đảm bảo tính đơn giản chƣơng trình khả truy nhập trực tiếp với ảnh số Phầm mềm xác định, định danh khuôn mặt điểm danh đƣợc xây dựng đảm bảo kết nối đƣợc với camera lấy hình ảnh thời gian thực Điều đảm bảo tốc độ vận hành xử lý chƣơng trình Đồng thời dựa thuật tốn PCA đƣợc lựa chọn chƣơng trình cần tiến hành xử lý ảnh đầu vào từ đƣa định điểm danh đối tƣợng đầu vào Hệ thống điểm danh dựa đặc trƣng khuôn mặt hệ thống xử lý hình ảnh tƣơng đối điển hình Vì vậy, yêu cầu đặt tiến hành xây dựng phần mềm tốc độ xử lý hình ảnh Ngơn ngữ thƣờng đƣợc lựa chọn cài đặt thƣờng C++, C#, java Trong C++ đƣợc nhiều nhà nghiên cứu lựa chọn với ƣu tốc độ tính truyền thống nó, C# java ngơn ngữ lập trình phát triển sau nhƣng mang nhiều mạnh xây dựng ứng dụng Trong luận văn này, lựa chọn ngôn ngữ lập trình Visual C# để cài đặt thuật tốn ứng dụng Đây ngơn ngữ lập trình mạnh với tính phát triển ứng dụng nhanh hiệu Trong luận văn sử dụng thƣ viện đọc ảnh đƣợc cung cấp sẵn tảng framework 4.5 Nhờ nhà phát triển nghiên cứu, phát triển ứng dụng nhanh không cần quan tâm tới cấu trúc ảnh đƣợc đọc 3.3 Một số kết cài đặt thực nghiệm 3.3.1 Giao diện chƣơng trình Chƣơng trình cài đặt với mục tiêu điểm danh nguồn nhân lực dựa khn mặt minh họa thuật tốn PCA đƣợc trình bày chƣơng Với tính thành phần đƣợc phân tích trên, tiến hành cài đặt xây dựng chƣơng trình với thành phần giao diện nhƣ hình bên dƣới 56 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com Hình 3.2 Giao diện chương trình Giao diện chƣơng trình gồm có phần chính: - Phần 1: hình ảnh thu đƣợc từ camera, nơi hiển thị tất hình ảnh thu đƣợc từ camera, qua ngƣời sử dụng nhìn thấy hình ảnh đối tƣợng đƣợc quan sát số xử lý tƣơng ứng hệ thống nhận dạng - Phần 2: hiển thị lựa chọn danh sách điểm danh, thông báo trình điểm danh, bảng điểm danh sở liệu hình ảnh - Phần 3: menu lựa chọn tính khác chƣơng trình điểm danh Hình 3.3 Hình ảnh từ camera xử lý tương ứng 57 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com Trong giao diện hiển thị hình ảnh thu đƣợc từ camera xử lý phát nhận dạng khn mặt tƣơng ứng chƣơng trình Trong đó, khn mặt đƣợc khoanh vùng hình chữ nhật màu đỏ, phía tập kí tự mơ tả tên đối tƣợng đƣợc nhận dạng hình chữ nhật đƣợc khoanh vùng Trong chƣơng trình lúc phát nhận dạng nhiều khuôn mặt thời điểm Hình 3.4 Giao diện quản lý danh sách điểm danh điểm danh Trong giao diện quản lý danh sách điểm danh cho phép ngƣời sử dụng lựa chọn danh sách đối tƣợng cần đƣợc điểm danh Khi danh sách đƣợc hiển thị lên phầm mềm với trạng thái bắt đầu “Vắng” Trong phiên làm việc đối tƣợng cần đƣợc điểm danh đƣợc xác định có mặt trạng thái đƣợc thay đổi thành “Có mặt” Trong phiên làm việc trạng thái đối tƣợng chuyển từ “Vắng” sang “Có mặt” chuyển lần Giao diện quản lý danh sách điểm danh nằm tab với giao diện quản lý sở liệu ảnh Khi lựa chọn hai giao diện có xuất nút chọn tƣơng ứng giao diện 58 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com Hình 3.5 Giao diện quản lý danh sách ảnh Giao diện quản lý danh sách ảnh với hai thành phần hiển thị danh sách ảnh đƣợc quản lý công cụ thêm ảnh vào danh sách ảnh đƣợc quản lý Với danh sách hiển thị ảnh đƣợc quản lý, chƣơng trình hiển thị ảnh đối tƣợng cần quản lý định danh tƣơng ứng phía dƣới ảnh Để thêm ảnh vào chƣơng trình cần kích chuột vào lựa chọn “Thêm vào sở liệu”, đối tƣợng đƣợc quan sát đƣợc thêm vào sở liệu ảnh với định danh tƣơng ứng đƣợc nhập vào ô “Tên:” bên Cơ sở liệu ảnh đƣợc quan sát thƣ mục có đƣờng dẫn với chƣơng trình chạy, ảnh đƣợc đặt tên theo thứ tự chƣơng trình Hình 3.6 Cơ sở liệu ảnh 59 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com Cuối danh sách lựa chọn thực đơn chƣơng trình, ngƣời sử dụng lựa chọn tính cần thiết sử dụng chƣơng trình Nút bấm “Bắt đầu” khởi động liên kết với camera sau ngƣời sử dụng lựa chọn danh sách cần đƣợc điểm danh Tiếp số tính cần thiết nhƣ “Lựa chọn danh sách”, “Thêm danh sách mới”, “Làm sở liệu ảnh”, “Thống kế số người vắng danh sách”, “Xem sở liệu ảnh”, “Kết thúc ” Hình 3.7 Giao diện lựa chọn thực đơn 3.3.2 Một số kết điểm danh dựa khn mặt Sau cài đặt chƣơng trình thực nghiệm tơi tiến hành thực nghiệm chƣơng trình điểm danh với nhóm gồm 30 đối tƣợng cần đƣợc điểm danh Kết điểm danh qua 20 lần cho thấy chƣơng trình hoạt động tốt số điều kiện định có hạn chế cần tiếp tục nghiên cứu phát triển Với ứng dụng lƣu trữ 30 ảnh khác cho đối tƣợng cần đƣợc điểm danh tiến hành điểm danh điều kiện ánh sáng bình thƣờng kết thực nghiệm chƣơng trình đƣợc thống kê bảng dƣới đây: Bảng 3.1 Kết thực nghiệm điều kiện ánh sáng bình thường Lần Tổng Đúng Sai Lần Tổng Đúng Sai 30 25 11 30 24 30 23 12 30 25 30 24 13 30 24 30 25 14 30 23 30 25 15 30 24 6 30 25 16 30 25 30 24 17 30 25 30 25 18 30 24 30 25 19 30 25 10 30 24 20 30 24 60 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com Kết thực nghiệm cho thấy độ xác điểm danh giao động từ 77% tới 82%, kết điểm danh với độ xác tƣơng đối tốt nhƣng khơng đủ để đáp ứng sử dụng toán điểm danh, chấm công Đồng thời áp dụng chƣơng trình với điều kiện ánh sáng khác cho kết khác nhau, tiến hành thực nghiệm điều kiện thiếu ánh sáng ánh sáng bị lóa, kết thực nghiệm cho thấy khả nhận dạng chƣơng trình giảm rõ rệt Kết đƣợc thể bảng sau: Bảng 3.2 Kết thực nghiệm điều kiện ánh sáng chói thiếu ánh sáng Lần Điều kiện ánh sáng Tổng Đúng Sai Thiếu ánh sáng 30 20 10 Thiếu ánh sáng 30 17 13 Thiếu ánh sáng 30 18 12 Thiếu ánh sáng 30 18 12 Thiếu ánh sáng 30 17 13 Thiếu ánh sáng 30 19 11 Thiếu ánh sáng 30 18 12 Ánh sáng chói 30 16 14 Ánh sáng chói 30 20 10 10 Ánh sáng chói 30 16 14 11 Ánh sáng chói 30 18 12 12 Ánh sáng chói 30 17 13 13 Ánh sáng chói 30 16 14 14 Ánh sáng chói 30 16 14 Dựa kết thực nghiệm thấy việc điểm danh đƣợc thực điều kiện ánh sáng đầy đủ khơng q chói Thuật tốn chƣơng trình gặp khó khăn tiến hành điều kiện thiếu ánh sáng ánh sáng chói Tuy nhiên điểm danh ta xây dựng đƣợc điều kiện ánh sáng hệ thống điểm danh đƣợc đặt nhà có hệ thống chiếu sáng riêng Nhƣ cần đƣa giải pháp nâng cao độ xác hệ thống điểm danh điều kiện ánh sáng thƣờng Khi kết hệ thơng điểm danh đáng tin cậy đƣợc sử dụng làm tiêu chí nhận dạng hệ thống gồm nhiều bƣớc sinh trắc học 61 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com Trong trình tìm hiểu nguyên nhân ảnh hƣởng tới khả nhận dạng hệ thống, nguyên nhân điều kiện mơi trƣờng cịn tồn ngun nhân tới từ ngƣời cần đƣợc nhận dạng Sự thay đổi khuôn mặt đối tƣợng điều đƣơng nhiên dẫn tới độ xác q trình nhận dạng Bên cạnh với góc nhìn khác cho hình ảnh khác đối tƣợng Nhƣ để giải vấn đề cần quan tâm tới tốn trích rút đặc trƣng khn mặt nắn chỉnh góc nghiêng đối tƣợng cần quan sát Đây tốn khó, địi hỏi nhiều lỗ lực nghiên cứu tìm hiểu vấn đề nhận dạng, trích rút đặc trƣng, quan sát đối tƣợng với góc nhìn khác Vì giới hạn thời gian nội dung luận văn không đề cập tới vấn đề Tuy nhiên, để sử dụng đƣợc chƣơng trình cần nâng cao độ xác q trình nhận dạng Để giải vấn đề giải pháp đƣợc đƣa sử dụng nhiều ảnh cho đối tƣợng trình nhận dạng Tức thay sử dụng ảnh sở liệu ảnh, chƣơng trình sử dụng nhiều ảnh với định danh, góc nhìn khác đối tƣợng trạng thái khác đƣợc mơ tả sở liệu Với việc sử dụng ảnh cho đối tƣợng, thực nghiệm cho thấy sử dụng nhiều ảnh kết nhận dạng đƣợc nâng lên, kết đƣợc thể bảng sau: Bảng 3.3 Kết thực nghiệm điều kiện ánh sáng bình thường với ảnh cho đối tượng Lần Tổng Đúng Sai Lần Tổng Đúng Sai 30 30 11 30 30 30 29 12 30 29 30 29 13 30 29 30 30 14 30 28 30 28 15 30 28 30 29 16 30 25 30 29 17 30 25 30 29 18 30 24 30 29 19 30 25 10 30 28 20 30 30 62 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com Tiếp tục thực nghiệm với nhiều ảnh cho đối tƣợng điều kiện ánh sáng chói thiếu ánh sáng, chƣơng trình thực nghiệm cho kết tốt so với sử dụng ảnh nhất, nhiên kết nhận đƣợc tƣơng đối khiêm tốn Sau bảng thực nghiệm với điều kiện ánh sáng chói thiếu ánh sáng với việc sử dụng ảnh cho đối tƣợng: Bảng 3.4: Kết thực nghiệm điều kiện ánh sáng chói thiếu ánh sáng với ảnh cho đối tượng Lần Điều kiện ánh sáng Tổng Đúng Sai Thiếu ánh sáng 30 20 10 Thiếu ánh sáng 30 21 Thiếu ánh sáng 30 21 Thiếu ánh sáng 30 19 11 Thiếu ánh sáng 30 20 10 Thiếu ánh sáng 30 21 Thiếu ánh sáng 30 21 Ánh sáng chói 30 20 10 Ánh sáng chói 30 20 10 10 Ánh sáng chói 30 19 11 11 Ánh sáng chói 30 19 11 12 Ánh sáng chói 30 21 13 Ánh sáng chói 30 21 14 Ánh sáng chói 30 20 10 Qua thực nghiệm cho thấy chƣơng trình chạy tốt điều kiện ánh sáng bình thƣờng có nhiều ảnh mơ tả đối tƣợng Tuy nhiên tồn sai số trình điểm danh, cần tiếp tục nghiên cứu, tìm hiểu hồn thiện phƣơng pháp nhận dạng, định danh khn mặt ngƣời để áp dụng vào thực tế Đồng thời qua thực nghiệm cho thấy với điều kiện ánh sáng không phù hợp khả nhận dạng thuật toán giảm nhiều, vấn đề địi hỏi cần tìm hiểu phƣơng pháp giải thách thức lĩnh vực thị giác máy khả quan sát máy tính cịn thua xa so với ngƣời 63 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Trong luận văn này, tơi hồn thành mục tiêu nghiên cứu đề Cụ thể: 1- Luận văn nêu đƣợc tầm quan trọng việc xác định vị trí khn mặt hệ thống nhận dạng mặt ngƣời nói riêng nhƣ hệ thống sinh trắc học nói chung 2- Luận văn nêu đánh giá thuật toán phƣơng pháp xác định nhận dạng mặt ngƣời đƣợc sử dụng, nhƣ đƣa đƣợc đánh giá ƣu điểm nhƣợc điểm phƣơng pháp Trên sở lựa chọn thuật tốn có ƣu điểm cài đặt cho toán 3- Trong chƣơng đƣa xây dựng thuật tốn xác định vị trí mặt ngƣời nhận dạng mặt ngƣời, nhƣ đƣa đƣợc tốn có ý nghĩa thực tiễn toán điểm danh dựa thuật toán xác định vị trí mặt ngƣời nhận dạng mặt ngƣời 4- Trong phần thực nghiệm thử nghiệm sở liệu FERET COLOR sở liệu đƣợc sử dụng rộng rãi hệ thống nhận dạng mặt ngƣời Hƣớng phát triển Trong tƣơng lai tiếp tục nghiên cứu, phát triển đề tài, thử nghiệm đặc trƣng khác, thử nghiệm thuật toán tối ƣu khác, áp dụng thử nghiệm sở liệu ảnh mặt ngƣời lớn để đánh giá hiệu phƣơng pháp cách khách quan xác Từ xây dựng hệ thống chuẩn đƣa vào ứng dụng thực tế cho hiệu quả, chi phí thấp giải phóng sức lao động ngƣời 64 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com TÀI LIỆU THAM KHẢO [1] PGS.TS Nguyễn Thị Hoàng Lan (2009), “Hệ thống an ninh thông tin dựa sinh trắc học Bio-PKI (Bio-PKI Based Information Security System)”, Báo cáo đề tài theo nghị định thƣ, Trƣờng Đại học Bách khoa Hà Nội [2] TS Hồ Văn Hƣơng (2009), Mật mã sinh trắc, http://antoanthongtin.vn, ngày 04/10/2009 [3] Sinh trắc học, http://www.biometria.sk [4] Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phú Doãn (2007), “Tổng quan phƣơng pháp xác định khuôn mặt ngƣời”, Báo cáo khoa học [5] Ion Marqués (2010), Face recognition Algorithms, Universidad del País Vasco [6] Byung-Joo Oh (2003), “Face Recognition by Using Neural Network Classifiers based on PCA and LDA”, Daejeon, Korea [7] D Maio and D Maltoni, “Real-time face location on grayscale static images”, Pattern Recognition, vol.33, no 9, pp 1525-1539, Sept 2000 [8] H A Rowley, S Baluja, and T Kanade, “Neural NetworkBased Face Detection”, IEEE Trans PAMI, vol 20, pp 23-38, Jan 1998 [9] M Abdel-Mottaleb and A Elgammal, “Face Detection in complex environments from color images”, IEEE ICIP, pp 622- 626, Oct 1999 [10] H Martin Hunke (1994), Locating and tracking of human faces with neural network, Master’s thesis, University of Karlsruhe 65 Số hoá Trung tâmdownload Học liệu – ĐHTN LUAN VAN CHAT LUONG : addhttp://www.lrc.tnu.edu.vn luanvanchat@agmail.com ... trọng phát hiện, nhận dạng khn mặt nói riêng cơng nghệ sinh trắc nói chung, tơi thực đề tài ? ?Phát nhận dạng khuôn mặt từ camera, ứng dụng điểm danh? ?? với mục tiêu tìm hiểu thuật tốn phát nhận dạng. .. 13 1.2 Phát nhận dạng khuôn mặt 13 1.3 Những khó khăn thách thức tốn nhận dạng khuôn mặt 16 1.4 Các ứng dụng tốn nhận dạng khn mặt 16 1.5 Bài toán điểm danh dựa khuôn mặt ... sử dụng nhận dạng khuôn mặt tự nhiên Phƣơng pháp đƣợc thân ngƣời sử dụng từ đƣợc sinh để phân biệt ngƣời ngƣời khác Ứng dụng khả phân biệt dựa đặc điểm khác khn mặt, tốn ? ?Phát nhận dạng khuôn mặt