Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)

Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)

HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - TRẦN THỊ VÂN ANH PHÁT HIỆN KHUÔN MẶT CHO XÁC ĐỊNH SỐ LƢỢNG SINH VIÊN TRONG LỚP HỌC CHUYÊN NGÀNH : HỆ THỐNG THÔNG TIN MÃ SỐ: 60.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS LÊ HỒNG THÁI TP.HỒ CHÍ MINH – 2017 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS LÊ HOÀNG THÁI Phản biện 1: ……………………………………………… Phản biện 2: ……………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm … Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU Tính cấp thiết đề tài Bài toán xác thực cá nhân toán cốt lõi nhiều ứng dụng sống Phương pháp xác thực cá nhân truyền thống dựa vào vật sở hữu (thẻ, dấu, chìa khóa ) mã cá nhân (mật khẩu, mã số PIN ) Tuy nhiên phương pháp có nhiều hạn chế như: độ bảo mật kém, dễ quên, mất, dễ giả mạo Do vậy, hướng tiếp cận đặc trưng sinh trắc học cho nhận diện cá nhân ngày quan tâm nghiên cứu ứng dụng Đặc trưng sinh trắc học (như ảnh mặt người, ảnh dấu vân tay, ảnh vân lịng bàn tay, ảnh móng mắt, giọng nói, dáng ) có tính nhất, độ xác an tồn cao Trong đặc trưng sinh trắc học cơng nghệ nhận dạng mặt người áp dụng nhiều ứng dụng thương mại, an ninh hành pháp Nhận dạng mặt người có mức độ an ninh thấp điều kiện thu nhận ảnh khơng ràng buộc có nhiều thuận lợi áp dụng nhiều ngữ cảnh khác Hình 1: Các đặc trƣng sinh trắc học phổ biến [11] Trong nhiều thập kỷ qua nhiều thành tựu nâng cao nhận dạng mặt người đạt Nhiều hệ thống nhận dạng mặt người đạt độ xác 90% Tuy nhiên, áp dụng thực tế có nhiều thách thức việc thu nhận ảnh mặt người nằm nhiều điều kiện mơi trường khác nhau, ví dụ điều kiện chiếu sáng, tư thế, thời gian trì hoản, bị che khuất Do vậy, việc nghiên cứu toán nhận dạng mặt người cấp thiết Mục đích nghiên cứu Mục tiêu nghiên cứu đề tài phát triển thuật toán biểu diễn đặc trưng mặt người hiệu cho việc so khớp nhanh đạt độ xác cao Minh họa ứng dụng kỹ thuật nhận dạng mặt người vào phần mềm điểm danh sinh viên lớp học Đối tƣợng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu Đối tượng nghiên cứu ảnh mặt người, kỹ thuật xử lý biểu diễn đặc trưng mặt người (biểu diễn đặc trưng hình học, mắt, mũi, miệng, ).Thực nghiệm sở liệu chuẩn ORL YALE để đánh giá hiệu phương pháp rút trích đặc trưng đề tài 3.2 Phạm vi nghiên cứu Đề tài tập trung vào việc nghiên cứu rút trích mặt người nhìn thẳng Thực nghiệm minh họa ứng dụng điểm danh sinh viên lớp 50 sinh viên 3.3 Phương pháp nghiên cứu Đề tài chọn hướng tiếp cận kết hợp đặc trưng toàn cục đặc trưng cục để tạo đặc trưng bền vững với nhiễu có tính phân biệt cao Bộ lọc Gabor Cong áp dụng để tạo đặc trưng cục có tính bền vững với nhiễu Kỹ thuật học thống kê phân tích tách lớp tuyến tính (LDA) áp dụng để trích chọn đặc trưng tồn cục có tính phân biệt cao đối tượng Cấu trúc luận văn Cấu trúc luận văn gồm phần mở đầu, chương phần kết luận sau: - Phần mở đầu: Giới thiệu tính cấp thiết, mục tiêu nghiên cứu, phạm vi nghiên cứu bố cục luận văn - Chương 1: Trình bày tổng quan hệ thống nhận dạng mặt người Các độ đánh giá hiệu việc nhận dạng mặt người - Chương 2: Trình bày cơng trình nghiên cứu liên quan kỹ thuật rút trích đặc trưng mặt người - Chương 3: Trình bày phương pháp rút trích đặc trưng mặt người thực đề tài - Chương 4: Kết thực nghiệm sở liệu chuẩn Phần kết luận: Trình bày tóm tắt nội dung làm hướng phát priển đề tài CHƢƠNG - TỔNG QUAN 1.1 Giới thiệu Ngày ngành công nghiệp phát triển kéo theo thiết bị thông minh, máy ảnh số, camera kĩ thuật số đời Các thiết bị có tích hợp hỗ trợ camera phổ biến Do mở nhiều hướng nghiên cứu thị giác máy tính, đồng thời có nhiều ứng dụng giao tiếp người với máy tính mà hệ thống nhận dạng mặt người đóng vai trị khơng nhỏ Một số ứng dụng công nghệ nhận dạng mặt người lĩnh vực sống ngành hàng không, bảo vệ trẻ em từ bọn bắt cóc, tìm kẻ khủng bố, hệ thống chấm cơng  Tóm lại: nhu cầu sử dụng hệ thống xử lý dùng trí tuệ nhân tạo ngày phát triển, mà nhận dạng khn mặt để mã hóa mật cá nhân nhu cầu thiết yếu tương lai 1.1.1 Đặc trưng mặt người Có nhiều lĩnh vực khác sinh học, tâm lý học, khoa học thần kinh, xã hội học khoa học máy tính phân tích đặc trưng biểu khn mặt người Mặc dù có nhiều nghiên cứu để biểu diễn khn mặt người, tốn mã hóa khn mặt người tốn mở Nhìn chung có ba kiểu biểu diễn đặc trưng khuôn mặt người: đặc trưng tổng thể, đặc trưng thành phần đặc trưng cấu trúc mối quan hệ thành phần Đặc trưng tổng thể xem khuôn mặt thực thể để phân biệt Đặc trưng thành phần xem xét thành phần (mắt, mũi, miệng) riêng lẻ Đặc trưng cấu trúc mối quan hệ thành phần xem xét mối quan hệ khơng gian hình học thành phần khuôn mặt Khi xem xét đặc trưng tổng thể hay đặc trưng thành phần đặc trưng kết cấu mẫu thường sử dụng Hình 1.1 : Các đặc trƣng mặt ngƣời 1.1.2 Thách thức toán nhận dạng mặt người Khuôn mặt người nơi biễn diễn sắc thái tình cảm người rõ ràng nhất, tốn nhận dạng mặt người gặp khơng thách thức biểu cảm xúc yếu tố tác nhân bên ngồi như: hướng khn mặt, số lượng hình ảnh lớn, đặc trung khơng phải khn mặt người đeo kính hay rau quai nón, gương mặt bị che khuất, điều kiện độ sáng tối Hình 1.2: Hình ảnh khn mặt bị nhiễu [4] Các khó khăn chứng tỏ việc nhận dạng mặt người không tránh khuyết điểm định Để đánh giá so sánh phương pháp xác định mặt người, ta thường dựa độ đo FAR hay FRR 1.1.3 Các giai đoạn nhận dạng mặt người Một hệ thống sinh trắc học hệ nhận dạng dựa hành vi, thuộc tính vật lý người nhận dạng Hệ sinh trắc học phân thành hai loại chính: Hệ xác thực (Verification): đầu vào gồm có ảnh truy vấn định danh Hệ thống đối sánh 1-1 mẫu mặt người thu nhận với mẫu mặt người hệ thống ứng với định danh đầu vào Hệ thống xác thực trả lời kết qủa phải hay mặt người ứng với định danh Hệ định danh (Indentification): đầu vào có mẫu truy vấn Hệ thống so sánh mẫu truy vấn với mẫu huấn luyện (1-n) Hệ thống cho biết định danh với mẫu truy vấn có, ngồi trả lời Chưa biết trước thông tin Đã biết trước thông tin Người ai? Đây Jon phải không? Jon Kết Xác minh ngƣời Kết Nhận dạng ngƣời Đúng/Sai Hình 1.3: So sánh tác vụ định danh xác thực khuôn mặt Nhận dạng mặt người thông qua giai đoạn: - Face Detection (Phát mặt người): nhận dạng đâu vùng mặt có liệu đầu vào thực cắt lấy vùng ảnh mặt để thực nhận dạng - Preprocessing (Tiền xử lý ảnh): chuẩn hóa mẫu ảnh tư chuẩn chuẩn hóa kích cỡ ảnh, hiệu chỉnh độ sáng, tối ảnh, lọc nhiễu, vị trí tư mẫu ảnh sở liệu ảnh cần nhận dạng để giúp cho việc tìm kiếm dễ dàng hiệu - Feature Extraction (Trích chọn đặc trưng): bước sử dụng phương pháp Adaboost kết hợp với Haar like để trích chọn đặc trưng khn mặt (vùng mặt, mắt trái, mắt phải, mũi miệng), sau sử dụng phương pháp Gabor Cong kết hợp với phương pháp (2D)2LDA với mục đích trích chọn đặc trưng cho ảnh đươc biểu diễn dạng vectơ, dựa vectơ đặc điểm để đối sánh giống khác mẫu ảnh cần nhận dạng mẫu ảnh sở liệu - Comparison (Đối sánh): thực so sánh vectơ đặc trưng để chọn độ tương tự mẫu ảnh cần tìm mẫu ảnh chứa sở liệu Ảnh Phát Rút Đối Nhận đầu mặt trích sánh dạng vào người đặc (so khuôn ảnh Tiền trưng khớp) mặt tĩnh xử lý khn mặt Hình 1.4 : Hệ thống nhận dạng 1.2 Độ đo đánh giá hiệu Trong trình nhận dạng thường gặp phải vấn đề lỗi sau: - Phát sinh lỗi so sánh mẫu khuôn mặt hai người khác kết người Lỗi gọi loại bỏ sai (false reject) - Phát sinh lỗi so sánh mẫu gương mặt người kết đối tượng Lỗi gọi chấp nhận sai (false accept) Để đo lỗi phát sinh trình nhận dạng nói đến độ đo lường thường định nghĩa: - FAR (false accept ratio): tỷ lệ chấp nhận sai cho biết tỉ lệ trả lời liệu đầu vào sai - FRR (false reject radio): tỷ lệ từ chối sai cho biết tỉ lệ trả lời sai liệu đầu vào 1.3 Kết thúc chƣơng Chương giới thiệu tổng quan nhận dạng mặt người, đặc trưng mặt người, giai đoạn độ đo đánh giá hiệu hệ thống nhận dạng mặt người Từ đó, đưa phương pháp tiếp cận toán nhận dạng mặt người CHƢƠNG - CÁC CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN 2.1 Giới thiệu hƣớng tiếp cận chung Dựa vào việc sử dụng đặc trưng khuôn mặt nhận dạng, hệ thống nhận dạng mặt chia thành hai hướng tiếp cận chính: hướng tiếp cận toàn cục (global approaches) hướng tiếp cận cục (local features based approaches) Các phương pháp theo hướng toàn cục sử dụng đặc điểm tồn cục khn mặt (hình dạng, màu sắc, đường nét chính…) hệ thống theo cách tiếp cận dựa vào đặc trưng cục sử dụng đặc điểm cục khuôn mặt (các điểm ảnh, chi tiết mắt, mũi, miệng, lông mày…) để nhận dạng Các nghiên cứu cho thấy hệ thống dựa đặc điểm cục cho kết tốt hệ thống theo cách tiếp toàn cục, đặc biệt làm việc với ảnh bị ảnh hưởng điều kiện đề cập Một hệ thống nhận dạng mặt người làm việc giống hệ thống thị giác người cần nhận nhìn vào tranh Ở bước hệ thống cần xác định xem có mặt người ảnh hay khơng, sau có vùng ảnh quan tâm Các bước trình nhận dạng tự động thị giác người tiếp nhận ảnh xử lý (ảnh đầu vào - xử lý nhận dạng) Do hệ thống nhận dạng mặt gồm nhiều bước nên nghiên cứu nhận dạng mặt chia thành lĩnh vực nhỏ tập trụng vào phương pháp để giải bước hệ thống Vì thế, có nhiều nghiên cứu nhận dạng mặt, song việc xây dựng hoàn chỉnh hệ thống hoàn toàn tự động từ bước tới cuối chưa nhiều Ở để hướng tới việc xây dựng hệ thống nhận dạng mặt hoàn toàn tự động với kỹ thuật áp dụng cho bước sau:  Phát khuôn mặt: sử dụng đặc trưng HOG [14]  Tiền xử lý: sử dụng phương pháp retinal filter  Trích chọn đặc trưng: nghiên cứu áp dụng kỹ thuật LPQ 14 c: tỷ lệ đường cong Hình 3.2: Ví dụ Gabor cong kernels đƣợc thể với thơng số: σ = л c = 0.1 [5] Hình 3.3: Ví dụ thực tế 12 ECG wavelet kernels đƣợc đề xuất hiển thị [5] Phương trình (3.2) có nguồn gốc: 15 (3.3) Trong đó: Ta tạo rời rạc 5x16, với tần số khác v = {0, ,4} 16 hướng u = {0, ,15} Bán kính Gaussian thường σ = 2л Minh họa hình 3.2 Minh họa thực nghiệm áp dụng Gabor Cong với hệ số cong gán cố định (Lông mày: 0.1; miệng: 0.15; mắt: 0.2; hóc mũi: 0.25) với vùng khn mặt biểu diễn đường cong, vùng lại khn mặt biểu diễn đường thẳng hệ số cong Hình 3.4: Hình minh họa áp dụng Gabor Cong Tóm lại: giai đoạn rút trích đặc trưng sử dụng phương pháp Gabor Cong, giúp cho việc rút trích đặc trưng thực nhanh, giúp phát thay đổi bật giá trị điểm ảnh hạn chế tác động thay đổi độ sáng ảnh Kết sau áp 16 dụng phương pháp Gabor Cong lên vùng đặc trưng khuôn mặt thu đặc trưng khuôn mặt chống nhiễu Sau đó, tiếp tục áp dụng phương pháp (2D)2LDA lên đặc trưng khuôn mặt để ta thu khuôn mặt có tính phân tách cao 3.2.2 Phương pháp (2D)2LDA: Với 2DLDA chủ yếu hoạt động theo hướng hàng ngang hình ảnh, sau đề xuất 2DLDA thay hoạt động theo hướng hàng dọc hình ảnh Bằng cách kết hợp đồng thời hoạt động theo hai hướng ngang dọc hình ảnh, phát triển hai chiều 2DLDA hay gọi (2D)2LDA cho kết hiệu công nhận Kết thực nghiệm sở liệu ORL YALE cho thấy phương pháp có kết đạt độ xác nhận dạng tương dương chí tốt phương pháp 2DLDA, số lượng yếu tố cần thiết để nhận dạng nhiều [8] 2DLDA hoạt động hàng hình ảnh để tìm ma trận tối ưu X từ tập hợp hình ảnh huấn luyện, sau chiếu ảnh m × n hình ảnh A lên X, cho m ma trận d, Tức Ym × d = Am × n · Xn × d Tương tự vậy, thay đổi 2DLDA học ma trận chiếu tối ưu Z, thông tin cột hình ảnh sau chiếu hình ảnh A lên Z, mang lại ma trận q n, tức Bq × n = ZT, m × q · Am × n Giả sử thu ma trận chiếu X Z, chiếu m hình ảnh A lên X Z đồng thời, cho q ma trận D [8] (3.4) 17 Hình 3.5: Phƣơng pháp (2D)2-LDA Ma trận C gọi ma trận điểm ảnh biểu diễn hình ảnh Khi sử dụng để nhận dạng mặt người ma trận C gọi ma trận đặc trưng Sau chiếu ảnh tập huấn luyện Ak = {k = 1,2,3, ,N} vào X Z, ta có ma trận đặc trưng Ck = {k = 1,2,3, ,N} Kiểm tra với hình ảnh mặt người A, hình (3.4) sử dụng Eq để lấy ma trận đặc trưng C Sau lớp gần sử dụng để phân loại Ở đây, khoảng cách C Ck xác định công thức: (3.5) Kết minh họa cho thực nghiệm ảnh mặt người kết hợp phương pháp Gabor Cong phương pháp (2D)2-LDA Hình (b) thể khn mặt sau áp dụng phương pháp Gabor Cong, hình (c, d, e, f, g, i, j) biểu diễn khuôn mặt sau áp dụng phương pháp Gabor Cong (2D)2-LDA 18 Hình 3.6: Thực nghiệm kết hợp Gabor Cong (2D)2-LDA 3.2.3 Các bước thực thuật toán Ba giai đoạn xử lý với ảnh đầu vào người: (1) tiền xử lý ảnh mặt người tư mặt nhìn thẳng, (2) áp dụng phương pháp Gabor cong để trích chọn đặc trưng mặt người (khn mặt, mắt trái, mắt phải, mũi, miệng), với đặc điểm mắt, góc mũi, miệng đường cong áp dụng phương pháp Gabor cong để chuẩn hóa ảnh rõ nét hơn, đặc điểm lại sử dụng Gabor để chuẩn hóa ảnh mũi, (3) sau áp dụng phương pháp (2D)2LDA để trích chọn đặc trưng giúp loại bỏ vùng liệu trùng lấp Các bước xử lý lược đồ áp dụng trình bày tóm tắt sau:  Với ảnh đầu vào mặt người với tập liệu sử dụng phương pháp Adaboost đặc trưng Haar like để trích chọn đặc trưng mặt người để đươc tập liệu đặc trưng vùng mặt, mắt trái, mắt phải, mũi miệng tập liệu vùng mặt tập liệu vùng mắt trái tập liệu vùng mắt phải 19 tập liệu vùng miệng tập liệu vùng mũi  Áp dụng lọc Gabor Cong với công thức (3.1) lên tập huấn luyện ta thu đươc tập ảnh  Áp dụng phương pháp (2D)2LDA lên tập liệu công thức (3.4) nhận tập ảnh 3.3 Áp dụng chƣơng trình thực nghiệm điểm danh mặt ngƣời 3.3.1 Nhu cầu sử dụng phần mềm Hiện nay, trường học, việc điểm danh sinh viên hầu hết thực cách thơng thường, đọc tên người để điểm danh vào giấy Việc gây nhiều thời gian cần điểm danh, khơng kiểm sốt việc sinh viên điểm danh thay cho bạn khác, giảng viên quên mang theo danh sách lớp,… Như để giải vấn đề này, ý tưởng xây dựng phần mềm điểm danh dựa vào khuôn mặt cải thiện mang lại hiệu tốt như: - Giảm thời gian giảng viên sinh viên thực điểm danh - Điểm danh thực tự động - Giảm thiểu trường hợp điểm danh thay cho bạn - Tránh trường hợp giảng viên khơng có danh sách lớp,… 3.3.2 Phần mềm đề xuất Chương trình nhận dạng khn mặt viết C# với hỗ trợ thư viện OpenCV lưu liệu thông qua SQL Server Chương trình sử dụng camera có sẵn laptop (hoặc camera rời) 20 3.3.3 Thiết kế sở liệu 3.3.4 Thiết kế giao diện 3.3.5 Chức phần mềm  Chức quản lý môn học  Chức quản lý khoa  Chức quản lý lớp  Chức quản lý giảng viên  Chức quản lý sinh viên  Các chức khác 3.4 Quy trình xử lý 3.4.1 Quy trình điểm danh thực sau Thu thập liệu ảnh sinh viên: Mỗi sinh viên cung cấp cho nhà trường 10 ảnh khuôn mặt trực diện qua camera với tư khác (ảnh trực diện, nghiêng trái, nghiêng phải, hướng nhìn lên, hướng nhìn xuống dưới…) Cần phải thu thập nhiều ảnh từ sinh viên để đạt kết xác sinh viên đứng trước camera điểm danh với nhiều tư khác Hình 3.7: Các tƣ ảnh huấn luyện Ảnh chụp sinh viên phải dùng camera với độ phân giải phải 2Mpx Vì ảnh nhiều mật độ điểm ảnh xử lý tốt 21 Nhập liệu lớp học: Danh sách sinh viên lớp học thêm cách nhập tay kèm theo việc chụp ảnh sinh viên Ngồi cịn thêm danh sách sinh viên thông qua file Excel tải từ sở liệu nhà trường (lọc theo mã số sinh viên) Sau ta chọn sinh viên cập nhật ảnh Quy trình điểm danh: Tại buổi học, giảng viên chọn lọc liệu sinh viên lớp Yêu cầu sinh viên đứng trước camera để nhận dạng (sinh viên thực thay đổi tư trước camera) Sau nhận dạng hệ thống thực điểm danh hiển thị tên sinh viên lên hình để sinh viên kiểm tra Nếu nhận dạng không thành cơng, sinh viên liên hệ với giảng viên để điểm danh thủ cơng Hình 3.8: Mơ hình nhận dạng khn mặt lớp học 3.4.2 Mơ hình xử lý nhận dạng khuôn mặt Ảnh kiểm tra: Là bước camera thu ảnh khuôn mặt sinh viên (10 ảnh với hướng khác nhau), để làm sử liệu đầu vào cho bước sau Tiền xử lý ảnh: Chức để chuẩn hóa ảnh cần tìm giúp cho việc tìm kiếm hiệu Các cơng việc bước tiền xử lý là: Chuẩn hóa kích cỡ ảnh sở liệu ảnh cầm tìm, hiệu chỉnh độ sáng, tối ảnh; lọc nhiễu, chuẩn hóa vị trí, tư ảnh mặt Phát khuôn mặt: Chức làm nhiệm vụ xác định vị trí, kích cỡ nhiều mặt ảnh chụp từ tách phần mặt, mắt (trái/phải), mũi, miệng Phần ảnh 22 mặt đươc tách thường nhỏ nhiều so với ảnh chụp ban đầu chức trích chọn đặc trưng sử dụng ảnh tách Rút trích đặc trưng: Tìm đặc trưng ảnh tách, từ đặc trưng hình thành vector đặc trưng/ma trận hướng, vector/ma trận hướng sử dụng để đối sánh giống ảnh mặt cần tìm ảnh mặt CSDL So khớp: Thực việc so sánh vector đặc trưng (các ma trận hướng) để chọn độ tương tự, từ đưa kết cuối ảnh cần tìm ảnh CSDL (Dữ liệu huấn luyện) Hình 3.9: Mơ hình bƣớc xử lý hệ thống nhận dạng khuôn mặt 3.5 Kết luận chƣơng Chương tiến hành đưa kết hợp phương pháp Gabor Cong phương pháp (2D)2LDA để từ xây dựng thực nghiệm hệ thống nhận dạng mặt người để áp dụng cho đếm số lượng sinh viên lớp học Từ tơi trình bày rõ phần hướng dẫn cụ thể phần mềm điểm danh dựa vào khuôn mặt Cuối cùng, khẳng định kết hợp phương pháp Gabor Cong phương pháp (2D)2LDA cho kết có độ xác cao 23 CHƢƠNG - KẾT QUẢ THỰC NGHIỆM VÀ HƢỚNG PHÁT TRIỂN 4.1 Cơ sở liệu thực nghiệm Đánh giá kết thực nghiệm với Gabor Wavelet với sở liệu ORL, YALE Thực nghiệm minh họa thực máy tính có xử lý Intel® Core™ Dou CPU P8600 @ 2.40GHz, Ram 4.00Gb Visual Studio 2012 Cơ sở liệu cho toán nhận dạng mặt người phân thành tập huấn luyện ảnh mẫu sử dụng nhận dạng với sở liệu chuẩn ORL AT&T [15] Cơ sở liệu ORL bao gồm 400 ảnh 40 người, người gồm có 10 ảnh khác thời điểm, độ sáng, biểu cảm khuôn mặt (buồn, vui ) chi tiêt khuôn mặt (đeo kính khơng đeo kính) Dưới số hình ảnh mặt người sở liệu ORL: Hình 4.1: Ảnh mặt ngƣời sở liệu ORL [15] Cơ sở liệu Yale [16] chứa 165 hình ảnh màu xám 15 người điều kiện biểu khuôn mặt cấu trúc ánh sáng khác Mỗi người có 11 ảnh với kích thước hình ảnh 320 x 243 pixel Cơ sở liệu sử dụng để đánh giá hiệu suất phương pháp nhận dạng điều kiện khác biểu khuôn mặt điều 24 kiện ánh sáng thay đổi Trong này, hình ảnh xử lý chuẩn hóa với kích thước 100 x 80 pixel Mẫu ảnh sở liệu Yale: Hình 4.2: Ảnh mặt ngƣời sở liệu YALE [16] Các hình ảnh sở liệu chuẩn thể nhiều biểu cảm sắc thái khác khuôn mặt chịu tác động khác độ sáng, tư thế, góc chụp, ảnh bị che khuất phần nhỏ Với biểu sắc thái khác ta thực nghiệm hai nguồn sở liệu ORL YALE sau: Cơ sở liệu ORL dùng thực nghiệm với điều kiện thay đổi tỉ lệ, độ sáng góc chụp Cơ sở liệu ORL gồm 400 ảnh mẫu với kích thước 112x92 pixel Trong thực nghiệm ta chọn 19 người, người 10 ảnh khuôn mặt trực diện chia làm hai phần: phần gồm năm ảnh đưa vào tập huấn luyện, phần hai gồm năm ảnh để kiểm tra Cơ sở liệu YALE dùng thực nghiệm với điều kiện thay đổi khuôn mặt cảm xúc, ánh sáng, chi tiết khuôn mặt Cơ sở liệu YALE gồm 165 ảnh màu xám 15 người với kích thước 320x243 pixel Trong thực nghiệm ta chọn năm ảnh người làm tập huấn luyện phần lại dùng để kiểm tra 25 4.2 Kết độ xác Bảng 4.1: So sánh năm phƣơng pháp sở liệu ORL [10] Phương pháp Độ xác (%) Thời gian(s) Kích thước mẫu (thử nghiệm năm ảnh cho lớp) 2D - PCA 96.2 112 x 7.89 (2D)2PCA 96.5 7x7 3.98 (2D)2LDA 97.6 8x8 4.27 (2D)2PCALDA 97.7 10 x 10 4.53 Bảng 4.2: So sánh phƣơng pháp tiếp cận khác độ xác cơng nhận sở liệu ORL [10] Số lượng mẫu huấn luyện lớp Phương pháp 2D - PCA (2D)2PCA (2D)2LDA (2D)2PCALDA 89.75 95.75 98.50 99.25 (112 x 3) (112 x 3) (112 x 6) (112 x 5) 88.75 95.00 98.50 99.50 (9 x 9) (11 x 11) (7 x 7) (5 x 5) 89.25 96.00 98.75 99.75 (7 x 7) (11 x 11) (8 x 8) (5 x 5) 89.29 95.20 98.76 99.77 (8 x 8) (10 x 10) (7 x 7) (6 x 6) 26 Bảng 4.3: So sánh năm phƣơng pháp sở liệu YALE [10] Phương pháp Độ xác (%) Thời gian(s) Kích thước mẫu (thử nghiệm năm ảnh cho lớp) 2D - PCA 86.67 100 x 10.84 (2D)2PCA 89.72 5x5 4.76 (2D)2LDA 90.85 8x8 5.27 (2D)2PCALDA 92.16 9x9 5.56 Bảng 4.4: So sánh phƣơng pháp tiếp cận khác độ xác cơng nhận sở liệu YALE [10] Số lượng mẫu huấn luyện lớp Phương pháp 2D - PCA (2D)2PCA (2D)2LDA (2D)2PCALDA 67.58 84.42 90.08 94.31 (32 x 3) (32 x 3) (32 x 4) (32 x 5) 68.27 88.63 90.14 95.94 (7 x 7) (9 x 9) (7 x 7) (6 x 6) 65.18 89.35 91.32 95.15 (6 x 6) (10 x 10) (9 x 9) (5 x 5) 74.12 91.47 93.94 96.33 (8 x 8) (11 x 11) (8 x 8) (7 x 7) 27 4.3 Kết thực nghiệm: Kết khảo sát 45 sinh viên lớp học, sinh viên 10 ảnh, ảnh thu với nhiều tư khác nhau, kết thu sau: Bảng 4.5: Kết độ xác phần mềm thực tế áp dụng lớp học Ngƣỡng Tổng Số lƣợng Số lƣợng Số lƣợng Thời gian Độ Chính số SV ảnh nhận ảnh nhận ảnh khơng nhận sai xác định SV (s) xác (%) xác (%) 70 45 43 0.1 95.6 80 45 43 1 0.1 95.6 90 45 43 0.1 95.6 Thực nghiệm với số lượng sinh viên 45 người số ảnh nhận dạng 43, từ kết độ xác tính (43/45)*100% cho ta kết xác 95% giúp cho ta xác định độ xác thuật toán kết hợp phương pháp Gabor Cong phương pháp (2D)2LDA 28 KẾT LUẬN VÀ KIẾN NGHỊ Bài toán nhận dạng mặt người tự động toán nhiều tác giả nghiên cứu áp dụng phương pháp khác cho kết nhận dạng xác cao Tuy nhiên toán nhận dạng mặt người gặp nhiều thách thức ảnh mặt người chịu tác động ánh sáng, tư ảnh, thời gian xử lý, xây dựng thực nghiệm để đánh giá số lượng xác, bên cạnh phải xem xét số lượng khơng xác phương pháp Trong đề tài này, hệ thống nhận dạng mặt người xây dựng đánh giá hiệu sở liệu ảnh mặt người ORL Thông qua kết thống kê so sánh kết hợp phương pháp (2D)2LDA Gabor Cong với phương pháp nhận mặt khn mặt khác kết đề xuất có độ xác cao 95% Đặc biệt phương pháp đề xuất cho kết tốt khn mặt có hướng nhìn thẳng Với tốn nhận dạng có thu hoạch việc nhận dạng khn mặt thời gian có hạn với việc xử lý công việc lớn nên đề tài có hạn chế mặt ý tưởng chưa thực hết Định hƣớng nghiên cứu phát triển tiếp theo: Sau nghiên cứu xong luận văn em đưa số nghiên cứu như:  Đối với liệu học: cần tăng số mẫu học số người hệ thống nhận dạng  Đối với dị tìm khn mặt: cần nghiên cứu phương pháp dị tìm khn mặt ảnh hưởng mơi trường giải tốn khn mặt nhìn nghiêng hay bị che khuất phần  Nghiên cứu cấu trúc khuôn mặt phương pháp nhận dạng khuôn mặt chuyển động video, ảnh động ... liệu lớp học: Danh sách sinh viên lớp học thêm cách nhập tay kèm theo việc chụp ảnh sinh viên Ngồi cịn thêm danh sách sinh viên thông qua file Excel tải từ sở liệu nhà trường (lọc theo mã số sinh. .. mã số sinh viên) Sau ta chọn sinh viên cập nhật ảnh Quy trình điểm danh: Tại buổi học, giảng viên chọn lọc liệu sinh viên lớp Yêu cầu sinh viên đứng trước camera để nhận dạng (sinh viên thực thay... khảo sát 45 sinh viên lớp học, sinh viên 10 ảnh, ảnh thu với nhiều tư khác nhau, kết thu sau: Bảng 4.5: Kết độ xác phần mềm thực tế áp dụng lớp học Ngƣỡng Tổng Số lƣợng Số lƣợng Số lƣợng Thời