Nghiên cứu nhận dạng khuôn mặt xây dựng hệ thống phục vụ điểm danh

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG CAO PHI HÙNG NGHIÊN CỨU NHẬN DẠNG KHUÔN MẶT XÂY DỰNG HỆ THỐNG PHỤC VỤ ĐIỂM DANH Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT ĐÀ NẴNG - 2016 Cơng trình hoàn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: TS Phạm Minh Tuấn Phản biện 1: TS Huỳnh Cơng Pháp Phản biện 2: TS Hồng Quang Luận văn bảo vệ Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Kỹ thuật họp Đại học Đà Nẵng vào ngày 25 tháng năm 2016 Có thể tìm Luận văn tại: Trung tâm Thơng tin - Học liệu, Đại học Đà Nẵng MỞ ĐẦU Lý chọn đề tài Ngày nay, với phát triển bùng nổ ngành công nghệ thông tin đưa người tiến dần đến kỷ nguyên mới, kỷ nguyên tin học hóa đời sống Hầu hết lĩnh vực áp dụng công nghệ thông tin Từ lĩnh vực đơn giản mua bán hàng hóa lĩnh vực phức tạp điều khiển tự động ứng dụng công nghệ thông tin Dường công nghệ thơng tin len lõi vào ngóc ngách sống, đưa người đến sống chất lượng Tin học giúp người làm việc hiệu hơn, suất cao mà tiết kiệm nhiều thời gian so với làm thủ công Mục tiêu nhà nước ta tin học hóa hầu hết lĩnh vực, đặc biệt cơng tác quản lý Để làm việc nhà khoa học cố gắng nghiên cứu để tạo hệ thống phục vụ cho công việc Bây giờ, hầu hết công việc công tác quản lý ứng dụng công nghệ thông tin Tuy nhiên, lĩnh vực quản lý quan trọng áp dụng cơng nghệ thơng tin công tác điểm danh quản lý đào tạo Cho đến bây giờ, việc làm thực cách thủ công trường học hay sở đào tạo Từ lý chọn đề tài: “nghiên cứu nhận dạng khuôn mặt – xây dựng hệ thống phục vụ điểm danh” Mục tiêu nhiệm vụ Mục tiêu: Xây dựng hệ thống website điểm danh học viên dựa phương pháp nhận dạng khuôn mặt Áp dụng phương pháp học máy nhằm cải tiến, nâng cao chất lượng công việc tự động điểm danh hệ thống Nhiệm vụ: Để đạt mục tiêu nhiệm vụ đặt đề tài là: - Nghiên cứu phương pháp xử lý ảnh, nhận dạng khuôn mặt, phương pháp học máy - Phát biểu, phân tích cài đặt giải thuật cho toán đặt - Phân tích, thiết kế, xây dựng website điểm danh dựa phương pháp nhận dạng khuôn mặt kiến thức học máy - Đánh giá kết theo yêu cầu đề tài Đối tƣợng phạm vi nghiên cứu Trong khuôn khổ luận văn thuộc loại nghiên cứu ứng dụng, giới hạn nghiên cứu vấn đề sau: - Phương pháp xử lý ảnh - Phương pháp nhận dạng khuôn mặt - Các phương pháp học máy - Giải thuật liên quan dùng để nâng cao hiệu nhận dạng khuôn mặt Phƣơng pháp nghiên cứu Phƣơng pháp lý thuyết: - Tiến hành thu thập nghiên cứu tài liệu có liên quan đến đề tài - Nghiên cứu lý thuyết xử lý ảnh - Nghiên cứu phương pháp học máy - Nghiên cứu giải thuật liên quan đến toán nhận dạng khuôn mặt Phƣơng pháp thực nghiệm: - Nghiên cứu khai thác công cụ phần mềm IntelliJ framework Spring Boots - Cài đặt giải thuật nhận dạng khuôn mặt - Kiểm tra, thử nghiệm, nhận xét đánh giá kết Ý nghĩa khoa học thực tiễn đề tài Ý nghĩa khoa học: - Áp dụng phương pháp học máy nâng cao chất lượng việc nhận dạng khn mặt - Kết làm tài liệu tham khảo cho lập trình viên, đơn vị phát triển phần mềm, học viên – sinh viên việc nghiên cứu nhận dạng khuôn mặt ứng dụng phương pháp học máy Ý nghĩa thực tiễn: - Đề xuất giải pháp góp phần tăng hiệu việc quản lý đào tạo học sinh, sinh viên nhằm hạn chế tượng trốn học, học hộ Bố cục luận văn Với mục tiêu đặt trên, nội dung kết nghiên cứu luận văn trình bày sau: Cấu trúc luận văn gồm chương, sau phần mở đầu giới thiệu lý chọn đề tài, mục tiêu nhiệm vụ, đối tượng phạm vi nghiên cứu, phương pháp nghiên cứu, phương pháp đề xuất triển khai, đánh giá kết Chƣơng CƠ SỞ LÝ THUYẾT Chƣơng PHƢƠNG PHÁP ĐỀ XUẤT Chƣơng TRIỂN KHAI VÀ ĐÁNH GIÁ KẾT QUẢ CHƢƠNG CƠ SỞ LÝ THUYẾT 1.1 TỔNG QUAN VỀ XỬ LÝ ẢNH 1.1.1 Khái quát xử lý ảnh 1.1.2 Quy trình xử lý ảnh tổng quát a Phần thu nhận ảnh b Tiền xử lý c Phân đoạn hay phân vùng ảnh d Mô tả ảnh e Nhận dạng nội suy ảnh 1.1.3 Các khái niệm liên quan a Điểm ảnh (Picture Element) b Độ phân giải ảnh c Mức xám (Gray level) 1.2 PHƢƠNG PHÁP NHẬN DẠNG KHUÔN MẶT NGƢỜI 1.2.1 Định nghĩa tốn xác định khn mặt ngƣời 1.2.2 Ứng dụng phƣơng pháp xác định khuôn mặt ngƣời 1.2.3 Phƣơng pháp xác định khuôn mặt ngƣời a Hướng tiếp cận dựa tri thức b Hướng tiếp cận dựa đặc trưng không thay đổi c Hướng tiếp cận dựa so khớp mẫu d Hướng tiếp cận dựa diện mạo 1.2.4 Nhận dạng khuôn mặt Nhận dạng khuôn mặt khái niệm mẻ, phát triển vào năm 60 kỷ trước Thuật tốn nhận diện khn mặt chia làm hai loại hình học (geometric) trắc quang (photometric) Hình học nhận diện khn mặt dựa đặc trưng khuôn mặt mắt, mũi, miệng, gò má; trắc quang phương pháp biến hình ảnh thành giá trị so sánh với giá trị mẫu để nhận diện 1.3 TỔNG QUAN VỀ HỌC MÁY 1.3.1 Khái quát học máy Học máy (còn gọi Máy học) lĩnh vực trí tuệ nhân tạo liên quan đến việc phát triển kĩ thuật cho phép máy tính "học" Cụ thể hơn, học máy phương pháp để tạo chương trình máy tính việc phân tích tập liệu Học máy có liên quan lớn đến thống kê, hai lĩnh vực nghiên cứu việc phân tích liệu, khác với thống kê, học máy tập trung vào phức tạp giải thuật việc thực thi tính tốn Nhiều tốn suy luận xếp vào loại tốn khó, phần học máy nghiên cứu phát triển giải thuật suy luận xấp xỉ mà xử lí 1.3.2 Phƣơng pháp học khơng giám sát (Unsupervised Learning) 1.3.3 Phƣơng pháp học có giám sát (Supervised Learning) 1.3.4 Phƣơng pháp học bán giám sát (Semi-Supervised Learning) 1.3.5 Phƣơng pháp học tăng cƣờng (Reinforcement learning) a Khái niệm học tăng cường Học tăng cương phương pháp máy tính đưa định hành động (action) nhận kết phản hồi (response/reward) từ môi trường (environment) Sau máy tính tìm cách chỉnh sửa cách định hành động 1.4 KẾT CHƢƠNG Trong chương có nhìn tổng quan vấn đề liên quan xử lý ảnh, nhận dạng học máy Qua chương trình bày chi tiết phương pháp đề xuất xây dựng hệ thống phục vụ điểm danh trường học hay sở đào tạo CHƢƠNG PHƢƠNG PHÁP ĐỀ XUẤT 2.1 PHÂN TÍCH BÀI TỐN 2.1.1 Đặt vấn đề Theo biết nước ta nay, việc quản lý điểm danh thực tay Công việc nhiều thời gian công sức giáo viên, học viên người quản lý đào tạo Để giải vấn đề này, hệ thống hay chương trình điểm danh tự động điểm danh cấp thiết Với công tác quản lý điểm danh sinh viên thủ công truyền thống có mặt hạn chế như:  Việc quản lý thủ công tốn nhiều thời gian nhân nhà trường giáo viên  Quản lý thủ công giảm số lượng bỏ học gian lận điểm danh  Thiếu giao tiếp, truyền thơng trực tiếp gia đình nhà trường  Vấn đề bỏ học, trốn học, vắng mặt xác định xảy sau thời gian dài 2.1.2 Phát biểu toán Giáo viên nhân viên nhà trường tải ảnh lớp học lên hệ thống điểm danh từ camera lớp học từ thiết bị chụp ảnh trang bị trước Sau nhận hình ảnh, người dùng phân quyền điểm danh hệ thống chọn chức tự động điểm danh cài đặt thời gian điểm danh tự động cho hệ thống Sau có kết điểm danh, học viên giáo viên xem xét kết điểm danh Nếu kết điểm danh dựa nhận dạng khn mặt có sai sót, học viên điều chỉnh lại kết điểm danh thơng qua việc rõ vị trí khn mặt hình ảnh buổi học đầu vào Hệ thống lưu lại thông tin để sửa đổi kết điểm danh cho học viên nâng cao chất lượng điểm danh cho lầm điểm danh sau việc điều chỉnh lại thông số so sánh 2.1.3 Giới hạn vấn đề giải toán Điểm danh dựa việc nhận dạng khuôn mặt vấn đề khó đòi hỏi phải có khoảng thời gian tương đối dài để giải Các vấn đề cần giải hệ thống phục vụ điểm danh cách tự động như: Nhận dạng khuôn mặt học viên, lưu trữ thông tin tham gia lớp học, buổi học học viên Hệ thống phục vụ điểm danh mà giới thiệu lần giải phần lớn vấn đề Để hệ thống phục vụ điểm danh hoạt động tốt, người nhập liệu cần phải cung cấp thông tin liên quan đến việc học viên tham gia lớp học, thông tin buổi học lớp học Đặc biệt, để giải vấn đề điểm danh dựa nhận dạng khn mặt có sai sót nâng cao chất lượng điểm danh cho lần cần phải có tham gia điều chỉnh kết giáo viên học viên 2.2 PHƢƠNG PHÁP ĐỀ XUẤT 2.2.1 Giới thiệu Nhận dạng mặt người cách dễ dàng mà người sử dụng để phân biệt người với người Tuy nhiên, công việc dễ dàng người lại khó để thể cơng thức tốn học Cùng với phát triển tốn học khoa học máy tính, vấn đề nhận dạng mặt người có điều kiện thuận lợi để giải 10 Hình 2.2 Sơ đồ xử lý tổng quát hệ thống phục vụ điểm danh 11 2.2.2 Thu nhận phân tích ảnh Đầu vào khối: Ảnh lấy từ camera phòng học người dùng tải lên lên hệ thống Đầu khối: Danh sách ma trận mức xám học viên cần nhận dạng điểm danh Khối sử dụng thư viện mã nguồn mở OpenCV để tách lấy khn mặt học viên từ hình ảnh đầu Trong hệ thống phục vụ điểm danh này, sau có hình ảnh khn mặt học viên từ hình ảnh buổi học, ta chuyển đổi hình ảnh từ ảnh 24 bits RGB sang ảnh bits Grayscale cách sử dụng công thức sau: I(x, y) = 0.299 x Red(x, y) + 0.587 x Green(x, y) + 0.114 x Blue(x, y) Trong đó:  I(x, y): Là cường độ sáng điểm ảnh (x, y) ảnh xám  Red(x, y): Là giá trị kênh màu Red (Đỏ) điểm ảnh (x,y) ảnh màu (RGB)  Green(x, y): Là giá trị kênh màu Green (Xanh cây) điểm ảnh (x, y) ảnh màu (RGB)  Blue(x, y): Là giá trị kênh màu Blue (Xanh lơ) điểm ảnh (x, y) ảnh màu (RGB) (a) (b) Hình 2.3 Quá trình thu thập tách đối tượng khỏi ảnh a - Ảnh chứa đối tượng b - Ảnh kết 12 Hình 2.4 Sơ đồ xử lý khối thu nhận phân tích ảnh 2.2.3 Q trình nhận dạng ƣớc lƣợng Đầu vào khối: Danh sách ma trận mức xám hình ảnh khn mặt học viên cần nhận dạng 13 Đầu khối: Trả lời đối tượng học viên danh sách cần so sánh tham gia hay vắng mặt buổi học Khối sử dụng phương pháp tính khoảng cách để tính tốn ước lượng tương đương, gần ma trận mức xám khuôn mặt học viên cần so sánh với ma trận mức xám trung bình học viên lớp học Với ma trận Ak ma trận ma trận mức xám trung bình khn mặt học viên có sở liệu Ma trận C ma trận mức xám hình ảnh khuôn mặt học viên cần so sánh Cả hai ma trận có kích thước m x n Để tính khoảng cách tương đồng d hai ma trận mức xám, ta dùng cơng thức tính khoảng cách Euclidean sau: ( ) √∑ ∑( ) Hoặc cơng thức tính tốn khoảng cách Manhattan: ( ) ∑ ∑| | Nếu khoảng cách d nhỏ hai hình ảnh khn mặt tương đồng với tức học viên Công thức gán nhãn cho ảnh có khn ma trận C là: ̂ Từ đó, hệ thống trả lời học viên lớp học có tham gia buổi học hay khơng dựa hình ảnh buổi học đầu vào 14 Hình 2.5 Sơ đồ xử lý khối nhận dạng ước lượng 15 2.2.4 Xử lý kết Đầu vào khối: Kết việc điểm danh dựa việc nhận dạng khuôn mặt giai đoạn nhận dạng ước lượng Đầu khối: Kết cuối việc điểm danh Khối sử dụng phương pháp tính ma trận trung bình để tính ma trận mức xám trung bình hình ảnh khn mặt học viên phục vụ cho việc so sánh điểm danh kết điểm danh đầu vào có sai sót người sử dụng hệ thống điều chỉnh Sau có kết điểm danh dựa việc nhận dạng khn mặt giáo viên học viên đăng nhập vào hệ thống để kiểm tra hệ thống điểm danh có xác hay khơng Nếu việc điểm danh dựa nhận dạng khuôn mặt xảy sai sót giáo viên học viên điều chỉnh lại kết cách chọn khn mặt học viên hình ảnh buổi học Sau hệ thống ghi nhận kết điểm danh tính tốn lại ma trận mức xám trung bình học viên chọn Gọi N số ảnh khuôn mặt học viên chọn, ảnh có kích thước m x n S = {A1, A2, A3, A4, A5… An} Trung bình cộng N ảnh tính theo cơng thức sau: ∑ Sau tính ảnh trung bình ảnh này, kết lưu vào sở liệu ảnh đầu vào so sánh với ảnh trung bình 16 Hình 2.6 Sơ đồ xử lý khối xử lý kết 17 2.3 XÂY DỰNG CHƢƠNG TRÌNH 2.3.1 Mơ hình website MVC Hình 2.7 Mơ hình hoạt động mơ hình MVC hệ thống phục vụ điểm danh Hình thể mơ hình MVC hệ thống phục vụ điểm danh hoạt động theo quy trình sau: Người dùng sử dụng BROWSER trình duyệt web (Firefox, Chrome, IE,…) để gửi yêu cầu (HTTP Request) kèm theo liệu nhập tới CONTROLLER xử lý tương ứng Việc xác định Controllerr xử lý dựa vào Routing điều hướng Khi CONTROLLER nhận yêu cầu gửi tới, chịu trách nhiệm kiểm tra yêu cầu có cần liệu từ MODEL hay khơng? Nếu có, sử dụng class/function cần thiết MODEL trả kết quả, CONTROLLER xử lý giá trị trả VIEW để hiển thị CONTROLLER xác định VIEW tương ứng để hiển thị với yêu cầu 18 Khi nhận liệu từ CONTROLLER, VIEW chịu trách nhiệm xây dựng thành phẩn hiển thị hình ảnh, thông tin liệu… trả GUI Content để CONTROLLER đưa kết lên hình BROWSER BROWSER nhận giá trị trả về( HTTP Response) hiển thị với người dùng Kết thúc quy trình hoạt động 2.3.2 Thiết kế sở liệu a Mơ tả b Thiết kế bảng liệu Hình 2.8 Mơ hình quan hệ bảng hệ thống 19 Vì đề tài bị giới hạn lại nên phần thiết kế bảng chưa thực đầy đủ thông tin lợp lý so với sở liệu hoàn chỉnh Các bảng tạo có tính tương đối để phục vụ cho hệ thống phục vụ điểm danh 2.4 KẾT CHƢƠNG Trong chương có nhìn tổng qt chi tiết vấn đề giải pháp sử dụng hệ thống phục vụ điểm danh Qua chương trình bày chi tiết bước sử dụng chương trình đánh giá kết đạt chương trình 20 CHƢƠNG TRIỂN KHAI VÀ ĐÁNH GIÁ KẾT QUẢ 3.1 MÔI TRƢỜNG TRIỂN KHAI Chương trình ứng dụng tảng web với Java 7, Apache Tomcat OpenCV 3.1 3.2 GIỚI THIỆU CHƢƠNG TRÌNH 3.2.1 Giới thiệu chức chƣơng trình Hệ thống phục vụ điểm danh thực tế có nhiều chức Sau chức xây dựng đề tài Hệ thống có chức sau:  Trợ giúp cho người sử dụng tạo buổi học, giám sát tình hình học học viên  Tải lên lưu trữ hình ảnh buổi học lớp học hệ thống phục vụ điểm danh  Điểm danh tự động dựa việc nhận dạng khuôn mặt  Học viên giáo viên tham gia điểm danh, sửa đổi kết điểm danh có sai sót 3.2.2 Triển khai chƣơng trình 3.3 KẾT QUẢ THỰC NGHIỆM 3.3.1 Kết thực nghiệm chƣơng trình Vì khơng có điều kiện khảo sát thực nghiệm lớp học thực tế, nên hệ thống khảo sát thực nghiệm quy mô nhỏ với liệu nhỏ a So sánh khoảng cách Euclidean Manhattan Để tìm phương án nhận dạng tốt cho hệ thống, thực việc chạy chương trình với hai cơng thức tính khoảng cách 21 thường sử dụng để tính toán tương đồng Euclidean Manhattan Trên liệu ảnh giống bao gồm người đại diện cho học viên lấy hình khoảng thời gian gần kề buổi học buổi học cách gần nhau, ta có kết sau: Bảng 3.1 So sánh thực nghiệm công thức Euclidean Số ảnh thực nghiệm 10 Manhattan Euclidean 0/6 (0%) 3/6 (50%) 5/6 (83.3%) 4/6 (66.7%) 5/6 (83.3%) 6/6 (100%) Manhattan 0/6 (0%) 2/6 (33.3%) 4/6 (66.7%) 4/6 (66.7%) 5/6 (83.3%) 6/6 (100%) Dựa vào bảng trên, thấy kết nhận dạng công thức Euclidean hay Manhattan khơng q khác Ngồi thời gian thực việc nhận dạng với Euclidean 4s699ms Manhattan 4s660ms khơng chênh lệch q nhiều Do đó, việc sử dụng công thức Euclidean hay Manhattan không ảnh hưởng nhiều đến hệ thống b Thực nghiệm môi trường thực tế Với liệu ảnh đầu vào khác gồm người đại diện cho học viên khác Trong có học viên xuất nhiều hình ảnh đại diện cho học viên học chuyên cần, có học viên xuất đại diện cho học viên học khơng chun cần Các hình ảnh đầu vào chụp nhiều góc độ trường hợp khác Ta có bảng kết sau: 22 Bảng 3.2 Kết thực nghiệm môi trường thực tế Số lần thƣ Số lần điều Số lần viện chỉnh kết điểm OpenCV xác điểm danh tự định đƣợc danh tự động khuôn mặt động xác học viên Học viên 23 20 17 Học viên 21 19 16 Học viên 19 16 13 Học viên 15 14 11 Dựa vào bảng trên, thấy kết nhận Số lần học viên xuất ảnh dạng phụ thuộc lớn vào việc xác định khuôn mặt thư viện OpenCV số lần học viên tham gia điều chỉnh kết điểm danh xảy sai sót Khi thư viện OpenCV xác định khuôn mặt học viên hình ảnh kết điểm danh xác từ 78% trường hợp học viên đến 85% trường hợp học viên 3.3.2 Nhận xét Một điều dễ dàng nhận thấy trình thực nghiệm chất lượng hình ảnh ảnh hưởng lớn đến hiệu việc nhận dạng thư viện OpenCV Đối với ảnh có chất lượng thấp, hướng mặt nghiêng, ảnh bị chói chất lượng việc xác định khn mặt dẫn đến tỷ lệ xác việc điểm danh tự động không cao 23 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Trong phạm vi luận văn trình bày giải pháp cụ thể cho việc xây dựng hệ thống phục điểm danh dự việc nhận dạng khuôn mặt Hệ thống đạt số kết sau:  Hệ thống dễ sử dụng thực việc điểm danh lớp học nhanh chóng với độ xác cao  Hệ thống cho phép lưu trữ đầy đủ thơng tin, hình ảnh người sử dụng hệ thống tải lên  Hệ thống sử dụng tảng web nên chạy hầu hết với mơi trường máy tính khác  Dễ dàng nâng cấp tính cao cấp sau MỘT SỐ VẤN ĐỀ HẠN CHẾ VÀ HƢỚNG PHÁT TRIỂN: Hạn chế:  Phần thiết kế cho giao diện chương trình đơn giản, chức so với nhu cầu thực tế  Nếu chạy thực tế cần phải có hệ thống máy tính có cấu hình mạnh tốc độ xử lý cao  Ở phần nhận dạng, chương trình chưa giải vấn đề xác định khuôn mặt thư viện OpenCV xác định đầy đủ khuôn mặt Hƣớng phát triển:  Nghiên cứu nâng cao chất lượng việc xác định nhận dạng khuôn mặt học viên 24  Giao diện chương trình đẹp có nhiều chức để đáp ứng phần yêu cầu người sử dụng  Mở rộng nhận dạng tất lĩnh vực có liên quan đến quản lý đào tạo  Xử lý ảnh bị biến dạng, bị dơ, ảnh chất lượng Hệ thống phát triển tương tác với tất hệ quản trị sở liệu ... tác điểm danh quản lý đào tạo Cho đến bây giờ, việc làm thực cách thủ công trường học hay sở đào tạo Từ lý chọn đề tài: nghiên cứu nhận dạng khuôn mặt – xây dựng hệ thống phục vụ điểm danh Mục... phương pháp nhận dạng khuôn mặt kiến thức học máy - Đánh giá kết theo yêu cầu đề tài Đối tƣợng phạm vi nghiên cứu Trong khuôn khổ luận văn thuộc loại nghiên cứu ứng dụng, giới hạn nghiên cứu vấn đề... cho hệ thống Sau có kết điểm danh, học viên giáo viên xem xét kết điểm danh Nếu kết điểm danh dựa nhận dạng khuôn mặt có sai sót, học viên điều chỉnh lại kết điểm danh thơng qua việc rõ vị trí