Nghiên cứu thư viện opencv (open source computer vision) ứng dụng nhận dạng khuôn mặt nghiên cứu khoa học

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC SINH VIÊN NGHIÊN CỨU THƯ VIỆN OPENCV(OPEN SOURCE COMPUTER VISION) ỨNG DỤNG NHẬN DẠNG KHUÔN MẶT TP Hồ Chí Minh, 04/2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC SINH VIÊN NGHIÊN CỨU THƯ VIỆN OPENCV(OPEN SOURCE COMPUTER VISION) ỨNG DỤNG NHẬN DẠNG KHUÔN MẶT Chủ nhiệm đề tài: Võ Hồng Thiện Khoa: Cơng Nghệ Thơng Tin Các thành viên: Người hướng dẫn:ThS Võ Thị Hồng Tuyết TP Hồ Chí Minh, 04/2018 MỤC LỤC DANH MỤC HÌNH ẢNH VÀ BẢNG BIỂU .3 DANH MỤC THUẬT NGỮ TIẾNG ANH VÀ TỪ VIẾT TẮT LỜI MỞ ĐẦU 10 CHƯƠNG I : TỔNG QUAN ĐỀ TÀI 11 1.1 Giới thiệu 11 1.2 Mục tiêu phương pháp nghiên cứu .12 1.2.1 Mục tiêu nghiên cứu 12 1.2.2 Phương pháp nghiên cứu 12 1.3 Đối tượng phạm vi nghiên cứu .12 1.3.1 Đối tượng nghiên cứu 12 1.3.2 Phạm vi nghiên cứu .12 1.4 Đóng góp nghiên cứu 13 1.4.1 Đóng góp khoa học .13 1.4.2 Đóng góp xã hội 13 CHƯƠNG II: CƠ SỞ LÝ THUYẾT 14 2.1 Tổng quan hệ thống nhận dạng mặt người 14 2.2 Thuật toán PCA(Principal Components Analysis) 15 2.2.1 Sơ lược thuật toán PCA 15 2.2.2 Ưu điểm PCA 15 2.2.3 Khuyết điểm PCA 16 2.3 Áp dụng kỹ thuật PCA nhận dạng khuôn mặt .16 2.3.1 Trích chọn đặc trưng PCA 16 2.3.2 Nhận dạng khuôn mặt dựa đặc trưng PCA 23 CHƯƠNG III: HIỆN THỰC HỆ THỐNG .25 3.1 Đặt vấn đề 25 3.2 Tổng quan phương pháp đề xuất 25 3.3 Tạo tập liệu tính tốn liên quan .27 3.4 Nhận dạng xuất kết 30 3.5 Chương trình 31 3.5.1 Giao diện chương trình .31 3.5.2 Hoạt động chương trình .33 CHƯƠNG IV: KẾT QUẢ ĐẠT ĐƯỢC 45 4.1 Sự khác khoảng cách số lượng vector thay đổi .45 4.2 Đánh giá độ xác chương trình 46 CHƯƠNG V: KẾT LUẬN 48 5.1 Ưu điểm .48 5.2 Hạn chế 48 5.3 Hướng phát triển 48 Tài Liệu Tham Khảo: 49 DANH MỤC HÌNH ẢNH VÀ BẢNG BIỂU Hình 2.1 Tổng quát hệ thống nhận dạng 14 Hình 2.3a Các ảnh huấn luyện 16 Hình 2.3b Biểu diễn ảnh Ii thành vector Γi 17 Hình 3.2a Lược đồ giai đoạn Tạo tập liệu tính tốn cần thiết 25 Hình 3.2b Lược đồ giai đoạn Nhận diện xuất kết 26 Hình 3.3a Một phần tập ảnh huấn luyện 27 Hình 3.3b Một phần file thông tin huấn luyện 28 Hình 3.3c Một phần tập ảnh huấn luyện chuẩn hóa 29 Hình 3.3d Ảnh trung bình tập ảnh huấn luyện 29 Hình 3.3e Mơ hình trích chọn K đặc trưng từ M ảnh huấn luyện 30 Hình 3.4a Giao diện chương trình 31 Hình 3.4b Giao diện thơng tin chương trình 32 Hình 3.4c Tab thêm liệu chương trình 33 Hình 3.4d Giao diện thêm liệu chương trình 34 Hình 3.4z Giao diện mở file chương trình 35 Hình 3.4e Giao diện thêm hủy ảnh chương trình 35 Hình 3.4f Giao diện thêm ảnh thành cơng chương trình 36 Hình 3.4g Giao diện thơng báo chương trình 37 Hình 3.4i Giao diện chụp ảnh chương trình 38 Hình 3.4k Giao diện thêm liệu từ camera chương trình 38 Hình 3.4l Giao diện thơng báo chương trình 39 Hình 3.4m Giao diện điểm danh chương trình 39 Hình 3.4n Giao diện hiển thị kết chương trình 40 Hình 3.4o Giao diện xóa sinh viên chương trình 40 Hình 3.4p Giao diện sau xóa chương trình 41 Hình 3.4q Giao diện xóa tất chương trình 41 Hình 3.4r Giao diện kết sau xóa chương trình 42 Hình 3.4t Giao diện lưu file chương trình 43 Hình 3.4s Giao diện lưu file excel chương trình 43 Hình 3.4e Giao diện chương trình 44 Bảng 4.1 Khoảng cách thay đổi theo số lượng eigenface 45 Bảng 4.2 Độ xác thay đổi theo số lượng eigenface 46 DANH MỤC THUẬT NGỮ TIẾNG ANH VÀ TỪ VIẾT TẮT Từ viết tắt/ ký hiệu – từ tiếng Anh Từ đầy đủ OpenCV Open Sourse Computer Vision EmguCV Là cross flatform NET, thư viện xử lý hình ảnh dành riêng cho C#(C Sharp) Cho phép gọi chức OpenCV PCA Principal Component Analysis – phép phân tích thành phần LDA Linear Discriminate Analysis – phân tích biệt tuyến tính MSL Multilinear Subspace Learning - luyện nhớ không gian đa tuyến EBG Elastic Bunch Graph Matching – phương pháp sử dụng thuật toán Fisherface C#(C Sharp) Ngơn ngữ lập trình C Sharp Eigenvector Vector riêng vi ma trận vuông AT.A Eigenface Vector sở không gian BỘ GIÁO DỤC VÀ ĐÀO TẠO CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC MỞ Độc lập - Tự - Hạnh phúc THÀNH PHỐ HỒ CHÍ MINH THƠNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: Nghiên cứu thư viện OpenCV (Open Source Computer Vision) ứng dụng nhận dạng khuôn mặt - Sinh viên thực hiện: Võ Hoàng Thiện - Lớp: DH16TH03 Năm thứ: 02 Khoa: Công Nghệ Thông Tin Số năm đào tạo: 04 - Người hướng dẫn:ThS Võ Thị Hồng Tuyết Mục tiêu đề tài: + Nghiên cứu thư viện EmguCV với thuật toán PCA để giải tốn nhận dạng + Nâng cao trình độ kiến thức làm việc với ngôn ngữ C# + Rèn luyện cách tiếp cận giải vấn đề, nâng cao khả tự nghiên cứu tài liệu Tính sáng tạo: + Tự động đưa ảnh cần nhận dạng kích thước phù hợp ta thực thao tác quét ảnh nhận dạng vào chương trình ảnh nhỏ so với yêu cầu thuật tốn + Nhận dạng mặt người thơng qua đoạn video lấy từ camera webcam máy tính Kết nghiên cứu: + Đã áp dụng thuật toán PCA để giải toán đặt Đóng góp mặt kinh tế - xã hội, giáo dục đào tạo, an ninh, quốc phòng khả áp dụng đề tài: + Đóng góp khoa học: áp dụng thuật toán PCA kết hợp thư viện mã nguồn mở EmguCV vào toán nhận dạng khn mặt + Đóng góp xã hội: Đề tài nghiên cứu giúp trường Đại học giảm bớt nhân cơng, chi phí phải điểm danh sau buổi học kiện trường, giúp cho việc quản lý sinh viên chặt chẽ thơng qua nâng cao chất lượng học tập sinh viên Ngồi đề tài nhân rộng áp dụng rộng rãi công ty, xí nghiệp, sử dụng cho mục đích an ninh Cơng bố khoa học sinh viên từ kết nghiên cứu đề tài (ghi rõ tên tạp chí có) nhận xét, đánh giá sở áp dụng kết nghiên cứu (nếu có): Ngày tháng năm Sinh viên chịu trách nhiệm thực đề tài (ký, họ tên) Nhận xét người hướng dẫn đóng góp khoa học sinh viên thực đề tài (phần người hướng dẫn ghi): Ngày tháng năm Xác nhận đơn vị Người hướng dẫn (ký tên đóng dấu) (ký, họ tên) BỘ GIÁO DỤC VÀ ĐÀO TẠO CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC MỞ Độc lập - Tự - Hạnh phúc THÀNH PHỐ HỒ CHÍ MINH THƠNG TIN VỀ SINH VIÊN CHỊU TRÁCH NHIỆM CHÍNH THỰC HIỆN ĐỀ TÀI I SƠ LƯỢC VỀ SINH VIÊN: Họ tên: Võ Hoàng Thiện Sinh ngày: 16 tháng 06 năm 1998 Nơi sinh: Đồng Nai Lớp: DH16TH03 Khóa: 2016 x6 Khoa: Công Nghệ Thông Tin Địa liên hệ: ấp – La Ngà – Định Quán – Đồng Nai Điện thoại: 01684850252 Email: 1651012179thien@ou.edu.vn II QUÁ TRÌNH HỌC TẬP (kê khai thành tích sinh viên từ năm thứ đến năm học): * Năm thứ 1: Ngành học: Khoa học máy tính Khoa: Cơng Nghệ Thơng Tin Kết xếp loại học tập: Khá Sơ lược thành tích: * Năm thứ 2: Ngành học: Khoa học máy tính Khoa: Cơng Nghệ Thơng Tin Kết xếp loại học tập: Khá Sơ lược thành tích: Hình 3.4z Giao diện mở file chương trình + Ảnh load lên chương trình phát khuôn mặt người ảnh cắt phần mặt người khỏi ảnh, chuyển thành ảnh xám hiển thị cho người dùng xem, sau người dùng điền đầy đủ thông tin chi tiết chọn Thêm liệu để thêm vào sở liệu, người dùng khơng muốn thêm nhấn vào nút Hủy để hủy 35 Hình 3.4e Giao diện thêm hủy ảnh chương trình + Chương trình thơng báo thêm ảnh thành công hỏi người dùng có muốn thêm ảnh người vừa nhập vào để nhận dạng tốt hay không Người dùng chọn No để chọn Yes để tiếp tục thêm ảnh người vừa nhập vào Hình 3.4f Giao diện thêm ảnh thành cơng chương trình + Nếu chương trình khơng phát mặt người ảnh hiển thị thong báo cho người dùng người dùng phải chọn lại ảnh 36 Hình 3.4g Giao diện thơng báo chương trình + Ngồi người dùng thêm ảnh phương pháp dùng camera cách nhấn vào nút Thêm từ camera, click vào nút Chụp để chọn ảnh đạt tiêu chuẩn 37 Hình 3.4i Giao diện chụp ảnh chương trình + Người dùng điền đầy đủ thơng tin chi tiết chọn Thêm liệu để thêm vào sở liệu, người dùng không muốn thêm nhấn vào nút Hủy để hủy Hình 3.4k Giao diện thêm liệu từ camera chương trình 38 + Và khơng có khn mặt ảnh người dùng cố tình nhấn nút chụp chương trình thơng báo cho người dùng phải chụp lại Hình 3.4l Giao diện thơng báo chương trình + Để thực điểm danh lưu file điểm danh ta chọn tab Điểm danh Hình 3.4m Giao diện điểm danh chương trình 39 + Tồn thơng tin sinh viên điểm danh lưu vào listbox Hình 3.4n Giao diện hiển thị kết chương trình + Để xóa sinh viên ta chọn vào sinh viên muốn xóa nhấn nút Xóa Hình 3.4o Giao diện xóa sinh viên chương trình 40 + Kết sau xóa Hình 3.4p Giao diện kết sau xóa chương trình + Người dùng chọn xóa tất để xóa hết danh sách Hình 3.4q Giao diện xóa tất chương trình 41 + Kết sau xóa hết danh sách Hình 3.4r Giao diện kết sau xóa chương trình + Sau người dùng có đầy đủ danh sách cần điểm danh lưu dạng file excel cách nhấn vào Lưu 42 Hình 3.4t Giao diện lưu file chương trình + Chương trình mở chương trình excel đổ liệu vào lưu file Hình 3.4s Giao diện lưu file excel chương trình 43 + Sau lưu file điểm danh hồn tất, để chương trình ta nhấn nút Thốt kết thúc chương trình Hình 3.4e Giao diện chương trình 44 CHƯƠNG IV: KẾT QUẢ ĐẠT ĐƯỢC 4.1 Sự khác khoảng cách số lượng vector thay đổi Tính tốn khoảng cách đến ảnh đến không gian ảnh thay đổi số lượng đặc trưng mặt K (eigenface) thay đổi điều dẫn đến việc nhận dạng khơng xác thời gian khơng thực tối ưu cho chương trình Để đơn giản trường hợp xảy để thay đổi khoảng cách số lượng vector thay đổi, ta chia ảnh đầu vào thành trường hợp sau: + Ảnh có tập mẫu(huấn luyện) + Ảnh khơng có tập mẫu, ảnh chưa thêm vào liệu + Ảnh khơng có mặt người Mỗi loại ảnh đầu vào ta cần tính tốn hai thơng số khoảng cách đến ảnh gần tập mẫu khoảng cách đến không gian ảnh Kết Bảng 4.1: Bảng 4.1: Khoảng cách thay đổi theo số lượng eigenface Số lượng Eigenface Khoảng cách đến ảnh gần Khoảng cách đến không tập mẫu gian mặt Đối với ảnh có sẵn tập huấn luyện 259.5 11630.0 10 530.1 11621.6 15 779.6 11519.0 20 1138.1 10230.5 Đối với ảnh khơng có tập huấn luyện 385.3 10986.0 10 796.4 10965.2 45 15 1194.4 10951.4 20 1520.0 9951.6 Đối với ảnh khơng có mặt người 1078.0 26750.1 10 2172.3 26489.2 15 3257.7 26386.2 20 5117.0 26200.3 + Nhận xét:  Khoảng cách đến ảnh gần tập mẫu tăng theo số lượng eigenface  Khoảng cách tới không gian ảnh giảm theo số lượng eigenface  Đối với ảnh có tập mẫu ảnh khơng có tập mẫu(ảnh chưa thêm vào liệu) ta nhận thấy khoảng cách đến không gian mặt không khác nhiều Tuy nhiên với khoảng cách đến ảnh gần tập mẫu có chênh lệch đáng kể 4.2 Đánh giá độ xác chương trình Để đánh giá độ xác chương trình ta thực nghiệm với ba loại ảnh trên, đáng giá theo số lượng ảnh nhận dạng, không nhận dạng khuôn mặt mặt Để kiểm tra kiểm thử với kiểm thử gồm 50 khn mặt bao gồm 30 ảnh có tập huấn luyện, 10 ảnh ảnh mới, 10 ảnh ảnh khơng có mặt người Kết thực nghiệm cụ thể Bảng 4.2: Bảng 4.2: Độ xác thay đổi theo số lượng eigenface Số lượng Eigenface Nhận Không nhận dạng Không phải khuôn mặt khuôn mặt mặt 46 17 10 10 13 10 15 11 10 20 10 10 10 30 10 10 10 + Nhận xét:  Số lượng ảnh Eigenface lớn tỷ lệ nhận dạng xác  Phân biệt ảnh khơng có mặt người ảnh có mặt người cho tỷ lệ cao  Qua ta rút kết luận để tăng độ xác phương pháp nhận dạng, ta cần phải tiến hành tiền xử lý ảnh: chuẩn hóa ảnh mặt theo góc nghiêng, hướng nhìn, điều kiện ánh sáng ảnh 47 CHƯƠNG V: KẾT LUẬN 5.1 Ưu điểm Hiện thực chương trình thực việc nhận dạng khn mặt tự động, xây dựng chương trình thử nghiệm để đánh giá kết việc sử dụng kỹ thuật PCA để nhận dạng, từ thực nghiệm ta thu số kết đánh giá thuật toán sử dụng Các kết đạt cho thấy độ xác chương trình tương đối cao khoảng 97% nhận dạng đúng, củng tốc độ phát nhận dạng mặt người tương đối nhanh từ 0.5-0.7s Được hỗ trợ thư viện mã nguồn mở EmguCV thư viện hỗ trợ mạnh mẽ tảng C#(C Sharp), dễ sử dụng phát triển tương lai 5.2 Hạn chế Do hạn chế mặt thời gian nên khuôn khổ nghiên cứu chưa khắc phục số nhược điểm PCA góc chụp ảnh bị nghiêng, ánh sáng yếu đặc biệt nhận dạng với cặp song sinh sinh đôi Việc áp dụng phương pháp ngồi thuật tốn PCA chưa nghiên cứu thực 5.3 Hướng phát triển Từ hạn chế nêu trên, chương trình cần cải thiện thêm cách xử lý trường hợp nhận dạng cặp song sinh sinh đơi cách thơng báo cho người dùng biết có ảnh sở giống với bạn cho người dùng chọn hình ảnh ảnh họ từ ý tưởng làm cho chương trình có độ xác cao Từ chương trình phát triển thành ứng dụng cài đặt smartphone nhân rộng thành hệ thống kết nối máy tính giảng viên smartphone sinh viên để sinh viên trưc tiếp điểm danh smartphone 48 Tài Liệu Tham Khảo: http://thigiacmaytinh.com/tag/emgucv/ https://vi.wikipedia.org/wiki/Hệ_thống_nhận_dạng_khuôn_mặt https://vi.wikipedia.org/w/index.php?title=OpenCV&action=edit&redlink=1 http://diendan.congdongcviet.com/threads/t108020::thuat-toan-pca-trong-vande-nhan-dang-anh.cpp https://www.mathworks.com/help/stats/principal-component-analysispca.html?s_tid=srchtitle 49 ... TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC SINH VIÊN NGHIÊN CỨU THƯ VIỆN OPENCV( OPEN SOURCE COMPUTER VISION) ỨNG DỤNG NHẬN DẠNG KHUÔN MẶT Chủ nhiệm... Em định thực nghiên cứu đề tài ? ?Nghiên cứu thư viện OpenCV( Open Sourse Computer Vision) ứng dụng nhận dạng khn mặt? ?? Với mục đích tìm hiểu thêm lĩnh vực thị giác máy tính (Computer Vision) nâng... ngồi khn mặt 1.4 Đóng góp nghiên cứu 1.4.1 Đóng góp khoa học Đề tài nghiên cứu góp phần nghiên cứu chi tiết áp dụng thuật toán PCA kết hợp thư viện mã nguồn mở EmguCV vào tốn nhận dạng khn mặt cho