Nghiên cứu phương pháp nhận diện khuôn mặt và ứng dụng

TRƯỜNG ĐẠI HỌC SƯ PHẠM – ĐẠI HỌC ĐÀ NẴNG KHOA TIN HỌC BÁO CÁO KHÓA LUẬN TỐT NGHIỆP Đề tài: NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT VÀ ỨNG DỤNG Giảng viên hướng dẫn : TS Phạm Anh Phương Sinh viên thực : Nguyễn Thị Duyên Lớp : 13CNTT Tháng 4/2017 LỜI CẢM ƠN Đề tài “Nghiên cứu phương pháp nhận diện khuôn mặt ứng dụng” đời với đích nhằm nâng cao hiểu biết thân đánh giá lại trình học tập khoa Tin học, trường Đại học Sư phạm với giúp đỡ tạo điều kiện thầy cô khoa Trước tiên, em xin chân thành cảm ơn thầy cô, đặc biệt cảm ơn Thầy, Tiến sĩ Phạm Anh Phương người gợi ý trực tiếp hướng dẫn em hoàn thành luận văn Mặc dù cố gắng trình độ kinh nghiệm thực tế hạn chế nên q trình thực đồ án khơng tránh khỏi thiếu sót Em mong nhận nhận xét, đóng góp từ Thầy Cơ bạn để đồ án em hồn thiện Em xin chân thành cảm ơn! Nguyễn Thị Duyên Báo cáokhóa luận tốt nghiệp 2017 LỜI CAM ĐOAN Em xin cam đoan nghiên cứu luận văn trung thực không trùng lặp với tài liệu khác Mọi sai lệch em xin chịu hoàn toàn trách nhiệm Đà Nẵng, tháng năm 2017 Sinh viên thực Nguyễn Thị Duyên Báo cáokhóa luận tốt nghiệp 2017 NHẬN XÉT CỦA CÁN BỘ HƯỚNG DẪN …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… Đà Nẵng, ngày tháng năm 2017 Cán hướng dẫn Báo cáokhóa luận tốt nghiệp 2017 NHẬN XÉT CỦA HỘI ĐỒNG PHẢN BIỆN …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… …………………………………………………………………………………………… Đà Nẵng, ngày tháng năm 2017 Hội đồng phản biện Báo cáokhóa luận tốt nghiệp DANH MỤC CÁC TỪ VIẾT TẮT STT Ký hiệu viết tắt Tên ký hiệu viết tắt CV Computer Vision ML Machine Learning CVCAM Computer Vision Camera RGB Read Green Blue PDF Probility Density Funtion ML Maximum Likelhood PCA Principal Component Analysic SUM Suport Vector Machine LCD Liquid crystal display 10 CRT Cathode Ray Tube 2017 Báo cáokhóa luận tốt nghiệp 2017 DANH MỤC HÌNH VẼ Hình 1: Biểu diễn điểm ảnh 19 Hình 2: Mơ hình RGB 20 Hình 3: Biến đổi ảnh xám 21 Hình 4:Độ phân giải ảnh 22 Hình 5: So khớp mẫu khn mặt 27 Hình 6: Biểu diễn ảnh khơng gian 28 Hình 7: Biểu diễn ảnh không gian chiều 28 Hình 8: Sơ đồ Usecase 37 Hình 9: Sơ đồ luồng 38 Hình 10: Vào hệ thống điểm danh 41 Hình 11: Thêm sinh viên 42 Hình 12: Kiểm tra số lần điểm danh 43 Hình 13: Thống kê 43 Báo cáokhóa luận tốt nghiệp 2017 DANH MỤC BẢNG Bảng 1: Lớp 39 Bảng 2: Tài khoản 39 Bảng 3: Điểm danh 40 Bảng 4: SinhVien 40 MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC HÌNH VẼ DANH MỤC BẢNG MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nghiên cứu Đối tượng nghiên cứu Giới hạn phạm vi nghiên cứu Phương pháp nghiên cứu Bố cục đề tài CHƯƠNG 1: TỔNG QUAN VỀ CÔNG NGHỆ JAVAWEB 1.1 JavaWeb 1.2 Mơ hình MVC 1.3 Struts Framework 1.4 HTML 1.5 JQUERY 1.5.1 Giới thiệu 1.5.2 Cú pháp 1.6 AJAX 1.6.2 Cú pháp 1.7 Java Servlet 1.7.1 Giới thiệu Báo cáokhóa luận tốt nghiệp 2017 1.7.2 Cấu trúc Servlet 10 1.8 Môi trường 10 1.8.1 Eclipse 10 8.2 SQL Server 12 CHƯƠNG 2: ĐỀ TÀI QUẢN LÝ TRUNG TÂM GIA SƯ 14 Báo cáokhóa luận tốt nghiệp 2017 2.1 Giới thiệu toán 14 2.2 Yêu cầu chức 14 2.2.1 Admin 14 2.2.2 Giáo viên 14 2.2.3 Học viên 14 2.2.4 Người dùng vãng lai: 15 2.2.5 Chức chi tiết 15 2.3 Phân tích thiết kế hệ thống 16 2.3.1 Sơ đồ Usecase (Usercase diagram) 16 2.3.2 Mơ hình luồng 21 2.3.3 Thiết kế sở liệu 23 2.3.4 Sơ đồ lớp (Class Diagram) 27 2.3.5 Sơ đồ (Sequence diagram) 32 CHƯƠNG 3: TRIỂN KHAI WEB QUẢN LÝ TRUNG TÂM GIA SƯ ……… 41 3.1 Môi trường triển khai 41 3.2 Kết triển khai 41 3.2.1 3.2.2 3.2.3 3.2.4 Trang chủ 41 Đăng nhập 42 Giới thiệu 42 Đăng ký học kèm 43 KẾT LUẬN 45 Các kết đạt 45 Hạn chế 45 Hướng phát triển 45 TÀI LIỆU THAM KHẢO SVTH: Nguyễn Thị Duyên Page 10 Báo cáokhóa luận tốt nghiệp 2017 Ban đầu ta có tập ảnh khn mặt gọi tập ảnh huấn luyện (training set) Giả sử ảnh có kích thước M*N, ta coi ảnh vector không gian M*N chiều Bây khuôn mặt vector, ta thấy vector không phân bố ngẫu nhiên không gian ảnh mà phân bố theo quy luật tương đối đó, ta nói vector nằm không gian gọi không gian khuôn mặt Từ vector tập huấn luyện, ta tìm sở trực chuẩn cho khơng gian khn mặt Những vector thuộc sở coi vector mang nét tổng thể đặc trưng khuôn mặt 1.13.1 Giải thuật Xem tập quan sát gồm K-vectors f   f1 , f , , f k , , f K  (2.13) Trong khơng gian M-chiều Khơng gian tập quan sát thể qua số sở giả sử BM   , , , M  (2.14) Thì :  f1 1   f 1   f k 1   f K 1           f1     f2  2   fk  2   fK  2          f1   f1  3  , f   f  3  , , f k   f k  3  , , f K   f K  3  (2.15)                  f1  M    f2  M    fk  M    fK  M           Ở f k  m  thành phần thứ m vector f k Mỗi vector f k viết dạng M f k   f m  m  m m 1 (2.16) f k  f k (1)1  f k (2)   f k (M ) M Như quan sát Hay toạ độ hệ sở BM Bằng cách sử dụng M vectors sở ta thể quan sát Điều ta chọn sở gồm M-vectors trực giao thể e.q 2.16 SVTH: Nguyễn Thị Duyên Page 31 Báo cáokhóa luận tốt nghiệp 2017 Việc chọn sở có vấn đề gi? Có ứng dụng không đử tất sở M-chiều nhiều lý khác M lớn Ta biểu diễn quan sát  N thơng qua vector N f   f m  m  m ~ k m 1 với N M (2.17) Nhận thấy điều khác E.q 2.17 2.16 số lấy tổng N M theo thứ tự phương trình 2.17 thể qua 2.17 ta vector f1~ , f 2~ , , f k~ , , f K~ (2.18) Như sai số xấp xỉ quan sát : f k  f k~ (2.19) Ở quan tâm đế việc tìm sở trực giao OrthNormal (ON)  N : BN   , , , N  với  i , j   ij Với (2.20)  ij = i  j N gọi cắt (truncated) g   m nhận vector sở Vậy ta thể  sơ nhỏ vói sai số : K K  f k  f k~ k 1 (2.21) Chúng ta quan tâm tổng – Minimizing K  fk  f k 1 K  k 1 K   K   f k  f k~ , f k  f k~ k 1 f k , f k  f k~ , f k~  f k , f k~   fk k 1 ~ k  f ~ k  f k , f k~   (2.22) Sử dụng 2.16 2.17 ta có SVTH: Nguyễn Thị Duyên Page 32 Báo cáokhóa luận tốt nghiệp K  k 1 K     fk k 1  f k  f k~   T    f k~ k 1  K   T    f k~ k 1  K 2017 N  f m  ,  k   m  f k  m  m  m 1 m 1  N M N    f k  m  m   f k  m  m ,  f k  m  m  m 1 m  N 1 m 1  M N   f k~ , f k~   f k  m  m ,  f k  m  m  m  N 1 m 1  (2.23) M  f k~  Ở K T   fk - Là số k 1 (2.24) f k~ , f k~  f k~ Trong phương trình 2.23 đại lượng thành phần thứ hai triệt tiêu sở trực giao, ta có K K  fk  f k 1 T   K K ~ k K  f k~ k 1 (2.25) Do T số lên Minimizing biểu thức tương đương Maximizing K  f k 1 ~ k K K  f , f ~ k k 1 N    m , f k k 1 m  Ta có K ~ k  f k 1 ~ k   f k  m  k 1 m 1 K N    m , f k k 1 m   m , f k   mT f k K N f k , m (15.26) K  f , f ~ k k 1 K N     m , fk ~ k k 1 m  f k , m  K    f k f  m     f k f kT  m k 1 m 1 m 1  k 1  K N N T m T k N T m (2.27) N  K  S m  K  ( m ) m 1 Trong nghiên cứu T m  m , m SVTH: Nguyễn Thị Duyên m 1 M vectors riêng có ý nghĩa Page 33 Báo cáokhóa luận tốt nghiệp 2017 K S K f k 1 k f kT (2.28) Thoả mãn 1  2  N  trị riêng S(Do S đối xứng lên có trị riêng thực  [Bổ đề 3]) Đây ma trận phân bố quan sát  Theo cách xây dựng S ma trận nửa xác định riêng nghĩa  g Sg với g  EM thay g   m Từ phương trình 2.25 2.27 ta có T K K  fk  f k 1 ~ k T   K K K  k 1 f ~ k M T N    ( m )   ( m ) K m 1 m  N 1 (2.29) Như để sai số xấp xỉ bé ta phải chọn  M N vectors riêng có ý nghĩa S T  K K K  k 1 fk  (1)  (2)   ( M ) Ta nhận thấy xấp xỉ không lồi mà f k~  f k (2.30) nghĩa ta dung tất vector sở (i.e N=M Phương trình 2.24 2.27) Biểu diễn 2.29 thể ta chọn N-vectors riêng sai số xấp xỉ nhỏ tổng M-N trị riêng bé S (2.28) thành S K K  k 1  f1  f  1 T f k f k   f1 , f , , f K     T   K K    fK  (2.31) Do S đối xứng nửa xác định riêng lên vector riêng trực giao điều đảm bảo sở tối ưu trực giao Như sở xây dựng liệu quan sát ban đầu chiếu lên sở theo phương trình:   ~ T  T  N (2.32) Với SVTH: Nguyễn Thị Duyên Page 34 Báo cáokhóa luận tốt nghiệp 2017 ~   f1~ , f 2~ , , f K~  ,    f1 , f , , f N  ,  N   , , , K  (2.33) với  , , , K  K-vectors riêng tương ứng với K-trị riêng lớn S(2.28)- ma trận hiệp sai tập quan sát ban đầu Như ta biết phép biến đổi trực giao không làm thay đổi Trace-Vết ma trận mà phép biến đổi sở giứ lại K-vectors riêng ứng với K-trị riêng lớn Nghĩa ta phân bố mẫu tập liệu thu lớn Theo kết nghiên cứu thong thường ta chọn K cho K  i 1 N i  i  Threshold (e.g , 0.90or 0.95) (2.34) i 1 với i trị riêng ma trận hiệp sai 1  2   N SVTH: Nguyễn Thị Duyên Page 35 Báo cáokhóa luận tốt nghiệp 2017 CHƯƠNG 2: ĐỀ TÀI NHẬN DIỆN KHUÔN MẶT VÀ ỨNG DỤNG 2.1 Giới thiệu tốn Nhận diện khn mặt ứng dụng điểm danh với mong muốn quản lý số lượng sinh viên có mặt lớp học theo xác khn mặt người, hạn chế trách tình trạng học thay diễn số học đường Theo đó, ứng dụng nhận diện khn mặt điểm danh lớp học có chức sau: 2.2 Yêu cầu chức Đăng nhập vào hệ thống quản lý theo quyền truy cập admin  Xem danh sách sinh viên  Thêm sinh viên vào lớp  Thực nhận dạng điểm danh  Thống kê số lượng sinh viên có mặt, số lượng sinh viên vắng SVTH: Nguyễn Thị Duyên Page 36 Báo cáokhóa luận tốt nghiệp 2017 2.3 Phân tích thiết kế hệ thống 2.3.1 Sơ đồ Usecase (Usercase diagram) Hình 8: Sơ đồ Usecase SVTH: Nguyễn Thị Duyên Page 37 Báo cáokhóa luận tốt nghiệp 2017 2.3.1 Sơ đồ luồng (Flow page Diagram) Vào hệ thống Nhận diện điểm danh sinh viên Thêm sinh viên Xem thống kê số lượng vắng, có mặt Xác nhận thao tác Thất bại Thành công Đăng xuất Thành công Thất bại Lưu vào sở liệu Thốt khỏi ứng dụng Hình 9: Sơ đồ luồng SVTH: Nguyễn Thị Duyên Page 38 Báo cáokhóa luận tốt nghiệp 2017 2.3.Thiết kế sở liệu DiemDanh MaDiemDanh NgayGio n MaSinhVien GhiChu TaiKhoan UserName Password Lop MaLop TenLop SinhVien MaSinhVien Ho Ten n MaLop GioiTinh NgaySinh Anh Ngay Bảng 1: Lớp Tên cột MaLop TenLop Giải thích Mã lớp Tên lớp Kiểu liệu int nvarchar Maxlength Ghi Khóa 50 Bảng 2: Tài khoản Tên cột UserName Password Giải thích Tên đăng nhập Mật SVTH: Nguyễn Thị Duyên Kiểu liệu nvarchar nvarchar Maxlength Ghi 50 Khóa 50 Page 39 Báo cáokhóa luận tốt nghiệp 2017 Bảng 3: Điểm danh Tên cột MaDiemDanh NgayGio MaSinhVien GhiChu Giải thích Mã điểm danh Ngày Mã sinh viên Ghi Kiểu liệu int datetime int nvarchar Maxlength Ghi Khóa 255 Bảng 4: SinhVien Tên cột MaSinhVien Ho Ten MaLop GioiTinh NgaySinh Anh Ngay Giải thích Mã sinh viên Họ Tên Mã Lớp Giới tính Ngày sinh Ảnh Ngày tham gia SVTH: Nguyễn Thị Duyên Kiểu liệu int nvarchar nvarchar int bit datetime nvarchar datetime Maxlength Ghi Khóa 50 50 50 Page 40 Báo cáokhóa luận tốt nghiệp 2017 CHƯƠNG 3: TRIỂN KHAI ỨNG DỤNG QUẢN LÝ ĐIỂM DANH TRONG MỘT LỚP 3.1 Môi trường triển khai  Visual studio 2012  Hệ quản trị CSDL: SQL Server 2014  Ngôn ngữ : c# 3.2 Kết triển khai 3.2.1 Vào hệ thống Hình 10: Vào hệ thống điểm danh 3.2.1 Đăng nhập SVTH: Nguyễn Thị Duyên Page 41 Báo cáokhóa luận tốt nghiệp 2017 3.2.3 Thêm sinh viên Hình 11: Thêm sinh viên 3.2.4 Kiểm tra lần điểm danh SVTH: Nguyễn Thị Dun Page 42 Báo cáokhóa luận tốt nghiệp 2017 Hình 12: Kiểm tra số lần điểm danh 3.2.5 Thống kê Hình 13: Thống kê SVTH: Nguyễn Thị Duyên Page 43 Báo cáokhóa luận tốt nghiệp 2017 KẾT LUẬN Các kết đạt - Có số hiểu biết định OpenCV cách tích hợp EmguCV vào Visual Studio -Rèn luyện tính kiên trì để tìm cách giải vấn đề gặp khó khăn Hạn chế - OpenCV cịn q mẻ với thân nên ứng dụng nhiều sai sót -Giao diện Winform cịn sơ sài -Chưa phát triển nhiều chức mong đợi Hướng phát triển - Giao diện thân thiện, dễ sử dụng -Phát triển nhiều chức hơn, phù hợp với nhu cầu sử dụng người dùng, đưa ứng dụng đến gần với thực tế SVTH: Nguyễn Thị Duyên Page 44 Báo cáokhóa luận tốt nghiệp 2017 TÀI LIỆU THAM KHẢO Sách: [1] Nguyễn Khắc Thắng, Luận văn tốt nghiệp nhận diện khuôn mặt với OpenCV [2] Shin Shi, EmguCV Issentials, Safari, May.2010 [3] Andrew Troelsen, Philip Japikse, C# 6.0 and the NET 4.6 Framework, Apress, tháng 11, 2015 Website: http://www.emgu.com/wiki/index.php/Main_Page/ http://opencv.org/ http://stackoverflow.com/questions/27691408/emgucv-surf-detectiondoesnt-detect-properly SVTH: Nguyễn Thị Duyên Page 45 ... nghiên cứu ứng dụng khoa học công nghệ đại Chính vậy, đề tài phương pháp nhận diện khn mặt ứng dụng đưa vào nghiên cứu với mục đích giúp máy móc nhận dạng khuôn mawtjcon người, ứng dụng rộng rãi... Mục tiêu nghiên cứu  Nắm rõ phương pháp nhận diện khuôn mặt với OpenCV  Nắm rõ quy tắc làm việc Open CV, Visual Studio SQL Server  Xây dựng ứng dụng nhận diện khuôn mặt người áp dụng để điểm... 2017 Phương pháp nghiên cứu  Tìm hiểu, khảo sát ứng dụng có chức tương tự, nghiên cứu ứng dụng vào đề tài  Tham khảo cách tổ chức, bố cục giao diện hướng đến đơn giản, dễ sử dụng đối người sử dụng