Nhận dạng khuôn mặt người bằng trích chọn đặc trưng PCA

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NHA TRANG KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO ĐỒ ÁN MÔN HỌC ĐỀ TÀI PHÁT HIỆN KHUÔN MẶT NGƯỜI Giảng viên hướng dẫn Tiến Sỹ Đinh Đồng Lưỡng Sinh viên thực hiện Nguyễn Duy Hoà Phạm Đình Thông Nguyễn Văn Phi Nguyễn Văn Trâm Nguyễn Hữu Tân Trần Ngọc Sơn Ngô Minh Hiếu Khánh Hòa – 2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NHA TRANG KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO ĐỒ ÁN MÔN HỌC ĐỀ TÀI PHÁT HIỆN KHUÔN MẶT NGƯỜI Giảng viên hướng dẫn Tiến Sỹ Đinh Đồng Lưỡng Sinh viên th.

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NHA TRANG KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO ĐỒ ÁN MÔN HỌC ĐỀ TÀI: PHÁT HIỆN KHUÔN MẶT NGƯỜI Giảng viên hướng dẫn: Tiến Sỹ Đinh Đồng Lưỡng Sinh viên thực hiện: Nguyễn Duy Hồ Phạm Đình Thơng Nguyễn Văn Phi Nguyễn Văn Trâm Nguyễn Hữu Tân Trần Ngọc Sơn Ngơ Minh Hiếu Khánh Hịa – 2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NHA TRANG KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO ĐỒ ÁN MÔN HỌC ĐỀ TÀI: PHÁT HIỆN KHUÔN MẶT NGƯỜI Giảng viên hướng dẫn: Tiến Sỹ Đinh Đồng Lưỡng Sinh viên thực hiện: Nguyễn Duy Hồ Phạm Đình Thơng Nguyễn Văn Phi Nguyễn Văn Trâm Nguyễn Hữu Tân Trần Ngọc Sơn Ngô Minh Hiếu Khánh Hòa – 2021 MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT ATM CSDL EBGM LDA MSL PCA PDM SVM Automatic Teller Machine Cơ sở liệu Elastic Bunch Graph Matching Linear Discriminate Analysis Multilinear Subspace Learning Principal Component Analysis Point Distribution Model Support Vector Machine DANH MỤC CÁC HÌNH DANH MỤC CÁC BẢNG LỜI CẢM ƠN Trên thực tế khơng có thành cơng mà không gắn liền với hỗ trợ, giúp đỡ dù hay nhiều, dù trực tiếp hay gián tiếp người khác Trong suốt thời gian từ bắt đầu học tập, chúng em nhận nhiều quan tâm, giúp đỡ Thầy Đinh Đồng Lưỡng bạn bè Chúng em xin chân thành gửi lời cảm ơn sâu sắc tới thầy Đinh Đồng Lưỡng tận tình giảng dạy truyền đạt cho chúng em kiến thức, kinh nghiệm quý báu suốt thời gian học tập rèn luyện Sau cùng, chúng em xin kính chúc thầy Khoa Công Nghệ Thông Tin dồi sức khỏe, niềm tin để tiếp tục thực sứ mệnh truyền đạt kiến thức cho hệ mai sau Chúng em xin chân thành cảm ơn BẢNG ĐÁNH GIÁ NHĨM Họ tên Nguyễn Duy Hồ MSSV 61130318 Phạm Đình Thơng 61131158 Nguyễn Văn Phi 61134168 Ngơ Minh Hiếu Nguyễn Hữu Tân 61133637 61134319 Nguyễn Văn Trâm 61131314 Trần Ngọc Sơn 61130999 Cơng việc Tìm thuật tốn, làm word, làm powerpoint, tổ chức cơng việc, làm chương trình Tìm demo, thuyết trình, làm chương trình, lập kế hoạch cơng việc Tìm tổng quan, thuyết trình, đóng góp ý kiến Thuyết trình Thuyết trình, đóng góp ý kiến Tìm ưu nhược điểm, thuyết trình, đóng góp ý kiến, làm powerpoint Thuyết trình MỞ ĐẦU Lý chọn đề tài Cùng với thành tựu khoa học nhân loại, ngành Công nghệ Thông tin ngày phát triển mạnh mẽ Ở nước phát triển, hệ thống lưu trữ xử lý thông tin xây dựng sử dụng hiệu Một ứng dụng công nghệ thông tin xử lý ảnh dùng để hỗ trợ nhiều lĩnh vực khác Hơn thập kỷ qua có nhiều cơng trình nghiên cứu tốn nhận dạng khuôn mặt người từ ảnh đen trắng đến ảnh màu ngày hơm nay.Các nghiên cứu từ tốn đơn giản, ảnh có khn mặt người nhìn thẳng vào thiết bị thu hình đầu tư thẳng đứng ảnh đen trắng Cho đến ngày hơm tốn mở rộng cho ảnh màu, có nhiều khn mặt ảnh, có nhiều tư thay đổi ảnh Không mà cịn mở rộng phạm vi mơi trường xung quanh đơn giản môi trường xung quanh phức tạp nhằm đáp ứng nhu cầu người Công nghệ nhận diện khuôn mặt (face detection), hay nói xác khu biệt hóa khn mặt (khả tìm nhận khn mặt tồn khung hình), có tới 30 năm phát triển pha hệ thống nhận dạng khuôn mặt người (face recognition face identification) Ở hệ thống này, từ đầu vào ảnh, máy tính khu biệt hóa khn mặt nằm vị trí nào, sau dựa thuật toán phức tạp khác xác định đặc điểm mắt, mồm hay mũi, so sánh với sở liệu khn mặt có, từ nhận dạng khn mặt Công nghệ vốn dùng ngành an ninh, ứng dụng ngày rộng rãi dân dụng Có nhiều thuật tốn phát triển nhằm cải thiện trình nhận dạng khn mặt ngày tốt hơn, có cách tiếp cận dùng mạng thần kinh (neural network) xử lý vấn đề giới tính, cảm xúc Với sở liệu so sánh lớn, thuật toán phức tạp, hỗ trợ từ phần cứng hay chíp xử lý riêng, hệ thống nhận diện nhận diện mặt người quay ngang hay nhìn lên, nhìn xuống, chuyển động hay đứng n, chí mặt chiếm phần nhỏ toàn khung hình Với mong muốn tiếp cận cơng nghệ mới, đồng thời bổ sung kiến thức khoa học kỹ thuật đại, tổng kết kỹ năng, kiến thức suốt trình học tập trường, em xin chọn đề tài “Xây dựng phần mềm phát khuôn mặt người ảnh” Mục tiêu nghiên cứu - Tìm hiểu tốn phát khn mặt người ảnh - Tìm hiểu thuật tốn nhận dạng khuôn mặt ảnh - Xây dựng chương trình thử nghiệm phát khn mặt ảnh Đối tượng nghiên cứu - Thuật tốn nhận dạng khn mặt dựa trích chọn đặc trưng PCA - Thư viện mã nguồn mở OpenCV Phạm vi nghiên cứu Chương trình nhận dạng khn mặt xây dựng để ứng dụng thiết bị nhận dạng áp dụng cho lĩnh vực an tồn, bảo mật thông tin Trong phạm vi đề tài nhóm em xây dựng chương trình nhận dạng khn mặt để tìm kiếm khn mặt từ tập ảnh khn mặt có sẵn Phương pháp nghiên cứu - Phương pháp nghiên cứu tài liệu: Tham khảo số tài liệu mạng, sách, tư liệu, chuyên ngành, báo khoa học có liên quan - Phương pháp vấn (lấy ý kiến chuyên gia): Lấy ý kiến từ thầy cô giáo Khoa Công nghệ thông tin, giáo viên hướng dẫn đề tài để định hướng trình nghiên cứu đảm bảo kết nghiên cứu xác Ý nghĩa khoa học thực tiễn đề tài - Ý nghĩa khoa học: thuật tốn PCA tìm hiểu, nghiên cứu bổ sung thêm phương pháp nhận dạng khuôn mặt người để giải tốn xác định khn mặt người - Ý nghĩa thực tiễn: chương trình thử nghiệm thành cơng góp phần nhỏ việc nhận dạng khuôn mặt áp dụng lĩnh vực an tồn bảo mật thơng tin Qua áp dụng rộng rãi thiết bị số Bố cục đề tài 10 K(x,y) = H(x,y) - m Tìm Kf(x,y) hình chiếu K(x,y) lên khơng gian khn mặt Tính s(x,y) = || K(x,y) – Kf(x,y)|| Tập hợp giá trị s(x,y) tạo thành đồ khn mặt (face map) H, từ ta xác định vị trí khn mặt ảnh 2.2.3 Ưu điểm PCA + Tìm đặc tính tiêu biểu đối tượng cần nhận dạng mà không cần phải xác định thành phần mối quan hệ thành phần + Thuật tốn thực tốt với cảnh có độ phân giải cao, PCA thu gọn ảnh thành ảnh có kích thước nhỏ + PCA kết hợp với phương pháp khác mạng Nơron, Support Vector Machinge… để mạng lại hiệu nhận dạng cao 2.2.4 Nhược điểm PCA + PCA phân loại theo chiều lớn tập vector Tuy nhiên, chiều phân bố lớn lúc mang lại hiệu tốt cho toán nhận dạng Đây nhược điểm PCA + PCA nhạy với nhiễu 38 CHƯƠNG 3: XÂY DỰNG CHƯƠNG TRÌNH THỬ NGHIỆM 3.1 Giới thiệu sản phẩm demo 3.1.1 Nhiệm vụ hệ thống Nhiệm vụ chương trình dị tìm khn mặt từ ảnh sau lưu khuôn mặt vào sở liệu để phục vụ cho mục đích khác (sẽ phát triển sau) Hình 3.1.1.1 Biểu đồ ngữ cảnh hệ thống Như chức chương trình bao gồm: • Mở file ảnh • Phát nhiều khn mặt có ảnh • Lưu ảnh khuôn mặt phát vào sở liệu 3.1.2 Thiết kế hệ thống Với chức trên, chương trình chia thành thành phần chính: Phần xử lý đầu vào, phần phát khuôn mặt phần xử lý đầu 3.1.3 Xử lý đầu vào - Mở file ảnh; 3.1.4 Phát khn mặt Phần xử lý nghiệp vụ hệ thống Sau có ảnh truyền vào, hệ thống thực chức phát khuôn mặt có ảnh Việc phát khn mặt thực nhanh thuật tốn adaboost thơng qua hàm cvHaarDetectObjects() OpenCV Hàm thực việc phát đối tượng 39 dựa đặc trưng haar-like, cụ thể nhờ vào Cascade truyền vào cho hàm Bộ Cascade xây dựng theo dạng (tree-node) huấn luyện từ trước Việc huấn luyện Cascade thực từ liệu thu thập để phục vụ cho trình nhận dạng Ví dụ, muốn nhận dạng người A, ta thu thập ảnh khuôn mặt người A với nhiều tư thế, góc chụp điều kiện chụp khác nhau, sau cho nhận dạng học theo thuật tốn Cascade training Tuy nhiên việc nhận dạng khn mặt cơng việc khó tốn nhiều thời gian, đó, tơi khơng thực khóa luận 3.1.5 Lưu liệu ảnh Khn mặt sau phát tách khỏi ảnh lưu dạng ảnh bitmap với phần mở rộng *.jpg, có lưu vị trí khn mặt phát ảnh, đồng thời tách riêng khuôn mặt lưu vào sở liệu Hình 3.1.5.1 Lưu liệu ảnh 3.1.6 Thiết kế sở liệu Lưu trữ sở liệu phần quan trọng ứng dụng Việc xây dựng, tổ chức sở liệu ảnh hướng lớn đến tốc độ chương trình Do tơi xây dựng quản sở liệu hệ quản trị sở Oracle, hệ quản trị sở liệu mạnh, đáp ứng nhiều yêu cầu quản lý sở liệu doanh nghiệp lớn, đặc biệt ngân hàng hay kho bạc Tuy tại, chương trình dừng lại mức phát khuôn mặt ảnh, việc xây dựng sở liệu tốt tiền đề để phát triển chương trình thành ứng dụng lớn sau Hệ thống cần lưu trữ liệu ảnh khuôn mặt sau phát 40 Hệ thống cần lưu trữ liệu là: Lưu ảnh đầu vào vị trí khn mặt phát ảnh Lưu khuôn mặt phát Như thông tin sở liệu bao gồm thực thể sau: * Ảnh gốc (Ảnh đầu vào) Các thuộc tính bao gồm: Bảng 3.1.6.1.1 Các thuộc tính ảnh đầu vào Thuộc tính Kiểu liệu ID_images Int Mơ tả Mã ảnh nhất, ràng buộc khóa tự tăng Ten_images Nvarchar (50) Tên ảnh gốc Images Int Mã nhị phân ảnh URL Nvarchar (50) Đường dẫn tới ảnh * Khuôn mặt (Face): Khuôn mặt phát Bảng 3.1.6.1.2 Các thuộc tính khn mặt Thuộc tính Kiểu liệu Mô tả ID_face Int Mã ảnh khuôn mặt nhất, ràng buộc khóa tự tăng ID_images Int Khóa ngoại tham chiếu đến ảnh gốc Ten_images Nvarchar (50) Tên ảnh chứa mặt, theo tên ảnh gốc, thêm số thứ tự để phân biệt ảnh gốc nhiều khuôn mặt Images Int Mã nhị phân ảnh khuôn mặt URL Nvarchar (50) Đường dẫn tới ảnh khuôn mặt 41 Hình 3.1.6.2 Hình Sơ đồ Thực thể quan hệ ER hệ thống 3.2 Mơ hình thử nghiệm Giao diện chương trình thiết kế thân thiện đơn giản Tập trung vào chức phát khn mặt ảnh Bố cục giao diện chia thành phần Phần 1, dành cho người dùng chọn đầu vào Phần 2, danh sách khuôn mặt phát lưu sở liệu Phần danh sách Cascade Phần phần xử lý kết (số khuôn mặt phát được) Hoạt động: Người dùng chọn ảnh, chọn Cascades, sau nhấn vào nút “Detect” để thực việc xác định khuôn mặt ảnh, chọn Save để lưu khuôn mặt vào CSDL Giao diện chương trình thể hình 3.3 Kiểm thử đánh giá chương trình demo Một số hình ảnh kiểm thử phát khn mặt : 42 Hình 3.3.1.1 Hình kiểm thử số - Số khn mặt phát thành cơng 4/4 Hình 3.3.1.2 Hình kiểm thử số - Số khuôn mặt phát thành cơng 5/5 43 Hình 3.3.1.3 Hình kiểm thử số - Số khuôn mặt phát thành công 7/7 Hình 3.3.1.4 Hình kiểm thử số - Số khn mặt phát thành cơng 2/2 44 Hình 3.3.1.5 Hình kiểm thử số - Số khuôn mặt phát thành cơng 5/5 Hình 3.3.1.6 Hình kiểm thử số - Số khuôn mặt phát thành công 5/5 Nhận dạng sai: vị trí 45 * Phân tích lỗi: Chương trình nhận dạng sai vị trí khơng phải khn mặt nhận dạng, vị trí có góc sáng tối có đặc điểm phù hợp với khuôn mặt (mắt tối vùng khác…) * Phương pháp khắc phục: sửa mức sang tối ảnh lên để tăng độ sai lệch sáng tối, xóa mờ vị trí bị nhận dạng sai Hình 3.3.1.7 Hình kiểm thử số - Số khn mặt phát thành cơng 4/5 * Phân tích lỗi: Một khuôn mặt ko nhận dạng bị nghiêng, nghiêng làm sai lệch đặc trưng (Haar-Like) * Phương pháp khắc phục: Chỉnh sửa ảnh xoay lại ảnh để khuôn mặt không phát khơng bị nghiêng 46 Hình 3.3.1.8 Hình kiểm thử số - Số khuôn mặt phát thành cơng: 5/5 Nhận dạng sai: vị trí * Phân tích lỗi: Một khn mặt ko nhận dạng bị nghiêng, nghiêng làm sai lệch đặc trưng (Haar-Like) Chương trình nhận dạng sai vị trí khơng phải khn mặt nhận dạng, vị trí có góc sáng tối có đặc điểm phù hợp với khuôn mặt (mắt tối vùng khác…) * Phương pháp khắc phục: Chỉnh sửa ảnh xoay lại ảnh để khuôn mặt không phát không bị nghiêng Thực 10 ảnh khác có số lượng người khác nhau, nhận kết bảng sau: 47 Bảng 3.3.1.8.1 Bảng thống kê phát ảnh Mặt Phát (#F) (#Detect) 4 F (Prcision) R (Recal) 5 7 F1 2 5 5 Tổng 37 37 Hình Đúng (#corr) 4 35 48 Sai (#wrong) 0 0 1 0.945 0.945 0.945 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Trên sở nghiên cứu toán phát mặt người ảnh Đặc biệt thuật toán Adaboost, đặc trưng haar-like mơ hình Cascade of Classifier Tơi áp dụng thành cơng mơ hình Cascade of Classfier vào toán phát mặt người ảnh Tuy kết đạt chưa cao, bước đầu để phát triển toán nhận dạng mặt (face recognition) người sau Bên cạnh đó, trình xây dựng chương trình demo, tơi tìm hiểu thư viện mã nguồn mở OpenCV, hệ quản trị sở liệu SQL server, qua biết cách sử dụng hàm thư viện OpenCV quản lý sở liệu hệ quản trị sở liệu SQL server Hướng phát triển Có nhiều hướng phát triển cho chương trình này, phát triển mặt ứng dụng mặt thuật toán (để cải thiện hiệu phát mặt người) Có thể xây dựng ứng dụng cần đến phát mặt người mà khơng cần nhận dạng Ví dụ hệ thống ghép hình, ghép khn mặt phát vào ảnh khác (chẳng hạn ghép khuôn mặt người sử dụng cho khn mặt người tiếng) Ngồi phát triển chương trình theo hướng nhận dạng khn mặt, xây dựng hệ thống để học đặc trưng người cần nhận dạng Khi thực hiện, ta đưa qua ảnh qua chương trình phát mặt người để phát nhanh khuôn mặt có ảnh, sau so sách khn mặt với khn mặt mà chương trình “học” từ trước, so sánh đặc trưng hai khn mặt, trùng đưa thơng tin khuôn mặt nhận dạng 49 TÀI LIỆU THAM KHẢO [1] Trần Phước Long, Nguyễn Văn Lượng (2003), Luận văn: Nhận dạng người dựa vào thông tin khuôn mặt xuất ảnh, Khoa Công nghệ Thông tin, Đại học Khoa học Tự nhiên Tp HCM [2] Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phúc Dỗn, Tổng quan phương pháp xác định khn mặt người [3] Lu Y and C L Tan (2003), “A nearest-neighbor-chain based approach to skew estimation in document images”, Pattern Recognition Letters, vol.24, pp.23152323 [4] Toumazet J.J., Traitement de l’Image par Exemple, Symbex, Chaptre 5, “Images Binaires Operateurs Morphologiques”, pp 117-139, 1990 50 ... tượng dạng vector đặc trưng (bộ mô tả đặc trưng) Để hiệu nhận dạng tốt nhất, đặc trưng phải có tính bất biến với thay đổi điều kiện thu nhận ảnh Một số giải thuật trích chọn đặc trưng khn mặt như:... tích rút trích đặc trưng khn mặt ảnh, dẫn đến không nhận khuôn mặt nhận nhầm khung cảnh xung quanh thành khuôn mặt người Mặt người bị che khuất đối tượng khác có ảnh - Hướng (pose) khuôn mặt máy... (chẳng hạn ghép khuôn mặt người sử dụng cho khn mặt người tiếng) Ngồi phát triển chương trình theo hướng nhận dạng khuôn mặt, xây dựng hệ thống để học đặc trưng người cần nhận dạng Khi thực hiện,