ĐẾM SỐ LƯỢNG NGƯỜI TRONG ẢNH NHỜ PHƯƠNG PHÁP PHÁT HIỆN KHUÔN MẶT

TÓM TẮT Tên đề tài: ĐẾM SỐ LƯỢNG NGƯỜI TRONG ẢNH NHỜ PHƯƠNG PHÁP PHÁT HIỆN KHUÔN MẶT  Sinh viện thực hiện: Nguyễn Quốc Huy  Số thẻ SV: 106130165  Lớp: 13DT3 - Tìm hiểu Phát khn mặt tầm quan trọng đời sống người - Xây dựng sở liệu cho việc phát khuôn mặt người - Viết chương trình máy tính cho việc phát khn mặt - So sánh phương pháp với nêu kết luận Phát khuôn mặt người ảnh gồm nhiều người phông thay đổi, đánh khung khuôn mặt số lượng khuôn mặt phát  Dựa khuôn mặt đánh khung đưa vào thuật toán phân loại  Hiện số lượng khn mặt có ảnh ĐẠI HỌC ĐÀ NẴNG CỘNG HỊA XÃ HƠI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc KHOA ĐIỆN TỬ - VIỄN THÔNG NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Nguyễn Quốc Huy …… Số thẻ sinh viên: 106130165……… Lớp: 13DT3… Khoa: Điện Tử - Viễn Thông Ngành: Máy Tính…… Tên đề tài đồ án: ĐẾM SỐ LƯỢNG NGƯỜI TRONG ẢNH NHỜ PHƯƠNG PHÁP PHÁT HIỆN KHN MẶT Đề tài thuộc diện: ☐ Có ký kết thỏa thuận sở hữu trí tuệ kết thực Các số liệu liệu ban đầu: - Nội dung phần thuyết minh tính tốn: - Chuẩn bị sở liệu - Tìm hiểu phương pháp phân loại SVM - Tìm hiểu hai phương pháp trích xuất đặt trưng HOG DENSE SIFT - Mơ thuật tốn phát khn mặt sử dụng mô tả HOG , DENSE SIFT , HOG kết hợp DENSE SIFT sử dụng phân loại SVM Các vẽ, đồ thị ( ghi rõ loại kích thước vẽ ): - Đồ thị so sánh hiệu suất thuật tốn phát khn mặt sử dụng mô tả khác Họ tên người hướng dẫn: TS Hồ Phước Tiến……………… …………………… Ngày giao nhiệm vụ đồ án: 25/9/2018 Ngày hoàn thành đồ án: 15/12/2018 Đà Nẵng, ngày Trưởng Bộ môn …………………… tháng Người hướng dẫn năm 2018 LỜI NĨI ĐẦU Cơng nghệ thơng tin ngày phát triển có vai trò quan trọng thiếu sống đại Con người ngày tạo cỗ máy thông minh có khả tự nhận biết xử lí công việc cách tự động, phục vụ cho lợi ích người Trong năm gần đây, toán nhận nhiều quan tâm tốn nhiều công sức lĩnh vực cơng nghệ thơng tin, tốn nhận dạng Tuy xuất chưa lâu quan tâm tính ứng dụng thực tế toán phức tạp Đề tài phát khn mặt đề tài hay phổ biến đời sống, lý em chọn đề tài phần lớn thiết bị điện tử dần phát triển theo xu hướng tự động hóa, thơng minh, hiểu ý người, chúng giao tiếp với người mà không cần thiết bị trung gian nào, thiết bị sử dụng thuật toán xử lý ảnh xử dụng ngày rộng rãi với nhiều mục đích khác Dùng cho hệ thống bảo mật khóa vân tay, giọng nói, thiết bị an ninh truy tìm tội phạm Những kiến thức kinh nghiệm em nhận từ trình thực đề tài giúp em tiếp cận nghiên cứu cơng nghệ khác trở thành kỹ sư Trong trình thực đồ án, em gặp nhiều khó khăn, nhiên với hướng dẫn tận tình Thầy Hồ Phước Tiến giúp em nhiều q trình giải khó khăn Em xin chân thành cảm ơn Thầy Hồ Phước Tiến hướng dẫn giúp đỡ em suốt trình thực đồ án Trong trình thực đồ án, dù em cố gắng nhiều không tránh khỏi thiếu sót Em mong nhận lời nhận xét, góp ý từ Thầy, Cơ để đồ án hoàn thiện LỜI CAM ĐOAN Em xin cam đoan nội dung đồ án “ ĐẾM SỐ LƯỢNG NGƯỜI TRONG ẢNH NHỜ PHƯƠNG PHÁP PHÁT HIỆN KHN MẶT ” khơng phải chép đồ án cơng trình có từ trước Đà Nẵng, ngày 30 tháng 11 năm 2018 Sinh viên thực MỤC LỤC Trang Tóm tắt Nhiệm vụ đồ án Lời nói đầu cảm ơn i Lời cam đoan liêm học thuật ii Mục lục iii Danh sách bảng biểu, hình vẽ sơ đồ v Danh sách cụm từ viết tắt vi Chương 1: Giới thiệu chung toán phát khuôn mặt 18 1.1 Giới thiệu chương 18 1.2 Tầm quan trọng hệ thống phát khuôn mặt 18 1.3 Tổng quan xử lý ảnh khái niệm phát khuôn mặt 18 1.4 Các bước xử lý q trình phát khn mặt: 19 1.5 Kết luận chương 20 Chương 2: Phương pháp trích xuất đặc trưng 21 2.1 Giới thiệu chương 21 2.2 Histogram of Oriented Gradients (HOG) 21 2.2.1 Giới thiệu chung HOG 21 2.2.2 Các bước thực HOG 22 2.3 Phương pháp Dense Scale Invariant Feature Transform (Dense SIFT) 27 2.3.1 Tổng quan 27 2.3.2 Các bước thuật tốn SIFT 27 2.4 Kết luận chương 29 Chương 3: Phân loại đối tượng phương pháp svm 31 3.1 Giới thiệu chương 31 3.2 Mạng nơ-ron nhân tạo (Artificial Neural Network) 31 3.2.1 Giới thiệu chung mạng nơ-ron nhân tạo: 31 3.2.2 Cấu trúc mạng nơ-ron nhân tạo 32 3.3 Thuật tốn phân biệt tuyến tính LDA (Linear Discriminant Analysis) 33 3.4 Phương pháp Support Vector Machine (SVM) 34 3.4.1 SVM phân loại nhị phân tuyến tính 35 3.4.2 SVM phi tuyến 36 3.5 Ưu Nhược điểm phương pháp SVM [7] 36 Ưu điểm SVM : 36 Nhược điểm SVM : 37 3.6 Kết luận chương 37 Chương 4: Thực nghiệm kết 38 4.1 Giới thiệu chương 38 4.2 Mục tiêu q trình phát đếm khn mặt 38 4.3 Xây dựng thuật tốn phát khn mặt 39 4.3.1 Lưu đồ thuật toán phát khuôn mặt đơn giản 39 4.3.2 Tiền xử lý thông qua khai thác màu da biến đổi hình thái học 40 4.3.3 Trích xuất thuộc tính HOG Dense SIFT 43 4.4 Thực nghiệm kết 44 4.4.1 Cơ sở liệu 44 4.4.2 Thực nghiệm 44 4.4.3 Các số tiêu chí để đánh giá hiệu suất thuật toán: 45 4.4.4 Kết 45 4.5 Kết luận chương 47 TÀI LIỆU THAM KHẢO 49 PHỤ LỤC 50 CHƯƠNG 1: GIỚI THIỆU CHUNG VỀ BÀI TỐN PHÁT HIỆN KHN MẶT 1.1 Giới thiệu chương Trong chương em trình bày tầm quan trọng hệ thống phát khuôn mặt đời sống người, khó khăn mà hệ thống gặp phải thực tế khái quát quy trình phát khn mặt em thực đồ án 1.2 Tầm quan trọng hệ thống phát khuôn mặt Phát khuôn mặt cần thiết nhiều hệ thống đời sống người Chúng ta sử dụng phát khn mặt vấn đề an ninh nhận biết tên tuổi hành vi gây tội phạm để đề phòng, sử dụng phát khuôn mặt vấn đề quản lý nhân tổ chức, sử dụng phát khuôn mặt để bảo mật đồ dùng cá nhân máy tính, điện thoại, tơ hay văn phòng làm việc Vì việc phát khn mặt làm giảm thời gian đảm bảo tính an ninh bảo mật tốt Phát khn mặt ứng dụng vào phần mềm chụp ảnh hay quay video smartphone Nhận dạng khuôn mặt cần thiết cho ngày Chúng ta nhận dạng khn mặt vấn đề an ninh , nhận biết tên tuổi hành vi gây tội phạm Chúng ta sử dụng nhận dạng khuôn mặt vấn đề tổ chức nhân Ngồi sử dụng dùng để bảo mật diện thoại, máy tính , thiết bị điện tử, tơ , văn phòng làm việc Vì nhận dạng khn mặt giảm thời gian đảm bảo tính an ninh bảo mật tốt 1.3 Tổng quan xử lý ảnh khái niệm phát khn mặt Phát khn mặt thuật tốn tự động xác định định vị khuôn mặt người ảnh video Một khuôn mặt phát ảnh báo cáo vị trí có kích thước hướng liên quan Một khuôn mặt phát hiện, tìm kiếm điểm mốc mắt mũi ( điểm đặc trưng khn mặt ) 18 Hình 1.1 Phát đánh khung khuôn mặt người ảnh Việc phát mặt người ảnh gặp phải nhiều khó khăn như: - Trong ảnh khn mặt có kích thước khác nhau, hướng khuôn mặt đến camera máy ảnh khác người nhìn lên, nhìn xuống, nhìn nghiêng, nghiêng đầu, nghiêng nửa mặt… - Có khác đặc điểm khn mặt: người mặt dài, mặt ngắn, đeo kính, có nhiều râu… - Các nét mặt theo cảm xúc khác nhau: vui buồn, giận hờn, ngạc nhiên … - Mặt người bị che khuất - Khuôn mặt trẻ em, người trưởng thành người già - Người da đen người da trắng 1.4 Các bước xử lý q trình phát khn mặt Q trình phát khn mặt bao gồm hai bước sau: trích thuộc tính nhận dạng Hai bước giới thiệu cách ngắn gọn sau Thông tin từ ảnh trắng đen gồm cường độ mức xám điểm ảnh không đưa trực tiếp vào phân loại mà qua trích xuất thuộc tính Những trích xuất thuộc tính có chức trích xuất thơng tin quan trọng ảnh, loại bỏ thơng tin khơng hữu ích đảm bảo cho phân loại phân biệt lớp liệu Chi tiết trích xuất thuộc tính em trình bày chương 2: phương pháp trích xuất đặc trưng Hog dense sift Sau trích thuộc tính, ta cần phân loại để phân biệt đâu khn mặt đâu khơng phải khn mặt Có nhiều phương pháp cho toán phân loại mạng neuron, phân loại logistic Trong đồ án em, em sử dụng thuật toán Máy hỗ trợ Vector (Support Vector Machine) để phân loại, chi tiết phân loại em trình bày chương 3: Một số phương pháp phân loại đối tượng 19 4.3.3 Trích xuất thuộc tính HOG Dense SIFT Từ kết có sau kiểm tra với mô tả khác nhau, em mong muốn xây dựng thuật tốn kết hợp ưu điểm mơ tả HOG (cho tỉ lệ phát cao) Dense SIFT (cho tỉ lệ phát sai thấp) vào thuật tốn hiệu Q trình huấn luyện Dense SIFT Ảnh đầu vào Quá trình huấn luyện HOG Qt tồn ảnh Mơ hình phân loại HOG Mơ hình phân loại Dense SIFT Trich thuộc tính HOG Khn mặt Phân loại HOG Phân loại Dense SIFT Khơng phải khn mặt Kết Hình 4.8 Thuật tốn phát khuôn mặt sử dụng kết hợp mô tả HOG Dense SIFT Thuật toán tiến hành phân loại hai lần sử dụng hai mô tả khác Sau thực phân loại mô tả HOG kết xếp vào lớp khơng phải khn mặt thuật tốn kết luận vùng chứa khn mặt Còn vùng cho khn mặt sử dụng mơ tả HOG vùng xem xét xác nhận lại mô tả Dense SIFT trước đưa 43 kết luận Như sử dụng kết hợp hai mơ tả lại cho kết có ưu điểm mơ tả cho tỉ lệ phát cao tỉ lệ sai thấp 4.4 Thực nghiệm kết 4.4.1 Cơ sở liệu Tập liệu huấn luyện em gồm 203 ảnh khuôn mặt 854 ảnh khuôn mặt Để đánh giá hiệu thuật toán cách khách quan ảnh dùng để kiểm tra em chọn gồm có 81 ảnh chứa khoảng 900 khn mặt Các ảnh kiểm tra bao gồm ảnh chụp bối cảnh, phong cường độ chiếu sáng khác Kích thước, màu da góc nghiêng khn mặt đa dạng Số lượng khuôn mặt đa dạng từ – khuôn mặt ảnh tới 40 – 50 khn mặt ảnh Bên cạnh đó, em sử dụng ảnh có khn mặt bị chồng chất bị che khuất Tất ảnh em thu thập từ mạng internet 4.4.2 Thực nghiệm Với ảnh tập ảnh liệu huấn luyện mơ tả vector thuộc tính cho ảnh Với liệu huấn luyện gồm có 203 ảnh khuôn mặt thu 203 vector đặc trưng cho khuôn mặt 203 vector tạo thành ma trận thể đặc trưng mặt người, vector đặc trưng gắn nhãn Tương tự với 854 ảnh huấn luyện khuôn mặt biểu diễn ma trận 854xN (N chiều dài vector đặc trưng, với HOG 900 Dense Sift 25088) nhãn gắn cho vector Các vector sau đưa vào trình huấn luyện thuật tốn SVM tuyến tính để xây dựng mơ hình SVM Mơ hình SVM dùng q trình phát khn mặt để xác định khung hình đưa vào có phải khn mặt hay khơng Để cải thiện độ xác tăng tốc độ thực thi thuật toán, kết hợp thêm phương pháp tách vùng màu Dải vùng màu da sử dụng thuật tốn 80