ĐẠI HỌC ĐÀ NẴNG KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÁO CÁO ĐỒ ÁN ĐỀ TÀI: Ứng dụng nhận diện khuôn mặt

ĐẠI HỌC ĐÀ NẴNG KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÁO CÁO ĐỒ ÁN ĐỀ TÀI: Ứng dụng nhận diện khuôn mặt Sinh viên thực : HOÀNG ĐĂNG KHÁNH THÁI VĂN LÂM Giảng viên hướng dẫn : THS NGUYỄN ANH TUẤN Lớp : 17IT3 Lớp : 17IT3 Đà nẵng, tháng 07 năm 2020 MỞ ĐẦU Lý chọn đề tài:  Bối cảnh chung: Việc quản lý thơng qua hình thức chấm vân tay tiềm ẩn nhiều bất cập rủi ro, thời điểm Tại lại có nhận định vậy? Hiện nay, dịch Covid – 19 ngày diễn biến phức tạp, Bộ Y tế đưa khuyến cáo để người dân ý thức việc bảo vệ sức khỏe thân người xung quanh Trong đó, việc tiếp xúc nơi công cộng gia tăng khả lây nhiễm cao Do đó, việc nhân viên cơng sở làm chấm công vân tay, cư dân vào tòa nhà, chung cư ấn thang máy tay tiềm ẩn nguy lây nhiễm virus chéo Vì vậy, việc sử dụng hệ thống nhận diện khuôn mặt hệ thống AI ứng dụng quản lý giúp cho việc quản lý diễn thuận lợi, nhanh chóng đảm bảo an sức khỏe Theo đó, cư dân đến tịa nhà chung cư, nhân viên làm công ty, doanh nghiệp cần đưa khn mặt trước thiết bị, vài giây, thiết bị thu nhận xử lý thơng tin nhanh chóng Đây thực “giải pháp vàng” không thời điểm dịch Covid – 19 bùng phát, mà cịn lựa chọn thông minh thời đại cách mạng 4.0 Công nghệ nhân diện khuôn mặt công nghệ sử dụng phổ biến quốc gia phát triển Cơng nghệ có khả xác định xác nhận người từ hình ảnh kỹ thuật số lấy mẫu trước từ khung hình nguồn video khác Và nay, thị trường Việt Nam, công nghệ sử dụng số hệ thống cửa hàng, khách sạn-resort   Các phương pháp thực hiện:  Hệ thống nhận diện khuôn mặt cách kín đáo cách chụp ảnh khn mặt bước vào khu vực xác định từ camera giám sát Công nghệ này, không cần tương tác (của người muốn vào khu vực) khơng có chậm trễ Trong nhiều trường hợp đối tượng hồn tồn khơng hay biết q trình Họ khơng cảm thấy “bị giám sát” riêng tư họ bị xâm phạm  Phần mềm nhận dạng khuôn mặt sử dụng để phát hiện, nhận dạng khuôn mặt, đối chiếu so sánh, đưa cảnh báo phát trùng khớp khuôn mặt phát với khuôn mặt mẫu có sẵn sở liệu đăng ký trước Tồn q trình phát hiện, nhận dạng đối chiếu tiến hành hồn tồn tự động, khơng cần có can thiệp người Mục tiêu và nhiệm vụ  Mục tiêu Trong luận văn chúng tơi đưa nhìn tổng quan phương pháp cho hệ thống giải vấn đề nhận diện khuôn mặt điểm danh em học sinh ứng dụng vào quản lí an ninh tòa nhà chung cư , bệnh viện , … Một mục tiêu khác đề tài góp phần nghiên cứu xây dựng ứng dụng có khả ứng dụng vào thực tế Việt Nam nhằm ứng dụng CNTT vào đời sống thời đại cách mạng công nghiệp 4.0  Nhiệm vụ Để thực mục tiêu trên, đề tài nghiên cứu phương pháp nhận dạng khuôn mặt người; phương pháp, thuật tốn nhận dạng phát triển ngơn ngữ lập trình Python tích hợp tảng thư viện mã nguồn mở OpenCV  Về lý thuyết - Tìm hiểu phương pháp nhận diện khuôn mặt người hỗ trợ tảng thư viện mã nguồn mở OpenCV - Tìm hiểu thư viện Dlib, face recognition - Tìm hiểu Labled Faces in the Wild  Về thực tiễn - Nghiên cứu xây dựng chương trình demo nhận dạng người hiển thị thơng tin người từ đoạn video đầu vào từ camera trực tiếp Đối tượng và phạm vi nghiên cứu  Đới tượng nghiên cứu Ngơn ngữ lập trình Python  Thư viện mã nguồn mở OpenCV  Các thư viện , mã nguồn mở Dlib, Face_recognition Labled Faces in the Wild   Phạm vi nghiên cứu  Nghiên cứu phương pháp ứng dụng nhận diện khuôn mặt giới theo báo nghiên cứu khoa học ứng dụng sử dụng thực tế  Chương trình demo sử dụng ngôn ngữ lập Python, thư viện mã nguồn mở OpenCV tảng hệ điều hành Windows,Ubuntu, MacOS Phương pháp nghiên cứu  Nghiên cứu lý thuyết Đọc, phân tích, tổng hợp tài liệu từ báo, trang thông tin nghiên cứu khoa học liên quan công bố Việt Nam giới  Nghiên cứu thực nghiệm Nghiên cứu xây dựng chương trình mơ lập trình ngơn ngữ lập trình Python thư viện mã nguồn mở OpenCV Ý nghĩa khoa học và thực tiễn đề tài  Ý nghĩa khoa học và thực tiễn đề tài  Về khoa học Tìm hiểu báo nghiên cứu khoa học liên quan công bố giới, đề xuất giải pháp cho việc giải vấn đề nhận diện khuôn mặt mang tính xác, nhanh, hiệu cao  Về thực tiễn - Giúp người lập trình có nhìn tổng quát phương pháp ứng dụng cho hệ thống giải vấn đề bất cập ứng dụng nhận diện khn mặt trước DANH MỤC CÁC BẢNG Trang Bảng 2.2 .13 DANH MỤC HÌNH Trang Hình 3.1 15 Hình 4.1 17 Hình 4.2 17 Hình 4.3 18 Hình 4.4 18 Hình 4.5 18 DANH MỤC CỤM TỪ VIẾT TẮT STT Cụm từ Labled Faces in the Wild Công nghệ thông tin Artificial intelligence Face Recognition Grand Challenge Viết tắt LFW CNTT AI FRGC CHƯƠNG NGHIÊN CỨU TỔNG QUAN 1.2 BÀI TOÁN PHÁT HIỆN KHUÔN MẶT NGƯỜI Các phương pháp phát mặt người Dựa vào tính chất phương pháp xác định mặt người ảnh, phương pháp chia thành bốn loại chính, tương ứng với bốn hướng tiếp cận khác Ngoài có nhiều nghiên cứu mà phương pháp xác định mặt người không dựa vào hướng mà có liên quan đến nhiều hướng - Hướng tiếp cận dựa tri thức - Hướng tiếp cận dựa đặc trưng không thay đổi - Hướng tiếp cận dựa so sánh khớp mẫu - Hướng tiếp cận dựa diện mạo 1.3 TỔNG QUAN CÁC KẾT QUẢ NGHIÊN CỨU Những người tiên phong tự động nhận dạng khuôn mặt bao gồm Woody Bledsoe, Helen Chan Wolf, Charles Bisson Trong năm 1964 1965, Bledsoe, với Helen Chan Charles Bisson, bắt đầu ý tưởng sử dụng máy tính để nhận khn mặt người Với sở liệu lớn hình ảnh (thực tế sách ảnh thẻ) ảnh, vấn đề phải lựa chọn từ sở liệu tập hợp nhỏ hồ sơ hình ảnh có chứa hình ảnh ăn khớp với ảnh đưa Sự thành cơng phương pháp đo tỷ lệ danh sách câu trả lời số lượng hồ sơ sở liệu Sau Bledsoe rời PRI vào năm 1966 Trong thí nghiệm thực sở liệu 2.000 ảnh, máy tính ln vượt trội so với người thể nhiệm vụ nhận dạng Đến khoảng năm 1997, hệ thống phát triển Christoph von der Malsburg sinh viên sau đại học trường Đại học Bochum Đức Đại học Nam California Mỹ thể vượt trội so với hầu hết hệ thống Viện Công nghệ Massachusetts Đại học Maryland xếp hạng theo sau Phần mềm bán với tên ZN-Face sử dụng khách hàng Deutsche Bank nhà điều hành sân bay địa điểm đông đúc khác Phần mềm "đủ mạnh mẽ để nhận dạng gương mặt từ góc nhìn lý tưởng Nó thường xun nhận dạng gương mặt có trở ngại ria mép, râu, thay đổi kiểu tóc chí đeo kính râm" Trong khoảng tháng năm 2007, tìm kiếm hình ảnh "dựa ký tự xung quanh ảnh", ví dụ, đoạn văn kế bên đề cập đến nội dung hình ảnh Cơng nghệ Polar Rose đốn từ ảnh, khoảng 1,5 giây, người trông không gian ba chiều, khẳng định họ "sẽ yêu cầu người dùng nhập tên người mà họ nhận ảnh online" để giúp xây dựng sở liệu Identix, công ty từ Minnesota, phát triển phần mềm FaceIt FaceIt nhận khn mặt đám đơng so sánh với sở liệu tồn giới để nhận dạng đặt tên cho khuôn mặt Phần mềm viết để phát nhiều đặc điểm khn mặt người Nó phát khoảng cách hai mắt, chiều rộng mũi, hình dạng xương gò má, độ dài đường viền hàm nhiều đặc điểm khác khuôn mặt Nó thực điều cách đưa hình ảnh khuôn mặt vào faceprint, mã số đại diện cho gương mặt người Phần mềm nhận dạng khuôn mặt trước thường phải dựa hình ảnh 2D với người cần nhận dạng gần phải trực tiếp đối mặt với máy ảnh Bây giờ, với FaceIt, hình ảnh 3D so sánh với hình ảnh 2D cách chọn điểm cụ thể hình 3D chuyển đổi thành hình ảnh 2D sử dụng thuật tốn đặc biệt qt qua tất sở liệu   Năm 2006, thuật tốn nhận dạng khn mặt đánh giá Face Recognition Grand Challenge (FRGC) Hình ảnh gương mặt, hình ảnh scan gương mặt 3D ảnh iris độ phân giải cao, sử dụng kiểm tra Kết cho thấy thuật tốn xác 10 lần so với thuật tốn nhận dạng khn mặt năm 2002 xác 100 lần so với thuật toán năm 1995 Một số thuật tốn nhận dạng tốt người tham gia việc nhận diện khuôn mặt xác định người cặp song sinh giống hệt Hình ảnh độ phân giải thấp khn mặt tăng cường cách sử dụng khuôn mặt ảo giác Các cải tiến cao hình có độ phân giải cao, máy ảnh megapixel vài năm gần giúp giải vấn đề thiếu độ phân giải CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Thư viện Dlib: Dlib công cụ C ++ đại chứa thuật toán công cụ học máy để tạo phần mềm phức tạp C ++ để giải vấn đề giới thực Nó sử dụng ngành công nghiệp học thuật nhiều lĩnh vực bao gồm robot, thiết bị nhúng, điện thoại di động mơi trường điện tốn hiệu cao lớn Cấp phép nguồn mở Dlib cho phép bạn sử dụng ứng dụng nào, miễn phí 10  Tài liệu:  Không giống nhiều dự án nguồn mở, dự án cung cấp tài liệu đầy đủ xác cho lớp chức Ngồi cịn có chế độ gỡ lỡi kiểm tra điều kiện tiên ghi lại cho chức Khi điều kích hoạt, bắt phần lớn lỗi gây việc gọi hàm khơng xác sử dụng đối tượng cách khơng xác  Rất nhiều chương trình ví dụ cung cấp  Tơi coi tài liệu phần quan trọng thư viện Vì vậy, bạn tìm thấy điều khơng ghi lại, khơng rõ ràng hết tài liệu, cho biết sửa  Thuật toán học máy:  Deep Learning  Máy Vector Hỗ trợ dựa SMO thông thường để phân loại hồi quy  Các phương pháp giảm thứ hạng để phân loại hồi quy quy mô lớn  Máy vectơ liên quan để phân loại hồi quy  Công cụ multiclass classification  Một Multiclass SVM  Một công cụ để giải vấn đề tối ưu hóa liên quan đến máy vectơ hỗ trợ cấu trúc  Các công cụ cấu trúc SVM để sequence labeling  Các công cụ cấu trúc SVM để giải assignment problems  Các công cụ SVM cấu trúc để phát đối tượng ảnh công cụ học sâu mạnh (nhưng chậm hơn) để phát đối tượng  Các công cụ SVM cấu trúc để ghi nhãn nút biểu đồ  Một triển khai SVM-Rank quy mơ lớn  Một thuật tốn hồi quy RLS kernel trực tuyến  Một thuật toán phân loại SVM trực tuyến  Semidefinite Metric Learning  Một công centroid estimator / trình phát nhân trung tâm nhân trực tuyến phân loại vector hỗ trợ ngoại tuyến  Các thuật toán phân cụm: linear kernel k-means, Chinese Whispers, Newman clustering  Radial Basis Function Networks  Multi layer perceptrons  Luồng  Thư viện cung cấp API phân luồng di động đơn giản 11       Một thông báo qua đường ống cho liên thread interprocess thông tin liên lạc Một đối tượng hẹn có khả tạo kiện thường xuyên cách theo thời gian Threaded objects Threaded functions Parallel for loops Một thread_pool với hỗ trợ cho tương lai  Mạng Thư viện cung cấp API ổ cắm TCP di động đơn giản  Một đối tượng giúp bạn tạo máy chủ dựa TCP  Các đối tượng iostream streambuf cho phép socket TCP tương tác với thư viện iostreams C ++  Một đối tượng máy chủ HTTP đơn giản mà bạn sử dụng để nhúng máy chủ web vào ứng dụng  Một thơng báo qua đường ống cho liên thread interprocess thông tin liên lạc  Một công cụ sử dụng để thực thuật tốn sử dụng mơ hình tính tốn song song hàng loạt (BSP)  Tiện ích chung  Một đối tượng an toàn kiểu để chuyển đổi thứ tự byte lớn nhỏ  Một phân tích cú pháp dịng lệnh với khả phân tích Validate dịng lệnh với loại khác đối số tùy chọn  Một phân tích cú pháp XML  Một đối tượng thực chuyển đổi sở64  Nhiều lớp container  Hỗ trợ nối tiếp  Nhiều đối tượng quản lý nhớ thực chiến lược tổng hợp nhớ khác  Một công cụ cho phép bạn dễ dàng gọi C ++ từ MATLAB  12 2.2 Labled Faces in the Wild: Những liệu sử dụng cho nghiên cứu máy học trích dẫn tạp chí học thuật đánh giá ngang hàng Dữ liệu phần thiếu lĩnh vực học máy Những tiến lĩnh vực kết tiến thuật toán học tập (như học sâu ), phần cứng máy tính và, trực quan hơn, có sẵn liệu đào tạo chất lượng cao Bộ liệu đào tạo dán nhãn chất lượng cao cho giám sát bán giám sátCác thuật tốn học máy thường khó sản xuất tốn cần nhiều thời gian để dán nhãn liệu Mặc dù chúng không cần phải dán nhãn, liệu chất lượng cao cho việc học tập khơng giám sát khó khăn tốn để sản xuất Trường Tên liệu Người Nhiệm vụ hợp FERET (công Định Mô tả ngắn gọn Đã tạo dạng sáng tạo 11338 hình ảnh 1199 cá Phân loại, nghệ nhận nhân vị trí khác 11.338 dạng khn Bộ quốc Hình ảnh nhận diện 2003 thời điểm khác khuôn mặt mặt) phịng Hoa Kỳ Khn mặt 15 cá nhân Cơ sở liệu Nhận dạng 11 biểu khác 165 Hình ảnh khn mặt Yale J Yang 1997 khn mặt cộng Hình ảnh nhân vật H Ng et al Hình ảnh, FaceScrub công cộng chau chuốt Nhận dạng 107.818 2014 văn khn mặt từ tìm kiếm hình ảnh Bảng 2.2 13 2.3 Face_recognition :  Nhận dạng khuôn mặt công nghệ sinh trắc học sử dụng để thiết lập danh tính cá nhân có khả nhận dạng xác minh người Nó sử dụng ứng dụng máy tính, cịn gọi hệ thống nhận dạng khn mặt, để trích xuất hình ảnh kỹ thuật số từ hình ảnh, khung hình video quét 3D tạo sao, phép đo đặc trưng cấu trúc khuôn mặt, nhận dạng người khuôn mặt cụ thể cho mục đích nhận dạng xác thực  Hệ thống nhận dạng khn mặt sử dụng hình ảnh 2D / 3D nguồn cấp liệu video để tạo hình ảnh kỹ thuật số, thiết lập in nhận diện khuôn mặt cách so sánh hình ảnh kỹ thuật số với in sở liệu Mỗi khuôn mặt có số cột mốc thành phố hệ thống đánh dấu điểm điểm nút điểm Một khn mặt người có tới 80 điểm Họ đại diện cho lĩnh vực quan tâm khuôn mặt mà hệ thống đo lường  Một số ví dụ phép đo là, khoảng cách hai mắt, chiều rộng mũi, độ sâu hốc mắt Các phép đo lưu trữ sở liệu dạng in  Khi hệ thống qt khn mặt, so sánh tất phép đo với ghi, in, sở liệu  Các hệ thống nhận dạng khn mặt sử dụng thuật tốn, chẳng hạn Kiểm tra nhà cung cấp nhận dạng khn mặt, dự đốn liệu có trận đấu dựa điểm nút gật đầu khuôn mặt cá nhân hay không  Thông thường, có quy trình gồm giai đoạn liên quan đến hoạt động công nghệ này:  Chụp - Một mẫu vật lý hành vi hệ thống chụp lại q trình đăng ký  Trích xuất - Dữ liệu trích xuất từ mẫu mẫu tạo  So sánh - Mẫu sau so sánh với mẫu  Kết hợp - Hệ thống sau định xem tính trích xuất từ mẫu có khớp hay khơng 14 CHƯƠNG PHÂN TÍCH HỆ THỐNG Chương trình bày giải pháp đề xuất để giải toán đặt gồm khối quan trọng chi tiết cần thực Mơ hình đề xuất hệ thống thể sau: Hình 3.1 Mơ hình tổng quan hệ thống đề xuất Có thể thấy hệ thống bao gồm khối chức (module) riêng biệt cụ thể: Máy chủ , thiết bị di dộng, server quản lí liệu, Thiết bị nhận diện khn mặt 15 3.1 MƠI TRƯỜNG VÀ CƠNG CỤ SỬ DỤNG Qua trình nghiên cứu để thực demo cho đề tài này, định chọn sử dụng:  Ngơn ngữ lập trình Python  Thư viện mã nguồn mở OpenCV  Các thuật toán Dlib, Labled Faces in the Wild 3.2 Yếu tố tác động : Chương Các yếu tố làm ảnh hưởng tới kết nhận dạng: Ánh sáng: Ảnh kỹ thuật số biểu diễn cường độ sáng đối tượng, ánh sáng thay đổi, thông tin đối tượng bị ảnh hưởng Chương Cự ly đối tượng so với camera: khoảng cách đối tượng so với camera xác định số pixel ảnh quy định nên khuôn mặt Chương Cảm xúc biểu cảm khuôn mặt: nét biểu cảm cảm xúc khuôn mặt gây nhiễu, việc loại nhiễu chưa có phương pháp hiệu Chương Tư đứng đối tượng (nghiêng, xoay,…): tư đối tượng xác định thơng tin đối tượng Việc tư thay đổi lớn làm thay phần lớn thông tin đối tượng, dẫn đến kết nhận dạng sai Chương Trang phục đối tượng: Kết nhận dạng bị ảnh hưởng lớn đối tượng có trang phục khác biệt so với mẫu đeo kính, đội mũ,… Chương 16 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM TRÊN BÀI TOÁN NHẬN DẠNG KHUÔN MẶT  Bao gồm chức chính:   Nhận dạng qua ảnh Nhận dạng qua camera Hình 4.1 17 Hình 4.2 Hình 4.3 Nhận dạng thơng qua ảnh Hình 4.4 18 Hình 4.5 Nhận dạng thơng qua webcam Chương KẾT LUẬN & HƯỚNG PHÁT TRIỂN 5.1 KẾT LUẬN Đề tài phát triển hệ thống đơn giản gồm phần, cụ thể (a) Xử lý ảnh video đầu vào, (b) Phân chia thành khung, (d) Phát khuôn mặt người dùng, (e) hiển thị tên Mỡi thành phần thực thuật toán cụ thể khác dựa yêu cầu Tuy nhiên hệ thống số hạn chế sau: Hệ thống không hoạt động, thời điểm nhận diện có vào ban đêm nơi có ánh sáng mạnh Hệ thống không hoạt động cần chi phí đầu vào cao để thiết lập hệ thống cần thiết Hoạt động chưa hoàn toàn hiệu với người sử dụng trang kính mát 5.2 HƯỚNG PHÁT TRIỂN Sau số cải tiến thực tương lai hệ thống này: 19 Chúng cố gắn giảm chi phí giá thành ứng dụng, tối ưu hóa ứng dụng ối ưu nhận diện điều kiện khó khăn ánh sáng , đeo trang ,… thêm thơng tin lớp, giới tính, ID … thời gian tới MỤC LỤC Mở đầu Trang 1.Lý chọn đề tài 1-2 2.Mục tiêu nhiệm vụ 3.Đối tượng phạm vi nghiên cứu 4.Phương pháp nghiên cứu 5.Ý nghĩa khoa học thực tiễn đề tài Danh mục các bảng Danh mục các hình .6 Danh mục cụm từ viết tắt Chương Nghiên cứu tổng quan 1.1 Bài toán phát khuôn mặt người .8 1.3 Tổng quan kết nghiên cứu 8-10 Chương Cơ sở lý thuyết 2.1 Thư viện Dlib 10-12 2.2 Labled Faces in the wild .13 2.3 Face_recognition 14 Chương Phân tích hệ thớng 3.1 Mơi trường cơng cụ .16 20 3.2 Yếu tố tác động 16 Chương Thực nghiệm và đánh giá kết quả .17-18 Chương Kết luận và hướng phát triển 19 21