Giải pháp ứng dụng kỹ thuật deep learning trong nhận dạng mặt người

TRƯỜNG ĐẠI HỌC QUẢNG BÌNH KHOA KỸ THUẬT – CƠNG NGHỆ THÔNG TIN ĐẶNG VĂN ĐẠT GIẢI PHÁP ỨNG DỤNG KỸ THUẬT DEEP LEARNING TRONG NHẬN DẠNG MẶT NGƯỜI Ngành đào tạo: Cơng nghệ thơng tin Trình độ đào tạo: Đại học KHĨA LUẬN TỐT NGHIỆP QUẢNG BÌNH, NĂM 2018 TRƯỜNG ĐẠI HỌC QUẢNG BÌNH KHOA KỸ THUẬT – CƠNG NGHỆ THÔNG TIN ĐẶNG VĂN ĐẠT GIẢI PHÁP ỨNG DỤNG KỸ THUẬT DEEP LEARNING TRONG NHẬN DẠNG MẶT NGƯỜI Ngành đào tạo: Cơng nghệ thơng tin Trình độ đào tạo: Đại học KHÓA LUẬN TỐT NGHIỆP Giảng viên hướng dẫn: TS Hồng Văn Dũng QUẢNG BÌNH, NĂM 2018 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng tôi, số liệu kết nghiên cứu nêu luận văn trung thực, tác giả cho phép sử dụng chưa cơng bố cơng trình khác Tác giả luận văn Đặng Văn Đạt MỤC LỤC MỞ ĐẦU 1 Lý chọn đề tài Mục đích nghiên cứu .1 Đối tượng, phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu 3.2 Phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa khoa học thực tiễn đề tài Bố cục luận văn CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 Một số kỹ thuật xử lý ảnh nhận dạng .4 1.1.1 Tiền xử lý ảnh 1.1.2 Các phép tốn hình thái học 1.1.3 Một số lọc .5 1.1.4 Nhận dạng 1.2 Học máy .8 1.2.1 Máy vector hỗ trợ (Suport Vector Machine) .8 1.2.2 Deep learning 13 1.3 Kỹ thuật deep learning 14 1.3.1 Mạng nơ ron nhân tạo 14 1.3.2 Mạng nơ ron tích chập .22 CHƯƠNG ÁP DỤNG KỸ THUẬT DEEP LEARNING VÀO NHẬN DẠNG KHUÔN MẶT 2.1 Bài tốn nhận dạng khn mặt người .29 2.2 Áp dụng kỹ thuật Deep learning vào nhận dạng khuôn mặt .29 2.2.1 Mơ hình giải pháp nhận dạng khn mặt 29 2.2.2 Phân tích giải pháp nhận dạng khn mặt .30 2.2.3 Thuật toán lan truyền ngược 31 2.2.4 Quá trình huấn luyện mạng nơ ron tích chập sâu (DCNN) .32 CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH, CÀI ĐẶT, THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Thư viện TensorFlow OpenCV 34 3.1.1 Thư viện TensorFlow 34 3.1.2 Thư viện OpenCV 36 3.2 Ngơn ngữ cơng cụ lập trình 37 3.3 Thực nghiệm .38 3.3.1 Thu thập xử lý liệu 38 3.3.2 Xử lý trước liệu 39 3.3.3 Đào tạo mơ hình 41 3.3.4 Nhận dạng 41 3.4 Kết nhận dạng 42 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .44 TÀI LIỆU THAM KHẢO 45 DANH MỤC HÌNH ẢNH Số bảng Tên bảng Trang Hình 1.1 Biểu diễn phân lớp dựa thuật tốn SVM [5] Hình 1.2 Siêu phẳng phân chia liệu tốt có khoảng cách lề 10 xa [5,7] Hình 1.3 Trường hợp liệu phân chia tuyến tính 10 Hình 1.4 Mô tả trường hợp liệu không phân chia tuyến 11 tính Hình 1.5 Dữ liệu phân lớp hàm nhân [5] 12 Hình 1.6 Một perceptron với ba đầu vào 14 Hình 1.7 Mạng nơ-ron gồm nhiều perceptron [6] 15 Hình 1.8 Mạng Nơ ron lớp ẩn [6] 17 Hình 1.9 Mạng nơ-ron hai lớp ẩn [6] 18 Hình 1.10 Q trình xử lý thơng tin ANN [8] 18 Hình 1.11a Single neuron [8] 19 Hình 1.11b Several neurons[8] 19 Hình 1.12 Hoạt động PE [8] 20 Hình 1.13 Phân loại dựa theo thuật tốn kiến trúc [8] 21 Hình 1.14 Mạng kết nối đầy đủ với ba lớp ẩn [6,9] 22 Hình 1.15 Các nơ-ron đầu vào [6,9] 23 Hình 1.16 Trường tiếp nhận cục [6] 23 Hình 1.17 Trường tiếp nhận cục với nơ-ron ẩn [6] 24 Hình 1.18 Trường tiếp nhận cục với nơ-ron ẩn thứ hai [6,9] 24 Hình 1.19 Ánh xạ đặc trưng vào lớp ẩn 26 Hình 1.20 Ánh xạ đặc trưng hình ảnh khác 26 [6,9] Hình 1.21 Max-polling [6,9] 28 Hình 1.22 Tương quan ánh xạ đặc trưng max-polling 28 [6,9] Hình 2.1 Mơ hình giải pháp nhận dạng khn mặt 30 Hình 2.2 Q trình huấn luyện mạng nơ ron tích chập sâu 33 (DCNN) Hình 3.1 Ví dụ graph Tensorflow 34 Hình 3.2 Tổ chức thư viện OpenCV 36 Hình 3.3 Hình ảnh ví dụ từ tập liệu ảnh khn mặt cho 38 danh tính Hình 3.4 Mô tả định dạng xếp thư mục tập 39 liệu ảnh mẫu ban đầu Hình 3.5 Hình ảnh khn mặt cắt tập liệu ảnh 40 ban đầu Hình 3.6 Mơ tả định dạng thư mục file lưu trữ sau 40 trình xử lý trước liệu Hình 3.7 Mơ tả file “bounding_boxes.txt” lưu trữ path, 41 trọng số ngưỡng Hình 3.8 Định danh khn mặt có camera 42 MỞ ĐẦU Lý chọn đề tài Cùng với phát triển khoa học công nghệ, trí tuệ nhân tạo xem nhân tố định hình tương lai Với phát triển nhanh chóng năm gần đây, trí tuệ nhân tạo thực vào sống Hàng loạt công nghệ sử dụng trí tuệ nhân tạo đời giúp ích cho người nhiều lĩnh vực an ninh , bảo mật, y học, giáo dục Machine learning lĩnh vực trí tuệ nhân tạo (AI) Nguyên tắc cốt lõi Machine learning máy tiếp nhận liệu tự học Machine learning phương pháp phân tích liệu mà tự động hóa việc xây dựng mơ hình phân tích Sử dụng thuật tốn lặp để học từ liệu, cho phép máy tính tìm thấy thơng tin giá trị ẩn sâu mà khơng lập trình cách rõ ràng nơi để tìm Một kỹ thuật sử dụng phổ biến Machine learning kỹ thuật Deep learning Deep learning lĩnh vực chuyên sâu Machine learning Nó sử dụng số kỹ thuật Machine learning để giải vấn đề thực tế cách khai thác mạng thần kinh nhân tạo mô việc đưa định người Deep learning có ứng dụng sâu rộng lĩnh vực đời sống tìm kiếm sai khác giữu văn bản, phát gian lận, phát spam, nhận dạng chữ viết tay, nhận dạng hình ảnh, giọng nói… góp phần quan trọng việc hỗ trợ người nhiều lĩnh vực đời sống Từ ứng dụng thực tế, lợi ích mà Deep learning đem lại kiến thức chuyên môn, sở để thực đề tài: “Giải pháp ứng dụng kỹ thuật Deep Learning nhận dạng mặt người ” nhằm nghiên cứu ứng dụng kỹ thuật Deep learning để xây dựng hệ thống nhận dạng khuôn mặt người Mục đích nghiên cứu - Nghiên cứu kỹ thuật Deep learning - Ứng dụng kỹ thuật deep learning nhận dạng khuôn mặt người Đối tượng, phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu - Đối tượng nghiên cứu đề tài kỹ thuật Deep Learning, thuật tốn ứng dụng deep learning nhận dạng khn mặt 3.2 Phạm vi nghiên cứu - Phạm vi nghiên cứu, hình ảnh khn mặt bạn sinh viên lớp Đại học Công nghệ thông tin K56, giới hạn mức độ thực nghiệm tạo hệ thống nhận dạng mặt người sử dụng kỹ thuật Deep learning để hệ thống nhận biết mặt bạn sinh viên lớp Phương pháp nghiên cứu - Phương pháp tài liệu: Nghiên cứu tài liệu kỹ thuật deep learning Deep Learning; phép lọc, thuật tốn tìm kiếm so khớp mẫu nhận dạng xử lý ảnh Các tài liệu nhận dạng xử lý ảnh số tài liệu liên quan - Phương pháp thực nghiệm: Xây dựng sở liệu ảnh huấn luyện nhận dạng khuôn mặt, sử dụng kỹ thuật Deep Learning để huấn luyện tập liệu hình ảnh khn mặt Kết hợp thuật tốn thu thập q trình nghiên cứu để giải tốn nhận dạng mặt người Xây dựng hệ thống dựa ngơn ngữ lập trình Python sử dụng IDE Pycharm công cụ thiết kế giao diện QT Ý nghĩa khoa học thực tiễn đề tài - Nghiên cứu kỹ thuật Deep Learning, đưa sở lý thuyết kỹ thuật Deep Learning - Xây dựng chương trình thực nghiệm đánh giá hệ thống nhận dạng khuôn mặt người sử dụng kỹ thuật deep learning - Ứng dụng hệ thống nhận dạng mặt người vào hệ thống giám sát an ninh, bảo mật, quản lý thông tin cá nhân quan, doanh nghiệp, hộ gia đình Bố cục luận văn Bố cục luận văn chia thành chương Chương Cơ sở lý thuyết - Bước 3: Trích xuất đặc trưng Sử dụng mơ hình mạng nơ ron sâu để trích xuất vector đặc trưng với 128 giá trị đặc trưng cho khuôn mặt Vector đặc trưng sau so sánh với vector tính lưu trữ sở liệu - Bước 4: Nhận dạng Sử dụng thuật toán phân loại SVM để so khớp vector đặc trưng truy vấn với vector đặc trưng lưu trữ sở liệu Kết trả tên người cần truy vấn nhận dạng khn mặt 2.2.3 Thuật tốn lan truyền ngược Thuật toán lan truyền ngược dạng tổng qt thuật tốn trung bình bình phương tối thiểu Đây thuật tốn xấp xỉ để tìm điểm mà hiệu mạng tối ưu Thuật toán lan truyền ngược xử lý tập mẫu học lặp lặp lại nhiều lần, bước lặp so sánh lớp mà mạng nơ-ron dự đoán với lớp xác mẫu Với mẫu học, trọng số điều chỉnh cho sai số trung bình - bình phương (phương sai) lớp dự đoán lớp thực nhỏ Điều chỉnh trọng số thực bước quay ngược lại, tức bước từ lớp xuất (lớp đầu ra) quay ngược qua lớp ẩn đến lớp ẩn Thuật toán lan truyền ngược gồm bước: Khởi tạo trọng số, lan truyền tiến đầu vào, tính sai số lan truyền ngược, xác định điều kiện kết thúc Mơ tả thuật tốn lan truyền ngược cho mạng nơ-ron học để phân lớp trình bày sau: Input: tập mẫu học, mạng nhiều lớp Output: mạng nơ-ron học để phân lớp cho mẫu Bước 1: Khởi tạo tất trọng số định hướng mạng Bước 2: While điều kiện kết thúc chưa thỏa { for với mẫu X có tập học { //lan truyền tiến đầu vào Bước 3: for với nơ-ron j lớp ẩn lớp xuất // tính mạng đầu vào cho nơ-ron i Ij = ∑ 𝑤𝑖𝑗 𝑜𝑖 + 𝜃𝑗 31 𝜃𝑗 = // tính mạng đầu cho nơ-ron j 1+𝑒 𝜂 Bước 4: for với nơ-ron j lớp xuất 𝐸𝑟𝑟𝑗 = 𝑂𝑗 (1 − 𝑂𝑗 )(𝑇𝑗 −𝑂𝑗 ) // tính sai số For với nơ-ron j lớp ẩn 𝐸𝑟𝑟𝑗 = 𝑂𝑗 (1 − 𝑂𝑗 ) ∑ 𝐸𝑟𝑟𝑘 𝑗𝑘 // tính sai số Bước 5: for với trọng số 𝑤𝑖𝑗 mạng{ ∆ 𝑤𝑖𝑗 = (1) 𝐸𝑟𝑟𝑗 𝑂𝑗 ; // độ tăng trọng số 𝑤𝑖𝑗 = 𝑤𝑖𝑗 + ∆ 𝑤𝑖𝑗 ; // cập nhật trọng số } Bước 6: for với định hướng 𝜃𝑗 mạng { ∆ 𝜃𝑗 = (1)𝐸𝑟𝑟𝑗 ; // độ tăng định hướng 𝜃𝑗 = 𝜃𝑗 + ∆ 𝜃𝑗 ; //cập nhật định hướng } } } 2.2.4 Q trình huấn luyện mạng nơ ron tích chập sâu (DCNN) Q trình huấn mạng nơ-ron tích chập sâu(hình 2.2), trình thực qua tiến trình Đầu tiên cung cấp hình ảnh đầu vào với hình ảnh đáp ứng có chứa đối tượng khn mặt Sau thu thập tập liệu đầu vào, q trình phát khn mặt ảnh thực thi Kết thúc q trình phát khn mặt ta thu hình ảnh cắt từ tập liệu ảnh đầu vào Quá trình phát diễn liên tục đảm bảo tìm kiếm tồn khn mặt có ảnh Sau thu hình ảnh khn mặt cắt từ liệu ảnh, ảnh chuyển đến trình tiền xử lý nhằm thực trình lọc nhiễu, chuẩn hóa hình ảnh Kết thúc q trình tiền xử lý Các hình ảnh khn mặt đưa vào đào tạo mơ hình mạng nơ ron tích chập (CNN) Tại khuôn mặt đào tạo qua lớp mô hình CNN Các khn mặt sau đào tạo qua lớp thu vec tơ đặc trưng, sở vec tơ đặc trưng chuyển đến trình đào tạo phân lớp Quá trình phân lớp thực thi, ứng với lớp tập hợp đặc trưng khn mặt cho đối tượng lớp Kết thúc q trình phân lớp, các số 32 giá trị thu qua trình đào tạo lưu lại file mơ hình đào tạo làm sở cho q trình nhận dạng trích xuất nhãn Hình 2.2 Q trình huấn luyện mạng nơ ron tích chập sâu (DCNN) 33 CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH, CÀI ĐẶT, THỬ NGHIỆM VÀ ĐÁNH GIÁ Lựa chọn công cụ phát triển, xử lý liệu đầu vào để đưa vào chương trình Quá trình cài đặt chương trình, trình chạy thử nghiệm Thống kê, đánh giá kết trình thử nghiệm chương trình 3.1 THƯ VIỆN TENSORFLOW VÀ OPENCV 3.1.1 Thư viện TensorFlow Tensorflow thư viện mã nguồn mở cung cấp khả xử lí tính tốn số học dựa biểu đồ mơ tả thay đổi liệu Tensor sử dụng cần giải toán supervised learning Hình 3.1 Ví dụ graph Tensorflow Các khái niệm cần biết thực hành với Tensorflow Node Tensorflow mơ tả lại dòng chảy liệu thơng qua graph nên điểm giao cắt graph gọi Node Tại điều quan trọng Node điểm đại diện cho việc thay đổi liệu nên việc lưu trữ lại tham chiếu Node quan trọng Tensor Tensorflow cung cấp loại liệu gọi Tensor[Tenensorflow] Trong giới Tensorflow, kiểu liệu quy mối gọi 34 Tensor hay Tensorflow, tất loại liệu Tensor Vậy nên hiểu phần tên Tensorflow thư viện mơ tả, điều chỉnh dòng chảy Tensor Tensor kiểu liệu dạng mảng có nhiều chiều mô tả dạng Tensor = [[[1,1,1],[178,62,74]],[[45,2,2],[19,0,17]],[[7,5,2],[0,11,4]],[[8,13,5],[1,6,7]]] Mảng nhiều chiều đính kèm thêm vài thuộc tính tham chiếu khác Các thuộc tính Tensor mô tả tài liệu bao gồm:  device: Tên thiết bị mà Tensor xuất Có thể None  graph: Đồ thị chứa Tensor  name: Tên Tensor  shape: Trả TensorShape mô tả lại Shape Tensor  op: OperationToán tử / Phép toán sử dụng để xuất Tensor  dtype: Kiểu elementsPhần tử Tensor Rank Rank bậc hay độ sâu Tensor Ví dụ Tensor = [1] có rank 1, Tensor = [[[1,1,1],[178,62,74]]] có rank 3, Tensor = [[1,1,1],[178,62,74]] có rank Cách nhanh để xác định rank Tensor đếm số lần mở ngoặc vuông giá trị khác ngoặc vuông Việc phân rank quan trọng đồng thời giúp phân loại liệu Tensor Khi cách rank đặc biệt cụ thể, Tensor có tên gọi riêng sau: Scalar: Khi Tensor có rank 0, Tensor đại diện cho số chuỗi cụ thể Ví dụ: scalar=123 Vector: Vector Tensor rank Trong python Vector list hay mảng chiều[Pyton] chứa số Ví dụ: list=[123,345] Matrix: Đây Tensor rank hay mảng hai chiều theo khái niệm Python Ví dụ: matrix=[[1,2],[2,1]] N-Tensor: Khi rank Tensor tăng lên lớn 2, chúng gọi chung NTensor Shape 35 Shape tuple[Python] có dimentionSố chiều với rank Tensor tương ứng dùng để mô tả lại cấu trúc Tensor Dưới ví dụ Shape  Tensor = có Shape = ()  Tensor = [1] có Shape = (1)  Tensor = [[[1,1,1],[178,62,74]]] có Shape = (1,1,2)  Tensor = [[1,1,1],[178,62,74]] có Shape = (1,2) Op Được viết tắt op, khái niệm Operator toán tử dùng để thực thi Tensor node Các tốn tử ConstHằng số, VariableBiến số, AddPhép cộng, MulPhép nhân DType Đây kiểu liệu elements Tensor Vì Tensor có thuộc tính DType nên từ suy có kiểu DType cho tồn elements có Tensor Trong đề tài này, thư viện TensorFlow sử dụng để xử lí tính tốn số học dựa biểu đồ mô tả thay đổi liệu, áp dụng cho q trình đào tạo huấn luyện mơ hình mạng nơ – ron tích chập sâu 3.1.2 Thư viện OpenCV OpenCV thư viện mã nguồn mở phục vụ cho việc nghiên cứu hay phát triển thị giác máy tính Tối ưu hóa xử lí ứng dụng thời gian thực Giúp cho việc xây dựng ứng dụng xử lí ảnh, thị giác máy tính, cách nhanh OpenCV có 500 hàm khác nhau, chia làm nhiều phần phục vụ cơng việc như: xử lí hình ảnh y tế, an ninh, camera quan sát, nhận diện, robots, Hình 3.2 Tổ chức thư viện OpenCV 36 Tổ chức thư viện OpenCV tập hợp thư hiện, số thư viện thường áp dụng: CXCORE chứa định nghĩa kiểu liệu sở Ví dụ, cấu trúc liệu cho ảnh, điểm hình chữ nhật định nghĩa cxtypes.h CXCORE chứa đại số tuyến tính phương pháp thống kê, chức trì điều khiển chuỗi Một số ít, chức đồ họa để vẽ ảnh đặt CV chứa thuật tốn xử lý ảnh định kích cỡ camera Các chức hình họa máy tính đặt CVAUX mô tả tài liệu OpenCV chứa mã cũ thứ nghiệm Tuy nhiên, giao diện đơn cho nhận diện ảnh module Code sau chúng chuyên dụng cho nhận diện mặt chúng ứng dụng rộng rãi cho mục đích HIGHGUI CVCAM đặt thư mục “otherlibs” + HIGHGUI : chứa giao diện vào bản, chứa khả cửa sổ mở rộng vào video + CVCAM : chứa giao diện cho video truy cập qua DirectX Windows 32 bits ML: Chứa thuật toán Machine Learning (học máy) Trong đề tài này, thư viện OpenCV sử dụng cho thao tác đọc, xử lý ảnh đối tượng ma trận điểm ảnh lớp Matrix 3.2 NGƠN NGỮ VÀ CƠNG CỤ LẬP TRÌNH  Ngơn ngữ lập trình: Python Python ngơn ngữ lập trình thơng dịch Guido van Rossum tạo năm 1990 Python hoàn toàn tạo kiểu động dùng chế cấp phát nhớ tự động; tương tự Perl, Ruby, Scheme, Smalltalk, Tcl Python phát triển dự án mã mở, tổ chức phi lợi nhuận Python Software Foundation quản lý Theo đánh giá Eric S Raymond, Python ngơn ngữ có hình thức sáng sủa, cấu trúc rõ ràng, thuận tiện cho người lập trình Cấu trúc Python cho 37 phép người sử dụng viết mã lệnh với số lần gõ phím tối thiểu, nhận định Guido van Rossum vấn ông Ban đầu, Python phát triển để chạy Unix Nhưng theo thời gian, " bành trướng" sang hệ điều hành từ MS-DOS đến Mac OS, OS/2, Windows ,Linux hệ điều hành khác thuộc họ Unix Với phát triển mã nguồn mở lĩnh vực AI ngơn ngữ lập trình Python xem ngơn ngữ nhà phát triển lựa chọn khun dùng  Cơng cụ lập trình: Python 3.6, IDE Pycharm Đề tài build tảng python 3.6 cơng cụ hỗ trợ lập trình Pycharm 3.3 THỰC NGHIỆM 3.3.1 Thu thập xử lý liệu Trong phần tiến hành thu thập hình ảnh khn mặt cách tải xuống file hình ảnh từ mạng xã hội facebook, instagram, thu thập cách chụp ảnh trực tiếp Mô tả hình ảnh từ tập liệu liệu ảnh khn mặt sử dụng cho đề tài (Hình 3.3) Hình 3.3 Hình ảnh ví dụ từ tập liệu ảnh khn mặt cho danh tính Ứng với tập liệu ảnh cho danh tính, liệu phân loại riêng biệt thư mục riêng Danh tính đặt trùng với tên thư mục lưu trữ tập liệu ảnh chứa gương mặt người (Hình 3.4) 38 Train_img Van Dat ActiOn_1.png ActiOn_2.png ActiOn_ png TS Dung ActiOn_1.png ActiOn_2.png ActiOn_ png Dai Thang ActiOn_1.png ActiOn_2.png ActiOn_ png Manh Dinh ActiOn_1.png ActiOn_2.png ActiOn_ png Hình 3.4 Mô tả định dạng xếp thư mục tập liệu ảnh mẫu ban đầu Mọi trình thu thập phân loại xử lý thủ công trước đưa chuyển lên phần phát khuôn mặt gắn nhãn 3.3.2 Xử lý trước liệu Các liệu ảnh sau thu thập định dạng chuẩn đưa vào trình phát khn mặt có tập hình ảnh thu thập trước Q trình thực thi cách chạy file “detector.py” Kết thúc trình chạy file thực thi thu hình ảnh khn mặt cắt tập liệu ảnh ban đầu Hình ảnh cắt kích thước size(182x182), tên file ảnh khn mặt cắt ứng với tên file hình ảnh chứa khn mặt cắt (Hình 3.5) 39 Hình 3.5 Hình ảnh khn mặt cắt tập liệu ảnh ban đầu Các file ảnh danh tính lưu trữ thư mục Pre_img, mơ tả định dạng thể hình (3.6) Pre_img Van Dat ActiOn_1.png ActiOn_2.png ActiOn_ png TS Dung ActiOn_1.png ActiOn_2.png ActiOn_ png Dai Thang ActiOn_1.png ActiOn_2.png ActiOn_ png Manh Dinh ActiOn_1.png ActiOn_2.png ActiOn_ png bounding_boxes.txt Hình 3.6 Mơ tả định dạng thư mục file lưu trữ sau trình xử lý trước liệu Các trình xử lý phát khuôn mặt, trọng số ngưỡng lưu lại file “bounding_boxes.txt” (hình 3.7) 40 Hình 3.7 Mô tả file “bounding_boxes.txt” lưu trữ path, trọng số ngưỡng 3.3.3 Đào tạo mơ hình Sau hồn tất cơng đoạn xử lý trước liệu, tiến hành đào tạo mơ hình cách chạy file “training.py” Hồn tất q trình đào tạo mơ hình thu file “classifier.pkl” lưu trữ mơ hình đào tạo làm sở cho trình nhận dạng thực thi 3.3.4 Nhận dạng Quá trình nhận dạng thực cách chạy file “recognition.py”, hình ảnh khuôn mặt nhận dạng khoanh vùng hiển thị tên phía khung bao quanh khn mặt đánh dấu (Hình 3.8) 41 Hình 3.8 Định danh khn mặt có camera 3.4 KẾT QUẢ NHẬN DẠNG  Quá trình thử nghiệm hệ thống nhận dạng khuôn mặt sử dụng kỹ thuật Deep learning Tiến hành test thử nghiệm lần, hai lần đầu sử dụng 200 hình ảnh khn mặt, lần sau sử dụng 300 hình ảnh khn mặt Trường hợp nhận dạng hiển thị tên xác người phía khung nhận dạng Thu thập thơng số tính tốn độ xác hiển thị qua bảng sau: Bảng 3.1 Kết trình thử nghiệm hệ thống nhận dạng khuôn mặt sử dụng kỹ thuật Deeplearning 42 Số ảnh Số khuôn mặt nhận Số khuôn mặt Tỷ lệ khn mặt dạng nhận dạng sai xác 200 185 15 92,5% 200 187 13 93,5% 300 279 21 93,0% 300 282 18 94,0% 300 286 14 ≈ 95,3% Số lần thử  Đánh giá kết - Tỷ lệ nhận dạng xác mức tốt môi trường ánh sáng tốt - Tốc độ xử lý: tốc độ xử lý nhận dạng 5,2 hình giây 43 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN  Kết luận  Ưu điểm: - Nghiên cứu thử nghiệm giải pháp kỹ thuật Deep learning ứng dụng nhận dạng mặt người - Xây dựng chương trình thực nghiệm hệ thống nhận dạng khuôn mặt sử dụng kỹ thuật Deeplearning - Thực q trình thử nghiệm đánh giá tính khả thi giải pháp - Đề tài có tính ứng dụng cao thực tế phục vụ số lĩnh vực giám sát an ninh, bảo mật, toán điện tử, kiểm soát nhân viên vào quan  Hạn chế: - Số lượng sở liệu hình ảnh mở mức hạn chế, hình ảnh chưa phong phú đa dạng - Quá trình nhận dạng khuôn mặt đạt hiệu cao điều kiện môi trường thuận lợi, ánh sáng tốt  Hướng phát triển - Trong thời gian tới mục tiêu khắc phục điểm hạn chế nêu - Nâng cấp tốc độ xử lý q trình nhận dạng khn mặt - Phát triển nâng cấp giải pháp nhận dạng khuôn mặt sử dụng kỹ thuật deep learning kết hợp với nhận dạng thẻ RFID để xây dựng hệ thống kiểm soát người vào quan 44 TÀI LIỆU THAM KHẢO [1] Hoàng Kiếm, Vũ Đức Khánh (2003) “Giáo trình xử lý ảnh”,NXB ĐHQG [2] GS TS Đỗ Hồng Tồn (2006), “Giáo trình lý thuyết nhận dạng ứng dụng quản lý”, NXB Khoa học Kỹ thuật, tr5-10 [3] A Krizhevsky, I Sutskever, and G E Hinton “ImageNet classification with deep convolutional neural networks”, In NIPS, pages 1106–1114, 2012 [4] Chih-Wei Hsu, Chih-Chung Chang, and Chih-Jen Lin “A Practical Guide to Support Vector Classification”, Department of Computer Science National Taiwan University- Taipei 106- Taiwan, Last updated: May 19, 2016 [5] Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani “An Introduction to Statistical Learning with Applications in R ( Springer Texts in Statistics ) ”, by Springer Publishing, 2013 [6] Michael A Nielsen (2013), “Neural Networks And Deep Learning”, Determination Press [7] Steve R Gunn ,“Support Vector Machines for Classification and Regression”, Technical Report, Faculty of Engineering, Science and Mathematics School of Electronics and Computer Science, 1998 [8] http://www.nguyenphatloi.com/2014/07/tong-quan-ve-mang-neuron-neuralnetwork.html [9] http://bis.net.vn/forums/t/482.aspx [10] http://neuralnetworksanddeeplearning.com/chap6.html [11] http://aiehive.com/deep-face-recognition-using-deep-convolution-neuralnetwork/ [12] https://vi.wikipedia.org/ 45 ... cứu ứng dụng kỹ thuật Deep learning để xây dựng hệ thống nhận dạng khuôn mặt người Mục đích nghiên cứu - Nghiên cứu kỹ thuật Deep learning - Ứng dụng kỹ thuật deep learning nhận dạng khuôn mặt người. .. ÁP DỤNG KỸ THUẬT DEEP LEARNING VÀO NHẬN DẠNG KHUÔN MẶT 2.1 Bài tốn nhận dạng khn mặt người .29 2.2 Áp dụng kỹ thuật Deep learning vào nhận dạng khuôn mặt .29 2.2.1 Mơ hình giải pháp nhận. .. nhận dạng mặt người sử dụng kỹ thuật Deep learning để hệ thống nhận biết mặt bạn sinh viên lớp Phương pháp nghiên cứu - Phương pháp tài liệu: Nghiên cứu tài liệu kỹ thuật deep learning Deep Learning;