BÁO CÁO ĐỒ ÁN CƠ SỞ 4:ĐỀ TÀI:XÂY DỰNG CHƯƠNG TRÌNHNHẬN DẠNG GIỚI TÍNHTHÔNG QUA ẢNH KHUÔNMẶT

BÁO CÁO ĐỒ ÁN CƠ SỞ 4:

ĐỀ TÀI:

XÂY DỰNG CHƯƠNG TRÌNHNHẬN DẠNG GIỚI TÍNHTHÔNG QUA ẢNH KHUÔN

Sinh viên thực hiện:

1

Lê Quốc Dũng – 18IT130

2

Đặng Ngọc Châu – 18IT124

Đà nẵng, tháng 12 năm 2020

LỜI MỞ ĐẦU

- Lời đầu tiên em xin chân thành cảm ơn đến thầy Nguyễn Quang Vũ đã giúp emrất nhiều trong quá trình thực hiện đồ án này Trong quá trình thực hiện đồ án, đượcsự giúp đỡ tận tình của thầy em đã thu được nhiều kiến thức quý báu giúp em rấtnhiều trong quá trình học và làm việc trong tương lai.

- Trong quá trình thực hiện đồ án không tránh khỏi một số sai sót Mong nhậnđược sự góp ý của các thầy để hoàn thiện hơn.

- Một lần nữa em xin chân thành cảm ơn sự giúp đỡ của thầy trong quá trình thựchiện đồ án để em hoàn thành đồ án này

M c l cục lục ục lục

Chương 1 GIỚI THIỆU 3

1.1 Tổng Quan: 3

1.1.1 Mở đầu 3

1.1.2 Mục tiêu của chuyên đề 3

1.1.3 Đối tượng nghiên cứu 4

Chương 2 CƠ SỞ LÝ THUYẾT 6

2.1 Tổng quan về Deep Learning và bài toán nhận diện khuôn mặt trong thị giác máytính 62.1.1 Deep Learning là gì? 6

2.1.2 Một số ứng dụng của Deep Learning 6

2.2 Giới thiệu Convolutional Neural Network 6

2.2.1 Tổng quan 6

2.2.2 Kiến trúc CNN 7

2.3 Tổng quan về Machine Learning 8

2.4 Thư viện Keras 8

2.5 Thư viện FaceNet 9

2.6 Thư viện Sklearn 9

Chương 3 TRIỂN KHAI XÂY DỰNG 10

3.1 Sử dụng Machine Learning để nhận diện giới tính bằng python 10

3.1.1 Điều kiện tiên quyết: 10

3.1.2 Môi trường thực hiện 10

Chương 1 GIỚI THIỆU

1.1 Tổng Quan:

1.1.1 Mở đầu

Hiện nay, cùng với sự phát triển của xã hội, vấn đề an ninh bảo mật đang được yêucầu khắt khe tại mọi quốc gia trên thế giới Các hệ thống nhận dạng con người được rađời với độ tin cậy ngày càng cao Một trong các bài toán nhận dạng con người rất đượcquan tâm hiện nay là nhận dạng khuôn mặt Vì nhận dạng khuôn mặt là cách mà conngười sử dụng để phân biệt nhau Bên cạnh đó, ngày nay việc thu thập, xử lý thông tinqua ảnh để nhận biết đối tượng đang được quan tâm và ứng dụng rộng rãi Với phươngpháp này, chúng ta có thể thu nhận được nhiều thông tin từ đối tượng mà không cần tácđộng nhiều đến đối tượng nghiên cứu Sự phát triển của khoa học máy tính tạo môi trườngthuận lợi cho bài toán nhận dạng mặt người từ ảnh số Các hệ thống nhận dạng offline đãra đời và có độ tin cậy cao, tuy nhiên các hệ thống nhận dạng online lại chưa đáp ứngđược nhiều.

Trong khuôn khổ đồ án này, chúng em sẽ tiếp tục giải quyết bài toán nhận dạngoffline Trong đó đối tượng được thu thập thành các file dữ liệu và được chuyển về trungtâm Tại đó, các số liệu sẽ được phân tích xử lý Trong phần đầu, chúng em sẽ giải quyếtbài toán nhận dạng thông thường, phần hai sẽ là phần nhận dạng giới tính.

1.1.2 Mục tiêu của chuyên đề

Sử dụng thư viện Multi Task Convolutional Neural Network để trích xuất khuôn mặttừ một bức ảnh đầu vào cho trước sau đó sử dụng pre-trained model FaceNet để giảmchiều dữ liệu các vector biểu diễn khuôn mặt trở thành vector 128 chiều và áp dụng cácthuật toán Machine Learning để huấn luyện model sau đó lựa chọn ra model tốt nhất.

Input: Ảnh chụp mặt người Output: Giới tính của người đó.

1.1.3 Đối tượng nghiên cứu

- Ngôn ngữ Python

- Tìm hiểu về Machine Learning và Deep Learning- Các thuật toán nhận diện

- Nghiên cứu thư viện Multi Taks Convolutional Neural Network và FaceNet

- Phương pháp nghiên cứu lý thuyết:

+ Tìm hiểu tổng quan về Machine Learning và bài toán nhận diện khuôn mặt trongthị giác máy tính.

- + Tìm hiểu thư viện Multi Taks Convolutional Neural Network và FaceNet.+ Tìm hiểu thư viện Keras và một số thư viện khác.

- Phương pháp nghiên cứu thực nghiệm:+ Tiến hành phân tích và cài đặt trên Python+ Tiến hành training data cho máy học.

1.2.2 Kết quả

- Tạo ra chương trình nhận dạng giới tính thông qua ảnh có sẵn thực trên hệ điều hành Window.

1.3 Cấu Trúc đồ án:

Nội dung chính của chuyên đề được chia thành 4 phần như sau:

Chương 1: Chương này trình bày một cách tổng quan về mục tiêu, đối tượng vàphạm vi nghiên cứu, các hướng tiếp cận để giải quyết bài toán nhận dạng và kết quảdự tính.

Chương 2: Cơ sở lý thuyết: Tìm hiểu phương pháp máy học và tìm hiểu các thư viện,ứng dụng Machine Learning và bài toán nhận diện khuôn mặt.

Chương 3: Ứng dụng thực nghiệm: Trên cơ sở thư viện mã nguồn mở xây dựng chươngtrình nhận diện giới tính con người qua ảnh có sẵn, cùng với những phân tích chươngtrình.

Chương 4: Kết luận và hướng phát triển: Đánh giá kết quả và hướng phát triển nghiêncứu.

Chương 2 CƠ SỞ LÝ THUYẾT

2.1 Tổng quan về Deep Learning và bài toán nhận diện khuôn mặt trong thị giác máy tính

2.1.1 Deep Learning là gì?

Deep Learning là một chủ đề Trí truệ nhân tạo (AI) và là một phạm trù nhỏ của máyhọc Deep Learning tập trung giải quyết các vấn đề liên quan đến mạng nơron nhân tạonhằm nâng cấp các công nghệ như nhận diện giọng nói, thị giác máy tính và xử lý ngônngữ tự nhiên.

Deep Learning đang trở thành một trong những lĩnh vực quan trọng trong khoa họcmáy tính Chỉ trong vài năm, Deep Learning đã thúc đẩy tiến bộ trong đa dạng các lĩnhvực như nhận thức sự vật (object perception), dịch tự động (machine translation), nhậndiện giọng nói - đó là những vấn đề từng rất khó khăn với các nhà nghiên cứu trí tuệ nhântạo.

2.1.2

Một số ứng dụng của Deep Learning

- Hệ thống xử lý trên các nền tảng.- Nhận diện hình ảnh.

CNN là dễ dàng huấn luyện hơn và có ít thông số so với các mạng kết nối đầy đủ vớicùng một số đơn vị ẩn

2.2.2 Kiến trúc CNN

CNN gồm một số lớp chập và lớp lấy mẫu con tùy chọn, tiếp theo là các lớp | kếtnối Đầu vào cho một lớp chập là một hình ảnh m 3 m 3 , với m là chiều cao và chiềurộng của hình ảnh và r là số kênh (ví dụ một ảnh RGB cố y=3) Lớp chập sẽ có k bộ lọccó kích thước n < n < 4, trong đó n nhỏ hơn kích thước hình ảnh và q có thể bằng hoặcnhỏ hơn số kênh r Kích thước của các bộ lọc tăng đến cấu trúc kết nổi cục bộ, trong đómỗi bộ lọc xoắn với hình ảnh để tạo ra k bản đồ đặc trưng có kích thước m – n + 1, Mỗibản đồ được lấy mẫu con đặc trưng với việc hợp nhất trung bình hoặc lớn nhất trên 2 x 2khu vực lân cận, trong đó phạm vi của p là giữa 2 (cho các hình ảnh nhỏ) và 5 (chỉ cácđầu vào lớn hơn) Trước hoặc sau khi lấy mẫu con, một bias bổ sung và xích ma phi tuyếnđược áp dụng cho mỗi bản đồ đặc trung.

Hình 2.2.1 Kiến trúc CNN trong nhận diện hành động con người

Chập hình ảnh đầu vào với các bộ lọc huấn luyện khác nhau và các bias bổ sung,nhiều bản đồ đặc trưng được tạo trong lớp C1 Mỗi bản đồ đặc trưng trong S2 thu đượcbởi thao tác tổng hợp các bản đồ đặc trưng tương ứng trong lớp C1 Chập và tổng hợp cựcđại trong lớp C3 và S4 thì giống trong lớp C1 và S2 Trong bước nhận diện cuối cùng, các

đặc trưng thu được sau khi tổng hợp cực đại trong lớp S4 thì được mã hóa thành mộtvector 1 chiều.

2.3 Tổng quan về Machine Learning

Machine Learning là một thuật ngữ rộng để chỉ hành động bạn dạy máy tính cảithiện một nhiệm vụ mà nó đang thực hiện Cụ thể hơn, machine learning đề cập tới bất kỳhệ thống mà hiệu suất của máy tính khi thực hiện một nhiệm vụ sẽ trở nên tốt hơn sau khihoàn thành nhiệm vụ đó nhiều lần Hay nói cách khác, khả năng cơ bản nhất của machinelearning là sử dụng thuật toán để phân tích những thông tin có sẵn, học hỏi từ nó rồi đưa raquyết định hoặc dự đoán về một thứ gì đó có liên quan Thay vì tạo ra một phần mềm vớinhững hành động, hướng dẫn chi tiết để thực hiện một nhiệm vụ cụ thể, máy tính được“huấn luyện” bằng cách sử dụng lượng dữ liệu và các thuật toán để học cách thực hiệnnhiệm vụ.

Một vài ứng dụng của Machine learning:- Cảnh báo giao thông.

- Mạng xã hội Facebook.- Trợ lý cá nhân ảo.- Phát hiện gian lận.

2.4 Thư viện Keras

Keras là một thư viện nơ-ron mã nguồn mở được viết bằng ngôn ngữ lập trình

Python Nó có khả năng chạy trên đầu trang của Tensorflow, Microsoft Cognitive Toolkit,R, Theano hoặc StripeML Được thiết kế để cho phép thử nghiệm nhanh với các mạngthần kinh sâu, nó tập trung vào việc thân thiện với người dùng, mô-đun và mở rộng.

Keras được coi là một thư viện ‘high-level’ với phần ‘low-level’ (còn được gọi là

backend) có thể là TensorFlow, CNTK, hoặc Theano (sắp tới Theano sẽ không được duytrì nâng cấp nữa) Keras có cú pháp đơn giản hơn TensorFlow rất nhiều Với mục đíchgiới thiệu về các mô hình nhiều hơn là các sử dụng các thư viện deep learning, tôi sẽ chọnKeras với TensorFlow là ‘backend’.

Một số tính năng của Keras:

- Keras đã được sử dụng rộng rãi trong doanh nghiệp và cộng đồng nghiên cứu- Keras giúp dễ dàng biến các thiết kế thành sản phẩm

- Keras hỗ trợ huấn luyện trên nhiều GPU phân tán

- Keras hỗ trợ đa backend engines và không giới hạn bạn vào một hệ sinh thái.

2.5 Thư viện FaceNet

Model này thì chúng ta bỏ ảnh vào (đúng size của nó) thì nó trả ra 1 vector 128features cho 1 khuôn mặt Sau đó dùng SVM để phân nhóm các vector đó vào các nhómđể biết vector đó là mặt của ai.

2.6 Thư viện Sklearn

Sklearn là thư viện về machine learning phổ biến nhất của Python Nó viết sẵn cácthuật toán lằng nhằng phức tạp, bạn chỉ việc nhét dữ liệu vào, chờ nó tính toán rồi lấy kếtquả trên.

Thư viện này tích hợp rất nhiều thuật toán hiện đại và cố điển giúp bạn vừa học vừatiến hành đưa ra các giải pháp hữu ích cho bài toán của bạn một cách đơn giản.

Scikit-learn (Sklearn) là thư viện mạnh mẽ nhất dành cho các thuật toán học máyđược viết trên ngôn ngữ Python Thư viện cung cấp một tập các công cụ xử lý các bàitoán machine learning và statistical modeling gồm: classification, regression, clustering,và dimensionality reduction.

Thư viện được cấp phép bản quyền chuẩn FreeBSD và chạy được trên nhiều nềntảng Linux Scikit-learn được sử dụng như một tài liệu để học tập.

Để cài đặt scikit-learn trước tiên phải cài thư viện SciPy (Scientific Python) Nhữngthành phần gồm:

- Numpy: Gói thư viện xử lý dãy số và ma trận nhiều chiều- SciPy: Gói các hàm tính toán logic khoa học

- Matplotlib: Biểu diễn dữ liệu dưới dạng đồ thị 2 chiều, 3 chiều - IPython: Notebook dùng để tương tác trực quan với Python- SymPy: Gói thư viện các kí tự toán học

- Pandas: Xử lý, phân tích dữ liệu dưới dạng bảng

Chương 3TRIỂN KHAI XÂY DỰNG3.1 Sử dụng Machine Learning để nhận diện giới tính bằng python

2.6.1 Điều kiện tiên quyết:

Yêu cầu với cấu hình mặc định:

- Phiên bản của GPU Nvidia: Card đồ họa NVIDIA có ít nhất 1.6 GB (lệnh smi kiểm tra bộ nhớ GPU sẵn có trong Ubuntu) Ít nhất 2GB RAM bộ nhớ miễnphí.

nvidia Khuyến khích sử dụng cu DNN.- CPU: 8GB RAM bộ nhớ.

- Sẽ rất tốt nếu CPU có nhiều hơn 8 lõi.

2.6.2 Môi trường thực hiện

- Ngôn ngữ Python 3

- Thư viện Multi Task Convolutional Neural Network và FaceNet- CPU Intel Core i3 4005 1.7 GHz, Ram 4GB 1600 MHz DDR3- Hệ điều hành: Window 10

2.7 Các bước thực hiện

2.7.1 Mô tả dữ liệu

Dữ liệu gồm 2200 bức ảnh từ 2 bộ dữ liệu là CelebA và UTK Faces gồm 919 namvà 1281 nữ

Vì bộ dữ liệu Celeb chủ yếu là khuôn mặt của người nổi tiếng nên model đưa ra tuylà khá tốt nhưng chưa có độ chính xác cao trên khuôn mặt người già và trẻ em nên bổsung thêm 200 ảnh từ UTK Faces.

Phân chia bộ dữ liệu: Trainingset: 80% và Testset: 20%

2.7.2 Lựa chọn model

Dưới đây là kết quả trung bình của hệ số f1_score sau 10 lần đánh giá chéo dựa trênmột vài model có sẵn trên sklearn: LinearRegression, K-Nearest Neighbor, Random

Dựa trên kết quả đạt được trên bộ Trainingset, hai model được lựa chọn làm modelchính là KNN và SVC

Dưới đây là các tham số tìm được:

Có kết quả tốt hơn người làm chung dataset bộ dữ liệu celebA trên Kaggle (đạt94%)

2.7.5 Test

Sau khi bổ sung dataset, train lại model và đánh giá lại trên bộ test mới thìSVC(0.935) cho ra kết quả f1_score tốt hơn KNN(0.931) một chút nên lựa chọn SVC làmmodel chính cho bài toán này.

Dưới đây là kết một vài quả dự đoán chính xác của model.

- Tuy nhiên sự sai sót này có thể bỏ qua vì bài toán nhận dạng giới tính thường dùngđể áp dụng cho các vấn đề về quản lí nhân sự, xu hướng khách hàng,… và độ tuổitrẻ em thì thực sự chưa có tác động nhiều trên những vấn đề này.

- Dữ liệu nhận diện còn ít, thiếu sự đa dạng.

Bổ sung thêm dữ liệu

TÀI LIỆU THAM KHẢO

[1].Mô hình facenet trong facerecognition,

https://phamdinhkhanh.github.io/2020/03/12/faceNetAlgorithm.html [2] How to Develop a Face Recognition System Using FaceNet in Keras,

https://machinelearningmastery.com/how-to-develop-a-face-recognition-system-using-[3] MTCNN, https://github.com/ipazc/mtcnn[4] Xây dựng hệ thống nhận dạng giới tính,

[5] Tìm hiểu về MTCNN và áp dụng để xác định vị trí khuôn mặt,

3Q75wkO75Wb