BÁO cáo đồ án cơ sở 4 đề tài xây DỰNG CHƯƠNG TRÌNH NHẬN DẠNG GIỚI TÍNH THÔNG QUA ẢNH KHUÔN mặt

BÁO CÁO ĐỒ ÁN CƠ SỞ ĐỀ TÀI: XÂY DỰNG CHƯƠNG TRÌNH NHẬN DẠNG GIỚI TÍNH THƠNG QUA ẢNH KHUÔN MẶT Sinh viên thực : Lê Quốc Dũng – 18IT130 Đặng Ngọc Châu – 18IT124 Giảng viên Lớp : ThS.Nguyễn Quang Vũ : 18IT3 Đà nẵng, tháng năm 2021 LỜI MỞ ĐẦU - Lời em xin chân thành cảm ơn đến thầy Nguyễn Quang Vũ giúp em nhiều trình thực đồ án Trong trình thực đồ án, giúp đỡ tận tình thầy em thu nhiều kiến thức quý báu giúp em nhiều trình học làm việc tương lai - Trong q trình thực đồ án khơng tránh khỏi số sai sót Mong nhận góp ý thầy để hồn thiện - Một lần em xin chân thành cảm ơn giúp đỡ thầy trình thực đồ án để em hoàn thành đồ án download by : skknchat@gmail.com NHẬN XÉT (Của giảng viên hướng dẫn) Chữ ký giáo viên hướng dẫn download by : skknchat@gmail.com MỤC LỤC Chương 1.1 GIỚI THIỆU Tổng Quan: 1.1.1Mở đầu 1.1.2Mục tiêu chuyê 1.1.3Đối tượng nghiên c 1.1.4Phạm vi nghiên 1.2 Phương pháp – kết 1.2.1Phương pháp 1.2.2Kết 1.3 Cấu Trúc đồ án: Chương CƠ SỞ LÝ THUY 2.1 Tổng quan Deep Learning tốn nhận di giác máy tính 2.1.1Tổng quan Deep 2.1.2Bài toán nhận dạng 2.2 Giới thiệu Convolutional Neural Network 2.2.1Tổng quan 2.2.2Kiến trúc CNN 2.3 Tổng quan Machine Learning 2.3.1Machine Learning 2.3.2Một vài ứng dụng 2.4 Thư viện Keras 2.5 Thư viện FaceNet 2.6 Thư viện Sklearn Chương XÂY DỰNG ỨNG DỤNG 3.1 Yêu cầu hệ thống 3.1.1Phần cứng 3.1.2Môi trường thực hi 3.2 Các bước thực 3.2.1Mô tả liệu 3.2.2Lựa chọn model 3.2.3Kết đạt 3.2.4Tinh chỉnh tham số 3.2.5Test Chương KẾT LUẬN 4.1 Kết 4.2 Ưu điểm - nhược điểm 4.3 Hướng phát triển TÀI LIỆU THAM KHẢO download by : skknchat@gmail.com DANH MỤC HÌNH ẢNH Hình 1.Deep Learning ? Hình 2.Cách thức hoạt động Deep Learning 10 Hình 3.Các thuật ngữ Deep Learning 11 Hình 4.Ứng dụng Deep Learning 14 Hình 5.Hệ thống nhận diện khuôn mặt 15 Hình 6.Kiến trúc CNN nhận diện hành động người 17 Hình 7.FaceNet lấy hình ảnh khn mặt làm đầu vào xuất vector embedding 20 Hình 8.Kết chương trình 28 download by : skknchat@gmail.com Chương GIỚI THIỆU 1.1 Tổng Quan 1.1.1 Mở đầu Hiện nay, với phát triển xã hội, vấn đề an ninh bảo mật yêu cầu khắt khe quốc gia giới Các hệ thống nhận dạng người đời với độ tin cậy ngày cao Một toán nhận dạng người quan tâm nhận dạng khn mặt Vì nhận dạng khn mặt cách mà người sử dụng để phân biệt Bên cạnh đó, ngày việc thu thập, xử lý thơng tin qua ảnh để nhận biết đối tượng quan tâm ứng dụng rộng rãi Với phương pháp này, thu nhận nhiều thơng tin từ đối tượng mà không cần tác động nhiều đến đối tượng nghiên cứu Sự phát triển khoa học máy tính tạo mơi trường thuận lợi cho tốn nhận dạng mặt người từ ảnh số Các hệ thống nhận dạng offline đời có độ tin cậy cao, nhiên hệ thống nhận dạng online lại chưa đáp ứng nhiều Trong khuôn khổ đồ án này, chúng em tiếp tục giải tốn nhận dạng offline Trong đối tượng thu thập thành file liệu chuyển trung tâm Tại đó, số liệu phân tích xử lý Trong phần đầu, chúng em giải tốn nhận dạng thơng thường, phần hai phần nhận dạng giới tính 1.1.2 Mục tiêu đồ án Sử dụng thư viện Multi Task Convolutional Neural Network để trích xuất khn mặt từ ảnh đầu vào cho trước sau sử dụng pre-trained model FaceNet để giảm chiều liệu vector biểu diễn khuôn mặt trở thành vector 128 chiều áp dụng thuật toán Machine Learning để huấn luyện model sau lựa chọn model tốt  Input: Ảnh chụp mặt người  Output: Giới tính người download by : skknchat@gmail.com 1.1.3 Đối tượng nghiên cứu - Ngơn ngữ Python - Tìm hiểu Machine Learning Deep Learning - Các thuật toán nhận diện - Nghiên cứu thư viện Multi Taks Convolutional Neural Network FaceNet 1.1.4 Phạm vi nghiên cứu - Xây dựng chương trình nhận dạng giới tính người sử dụng Machine Learning - Ứng dụng đề tài phục vụ cho việc nghiên cứu nhiều lĩnh vực 1.2 Phương pháp – kết 1.2.1 Phương pháp *Phương pháp chủ đạo - Phương pháp nghiên cứu lý thuyết: + Tìm hiểu tổng quan Machine Learning tốn nhận diện khn mặt thị giác máy tính - + Tìm hiểu thư viện Multi Taks Convolutional Neural Network FaceNet + Tìm hiểu thư viện Keras số thư viện khác - Phương pháp nghiên cứu thực nghiệm: + Tiến hành phân tích cài đặt Python + Tiến hành training data cho máy học 1.2.2 Kết - Tạo chương trình nhận dạng giới tính thơng qua ảnh có sẵn thực hệ điều hành Window 1.3 Cấu Trúc đồ án Nội dung chuyên đề chia thành phần sau: download by : skknchat@gmail.com Chương 1: Giới thiệu: Chương trình bày cách tổng quan mục tiêu, đối tượng phạm vi nghiên cứu, hướng tiếp cận để giải tốn nhận dạng kết dự tính Chương 2: Cơ sở lý thuyết: Tìm hiểu phương pháp máy học tìm hiểu thư viện, ứng dụng Machine Learning tốn nhận diện khn mặt Chương 3: Xây dựng ứng dụng: Trên sở thư viện mã nguồn mở xây dựng chương trình nhận diện giới tính người qua ảnh có sẵn, với phân tích chương trình Chương 4: Kết luận hướng phát triển: Đánh giá kết hướng phát triển nghiên cứu download by : skknchat@gmail.com Chương CƠ SỞ LÝ THUYẾT 2.1 Tổng quan Deep Learning tốn nhận diện khn mặt thị giác máy tính 2.1.1 Tổng quan Deep Learning 2.1.1.1 Deep Learning gì? Deep Learning tập hợp Trí tuệ nhân tạo – kỹ thuật học máy dạy cho máy tính thiết bị hoạt động cách logic Tại lại đặt tên Deep Learning? Bởi thực tế liên quan đến việc sâu vào số lớp mạng, bao gồm lớp ẩn Bạn học sâu, bạn trích xuất thơng tin phức tạp Phương pháp Deep learning dựa vào chương trình phức tạp khác để bắt chước trí thơng minh người Phương pháp đặc biệt dạy cho máy móc nhận biết họa tiết để phân loại chúng thành loại khác Nhận dạng mẫu phần thiết yếu Deep learning nhờ Machine learning, máy tính chí khơng cần phụ thuộc vào lập trình mở rộng Thơng qua Deep learning, máy móc sử dụng tệp hình ảnh, văn âm để xác định thực tác vụ theo cách giống người download by : skknchat@gmail.com Hình 1.Deep Learning ? 2.1.1.2 Tầm quan trọng Deep Learning Có thể thấy Deep Learning ngày phổ biến thời gian gần Nó đóng góp nhiều vào việc làm cho sống hàng ngày thuận tiện hơn, xu hướng phát triển tương lai Cho dù cơng nghệ hỗ trợ đỗ xe tự động nhận diện khuôn mặt sân bay, Deep learning thúc đẩy nhiều cho tự động hóa giới ngày Tuy nhiên, liên quan Deep learning liên kết hầu hết với thực tế giới tạo lượng liệu theo cấp số nhân ngày nay, điều đỏi hỏi nhu cầu cấu trúc quy mô lớn Deep learning sử dụng khối lượng liệu ngày tăng tính sẵn có liệu hợp lý Tất thông tin thu thập từ liệu sử dụng để đạt kết xác thơng qua mơ hình học tập lặp Việc phân tích lặp lặp lại liệu lớn xóa bỏ lỗi khác biệt trình tìm kiếm mà cuối dẫn đến kết luận đáng tin cậy Deep learning tiếp tục tạo tác động kinh doanh cá nhân tạo nhiều hội việc làm thời gian tới download by : skknchat@gmail.com 2.2.2 Kiến trúc CNN CNN gồm số lớp chập lớp lấy mẫu tùy chọn, lớp | kết nối Đầu vào cho lớp chập hình ảnh m m , với m chiều cao chiều rộng hình ảnh r số kênh (ví dụ ảnh RGB cố y=3) Lớp chập có k lọc có kích thước n < n < 4, n nhỏ kích thước hình ảnh q nhỏ số kênh r Kích thước lọc tăng đến cấu trúc kết cục bộ, lọc xoắn với hình ảnh để tạo k đồ đặc trưng có kích thước m – n + 1, Mỗi đồ lấy mẫu đặc trưng với việc hợp trung bình lớn x khu vực lân cận, phạm vi p (cho hình ảnh nhỏ) (chỉ đầu vào lớn hơn) Trước sau lấy mẫu con, bias bổ sung xích ma phi tuyến áp dụng cho đồ đặc trung Hình 6.Kiến trúc CNN nhận diện hành động người Chập hình ảnh đầu vào với lọc huấn luyện khác bias bổ sung, nhiều đồ đặc trưng tạo lớp C1 Mỗi đồ đặc trưng S2 thu thao tác tổng hợp đồ đặc trưng tương ứng lớp C1 Chập tổng hợp cưc đại lớp C3 S4 giống lớp C1 S2 Trong bước nhận diện cuối cùng, đặc trưng thu sau tổng hợp cưc đại lớp S4 mã hóa thành vector chiều 17 download by : skknchat@gmail.com 2.3 Tổng quan Machine Learning 2.3.1 Machine Learning ? Machine Learning thuật ngữ rộng để hành động bạn dạy máy tính cải thiện nhiệm vụ mà thực Cụ thể hơn, machine learning đề cập tới hệ thống mà hiệu suất máy tính thực nhiệm vụ trở nên tốt sau hồn thành nhiệm vụ nhiều lần Hay nói cách khác, khả machine learning sử dụng thuật tốn để phân tích thơng tin có sẵn, học hỏi từ đưa định dự đoán thứ có liên quan Thay tạo phần mềm với hành động, hướng dẫn chi tiết để thực nhiệm vụ cụ thể, máy tính “huấn luyện” cách sử dụng lượng liệu thuật toán để học cách thực nhiệm vụ Có loại Máy học bao gồm học có giám sát (supervised learning) học khơng giám sát (unsupervised learning) - Học có giám sát - đó, thuật toán tạo hàm ánh xạ liệu vào tới kết mong muốn Một phát biểu chuẩn việc học có giám sát tốn phân loại: chương trình cần học (cách xấp xỉ biểu của) hàm ánh xạ vector tới vài lớp cách xem xét số mẫu liệu – kết hàm - Học khơng giám sát - mơ hình hóa tập liệu, khơng có sẵn ví dụ gắn nhãn 2.3.2 Một vài ứng dụng Machine Learning - Cảnh báo giao thơng: Giờ đây, Google Maps có lẽ ứng dụng sử dụng với tần suất nhiều bạn tham gia giao thông Đặc biệt ứng dụng khác di chuyển Grab, Be áp dụng rộng rãi, đồng nghĩa Google Maps sử dụng liên tục để đường cho nhà cung cấp dịch vụ hay người sử dụng dịch vụ Những thông tin quãng đường tối ưu, thời gian di chuyển nhanh phân tích lúc Google Maps Dữ liệu lịch sử tuyến đường thu thập theo thời gian số liệu có từ nguồn khác Mọi người sử dụng đồ cung cấp vị trí, tốc độ trung bình, tuyến đường Những thơng tin Google thu thập tổng hợp thành Dữ liệu lớn lưu lượng truy cập, 18 download by : skknchat@gmail.com thông qua thuật tốn phân tích phức tap Machine Learning, thơng tin trở nên có nghĩa, chúng giúp Google dự đoán lưu lượng tới điều chỉnh tuyến đường bạn theo cách tối ưu - Mạng xã hội Facebook: Một ứng dụng phổ biến Machine Learning Đề xuất gắn thẻ bạn bè tự động Facebook tảng truyền thông xã hội khác Facebook sử dụng tính nhận diện khn mặt nhận dạng hình ảnh để tự động tìm thấy khn mặt người phù hợp với Cơ sở liệu họ đề nghị người dùng gắn thẻ người dựa DeepFace - Trợ lý cá nhân ảo:Trợ lý cá nhân ảo hỗ trợ tìm kiếm thơng tin hữu ích, yêu cầu qua văn giọng nói Một số ứng dụng Machine Learning là:  Nhận dạng giọng nói  Chuyển đổi lời nói thành văn  Xử lý ngơn ngữ tự nhiên  Chuyển đổi văn thành giọng nói Tất bạn cần làm hỏi câu hỏi đơn giản Lịch trình tơi vào ngày mai gì? chuyến bay có sẵn tới cho chuyến công tác Để trả lời, trợ lý cá nhân bạn tìm kiếm thơng tin nhớ lại truy vấn liên quan bạn để thu thập thông tin - Phát gian lận: Phát gian lận tính quan trọng Machine Learning Bất khách hàng thực giao dịch – mơ hình máy học chụp kỹ lưỡng hồ sơ họ để tìm kiếm mẫu đáng ngờ Trong Machine Learning, tính phát gian lận thường coi loại phân loại hoạt động 2.4 Thư viện Keras Keras thư viện nơ-ron mã nguồn mở viết ngơn ngữ lập trình Python Nó có khả chạy đầu trang Tensorflow, Microsoft Cognitive Toolkit, R, Theano StripeML Được thiết kế phép thử nghiệm nhanh với mạng thần kinh sâu, tập trung vào việc thân thiện với người dùng, mô-đun mở rộng 19 download by : skknchat@gmail.com Keras coi thư viện ‘high-level’ với phần ‘low-level’ (cịn gọi backend) TensorFlow, CNTK, Theano (sắp tới Theano không trì nâng cấp nữa) Keras có cú pháp đơn giản TensorFlow nhiều Với mục đích giới thiệu mơ hình nhiều sử dụng thư viện deep learning, chọn Keras với TensorFlow ‘backend’ Một số tính Keras: - Keras ưu tiên trải nghiệm người lập trình - Keras sử dụng rộng rãi doanh nghiệp cộng đồng nghiên cứu - Keras giúp dễ dàng biến thiết kế thành sản phẩm - Keras hỗ trợ huấn luyện nhiều GPU phân tán - Keras hỗ trợ đa backend engines không giới hạn bạn vào hệ sinh thái 2.5 Thư viện FaceNet FaceNet mạng lưới thần kinh sâu sử dụng để trích xuất tính từ hình ảnh người mặt Nó xuất vào năm 2015 nhà nghiên cứu Google Hình 7.FaceNet lấy hình ảnh khuôn mặt làm đầu vào xuất vector embedding FaceNet lấy hình ảnh mặt người làm đầu vào xuất vector 128 chiều, đại diện cho tính quan trọng khn mặt Trong học máy, vector 20 download by : skknchat@gmail.com gọi nhúng (embeddings) Tại phải nhúng? Bởi tất thơng tin quan trọng từ hình ảnh nhúng vào vector Về bản, FaceNet lấy mặt người nén thành vector gồm 128 số Khuôn mặt cần định danh có nhúng tương tự Facenet dạng siam network có tác dụng biểu diễn ảnh không gian eucledean n chiều (thường 128) cho khoảng cách vector embedding nhỏ, mức độ tương đồng chúng lớn Hầu hết thuật tốn nhận diện khn mặt trước facenet tìm cách biểu diễn khuôn mặt vector nhúng (embedding) thơng qua layer bottle neck có tác dụng giảm chiều liệu: - Tuy nhiên hạn chế thuật tốn số lượng chiều embedding tương đối lớn (thường >= 1000) ảnh hưởng tới tốc độ thuật toán Thường phải áp dụng thêm thuật toán PCA để giảm chiều liệu để giảm tốc độ tính tốn - Hàm loss function đo lường khoảng cách ảnh Như đầu vào huấn luyện học hai khả giống chúng class khác chúng khác class mà không học lúc giống khác lượt huấn luyện Facenet giải vấn đề hiệu chỉnh nhỏ mang lại hiệu lớn: - Base network áp dụng mạng convolutional neural network giảm chiều liệu xuống 128 chiều Do q trình suy diễn dự báo nhanh đồng thời độ xác đảm bảo - Sử dụng loss function hàm triplet loss có khả học đồng thời giống ảnh nhóm phân biệt ảnh khơng nhóm Do hiệu nhiều so với phương pháp trước 2.6 Thư viện Sklearn Scikit-learn (Sklearn) thư viện mạnh mẽ dành cho thuật toán học máy viết ngôn ngữ Python Thư viện cung cấp tập công cụ xử lý 21 download by : skknchat@gmail.com toán machine learning statistical modeling gồm: classification, regression, clustering, dimensionality reduction Thư viện tích hợp nhiều thuật toán đại cố điển giúp bạn vừa học vừa tiến hành đưa giải pháp hữu ích cho tốn bạn cách đơn giản Thư viện cấp phép quyền chuẩn FreeBSD chạy nhiều tảng Linux Scikit-learn sử dụng tài liệu để học tập Để cài đặt scikit-learn trước tiên phải cài thư viện SciPy (Scientific Python) Những thành phần gồm: - Numpy: Gói thư viện xử lý dãy số ma trận nhiều chiều - SciPy: Gói hàm tính tốn logic khoa học - Matplotlib: Biểu diễn liệu dạng đồ thị chiều, chiều - IPython: Notebook dùng để tương tác trực quan với Python - SymPy: Gói thư viện kí tự tốn học - Pandas: Xử lý, phân tích liệu dạng bảng Thư viện tập trung vào việc mơ hình hóa liệu Nó khơng tập trung vào việc truyền tải liệu, biến đổi hay tổng hợp liệu Sau số nhóm thuật toán xây dựng thư viện scikit-learn: - Clustering: Nhóm thuật tốn Phân cụm liệu khơng gán nhãn Ví dụ thuật tốn KMeans - Cross Validation: Kiểm thử chéo, đánh giá độ hiệu thuật toán học giám sát sử dụng liệu kiểm thử (validation data) q trình huấn luyện mơ hình - Datasets: Gồm nhóm Bộ liệu tích hợp sẵn thư viện Hầu liệu chuẩn hóa mang lại hiêu suất cao trình huấn luyện iris, digit, - Dimensionality Reduction: Mục đích thuật tốn để Giảm số lượng thuộc tính quan trọng liệu phương pháp tổng hợp, biểu diễn liệu lựa chọn đặc trưng Ví dụ thuật tốn PCA (Principal component analysis) 22 download by : skknchat@gmail.com - Ensemble methods: Các Phương pháp tập hợp sử dụng nhiều thuật tốn học tập để có hiệu suất dự đoán tốt so với thuật toán học cấu thành - Feature extraction: Trích xuất đặc trưng Mục đích để định nghĩa thuộc tình với liệu hình ảnh liệu ngơn ngữ - Feature selection: Trích chọn đặc trưng Lựa chọn đặc trưng có ý nghĩa việc huấn luyện mơ hình học giám sát - Parameter Tuning: Tinh chỉnh tham số Các thuật toán phục vụ việc lựa chọn tham số phù hợp để tối ưu hóa mơ hình - Manifold Learning: Các thuật tốn học tổng hợp Phân tích liệu đa chiều phức tạp - Supervised Models: Học giám sát Mảng lớn thuật toán học máy Ví dụ linear models, discriminate analysis, naive bayes, lazy methods, neural networks, support vector machines decision trees 23 download by : skknchat@gmail.com Chương XÂY DỰNG ỨNG DỤNG 3.1 Yêu cầu hệ thống 3.1.1 Phần cứng - RAM GB - CPU Intel Core i5 - Ổ cứng SSD 3.1.2 Môi trường thực - Ngôn ngữ Python - Thư viện Multi Task Convolutional Neural Network FaceNet - Hệ điều hành: Window 10 3.2 Các bước thực 3.2.1 Chuẩn bị liệu Dữ liệu gồm 2200 ảnh từ liệu CelebA UTK Faces gồm 919 nam 1281 nữ Vì liệu Celeb chủ yếu khn mặt người tiếng nên model đưa tốt chưa có độ xác cao khuôn mặt người già trẻ em nên bổ sung thêm 200 ảnh từ UTK Faces Phân chia liệu: Trainingset: 80% Testset: 20% 3.2.2 Cài đặt thư viện Multi Task Convolutional Neural Network để trích xuất khn mặt 24 download by : skknchat@gmail.com ... Learning tốn nhận diện khn mặt Chương 3: Xây dựng ứng dụng: Trên sở thư viện mã nguồn mở xây dựng chương trình nhận diện giới tính người qua ảnh có sẵn, với phân tích chương trình Chương 4: Kết luận... cho khuôn mặt Nó phải đảm bảo tính khn mặt Nhận dạng khn mặt (Face Recognition): Với hình ảnh đầu vào sau phát khuôn mặt, trích rút đặc trưng khn mặt đem so sánh đặc trưng với sở liệu khn mặt. .. cầu khắt khe quốc gia giới Các hệ thống nhận dạng người đời với độ tin cậy ngày cao Một toán nhận dạng người quan tâm nhận dạng khuôn mặt Vì nhận dạng khn mặt cách mà người sử dụng để phân biệt