ĐỒ ÁN CƠ SỞCHUYÊN NGÀNH TÌM HIỂU DEEP LEARNING GIẢI QUYẾT BÀI TOÁN ĐIỂM DANH

MẪU ĐỒ ÁN (HOẶC LUẬN VĂN ) TỐT NGHIỆP BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN CƠ SỞCHUYÊN NGÀNH TÌM HIỂU DEEP LEARNING GIẢI QUYẾT BÀI TOÁN ĐIỂM DANH Giản. CHƯƠNG I: TÌM HIỂU SÂU VỀ DEEP LEARNING Deep Learning là một trong những công nghệ được sử dụng phổ biến nhất hiện nay trong nhiều lĩnh vực. Nó đẩy nhanh sự tiến bộ trong đa dạng các lĩnh vực dịch tự động, nhận diện giọng nói,… 1: Deep learning là gì? Công nghệ Deep Learning là một phần nhỏ của Machine learning. Deep learning thường tập trung xử lý các vấn đề liên quan đến mạng thần kinh nhân tạo. Qua đó, nhằm nâng cấp các công nghệ như nhận diện giọng nói, tầm nhìn máy tính hay xử lý ngôn ngữ tự nhiên. Học sâu (deep learning): Một kỹ thuật nhỏ của tính năng Machine Learning. Cho phép máy tự đào tạo chính mình.

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN CƠ SỞ/CHUN NGÀNH TÌM HIỂU DEEP LEARNING GIẢI QUYẾT BÀI TỐN ĐIỂM DANH Giảng viên hướng dẫn: VƯƠNG XUÂN CHÍ Sinh viên thực hiện: LƯƠNG THỊ YẾN NHI MSSV: 2000001149 Chuyên ngành: Khoa Học Dữ Liệu Môn học: Đồ Án Cơ Sở Khóa: 2022 Tp.HCM, tháng ĐỒ ÁN CƠ SỞ năm Trường Đại học Nguyễn Tất Thành Khoa Công Nghệ Thơng Tin     CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc     NHIỆM VỤ ĐỒ ÁN CƠ SỞ (Sinh viên phải đóng tờ vào báo cáo) Họ tên: LƯƠNG THỊ YẾN NHI MSSV: 2000001149 Chuyên ngành: KHOA HỌC DỮ LIỆU .Lớp: 20DTH2A Email: luongnhi995010@gmail.com SĐT: 0364995010 Tên đề tài: TÌM HIỂU DEEP LEARNING GIẢI QUYẾT BÀI TỐN ĐIỂM DANH Gíao viên hướng dẫn: VƯƠNG XUÂN CHÍ Thời gian thực hiện: 20/06/2022 đến 20/09/2022 MÔ TẢ ĐỀ TÀI: Deep Learning nhánh Machine Learning sử dụng mạng lưới thần kinh với nhiều lớp Một mạng lưới thần kinh sâu phân tích liệu với biểu diễn học tương tự cách người nhìn vào vấn đề NỘI DUNG VÀ PHƯƠNG PHÁP: - Tìm hiểu học sâu (Deep Learning) - Các phương pháp tiếp cận vấn đề học máy - Kiến trúc mơ hình FaceNet, huấn luyện liệu, nhận diện khuôn mặt - Kết luận YÊU CẦU: - Có kiến thúc, đam mê, hiểu biết công nghệ Mạng neural, Machine Learning Deep Learning… Đọc hiểu tài liệu tiếng Anh, kỹ trình bày văn máy tính tốt - Có tác phong làm việc chăm chỉ, tinh thần trách nhiệm cao, có khả làm việc độc lập làm việc nhóm tốt Nội dung yêu cầu thơng qua Bộ mơn TP.HCM, ngày TRƯỞNG BỘ MƠN tháng năm (Ký ghi rõ họ tên) GIÁO VIÊN HƯỚNG DẪN (Ký ghi rõ họ tên) ThS Vương Xuân Chí ThS Vương Xuân Chí ĐỒ ÁN CƠ SỞ LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời cảm ơn chân thành đến giảng viên Vương Xuân Chí - thầy phụ trách hướng dẫn mơn “đồ án sở” giúp đỡ em nhiều trình lựa chọn giải đáp vấn đề đồ án để em hồn thành cách hồn thiện Tuy q trình thực đồ án cịn có vài khó khăn mai mắn có bạn nhóm san sẻ khối lượng cơng việc nên phần giải Cảm ơn thầy tạo điều kiện tốt cho em thực đồ án, em mong nhận quan tâm ý kiến thầy để em rút kinh nghiệm tốt cho đồ án sau Trân trọng cảm ơn! ĐỒ ÁN CƠ SỞ LỜI MỞ ĐẦU Hiện deep learning áp dụng rộng rãi đời sống người đặt biệt môi trường học tập Kể từ sau thành công AlexNet thi ImageNet năm 2012, Machine Learning (ML) trở thành chủ đề hấp dẫn dối với sinh viên kỹ sư cơng nghệ Các tập đồn lớn đổ dồn tài nguyên vào phát triển trung tâm nghiên cứu hệ thống tính tốn để giải toán kinh doanh thu hút nhân tài Những năm gần đây, AI - Artificial Intelligence (Trí Tuệ Nhân Tạo), cụ thể Machine Learning lên chứng cách mạng công nghiệp lần thứ tư (1 - động nước, - lượng điện, - cơng nghệ thơng tin) Trí Tuệ Nhân Tạo len lỏi vào lĩnh vực đời sống mà không nhận Xe tự hành Google Tesla, hệ thống tự tag khuôn mặt ảnh Facebook, trợ lý ảo Siri Apple, hệ thống gợi ý sản phẩm Amazon, hệ thống gợi ý phim Netflix, máy chơi cờ vây AlphaGo Google DeepMind, vài ứng dụng AI/Machine Learning Machine Learning tập AI Theo định nghĩa Wikipedia: Machine learning is the subfield of computer science that "gives computers the ability tolearn without being explicitly programmed" Nói đơn giản, Machine Learning lĩnh vực nhỏ Khoa Học Máy Tính, có khả tự học hỏi dựa liệu đưa vào mà không cần phải lập trình cụ thể Những năm gần đây, mà khả tính tốn máy tính nâng lên tầm cao lượng liệu khổng lồ thu thập hãng công nghệ lớn, Machine Learning tiến thêm bước tiến dài lĩnh vực đời gọi Deep Learning (Học Sâu) Deep Learning giúp máy tính thực thi việc tưởng chừng vào 10 năm trước: phân loại ngàn vật thể khác ảnh, tự tạo thích cho ảnh, bắt chước giọng nói chữ viết người, giao tiếp với người, hay chí sáng tác văn hay âm nhạc Mối quan hệ Artificial Intelligence, Machine Learning, Deep Learning đ Xuất phát từ yêu cầu thực tế, cần có nghiên cứu vấn đề Chính ĐỒ ÁN CƠ SỞ chọn đề tài “Nghiên cứu mơ hình học sâu (deep-learning)” làm chun đề với mong muốn phần áp dụng vào toán thực tế Một ứng dụng phổ biến deep learning vấn đề giải toán điểm danh mà bật điểm danh nhận diện khuôn mặt Dưới số hiểu biết deep learning giải toán điểm danh cụ thể điểm danh nhận diện khuôn mặt ĐỒ ÁN CƠ SỞ NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN Điểm đồ án: TPHCM, Ngày …… tháng …… năm Giáo viên hướng dẫn (Ký tên, đóng dấu) TRƯỜNG ĐẠI HỌC NGUYỄN TẤT ĐỒ ÁN CƠ SỞ KỲ THI KẾT THÚC HỌC PHẦN THÀNH HỌC KỲ III NĂM HỌC 2021-2022 TRUNG TÂM KHẢO THÍ PHIẾU CHẤM THI TIỂU LUẬN/ĐỒ ÁN Mơn thi: ĐỒ ÁN CƠ SỞ Lớp học phần: 20DTH1D Nhóm sinh viên thực hiện: Lương Thị Yến Nhi Tham gia đóng góp: Tìm kiếm thơng tin, soạn word Ngơ Dương Th Vy Tham gia đóng góp: Tìm kiếm thơng tin, soạn word Ngày thi: 22/9/2022 Phòng thi: L.507 Đề tài tiêủ luận/báo cáo sinh viên: Phần đánh giá giảng viên (căn trang rubrics môn học): Tiêu chí Điểm tối Điểm đạt (theo CĐR Đánh giá GV đa HP) Cấu trúc báo cáo Nội dung - Các nội dung thành phần - Lập luận - Kết luận Trình bày TỔNG ĐIỂM Giảng viên chấm thi (ký, ghi rõ học tên) ĐỒ ÁN CƠ SỞ MỤC LỤC Trang TRANG BÌA… …………………………………………………………………………I NHIỆM VỤ ĐỒ ÁN…………………………………………………………………… II LỜI CẢM ƠN…………………………………………………………………………III LỜI MỞ ĐẦU…………………………………………………………………………IV NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN…………………………………….V PHIẾU CHẤM THI TIỂU LUẬN……………………………………………………VII MỤC LỤC……………………………………………………………………………VIII DANH MỤC CÁC BẢNG HÌNH………………………………………………………V DANH MỤC CÁC CHỮ VIẾT TẮT………………………………………………….VII Chương I:Tìm hiểu sâu deep learning……………………………………………… 1.Deep learning gì? ………………………………………………………… 2.Các trường hợp sử dụng deeplearing………………………………………….1 3.Kỹ thuật deep learning…………………………………………………….2 Vectorization………………………………………………………………2 Mini-batch gradient descent………………………………………………3 Bias variance………………………………………………………… Dropout………………………………………………………………… Activation…………………………………………………………………8 Chương II:Các phương pháp tiếp cận vấn đề học máy………………………… 11 1.Học máy gì? ………………………………………………………………11 2.Máy học có loại thuật tốn nào? …………………………………………12 3.Cơng nghệ máy học sử dụng lĩnh vực gì? 16 4.Cách tiếp cận vấn đề máy học………………………………………… 21 Các vấn đề máy học…………………………………………………21 Phương pháp tiếp cận vấn đề học máy……………………………….….23 Chương III:Kiến trúc mô hình facenet, huấn luyện liệu, nhận diện khn mặt……24 1.Kiến trúc mơ hình facenet…………………………………………………….24 Mơ hình facenet gì? ………………………………………………… 24 Khái quát thuật toán…………………………………………………… 24 Triple loss……………………………………………………………… 25 Lựa chọn triple images input…………………………………………….27 2.Huấn luyện liệu……………………………………………………………29 Huấn luyện liệu…………………………………………………….29 ĐỒ ÁN CƠ SỞ Huấn luyện liệu…………………………………………………….29 3.Nhận diện khuôn măt……………………………………………………….36 Nhận diện khuôn mặt gì? ………………………………………… 36 Các ứng dụng phổ biến……………………………………………… 37 Các loại hệ thống xác thực………………………………………….…38 Các phương pháp xác thực khn mặt……………………………… 38 Các thuật tốn nhận diện khn mặt………………………………… 40 Chương IV:Kết luận………………………………………………………………….46 Tài liệu tham khảo……………………………………………………………………47 ĐỒ ÁN CƠ SỞ DANH MỤC CÁC BẢNG HÌNH Trang CHƯƠNG I: TÌM HIỂU SÂU VỀ DEEP LEARNING Hình 1.Mơ tả deep learning ……………………………………………………………1 Hình 2.Mơ tả kỹ thuật vectorization……………………………………………………2 Hình 3.Biểu đồ batch gradienet descent……………………………………………… Hình 4.Biểu đồ mini-batch gradient descent………………………………………… Hình 5.Biểu đồ Stochastic gradient descent……………………………………………4 Hình 6.Bias and variane……………………………………………………………… Hình 7.Thơng số đánh giá bias variance……………………………………………6 Hình 8.Mơ hình dropout……………………………………………………………… Hình 9.Mơ hình neural network 2-3-3-1……………………………………………….8 Hình 10.Quá trình backpropagation……………………………………………………9 Hình 11.Thuật tốn đạo hàm………………………………………………………… Hình 12.Đồ thị Sigmoid activation function………………………………………….10 Hình 13.Đồ thị Tanh activation function…………………………………………… 10 Hình 14 Đồ thị ReLU activation function……………………………………………11 Hình 15.Leaky ReLU…………………………………………………………………11 CHƯƠNG II: CÁC PHƯƠNG PHÁP TIẾP CẬN VẤN ĐỀ TRONG HỌC MÁY Hình 1.Sơ đồ máy học……………………………………………………………… 12 Hình 2.Thuật tốn máy học giám sát…………………………………………………13 Hình 3.Thuật tốn máy học khơng giám sát………………………………………….14 Hình 4.Thuật tốn máy học nửa giám sát…………………………………………….15 Hình 5.Thuật tốn máy học tăng cường………………………………………………16 Hình 6.Cơng nghệ máy học sản xuất…………………………………………………17 Hình 7.Cơng nghệ máy học chăm sóc sức khoẻ khoa học đời sống………………18 Hình 8.Cơng nghệ máy học dịch vụ tài chính……………………………………… 19 Hình 9.Cơng nghệ máy học bán lẻ……………………………………………………20 ĐỒ ÁN CƠ SỞ 10 Hình Biểu đồ training set and test set Với mơ hình màu xanh lá, lỗi dự đoán training set testing set không chênh lệch nhiều, ngược lại với mơ hình màu cam, lỗi dự đốn testing set lớn nhiều so với training set Do mơ hình màu cam nhiều khả bị overfitting mơ hình màu xanh + Validation set: Việc sử dụng testing set giúp đánh giá hiệu mơ hình xây dựng cuối Tuy nhiên, kết đánh giá tệ sao? Rõ ràng lại phải cố gắng điều chỉnh để đưa mơ hình tốt Tức testing set ảnh hưởng đơi chút đến việc huấn luyện mơ hình Điều theo mặt khơng cơng Chúng ta cố gắng dự đoán điều chưa biết, chuẩn bị cho tính xấu mà!!! Chứ khơng phải đưa lại tình xảy biết để hiệu chỉnh lại mơ hình Chính lí đó, tập liệu khác sử dụng để đóng vai trị đưa phản hồi nhằm hiệu chỉnh mô hinh sau trình huấn luyện Tập liệu gọi tập liệu kiểm chứng (validation set) Thực ra, nên dịch tập kiểm thử testing set phải tập kiểm định Anh chạy thử xe, thử thuốc kiểu đưa cấp chứng nhận kiểm định (bài test cuối cùng) trước đưa sử dụng Tuy nhiên, thuật ngữ đưa nhiều tài liệu khác tiếng Việt, đó, khơng tìm cách sửa lại Chúng ta cần nắm rằng, tập validation tập cho phép lựa chọn mô hình huấn luyện cho phù hợp, cịn testing set tập đánh giá lại mơ hình lần cuối Điều này, giống bạn học lớp, có kiểm tra miệng, tập, kiểm tra kỳ để đánh giá mức độ học bạn, từ biết yếu phần nào, cần bổ sung phần để chuẩn bị cho thi cuối Và đó, nên đoạn phía sau này, tạm dùng từ tiếng anh (Validation set testing set) để giữ nghĩa vốn có Tập liệu kiểm chứng (validation set) cung cấp đánh giá công phù hợp mô hình tập liệu huấn luyện trình huấn luyện Validation set có chức kết hợp: vừa liệu huấn luyện sử dụng để thử nghiệm, phần q trình huấn luyện cấp thấp khơng phải phần thử nghiệm cuối Nó bước chung gian cho phép lựa chọn mô hình phù hợp Validation set có tác dụng giúp tìm kiếm mơ hình tốt ứng viên huấn luyện từ training set Nó sử dụng để so sánh hiệu suất mơ hình ứng viên định mơ hình tốt cuối cách so sánh độ đo hiệu suất độ xác, độ nhạy cảm, độ hồi tưởng, RMSE, MSE,… đạt Nó giúp cho trình điều chỉnh siêu tham số mơ hình chẳng hạn số lượng đơn vị ẩn (lớp chiều rộng lớp) mạng nơron để đạt mơ hình phù hợp Hình Biểu đồ sai số dự đốn validation set Như hình vẽ trên, ta thấy dừng việc huấn luyện vị trí có thay đổi rõ rệt sai số tập validation set Đây thời điểm xảy overfitting Nói tóm lại: training set tập sử dụng để huấn luyện mơ hình, validation set tập sử dụng để lựa chọn mơ hình phù hợp số ứng viên huấn luyện training set testing set tập để kiểm thử đánh giá kết thu mơ hình dự đốn Tập validation nằm tập training, tập testing set phải độc lập tách biệt hoàn tồn với hai tập trên, thể việc mơ hình có kỳ vọng dự đốn tốt liệu “thực tế” 3: Nhận diện khuôn mặt: a) Nhận diện khn mặt gì? Hệ thống nhận dạng khn mặt ứng dụng máy tính tự động xác định nhận dạng người từ hình ảnh kỹ thuật số khung hình video từ nguồn video Một cách để thực điều so sánh đặc điểm khn mặt chọ trước từ hình ảnh sở liệu khuôn mặt Hệ thống thường sử dụng hệ thống an ninh vè so sánh với dạng sinh chất học khác hệ thống nhận dạng vân tay hay tròng mắt b) Các ứng dụng phổ biến: Vào năm 2018, apple bắt đầu tích hợp chức nhận diện khn mặt dịng sản phẩm iphone X Sau đó, xu hướng smart phone ứng dụng nhận diện khuôn mặt đời Một số ngân hàng Autralia bắt đầu ứng dụng xác thực khuôn mặt giao dịch ATM Tại Trung Quốc, hệ thống nhận diện khuôn mặt triển khai tồn quốc giúp chấm điểm cơng dân đồng thời xác minh nhiều tội phạm lẩn trốn Còn quan tôi, hệ thống nhận diện khuôn mặt nghiên cứu in-house áp dụng để chấm công cho nhân viên Tơi nghĩ nhận diện khn mặt có tính ứng dụng cao Rất nhiều công ty, doanh nghiệp quốc gia cần Tuy nhiên kì lạ nhiều nơi chưa áp dụng nhận diện khuôn mặt vào quan Việc xây dựng hệ thống nhận diện khn mặt khơng khó Hãy có niềm tin bạn tự xây dựng hệ thống nhận diện khn mặt cho quan sau viết Trước tiên viết lý thuyết thuật tốn Phần thực hành tơi giới thiệu khác Đối với bạn muốn hiểu sâu thuật tốn bắt đầu đọc Đối với bạn muốn thấy trước hiệu Hãy chờ thực hành sau c) Các loại hệ thống xác thực: Hầu hết hệ thống xác thực dựa thông tin sinh trắc để định danh người Các thông tin sinh trắc thông tin với người Đó vân tay, ADN, vân mắt, khuôn mặt (không phẫu thuật thẩm mỹ, thả lỏng khn mặt có thể, khơng chu mơi, nháy mắt, tạo kiểu cute thứ), hình dạng, dáng đi,… Theo đó, có vơ số phương pháp xác thực khác nhau, tùy vào việc sử dụng thông tin sinh trắc Ở Việt Nam phổ biến xác thực vân tay Trước computer vision chưa phát triển hệ thống xác thực vân tay, vân mắt áp dụng phổ biến Vài năm gần đây, xác thực khuôn mặt áp dụng rộng rãi Xét độ xác hệ thống xác thực vân tay, vân mắt đáng tin cậy so với nhận diện khuôn mặt liệu khơng thay đổi, khn mặt người thay đổi qua thời gian chịu co dãn Tuy nhiên hệ thống nhận diện khn mặt ưa chuộng q trình xác thực nhanh, xác thực từ xa, khơng cần phải tiếp xúc vân tay, vân mắt Bạn phép nhìn người khác muốn động chạm cần phải xin phép họ d) Các phương thức xác thực khuôn mặt:  Các phương pháp truyền thống: Xác thực khn mặt cách trích xuất land mark cho face Land mark đồ xác định vị trí cố định khuôn mặt người mắt, mũi, miệng, lông mày,… Hình Mơ tả nhận diện khn mặt phương pháp truyền thống Như thay land mark face loại bỏ phần thông tin không cần thiết giữ lại thơng tin Khi khuôn mặt nén thành véctơ n chiều Thông thường 68 chiều Sử dụng đầu vào land mark face, áp dụng thuật toán cổ điển SVM, k-NN, Naive Bayes, Random Forest, MLP, … để phân loại khuôn mặt cho người  Nhận diện 3D: Kĩ thuật nhận diện 3D sử dụng không gian chiều để biểu diễn khuôn mặt Từ thơng tin xác định đặc trưng khác bề mặt khuôn mặt đường countour mắt, mũi, cằm Một lợi nhận diện khuôn mặt 3D không bị ảnh hưởng thay đổi ánh sáng phương pháp 2D Dữ liệu 3D cải thiện đáng kể độ xác nhận dạng khn mặt Để tạo ảnh 3D, cụm ba camera áp dụng Mỗi camera hướng vào góc khác Tất camera phối hợp việc theo dõi khuôn mặt người thời gian thực nhận diện chúng Hình Mô tả nhận diện khuôn mặt 3D Nhận diện khuôn mặt iphone nhận diện 3D Bạn phải quay trịn khn mặt xác thực để thuật tốn học góc độ khác  Các phương pháp nhận diện khác Ngồi cịn có số phương pháp nhận diện khuôn mặt nhận diện cảm biến da phương pháp kết hợp Phương pháp kết hợp sử dụng nhiều thơng tin từ đồng thời land mark face, nhận diện 3D, nhận diện cảm biến da mang lại độ xác cao nhận diện tốt trường hợp khn mặt có biểu cảm cau mày, chớp mắt, co dãn cười, nói nhạy cảm với chiếu sáng e) Các thuật toán nhận diện khôn mặt:  One-shot learning One-shot learning thuật tốn học có giám sát mà người cần vài, chí ảnh (để khỏi tạo nhiều biến thể) Từ đầu vào ảnh người, sử dụng kiến trúc thuật toán CNN đơn giản để dự báo người Tuy nhiên nhược điểm phương pháp phải huấn luyện lại thuật toán thường xuyên xuất thêm người shape output thay đổi tăng lên Rõ ràng không tốt hệ thống nhận diện khuôn mặt cơng ty số lượng người ln biến động theo thời gian Để khắc phục vấn đề này, sử dụng phương pháp learning similarity  Learning similarity Phương pháp dựa phép đo khoảng cách ảnh, thông thường norm chuẩn l1 l2 cho ảnh thuộc người khoảng cách nhỏ khơng thuộc khoảng cách lớn Để cụ thể tơi minh họa hình bên : Hình Thuật tốn nhận diện khn mặt Learning similarity Hình 1: Phương pháp learning similarity Thay dự báo phân phối xác suất để tìm nhãn phù hợp với ảnh đầu vào Thuật toán so sánh khoảng cách ảnh đầu vào (bên phải) với tồn ảnh cịn lại (bên trái) Ta cần chọn ngưỡng threshold để định ảnh giống khác Giả sử ngưỡng threshold 0.5 Trong ảnh bên trái ảnh có khoảng cách với ảnh bên phải nhỏ 0.5 Do dự báo người với ảnh bên phải Learning similarity trả nhiều ảnh loại với ảnh đầu vào tùy theo ngưỡng threshold Ngồi phương pháp khơng bị phụ thuộc vào số lượng classes Do khơng cần phải huấn luyện lại xuất class Điểm mấu chốt cần xây dựng model encoding đủ tốt để chiếu ảnh lên khơng gian eucledean n chiều Sau sử dụng khoảng cách để định nhãn chúng Như learning similarity có ưu điểm so với one-shot learning khơng phải huấn luyện lại model mà tìm ảnh tương đồng Vậy làm để học biểu diễn ảnh không gian euledean n chiều? Kiến trúc siam network giúp thực điều cách dễ dàng  Siam network Những kiến trúc mạng mà bạn đưa vào ảnh mơ hình trả lời chúng thuộc người hay không gọi chung Siam network Siam network giới thiệu DeepFace: Closing the Gap to Human-Level - Yaniv Taigman elt Kiến trúc Siam network dựa base network Convolutional neural network loại bỏ output layer có tác dụng encoding ảnh thành véc tơ embedding Đầu vào mạng siam network ảnh lựa chọn ngẫu nhiên từ liệu ảnh Output Siam network véc tơ tương ứng với biểu diễn ảnh input Sau đưa véc tơ vào hàm loss function để đo lường khác biệt chúng Thông thường hàm loss function hàm norm chuẩn bậc Lý thuyết norm chuẩn bậc khuyến nghị bạn xem thêm norms chuẩn - machinelearningcoban Rất đầy đủ chi tiết x1 Hình 9.1 Thuật tốn nhận diện khn mặt siam network x2 Hình 9.2 Thuật tốn nhận diện khn mặt siam network Hình 2: Từ mơ hình Convolutional neural network, mơ hình trả véc tơ encoding x1 x2 biểu diễn cho ảnh x1 x2 có số chiều Hàm f(x) có tác dụng tương tự phép biến đổi qua layer fully connected mạng neural network để tạo tính phi tuyến giảm chiều liệu kích thước nhỏ Thơng thường 128 đối mơ hình pretrain  Khi x1,x2 người: Phải giá trị nhỏ  Khi x1,x2 hai người khác nhau: Phải giá trị lớn Khi sử dụng siam network không cần phải lo lắng vấn đề output shape thay đổi base network loại bỏ layer cuối Mục tiêu siam network tìm biểu diễn ảnh không gian n chiều nên không thiết phải lựa chọn hàm loss function hàm binary cross entropy toán phân loại nhị phân Trên thực tế lựa chọn loss function binary cross entropy tìm biểu diễn tốt cho ảnh Ngồi số biến thể khác loss function sử dụng khoảng cách norm chuẩn l2 chuẩn hóa theo phân phối χ2 dạng: sử dụng norm chuẩn l1 Việc lựa chọn hàm loss function có tác động lớn tới độ xác biểu diễn ảnh Ngồi hàm loss function nêu trên, cịn hàm loss function có hiệu lớn việc biểu diễn véc tơ cho face Đó hàm gì? Chúng ta tìm hiểu thuật tốn facenet CHƯƠNG IV: KẾT LUẬN Hệ thống nhận diện gương mặt nhiều tiềm phát triển mở rộng thêm, bỏ qua hạn chế nêu trên, chương trình áp dụng rộng rãi vào đời sống người  Khi thêm gương mặt người hay cập nhật lại gương mặt ngưởi có sẵn, chương trình phải tính tốn lưu lại từ đầu danh sách vector nhúng toàn gương mặt Để tối ưu trình ta lưu thông tin vào dictionary với key tên nhãn value list vector nhúng ứng với tên nhãn thay lưu thành list song song Khi cần thêm vào cặp key value vào dictionary cho người cần nhận diện Việc thay đổi lại xoá liệu gương mặt lưu trở nên dễ dàng thông qua truy vấn key  kiểm soát số lượng vector nhúng cho nhân dạng để so sánh Đồng nghĩa với việc kết nhận dạng thiên người có nhiều vector nhúng file pickle Ta giải vấn đề cách tạo mơ hình 3D cho người tạo vector nhúng dựa mơ hình 3D Ngồi việc làm tối thiểu số lượng vector nhúng cho danh tính giúp tăng tốc độ xử lý nhận diện gương mặt cho hệ thống  Ngoài hệ thống nhận diện không hiệu tốt trường hợp ngoại lệ đeo trang hay đeo kính Vì ta cần phải huấn luyện thêm cho mơ hình nhận diện trường hợp đặc biệt Khi huấn luyện xong mơ hình, để áp dụng thực tế ta cần phải quay lại gương mặt trường hợp xuất vector nhúng tương ứng để so sánh Như ta hoàn thành xây dựng xong hệ thống nhận diện gương mặt với ứng dụng điểm danh chạy tảng web Mặc dù cấu trúc hệ thống nhận diện gương mặt nhìn đơn giản, nhiên để xây dựng hệ thống hồn chỉnh cần phải bỏ nhiều cơng sức nghiên cứu lựa chọn mơ hình phù hợp tối ưu tốc độ xử lý độ xác cho chương trình Tuy hệ thống cịn tồn số hạn chế sau:  Trong trường hợp nhận diện với số lượng danh tính lưu lớn, hệ thống tốn nhiều thời gian để so sánh đưa kết nhận diện Lúc ta sử dụng đến thuật toán phân cụm thuật tốn tìm kiếm k-NN (k-nearest neighbors) thuật tốn tìm kiếm lân cận xấp xỉ (a-NN)  Mơ hình pretrain facenet cịn nặng (~100 Mb) nên bị hạn chế triển khai số tảng thiết bị  Việc nhận diện bị giả mạo hình ảnh video quay sẵn Vấn đề giải cách sử dụng phương pháp challenge-response sử dụng camera chiều sâu (depth camera) Ngồi kết hợp thêm với cơng cụ nhận dạng sinh trắc khác để tăng tính bảo mật TÀI LIỆU THAM KHẢO - https://thuyduong.info/deep-learning-la-gi - https://aws.amazon.com/vi/what-is/machine-learning/ https://phamdinhkhanh.github.io/2020/03/12/faceNetAlgorithm.html? - utm_source=zalo&utm_medium=zalo&utm_campaign=zalo https://nttuan8.com/bai-10-cac-ky-thuat-co-ban-trong-deep-learning/ ... (deep- learning) ” làm chun đề với mong muốn phần áp dụng vào toán thực tế Một ứng dụng phổ biến deep learning vấn đề giải toán điểm danh mà bật điểm danh nhận diện khuôn mặt Dưới số hiểu biết deep. .. đề tài: TÌM HIỂU DEEP LEARNING GIẢI QUYẾT BÀI TỐN ĐIỂM DANH Gíao viên hướng dẫn: VƯƠNG XUÂN CHÍ Thời gian thực hiện: 20/06/2022 đến 20/09/2022 MÔ TẢ ĐỀ TÀI: Deep Learning nhánh Machine Learning. .. mà bật điểm danh nhận diện khuôn mặt Dưới số hiểu biết deep learning giải toán điểm danh cụ thể điểm danh nhận diện khuôn mặt ĐỒ ÁN CƠ SỞ NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN