Nghiên cứu và xây dựng giải thuật phân lớp tập mở

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu xây dựng giải thuật phân lớp tập mở BÙI ANH TUẤN Tuan.ba211314m@sis.hust.edu.vn Ngành Toán Tin Giảng viên hướng dẫn: TS LÊ HẢI HÀ Viện: Toán ứng dụng Tin học HÀ NỘI, 04/2023 Chữ kí GVHD ĐỀ TÀI LUẬN VĂN Tên học viên: Bùi Anh Tuấn Mã học viên: 20211314M Khóa: 2021A Đề tài luận văn: Nghiên cứu xây dựng giải thuật phân lớp tập mở Hệ : Thạc sĩ khoa học Cán hướng dẫn: TS Lê Hải Hà Đơn vị: Viện Toán ứng dụng Tin học - Đại học Bách Khoa Hà Nội Giảng viên hướng dẫn TS Lê Hải Hà Lời cảm ơn Lời em xin gửi lời cảm ơn tới thầy, Viện Tốn ứng dụng Tin học - Đại học Bách Khoa Hà Nội cung cấp chia sẻ kiến thức kinh nghiệm việc học tập nghiên cứu Những kiến thức nhận từ thầy, cô trang bị, hành trang vững quý báu giúp em phát triển thân tương lai Em xin gửi lời cảm ơn chân thành sâu sắc tới thầy hướng dẫn TS Lê Hải Hà, thầy trực tiếp hướng dẫn tồn q trình nghiên cứu đề tài hoàn thành luận văn Dưới quan tâm, bảo tận tình thầy, em tích lũy nhiều kiến thức chun mơn, khơng thầy cịn động viên em lúc khó khăn để em hồn thành luận văn Em xin cảm ơn tới Công ty TNHH Cơng nghệ cao Skymap nói chung, anh chị phịng Machine Learning nói riêng cung cấp kiến thức phương tiện thiết bị để em hoàn thành đề tài Cuối cùng, lời cảm ơn em tới bố mẹ, gia đình, bạn bè đồng nghiệp giúp đỡ em thời gian học tập nghiên cứu Đại học Bách Khoa Hà Nội Do kiến thức cịn hạn chế, luận văn khơng thể tránh khỏi điểm thiếu sót hạn chế, kính mong thầy xem xét, góp ý để em hồn thiện Em xin chân thành cảm ơn! Tóm tắt nội dung luận văn Nội dung luận văn bao gồm: Phát biểu toán phân lớp, nhận dạng truyền thống học máy học sâu tốn nhận dạng khn mặt Nêu số vấn đề cịn tồn tốn việc xây dựng tập liệu thuật toán Nêu lên khái niệm tập mở đặc điểm tập mở Trình bày hướng nghiên cứu phương pháp để giải toán phân lớp tập mở Cách tiếp cận phương pháp, số ưu điểm hạn chế phương pháp Trình bày mạng OpenGAN toán phân lớp tập mở, ứng dụng vào sản phẩm nhận dạng khuôn mặt kiểm soát vào ra, phát triển thiết bị phần cứng HỌC VIÊN Bùi Anh Tuấn Mục lục Lời cảm ơn Mục lục Danh mục ký hiệu, chữ viết tắt Danh sách bảng Danh sách hình vẽ I Giới thiệu II Nội dung Vấn đề phân lớp, nhận dạng tập mở 1.1 Giới thiệu toán phân lớp, nhận dạng tập mở 1.1.1 Bài toán phân lớp, nhận dạng học máy, học sâu tốn nhận dạng khn mặt Giới thiệu tập mở 17 Các định nghĩa công thức liên quan đến tập mở 24 1.1.2 1.2 Các phương pháp cho tốn phân lớp tập mở 28 2.1 2.2 Nhóm phương pháp sử dụng thống kê thuật toán học máy cổ điển 29 2.1.1 Thuật toán SVM biến thể 29 2.1.2 Thuật toán dựa liệu đặc trưng 32 2.1.3 Thuật toán dựa khoảng cách 34 2.1.4 Thuật toán dựa phân phối 36 Nhóm phương pháp sử dụng mạng nơ-ron học sâu (deep neural network) 2.3 37 Nhóm phương pháp sử dụng mơ hình sinh (generative model) 42 2.3.1 Các mơ hình Instance generation 42 2.3.2 Các mơ hình Non-instance generation 44 Sử dụng phân lớp tập mở mơ hình nhận dạng khn mặt 3.1 46 Những vấn đề việc áp dụng mơ hình học sâu sản phẩm nhận diện khn mặt kiểm sốt vào 46 3.1.1 Xây dựng hệ thống nhận dạng khuôn mặt 47 3.1.2 Sử dụng mơ hình MTCNN FaceNet cho hệ thống nhân dạng khuôn mặt 3.2 Áp dụng mạng GAN tập mở cải tiến mơ hình nhận dạng khn mặt 3.3 53 Sản phẩm nhận diện khn mặt kiểm sốt vào có sử dụng mơ hình phân lớp tập mở III 48 57 Kết luận 59 Tài liệu tham khảo 61 Danh mục ký hiệu, chữ viết tắt MNIST Modified National Institute of Standards and Technology database CIFAR Canadian Institute for Advanced Research dataset SVHN The Street View House Numbers KKCs Known Known Classes KUCs Know Unknow Classes UKCs Unknow Know classes UUCs Unknow Unknow classes OSR Open Set Recognition SVM Support Vector Machine GAN Generative Adversarial Networks KNN K-Nearest Neighbors RGB Mơ hình màu RGB (Red-đỏ, Green-xanh lá, Blue-xanh dương) Danh sách bảng 1.1 Bảng so sánh phân lớp tập mở số nhiệm vụ phân lớp có liên quan 24 Danh sách hình vẽ 1.1 Sơ đồ phát triển mơ hình phân lớp 10 1.2 Hình ảnh minh họa tập mở tập đóng 19 1.3 Mô tả liệu, phân lớp/nhận dạng truyền thống tập mở [2] 21 1.4 Hình ảnh minh họa không gian liệu tập mở 27 3.1 Kiến trúc chung hệ thống nhận dạng khuôn mặt 47 3.2 Cấu trúc mạng MTCNN [27] 49 3.3 Cấu trúc mạng P-Net mơ hình MTCNN [27] 49 3.4 Cấu trúc mạng R-Net mơ hình MTCNN [27] 50 3.5 Cấu trúc mạng O-Net mơ hình MTCNN [27] 51 3.6 Mơ hình OpenGAN phân lớp tập mở [30] 56 3.7 Mơ hình nhận dạng khn mặt sử dụng mạng OpenGAN 56 3.8 Mơ hình nhận dạng khn mặt sử dụng FaceNet 57 Phần I Giới thiệu 54 vào khơng gian véc-tơ cho véc-tơ đặc trưng học nhiều đặc điểm khn mặt, biến thể khác Vì khn mặt mới, xoay nghiêng, khn mặt bị lật hay có trạng thái khác mơ hình nhận dạng Vì vậy, việc cải thiện mơ hình cho mạng học nhiều đặc điểm, tái sinh biến thể khác cá nhân embedding vào khơng gian véc-tơ giúp cải thiện mơ hình với liệu chưa học hay nói cách tổng qt liệu unknow, liệu chưa luyện mơ hình Trong phạm vi luận văn, tơi sử dụng mạng OpenGAN [30] cho toán phân biệt tập mở, ứng dụng nhận diện khuôn mặt Với liệu x biểu diễn hệ màu RGB Đặt Dclosed (x) phân phối tập đóng Dopen (x) phân phối liệu lớp mở, điểm liệu khơng thuộc tập đóng Phân lớp nhị phân Trước hết ta huấn luyện phân lớp D bao gồm tập đóng tập mở: max Ex∼Dclosed [log D(x)] + λ0 Ex∼Dopen [log(1 − D(x))] D Với D(x) = p(y = “closed-set”|x) Theo cảm quan, việc điều chỉnh λ0 để cân liệu huấn luyện tập đóng tập mở Phương pháp hiệu liệu huấn luyện đủ đại diện phần tập mở thời gian huấn luyện, liệu khơng có tập mở, mà thường liệu tập mở huấn luyện, để điều chỉnh tham số λ0 để đạt tối ưu khó khăn Tổng hợp liệu tập mở Một giải pháp cho vấn đề tổng hợp liệu huấn luyện để cải thiện tính tổng quát phân lớp D Giả sử có mạng sinh generator network G(z) tạo 55 hình ảnh tổng hợp theo phân phối Gaussian với nhiễu z ∼ N Chúng ta thêm chúng vào nhóm liệu negative liệu tập mở mà phép D khơng nên học tập Nhưng hình ảnh tổng hợp để D để thực nhiệm vụ phân loại, giải pháp huấn luyện tập G để phân loại liệu “mờ”, làm loss GAN: Ez∼N [log(1 − D(G(z)))] G (16) Bởi máy generator G gọi hoàn hảo tạo liệu giống với thực tế, với liệu đóng, q giống phân loại D phân biệt cách rõ nét, đó, ta đề xuất hai phương pháp để giải vấn đề OpenGAN Huấn luyện với liệu tập mở tập đóng thực sử liệu mở giả tạo từ G hàm tối ưu hóa D G: max minEx∼Dclosed [log D(x)] D G (17) x))] + λ0 Ex¯∼Dopen [log(1 − D(¯ + λG Ez∼N [log(1 − D(G(z)))] Với λG thể liệu tập liệu giả sinh G Để tối ưu hóa minimax hàm trên, cần phân loại D để phân loại tập mở Trong trường hợp này, để huấn luyện mơ hình OpenGAN tương đương với việc huấn luyện mạng GAN bình thường sử dụng chức discriminator để phân biệt tập mở tập đóng Mặc dù công bố trước, việc sử dụng discriminators mạng GAN hoạt động không tốt việc phát tất mở, đề xuất tập xác thực validation để phát triển mơ hình 56 Hình 3.6: Mơ hình OpenGAN phân lớp tập mở [30] Tập open validation Lựa chọn mơ hình thách thứ cho mạng GANs Thơng thường, kiểm tra cách trực quan hình ảnh tạo với mơ hình khác để tạo mạng G Trong trường hợp toán, cần chọn phân loại D Thực tế, với ý tưởng sử dụng mạng OpenGAN toán nhận diện khn mặt, ta có mơ hình sau: Hình 3.7: Mơ hình nhận dạng khn mặt sử dụng mạng OpenGAN Tập đóng tập người định danh, tập mở tập người chưa định danh Ta sử dụng mạng FaceNet để học đặc trưng hai tập liệu đưa không gian nhúng từ liệu khuôn mặt sang không gian véc-tơ Nhưng ta sử dụng mạng GAN 57 để học đặc trưng sinh khn mặt từ đặc trưng có đầu véc-tơ số chiều mạng FaceNet, ta dùng véc-tơ 128 chiều Và cuối sử dụng mạng phân loại D từ hai đầu mạng generator FaceNet Trong trường hợp thành phần discriminator nhận dạng liệu fake tức liệu Other Thì tiếp theo, sử dụng mạng đầu Softmax để đưa định danh xác khn mặt định xác định tập liệu Với liệu đầu vào vậy, phù hợp tiêu chí để xây dựng tập mở Ta so sánh với mơ hình nhận dạng khn mặt FaceNet hình Hình 3.8: Mơ hình nhận dạng khn mặt sử dụng FaceNet 3.3 Sản phẩm nhận diện khuôn mặt kiểm sốt vào có sử dụng mơ hình phân lớp tập mở Với phương pháp sử dụng mạng GAN cho toán phân loại tập mở, ứng dụng vào nhận dạng khn mặt thiết bị sử dụng triển khai thiết bị Galaxy Tab (8.0", 2019) sử dụng Chip Snapdragon 429, RAM 2GB, camera sử dụng làm hình ảnh đầu vào có độ phân giải 2MP Về mơ hình, có sử dụng mơ hình pretrain mơ hình FaceNet huấn luyện tác giả huấn luyện lại bỏ số layer có thêm 1000 người Việt Nam để lấy trưng người Việt Nam Sau nghiên cứu, có sử dụng số tham số Optimizer RMSprop hàm loss TripletSemiHardLoss Về mơ hình cũ, sử dụng 58 khoảng cách Cosi với ngưỡng lấy 0.3 cho khoảng cách hai Véc-tơ đặc trưng 128 chiều hai khuôn mặt Đây ngưỡng đánh giá hai khn mặt người Nếu 0.3 hai véc-tơ nhúng người 0.3 hai người khác Về độ xác, với mơ hình cũ có có huấn luyện thêm 1000 người tiếng Việt Nam kiểm tra khoảng 1000 người khác Việt Nam độ xác 0.807 với khuôn mặt không đeo trang 0.639 với khuôn mặt đeo trang với thang đo sử dụng F1 Con số giải thích liệu huấn luyện người Châu Á hay cụ thể người Việt Nam qua với số lượng người làm mơ hình FaceNet huấn luyện Điều làm mơ hình có độ xác không cao, nhận sai không nhận nhiều Với mơ hình mới, kết hợp mơ hình phát khuôn mặt MTCNN, nhận dạng khuôn mặt FaceNet mơ hình nhận dạng tập mở sử dụng mơ hình OpenGAN Với trọng số mơ hình pretrain trước sử dụng đặc trưng giả tạo từ mơ hình sinh nhận diện người huấn luyện Với đặc trưng phân lớp tập mở (K + 1) lớp, hiểu lớp "other" K số lượng lớp tập kiểm tra Ta sử dụng số F1 score để tính trung bình tất lớp Với liệu thực tế huấn luyện kiểm tra tập 1000 người Việt Nam kết số F1 sử dụng mơ hình có đeo trang 0.980 khơng đeo trang 0.985 Đây hiểu người vào mơ hình nhận dạng vào lớp "other" vào tập chứa người tập liệu Sản phẩm ứng dụng sử dụng việc điểm danh kiểm vào vào công ty TNHH Skymap Việt Nam Việc đánh giá mơ hình cần liệu lớn hơn, đặc trưng mơ hình nhận dạng khn mặt khác Đây hướng nghiên cứu phát triển sau 59 Phần III Kết luận 60 Kết luận Trong luận văn trên, em trình bày tốn phân lớp nhận dạng - khác hai toán này, tính mờ hai tốn học máy học sâu Những khó khăn việc xây dựng mơ hình phân lớp hay nhận dạng mặt kỹ thuật xây dựng liệu hay tìm thuật tốn phù hợp Nhưng thực tế phát sinh liệu có tính chất khác so với tập huấn luyện hay tập kiểm tra mà thuật toán truyền thống cố gắng phân lớp liệu vào lớp định nghĩa trước, điều làm giảm hiệu thuật tốn Từ dẫn đến khái niệm “tập mở”, nêu lên tính chất đặc điểm tập mở Tiếp theo, trình bày nghiên cứu phương pháp cách tiếp cận để giải toán phân lớp tập mở Và cuối em có trình bày ứng dụng phân lớp tập mở việc triển khai sản phẩm nhận diện khuôn mặt việc kiểm soát vào điểm danh 61 Tài liệu tham khảo [1] Y.Al-Jarrah, D.Yoo, S Muhaidat, G.K Karagiannidis, K Taha, "Efficient machine learning for Big Data: A Review", https://arxiv.org/abs/1503.05296 [2] Shuo Yang, Ping Luo, Chen-Change Loy, Xiaoou Tang, "WIDER FACE: A Face Detection Benchmark", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp 5525-5533 [3] J.Alghamdi, R.Alharhi, A.Alghamdi, W.Alsubaie, R.Alsubaie, "A Survey on Face Recognition Algorithms", 2020 3rd International Conference on Computer Applications & Information Security (ICCAIS), 2020 [4] Hodge V, Austin J (2014), “A survey of outlier detection methodologies” in Artid Intell Rev 22(2):85-126 [5] Geng, Sheng-Jun Huang, Songcan Chen, “Recent Advances in Open Set Recognition: A Survey”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 21 November 2018 [6] M Palatucci, D Pomerleau, G Hinton, and T M Mitchell, “Zero-shot learning with semantic output codes”, in International Conference on Neural Information Processing Systems, pp 1410-1418, 2009 62 [7] R Socher, M Ganjoo, C D Manning, and A Ng, “Zero-shot learning through cross-modal transfer”, in Advances in neural information processing systems, pp.935-934, 2013 [8] W.-L Chao, S Changpinyo, B Gong, and F Sha, “An empirical study and analysis of generalized zero-shot learning for object recognition in the wild” in European Conference on Computer Vision, pp 52-68, Springer, 2016 [9] W J Scheirer, A D R Rocha, A Sapkota, and T E Boult, “Toward open set recognition”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 25, no 7, pp 1757-72, 2013 [10] P Perera, P Oza, V M Patel, “One-Class Classification: A Survey”, arXiv preprint arXiv:2101.03064, 2021 [11] W J Scheirer, A D R Rocha, A Sapkota, and T E Boult, “Classification with a reject option using a hinge loss”, Journal of Machine learning Research, vol 9, no Aug, pp 1832-1840, 2008 [12] L Fischer, B Hammer, and H Wersing, “Optimal local rejection for classifiers”, Neurocomputing, vol 214, pp 445-457, 2016 [13] D M Tax and R P Duin, “Growing a multi-class classifier with a reject option”, Pattern Recognition Letters, vol.29, no.29, pp.1565-1570, 2008 [14] P Bodesheim, A Freytag, E Rodner, M Kemmler, and J Denzler, “Kernel null space methods for novelty detection”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp 3374-3381, 2013 [15] A.Smola, “Learning with Kernel” Ph.D., dissertation, Technische University Berlin, Berlin, Germany, November 1998 63 [16] H Cevikalp, “Best fitting hyperplanes for classification” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 39, no 6, p 1076, 2017 [17] M D Scherreik, B D Righling, “Open set recognition for automatic target classification with rejection”, IEEE Conference on Computer Vision Workshop, pp 1564-1572, 2017 [18] H.Zhang, V.Patel, “Sparse representation-based open set recognition”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 39, no 8, pp 1690-1696, 2017 [19] C.Geng, S.Chen, “Collective decision for open set recognition”, arXiv preprint arXiv:1086.11258v4, 2018 [20] E.M.Rudd, L.P.Jain, W.J.Scheirer, T.E.Boult, “The extreme value machine”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.40, no.40, 3, pp 762-768, 2018 [21] M.Gnther, S.Cruz, E.M.Rudd, T.E.Boult, “Towards open set deep networks”, Processdings of the IEEE conference on computer vision and pattern recognition, pp 1563-1572, 2016 [22] M.Hassen, P.K.Chan, “Learning neural networks based representation for open set recognition” arXiv preprint arXiv: 1802.04365, 2018 [23] Lei Shu, Hu Xu, Bing Liu, “DOC: Deep Open Classification of Text Documents”, Processing of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 2911-2916, 2017 [24] Navid Kardan, Kenneth O.Stanley, “Mitigating fooling with competitive overcomplete output layer neural networks”, International Joint Conference on Neural Networks (IJCNN), 2017 64 [25] Z Y Ge, S Demyanov, Z Chen, R Garnavi, “Generative Openmax for multi-class open set classification”, arXiv preprint arXiv:1707.07418, 2017 [26] L Neal, M Olson, X Fern, W Wong, F Li, “Open set learning with counterfactual images”, Processdings of the European Conference on Computer Vision (ECCV), pp 613-628, 2018 [27] Y W Teh, “Dirichlet process” in Encyclopedia of machine learning, pp 280-287, Springer, 2011 [28] A.Rajagopalan K.Kumar, J.Karlekar, R.Manivasakan, M.Patil, U.Desai, P.Poonacha, S.Chaudhuri, “Finding Faces in Photographs”, 6th IEEE Conf.Computer Vision(ICCV 98) pp.640-645, 1998 [29] Kaipeng Zhang, Zhanpeng Zhang, Zhifeng Li, Yu Qiao, “Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks”, IEEE Signal Processing Letters, page 1499-1503, 2016 [30] F.Schroff, D.Kalenichenko, J.Philbin, “FaceNet: A unified embedding for face recognition and clustering”, Conference on Computer Vision and Pattern Recognition (CVPR), pp.815-823, 201 [31] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhouke, Andrew Rabinovich, “Going Deeper With Convolutions”, Processings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1-9, 2015 [32] Shu Kong, Deva Ramanan, “OpenGAN: Open-Set Recognition via Open Data Generation”, CVF International Conference on Computer Vision (ICCV), p.p 793-802, 2021 65 TÓM TẮT LUẬN VĂN THẠC SĨ Đề tài: Nghiên cứu xây dựng giải thuật phân lớp tập mở Tác giả luận văn: Bùi Anh Tuấn Khóa: 2021A Người hướng dẫn: TS Lê Hải Hà Từ khóa (Keyword): Phân lớp, nhận dạng khuôn mặt, tập mở, openset, classification, OpenGAN, MTCNN, FaceNet Nội dung tóm tắt: a) Lý dọ chọn đề tài Hiện nay, trí tuệ nhân tạo (artificial intelligence), máy học (machine learning) nghiên cứu ứng dụng rộng rãi nhiều mặt đời sống Ví dụ hệ thống nhận dạng giọng nói, nhận dạng khn mặt ứng dụng thiết bị trợ lý ảo, kiểm soát vào ra, điểm danh dùng để chấm công công ty, công xưởng, khu vực sản xuất Các giải thuật phân lớp (classification) nhóm giải thuật máy học, mục tiêu giải thuật cố gắng phân lớp đối tượng vào số lớp xác định trước Ví dụ toán phân lớp chữ số viết tay, thuật tốn phân lớp hình ảnh vào số từ đến 9, tốn nhận dạng khn mặt phân lớp ảnh khuôn mặt vào cá nhân cụ thể Tuy nhiên này, giải thuật phân lớp chủ yếu tập trung vào việc cố gắng chia miền kết thành số lớp xác định với giả thiết tất đối tượng quan sát thuộc tập lớp đó, áp dụng vào thực tế với đối tượng ngồi lớp xác định trước kết tương đối thấp Ví dụ đưa ảnh chứa chữ vào mạng nhận dạng chữ số viết tay, giải thuật thường cố xác định xem số số đến mà không cố xác định vào lớp (unknown) Một trường hợp khác toán kiểm soát vào 66 khu chung cư khuôn mặt, hệ thống đạt kết cao với người chung cư (người dân đăng kí thành lớp xác định), giải thuật lại đạt kết tương đối thấp với người lạ mơ hình cố gán khn mặt người vào lớp cá nhân chung cư Với vấn đề đó, thúc đẩy hướng nghiên cứu phát triển giải thuật học máy mơ hình học sâu có khả phân lớp tốt đối tượng hay quan sát thuộc lớp chưa biết gọi toán phân lớp, nhận dạng tập mở (open set classification/recognition) Giải toán có ý nghĩa lớn thực tế, đặc biết tốn bảo mật, nhận dạng khn mặt, sinh trắc học khu vực có kiểm sốt an ninh Trước địi hỏi thực tế mơ tả trên, xin chọn đề tài “Nghiên cứu xây dựng giải thuật phân lớp tập mở” nội dung nghiên cứu luận văn b) Mục đích, đối tượng, phạm vi nghiên cứu Đối tượng nghiên cứu: Các vấn đề liên quan đến toán phân lớp nhận dạng, phương pháp nghiên cứu giải toán phân lớp tập mở, toán nhận dạng khuôn mặt công cụ hỗ trợ lập trình liệu khn mặt Phạm vi nghiên cứu: Nghiên cứu toán phân lớp tập mở, phương pháp nghiên cứu phân lớp tập mở Bài tốn nhận dạng khn mặt ứng dụng phân lớp tập mở Dữ liệu thử nghiệm liệu khuôn mặt, kiểm tra khoảng 1000 khuôn mặt người Việt Nam c) Phương pháp nghiên cứu Đề tài kết luận nghiên cứu cứu hỗn hợp nghiên cứu lý thuyết tài liệu nghiên cứu thực nghiệm Nghiên cứu lý thuyết: Tổng hợp lý thuyết từ tài liệu, báo khoa học, 67 giáo trình thực tiễn số vấn đề tốn nhận dạng khn mặt Nghiên cứu thực nghiệm: Nghiên cứu cài đặt thực mơ hình thuật tốn ngơn ngữ Python Sử dụng liệu thực tế khoảng 1000 người Việt Nam d) Tóm tắt nội dung đóng góp Bài tốn phân lớp nhận dạng hai toán lớp học máy học sâu Cơ bản, bải tốn phân lớp tìm phân phối xác suất lớp liệu xét Hiện tại, mơ hình phân lớp triển khai đề theo giả thiết liệu hay quan sát mặc định có đặc điểm tính chất thuộc lớp mà mơ hình huấn luyện Nhưng vậy, điều thường khó đạt thực tế đơi mơ hình phải nhận biết phân lớp đối tượng tập huấn luyện Điều dẫn tới hướng nghiên cứu phân lớp tập mở Bài toán phân lớp tập mở toán phân lớp đối tượng nhận biết đối tượng có khác biệt Có nhiều phương pháp để nghiên cứu toán sử dụng mơ hình học máy mơ hình thống kê, sử dụng mạng học sâu, sử dụng mơ hình tự sinh Các phương pháp có ưu nhược điểm riêng có cách tiếp cận để giải toán tập mở Bài tốn nhận dạng khn mặt theo góc nhìn toán phân lớp, cố gắng phân lớp đối tượng khuôn mặt vào khuôn mặt có tập sở liệu Nhưng tại, vấn đề gặp phải khuôn mặt đưa vào mơ hình mơ hình cố gắng phân lớp khn mặt vào khuôn mặt biết Điều giảm chất lượng mơ hình Do vậy, cần phương pháp 68 cải thiện điều này, khuôn mặt khơng thuộc đối tượng phải loại bỏ Do đó, tác giả có đề xuất kết hợp tư tưởng phân lớp tập mở tốn nhận dạng khn mặt để tang tính xác mơ hình Tác giả sử dụng mơ hình MTCNN FaceNet, kết hợp mạng OpenGAN tập mở đê triển khai ý tưởng Mơ hình triển khai tích hợp với phần cứng sản phẩm nhận dạng khn mặt kiểm sốt vào e) Kết luận Tác giả đưa toán, hướng tiếp cận vấn đề Đề xuất ý tưởng cho mơ hình, đáp ứng nhu cầu u cầu luận văn thầy hướng dẫn khoa học Giảng viên hướng dẫn Tác giả luận văn