Phụ lục MỞ ĐẦU…………………………………………………………………………….4 CHƯƠNG 1 : GIỚI THIỆU TỔNG QUAN VỀ NHẬN DẠNG 5 1.1 . Giới thiệu chương 5 1.2 Giới thiệu về thị giác máy tính 5 1.3 Ứng dụng 5 1.4 Khái quát về nhận dạng 6 1.4.1Giới thiệu về nhận dạng 6 1.4.2 Bản chất của quá trình nhận dạng 6 1.5 Các phương pháp nhận dạng 7 1.6 Khái quát về nhận dạng khuôn mặt 7 1.7 Kết luận chương 8 CHƯƠNG 2 : PHÂN TÍCH VỀ BÀI TOÁN NHẬN DIỆN KHUÔN MẶT 8 2.1 Giới thiệu chương 8 2.2 Quá trình nhận dạng khuôn mặt 8 2.3 Những khó khăn trong hệ thống nhận dạng khuôn mặt 8 2.4 Các ứng dụng của bài toán nhận dạng khuôn mặt 10 2.5 Một số phương pháp nhận dạng khuôn mặt 10 2.5.1 Dựa trên tri thức. 11 2.5.2 Dựa trên so khớp mẫu 11 2.5.3 Dựa trên các đặc trưng không thay đổi 11 2.5.4 Dựa trên diện mạo 12 2.6 Kết luận chương 12 CHƯƠNG 3 : GIẢI THUẬT BÀI TOÁN NHẬN DIỆN KHUÔN MẶT 13 3.1 Giới thiệu chương 13 3.2 Mạng neuron 13 3.2.1 Khái quát về mạng neuron 13 3.2.2 Mạng neuron tích chập. 13 3.2.2.1 Convolutinonal 14 3.2.2.2 Cấu trúc mạng CNN 15 3.2.2.3 Trọng số cơ bản 16 3.2.2.3.1 Các trường tiếp nhận cục bộ. 16 3.2.2.3.2 Trọng số chia sẻ (Shared weight and bias)……………...18 3.2.2.3.3 Lớp Pooling. 18 3.3 Phát hiện khuôn mặt với MTCNN. 19 3.3.1 Các giai đoạn của MTCNN. 19 3.3.1.1 Phân tích giai đoạn 1. 20 3.3.1.2 Phân tích giai đoạn 2. 21 3.3.1.3 Phân tích giai đoạn 3 22 3.3.2 Chức năng mất nhận dạng khuôn mặt 23 3.3.3 Hồi quy hộp và phát hiện mốc mặt. 25 3.3.3.1 Hồi quy hộp (Bounding Box regession). 25 3.3.3.2 Phát hiện điểm chính của khuôn mặt mốc mặt (Facial landmark localization). 25 3.3.4. Kết hợp ba chức năng mất trên 25 3.4 Nhận diện khuôn mặt bằng FACENET 26 3.4.1 FaceNet. 26 3.4.2 Transfer learning………………………………………………………….26 3.4.3 Cấu trúc Inception Resnet………………………………………………...28 3.4.1 Cấu trúc ……………………………………………………………….28 3.5 Kết luận chương……………………………………………………………….35 CHƯƠNG 4 : GIẢ MẠO KHUÔN MẶT VÀ CÁC PHƯƠNG PHÁP CHỐNG GIẢ MẠO ………………………………………………………………………...36 4.1 Giới thiệu chung ………………………………………………………………36 4.2 Các cuộc tấn công và các phương pháp chống giả mạo……………………….36 MỞ ĐẦU Với sự phát triển không ngừng của khoa học và công nghệ,đặc biệt là những chiếc điện thoại thông minh (smartphone),máy tính ngày càng hiện đại và được sử dụng phổ biến trong đời sống con người đã làm cho lượng thông tin thu được bằng hình ảnh ngày càng tăng. Hệ thống nhận dạng khuôn mặt là một ứng dụng máy tính tự động xác định hoặc nhận dạng một người nào đó từ một bức hình ảnh kĩ thuật số hoặc một khung hình video từ một nguồn video. Một trong những cách để thực hiện điều này là so sánh các đặc điểm khuôn mặt chọn trước từ hình ảnh và một cơ sở dữ liệu về khuôn mặt. Hệ thống này thường được sử dụng trong các hệ thống an ning và có thể được so sánh với các dạng sinh trắc học khác như các hệ thống nhận dạng vân tay hay tròng mắt. Trong số các dạng sinh trắc khác nhau hệ thống nhận dạng khuôn mặt tuy không có tính hiệu quả và bảo mật cao nhưng là một trong nhưng dạng sinh trắc không thể thiếu trong thế giới số hóa ngày càng hiện đại. Đồ án này chú trọng tới tìm hiểu về giải thuật nhận dạng khuôn mặt. Nội dung đồ án chia làm 4 chương : Chương 1 : GIỚI THIỆU TỔNG QUAN VỀ NHẬN DẠNG Chương 2 : PHÂN TÍCH VỀ BÀI TOÁN NHẬN DIỆN KHUÔN MẶT Chương 3 : GIẢI THUẬT BÀI TOÁN NHẬN DIỆN KHUÔN MẶT Chương 4 : GIẢ MẠO TRONG NHẬN DIỆN KHUÔN MẶT VÀ PHƯƠNG PHÁP CHỐNG GIẢ MẠO Mục tiêu của đề tài là nghiên cứu,giải thuật nhận diện khuôn mặt.Nghiên cứu các phương pháp xác định nhận diện khuôn mặt, từ đó đưa ra phương pháp tối ưu để đưa vào thử nghiệm. Trong quá trình thực hiện đồ án em chân thành cảm ơn cô TS. Trần Thị Minh Hạnh đã tận tình hướng dẫn, truyền đạt những kiến thức, hỗ trợ tinh thần trong suốt quá trình thực hiện đồ án. Mặc dù đã có nhiều cố gắng hoàn thiện đồ tài tuy nhiên thời gian có hạn nên không thể tránh được những thiếu sót, em rất mong nhận được những ý kiến đóng góp của các thầy cô để có thể hoàn thiện hơn và phát triển lên đồ án tốt nghiệp tốt hơn. Em xin chân thành cảm ơn CHƯƠNG 1 : GIỚI THIỆU TỔNG QUAN VỀ NHẬN DẠNG 1.1 . Giới thiệu chương Chương này sẽ cung cấp những thông tin cơ bản về thị giác máy tính xử lý ảnh và các ứng dụng thực tế về xử lý ảnh trong đời sống xã hội hiện nay. Và khái quát về nhận dạng khuôn mặt. 1.2 Giới thiệu về thị giác máy tính Thị giác máy tính (computer vision) là một lĩnh vực bao gồm các phương pháp thu nhận, xử lý ảnh kĩ thuật số , phân tích và nhận dạng các hình ảnh và, nói chung là dữ liệu đa chiều từ thế giới thực để cho ra các thông tin số hoặc biểu tượng, ví dụ trong các dạng quyết định. Việc phát triển lĩnh vực này có bối cảnh từ việc sao chép các khả năng thị giác con người bởi sự nhận diện và hiểu biết một hình ảnh mang tính điện tử. Sự nhận diện hình ảnh có thể xem là việc giải quyết vấn đề của các biểu tượng thông tin từ dữ liệu hình ảnh qua cách dùng các mô hình được xây dựng với sự giúp đỡ của các ngành lý thuyết học, thống kê ,vật lý và hình học. Thị giác máy tính cũng được mô tả là sự tổng thể của một dải rộng các quá trình tự động và tích hợp và các thể hiện cho các nhận thức thị giác. Thị giác máy tính là một môn học khoa học liên quan đến lý thuyết đằng sau các hệ thống nhân tạo có trích xuất các thông tin từ các hình ảnh. Dữ liệu hình ảnh có thể nhiều dạng, chẳng hạn như chuỗi video, các cảnh từ đa camera, hay dữ liệu đa chiều từ máy quét y học. Thị giác máy tính còn là một môn học kỹ thuật, trong đó tìm kiếm việc áp dụng các mô hình và các lý thuyết cho việc xây dựng các hệ thống thị giác máy tính. Thị giác nhận tạo quan tâm việc mô phỏng lại thị giác của con người, dùng mô hình toán học để biểu diễn và hiểu các hình ảnh từ thực tế. 1.3 Ứng dụng Hệ thống an ninh,bảo mật thông tin. Xe tự hành. Y khoa(Xquang, ảnh tia gamma). Thiên văn học.
Phụ lục MỞ ĐẦU Với phát triển không ngừng khoa học công nghệ,đặc biệt điện thoại thơng minh (smartphone),máy tính ngày đại sử dụng phổ biến đời sống người làm cho lượng thông tin thu hình ảnh ngày tăng Hệ thống nhận dạng khn mặt ứng dụng máy tính tự động xác định GVHD : TS Trần Thị Minh Hạnh nhận dạng người từ hình ảnh kĩ thuật số khung hình video từ nguồn video Một cách để thực điều so sánh đặc điểm khuôn mặt chọn trước từ hình ảnh sở liệu khuôn mặt Hệ thống thường sử dụng hệ thống an ning so sánh với dạng sinh trắc học khác hệ thống nhận dạng vân tay hay tròng mắt Trong số dạng sinh trắc khác hệ thống nhận dạng khn mặt khơng có tính hiệu bảo mật cao dạng sinh trắc thiếu giới số hóa ngày đại Đồ án trọng tới tìm hiểu giải thuật nhận dạng khn mặt Nội dung đồ án chia làm chương : Chương : GIỚI THIỆU TỔNG QUAN VỀ NHẬN DẠNG Chương : PHÂN TÍCH VỀ BÀI TỐN NHẬN DIỆN KHN MẶT Chương : GIẢI THUẬT BÀI TOÁN NHẬN DIỆN KHUÔN MẶT Chương : GIẢ MẠO TRONG NHẬN DIỆN KHUÔN MẶT VÀ PHƯƠNG PHÁP CHỐNG GIẢ MẠO Mục tiêu đề tài nghiên cứu,giải thuật nhận diện khuôn mặt.Nghiên cứu phương pháp xác định nhận diện khuôn mặt, từ đưa phương pháp tối ưu để đưa vào thử nghiệm Trong trình thực đồ án em chân thành cảm ơn cô TS Trần Thị Minh Hạnh tận tình hướng dẫn, truyền đạt kiến thức, hỗ trợ tinh thần suốt trình thực đồ án Mặc dù có nhiều cố gắng hồn thiện đồ tài nhiên thời gian có hạn nên khơng thể tránh thiếu sót, em mong nhận ý kiến đóng góp thầy để hồn thiện phát triển lên đồ án tốt nghiệp tốt Em xin chân thành cảm ơn! GVHD : TS Trần Thị Minh Hạnh CHƯƠNG : GIỚI THIỆU TỔNG QUAN VỀ NHẬN DẠNG 1.1 Giới thiệu chương Chương cung cấp thông tin thị giác máy tính xử lý ảnh ứng dụng thực tế xử lý ảnh đời sống xã hội Và khái quát nhận dạng khuôn mặt 1.2 Giới thiệu thị giác máy tính Thị giác máy tính (computer vision) lĩnh vực bao gồm phương pháp thu nhận, xử lý ảnh kĩ thuật số , phân tích nhận dạng hình ảnh và, nói chung liệu đa chiều từ giới thực thông tin số biểu tượng, ví dụ dạng định Việc phát triển lĩnh vực có bối cảnh từ việc chép khả thị giác người nhận diện hiểu biết hình ảnh mang tính điện tử Sự nhận diện hình ảnh xem việc giải vấn đề biểu tượng thơng tin từ liệu hình ảnh qua cách dùng mơ hình xây dựng với giúp đỡ ngành lý thuyết học, thống kê ,vật lý hình học Thị giác máy tính mô tả tổng thể dải rộng q trình tự động tích hợp thể cho nhận thức thị giác Thị giác máy tính mơn học khoa học liên quan đến lý thuyết đằng sau hệ thống nhân tạo có trích xuất thơng tin từ hình ảnh Dữ liệu hình ảnh nhiều dạng, chẳng hạn chuỗi video, cảnh từ đa camera, hay liệu GVHD : TS Trần Thị Minh Hạnh đa chiều từ máy quét y học Thị giác máy tính cịn mơn học kỹ thuật, tìm kiếm việc áp dụng mơ hình lý thuyết cho việc xây dựng hệ thống thị giác máy tính Thị giác nhận tạo quan tâm việc mô lại thị giác người, dùng mô hình tốn học để biểu diễn hiểu hình ảnh từ thực tế 1.3 Ứng dụng - Hệ thống an ninh,bảo mật thông tin Xe tự hành Y khoa(X-quang, ảnh tia gamma) Thiên văn học Phát lỗi sản phẩm ứng dụng cơng nghiệp Tìm kiếm thơng tin hình ảnh internet 1.4 Khái quát nhận dạng 1.4.1Giới thiệu nhận dạng Nhận dạng giai đoạn cuối hệ thống xử lý ảnh Nhận dạng trình nhận diện phân loại đối tượng biển diễn theo mơ hình gán cho chúng nhãn theo tính tốn quy luật mẫu có sẵn Q trình dựa vào mẫu mà máy học biết trước Trong trường hợp khác gọi không học • Trong lý thuyết nhận dạng ảnh có ba cách tiếp cận khác nhau: - Nhận dạng theo cấu trúc - Nhận dạng dựa vào phân hoạch không gian - Nhận dạng dựa vào kĩ thuật mạng nơron + Hai cách tiếp cận đầu đối tượng quan sát thu phải trải qua tiền xử lý nhằm tăng chất lượng ảnh, làm chi tiết, trích chọn biển diễn đặc trưng cuối nhận dạng + Cách tiếp cận thứ hồn tồn khác, dựa vào chế đốn nhận, lưu trữ phân biệt đối tượng mô theo hoạt động hệ thần kinh người Do chế đặc biệt, đối tượng thu nhận thị giác người không cần qua giai đoạn cải thiện mà chuyển sang giai đoạn tổng hợp, đối sánh với mẫu lưu trữ để nhận dạng 1.4.2 Bản chất trình nhận dạng Quá trình nhận dạng gồm giai đoạn chính: • Lựa chọn mơ hình biểu diễn đối tượng GVHD : TS Trần Thị Minh Hạnh • Lựa chọn luật định (phương pháp nhận dạng) suy diễn q trình học • Học nhận dạng Khi mơ hình biểu diễn đối tượng xác định, trình nhận dạng chuyển sang giai đoạn học Học giai đoạn quan trọng Thao tác học nhằm cải thiện, điều chỉnh việc phân hoạch tập đối tượng thành lớp Việc nhận dạng tìm quy luật thuật tốn để gán đối tượng vào lớp 1.5 Các phương pháp nhận dạng - Nhận dạng dựa phân hoạch không gian Trong kỹ thuật này, đối tượng nhận dạng đối tượng định lượng.Một đối tượng biểu diễn vector nhiều chiều - Nhận dạng theo cấu trúc Ngoài cách biểu diễn theo định lượng mô tả trên, tồn nhiều kiểu đối tượng mang tính định tính Trong cách biểu diễn này, người ta quan tâm đến dạng mối quan hệ chúng - Nhận dạng theo mạng nơron Mạng noron nhân tạo (Artificial Neural Network) bao gồm nút nối với liên kết noron Mỗi liên kết kèm theo trọng số Nhiệm vụ q trình huấn luyện (học) mạng cập nhật trọng số có thêm thơng tin mẫu học, hay nói cách khác, trọng số điều chỉnh cho dáng điệu vào mơ hồn tồn phù hợp môi trường xem xét Trong mạng, số noron nối với mơi trường bên ngồi đầu ra, đầu vào 1.6 Khái quát nhận dạng khuôn mặt Nhận dạng khuôn mặt là ứng dụng máy tính xác GVHD : TS Trần Thị Minh Hạnh định nhận diện người từ ảnh từ khung hình video Nhận diện khn mặt từ ảnh khuôn mặt crop trả kết người Nhận diện khuôn mặt đem so sánh đặc điểm khuôn mặt chọn từ trước sở liệu khuôn mặt 1.7 Kết luận chương Chương giới thiệu lĩnh vực thị giác máy tính (computer vision) ứng dụng nhận dạng áp dụng hữu ích vào đời sống người Về nhận dạng,nhận dạng khuôn mặt; để rõ tốn hệ thống nhận dạng khn mặt tìm hiểu chương tiếp CHƯƠNG : PHÂN TÍCH VỀ BÀI TỐN NHẬN DIỆN KHN MẶT 2.1 Giới thiệu chương Bài tốn phát mặt người toán nhiều kỹ sư cơng nghệ, nhà tốn học quan tâm từ nhiều năm Hiện người ta xây dựng nhiều chương trình phát khn mặt khách Trên giới, có nhiều phương pháp đưa sử dụng template matching, neuron network, … Chương tìm hiểu vấn đề liên quan đến tốn nhận diện khn mặt khó khắn vấn đề nhận diện 2.2 Quá trình nhận dạng khn mặt Có thể chia thành bước : - Phát khn mặt : bước có mục tiêu phát khn - mặt có hình ảnh video Nhận dạng khn mặt : Với hình ảnh phát trích xuất thuật tốn nhận dạng khn mặt có mục tiêu tìm kiếm đặc điểm mơ tả hình ảnh 2.3 Những khó khăn hệ thống nhận dạng khn mặt Khó khăn tốn nhận diện khn mặt kể đến : o Tư chụ,góc chụp: Ảnh chụp khn mặt thay đổi nhiều góc chụp camera khuôn mặt Chẳng hạn như: chụp thẳng, chụp chéo bên trái 45◦ hay chụp chéo bên phải 45◦ , chụp từ xuống, chụp từ lên, v.v… Với GVHD : TS Trần Thị Minh Hạnh tư chụp làm đặc trưng để phát nhận dạng khuôn mặt Sự xuất thiếu số thành phần khuôn mặt: Các đặc trưng râu mép, râu hàm, mắt kính, v.v… xuất o khơng Vấn đề làm cho tốn trở nên khó nhiều o Sự biểu cảm khuôn mặt: Biểu cảm khn mặt người làm ảnh hưởng đáng kể lên thông số khuôn mặt Chẳng hạn,cùng khn mặt người, khác họ cười sợ hãi… Sự che khuất : Khn mặt bị che khuất đối tượng khác khuôn o mặt khác o Hướng ảnh: Các ảnh khn mặt biến đổi nhiều với góc quay khác trục camera Chẳng hạn chụp với trục máy ảnh nghiêng làm cho khuôn mặt bị nghiêng so với trục ảnh o Điều kiện ảnh: Ảnh chụp điều kiện khác về: chiếu sang, tính chất camera (máy kỹ thuật số, máy hồng ngoại,v.v…) ảnh hưởng nhiều đến chất lượng ảnh khuôn mặt o Nền ảnh phức tạp: Nền ảnh vấn đề quan trọng ảnh hưởng đến độ xác sở liệu lớn với nhiều môi trường khác nhau, khung cảnh phức tạp ảnh hưởng đến việc phân tích trích đặc trưng khn mặt o Màu sắc da mặt: Màu sắc da mặt tối gần với màu sắc khung cảnh mơi trường xung quanh khó khăn với toán nhận diện mặt người Nếu màu sắc da người q tối thuật tốn gặp khó khăn GVHD : TS Trần Thị Minh Hạnh việc nhận diện đặc trưng khơng tìm khn mặt người o Aging condition: Việc nhận dạng ảnh mặt thay đổi theo thời gian cịn vấn đề khó khăn, khả nhận dạng người o Các hệ thống cực lớn (very large scale systems): Các CSDL ảnh mặt test nhà nghiên cứu cịn nhỏ (vài trăm tới vài chục nghìn ảnh mặt), nhiên thực tế CSDL lớn, ví dụ CSDL ảnh mặt cảnh sát đất nước chứa từ hàng triệu tới tỉ ảnh… 2.4 Các ứng dụng tốn nhận dạng khn mặt Bài tốn nhận dạng khn mặt tốn phức tạp có tính ứng dụng phổ biến thực tế nên thường tìm hiểu nghiên cứu rộng rãi đời sống • • • • • • Hệ thống giao tiếp thông minh người với máy Hệ thống giải trí Hệ thống nhận dạng tội phạm Hệ thống giám sát,theo dõi Hệ thống chấm cơng Phân tích cảm xúc : khuôn mặt người,….v.v 2.5 Một số phương pháp nhận dạng khn mặt Hiện có nhiều phương pháp nhận dạng khn mặt ảnh, từ ảnh có chất lượng không tốt tốt Từ ảnh không màu đến ảnh có màu Nhưng chia thành phương pháp : - Dựa tri thức Dựa diện mạo Dựa so khớp mẫu Dựa đặc trưng không thay đổi 2.5.1 Dựa tri thức Trong hướng tiếp cận này, quy luật áp đặt cho toán nhận diện mặt người tùy vào tác giả Vì quy luật tác giả tự tạo nên dễ dàng để xây GVHD : TS Trần Thị Minh Hạnh dựng quy luật dựa đặc điểm khuôn mặt như, đối xứng hai mắt, sống mũi, miệng… để trích rút đặc trưng quan hệ đặc trưng thường mô tả phép tốn khoảng cách vị trí Khó khăn hướng tiếp cận việc chuyển đặc điểm khuôn mặt thành đặc điểm để nhận dạng với chương trình Nếu quy luật phức tạp, số khn mặt thiếu, q đơn giản có nhận nhầm với đối tượng khác 2.5.2 Dựa so khớp mẫu Trong so khớp mẫu, mẫu chuẩn khuôn mặt (thường khuôn mặt chụp thẳng) xác định trước xác định tham số thông qua hàm Từ ảnh đưa vào, tính giá trị tương quan so với mẫu chuẩn đường viền khuôn mặt, mắt, mũi miệng Thông qua giá trị tương quan mà tác giả định có hay khơng có tồn khn mặt ảnh Hướng tiếp cận có lợi dễ cài đặt, không hiệu tỷ lệ, tư thế, hình dáng thay đổi Nhiều độ phân giải, đa tỷ lệ, mẫu con, mẫu biến dạng xem xét thành bất biến tỷ lệ hình dáng 2.5.3 Dựa đặc trưng khơng thay đổi Đây hướng tiếp cận theo kiểu bottom-up Các tác giả cố gắng tìm cácđặc trưng khơng thay đổi khuôn mặt người để xác định khuôn mặt người Dựa nhận xét thực tế, người dễ dàng nhận biết khuôn mặt đối tượng tư khác điều kiện ánh sáng khác nhau, phải tồn thuộc tính hay đặc trưng khơng thay đổi Có nhiều nghiên cứu xác định đặc trưng khuôn mặt có khn mặt ảnh hay khơng Các đặc trưng như: lông mày, mắt, mũi, miệng, đường viền tóc trích phương pháp xác định cạnh Trên sở đặc trưng này, xây dựng mơ hình thống kê để mơ tả quan hệ đặc trưng xác định tồn khuôn mặt ảnh Một vấn đề thuật toán theo hướng tiếp cận đặc trưng cần phải điều chỉnh cho phù hợp điều kiện ánh sáng, nhiễu, bị che khuất Đơi bóng khn mặt tạo thêm cạnh mới, mà cạnh lại rõ cạnh thật khuôn GVHD : TS Trần Thị Minh Hạnh mặt, dùng cạnh để xác định gặp khó khăn 2.5.4 Dựa diện mạo Trái ngược với phương pháp so khớp mẫu với mẫu định nghĩa trước chuyên gia, mẫu hướng tiếp cận học từ ảnh mẫu Một cách tổng quát, phương pháp theo hướng tiếp cận áp dụng kỹ thuật theo hướng xác suất thống kê máy học để tìm đặc tính liên quan khuôn mặt khuôn mặt Các đặc tính học hình thái mơ hình phân bố hay hàm biệt số nên dùng dùng đặc tính để xác định khn mặt người Đồng thời, tốn giảm số chiều thường quan tâm để tăng hiệu tính tốn hiệu xác định • Ưu điểm : Độ xác cao với nhiều điều kiện ánh sáng, hoạt cảnh • khác Khuyết điểm: Thời gian đào tạo lâu, cấu trúc thuật toán phức tạp 2.6 Kết luận chương Chương nêu khó khăn tốn nhận diện khn mặt thực tế, song đưa hướng tiếp cận tốn nhận diện khn mặt phương pháp thường sử dụng Từ đưa phương pháp phù hợp cho tốn nhận diện khn mặt Chương sau tìm hiểu vào thuật tốn sử dụng đề tài CHƯƠNG : GIẢI THUẬT BÀI TOÁN NHẬN DIỆN KHUÔN MẶT 3.1 Giới thiệu chương Chương tập trung tìm hiểu thuật tốn phát nhận diện khuôn mặt MTCNN (Multi – task covolution neuron network) mơ hình nhận diện khn mặt với FACENET Trong trình thực hiện, nghiên cứu lý thuyết cấu trúc mạng sử dụng thuật toán từ tìm hiểu xây dựng hệ thống nhận diện khn mặt sử dụng thuật tốn MTCNN FACENET 3.2 Mạng neuron 10 GVHD : TS Trần Thị Minh Hạnh - Công thức Softmax function: : số lớp : xác suất để đầu vào rơi vào lớp thứ i Cross entropy hàm mát cho Softmax Regression: Mục đích tốn phát khn mặt xác định có phải khn mặt hoạc khơng, tức tìm xác suất để xác định hình ảnh đầu vào có phải khn mặt hay không Để đánh giá hai phân bố xác suất đó, sử dụng cross entropy - Cross Entropy: phân phối p q định nghĩa là: Với p q rời rạc: - Hàm mát cho Softmax Regression với C lớp Với là phần tử thứ j vector (xác suất) Nhắc lại đầu phụ thuộc vào đầu vào ma trận trọng số Khi = ta thấy loss function Softmax Regression cross entropy Nên ứng dụng Softmax cho trình phân lớp thuật 3.3.3 Hồi quy hộp phát mốc mặt 3.3.3.1 Hồi quy hộp (Bounding Box regession) Đối với hồi quy khung đích, dự đốn độ lệch chúng với cửa sổ có độ tin cậy cao (nghĩa hộp giới hạn lại, điểm cùng, chiều cao chiều rộng) Mục tiêu đào tạo xây dựng vấn đề hồi quy sử dụng Loss Euclide cho mẫu Xi biểu thị tọa độ hộp giới hạn sửa sau đầu mạng hộp giới hạn thực mục tiêu 20 GVHD : TS Trần Thị Minh Hạnh Các tọa độ, bao gồm đỉnh trái, chiều cao chiều rộng Khoảng cách euclide 3.3.3.2 Phát điểm khuôn mặt mốc mặt (Facial landmark localization) Đối với điểm chính, phát mốc mặt coi vấn đề hồi quy nên sử dụng Loss Euclide: Trong : biểu thị tọa độ điểm thu sau đâu mạng tọa độ thực cho mẫu thứ i Có năm mốc khn mặt, bao gồm mắt trái, mắt phải, mũi, góc miệng trái góc miệng phải 3.3.4 Kết hợp ba chức Theo trọng số khác : Trong : N tổng số mẫu đào tạo αj đại diện cho trọng số mát βij∈{0, 1} cho biết báo loại mẫu 3.4 Nhận diện khuôn mặt FACENET 3.4.1 FaceNet FaceNet dựa việc nhúng ảnh vào không gian Euclide cách sử dụng mạng CNN Mạng huấn luyện cho khoảng cách bình phương L2 khơng gian nhúng tương ứng với khoảng cách khuôn mặt: Khuôn mặt người có khoảng cách nhỏ khn mặt người khác có khoảng cách lớn Khi đó, khn mặt đại diện vector đặc trưng 128 chiều chuyển đổi thành 128 byte 3.4.2 Transfer learning Lấy đầu layer gần cuối coi feature vector Trong toán nhận dạng neural network coi thuật toán tự học cách biểu diễn liệu cho toán nhận dạng với phần dạng đơn giản (thường dùng Sofmax onehot coding ) 21 GVHD : TS Trần Thị Minh Hạnh Trong convolutional neural network, convolutional layer có tác dụng lấy đặc trưng ảnh, sau hàng loạt convolutional layer + pooling layer(Convnet) model học đặc điểm ảnh, trước cho fully connected layer => Convnet VGGFace2 model lấy đặc điểm mặt người(tai,mũi,tóc, )=> Ta áp dụng phần ConvNet VGGFace2 model vào toán nhận điện mặt người để lấy đặc điểm mặt Quá trình sử dụng pre-trained model gọi transfer learning Có loại transfer learning: Feature extractor: Sau lấy đặc điểm ảnh việc sử dụng ConvNet pre-trained model, ta dùng linear classifier(linear SVM,softmax classifier, ) để phân loại ảnh Hiểu đơn giản đặc điểm ảnh (tai, mũi,tóc,…) input toán linear regression hay logistic regression Fine tuning:Sau lấy đặc điểm ảnh việc sử dụng ConvNet pre-trained model, ta coi input CNN cách thêm Convnet Fully Connected layer Lí ConvNet VGGFace2 model lấy thuộc tính mặt người nói chung người Việt Nam có đặc tính khác nên cần thêm số ConvNet để học thêm thuộc tính người Việt Nam Phân loại chiến lược sử dụng Fine tuning Hình 3.8:Phân loại chiến lược sử dụng Fine tuning • Khi sở liệu lớn tương tự với sở liệu gốc: trường hợp lý tưởng, bạn dùng weights pretrained model để khởi tạo cho phần pretrained, sau train transfered model hay 22 GVHD : TS Trần Thị Minh Hạnh với phần thêm vào • Khi sở liệu nhỏ khác biệt với sở liệu gốc: dataset nhỏ, train lại phần pretrained dẫn đến overfitting, train layer thêm vào weights khởi tạo cho • pretrained Khi sở liệu lớn khác biệt với sở liệu gốc: dataset có khác biệt nên dùng weights từ pretrained model làm giảm accuracy khác biệt tasks dataset, dataset lớn nên việc train toàn transfered model từ đầu hiệu nhất, giúp cho model thích nghi tốt với dataset • Khi sở liệu nhỏ khác biệt với sở liệu gốc: trường hợp khó khăn nhất, điều cần làm là: o Can thiệp vào pretrained model, thay pretrained layer xa input để thich nghi với dataset mới( high-level features thay đổi vào low-level features để lấy từ layer trước đó) khơng train layer gần input pretrained dataset nhỏ khơng thể train layer hiệu layer trích xuất features tổng quát từ dataset, không ảnh hưởng đến target task Trong đồ án này, em sử dụng pre-trained model Inception-Resnet 3.4.3 Cấu trúc Inception-Resnet Mạng tích chập có tiến lớn nhận dạng hình ảnh năm gần Inception-ResNet mơ hình xây dựng dựa ưu điểm Inception Residual block 3.4.3.1 Cấu trúc 23 GVHD : TS Trần Thị Minh Hạnh Hình 3.9: Mơ hình cấu trúc Inception Resnet 24 GVHD : TS Trần Thị Minh Hạnh Hình 3.10: Stem block Inception Resnet Hình 3.11: Inception - Resnet – A Sử dụng hệ số hóa (Factorization) convolution layer để giảm số chiều từ giảm vấn đề overfitting Các phiên Inception cũ sử dụng 3x3 filter , số tham số 3x3=9 Inception Resnet sử dụng 3x1 filter 1x3 filter, số tham số 3x1+1x3=6 Số lượng tham số giảm 33% làm mạng sâu Hình 3.12: Reduction - A Hình 3.13: Inception - Resnet – B Các phiên Inception cũ sử dụng 7x7 filter , số tham số 7x7=49 Inception Resnet sử dụng 7x1 filter 1x7 filter, số tham số 7x1+1x7=14 Số lượng tham số giảm 29% làm mơ hình sâu Hình 3.14: Reduction – B Hình 3.15: Inception – Resnet – C Các phiên Inception cũ sử dụng 3x3 filter , số tham số 3x3=9 Inception Resnet sử dụng 3x1 filter 1x3 filter, số tham số 3x1+1x3=6 Số lượng tham số giảm 33% Pooling Layer Pooling layer thường dùng convolutional layer, để giảm kích thước giữ thuộc tính quan trọng Kích thước liệu giảm giúp giảm việc tính tốn model Gọi pooling size kích thước K*K.Input pooling layer có kích thước H*W*D, ta tách làm D ma trận kích thước H*W Với ma trận, vùng kích thước K*K ma trận ta tìm maximum average liệu viết vào mà trận kết quả.Quy tắc stride padding áp dụng phép tính convolution Hình 1: Max pooling layer với size(3,3), stride = 1, padding = Nhưng hầu hết dùng pooling layer dùng size=(2,2), stride =2,padding=0 Khi output width height liệu giảm ,depth giữ nguyên Có lại pooling layer phổ biến : max pooling average pooling Hình 17: Mơ tả max pooling average pooling Trong số model người ta dùng convolutional layer với stride>1 để giảm kích thước liệu theo cho pooling layer Để chống over-fitting Khi sử dụng full connected layer, neural phụ thuộc “mạnh” lẫn suốt trình huấn luyện, điều dẫn đến bị over-fitting tập train - Các thực Khác với việc sử dụng regularization để ngăn chặn over-fitting Regularization làm giảm over-fitting cách thêm yếu tố “phạt” vào hàm lỗi (loss fuction) Bằng việc thêm vào điểm phạt này, mơ hình huấn luyện giúp features weights giảm phụ thuộc lẫn Softmax Softmax cách ràng buộc đầu mạng nơ ron phải có tổng một.Qua đó, giá trị đầu hàm softmax coi phân phối xác suất biến đầu Nó hữu ích toán phân loại đa lớp Softmax loại hàm kích hoạt – activation function điều đặc biệt kết đầu có tổng Đề làm việc hàm softmax chuyển đổi giá trị đầu mạng nơ ron cách chia cho tổng giá trị Lúc đầu coi vector xác suất dự đốn class Chúng ta rõ công thức sau: Softmax layer tốt việc xác định xác suất nhiều lớp, nhiên có giới giạn Softmax trở nên tốn số lượng lớp tăng lên Trong tình đó, candidate sampling cách giải hiệu Với việc candidate sampling, lớp softmax giới hạn phạm vi tính tốn nhóm lớp cụ thể Ví dụ, xác định xem hình ảnh dĩa trái có táo khơng, xác suất khơng cần phải tính cho mọ loại trái cây, cần táo Ngoài ra, lớp softmax giả định có thành viên cho lớp trường hợp đối tượng thuộc nhiều lớp,lớp softmax không hoạt dộng Trong trường hơp đó, sử dụng hồi quy logistic(logistic regressions) thay Fully connected layer Sau ảnh truyền qua nhiều convolutional layer pooling layer model học tương tối đặc điểm ảnh( ví dụ mắt,mũi,khung mặt, ) tensor output layer cuối cùng, kích thước H*W*D, chuyển vector kích thước (H*W*D) Sau ta dùng fully connected layer để kết hợp đặc điểm ảnh để output model Đặc điểm Có shorcut connection bên trái module Điều chứng minh mạng sâu Tăng độ sâu mạng không đơn giản xếp chồng lớp lại với Mạng sâu khó huấn luyện vấn đề vanishing gradient – độ dốc truyền ngược trở lại lớp trước đó, phép nhân lặp lặp lại làm cho độ dốc cực nhỏ Kết là, hiệu suất mạng bão hòa giảm hiệu nhanh chóng Hình 3.18: Mối tương quan độ sâu hiệu suất mạng Ý tưởng việc kết hợp ResNet sử dụng kết nối tắt đồng để xuyên qua hay nhiều lớp Hình 3.19: Resnet kết nối tắt xuyên qua hay nhiều lớp Việc xếp chồng lớp khơng làm giảm hiệu suất mạng Chúng ta đơn giản xếp chồng ánh xạ đồng lên mạng hiệu kiến trúc không thay đổi.Điều giúp cho kiến trúc sâu không kiến trúc nông Hơn nữa, với kiến trúc này, lớp phía có thông tin trược tiếp từ lớp nên điều chỉnh trọng số hiệu 3.5 Kết luận chương Chương nêu lên lý thuyết, công thức cấu trúc mạng thuật toán sử dụng đề tài MTCNN, Facenet Là tiền đề cho trình thực thực nghiệm chương CHƯƠNG 4: GIẢ MẠO TRONG NHẬN DIỆN KHUÔN MẶT VÀ CÁC PHƯƠNG PHÁP CHỐNG GIẢ MẠO 4.1 Giới thiệu chung Nhờ tiến nhanh chóng cơng nghệ, đặc biệt khoa học máy tính điện tử Ngày nay, nhận dạng khn mặt trở thành phương pháp xác thực sinh trắc học triển khai rộng rãi thứ hai cấp độ giới hạn ngạch thị trường sau dấu vân tay Mỗi ngày, ngày có nhiều nhà sản xuất đưa tính nhận dạng khn mặt vào sản phẩm họ, chẳng hạn Apple với công nghệ Face-ID, ngân hàng triển khai giải pháp eKYC cho q trình tích hợp Trái ngược với mục đích nghiên cứu nhận dạng khn mặt nhằm cải thiện hiệu suất nhiệm vụ xác minh nhận dạng, lỗ hổng bảo mật hệ thống nhận dạng khn mặt nghiên cứu khứ vài năm gần đây, Một số ý đưa để phát kiểu công khác bao gồm phát xem đặc điểm sinh trắc học đến từ người sống hay giả 4.2 Các công phương pháp chống giả mạo Các cơng trực tiếp có liên quan đến lỗ hổng sinh trắc học túy Trong công này, kẻ xâm nhập sử dụng số loại vật, thường nhân tạo (ví dụ: ảnh khn mặt, mặt nạ, dấu vân tay tổng hợp hình ảnh mống mắt in) cố gắng bắt chước khía cạnh người dùng hãng (ví dụ: dáng đi, chữ ký) truy cập gian lận vào hệ thống sinh trắc học Vì "đặc điểm sinh trắc học khơng phải bí mật", kẻ công nhận thức thực tế lượng lớn liệu sinh trắc học tiết lộ cho thấy khn mặt, ánh mắt, giọng nói hành vi người, chúng lợi dụng nguồn thơng tin để cố gắng vượt qua hệ thống nhận dạng khuôn mặt cách sử dụng ví dụ sau - Những kẻ cơng sử dụng ảnh người dùng để bị mạo danh Họ sử dụng video người dùng để bị mạo danh Hoặc tin tặc xây dựng sử dụng mơ hình 3D khn mặt bị công, chẳng hạn mặt nạ siêu thực Các cơng gián tiếp thực sở liệu, đối sánh, kênh liên lạc, v.v Trong kiểu công này, kẻ công cần truy cập vào bên hệ thống Các cơng gián tiếp ngăn chặn kỹ thuật liên quan đến an ninh mạng “cổ điển” sinh trắc học Thông thường, hệ thống nhận dạng khn mặt bị giả mạo cách trình chiếu trước máy ảnh ảnh, video mặt nạ 3D người nhắm mục tiêu trang điểm phẫu thuật thẩm mỹ Tuy nhiên, sử dụng ảnh video kiểu công phổ biến độ lộ khuôn mặt cao chi phí thấp máy ảnh kỹ thuật số độ phân giải cao - - - Tấn công ảnh : công ảnh bao gồm việc hiển thị ảnh danh tính bị cơng tới cảm biến hệ thống nhận dạng khuôn mặt Tấn cơng video : kẻ cơng phát video người dùng hợp pháp thiết bị tái tạo video sau trình chiếu với cảm biến / máy ảnh 3D Mask Attacks : kiểu công này, kẻ công xây dựng tái tạo 3D khuôn mặt trình bày với cảm biến / máy ảnh - Các công khác : trang điểm, phẫu thuật Vì hầu hết hệ thống nhận dạng khuôn mặt dễ bị công phương pháp giả mạo Do đó, để thiết kế hệ thống nhận dạng khn mặt an tồn kịch thực tế, kỹ thuật chống giả mạo nên ưu tiên hàng đầu từ lập kế hoạch ban đầu cho hệ thống Vì hệ thống nhận dạng khuôn mặt cố gắng phân biệt người dùng hãng, khơng phải để xác định xem mẫu sinh trắc học xuất cảm biến thật hay giả Chúng ta thực chúng theo bốn cách khác sau Cảm biến Sử dụng cảm biến có sẵn để phát tín hiệu đặc điểm mẫu đặc điểm sống Phần cứng chuyên dụng Với phần cứng chuyên dụng để phát chứng sống động camera 3D, khơng phải lúc triển khai Phản hồi thách thức Sử dụng phương pháp phản hồi thách thức cơng trình bày phát cách yêu cầu người dùng tương tác với hệ thống theo cách cụ thể - Nụ cười Nét mặt buồn bã hay hạnh phúc Chuyển động đầu Sử dụng thuật toán nhận dạng sau chất mạnh mẽ để chống lại cơng Dự đốn tính cụ thể: Thứ nhất, cách mô tả không gian đặc điểm cụ thể tương ứng với hình ảnh chân thực tìm hiểu dự đốn liệu hãng giả mạo sở Tiếp theo, mơ hình SVM đào tạo tương ứng với phép chiếu hãng, phép chiếu mặt nạ 3D phép chiếu ảnh in sau sử dụng làm mơ hình chống giả mạo để phát hành vi mạo danh Kết hợp tính sâu: cách nghiên cứu sâu tầm quan trọng thông tin đặc điểm màu sắc hình ảnh khn mặt việc phát khuôn mặt người, cấu trúc mạng kết hợp tính sâu xây dựng mạng nơ-ron phức hợp sâu ResNet SENet để đào tạo hiệu liệu chống giả mạo khuôn mặt liên quan Đánh giá chất lượng hình ảnh: phương pháp dựa kết hợp thước đo chất lượng hình ảnh Giải pháp so sánh hình ảnh gốc với hình ảnh xử lý Học sâu : phương pháp dựa kiến trúc đa đầu vào kết hợp mơ hình CNN đào tạo trước mô tả mẫu nhị phân cục ... sống người Về nhận dạng ,nhận dạng khuôn mặt; để rõ toán hệ thống nhận dạng khn mặt tìm hiểu chương tiếp CHƯƠNG : PHÂN TÍCH VỀ BÀI TỐN NHẬN DIỆN KHN MẶT 2 .1 Giới thiệu chương Bài tốn phát mặt người... tìm hiểu giải thuật nhận dạng khn mặt Nội dung đồ án chia làm chương : Chương : GIỚI THIỆU TỔNG QUAN VỀ NHẬN DẠNG Chương : PHÂN TÍCH VỀ BÀI TỐN NHẬN DIỆN KHN MẶT Chương : GIẢI THUẬT BÀI TỐN NHẬN... tốn nhận diện khn mặt Chương sau tìm hiểu vào thuật tốn sử dụng đề tài CHƯƠNG : GIẢI THUẬT BÀI TỐN NHẬN DIỆN KHN MẶT 3 .1 Giới thiệu chương Chương tập trung tìm hiểu thuật tốn phát nhận diện khuôn