Nghiên cứu tính bền vững của một số mô hình nhận dạng khuôn mặt tiên tiến sử dụng mạng nơron tích chập và đề xuất một số giải pháp tăng cường tính ổn định của các mô hình đó

BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƯỜNG ĐẠI HỌC HỒNG ĐỨC NGUYỄN MINH TÂM NGHIÊN CỨU TÍNH BỀN VỮNG CỦA MỘT SỐ MƠ HÌNH NHẬN DẠNG KHN MẶT TIÊN TIẾN SỬ DỤNG MẠNG NƠRON TÍCH CHẬP VÀ ĐỀ XUẤT MỘT SỐ GIẢI PHÁP TĂNG CƯỜNG TÍNH ỔN ĐỊNH CỦA CÁC MƠ HÌNH ĐĨ LUẬN VĂN THẠC SĨ MÁY TÍNH THANH HĨA, NĂM 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƯỜNG ĐẠI HỌC HỒNG ĐỨC NGUYỄN MINH TÂM NGHIÊN CỨU TÍNH BỀN VỮNG CỦA MỘT SỐ MƠ HÌNH NHẬN DẠNG KHN MẶT TIÊN TIẾN SỬ DỤNG MẠNG NƠRON TÍCH CHẬP VÀ ĐỀ XUẤT MỘT SỐ GIẢI PHÁP TĂNG CƯỜNG TÍNH ỔN ĐỊNH CỦA CÁC MƠ HÌNH ĐĨ LUẬN VĂN THẠC SĨ MÁY TÍNH Chuyên ngành: Khoa học máy tính Mã số: 8480101 Người hướng dẫn khoa học: TS Lê Đình Nghiệp THANH HĨA, NĂM 2022 i Danh sách Hội đồng đánh giá luận văn Thạc sỹ khoa học (Theo Quyết định số: /QĐ- ĐHHĐ ngày tháng năm 2022 Hiệu trưởng Trường Đại học Hồng Đức) Học hàm, học vị Cơ quan Chức danh Họ tên Công tác Hội đồng Chủ tịch HĐ UV, Phản biện UV, Phản biện Uỷ viên Uỷ viên, Thư ký Xác nhận Người hướng dẫn Học viên chỉnh sửa theo ý kiến Hội đồng Ngày tháng năm 2022 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân hướng dẫn TS Lê Đình Nghiệp Các kết nghiên cứu kết luận ii luận văn trung thực, không chép từ nguồn hình thức Việc tham khảo nguồn tài liệu (nếu có) thực trích dẫn ghi nguồn tài liệu tham khảo quy định Thanh Hoá, ngày tháng năm 2022 Người cam đoan Nguyễn Minh Tâm iii LỜI CẢM ƠN Với tình cảm chân thành, tơi xin bày tỏ lịng biết ơn sâu sắc tới thầy giáo, cô giáo Trường Đại học Hồng Đức nhiệt tình giảng dạy giúp đỡ tơi trình học tập nghiên cứu thực luận văn Để hoàn thành đề tài luận văn này, tơi xin bày tỏ lịng biết ơn chân thành sâu sắc đến TS Lê Đình Nghiệp, Trường Đại học Hồng Đức tận tình hướng dẫn, tạo điều kiện tốt suốt trình thực luận văn Tơi xin gửi lời cảm ơn đến Ban lãnh đạo, thầy cô, cán Bộ mơn Khoa học máy tính, Khoa Cơng nghệ Thơng tin & Truyền thơng, Phịng Quản lý đào tạo Sau đại học, Trường Đại học Hồng Đức; bạn bè đồng nghiệp, gia đình người thân động viên, giúp đỡ tơi hồn thành luận văn Xin chân thành cảm ơn! Thanh Hóa, tháng năm 2022 Tác giả luận văn Nguyễn Minh Tâm iv MỤC LỤC LỜI CAM ĐOAN…………………………………………………………….i LỜI CẢM ƠN……………………………………………………………… ii MỤC LỤC………………………………………………………………… iii DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÍ HIỆU……………………… v DANH MỤC CÁC BẢNG BIỂU………………………………………… vi DANH MỤC CÁC HÌNH ẢNH………………………………………… vii MỞ ĐẦU 1 Tính cấp thiết đề tài Mục đích nhiệm vụ nghiên cứu Phương pháp nghiên cứu Dự kiến kết đạt Nội dung nghiên cứu: Chương 1.TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO VÀ MẠNG NƠRON 1.1 Trí tuệ nhân tạo học máy 1.1.1 Trí tuệ nhân tạo 1.1.2 Học máy 1.1.3 Học sâu 1.2 Mạng nơ ron tích chập 1.2.1 Ảnh số ảnh màu RGB 1.2.2 Mạng nơ ron tích chập 1.3 Kết chương 11 Chương PHÁT HIỆN/XÁC THỰC KHN MẶT BẰNG MẠNG NƠRON TÍCH CHẬP 12 2.1 Giới thiệu chung: 12 2.2 Mơ hình CNN nhận dạng khuôn mặt 12 2.3 Mơ hình CNN xác thực khn mặt 15 2.3.1 Một số thuật tốn nhận diện khn mặt 15 v 2.3.2 Mơ hình FaceNet 17 2.4 Kết chương 18 Chương THUẬT TOÁN FGSM VÀ JSMM 20 3.1 Giới thiệu chung: 20 3.2 Thuật toán FGSM: 21 3.3 Thuật toán JSMM: 22 3.1.1 Khái niệm Saliency map 22 3.1.2 Thuật toán JSMM (Jacobian-based Saliency Map) 24 3.4 Kết luận chương 27 Chương THỰC NGHIỆM VÀ LUẬN GIẢI 28 4.1 Giới thiệu: 28 4.1.1 Mô tả liệu 28 4.1.2 Mô tả giao thức 29 4.2 Xây dựng mẫu đối nghịch 31 4.2.1 Xây dựng mẫu đối nghịch phương pháp FGSM 31 4.2.2 Xây dựng mẫu đối nghịch phương pháp JSMM 32 4.3 Đánh giá độ xác mơ hình 33 4.3.1 Đánh giá độ xác mơ hình với liêu nguyên mẫu 34 4.3.2 Đánh giá độ xác mơ hình với liệu đối nghịch 34 4.4 Luận giải giải pháp tăng cường độ xác mơ hình 37 4.4.1 Luận giải 37 4.4.2 Một số giải pháp đề xuất nhằm nâng cao tính ổn định mơ hình 38 KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU 39 Kết luận: 39 Một số hướng phát triển 40 TÀI LIỆU THAM KHẢO Error! Bookmark not defined vi DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÍ HIỆU Từ viết tắt Nội dung AI Trí tuệ nhân tạo CNN Mạng nơ ron tích chập vii DANH MỤC CÁC BẢNG BIỂU Bảng 1: Độ xác mơ hình với liệu ngun mẫu 34 viii Hình 4.1: Khn mặt trích chọn từ video liệu xây dựng Dữ liệu thu được chia theo tỉ lệ 60%:10%:30% nhằm phục vụ cho trình huấn luyện, xác thực kiểm tra theo thứ tự 4.1.2 Mơ tả giao thức Phương pháp FGSM hoạt động cách sử dụng gradient mạng nơ-ron để tạo mẫu đối đối nghịch Đối với hình ảnh đầu vào, phương pháp sử dụng gradient hàm mát để tạo hình ảnh Với mục tiêu tối đa hoá hàm mát với nhãn hình ảnh Mục tiêu làm cho kết đầu bị sai Hình thức cơng biết tới cách công né tránh (Evasion) Các mẫu đối nghịch tạo thơng qua phương trình (4.1) 𝑥 ∗ = 𝑥 + 𝜖 𝑠𝑖𝑔𝑛(∇𝑥 𝐽(𝜃, 𝑥, 𝑦)) (4.1) Với x ảnh đầu vào, y nhãn gốc tương ứng với ảnh x, ϵ hệ số nhiễu, 𝜃 thơng số mơ hình J hàm mát, giao thức công mô tả 29 Hình 4.2: Phương thức sử dụng nhiễu để cơng vào mơ hình Theo Hình 4.2, q trình nhận dạng khn mặt bắt đầu việc sử dụng nhận dạng khuôn mặt (Face detector) Trong nghiên cứu này, chọn mơ hình MTCNN [18] Mơ hình biết cách tiếp cận đơn giản hiệu việc xác định vùng chứa khuôn mặt ảnh, thêm vào mơ hình triển khai thư viện OPENCV3 nên dễ dang việc khai thác Sau vị trí khn mặt phát hiện, vị trí ảnh cắt phần khuôn mặt để tạo véc tơ nhúng (Face embedding vector) để thực pha sau xác thực khn mặt thuộc Face Recognizier Trong nghiên cứu này, sử dụng hai mơ hình phục vụ cho việc xác thực khn mặt FaceNet Caffe Đối với phương pháp JSMM phương thức công tương tự FGSM nhiên với kỹ thuật JSMM kẻ cơng khai thác saliency map khuôn mặt sau phát ảnh cách nhắm mục tiệu lớp t không khớp với nhãn thực y mẫu x định Bằng cách tăng vài high-saliency pixels 𝑥(𝑖) theo 𝑆 + (𝑥(𝑖) , c = t), hình ảnh sửa đổi 𝑥 ′ có độ tin cậy dự đoán cao 𝑓(𝑥 ′ )(𝑡) cho lớp đối phương https://opencv.org/ 30 t ≠ y, dẫn đến phân loại sai Ngồi ra, người ta cơng cách giảm giá trị đặc trưng dựa saliency map 𝑆 − ( ) khác, khác với 𝑆 − đảo ngược phương trình (4.2), tức là: 𝑆 − (𝑥(𝑖) , 𝑡) = 𝜕𝑓(𝑥)𝑡 𝜕𝑥(𝑖) > ∑𝑐≠𝑡 𝜕𝑓(𝑥)𝑐 𝜕𝑥(𝑖) < (4.2) 4.2 Xây dựng mẫu đối nghịch Quá trình xây dựng mẫu đối nghịch mô tả Hình 4.3 Hình 4.3: Quá trình xây dựng mẫu đối nghịch [28] 4.2.1 Xây dựng mẫu đối nghịch phương pháp FGSM Quá trình tạo mẫu đối nghịch với phương pháp FGSM khởi tạo sau: pre_img = np.stack([face], axis=0).astype(np.float32) attack = FastGradientMethod(estimator=classifier, eps=EPS) face_adv = attack.generate(x=pre_img, y=None)[0] pre_img ảnh chứa face lấy, attack sử dụng phương pháp công FastGradientMethod với estimator phân loại đào tạo trên, eps kích thước bước cơng (attack step size) đầu vào Biến face_adv hình ảnh khn mặt sau thêm nhiễu vào Sau khn mặt chứa nhiễu tính tốn vector nhúng mang so sánh để xem khuôn mặt sau bị cơng thuộc ai, có cịn ban đầu không Dưới số hình ảnh biểu diễn trình trước sau tiến hành công phương pháp FGSM gồm: - Ảnh đầu vào; 31 - Ảnh nhận dạng trước công; - Ảnh khuôn mặt phát trước sau đẩy nhiểu vào; - Ảnh đầu sau q trình cơng Hình 4.4 mơ tả trình tạo mẫu đối nghịch sử dụng phương pháp FGSM Hình 4.4: Mơ tả q trình tạo ảnh đối nghịch sử dụng FGSM với epsilon = 40% 4.2.2 Xây dựng mẫu đối nghịch phương pháp JSMM Quá trình tạo mẫu đối nghịch với phương pháp JSMM khởi tạo sau: pre_img = np.stack([face], axis=0).astype(np.float32) attack = SaliencyMapMethod(classifier, theta=THETA) face_adv = attack.generate(x=pre_img, y=None)[0] pre_img ảnh chứa face lấy, attack sử dụng phương pháp công SaliencyMapMethod với classifier phân loại đào tạo trên, Theta lượng nhiễu loạn giới thiệu cho tính sửa đổi bước (có thể positive negative) Biến face_adv hình ảnh khn mặt sau thêm nhiễu vào Sau khn mặt chứa nhiễu tính tốn vector nhúng mang so sánh để xem khuôn mặt sau bị cơng thuộc ai, có cịn ban đầu không Dưới 32 số hình ảnh biểu diễn trình trước sau tiến hành công phương pháp JSMA gồm: - Ảnh đầu vào; - Ảnh nhận dạng trước công; - Ảnh khuôn mặt phát trước sau đẩy nhiểu vào; - Ảnh đầu sau q trình cơng Hình 4.5 mơ tả liệu đối nghịch tạo sử dụng phương pháp JSMM Hình 4.5: Ảnh đối nghịch tạo sử dụng phương pháp JSMM 4.3 Đánh giá độ xác mơ hình Để đánh giá độ xác mơ hình nghiên cứu này, chúng tơi quan tâm tới thang đo độ xác (Accuracy) Thang đo cho biết dự báo tổng số trường hợp Nói cách khác, thang đo Accuracy giúp ta đánh giá hiệu dự báo mơ hình xét liệu Độ xác cao mơ hình đánh giá Thang đo tính theo công thức (4.3): 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇ổ𝑛𝑔 𝑐á𝑐 𝑚ẫ𝑢 Với TP true positive số nhãn nhận dạng đúng đối tượng; Với TN true negative số nhãn nhận dạng đối tượng; 33 from sklearn.metrics import accuracy_score accuracy_score (y_true, y_pred) 4.3.1 Đánh giá độ xác mơ hình với liêu nguyên mẫu Để đánh giá độ xác mơ hình với liệu gốc, đánh giá làm hai pha: Pha xác định vùng khuôn mặt ảnh dựa vào số IoU (Intersection over Union) Nếu số IoU > 50% xem việc xác định thành công khuôn mặt Tại bước xác thực khuôn mặt, xác xuất nhận dạng người lớn 50% xem xác thực Từ ràng buộc trên, chúng tơi có độ xác biểu diễn Bảng Bảng 1: Độ xác mơ hình với liệu ngun mẫu Mơ hình MTCNN Độ xác xác Mơ hình định vùng mặt (%) 100 % Độ xác xác thực (%) FaceNets 100 (%) Cafffe 100 (%) Mơ hình nhận dạng hệ thống tương đối tốt, hoạt động với 20 nhãn nhân viên doanh nghiệp Từ công đoạn nhận dạng với xác thực đạt kết tuyệt đối Có thể hiểu trình huấn luyện mơ hình thực tốt số mẫu đủ để mơ hình học đặc trưng cần thiết phân loại xác thực đối tượng khn mặt 4.3.2 Đánh giá độ xác mơ hình với liệu đối nghịch Khi chạy công, ta hy vọng giá trị eps tăng lên, độ xác thử nghiệm giảm xuống Điều eps lớn có nghĩa ta thực bước lớn theo hướng tối đa hóa mát Tuy nhiên việc thêm nhiễu vào vùng chứa khuôn mặt ngẫu nhiên với vài giá trị eps độ xác lại tăng lên Ví dụ với giá trị eps 6.0 cho xác suất khuôn mặt phát 70%, giá trị eps 34 7.0 cho mức xác suất khuôn mặt lớn với giá trị 77% khuôn mặt xác định Do vậy, để tăng mức tổng quát hoá việc đánh giá kiểm tra luồng video, tương ứng với luồng video khuôn mặt thu thập mục liệu phía với 20 nhãn mặt người Sau độ xác giá trị nhiễu tính trung bình với độ xác người giá trị nhiễu Dưới Hình 4.6 đồ thị so sánh ảnh hưởng lên xác suất nhận dạng trình công FGSM Bao gồm ảnh hưởng nhiễu FGSM lên hai mơ hình xác thực khn mặt MobileFaceNets Caffe Một điều cần lưu ý rằng, tác động nhiễu vào khu vực khuôn mặt nhằm đảm bảo tiêu chí sau: - Khơng làm ảnh hưởng tới dung lượng ảnh ; - Không làm ảnh hưởng nhiều tới thời gian huấn luyện mạng; - Khó để phân biệt mắt thường; - Thời gian xử lý nhanh Hình 4.6: Ảnh hưởng thuật tốn FGSM lên độ xác hai mơ hình Hình 4.6 cho thầy, giá trị nhiễu tăng từ 0-70% độ xác mơ hình giảm từ 100% 0% Facenet xem mơ hình bền vững 35 0% tỉ lệ nhiễu đạt 70% Trong với mơ hình Caffe, giá trị eps = 50% đưa độ xác trung bình mơ hình 0% Tương tự với việc đánh giá ảnh hưởng thuật toán FGSM, thuật toán JSMM đánh giá tập video sau lấy trung bình ngưỡng để xác định giá trị độ xác mơ hình sau sử dụng ảnh đối nghịch Tượng tự hai mơ hình đưa đánh giá FaceNets Caffe Hình 4.7 biểu diễn ảnh hưởng nhiễu JSMM với hai mơ hình Dễ dàng nhận thấy số điểm sau: - Mặt dù tăng giá trị nhiễu lên 100% nhiên độ xác mơ hình trì 40% - Mơ hình FaceNets bị tác động với nhiễu JSMM, điều tương tự với FGSM - Ảnh hưởng thuật tốn JSMM tới độ xác mơ hình so với thuật tốn FGSM Trong thuật tốn FGSM làm mơ hình sai hồn tồn thuật tốn JSMM làm giảm độ tin cậy định xác thực khn mặt mơ hình 36 Hình 4.7: Độ xác thuật tốn JSMM lên độ xác hai mơ hình 4.4 Luận giải giải pháp tăng cường độ xác mơ hình 4.4.1 Luận giải Qua thực nghiệm nhận thấy mặt dù mơ hình huấn luyện tập liệu lớn huấn luyện lại tập sở liệu đề xuất với mục đích làm mịn theo ứng dụng thực tế Khi triển khai, tương đối ổn định trường hợp lý tưởng, nhiên có khả xuất loại hình nhiễu làm cho mơ hình phân loại sai Nói cách khác, hệ thống nhận dạng sử dụng CNN độ xác hệ thống thường phụ thuộc vào độ xác đầy đủ liệu độ tin cậy thuật tốn, mơ hình dùng để phát triển Khi hệ thống triển khai thực tế, hệ thống phải đối mặt với nhiều vấn đề độ tin cậy, an ninh thơng tin Ngồi rủi ro công, xâm nhập mạng truyền thống hệ thống thơng minh cịn đối mặt với khả cơng khác, mà chủ đích cơng q trình nhận dạng thơng minh hệ thống, lúc hệ thống bị cơng bị làm “ngu” đi, khả nhận dạng xác số tình mà đối tượng cơng chủ đích muốn “đánh lừa” hệ thống 37 Việc hệ thống nhận dạng có sử dụng AI nói chung sử dụng CNN nói riêng bị "tấn công" xuất phát từ số nhược điểm hệ thống cụ thể là: (1) Sự phụ thuộc nhiều vào liệu Để hệ thống đạt độ xác cần thiết mang tính tổng quát, liệu cần phải đủ lớn đầy đủ (2) Việc thực thi biến đổi thuật tốn bên mạng khơng thể đốn trước việc xác định lỗi xảy bên vơ khó khăn Với sai lệch thuật tốn, cần liệu huấn luyện có nhiễu lỗi xảy trình huấn luyện kết đầu thuật tốn bị sai lệch nhiều so với kết mong đợi (3) Thiếu tính tổng qt hố, ứng dụng cụ thể dùng tham chiếu với mô hình thuật tốn cụ thể với trọng số tương ứng 4.4.2 Một số giải pháp đề xuất nhằm nâng cao tính ổn định mơ hình A -Tiền xử lý liệu đầu vào: Phương thức tiền xử lý liệu đầu vào sử dụng số thuật toán để phát liệu bất thường liệu huấn luyện Việc tiền xử lý làm giảm khả xuất liệu mẫu khơng liên quan đến mơ hình thiết kế tạo ảnh hưởng không tốt đến hiệu hoạt động hệ thống Đồng thời, việc tiền xử lý liệu làm mượt liệu đầu vào, chống lại hình thức cơng né tránh phá hoại Các nghiên cứu tập trung vào hướng tìm thấy [29] [30] Thông thường số dạng nhiễu đặc biệt Gaussian sinh thuật toán gán vào ảnh đầu vào theo liều lượng cụ thể để tạo ảnh đối kháng Các ảnh làm sai lệch kết phân loại mơ hình Tuy nhiên việc đề xuất phương thức phát mẫu nghiên cứu giảm thiểu rủi ro việc công Hệ thống có khả cảnh báo loạt ảnh bất thường đẩy vào hệ thống nhằm thăm dò chép lại mơ hình B- Hậu xử lý mơ hình: Phương thức sử dụng số thuật toán nhằm xác thực thêm hàm mục tiêu đầu hệ thống Các điều chỉnh 38 chống lại việc phân loại sai liệu vào lớp khác Bên cạnh đó, việc sử dụng thêm số mơ hình phân phối xác suất tăng cường độ tin cậy cho việc phân lớp chống lại việc chép mơ hình hệ thống Các nghiên cứu tập trung vào hướng tìm thấy [31],[32] Cụ thể, việc phân lớp số mơ hình dựa kỹ thuật phân lớp mềm Tức kết đầu dựa việc cực đại hoá xác xuất lớp Hệ thống định đầu việc tìm xác xuất lớn lớp cụ thể Việc làm dễ dàng bị đánh lừa Tuy nhiên, nghiên cứu trên, kỹ thuật xác thực đầu sử dụng cách thêm số mơ hình xác xuất vào lớp cuối hệ thống Điều giúp cho kết đầu ghi nhận độ tin cậy hệ thống đủ lớn ngưỡng quy định C- Huấn luyện thêm liệu: Những công mẫu đối kháng hiệu để qua mặt hầu hết hệ thống sử dụng AI Phương thức bảo vệ mục tiêu tạo tập liệu tất mẫu đối kháng có, sau sử dụng tập để huấn luyện lại mơ hình vào phân lớp Điều cho phép cập nhật lại trọng số mơ hình giúp hệ thống khơng bị mẫu đối kháng khác đánh lừa Các nghiên cứu theo hướng tìm thấy [33] Cụ thể ảnh pha huấn luyện cho qua hệ thống tạo mẫu đối kháng Tại ảnh thêm nhiễu số kỹ thuật xử lý ảnh để tạo hàng nghìn phiên khác ảnh Sau đó, số ảnh đẩy vào hệ thống để huấn luyện với nhãn gán từ đầu Điều giúp cho hệ thống cập nhật trọng số đủ tính tổng quát cho hầu hết phiên khác Giúp cho mạng bền vững trước mẫu giả mẫu bất thường Hiện tại, phương thức ghi nhận hoạt động hiệu để chống lại hầu hết cơng trình bày KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU Kết luận Mục tiêu luận văn nghiên cứu số mơ hình CNN cho tốn nhận dạng khn mặt, có quan tâm đặc biệt vào mơ hình nhận dạng/xác thực Facenets Caffe Cụ thể, tạo liệu đối nghịch từ thuật tốn FGSM JSMM từ sử dụng liệu nhằm đánh giá tính 39 ổn định mơ hình Qua đó, đánh giá đề xuất giải pháp củng cố độ xác Luận văn nghiên cứu đạt số kết sau đây: - Nghiên cứu tổng quan mơ hình mạng nơron tích chập (CNNs) mạng CNNs cho tốn nhận dạng khn mặt; - Nghiên cứu thuật toán hai thuật toán FGSM, JSMM tạo nhiễu thơng qua xây dựng thành cơng liệu đối nghịch; - Triển khai mơ hình nhận dạng/xác thực khn mặt đánh giá độ ổn định mơ hình với liệu đối nghịch Các mơ hình bị ảnh hưởng lớn hai thuật toán FGSM JSMM trước huấn luyện tập liệu đủ lớn sử dụng kỹ thuật huấn luyện nâng cao bổ sung liệu tăng cường; - Đề xuất phương pháp tăng cường tính ổn định mơ hình Một số hướng phát triển Đây chủ đề nhận nhiều quan tâm cộng động nghiên cứu trí tuệ nhân tạo đặc biệt nghiên cứu nhận dạng đối tượng Trong phạm vi luận văn, thực việc đánh giá với phương thức hộp trắng (White box) biết đầy đủ thơng tin mơ hình Trong thời gian tới, chúng tơi nghiên cứu hình thức công hộp đen (Black box) chưa biết thông tin mơ hình Một số phương thức cơng sử dụng phương thức COPYcat sử dụng mạng GAN (Generative adversarial network) 40 TÀI LIỆU THAM KHẢO [1] A.LeCun, Yann, (1998), "Gradient-based learning applied to document recognition.", Proceedings of the IEEE 86.11, 2278-2324 [2] A.Girshick, Ross, (2015), "Fast r-cnn.", In Proceedings of the IEEE international conference on computer vision, pp 1440-1448 [3] C.Ren, Shaoqing, et al, (2015), "Faster r-cnn: Towards real-time object detection with region proposal networks.", Advances in neural information processing systems 28: 91-99 [4] Diogo Almeida, Targ, Sasha, and Kevin Lyman, (2016), Resnet in resnet: Generalizing residual architectures, arXiv preprint arXiv:1603.08029 [5] D.Papernot, P McDaniel, S Jha, (2016), The limitations of deep learning in adversarial settings, EuroSP, 372–387 [6] F.SM Moosavi-Dezfooli, A Fawzi: Deepfool, (2016), A simple and accurate method to fool deep neural networks, CVPR, 2574–2582 [7] F.Chen, Sheng, et al, (2018), "Mobilefacenets: Efficient cnns for accurate real-time face verification on mobile devices.", Chinese Conference on Biometric Recognition, Springer, Cham [8] G.Jia, E Shelhamer, J Donahue, S Karayev, (2014), Caffe: Convolutional architecture for fast feature embedding, preprint arXiv:1408.5093 [9] M Jojo, J.Moolayil, and S John, (2019), Learn Keras for deep neural networks, Birmingham: Apress [10].Ling Yang, (2018), Comprehensive Survey of Methods and Applications, Chandrasekaran, Varun, et al , Peking University, China [11] Lloyd P Rieber, (2014), Computer, Graphics, & Learning, The University of Georgia [12] M C Gonzalez and R E Woods, (2002), Digital Image Processing, 2nd edition, Prentice Hall 41 [13] Navid A Forsyth, Jean Ponce, (2003), Computer Vision: A Modern Approach, Prentice Hall [14] PaLi Mahdi, Student Member, IEEE, and Jun Qin, Member, IEEE, (2016), “Deep Feat: A Bottom Up and Top Down Saliency, Model Based on Deep”,Features of Convolutional Neural Nets [15] Patler, (2007), “The central fixation bias in scene viewing: Selecting an optimal viewing position independently of motor biases and image feature distributions”, Journal of vision, vol 7, no 14, pp 4–4 [16] P J Butko and J R Movellan, (2009), “Optimal scanning for faster object detection”, Computer vision and pattern recognition, pp 2751–2758 [17] P.Hjelmås, Erik, and Boon Kee Low, (2001), "Face detection: A survey", Computer vision and image understanding, 83.3, 236-274 [18] P.Zhang, Kaipeng, et al, (2016), "Joint face detection and alignment using multitask cascaded convolutional networks",IEEE signal processing letters, 23.10, 1499-1503 [19] P.Fei-Fei, Li, Rob Fergus, and Pietro Perona, (2006), One-shot learning of object categories, IEEE PAMI, 28.4, 594-611 [20] S Chopra, (2005), Learning a similarity metric discriminatively, with application to face verification, (CVPR'05), vol 1, pp 539-546 IEEE [21] Schroff, Florian, Dmitry Kalenichenko, and James Philbin, (2015), Facenet: A unified embedding for face recognition and clustering, CVPR, pp 815-823 [22] Szegedy, Christian, et al, (2015), Going deeper with convolutions,CVPR [23] Seiler, Matthew D, Rob Fergus, (2014), Visualizing and understanding convolutional networks, ECCV, Springer, Cham [24] S.He, Yingzhe, et al, (2020), Towards security threats of deep learning systems: A survey, IEEE Transactions on Software Engineering 42 [25] S.Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy, (2014), Explaining and harnessing adversarial examples, arXiv preprint arXiv:1412.6572 [26] Simonyan, Karen, Andrea Vedaldi, and Andrew Zisserman, (2013), Deep inside convolutional networks: Visualising image classification models and saliency maps, arXiv preprint arXiv:1312.6034 [27] S.Papernot, Nicolas, Patrick McDaniel, Somesh Jha, Matt Fredrikson, Z Berkay Celik, and Ananthram Swami, (2016), "The limitations of deep learning in adversarial settings", In 2016 IEEE European symposium on security and privacy (EuroS&P), pp 372-387 IEEE [28] Tinh Cong Nguyen, et al, (2022), An Approach to Evaluate the Reliability of the Face Recognition Process Using Adversarial Samples Generated by Deep Neural Networks, ICISN [29] X.Lin, Wei-An, et al, (2019): "Invert and Defend: Model-based Approximate Inversion of Generative Adversarial Networks for Secure Inference.", arXiv preprint arXiv:1911.10291 [30] Xu, Weilin, David Evans, and Yanjun Qi, et al, (2017), Feature squeezing: Detecting adversarial examples in deep neural networks, arXiv preprint arXiv:1704.01155 [31] X.Lee, Taesung, et al, (2018), Defending against machine learning model stealing attacks using deceptive perturbations, arXiv preprint arXiv:1806.00054 [32] Yrass, (2020), Exploring connections between active learning and model extraction, Chandrasekaran, Varun, et al , USENIX Security [33] Z.Tramèr, Florian, (2016), Stealing machine learning models via prediction apis, USENIX Security 43