Các phương pháp đảm bảo tính chắc chắn cho mô hình học sâu trong phân loại ảnh

Mạng nơ-ron truyền thắng

Mang này có một tang đầu vào với 784 nơ-ron tương ứng với 784 điểm ảnh, một tang đầu ra với mười nơ-ron tương ứng với mười nhãn và 2 tang ân. Tuy nhiên, bởi vì tốc độ học nị quá lớn, phương pháp có thé nhảy qua giá trị W tối ưu toàn cục một khoảng cách xa, từ đó phải tốn nhiều.

Tấn công đối khang Ne

• Đánh giá tính chắc chắn của mô hình học sâu

[Tan công đối kháng không định hướng] Cho mô hình học sâu M và anh dự đoán đúng x có nhãn đúng là yee, tan công đối kháng không định hướng sẽ thêm nhiễu vào x sao cho arg max(M(x + QY= yirue [54]. Về tinh bất định, bởi vì nhiễu đối kháng có tính đa dạng, rất khó để tìm phân phối mô tả được mọi nhiễu đối kháng thuộc nhiều phương pháp tấn công đối kháng khác nhau.

Các phương pháp phòng thủ sử dụng mô hình mã hóa tự động

Tập học của mô hình mã hóa tự động biến thiên gồm tập học của mô hình kiểm thử và ảnh đối kháng sinh bởi nhiều phương pháp khác nhau như FGSM [32] và CW [13]. Do đó, khi có ảnh đối kháng đến mô hình kiểm thử, Defense-VAE có thể tạo ảnh mới được nhận diện chính xác hơn từ ảnh đối kháng này.

Các bộ dữ liệu sử dụng trong thực nghiệm

Nếu tỉ lệ phát hiện bằng 1 thì mọi anh đầu vào đều được loại bỏ nhiễu đối kháng nếu có. Cuối cùng, bộ dữ liệu bộ chữ cái viết tay chứa các kí tự viết tay gồm viết.

Giới thiệu

Cụ thể, từ một ảnh dự đoán đúng, DeepCheck thêm nhiễu đối kháng vào một hoặc hai điểm ảnh để sinh ảnh đối kháng, trong đó trạng thái kích hoạt nơ-ron của ảnh đối kháng và ảnh dự đoán đúng giống hệt nhau. Ví dụ, với mô hình nơ-ron truyền thắng có 30 nơ-ron ấn được học trên bộ dữ liệu MNIST, DeepCheck không thé sinh thành công ảnh đối kháng nào từ 500 ảnh dự đoán đúng đầu tiên. Bởi vì sự phức tạp này nên bộ giải SMT có thê tiêu tốn chi phí rất lớn dé tìm nghiệm thỏa mãn, có thể lên tới hàng chục phút chỉ để thêm nhiễu đối kháng vào một ảnh dự đoán.

Ngoài ra, khi thêm nhiễu đối kháng vào một số ảnh dự đoán đúng, DeepCheck có thể cần tới hàng chục phút, trong khi đó HA4FNN chi cần tối da vài giây trên cùng một cấu hình máy tính.

Các nghiên cứu liên quan

Đối với trường hợp thêm nhiễu đối kháng vào nhiều điểm ảnh, tỉ lệ thành công của HA4FNN là 98.7%, tốt hơn hắn DeepCheck với 16.9% khi. Dựa theo nghiên cứu của Pei và cộng sự, Ma và cộng sự [61] đề xuất một tập các độ đo khác như độ đo k-đoạn, độ phủ biên của nơ-ron và độ phủ hàm kích hoạt của nơ-ron, v.v. Các phương pháp sử dụng độ do Lp thêm nhiễu đối kháng vào các điểm ảnh trong ảnh dự đoán đúng dé đạt được mục tiêu tấn công, tuy nhiên các điểm ảnh thường bị thêm nhiễu đối kháng vào rời rạc nên thường trông không giống thực tế.

Sun và cộng sự [91] đề xuất DeepConcolic - đây là công cu đầu tiên kết hợp phân tích chương trình và thực thi tượng trưng để tăng độ phủ của mô hình học sâu.

Phương pháp HA4FNN

• Sinh mã nguồn từ mô hình & Chèn câu lệnh đánh dấu

Cuối cùng, danh sách ảnh đối kháng ứng cử viên (kí hiệu là advs) được xác thực tính đúng đắn bằng cách đây vào mô hình kiểm thử M để kiểm tra lại (dòng 13). Ý tưởng chính của thuật toán là phân tích sự thay đổi của các nơ-ron ấn khi thực thi các câu lệnh từ câu lệnh đầu tiên đến câu lệnh cuối cùng của đường thi hành. Kế tiếp, thuật toán phân tích cây AST này để thu được định danh của nơ-ron ân (kí hiệu là nk) (dòng 4), trong đó i là chỉ số của tang và k là chỉ số nơ-ron ẩn trên tang đó.

Giá trị điểm ảnh tượng trưng sẽ được thay đổi về 0 hoặc 255 với mục tiờu làm giảm giỏ trị ciứ Nếu điểm số của fi bang 0, giá trị f; sẽ được giữ nguyên vì f; không tác động đến giá trị cer.

Thực nghiệm

• Cấu hình

Từ 500 anh đầu tiên của tập học trên từng bộ dữ liệu, thực nghiệm chon những ảnh được dự đoán đúng bởi mô hình kiểm thử. Các mô-đun dùng chung gồm mô-đun chuyền đổi mô hình kiêm thử thành mã nguồn, mô-đun chèn câu lệnh vào mã nguồn và mô-đun thực thi tượng trưng. Với bộ giải Z3, kí hiệu Z3@n ỏm chỉ ứ điểm ảnh quan trọng nhất trong anh dự đoỏn đỳng sẽ được thờm nhiễu đối kháng dé sinh ảnh đối kháng.

Phần thực nghiệm này đánh giá hiệu quả của HA4FNN khi thêm nhiễu đối kháng vào một điểm ảnh trong ảnh dự đoán đúng dé sinh ảnh đối kháng.

BK E È:EiE:E: 2 an E

Giá trị các biến này khi thực thi chương trình và thực thi mô hình kiểm thử cần giống hệt nhau. Cụ thể, Hình 3.3 mô tả ảnh hưởng của độ nhạy k lên số ảnh dự đoán đúng được thêm nhiễu đối kháng thành công. Nguyên nhân là do MI, F1, và Al có kiến trúc nhiều tang nhất và nhiều nơ-ron hơn các mô hình còn lại.

Mô hình càng phức tạp thì càng khó sửa chỉ một điểm ảnh trên ảnh dự đoán đúng dé sinh ảnh đối kháng.

RQ2 - Sửa nhiều điểm ảnh

Trong thực tê, kẻ tân công có thê muôn sinh ra nhiêu ảnh đôi kháng nhât có. Thực nghiệm cho thấy tỉ lệ thành công của phương pháp HA4FNN cao hơn han tỉ lệ. Thực nghiệm cho thấy sử dụng giá trị độ nhạy k khác nhau thường thêm nhiễu đối kháng vào ảnh dự đoán đúng từ 1 đến khoảng 20 điểm ảnh.

Khoảng cách Lo giữa ảnh dự đoán đúng và ảnh đối kháng sẽ tăng lên, hay nói theo cách khác, ảnh dự đoán đúng bị thêm nhiễu đối kháng nhiều hơn.

Giới thiệu

PatternAttack hỗ trợ thêm nhiễu đối kháng vào ảnh dự đoán đúng theo nhiều mẫu thêm nhiễu khác nhau gồm mẫu sửa mọi điểm ảnh, mẫu sửa điểm ảnh ở biên đối tượng và mẫu bản đồ nổi bật. Ví dụ, xét ảnh dự đoán đúng số chín trong MNIST [56], ảnh này gồm hai phần gọi là vùng số (đại diện bởi điểm ảnh có giá trị một ứng với màu trắng) và vùng nền (điểm ảnh có giá trị không và ứng với màu đen). Việc sinh ảnh đối kháng bằng cách thêm nhiễu đối kháng vào ảnh dự đoán đúng theo nhiều tiêu chí thêm nhiễu đối kháng khác nhau sẽ giúp tạo thêm nhiều bằng chứng về tính chắc chắn.

Đối với van dé chất lượng ảnh đối kháng, bởi vì ATN thêm nhiễu đối kháng vào mọi điểm ảnh trong ảnh dự đoán đúng nên ảnh đối kháng và ảnh dự đoán đúng có thé trông rất khác nhau.

Các nghiên cứu liên quan

Đối với nhóm phương pháp dựa theo dao hàm gồm gồm L-BFGS, DeepFool, FGSM, CW, MI-FGSM và ATN, nhóm này xây dựng hàm mục tiêu có một thành phan là khoảng cách. Tiêu chí hướng thêm nhiễu đối kháng điểm ảnh là cách để thêm nhiễu đối kháng vào ảnh dự đoán đúng và có hai loại chính gồm sử dụng bộ giải và sử dụng đạo hàm. Bởi vì nhiều nghiên cứu cho thay mối quan hệ giữa ban đồ nồi bật và ảnh đối kháng, PatternAttack sử dụng bản đồ nổi bật trong nghiên cứu của Simonyan và cộng sự [84] như một mẫu thêm nhiễu.

Sau khi sinh bản đồ nồi bật từ một tập ảnh dự đoán đúng chung một nhãn, PatternAttack tìm những điểm ảnh có ảnh hưởng cao nhất tới kết quả phân lớp của mô hình tích chập.

Phương pháp PatternAttack

* Cross-entropy: Trong thành phần thứ hai của Công thức 2.19, trong khi ATN sử dung Ls, PatternAttack sử dụng cross-entropy để Công thức 4.1 hội tụ tốt hơn. Vì thế, luận án đề xuất các định nghĩa của nhiễu dư thừa, điểm ảnh đối kháng, điểm ảnh đối kháng dư thừa, ảnh đối kháng cải thiện và được mô tả đưới đây. Thuật toán sẽ loại bỏ nhiễu đối kháng khỏi ảnh đối kháng qua nhiều lần lặp, trong đó ảnh đối kháng cải thiện bởi lần lặp sau có chất lượng tốt hơn hoặc tương đương ảnh đối kháng cải thiện sinh bởi lần lặp trước.

Sau đó, các điểm ảnh có nhiễu dư thừa này được xếp hạng theo giá trị tăng dần theo mức độ anh hưởng lên kết quả phân lớp của mô hình kiểm thử và lưu trong tập S (dòng 3).