Mô tả bài toán: ‹« Hệ thống huấn luyện, đào tạo mô hình mạng học sâu dựa trên hình ảnh thông thường kết hợp cùng với hình ảnh đối nghịch nhằm cải thiện độ chính xác phân lớp ảnh s Input:
Môi trường và ngôn ngữ cài đặt|
Chúng tôi tiến hành cài đặt lại mô hình bằng ngôn ngữ Python, cùng với các thư viện: tensorflow, opency, scikit-learn, numpy
Cấu hình máy Google Colab thực hiện các thử nghiệm: 12GB RAM, GPU Tesla
Qua trình thực nghiệm được dựa trên mô hình mang MobileNetV2 với các thông SỐ:
Bộ tối ưu: Adam ¢ Learning rate = 0.01
Chương 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ
4.2 Phương pháp đánh gia Để đo tính hiệu quả của các phương pháp, chúng tôi sử dụng các độ đo Confusion
Matrix, Accuracy Đây là những độ đo được sử dung trong các công trình liên quan [9]
4.2.1 Ma trận nhằm lẫn ® Ma trận nhầm lẫn (Confusion Matrix) thể hiện có bao nhiêu điểm dữ liệu thực sự thuộc vào một lớp, và được dự đoán là rơi vào một lớp (2).
HINH 4.1: Confusion Matrix ® Nó là một ma trận vuông với kích thước mỗi chiều bang số lượng lớp dữ liệu, hình rong đó, TP (True Positive) là số lượng các mẫu (ảnh) mang nhãn Positive và được phân lớp đúng vào lớp Positive FN (False Negative) là số lượng các mẫu mang nhãn Positive nhưng lại được phân lớp nhầm vào lớp Negative TN (True Negative) là những mẫu mang nhãn Negative và được phân lớp đúng vào lớp Negative FP (False Positive) là những mẫu thuộc lớp Negative những lại được phân vào lớp Positive.
* Confusion Matrix chi ra được cụ thể mỗi loại được phân loại như thé nao, lớp nào được phân loại đúng nhiều nhất, và dữ liệu thuộc lớp nào thường bị phân loại nhằm vào lớp khác.[2].
Chương 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ
4.2.2 Độ chính xác trung bình © Độ chính xác trung bình được định nghĩa là tỉ lệ giữa tổng số lượng ảnh dự đoỏn chớnh xỏc trờn số lượng ảnh đem đi kiểm thử ủl. ¢ Ti mô hình tính Ma trận nhầm lẫn, ta có công thức tính độ chính xác trung bình cho bài toán phân lớp như sau:
Accuracy = (TP + TN)/(TP + FN + FP + TN)
Accuracy = (Tổng số hình được phân lớp chính xác) /(Tổng số hình ảnh)
4.3 Tập dư liệu thực nghiệm
Chúng tôi tiến hành thực nghiệm trên các tập dữ liệu sau:
4.3.1 Tập dữ liệu 17 flowers ¢ Tập dữ liệu 17 flowers được tạo ra bởi 2 tác giả: Maria-Elena Nilsback va
Andrew Zisserman của đại học Oxford của vương quốc Anh. s Tập dữ liệu sẽ gồm tổng cộng 17 loại hoa với 80 hình ảnh cho mỗi loại Mỗi loại hoa được chon trong tập dữ liệu là những loại hoa phổ biến ở vương quốc Anh Các hình ảnh có tỷ lệ lớn, tư thế (góc quan sát), có ánh sáng gần như là giống nhau đối với các lớp trong tập ảnh Tập dữ liệu được chia ngẫu nhiên thành 3 tập train,tập test và tập validation Các hình ảnh trong tập đều được gán nhãn để làm cơ sở cho bài toán phân lớp. s Tập dữ liệu 17 flowers bao gồm:
- Tổng số lớp: 17 lớp tương đương 17 loại hoa
— Tổng số ảnh: 1360 hình ảnh.
Aroq Ssmg MOULIN dosprous Ấ3|JPAXJf]
HINH 4.2: Bộ dữ liệu 17 flowers
Chương 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ
4.3.2 Kết quả thực nghiệm trên tập dữ liệu 17 flowers
Bảng |4.1|thể hiện các kết quả thu được khi thử nghiệm các phương pháp tiếp cận đã nêu trên tập du liệu 17 flowers.
Tập ảnh thông |Tập ảnh đổi|Tập ảnh doi thường nghịch - FGSM nghịch - BIM
Mô hình Fine | 80.00% 70.88% 26.18% tuning - FGSM
Mô hình Fine | 15.59% 37.06% 72.06% tuning - BIM
BANG 4.1: Kết quả thực nghiệm trên tập dữ liệu 17 flowers ® Đầu tiên, nhóm đã dùng mô hình thông thường để kiểm thử trên các tập dữ liệu ảnh khác nhau Khi mang kiểm thử trên tập ảnh thông thường, kết quả là khá chính xác (94,7%) Tuy nhiên, mô hình thông thường nếu mang đi thử trên tập ảnh đối nghịch được sinh theo phương pháp FGSM, thì mô hình lúc này có tỉ lệ dự đoán được là khá thấp (34.12%) Và cuối cùng, mô hình sẽ được tiền hành thử trên tập ảnh đối nghịch được tạo theo phương pháp BIM, kết quả là rất thấp (giảm xuống chỉ còn 0.29%) Từ đây ta có thể nhận thay mô hình thông thường khi chỉ được huấn luyện trên các bộ dữ liệu thông thường thì có tỉ lệ bị đánh lừa bởi các tập ảnh đối nghịch rất cao. Đồng thời, ta thấy phương pháp tạo ảnh đối nghịch BIM lúc này sẽ đánh lừa mô hình học thông thường tốt hơn là tập ảnh theo FGSM.
* Ở hướng tiếp cận.1.1| mô hình sau khi được fine - tuning trên tập ảnh đối nghịch FGSM vẫn cho kết quả tốt khi được kiểm thử trên tập ảnh thông thường và tập ảnh đối nghịch tạo bởi phương pháp FGSM (với lần lượt độ chính xác là 80.00% và 70.88%) Nhưng đối với tập ảnh đối nghịch BIM, mô hình sau khi được fine - tuning trên tập FGSM sẽ khó có thể cho ra kết quả
Chương 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ trường hợp ình này có FGSM với d ta cũng dé khi độ chinl phân loại chính xác cao (khi độ chính xác chỉ là 26.18%) Tuy nhiên, đối với của mô hình Mix - FGSM, do đây là mô hình đã được huấn luyện dựa trên tập ảnh thông thường và tập ảnh đối nghịch FGSM, nên mô khả năng thử được trên cả tập ảnh thường và tập ảnh đối nghịch
6 chính xác khá cao (lần lượt 92.92% và 69.71%) Nhưng chúng dang nhận thấy, tap ảnh đối nghịch được sinh ra bởi phương pháp BIM lúc này sẽ có khả năng đánh lừa mô hình MIX - FGSM đáng kể h xác kiểm thử chỉ là 6.18%. © Đối với hướng tiếp cận |3.2.1|còn lại, ta thấy mô hình sau khi fine - tuning trên tập ảnh đối nghịch BIM sẽ khó có khả năng cho kết quả phân loại tốt nếu được thử trên các ảnh của tập dữ liệu thông thường va tập dữ liệu đối nghịch FGS! tạo ra bởi p|
M Nhưng ngược lại khi kiểm thử trên chính tập ảnh đối nghịch hương pháp BIM, mô hình sẽ cho ra độ chính xác khá khả quan
(72.06%) Bên cạnh đó, mô hình được huấn luyện trên tập dữ liệu kết hợp giữa ảnh thông thường và ảnh đối nghịch sinh theo BIM sẽ có kết quả tốt nếu mang thử trên tập dữ liệu ảnh thông thường và tập dữ liệu ảnh đối nghịch FGSM (độ chính xác lần lượt là 85.29% và 71.18%) Đồng thời, mô hình Mix - BIM cũng cho kết quả khá tốt trên chính tập ảnh đối nghịch BIM
Chương 4 THUC NGHIEM VA ĐÁNH GIA
4.3.3 Tap dư liệu 102 flowers ¢ Tương tự như tập dữ liệu 17 flowers 102 flowers cũng là tập dữ liệu được tạo ra bởi 2 tác giả của trường đại hoc Oxford. ¢ Tuy nhiên, đối với tập dữ liệu lần này, nó đã trở nên lớn hơn với 102 loài hoa tương ứng cho 102 lớp Những loại hoa được chọn là loại phổ biến trên khắp vương quốc Anh Mỗi lớp của tập ảnh lúc này sẽ chứa từ 40 đến 258 hình ảnh Các hình ảnh trong tập có tỷ lệ lớn, tư thế và góc chiếu sáng đa dạng. e Tập dữ liệu 102 flowers được chia thành tập train, tap test va tap validation, cụ thể:
- Tổng số lớp trong tập dir liệu: 102 lớp tương đương 102 loài hoa khác nhau.
- Tổng số ảnh trong tập dữ liệu: 8189 hình ảnh.
- Tập train bao gồm: 1020 hình ảnh.
- Tập test bao gồm: 6149 hình ảnh.
- Tập validation bao gồm: 1020 hình ảnh. e Tập dữ liệu được trực quan hóa bằng cách sử dụng isomap với các đặc điểm về hình dạng và màu sắc (như hình|4.3).
Chương 4 THUC NGHIEM VÀ ĐÁNH GIA
Two-dimensional lsomap embedding (with neighborhood graph].
HINH 4.3: Bộ dataset 102 flowers sau khi được trực quan hóa.
Chương 4 THUC NGHIEM VA ĐÁNH GIA
4.3.4 Kết quả thực nghiệm trên tập dữ liệu 102 flowers
Bảng |4.2Ìthể hiện các kết quả thu được khi thử nghiệm các phương pháp tiếp cận đã nêu trên tập dữ liệu 102 flowers.
Tập ảnh thông |Tlập ảnh đôi Tập ảnh đổi thường nghịch - FGSM nghịch - BIM
Mô hình Fine | 55.59% 20.43% 4.77% tuning - FGSM
Mô hình Fine | 56.35% 17.24% 4.68% tuning - BIM
BANG 4.2: Két quả thực nghiệm trên tap dữ liệu 102 flowers
* Đối với mô hình thông thường, khi đem mô hình này đem đi kiểm thử trên tập ảnh thông thường, ta nhận thấy độ chính xác của mô hình là khá cao (66.89%) Tuy nhiên, mô hình này chỉ được huấn luyện trên các tập dữ liệu hình ảnh thông thường cho nên khi đem mô hình kiểm thử trên các tập dữ liệu ảnh đối nghịch được sinh ra bởi phương pháp FGSM và BIM, thì độ chính xác mà mô hình mang lại là khá thấp (lần lượt 7.99% và 4.70%). Đối với cả hai mô hình được thực hiện theo phương pháp fine-tuning và phương pháp kết hợp ảnh thông thường và ảnh đối nghịch, cả hai mô hình này đều được huấn luyện dựa trên tập ảnh đối nghịch được sinh ra bởi phương pháp FGSM Do đó, ta có thể thay hai mô hình này đều cho ra kết quả tốt khi đem kiểm thử trên tập ảnh thông thường Ta có thể nhận thấy hai mô hình đồng thời có sự cải thiện độ chính xác trên tập ảnh đối nghịch FGSM nhưng các độ chính xác đều chưa được cao (20.43% đối với mô hình fine-tuning trên tập ảnh đối nghịch FGSM và 23.26% đối với mô hình Mix huấn luyện trên tập ảnh FGSM) Và tương tự, nhóm đã dùng hai mô hình dua huấn luyện dựa trên tập di liệu ảnh đối nghịch FGSM này để dem đi
Chương 4 THUC NGHIEM VA ĐÁNH GIA kiểm thử trên tập ảnh đối nghịch được tạo ra nhờ phương pháp BIM, độ chính xác kiểm thử lúc này của hai mô hình ta có thể nhận thấy là khá thấp va có sự tương đồng (lần lượt là 4,77% cho mô hình Fine-tuning theo FGSM và 4,78% cho mô hình Mix theo FGSM).
* Cuối cùng, đối với hai mô hình fine-tuning và mix được huấn luyện trên tập ảnh đối nghịch được sinh ra bởi phương pháp BIM, hai mô hình này đều độ chính xác khá cao đối với tập ảnh thông thường (56.35% và 65.80%) So với việc cải tiền hai mô hình được huấn luyện dựa trên tập ảnh FGSM như trên, thì hai mô hình fine-tuning và mix huấn luyện trên tập ảnh BIM đều chưa cho ra kết quả thực sự tốt ( lần lượt 4.68% và 9.71%).
Từ những kết quả trong phần thực nghiệm với lần lượt hai tập dữ liệu và trên, chúng ta rút ra được một số những điều sau:
Ma trậnnhằmlẫn|
® Ma trận nhầm lẫn (Confusion Matrix) thể hiện có bao nhiêu điểm dữ liệu thực sự thuộc vào một lớp, và được dự đoán là rơi vào một lớp (2).
HINH 4.1: Confusion Matrix ® Nó là một ma trận vuông với kích thước mỗi chiều bang số lượng lớp dữ liệu, hình rong đó, TP (True Positive) là số lượng các mẫu (ảnh) mang nhãn Positive và được phân lớp đúng vào lớp Positive FN (False Negative) là số lượng các mẫu mang nhãn Positive nhưng lại được phân lớp nhầm vào lớp Negative TN (True Negative) là những mẫu mang nhãn Negative và được phân lớp đúng vào lớp Negative FP (False Positive) là những mẫu thuộc lớp Negative những lại được phân vào lớp Positive.
* Confusion Matrix chi ra được cụ thể mỗi loại được phân loại như thé nao, lớp nào được phân loại đúng nhiều nhất, và dữ liệu thuộc lớp nào thường bị phân loại nhằm vào lớp khác.[2].
Chương 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ
4.2.2 Độ chính xác trung bình © Độ chính xác trung bình được định nghĩa là tỉ lệ giữa tổng số lượng ảnh dự đoỏn chớnh xỏc trờn số lượng ảnh đem đi kiểm thử ủl. ¢ Ti mô hình tính Ma trận nhầm lẫn, ta có công thức tính độ chính xác trung bình cho bài toán phân lớp như sau:
Accuracy = (TP + TN)/(TP + FN + FP + TN)
Accuracy = (Tổng số hình được phân lớp chính xác) /(Tổng số hình ảnh)
Tập dư liệu thực nghiệm|
Tập dữ liệu 17 flowers| 32
¢ Tập dữ liệu 17 flowers được tạo ra bởi 2 tác giả: Maria-Elena Nilsback va
Andrew Zisserman của đại học Oxford của vương quốc Anh. s Tập dữ liệu sẽ gồm tổng cộng 17 loại hoa với 80 hình ảnh cho mỗi loại Mỗi loại hoa được chon trong tập dữ liệu là những loại hoa phổ biến ở vương quốc Anh Các hình ảnh có tỷ lệ lớn, tư thế (góc quan sát), có ánh sáng gần như là giống nhau đối với các lớp trong tập ảnh Tập dữ liệu được chia ngẫu nhiên thành 3 tập train,tập test và tập validation Các hình ảnh trong tập đều được gán nhãn để làm cơ sở cho bài toán phân lớp. s Tập dữ liệu 17 flowers bao gồm:
- Tổng số lớp: 17 lớp tương đương 17 loại hoa
— Tổng số ảnh: 1360 hình ảnh.
Aroq Ssmg MOULIN dosprous Ấ3|JPAXJf]
HINH 4.2: Bộ dữ liệu 17 flowers
Chương 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ
Kết quả thực nghiệm trên tập dữ liệu 17 flowers]
Bảng |4.1|thể hiện các kết quả thu được khi thử nghiệm các phương pháp tiếp cận đã nêu trên tập du liệu 17 flowers.
Tập ảnh thông |Tập ảnh đổi|Tập ảnh doi thường nghịch - FGSM nghịch - BIM
Mô hình Fine | 80.00% 70.88% 26.18% tuning - FGSM
Mô hình Fine | 15.59% 37.06% 72.06% tuning - BIM
BANG 4.1: Kết quả thực nghiệm trên tập dữ liệu 17 flowers ® Đầu tiên, nhóm đã dùng mô hình thông thường để kiểm thử trên các tập dữ liệu ảnh khác nhau Khi mang kiểm thử trên tập ảnh thông thường, kết quả là khá chính xác (94,7%) Tuy nhiên, mô hình thông thường nếu mang đi thử trên tập ảnh đối nghịch được sinh theo phương pháp FGSM, thì mô hình lúc này có tỉ lệ dự đoán được là khá thấp (34.12%) Và cuối cùng, mô hình sẽ được tiền hành thử trên tập ảnh đối nghịch được tạo theo phương pháp BIM, kết quả là rất thấp (giảm xuống chỉ còn 0.29%) Từ đây ta có thể nhận thay mô hình thông thường khi chỉ được huấn luyện trên các bộ dữ liệu thông thường thì có tỉ lệ bị đánh lừa bởi các tập ảnh đối nghịch rất cao. Đồng thời, ta thấy phương pháp tạo ảnh đối nghịch BIM lúc này sẽ đánh lừa mô hình học thông thường tốt hơn là tập ảnh theo FGSM.
* Ở hướng tiếp cận.1.1| mô hình sau khi được fine - tuning trên tập ảnh đối nghịch FGSM vẫn cho kết quả tốt khi được kiểm thử trên tập ảnh thông thường và tập ảnh đối nghịch tạo bởi phương pháp FGSM (với lần lượt độ chính xác là 80.00% và 70.88%) Nhưng đối với tập ảnh đối nghịch BIM, mô hình sau khi được fine - tuning trên tập FGSM sẽ khó có thể cho ra kết quả
Chương 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ trường hợp ình này có FGSM với d ta cũng dé khi độ chinl phân loại chính xác cao (khi độ chính xác chỉ là 26.18%) Tuy nhiên, đối với của mô hình Mix - FGSM, do đây là mô hình đã được huấn luyện dựa trên tập ảnh thông thường và tập ảnh đối nghịch FGSM, nên mô khả năng thử được trên cả tập ảnh thường và tập ảnh đối nghịch
6 chính xác khá cao (lần lượt 92.92% và 69.71%) Nhưng chúng dang nhận thấy, tap ảnh đối nghịch được sinh ra bởi phương pháp BIM lúc này sẽ có khả năng đánh lừa mô hình MIX - FGSM đáng kể h xác kiểm thử chỉ là 6.18%. © Đối với hướng tiếp cận |3.2.1|còn lại, ta thấy mô hình sau khi fine - tuning trên tập ảnh đối nghịch BIM sẽ khó có khả năng cho kết quả phân loại tốt nếu được thử trên các ảnh của tập dữ liệu thông thường va tập dữ liệu đối nghịch FGS! tạo ra bởi p|
M Nhưng ngược lại khi kiểm thử trên chính tập ảnh đối nghịch hương pháp BIM, mô hình sẽ cho ra độ chính xác khá khả quan
(72.06%) Bên cạnh đó, mô hình được huấn luyện trên tập dữ liệu kết hợp giữa ảnh thông thường và ảnh đối nghịch sinh theo BIM sẽ có kết quả tốt nếu mang thử trên tập dữ liệu ảnh thông thường và tập dữ liệu ảnh đối nghịch FGSM (độ chính xác lần lượt là 85.29% và 71.18%) Đồng thời, mô hình Mix - BIM cũng cho kết quả khá tốt trên chính tập ảnh đối nghịch BIM
Chương 4 THUC NGHIEM VA ĐÁNH GIA
4.3.3 Tap dư liệu 102 flowers ¢ Tương tự như tập dữ liệu 17 flowers 102 flowers cũng là tập dữ liệu được tạo ra bởi 2 tác giả của trường đại hoc Oxford. ¢ Tuy nhiên, đối với tập dữ liệu lần này, nó đã trở nên lớn hơn với 102 loài hoa tương ứng cho 102 lớp Những loại hoa được chọn là loại phổ biến trên khắp vương quốc Anh Mỗi lớp của tập ảnh lúc này sẽ chứa từ 40 đến 258 hình ảnh Các hình ảnh trong tập có tỷ lệ lớn, tư thế và góc chiếu sáng đa dạng. e Tập dữ liệu 102 flowers được chia thành tập train, tap test va tap validation, cụ thể:
- Tổng số lớp trong tập dir liệu: 102 lớp tương đương 102 loài hoa khác nhau.
- Tổng số ảnh trong tập dữ liệu: 8189 hình ảnh.
- Tập train bao gồm: 1020 hình ảnh.
- Tập test bao gồm: 6149 hình ảnh.
- Tập validation bao gồm: 1020 hình ảnh. e Tập dữ liệu được trực quan hóa bằng cách sử dụng isomap với các đặc điểm về hình dạng và màu sắc (như hình|4.3).
Chương 4 THUC NGHIEM VÀ ĐÁNH GIA
Two-dimensional lsomap embedding (with neighborhood graph].
HINH 4.3: Bộ dataset 102 flowers sau khi được trực quan hóa.
Chương 4 THUC NGHIEM VA ĐÁNH GIA
4.3.4 Kết quả thực nghiệm trên tập dữ liệu 102 flowers
Bảng |4.2Ìthể hiện các kết quả thu được khi thử nghiệm các phương pháp tiếp cận đã nêu trên tập dữ liệu 102 flowers.
Tập ảnh thông |Tlập ảnh đôi Tập ảnh đổi thường nghịch - FGSM nghịch - BIM
Mô hình Fine | 55.59% 20.43% 4.77% tuning - FGSM
Mô hình Fine | 56.35% 17.24% 4.68% tuning - BIM
BANG 4.2: Két quả thực nghiệm trên tap dữ liệu 102 flowers
* Đối với mô hình thông thường, khi đem mô hình này đem đi kiểm thử trên tập ảnh thông thường, ta nhận thấy độ chính xác của mô hình là khá cao (66.89%) Tuy nhiên, mô hình này chỉ được huấn luyện trên các tập dữ liệu hình ảnh thông thường cho nên khi đem mô hình kiểm thử trên các tập dữ liệu ảnh đối nghịch được sinh ra bởi phương pháp FGSM và BIM, thì độ chính xác mà mô hình mang lại là khá thấp (lần lượt 7.99% và 4.70%). Đối với cả hai mô hình được thực hiện theo phương pháp fine-tuning và phương pháp kết hợp ảnh thông thường và ảnh đối nghịch, cả hai mô hình này đều được huấn luyện dựa trên tập ảnh đối nghịch được sinh ra bởi phương pháp FGSM Do đó, ta có thể thay hai mô hình này đều cho ra kết quả tốt khi đem kiểm thử trên tập ảnh thông thường Ta có thể nhận thấy hai mô hình đồng thời có sự cải thiện độ chính xác trên tập ảnh đối nghịch FGSM nhưng các độ chính xác đều chưa được cao (20.43% đối với mô hình fine-tuning trên tập ảnh đối nghịch FGSM và 23.26% đối với mô hình Mix huấn luyện trên tập ảnh FGSM) Và tương tự, nhóm đã dùng hai mô hình dua huấn luyện dựa trên tập di liệu ảnh đối nghịch FGSM này để dem đi
Chương 4 THUC NGHIEM VA ĐÁNH GIA kiểm thử trên tập ảnh đối nghịch được tạo ra nhờ phương pháp BIM, độ chính xác kiểm thử lúc này của hai mô hình ta có thể nhận thấy là khá thấp va có sự tương đồng (lần lượt là 4,77% cho mô hình Fine-tuning theo FGSM và 4,78% cho mô hình Mix theo FGSM).
* Cuối cùng, đối với hai mô hình fine-tuning và mix được huấn luyện trên tập ảnh đối nghịch được sinh ra bởi phương pháp BIM, hai mô hình này đều độ chính xác khá cao đối với tập ảnh thông thường (56.35% và 65.80%) So với việc cải tiền hai mô hình được huấn luyện dựa trên tập ảnh FGSM như trên, thì hai mô hình fine-tuning và mix huấn luyện trên tập ảnh BIM đều chưa cho ra kết quả thực sự tốt ( lần lượt 4.68% và 9.71%).
Từ những kết quả trong phần thực nghiệm với lần lượt hai tập dữ liệu và trên, chúng ta rút ra được một số những điều sau:
* Các tập ảnh đối nghịch được tạo ra theo lần lượt hai phương pháp FGSM và BIM thực sự đã có khả năng đánh lừa được các mô hình mạng học sâu.
* Do phương pháp BIM (3.1.2) được coi là phương pháp cải tiến của FGSM nên mô hình được huấn luyện trên tập dữ liệu ảnh đối nghịch được sinh ra bởi phương pháp BIM sẽ có khả năng đánh lừa mô hình thông thường tốt hơn.
51 Kếtluận ® Nhin chung, Fine - tuning mô hình với ảnh đối nghịch|3.2.1|khá đơn giản và yêu cầu ít sự tính toán, vì đối với phương pháp này ta chỉ cần tạo ra một tập ảnh đối nghịch và tiến hành huấn luyện mô hình trên đó Nhược điểm của phương pháp là nó sẽ có xu hướng kém mạnh mé và kém cạnh tranh hơn nếu dem so với các phương pháp khác (như|.2.2).
* Đối với phương pháp kết hợp ảnh thông thường và ảnh đối nghịch, phương pháp này tương đối phức tạp vì nó đòi hỏi việc phải vừa lay mẫu từ tập huấn luyện và đồng thời phải tạo ra các mẫu đối nghịch ngay lập tức Tuy nhiên, lợi ích của phương pháp là giúp mô hình có thể trở nên mạnh mẽ và khái quát hơn trong việc phòng chống các cuộc tấn công bằng ảnh đối nghịch nhờ:
— Hoc từ các mẫu dữ liệu từ tập huấn luyện ban đầu.
- Học từ các mẫu dữ liệu từ tập ảnh đối nghịch được tạo ra. © Tuy nhiên, cả hai phương pháp tiếp cận trong khóa luận lần này đều phải phụ thuộc vào kiến trúc mô hình học và các trọng số được sử dụng để tạo ra ảnh đối nghịch.
