5 ỨNG DỤNG PHÁT HIỆN DỮ LIỆU NGOẠI LAI
3.3 Kiến trúc mơ hình Autoencoder SVDD
Trước hết,φ(.;W) :X →F ⊂Rp là một mạng vớiL∈Nlớp ẩn và tập trọng số W =n
W1
, ...,WLo với Wl là trọng số của lớpl ∈ n1, ..., Lo
. φ(x, W)∈ F sẽ
là đại diện đặc trưng của mỗi x ∈X được xác định bởi mạng. Hai biến thể của hàm mục tiêu AESVDD gồm: biên cứng và biên mềm sẽ được trình ngay bên dưới.
3.2. Đề xuất cải tiến
Hàm mục tiêu với biên mềm
Rõ ràng, mục tiêu của AESVDD chính là sự kết hợp giữa việc học các trọng số W và tối ưu hóa bán kính của siêu cầu trong khơng gian F. Với tập dữ liệu
Dn=n
x1, ...,xno
trong X, chúng tôi định nghĩa hàm mục tiêu với biên mềm như sau: min R,W R2+ 1 νn n X i=1 maxn 0,kφ(xi;W)−ck2 −R2o+λ 2 L X l=1 Wl 2 F (3.2)
Dễ thấy, hạng tử đầu tiên trong hàm mục tiêu chính là tối thiểu bán kính
R2 để từ đó tối thiểu hóa thể tích của siêu cầu. Hạng tử thứ hai thể hiện độ phạt đối với những điểm đầu ra của Autoencoder và nằm bên ngồi siêu cầu. Ví dụ như khoảng cách của điểm đó đến điểm trung tâm lớn hơn bán kính siêu cầu. Siêu tham số ν ∈ (0,1] dùng để kiểm sốt trade-off giữa bán kính của siêu cầu với những điểm nhiễu. Hạng tử cuối cùng là kĩ thuật chính quy hóa, cịn có tên là tiêu biến trọng số (weight decay), làm cho các trọng số tiêu biến dần về 0, giúp tránh mơ hình q khớp.
So sánh với SVDD Dựa vào hàm mục tiêu của AESVDD và SVDD thuần, dễ thấy rằng nhiệm vụ của bài toán vẫn là tối thiểu hóa bán kính siêu cầu. Một kernel biến đổi dữ liệu một cách cố định đã được thay thế bằng một phép biến đổi dựa trên mạng nơ-ron, học cả quá trình biến đổi dữ liệu. Những ràng buộc của SVDD đều được lồng trực tiếp vào hàm mục tiêu của AESVDD và thêm một hạng tử tiêu biến trọng số, giúp tránh trường hợp mơ hình q khớp (overfitting).
Anomaly Detection Giống như SVDD, với mỗi một điểm thử trong không gian X thực hiện kiểm tra với AESVDD sẽ được định nghĩa một giá trị, tạm gọi là điểm ngoại lai:
f(x) =kφ(x, W∗)−ck2
2−R∗2 (3.3)
điểm này là hiệu của bình phương khoảng cách điểm ấy đến điểm trung tâm với bình phương bán kính siêu cầu. Ví dụ, một điểm thử x có giá trị dương, thì nó sẽ được đánh dấu là ngoại lai, tức điểm này sẽ nằm ngoài siêu cầu.
3.2. Đề xuất cải tiến
Việc tối ưu hàm mục tiêu [3.2] chính là cố gắng tìm một mạng với trọng số
W để những điểm dữ liệu có thể được ánh xa một cách gần đối với tâm c - giá trị được cho trước của siêu cầu. Để đạt được điều này, mạng sẽ cố gắng trích xuất được những phương sai chính của dữ liệu. Khi đó, những điểm bình thường sẽ được ánh xạ gần với tâm c, còn những điểm bất thường sẽ được ánh xạ xa hơn.
Rõ ràng, ở đây với cách tiếp cận này, chúng ta đã trích xuất được phần nào đặc trưng của tập dữ liệu.
Hàm mục tiêu với biên cứng
Trong trường hợp, chúng ta giả sử rằng tập dữ liệu khơng có điểm ngoại lai hay bất thường. Lúc này, chúng ta sẽ đề xuất một hàm mục tiêu đơn giản hơn như sau: min W 1 n n X i=1 kφ(xi;W)−ck2 2+ λ 2 L X l=1 Wl 2 F (3.4)
trong đó c6= φ(x;W0) là tâm của siêu cầu trong không gian đầu ra của mạng (giá
trị cố định). Hạng tử thứ nhất thể hiện việc đi tối thiểu trung bình khoảng cách của tất cả các điểm dữ liệu tới điểm trung tâm trong không gian đầu ra của mạng. Hạng tử thứ hai cũng tương tự như hàm mục tiêu biên miềm chính là kỹ thuật chính quy hóa.
Một lần nữa, để thực hiện việc ánh xạ dữ liệu sao cho gần với tâm cnhất có thể, mạng phải trích xuất được các nhân tố phương sai chính của dữ liệu. Việc hàm phạt đối với giá trị trung bình khoảng cách trên tất cả các điểm dữ liệu thay vì cho phép một vài điểm ngoại lai hồn tồn nhất qn với giả sử ban đầu (khơng có điểm ngoại lai hay bất thường trong tập huấn luyện).
3.2.3 Tính chất của AESVDD
Cùng nhìn lại hai hàm mục tiêu của bài tốn biến cứng và biên mềm của Autoencoder SVDD. Jsof t(R, W) = R2+ 1 νn n X i=1 maxn 0,kφ(xi;W)−ck2 −R2o+ λ 2 L X l=1 Wl 2 F (3.5)
3.2. Đề xuất cải tiến và Jhard(W) = 1 n n X i=1 kφ(xi;W)−ck2 2+ λ 2 L X l=1 Wl 2 F (3.6) Siêu tham số ν
Đặc điểm đầu tiên trong bài toán biên mềm AESVDD đã đề cập ở trên về tham siêu tham số ν như sau:
Tỷ lệ số điểm ngoại lai trong mơ hình biên mềm của AESVDD được xác định bởi một giá trị cho trước ν ∈(0,1] .
Chứng minh Xem xét đạo hàm của hàm mục tiêu Jsof t theo R ta được:
∂Jsof t
∂R = 2R−2nout
νn R= 0, (3.7)
với nout là số điểm ngoại lai. Vì R > 0 để tránh trường hợp nghiệm tầm thường cho bài tốn (trivial solution), khi đó ta tính được giá trị ν = nout
n cho giá trị tối ưu R∗.
4 THỰC NGHIỆM VÀ ĐÁNHGIÁ GIÁ
Ở Chương này, chúng tơi sẽ trình bày một số tiêu chuẩn đánh giá mà chúng tôi sử dụng để đánh giá độ tốt của mơ hình. Sau đó, chúng tơi thực hiện thực nghiệm trên bốn tập dữ liệu gồm:Banana, Mammography, MNIST và Paysim.
4.1 Tiêu chuẩn đánh giá Tiêu chuẩn Accuracy và các thơng số
Tiêu chuẩn Accuracy được tính bằng tỷ lệ giữa số điểm dự đoán đúng và tổng số điểm trong tập dữ liệu kiểm thử. Định nghĩa các độ đo True Positive, True Negative, False Positive, False Negative qua Bảng 4.1
Giá trị thực Positive Negative Giá trị dự đoán PositiveNegative TPFN TNFP
Bảng 4.1: Confusion Matrix
Tiêu chuẩn Precision và Recall
Precision = TP
TP + FP Recall =
TP
TP + FN (4.1)
Với một cách xác định một lớp là Positive, Precision được định nghĩa là tỷ lệ số điểm True Positive trong số những điểm được phân loại là Positive (TP + FP).
4.1. Tiêu chuẩn đánh giá
Recall được định nghĩa là tỷ lệ số điểm True Positive trong số những điểm thực sự là Positive (TP + FN).
Khi Precision = 1, mọi điểm tìm được đều thực sự là Positive, tức khơng có điểm Negative nào lẫn vào kết quả. Tuy nhiên, Precision=1 khơng đảm bảo mơ hình là tốt, vì câu hỏi đặt ra là liệu mơ hình đã tìm được tất cả các điểm Positive hay chưa. Nếu 1 mơ hình chỉ tìm được đúng 1 điểm Positive mà nó chắc chắn nhất thì ta khơng thể gọi nó là 1 mơ hình tốt.
Khi Recall=1, mọi điểm Positive đều được nhìn thấy. Tuy nhiên, đại lượng này lại khơng đo liệu có bao nhiêu điểm Negative bị lẫn trong đó. Nếu mơ hình phân loại mọi điểm là Positive thì chắc chắn Recall=1, tuy nhiên dễ nhận ra đây là 1 mơ hình cực kỳ khơng tốt.
Tiêu chuẩn f1
f1 = 2 precision.recall
precision+recall
f1 càng cao, bộ phân lớp càng tốt. Khi cả Recall và Precision đều bằng 1 thì
f1 = 1.
Tiêu chuẩn AUC/ROC
Người ta thường quan tâm đến TPR, FNR, FPR, TNR (R - Rate) dựa trên Bảng 4.7
Giá trị thực
Positive Negative
Giá trị dự đoán PositiveNegative FNR=FN/(TP+FN) TNR=TN/(FP+TN)TPR=TP/(TP+FN) FPR=FP/(FP+TN)
Bảng 4.2: Normalize confusion matrix
False Positive Rate còn được gọi là False Alarm Rate (tỉ lệ báo động nhầm), False Negative Rate còn được gọi là Miss Detection Rate (tỉ lệ bỏ sót). Trong bài tốn dị mìn, thà báo nhầm cịn hơn bỏ sót.
4.1. Tiêu chuẩn đánh giá
ROC curve (receiver operating characteristic curve) là một đường cong dùng để đánh giá các kết quả của một dự đoán với hai tham số đầu vào là TPR và FPR. Dựa trên ROC curve, ta có thể chỉ ra rằng một mơ hình có hiệu quả hay khơng. Một mơ hình hiệu quả khi có FPR thấp và TPR cao, tức tồn tại một điểm trên ROC curve gần với điểm có toạ độ (0, 1) trên đồ thị (góc trên bên trái). Curve càng gần thì mơ hình càng hiệu quả.