Mục tiêu của NCS là chọn một giá trị sao cho ( ) cực đại. Do hàm ( | ) bị giới hạn ở trên bởi hàm ( ) và giá trị của các hàm ( | ) và ( ) bằng với ước tính hiện tại cho = , vì vậy bất kỳ làm tăng ( | ) sẽ lần lượt tăng ( ). Để đạt được sự gia tăng lớn nhất cĩ thể về giá trị của ( ), thuật tốn EM được gọi để lựa chọn sao cho ( | ) cực đại. NCS biểu thị giá trị được cập nhật này là +1. Quá trình này được minh họa trong hình 2.8, hàm l( θ|θn) bị giới hạn trên bởi hàm L( θ), các hàm cĩ kết quả θ = θn, thuật tốn EM chọn θn+1 làm giá trị của θ mà l( θ|θn) là cực đại, vì L( θ) ≥ l(θ|θn) tăng l(θ|θn) đảm bảo rằng giá trị của hàm L( θ) được tăng lên ở mỗi bước.
Do đĩ, ta cĩ:
+1 ={ ( | )}
={ ( ) + ∑ ( | , ) ( | , ) ( | ) }
+1 ( | ) ( | , )
Bây giờ, giảm các hằng số w.r.t.
= {∑ ( | , ) ( | , ) ( | )} ( , , ) ( , )
={ | , { ( , | )}}
Trong cơng thức 2.24 trình bày khá rõ rằng các bước tối đa hố kỳ vọng. Do đĩ, thuật tốn EM bao gồm việc lặp lại:
1. E-step: Xác định kỳ vọng cĩ điều kiện | , { ( , | )}
2. M-step: Tối đa hĩa biểu diễn liên quan đến
Đến bước này, vấn đề đơn giản là thực hiện tối đa hĩa ( ) thì cĩ thể tối đa hĩa ( | ). Tuy nhiên thực tế là
( | ) tính đến dữ liệu khơng được quan sát hoặc bị thiếu dữ liệu Z, thuật tốn EM sẽ giúp chúng ta thực hiện trong
trường hợp cần ước tính các dữ liệu Z. Ngồi ra, như đã đề cập trước đĩ, sẽ là thuận lợi hơn khi đưa ra các biến ẩn để tối đa hĩa ( | ), điều này được đơn giản hĩa nhờ kiến thức về các biến ẩn (so với việc phải tối đa hĩa trực tiếp ( )).
Các tính chất hội tụ của thuật tốn EM được đề xuất bởi McLachlan và Krishnan [14]. Trong phần này NCS xem xét sự hội tụ chung của thuật tốn. Vì +1 là ước tính cho tối đa hĩa sự khác biệt ( | ). Bắt đầu với ước tính hiện tại cho , đĩ là , NCS đã cĩ ( | ) = 0. Vì +1 được chọn để tối đa hĩa ( | ) và sau đĩ lại cĩ ( +1| ) ≥ ( | ) =
0, do đĩ đối với mỗi lần lặp, khả năng L( ) là khơng thay đổi.
Khi thuật tốn đạt đến một điểm cố định cho một vài , giá trị tối đa hĩa ( ). Vì L và l bằng nhau tại nếu
L và l cĩ khả năng khác nhau tại thì phải là một điểm dừng của L. Điểm dừng là khơng cần thiết, tuy nhiên nĩ lại là
cực đại cục bộ. Trong [14] cho thấy rằng cĩ thể cho các thuật tốn hội tụ đến cực tiểu địa phương hoặc điểm yên trong trường hợp bất thường.
Trong thuật tốn EM mơ tả ở trên, +1 được chọn làm giá trị với ( | ) cực đại hĩa. Trong khi điều này đảm bảo sự gia tăng lớn nhất trong ( ), tuy nhiên
nĩ cĩ thể làm nhẹ bớt yêu cầu tối đa hĩa một trong những ( | ) sao cho ( +1| ) ≥ ( | ). Với cách tiếp cận này, chỉ đơn giản là tăng và khơng nhất thiết phải tối đa hĩa ( +1| ) được gọi là thuật tốn tối đa hĩa kỳ vọng tổng quát (GEM) và thường hữu ích trong trường hợp việc tối đa hĩa là khĩ khăn. Sự hội tụ của thuật tốn GEM cĩ thể được lập luận như trên.
Sau khi chuyển đổi n dấu vết huấn luyện thành một tập hợp các véc-tơ đặc trưng x1, ..., xn, NCS huấn luyện một SVM một lớp dựa trên dữ liệu bình thường, ý
tưởng là tìm một khu vực hình cầu chứa hầu hết các dữ liệu bình thường sao cho bán kính R tương ứng cĩ thể là nhỏ nhất:
2 + ∑ =1
. . ‖ − ‖2 ≤ 2 +
≥ 0
(2.25) ở đây, các biến được sử dụng để cho phép một số điểm dữ liệu nằm bên ngồi hình cầu và tham số C>= 0 điều khiển sự cân bằng giữa số lượng của hình cầu và số lỗi. Sử dụng biểu diễn kép của hàm Lagrange, hàm mục tiêu tương đương với:
∑ =1 ( , ) − ∑ , =1 ( , )
s.t. 0 ≤≤ , ∑ =1 = 1