Bộ phân lớp Native Bayes làm việc như sau:
1. Gọi D là tập huấn luyện của một tập dữ liệu. Bộ dữ liệu được biểu diễn bởi các véc tơ thuộc tính n chiều X=(x1, x2,…,xn), n đo lường được thực hiện trên bộ dữ liệu từ n thuộc tính lần lượt là A1, A2,…,An.
2. Giả sử rằng cĩ m lớp, C1, C2,…,Cm. Giả sử cĩ véc tơ X=(x1, x2,…,xn), bộ phân lớp sẽ dự báo rằng X thuộc về lớp mà cĩ giá trị của hậu xác suất là lớn nhất theo các điều kiện dữ liệu trên X. Do đĩ, bộ phân lớp Bayes sẽ dự đốn véc tơ X thuộc về lớp Ci nếu và chỉ nếu:
P(Ci|X) > P(Cj|X) 1≤ j≤m, j≠i
Do đĩ, chúng ta cực đại hĩa P(Ci|X). Lớp Ci trong đĩ P(Ci|X) là cực đại được gọi là hậu giả thuyết lớn nhất (maximum posterior hypothesis). Theo lý thuyết Bayes:
3. Nếu P(X) là như nhau đối với tất cả các lớp thì chỉ cĩ cần cực đại. Nếu tiền xác suất của các lớp là khơng xác định được thì chúng ta cĩ thể giả thiết là xác suất của các lớp là như nhau P(C1) = P(C2)=…=P(Cm), và do đĩ chúng ta chỉ cần cực đại hĩa .
4. Với một tập dữ liệu cĩ nhiều thuộc tính thì rất cĩ thể chi phí cho việc tính tốn là rất lớn. Nhằm giảm chi phí tính tốn trong việc đánh giá , một giả thuyết về điều kiện độc lập lớp được đưa ra. Giả thuyết
Chương 5: Phương pháp học máy đề xuất Trang 51
này dựa trên giả định là các thuộc tính là độc lập với nhau hay nĩi một cách khác khơng cĩ mối quan hệ phụ thuộc giữa các thuộc tính. Vì vậy
= x x … x
5. Để dự đốn lớp mà X cĩ thể thuộc vào được đánh giá đối với mỗi lớp Ci. Bộ phân lớp sẽ dự đốn lớp mà X thuộc vào là Ci nếu và chỉ nếu:
1≤ j≤m, j≠i
Một vài nghiên cứu trước đây [12] đã chỉ ra rằng bộ phân lớp Native Bayes tỏ ra mạnh hơn bộ phân lớp của cây quyết định và mạng neural trong một vài lĩnh vực. Theo lý thuyết, bộ phân lớp Bayes cĩ tỷ lệ lỗi nhỏ nhất so với các bộ phân lớp khác. Tuy nhiên, trên thực tế điều này khơng phải luơn đúng trong mọi trường hợp do việc xác định đúng các giả thuyết để sử dụng trong Bayes là một điều khơng dễ dàng cũng như những khĩ khăn trong việc tính tốn xác suất của dữ liệu hiện cĩ.