Bộ phân lớp Nạve Bayes dựa trên việc đơn giản hĩa giả định ban đầu là các giá trị thuộc tính độc lập điều kiện với giá trị đích cho trƣớc. Nĩi cách khác, chúng ta giả sử rằng với giá trị đích cho trƣớc của một thể hiện, xác suất của bộ kết hợp quan sát đƣợc a1,a2,…an chỉ là tích của các khả năng đối với các thuộc tính riêng biệt: P(a1,a2…an|vj) = i P(ai | vi ) . Sử dụng đẳng thức này để thay thế vào đẳng thức (2.3.2), chúng ta sẽ cĩ cách tiếp cận đƣợc sử dụng bởi bộ phân lớp nạve bayes.
VNB = arg max P(v j ) P(ai | v j ) (2.3.3)
Trong đĩ, vNB: giá trị đích đƣợc cho bởi bộ phân lớp nạve bayes. Lƣu ý rằng trong bộ phân lớp nạve bayes số lƣợng các số hạng phân biệt P(ai|vj) cần phải đƣợc dự đốn từ tập dữ liệu học chỉ là số các giá trị riêng biệt của thuộc tính nhân với số các giá trị đích riêng biệt (một số nhỏ hơn nhiều so với cách ƣớc đốn các số hạng P(a1,a2,…,an|vj) nhƣ trƣớc đây.
Tĩm lại, bộ phân lớp nạve Bayes liên quan đến một bƣớc học mà trong đĩ các số hạng P(vj) và P(a1,a2,…,an|vj) đƣợc ƣớc đốn dựa trên tần số xuất hiện của chúng trên tồn bộ tập dữ liệu học. Tập các dự đốn này tƣơng ứng với kết luận đƣợc học. Kết luận này sau đĩ đƣợc sử dụng để phân lớp thể hiện mới bằng cách áp dụng luật (2.3.3). Bất kỳ khi nào giả định của nạve Bayes các điều kiện độc lập đƣợc thỏa mãn thì phân lớp nạve Bayes vNB đồng nhất với phân lớp MAP.
Một ƣu điểm của phƣơng pháp nạve Bayes so với các phƣơng pháp học khác là phƣờng pháp nạve Bayes khơng cĩ sự tìm kiếm khơng rõ ràng nào trong khơng gian các giả định cĩ thể cĩ.