Học máy thường quan tâm đến việc xác định một phân lớp tốt nhất trong không gian phân lớp nào đó, dựa trên một tập dữ liệu huấn luyện đã cho. Một cách để xác định phân lớp tốt nhất đó là chỉ ra phân lớp có khả năng nhất khi cho trước tập dữ liệu và tri thức về xác suất tiền nghiệm của các phân lớp. Phương pháp học máy Bayes cung cấp một cách tính xác suất của một phân lớp dựa trên xác suất tiền nghiệm của nó, xác suất của việc quan sát các dữ liệu khác nhau khi cho trước phân lớp và chính dữ liệu được quan sát.
Phương pháp học Bayes có các đặc trưng sau:
- Mỗi ví dụ huấn luyện được quan sát có thể tăng hoặc giảm xác suất được ước lượng cho một phân lớp là đúng. Điều này cung cấp một cách mềm dẻo để học hơn các thuật toán mà nó loại bỏ hoàn toàn một phân lớp nếu phân lớp đó được phát hiện là không đúng với bất kỳ một vị dụđơn nào.
- Tri thức tiền nghiệm có thể được kết hợp với dữ liệu quan sát để xác định xác suất cuối cùng của một phân lớp. Trong học Bayes tri thức tiền nghiệm được cung cấp bởi việc xác định xác suất tiền nghiệm cho mỗi phân lớp ứng viên và phân phối xác suất trên tập dữ liệu quan sát đối với mỗi phân lớp có thể.
- Các phương pháp Bayes có thể cung cấp các phân lớp dựđoán xác suất. - Ví dụ mới có thể được phân lớp bởi sự kết hợp những dự đoán của nhiều phân lớp, được đánh trọng số theo xác suất của chúng.
- Thậm chí trong nhiều trường hợp phương pháp Bayes chứng minh việc tính toán là khó thì chúng cho một chuẩn của quyết định tối ưu dựa trên các phương pháp khác để có thể tính toán được.
Một thực tế khó khi áp dụng các phương pháp Bayes là chúng yêu cầu đặc trưng tri thức ban đầu của các xác suất. Khi những xác suất đó không được biết trước thì chúng thường được ước lượng dựa trên tri thức nền, dữ liệu có sẵn và các phân lớp về dạng các phân phối xác suất cơ bản. Khó khăn thứ hai là yêu cầu về chi phí tính toán để xác định phân lớp tối ưu Bayes trong trường hợp tổng quát (tuyến tính với số các phân lớp ứng viên). Trong những tình huống xác định cụ thể, chí phí này có thểđược giảm xuống.