Hình 2.1 Phương pháp phâp loại k - nearest neighbor
Thấy rằng:
1 - Nearest neighbor: Kết quả là + (Query Point được xếp vào lớp dấu +)
2 - Nearest neighbors: không xác định lớp cho Query Point vì số láng giềng gần
nhất với nó là 2 trong đó 1 là lớp + và 1 là lớp - (không có lớp nào có số đối tượng nhiều han lớp kia)
5 - Nearest neighbors: Kết quả là - (Query Point được xếp vào lớp dấu - vì trong 5 láng giềng gần nhất với nó thì có 3 đối tượng thuộc lớp - nhiều hơn lớp + chỉ có 2 đối tượng).
2.4. Phân lớp K - Nearest Neighbor
Phân lớp K - Nearest Neighbor là kiểu mở rộng của phân lớp 1 - Nearst Neighbor dựa trên khoảng cách. Nó lưu trữ tất cả các mẫu đã huấn luyện trước.
Sau đó, nó xác định khoảng cách giữa mẫu cần kiểm tra với tất cả các mẫu đã được huấn luyện mà chọn ra K mẫu huấn luyện gần vói mẫu kiểm tra nhất, gọi là phân lớp K - Nearst Neighbor. Kết quả của việc phân loại là nhãn của mẫu huấn luyện cần xác định nhãn sẽ là nhãn của loại nào xuất hiện nhiều nhất trong K mẫu gần mẫu cần xác định nhãn.
Thuật toán phân lớp như sau: • Input: Mẩu X cần xác định nhãn. • Output: Nhãn của X.
1. Cho mẫu X cần phân lớp.
2. Gọi X1, X2, . . . xklà k mẫu từ trong kho mẫu huấn luyện gần X nhất.
3. Xác định nhãn /(x) của mẫu X từ nhãn /(xi), /(x2),..., /(xk).
Việc học trong thuật toán phân lớp k - NN chỉ đơn giản là lưu trữ dữ liệu huấn luyện. Khi cần phân loại đối tượng mới, một tập các đối tượng “gần giống” hay “tương tự” sẽ được chọn ra từ kho dữ liệu có sẵn và được sử dụng để phân loại đối tượng mới.
Để sử dụng thuật toán K - NN cho việc phân loại đối tượng mói, cần xác định các yếu tố sau: Dùng loại khoảng cách nào? Dùng thuộc tính nào có để có được kết quả tốt nhất, sử dụng hết tất cả các thuộc tính hay chỉ những thuộc tính chính.
Hình 2.2 Phương pháp phân loại
+ Dễ phân tích.
+ Thực hiện đơn giản,
+ Dễ thực hiện vói việc so sánh. + Hiệu quả khi tập huấn luyện lớn.