KNN là một phương pháp phân lớp đơn giản nhưng rất hiệu quả. Phương pháp phân lớp này thực hiện dựa vào khoảng cách của các pixel lân cận gần nhất. Phân lớp KNN bao gồm một tập dữ liệu huấn luyện đã được gán nhãn, tập dữ liệu này chứa toàn bộ dữ liệu trong n lớp. Khi phân lớp KNN cho dữ liệu kiểm tra x, công việc này được thực hiện bằng cách dò tìm các thành phần gần nhất trong k dữ liệu huấn luyện tới dữ liệu kiểm tra x, k là một số nguyên không chia hết cho n (mod (n,k)≠0). Khi đó x thuộc lớp k dữ liệu huấn luyện gần nhất
Ví dụ như trong hình 3.3 cho thấy có hai đặc trưng F1 và F2 trong không gian đặc trưng, có 3 lớp (n=3) tương ứng ba màu đỏ, xanh lá và màu đen. Với k = 7, dữ liệu kiểm tra x thuộc lớp màu đen. Bởi vì dữ liệu màu đen thì nhiều hơn các dữ liệu còn lại (màu Đen = 4, Xanh lá = 1 và Đỏ = 2)
Khi tìm khoảng cách hầu hết đều tạo ra một không gian đặc trưng. Mà nó thuộc vector đặc trưng của của tập huấn luyện đã được lưu trước, các khoảng cách đo được có giá trị khác nhau cũng được chuẩn hóa. Tuy nhiên khoảng cách Euclidian dựa vào vector đặc trưng không chuẩn hóa sẽ thực hiện tốt hơn. Trường hợp chuẩn hóa cho bởi công thức
( )i i i v max v v = (3.2)
Với vi là vector chứa đặc trưng thứ i của tất cả các dữ liệu nằm trong khoảng [-1, 1], vector này chứa tất cả các đặc trưng có cùng giá trị trong một khoảng cách. Tuy nhiên khó có thể nhận biết được các giá trị này, khi đó ta có thể tăng số lớp lên, nhưng điều này sẽ làm tăng độ phức tạp cho công việc thiết kế. Phân lớp KNN đơn giản sẽ tối ưu chỉ khi có các tham số k = 1, đồng thời giá trị khoảng cách của phương pháp KNN sẽ tối ưu khi số đặc trưng là +1, điều này rất khó xảy ra. KNN không thống kê, tuy nhiên vẫn có thể cải tiến nếu như thành phần dữ liệu huấn luyện vô cùng lớn, nó sẽ hội tụ theo phân lớp Bayes và nó có thể được xem như thuật toán lazy (lazy algorithm), thuật toán không phải tính toán nhiều, và cũng không cần phải huấn luyện mà chỉ cần lưu lại dữ liệu huấn luyện để đo khoảng cách
Khi phân lớp các lớp giống nhau sử dụng phương pháp KNN dựa vào khoảng cách. Các đặc trưng phải được chia tỉ lệ chính xác, tất cả các đặc trưng sẽ có dãy giá trị giống nhau và các trọng số bằng nhau trong một khoảng cách tính toán. Tất cả các giá trị đặc trưng tiêu biểu được chia tỉ lệ chứa các giá trị lớn nhất và nhỏ nhất hay chứa các giá trị trung bình và độ lệch chuẩn, trong trường hợp tính toán các khoảng cách và xác định các pixel lân cận phải được chọn trong hệ met, đặc trưng một nhóm màu phải được chuẩn hoá khoảng cách trong không gian hình học, khoảng giữa các phân bố đặc trưng kết cấu ảnh được tính toán khoảng cách bằng thuật toán log-likelihood.
Để thu được các thông tin chính xác trên một ảnh, các mô tả về tập đặc trưng của kết cấu ảnh cũng được thực hiện bằng nhiều phương pháp, chúng được mô tả bằng 11 hàm kernel [3]
• Hai đặc trưng mô tả từ việc phân chia histogram TFN (Text Feature Number) của ảnh: MC (Mean Convergence), Var (code variance)
• Dựa vào ma trận Pd và khoảng cách d có các đặc trưng: mã hóa entropy, đồng nhất, FDM, SDM, FIDM, SIDM
• Dựa vào ba đặc trưng tổng hợp của ba vùng khác nhau từ ma trận CO ta tính ba đại lượng năng lượng SB1, SB2, SB3 của ma trận phân bố cho chúng
Như vậy dữ liệu cơ sở cho mỗi ảnh được mô tả bằng ma trận 11x 1 vector đặc trưng, các vector này có biên độ lớn nhỏ khác nhau nên ta phân chia tỉ lệ cho các thành phần đặc trưng cũng khác nhau, vì thế sau khi đưa các đặc trưng vào để kết hợp theo phương pháp SVM (Support Vector Machines) sẽ tạo ra vùng nhấp nhô không giống nhau