Giữa các lớp CL (Convolutional layer) sẽ là lớp Batch-Normalization và lớp RSP (Rank-based Stochastic Pooling) với bộ lọc kích thước 2x2, bước dịch 2 và không sử dụng zero-padding.
3.3. Mô hình dựa trên mạng nơ-ron đồ thị
3.3.1. Thuật toán SLIC
Thuật toán SLIC (Simple Linear Iterative Clustering) [1] được sử dụng để tìm ra các "superpixel" trên ảnh. Một superpixel có thể được định nghĩa là một pixel đại diện cho một nhóm các pixel có chung tính chất nào đó (ví dụ như giá trị màu). Các pixel thuộc về cùng một superpixel thường sẽ có sự giống nhau về cảm nhận thị giác.
Các superpixel cung cấp một cách biểu diễn thu gọn hơn cho các ảnh và được áp dụng cho rất nhiều các bài toán thị giác máy như phân loại ảnh, xác định đối tượng trong ảnh.
Thuật toán SLIC sẽ được thực hiện trên không gian màu CIELAB [9] . Trong không gian màu này các pixel sẽ được thể hiện dưới dạng ba giá trị:
L: biểu diễn độ sáng từ đen sang trắng theo giá trị tăng dần
a: biểu diễn màu sắc từ xanh lục sang đỏ theo giá trị tăng dần
b: biểu diễn màu sắc từ xanh lam sang vàng theo giá trị tăng dần.
Khoảng giá trị của các tham số L, a, b sẽ tùy vào phần mềm cài đặt. Ngoài ra, thuật toán SLIC cũng xét đến các tọa độ của pixel trên mặt ảnh trong quá trình tính toán. Một pixel trong thuật toán SLIC sẽ được biểu diễn bởi 5 giá trị: L, a, b, x, y. Trong đó L, a, b chính các giá trị màu trong không gian màu CIELAB và x, y lần lượt là tọa độ của pixel theo trục x và trục y.
Đầu vào của thuật toán SLIC là ảnh với các pixel được biểu diễn là các vec-tơ trong không gian 5 chiều cùng với giá trị K là số superpixel ta muốn tìm trên ảnh hay cũng chính là số nhóm pixel trên ảnh. Như vậy với một ảnh gồm N
pixel, mỗi nhóm sẽ bao gồm trung bình N / K pixel. Đầu ra của thuật toán sẽ là
K superpixel, mỗi superpixel được đại diện bởi một pixel trung tâm trong nhóm , -, với k = 1, 2, ...K.
Mỗi superpixel có thể coi như một cụm pixel trên ảnh. Theo thuật toán SLIC, ban đầu mỗi cụm sẽ được chọn một tâm là một pixel nào đó trên ảnh. Sau đó, thuật toán sẽ đi qua nhiều bước lặp, ở mỗi bước lặp, thuật toán sẽ liên tục cập nhật lại vị trí tâm các cụm cũng như các pixel thuộc về cụm.
Nếu coi cảnh có kích thước chiều dài bằng chiều rộng và bằng √ , ta có thể chia ảnh thành các ô có kích thước S × S với √ và coi mỗi ô là một superpixel, superpixel sẽ được đại diện là pixel ở tâm của ô đó. Người ta giả thiết rằng, mỗi pixel sẽ nằm trong một cụm (superpixel) nào đó nằm trong vùng có kích thước 2S × 2S quanh nó.
SLIC định nghĩa các công thức khoảng cách trên các miền khác nhau (miền giá trị màu Lab, miền không gian xy) và dựa trên các khoảng cách này để cập nhật tâm các cụm (superpixel):
√( ) ( ) ( ) (3.9)
√( ) ( ) (3.10)
(3.11)
Trong đó:
, , là giá trị màu của pixel i trên không gian màu CIELAB. : là khoảng cách trên miền giá trị màu giữa pixel i và k
: là khoảng cách trên miền không gian giữa pixel i và k
là giá trị khoảng cách kết hợp từ khoảng cách không gian và khoảng cách màu
√ có thể coi như là khoảng cách ban đầu giữa các cụm.
m là giá trị được chọn để cân đối trọng số các loại khoảng cách trong , m càng lớn thì khoảng cách không gian sẽ chiếm tỉ trọng cao trong và m thường được chọn trong khoảng từ 1 đến 20.
Ban đầu, thuật toán SLIC sẽ chọn các pixel cách đều nhau làm các superpixel (tâm cụm). Sau đó, các tâm cụm sẽ được thay đổi lại bằng cách tìm trong mỗi vùng 3x3 quanh tâm hiện tại một pixel có giá trị gradient thấp nhất. Công thức tính gradient của mỗi pixel được cho bởi:
( ) ( ) ( )
( ) ( ) (3.12)
Trong đó:
I(x, y) là giá trị màu Lab của pixel có tạo độ (x, y)
Việc chọn giá trị tâm theo cách này giúp tránh việc các tâm sẽ rơi vào các vùng cạnh hay các điểm nhiễu - những nơi có gradient cao.
Ở bước cuối cùng, sau khi chạy xong các vòng lặp, có thể sẽ xuất hiện các nhóm pixel thuộc về cùng một cụm nhưng lại không liên kết với nhau (ở xa nhau, bị tách bởi các cụm khác), thuật toán sẽ gộp các nhóm riêng lẻ này nào cụm lớn nhất ở gần nó.
Thuật toán SLIC được mô tả như sau: