Dense local regression xem đặc trưng RoI 𝑘 𝑥 𝑘 chiều (ma trận thu được từ quá trình RoI Pooling hoặc RoIAlign) như 𝑘2 local feature (đặc trưng cục bộ) liền kề trong không gian. Mỗi đặc trưng cục bộ này được biểu diễn là 𝑝𝑖. Mỗi thông số ground-truth (𝑙𝑖, 𝑟𝑖, 𝑡𝑖, 𝑏𝑖) tương ứng với 𝑝𝑖 được tính như sau:
𝑙𝑖 =𝑥𝑖 − 𝑥𝑙 𝑤𝑃 , 𝑟𝑖 = 𝑥𝑟 − 𝑥𝑖 𝑤𝑃 , 𝑡𝑖 = 𝑦𝑖 − 𝑦𝑡 ℎ𝑃 , 𝑏𝑖 = 𝑦𝑏 − 𝑦𝑖 ℎ𝑃 − Trong đó:
o 𝑥𝑖, 𝑦𝑖: tọa độ vị trí của 𝑝𝑖.
o 𝑥𝑙, 𝑦𝑡: tọa độ góc trái trên của ground-truth box G.
o 𝑥𝑟, 𝑦𝑏: tọa độ góc phải dưới của ground-truth box G.
o 𝑤𝑃, ℎ𝑃: chiều rộng và chiều cao của proposal P.
Số lượng đặc trưng cục bộ của proposal P thuộc về ground-truth box G dựa vào phần giao nhau giữa proposal và ground-truth tương ứng của nó. Tuy nhiên, dù là trong trường hợp đa số các đặc trưng cục bộ của P thuộc về G thì vẫn sẽ tồn tại các đặc trưng không cần thiết (nền,…) khiến cho kết quả không chính xác. Để giải quyết vấn đề đó, D2Det dùng ma trận nhị phân 𝑚̂ (binary overlap prediction) để phân loại
41
mỗi đặc trưng cục bộ thuộc về ground-truth (có giá trị bằng 1) hay thuộc về nền (có giá trị bằng 0).
− Lưu ý:
o Ở đây ta xem như toàn bộ vùng bên trong G là đối tượng.
o 𝑚̂ = {𝑚̂𝑖 : 𝑖 ∈ [1, 𝑘2]}.
o 𝑚 = {𝑚𝑖 : 𝑖 ∈ [1, 𝑘2]}
Trong quá trình huấn luyện, 𝑚̂𝑖 được trùn qua hàm ch̉n hóa sigmoid (𝜎) để tính tốn binary cross-entropy loss với nhãn ground-truth 𝑚𝑖.
Trong quá trình tính toán, dense local regression dự đoán 5 giá trị (𝑙̂𝑖, 𝑡̂𝑖, 𝑟̂𝑖, 𝑏̂𝑖, 𝑚̂𝑖) tại mỗi đặc trưng cục bộ 𝑝𝑖 ∈ 𝑃.
Các thơng sớ của dense box tại các vị trí 𝜎(𝑚̂𝑖) > 0.5 được sử dụng để tính vị trí góc trái trên và góc phải dưới của predicted box. Cuối cùng, các predicted box được tính bởi nhiều đặc trưng cục bộ sẽ được tính trung bình để thu được một bounding box ći cùng (biểu diễn bằng vị trí góc trái trên và góc phải dưới).
2.10.3. Discriminative RoI pooling
Discriminative RoI pooling lấy cảm hứng từ Deformable RoI pooling [9] và cải thiện nó để dùng cho bài tốn phân lớp bằng 2 cách: