CHƯƠNG 2 : CƠ SỞ LÝ THUYẾT
2.2 PHƯƠNG PHÁP ĐƯỢC SỬ DỤNG TRONG LUẬN VĂN
2.2.3 Phép biến đổi khoảng cách ảnh màu
Phép biến đổi khoảng cách ( Distance Tranform) hay còn gọi là bản đồ khoảng
cách ảnh là một mô tả khác của ảnh số. Giá trị mỗi điểm ảnh trong hình sẽ được gán
bằng khoảng cách gần nhất từ điểm ảnh đó tới điểm ảnh đối tượng. Dạng phổ biến
nhất của điểm ảnh đối tượng chính là các điểm ảnh nằm trên đường biên trong ảnh
nhị phân.
Phép biến đổi khoảng cách ảnh (Distance transform) (nguồn: wikipedia.org)
Phép biến đổi khoảng cách ảnh cũng được phân thành nhiều loại tùy theo việc lựa
chọn cách phương pháp tính khoảng cách. Các phương pháp tính khoảng cách phổ
biến:
Phương pháp Euclide
Phương pháp Manhatan
Phương pháp bàn cờ vua
Việc so sánh dựa trên các hình ảnh có được qua phép biến đổi khoảng cách có
một số thuận lợi như: linh hoạt, ít ảnh hưởng bởi phép dịch chuyển, phép xoay với
góc xoay vừa phải, nhiễu, nhận dạng tốt với ảnh có độ phân giải thấp hơn.
Qua những ưu điểm của việc sử dụng phép biến đổi khoảng cách để so sánh ảnh,
luận văn này xin giới thiệu về Phép biến đổi khoảng cách ảnh màu.Đây là sự kết hợp
giữa việc lọc tách màu ảnh, chỉ giữ lại những màu quan tâm với phép biến đổi ảnh
trên những ảnh thu được sau quá trình lọc tách màu ảnh. Hình 2.7 là một ví dụ cơ bản
Tách màu
biến đổi CDT
Tách màu
biến đổi CDT
(a) (b) (c) (d)
Hình 2.7: Phép tách màu và biến đổi khoảng cách màu (CDT) tương ứng: (a) ảnh gốc ban đầu; ảnh được tách màu và biến đổi khoảng cách đối với: (b) màu đỏ (c) màu đen (d) màu trắng
Một vấn đề có thể gặp phải là khi tìm ảnh biến đổi khoảng cách màu quan tâm
nhưng màu này không có trong ảnh đầu vào thì trong phép tìm khoảng cách sẽ cho ra
giá trị dương vô cùng lớn (do điểm ảnh màu đối tượng không được xác định). Cụ thể trong đề tài luận văn thì tùy loại biển báo giao thông thì chỉ có thể chứa và không chứa một số màu nhất định (vd: biển báo cấm bao gồm màu đỏ, đen, trắng, xanh mà không bao gồm màu vàng; biển báo nguy hiểm bao gồm màu đỏ, vàng, đen mà không
chứa màu trắng). Và chính các giá trị vô cùng lớn này mà được sử dụng trực tiếp
trong phép so sánh ảnh có thể dẫn tới việc nhận dạng sai biển báo. Để tránh những tác động từ việc thiếu vắng một số màu ở mỗi biển báo nhất định thì các giá trị dương vô
cùng lớn này sẽ được loại bỏ nhằm tránh gây ra các vấn đề về số học mà thay vào đó,
cách khác ta sẽ chuẩn hóa ảnh sau phép biến đổi khoảng cách màu, trong đó mỗi điểm ảnh trong ảnh I sẽ có giá trị được định nghĩa như sau:
max max max ( , ) ( , ) ( , ) 1.0 ( , ) CDT CDT CDT CDT d I p if d I p d d d I p if d I p d (2.5)
2.2.4 Nhận dạng biển báo giao thông sử dụng phép biến đổi ảnh màu CDT
Các đối tượng khả nghi là biển báo giao thông được xác định trong quá trình tách màu, tìm đường biên và sử dụng các đặc điểm về hình dáng, kích thước để phát hiện
từ ảnh đầu vào như được trình bày trong phần trước. Các đối tượng này sẽ được
khoanh vùng bằng các hình chữ nhật để sau này quá trình nhận dạng biển báo giao
thông chỉ tập trung xử lý trên các vùng đã được xác định này. Điều này giúp giảm
khối lượng tính toán không cần thiết.
Các đối tượng biển báo giao thông khả nghi này sẽ có các kích thước trên ảnh
khác nhau và cũng sẽ khác kích thước của ảnh mẫu so sánh. Do đó điều trước tiên ta cần thực hiện là định dạng lại các vùng ảnh chứa đối tượng quan tâm về một kích thước chuẩn (60x60). Những điểm ảnh nằm ngoài khung đối tượng sẽ được lọc bỏ để
tránh gây nhiễu chocác đối tượng thực sự quan tâm như Hình 2.8.
Hình 2.8: Khung ảnh đối tượng trước và sau khi lọc bỏ các điểm ảnh nằm ngoài đường biên và định dạng lại theo kích thước chuẩn 60x60
Hình ảnh đối tượng thu được là hình vẫn giữ lại 5 màu cơ bản của biển báo giao thông ( đỏ, vàng, xanh, đen, trắng). Điều này là hết sức quan trọng vì sẽ được sử dụng để phân loại biển báo giao thông dựa trên hình dáng, màu sắc ký hiệu thể hiện trong
biển báo. Sau đó, các ảnh đối tượng sẽ được chuyển tới bộ rời rạc hóa từng màu quan tâm trực tuyến dựa trên giải thuật tách màu đã giới thiệu ở phần trước đây.
Phép định dạng lại kích thước ảnh (resize) được sử dụng xuyên suốt trong luận
văn này sử dụng giải thuật nội suy xấp xỉ giá trị điểm lân cận gần nhất (nearest-
neighbor interpolation). Phương pháp nội suy này được thực hiện bằng cách gán giá
trị các điểm ảnh chưa biết bằng giá trị của điểm lân cận gần nhất mà không cần quan
tâm đến các điểm lân cận còn lại. Giải thuật đơn giản nên rất dễ thực thi và phù hợp
với các ảnh màu 3 kênh HSV hay các ảnh nhị phân 1 kênh như trong luận văn này.
Hình 2.9 : Phép định dạng kích thước ảnh sử dụng giải thuật nội suy theo giá trị điểm lân cận gần nhất với không gian 1 chiều và 2 chiều (Nguồn:
wikipedia.org)
Như vậy, vấn đề chính đặt ra lúc này đó là thực hiện việc so sánh linh hoạt giữa
các ảnh thực tế thu được và tập ảnh mẫu đã được tách riêng từng màu như tương ứng
với mỗi màu như thế nào. Mục đích chính của phép biến đổi khoảng cách màu là xác
định độ khác biệt trên từng màu tương ứng giữa đối tượng khả nghi được xác định
gần giống biển báo giao thông từ ảnh đầu vào với các hình ảnh của biển báo mẫu. Chúng ta muốn khoảng cách ảnh này (như được trình bày ở 2.2.3) có thể mô tả được độ khác biệt giữa các ảnh biển báo giao thông với nhau. Độ khác biệt này có thể thường được xây dựng bằng phương pháp thống kê trên một tập lớn các hình ảnh
lượng lớn các hình ảnh biển báo giao thông phù hợp là rất khó vì có một số biển báo
giao thông ít xuất hiện trên đường. Và hơn nữa, chúng ta cũng không muốn tự giới
hạn khả năng nhận dạng trong một tập số lượng nhỏ các biển báo phổ biến mà mục đích của luận văn này là có thể nhận dạng được càng nhiều biển báo giao thông càng tốt.
Để cải tiến việc lựa chọn loại khoảng cách ảnh phù hợp, chúng ta sẽ xem xét
những nguyên nhân tạo ra sự khác biệt giữa các ký hiệu của cùng một loại biển báo
giao thông với nhau tuy rằng mọi người luôn nghĩ rằng nó giống nhau vì đã được quy định rõ ràng trong luật giao thông đường bộ.Đầu tiên là sự khác nhau giữa các khu
vực với những đội, cơ quan quản lý biển báo giao thông khác nhau thì các biển báo
giao thông cũng có sự khác biệt điển hình như là các biển báo giới hạn tốc độ với các
chữ số có font chữ và kích thước khác nhau, điều này có thể la do mong muốn cảnh
báo rõ hơn của nhà quản lý. Tiếp theo là sự khác biết đến từ sự sắp xếp vị trí các ký
hiệu trên biển báo giao thông cũng có sự khác nhau.
Ngoài ra còn có một tác động khác cũng làm ảnh nhận được từ camera khác nhau đó chính là ảnh hưởng từ khả năng chụp ảnh di chuyển của camera, độ phân giải, góc
lệch camera và đặc biệt là điều kiện ánh sáng môi trường thay đổi liên tục khác xa với ánh sáng môi trường đầy đủ khi được thử nghiệm.Nhưng nhờ vào việc phép biến đổi
khoảng cách ảnh màu được xây dựng dựa trên việc tính toán các khoảng cách ngắn nhất theo mọi phương trong không gian khảo sát (2 chiều) đến điểm được xem là đối tượng nên cũng đã giảm thiểu tác động từ việc sai lệch về hình dạng, vị trí, kích thước của các ký hiệu trong biển báo. Tuy nhiên, nhằm mong muốn cải thiện hơn nữa
kết quả từ phép tính độ khác biệt giữa các ảnh mà phép biến đổi khoảng cách ảnh
màu sẽ được kết hợp với giải thuật lựa chọn điểm đặc trưng hay nói cách khác mỗi điểm ảnh trong biển báo mẫu sẽ có một trọng số đánh giá khác nhau trong công thức tính độ khác biệt giữa các ảnh. Phương pháp lựa chọn điểm đặc trưng sẽ được trình
2.2.5 Lựa chọn đặc trưng
Khi khoảng cách ảnh dựa trên phép biến đổi khoảng cách ảnh màu CDT đã được
thiết lập, thì ảnh đã được tách riêng từng màu có thể được so sánh trực tiếp từng điểm ảnh với nhau mà không cần quan ngại việc các ký hiệu lệch nhau có thể ảnh hưởng đến kết quả nhận dạng. Tuy nhiên ý định của phương pháp này là tăng cường ảnh hưởng của các điểm đặc trưng, giúp giảm số lượng các điểm đặc trưng mà không làm
giảm đi các thông thể hiện của từng biển báo và giá trị thông tin từ màu sắc bằng cách
chỉ chọn những điểm đặc trưng nổi bật, khác biết với các biển báo khác của từng biển
báo giao thông.
2.2.5.1 Giá trị khác biệt của vùng ảnh cục bộ
Một vùng không gian đầy đủ chứa tất cả các vùng cục bộ có được bằng cách chia
nhỏ ảnh thành các vùng ảnh con đều nhau, là những lưới hình vuông không trùng lắp
với kích thước m x mpixel. Thông thường ta chọn m = 4, như vậy đối với ảnh có kích thước 60 x 60 pixel ta sẽ có được 255 vùng ảnh hình vuông nhỏ với kích thước 4 x 4
pixel. Giá trị khác biệt của từng vùng ảnh con rk giữa ảnh I và ảnh J có thể được tính
dựa trên việc sử dụng ảnh được tách màu I với ảnh đã được xử lý qua phép biến đổi
khoảng cách màu và chuẩn hóa J bằng cách tính trung bình khoảng cách của từng điểm ảnh giữa 2 hình với nhau :
2 2 1 1 ( , ) ( , , ) k m r CDT t t d I J I J p m (2.6)
trong đó ptlà điểm ảnh thứ t trong vùng ảnh con, khoảng cách CDT( , ,I J pt) được
tính bằng cách lựa chọn giá trị điểm ảnh pt của ảnh J tùy theo màu của điểm ảnh pt
trong ảnh J, cụ thể như sau : ( ) ( ) 0 ( , , ) 0 ( ) 0 t t CDT t J p if I p I J pt if I p (2.7)
Gọi d I Jˆ ( , )S và dˆS,W( , )I J là giá trị khác biệt bình thường và có trọng số Wk giữa 2 ảnh I và J được tính trên tất cả các vùng ảnh con rkS và được định nghĩa như sau :
1 1 ˆ ( , ) ( , ) k S S r k d I J d I J S (2.8) 1 , 1 ( , ) ˆ ( , ) k S k r k S W S k k w d I J d I J w (2.9)
Như vậy với tập các ảnh biển báo giao thông mẫu với ảnh ảnh con được tách
từng màu riêng rẽ và được tính toán trước giá trị của phép biến đổi khoảng cách ảnh
màu CDT, thì bất cứ việc so sánh on-line giữa các vùng ảnh con với nhau của ảnh
mẫu với ảnh quan sát đều có thể thực hiện dễ dàng và cho kết quả nhanh vì phép tính chỉ bao gồm các phép toán nhân, chia, cộng, trừ đơn giản, không phức tạp.
Thuật toán tăng tốc thích nghi được sử dụng làm phương pháp chính để phát hiện
và phát hiện đối tượng xe trong luận văn. Thuật toán tăng tốc là mô hình học máy hiệu
quả được sử dụng nhiều trong các đề tài về nhận dạng trước đây. Mô hình này chỉ sử
dụng các bộ phân loại yếu.
2.2.5.2 Giải thuật lựa chọn vùng ảnh con đặc trưng
Giả thiết rằng ta có một tập các loại ảnh biển báo giao thông C{ :Ti i1,..., }N
và ảnh đối tượng khả nghi xj, nhiệm vụ của bộ nhận dạng là phân loại biển báo giao
thông khả nghi xj thuộc loại nào dựa vào việc xác định giá trị cực đại của xác
suất xuất hiện sau : ( | , ) ( ) ( | , ) ( | , ) ( ) j i i i i j i j k k k p x T p T p T x p x T p T (2.10)
Chúng ta thấy rằng nếu chỉ sử dụng tập các đặc trưng đồng đều tức là mỗi đặc trưng đều có trọng số như nhau trong công thức tính độ khác biệt là không phù hợp.
Một vài biển báo giao thông được phân biệt rõ ràng mà chỉ cần một ít thông tin về
biển báo như biển báo cấm, biển báo nguy hiểm giao nhau với đường ưu tiên,...tron
khi các biển báo khác thì cần được phân tích chi tiết kỹ lưỡng để phân biệt với các
biển báo khác có một số đặc điểm tương tự. Mục đích của giải thuật là sử dụng không
gian chứa các vùng điểm ảnh đặc trưng đồng đều cho việc phân loại nhằm để tạo ra
một tập các tham số mô hình i ( ,I Wi i)cho mỗi ảnh mẫu biển báo giao thông Ti,
trong đó Ii là tập các chỉ số định vị trí của các vùng điểm ảnh đặc trưng trong tập
không gian Si chứa tất cả các vùng điểm ảnh con được sử dụng và Wi là vector chứa
các trong số liên quan từng ứng với từng vùng ảnh con đặc trưng rkSi được lựa
chọn bởi Ii. Để tìm ra tập tham số mô hình tốt nhất *
i
, ta cần tối đa hàm mục tiêu sau : ˆ ( ) ( , ) i i S j i i j O d T T (2.11)
Hay nói cách khác, các vùng điểm ảnh mô tả đặc trưng tốt nhất đối với một biển báo cho trước được xác định dựa trên việc cực đại tổng các giá trị khác biệt cục bộ
từng vùng điểm ảnh giữa biển báo giao thông mẫu đang xét với tất cả các biển báo
giao thông mẫu còn lại.
Xét trên một hình ảnh biển báo giao thông mẫu, mỗi giá trị khác biết trung bình giữa 2 ảnh ˆ ( , )
i S j i
d T T được tính bằng công thức phụ thuộc vào giá trị khác biệt giữa
chỉ một số vùng điểm ảnh con trong tập Si mà được sắp xếp theo thứ tự giảm dần về độ lớn của giá trị khác biệt các vùng điểm ảnh con. Việc chỉ lấy một số giá trị khác
biệt vùng điểm ảnh con lớn nhất vì các giá trị vùng điểm ảnh con còn lại khi thêm vào sẽ chỉ làm tăng số lượng vùng điểm ảnh con quan tâm mà lượng thông tin đóng góp là không đáng kể. Thông thường ta chỉ cần lấy một số vùng điểm ảnh có giá trị
khác biệt lớn nhất là đủ và đôi khi một vùng điểm ảnh với giá trị khác biệt lớn nhất
cũng thỏa điều kiện cực đại hàm mục tiêu trong công thức 2.16. Tuy nhiên trong thực
tế, với cách thức mô tả biển báo giao thông bởi chỉ một số ít vùng ảnh đặc trưng như
loại không tốt mặc dầu được hỗ trợ từ việc có các frame ảnh liên tiếp giúp cho việc
phân loại được ổn định hơn.Do đó để cân bằng giữa khả năng phân biệt ảnh và độ tin
cậy, hàm mục tiêu 2.16 sẽ được lược bỏ, rút gọn tới một ngưỡng phù hợp để tạo ra
tập vùng điểm ảnh mô tả vừa cô đọng hơn và sẽ hữu ích hơn trong hoàn cảnh dữ liệu ảnh đầu vào từ thực tế.
Trong giai đoạn huấn luyện mô hình, phương pháp sử dụng giải thuật tìm kiếm
theo trật tự, tức là các vùng điểm ảnh sau khi được tính toán giá trị khác biệt sẽ được
sắp xếp theo thứ tự giảm dần về giá trị độ khác biệt để từ đó lựa chọn ra số lượng vùng điểm ảnh phù hợp. Giải thuật lựa chọn vùng điểm ảnh đặc trưng có thể được
tóm tắt như trong Bảng 2.1 sau :
Giải thuật lựa chọn vùng ảnh đặc trưng Đầu vào :
Tập biển báo giao thông mẫu C Tj: j1,...,N, chỉ số ảnh mẫu đối
tượng i, tập vùng điểm ảnh R rk :k1,...,M, ngưỡng khác biệt tD