2.2. Phát hiện xe từhình ảnh viễn thám
2.2.2 Thuật toán phát hiện, phân loạivà đếmphương tiện
Như chúng tôi đã đề cập trong Phần1.4.1, việc phát hiện các phương tiện trong một hình ảnh được thực hiện bằng cách trích xuấtcác đối tượng tiền cảnh. Chia hình ảnh thành tiền cảnh và hậu cảnh được gọi là Phân đoạn hình
ảnh.Việc phân đoạn hình ảnh đạt được bằng cách sử dụng các thuộc tính chung của
các pixel. Trong cơng trình nghiên cứu này,thuộc tính cường độ của pixel được sử dụng trong việc phát triển các thuật toán phân đoạn ảnh.
Các thuật toán phân đoạn hình ảnh thường dựa trên một trong hai thuộc tính cơ bản củagiá trị cường độ: gián đoạn và tương tự. Trong tiêu chí đầu tiên, hình ảnh được phân vùng khi cóthay đổi đột ngột về cường độ của các pixel lân cận, chẳng hạn như các cạnh trong hình ảnh. Trong tiêu chí thứ hai,hình ảnh được phân vùng thành các vùng tương tự nhau theo một số điều kiện xác định trước [3]. Trong nàydự án chúng tơi đã sử dụng tiêu chí thứ hai, tức là sự tương đồng trong việc phát triển các thuật tốn Phân đoạn hình ảnh.
2.2.2.1 Kỹ thuật lập ngưỡng
Ngưỡng là một trong những phương pháp mạnh mẽ được sử dụng để phân đoạn hình ảnh. Nó hữu ích trongphân biệt tiền cảnh (đối tượng quan tâm) với hậu cảnh. Trong nhiều trường hợp, cường độ hình ảnh cónhiều mức độ xám khác nhau cho tiền cảnh và hậu cảnh [3]. Những hình ảnh như vậy thường cóbiểu đồ hai mơ thức như hình 2.9.
Các điểm ảnh có cường độ nhỏ hơn T (giá trị ngưỡng) thuộc về nền và các điểm ảnh cócường độ lớn hơn T thuộc đối tượng (hoặc ngược lại). Để trích xuất các đối tượng, hình ảnh cường độf (x, y) được chuyển đổi sang một hình ảnh nhị phân g(x, y) bằng cách sử dụng T. Đối với một pixel tại một điểm (x, y), nếu cường độ f (x, y)> T, sau đó nó được coi là một Pixel đối tượng khác Pixel nền. Hình ảnh
ngưỡng được xác định là (x, y) = 1 nếu f (x, y)> T, g (x, y) = 0 nếu f (x, y) <T.
Do đó, các pixel có nhãn 1 tương ứng với các đối tượng và các pixel có nhãn 0 tương ứng với nền.
2.2.2.2 Nhiều ngưỡng
Trường hợp lý tưởng là biểu đồ hình dạng hai phương thức, nhưng những biểu đồ như vậy thường khơng có sẵn trong thực tếcác ứng dụng. Nói chung, một hình ảnh cường độ phải được chia thành nhiều phạm vi phụ để thực hiệntạo ngưỡng, nhưng các phạm vi này thường chồng chéo nhau và điều này gây khó khăn cho việc lập ngưỡng.Trong dự án này, các hình ảnh được sử dụng để phát hiện phương tiện hiển thị một biểu đồ được thể hiện trong hình2.10. Từ hình này, chúng ta có thể thấy rằng hai đỉnh được xác định rõ ràng. Đỉnh bên trái(mặt tối) đại diện cho nền. Đỉnh ở bên phải (phía sáng) đại diện cho pixel củatiền cảnh (xe cộ). Lưu ý rằng biểu đồ thể hiện một vùng chồng chéo giữa nềnvà pixel nền trước. Sự chồng chéo này có nghĩa là một số đối tượng hoặc vùng nền nhưvạch kẻ làn đường có cường độ tương tự như vật thể phía trước (xe cộ). Do đó, chỉ để phát hiện các phương tiện,nhiều ngưỡng được sử dụng. Phần2.2.2.3 và2.2.2.4 mô tả các thủ tục được tuân theo để tính tốn các giá trị ngưỡng khác nhau và cách chúng được sử dụng để phát hiện các phương tiện.
Để đạt được mục tiêu phát hiện tất cả các phương tiện trên hình ảnh thử nghiệm, chúng tơi đã chiathuật tốn gồm hai phần:
Phát hiện các phương tiện sáng so với nền.
Phát hiện các phương tiện giao thông tối so với nền.
Hình2.11 đưa ra một ví dụ về phương tiện tối và sáng trong ảnh thử nghiệm. Trong những điều sau đây, cả hai phần đều được giải thích chi tiết.
Hình 2.11. Phương tiện sáng và tối
2.2.2.3 Phát hiện các phương tiện sáng
Hai phương pháp khác nhau được đề xuất để xác định các phương tiện sáng:
Nhiều ngưỡng
Phân cụm theo phương pháp Otsu
Phương pháp nhiều ngưỡng
Bằng cách phân tích một số hình ảnh mẫu trong cơ sở dữ liệu, chúng tơi có thể nói rằng các giá trị cường độcủa các phương tiện sáng lớn hơn cường độ của nền và đơi khi có một vùngnơi chúng chồng lên nhau. Do chồng chéo, một số đối tượng hoặc khu vực trên đường, chẳng hạn như điểm đánh dấu làn đườngvà dải phân cách trên đường có thể có giá trị cường độ tương tự như cường độ của một số phương tiện giao thông sáng. Cũng thế,mỗi phương tiện sáng có thể khơng có cùng dải cường độ do điều kiện khí quyển và màu sắccủa các phương tiện. Do đó, chỉ để xác định các phương tiện và tránh phát hiện các đối tượng không liên quan như làn đườngđánh dấu, ba ngưỡng khác nhau T1, T2, và T3 được sử dụng.
Tính tốn các giá trị ngưỡng
Trong MATLAB, một hình ảnh cường độ có thể được lưu trữ trong một ma trận hai chiều. Cho ma trận này là M1.Mỗi phần tử của ma trận M1 tương ứng với
cường độ của mỗi pixel của ảnh. Ma trận một cộtM2 được hình thành bằng cách sử dụng M1. Mỗi hàng của M2 chứa cường độ lớn nhất của hàng tương ứng làcường độ của M1. Chúng tôi biết rằng trong một hình ảnh cường độ cao, trên đường cao tốc, các phương tiện sáng cómức cường độ hơn bất kỳ đối tượng nào khác. Do đó, chúng tơi đang xem xét cường độ tối đa trong mỗi hàngcủa M2 để tính tốn ba
//M2 được tính bằng cách sử dụng M1 M2:
for mỗi hàng i trong M1
M2 [i] = Maximum_intensity [M1, i]
T1, T2 và T3 được tính bằng cách sử dụng M2
T1: T1 = Mean [M2] T2:T2 = Min [M2]
T3:T3 = Trung bình [T1, T2]
Các ngưỡng T1, T2 và T3 được sử dụng để chuyển đổi hình ảnh thử nghiệm thành ba hình ảnh nhị phân khác nhauImage1, Image2 và Image3. Đối với một pixel ở tọa độ (x, y), nếu cường độ I (x, y)> T, thì nó làđược coi là Pixel đối tượng (1)
khác Pixel nền (0). Hình ảnh nhị phân được định nghĩa là: Hình ảnh (x, y) = 1 nếu f (x, y)> T
= 0 nếu f (x, y) <T.
Hình2.2.4 cho thấy một đường cao tốc ở Oklahoma. Để phát hiện các phương tiện bằng cách sử dụngtrước tiên, người dùng chọn một khu vực quan tâm. Vùng quan tâm này có hình chữ nhật,được chọn bằng cách sử dụng chuột và chỉ nên chứa một chiều trên đường cao tốc. Nếu đường cao tốc đang nghiên cứukhơng nằm dọc hoặc ngang trên hình ảnh, người dùng nên xoay hình ảnh trước để dễ dànglựa chọn khu vực đang nghiên cứu. Ngoài ra, nếu khu vực đã chọn của đường cao tốc có chứa hai chiều, các yếu tốchẳng hạn như dải phân cách, biển báo, ...., sẽ ảnh hưởng đến kết quả của thuật tốn. Do đó để có được kết quả tốt hơn, khu vực đang nghiên cứu được chọn theo cách mà nó chỉ chứa đường cao tốc một chiều. Lựa chọnnên tránh các vai đường và đường dốc, các khu vực được nghiên cứu chỉ nên cóđường cao tốc với các phương tiện. Hình2.12 cho thấy một ví dụ về việc lựa chọn một khu vực đang nghiên cứu. Điều nàyvùng được đánh dấu trong Hình2.13 Đường một chiều được chọn có mười phương tiện (sáng) và khơng có xe xe cộ(tối).
Hình2.12. Đường cao tốc ở Oklahoma
Hình2.13. Một chiều được chọn
Bằng cách áp dụng thuật toán Nhiều ngưỡng trong trường hợp thử nghiệm. Hình2.14 cho thấy ba hình ảnh nhị phân Image1, Image2 và Image3thu được bằng cách sử dụng các ngưỡng này.
Hình2.14. Hình ảnh nhị phân thu được bằng cách sử dụng T1, T2 và T3
Giảm phát hiện các đối tượng không liên quan như vạch kẻ làn đường và dải phân cách đường
Từ ví dụ này (Hình2.14), chúng ta có thể thấy rằng mỗi ngưỡng phát hiện một số hoặc tất cả các phương tiện trongkhu vực đang được nghiên cứu, nhưng các điểm đánh dấu làn đường và dải phân cách đường được phát hiện bởi một số giá trị ngưỡng quá (do sự chồng chéo về cường độ của tiền cảnh và hậu cảnh). Để tránh
hoặc giảm phát hiện các đối tượng không liên quan như vạch kẻ làn đường và dải phân cách, các phép tốn logic được thực hiện giữa các hình ảnh nhị phân. Đối với trường hợp phát hiện xe sáng, kết quả tốt nhất là lấy các đối tượng chung từ các cặp ảnh nhị phân được tạo bởi các ngưỡng T1, T2 và T3. Điều nàycó nghĩa là, các đối
tượng chung từ các cặp: (Image1, Image2), (Image2, Image3) và (Image1, Image3) là Lấy. Chúng ta có thể quan sát từ Hình2.14 rằng Hình 1 chứa một số phương tiện, Hình 2 chứa tất cả các phương tiện và cả các vạch kẻ làn đường, dải phân cách, .... và Image3 chứa tất cả các phương tiện có mặt trong hình ảnh thử nghiệm. Để phát hiện tất cả các phương tiện sáng và để giảm việc phát hiện các đối tượng không liên quan, Phép tốn LOGICAL AND được thực hiện để trích xuất các đối tượng chung giữa các ảnh nhị phân. Bởi áp dụng phép toán AND trên ba tổ hợp ảnh nhị phân, ba ảnh nhị phân mới: New_Image1, New_Image2 và New_Image3, được hình thành như trong Hình2.15.
New_Image1 = bitwiseAND [Image1, Image2] New_Image2 = bitwiseAND [Image2, Image3] New_Image3 = bitwiseAND [Image1, Image3]
Hình2.15. Các đối tượng chung được lấy từ các cặp ảnh nhị phân
Phát hiện tất cả các phương tiện trên hình ảnh thử nghiệm
Các hình ảnh kết quả New_Image1, New_Image2 và New_Image3 thu được sauloại bỏ các đối tượng không liên quan sẽ chỉ chứa các phương tiện. Mỗi hình ảnh nhị phân này có thể chứa một số hoặc tất cả các phương tiện. Ba hình ảnh này được
thêm vào để có được một hình ảnh duy nhất với tất cả các phương tiện. Việc bổ sung hình ảnh đạt được bằng cách sử dụng thao tác LOGICAL OR.
Từ Hình2.15, chúng ta có thể thấy rằng New_Image1 chứa một số phương tiện, New_Image2cũng chứa một số phương tiện và New_Image3 chứa tất cả các phương tiện. Hình2.16 cho thấykết quả cuối cùng, nghĩa là, tất cả các phương tiện sáng được phát hiện bởi Thuật toán phát hiện phương tiện nhiều ngưỡng.
Final_Result = bitwiseOR (New_Image1, New_Image2, New_Image3)
Hình2.16. Các phương tiện sáng được phát hiện bằng kỹ thuật nhiều ngưỡng
Ngưỡng Otsu
Ngưỡng Otsu [14] sử dụng khả năng phân tách lớp và tối đa hóa phương sai giữa các lớp để tìmgiá trị ngưỡng tối ưu k *. Giá trị ngưỡng này được sử dụng để trích xuất các đối tượng từ nền của chúng.MATLAB tích hợp sẵn chức năng đánh giá ngưỡng Otsu k *. Áp dụng trực tiếp ngưỡng Otsuđối với hình ảnh thử nghiệm, sẽ phát hiện ra các phương tiện sáng sủa, nhưng cũng có một số vạch kẻ làn đường và dải phân cách đườngcó mặt trên các tuyến đường cao tốc. Để giảm bớt vấn đề về vạch kẻ làn đường và dải phân cách đường, một quy trình xử lý trướcbước được áp dụng đầu tiên. Bước tiền xử lý liên quan đến việc áp dụng hoạt động vùng lân cận trượt đểhình ảnh thử nghiệm. Hoạt động vùng lân cận trượt bao gồm việc gán cho từng pixel của hình ảnh thử nghiệm,cường độ tối đa của vùng lân cận của nó (đây là một vùng hình chữ nhật có 3 x 3 pixel, là trung tâmpixel cái đang được xử lý bởi hoạt động).
Toán tử Vùng lân cận Trượt:
f = inline ('max (x (:))');
slide_image = nlfilter (test_image, [3 3], f);
nlfilter (test_image, [3 3], f) áp dụng hàm 'f' cho mỗi khối trượt 3 x 3 của ảnh
thử nghiệm.
Toán tửvùng lân cận trượt : Hàm vùng lân cận trượt là một hoạt động được
thực hiệnpixel tại một thời điểm, với giá trị của bất kỳ pixel nhất định nào trong hình ảnh đầu ra được xác định bởi ứng dụngcủa một hàm đối với các giá trị của vùng lân cận pixel đầu vào tương ứng. Vùng lân cận của pixel là một số tập hợp
pixel, được xác định bởi vị trí của chúng so với pixel đó, được gọi là pixel trung tâm. Cácvùng lân cận là một khối hình chữ nhật và khi người dùng di chuyển từ phần tử này sang phần tử tiếp theo trong ma trận hình ảnh,khối lân cận trượt theo cùng một hướng [2].
Hình2.17. Phát hiện các phương tiện sáng bằng Ngưỡng Otsu
Bằng cách áp dụng hoạt động vùng lân cận trượt này cho các hình ảnh thử nghiệm, các pixel sángtương ứng với các đối tượng lớn, chẳng hạn như xe cộ, trở nên sáng hơn, nhưng các pixel sáng tương ứng vớicác đối tượng không liên quan như vạch kẻ làn đường vẫn sáng như nhau. Bước tiền xử lý này sẽ giúplàm nổi bật các phương tiện và làm mờ một số đối tượng không liên quan như vạch kẻ làn đường. Sau khi áp dụngtrượt hoạt động lân cận, Ngưỡng Otsu được tính tốn và một hình ảnh nhị phân được tạo. Hình2.17 hiển thị hình ảnh thử nghiệm, hình ảnh kết quả sau khi áp dụng hoạt động vùng lân cận trượt vàhình ảnh nhị phân được tạo sau khi tính tốn Ngưỡng Otsu. Lưu ý rằng Ngưỡng Otsu phát hiện tất cả các phương tiện sáng.
2.2.2.4 Phát hiện xe tối
Để phát hiện các phương tiện giao thông tối, Ngưỡng Otsu được sử dụng. Trước khi áp dụng OtsuThreshold, phép toán vùng lân cận trượt được áp dụng cho hình ảnh thử nghiệm. Khi chúng tơi muốn phát hiện bóng tốixe cộ, mỗi pixel được chỉ định với cường độ tối thiểu của pixel lân cận trong một hình chữ
nhậtvùng lân cận của ma trận 3 x 3. Do đó, các phương tiện tối trở nên tối hơn khi so sánh với lý lịch. Sau khi áp dụng hoạt động vùng lân cận trượt, Ngưỡng Otsu được sử dụng để chuyển đổi thử nghiệm ảnh thành ảnh nhị phân.
Hình2.18. Các phương tiện tối được phát hiện bằng Ngưỡng Otsu
Tiếp tục với ví dụ của Hình2.12, Hình2.18 cho thấy a) hình ảnh thử nghiệm, b)hình ảnh thu được sau khi áp dụng phép toán vùng lân cận trượt và c) hình ảnh nhị phân thu được saubằng cách sử dụng Ngưỡng Otsu. Lưu ý rằng hình ảnh nhị phân hiển thị tất cả các phương tiện tối dưới dạng các mảng đen. Đế hiển thị các xe tối dưới dạng các mảng trắng, phần bổ sung của hình ảnh nhị phân được thực hiện. Hình2.19cho thấy phần bổ sung của hình ảnh nhị phân.
Hình2.19. Âm bản của hình2.18 c)
Xem xét kỹ hình ảnh thử nghiệm ban đầu (Hình2.12), chúng ta có thể nhận thấy rằng hình ảnh khơng chứa xe tối. Các mảng trắng trong hình ảnh nhị phân trên (Hình2.19)đại diện cho bóng của các phương tiện trong hình ảnh thử nghiệm. Để tránh coi bóng xe là tốixe cộ, kết quả của thuật tốn Phát hiện xe sáng và phát hiện xe tối được thêm vào.Điều này được thực hiện bằng cách thực hiện phép toán LOGICAL HOẶC trên hai hình ảnh nhị phân: hình ảnh đầu tiên thu được bằng
thuật toán phát hiện xe sáng (kỹ thuật Otsu hoặc Multiple Thresholds) vàthứ hai thu được bằng thuật toán phát hiện phương tiện tối (kỹ thuật Ngưỡng Otsu). Ngồi ra, bóng của các phương tiện sáng, rất gần với các phương tiện sáng, được kết hợp như phương tiện đơn lẻ. Quá trình này được trình bày trong Hình2.20, trong đó hình ảnh đầu tiên cho thấy hình ảnh nhị phânkết quả sau khi áp dụng thuật tốn phát hiện xe sáng (Ngưỡng Otsu); hình ảnh thứ hai cho thấyhình ảnh nhị phân thu được sau khi áp dụng thuật tốn phát hiện xe tối; và hình ảnh thứ ba cho thấycả hai hình ảnh kết hợp để đưa ra kết quả cuối cùng.
Hình2.20. Ứng dụng của thuật tốn phát hiện phương tiện vào ảnh thử nghiệm trong Hình2.18 Chú thích: a) Các phương tiện sáng được phát hiện bằng “Thuật toán phát hiện phương tiện sáng (Ngưỡng Otsu)”
b) Phương tiện tối được phát hiện bằng "Thuật toán phát hiện phương tiện tối"
c) Phương tiện sáng và tối
Trong Hình2.20 a), các xe màu đỏ có bóng, các xe có màu xanh lam trong Hình2.20 b). Trong Hình2.20 c), các mảng màu cam là các phương tiện được kết hợp với bóng của chúng. Nếuhình ảnh kiểm tra có xe tối và xe sáng, sau đó thêm hai ảnh nhị phân (ảnh xe sángvà phương tiện có xe tối), sẽ khơng ảnh hưởng đến phát hiện cuối cùng của phương tiện miễn làcác phương tiện được phát hiện trong
mỗi hình ảnh nhị phân không gần nhau lắm.Trong trường hợp đặt xe tối và sáng rất gần, có thể xe sángcó thể được kết hợp với một phương tiện tối và được tính là một phương tiện duy nhất, tạo ra lỗi trong kết quả. Điều nàycũng đúng khi hai hoặc nhiều xe sáng hoặc tối ở rất gần nhau, khi đó kết quả cuối cùngsẽ kết hợp nhóm phương tiện rất gần này thành một phương tiện duy nhất, gây ra lỗi trong lần đếm cuối cùng.
2.2.2.5 Phân loại Phương tiện là Ơ tơ và Xe tải
Để phân loại các phương tiện, là ô tô hay xe tải, ba thông số: chiều rộng, chiều cao và diện tích củacác phương tiện phát hiện được xem xét. Đầu tiên giá trị trung bình của mỗi tham số này được tính tốn. Đây làđược thực hiện bằng cách tính đến tất cả các phương tiện được phát hiện trên hình ảnh thử nghiệm. Sau đó, ba tham sốđối với mỗi phương tiện được phát hiện được so sánh với các giá trị trung bình. Bất kỳ phương tiện nào có chiều rộng, chiều cao và diện tích lớn hơn các giá trị trung bình được coi là một chiếc xe tải nếu khơng nó là một chiếc ơ tơ. Thuật tốn chophân loại như sau:
Mean_Area = Mean [Tất cả các khu vực xe cộ]
Mean_Width = Mean [Độ rộng của tất cả các phương tiện] Mean_Height = Mean [Chiều cao của tất cả các phương tiện] Số xe = 0;
Xe_tải = 0;
for i = 1 to no_of_vehicles
If (Xe [i].Area> Mean_Area)
If (Xe [i]. Chiều rộng> Trung bình_ Chiều rộng) If (Xe [i]. Chiều cao> Mean_Height)
Truck_Count = Truck_Count + 1; else
Car_Count = Car_Count + 1;
Trường hợp đặc biệt: Tại một thời điểm nhất định, có thể đường chỉ có ơ tơ
(khơng có xe tải). Trong trường hợp này,có khả năng một số ơ tơ có thể được phân loại là xe tải.