Đa số các hướng tiếp cận phát hiện vật thể, đặc biệt là xe một cách tự động hiệu quả nhất hiện nay thường dựa vào việc tìm ra mô hình hoặc bộ phân lớp hoặc một cơ sở dữ liệu đặc tả tốt nhất hình dáng một chiếc xe. Việc hệ thống có khả năng hoạt động tốt trong bất kỳ tình huống, điều kiện thu nhận ảnh nào trong bất kỳ tình huống nào với các tư thế quan sát xe khác nhau là cực kỳ khó khăn, mặc dù đối với con người, việc này là hoàn toàn đơn giản trong đa số các trường hợp thông thường.
Từ định nghĩa cụ thể cho từng kiểu hình dáng của một chiếc xe cho đến cách tiếp cận để phát hiện và nhận dạng được xuất phát từ nhiều đặc điểm, với các lý do sau đây [9, trang 13 15] [12, trang 410 411]:
Hình dáng xe: hình dáng xe hơi có thể nói là đa dạng cũng như phức tạp đối với người quan sát hoặc đối với thuật toán phát hiện và nhận dạng. Bên cạnh đó sự đa dạng về màu sắc cũng là một thách thức đối với quá trình thực hiện tác vụ phát hiện xe trong cảnh quang giao thông. Ngoài ra, xe còn có tính đa dạng về hình dáng bên ngoài. Các xe có chức năng khác nhau thì có hình dáng khác nhau. Ví dụ xe hơi cá nhân (4 hoặc 6 chỗ ngồi) có các đặc trưng về nắp capô trước và sau (có thể một số dòng xe không có capô sau), xe buýt thì có chiều cao đặc trưng và phía sau không có nắp capô cũng như là không có gờ nổi đặc trưng giống như ở xe hơi cá nhân.
Trong một số trường hợp đặc biệt xe được thêm các chi tiết màu sơn, biển quảng cáo gắn thêm trên xe, các xe bị biến đổi về mặt hình thức dẫn đến sự biến dạng hoặc che lấp các đặc điểm đặc trưng của xe đều là những khó khăn trong quá trình xử lý phát hiện.
Tư thế xe và góc độ quan sát: hệ thống có thể phát hiện ra đối tượng xe trong cảnh quang giao thông hay không, còn phụ thuộc vào góc độ quan sát và vị trí đặt camera quan sát xe đó. Xe được nhìn chính diện từ phía trước hoặc phía sau là các vị trí chứa nhiều thông tin đặc trưng về xe nhất, từ đó camera gắn với máy tính mới thu thập nhiều thông tin đặc trưng nhất về xe và được xem là ảnh chuẩn khi huấn luyện để tạo lập cơ sở dữ liệu hoặc để áp dụng cho tác vụ phát hiện sau này.
Các đặc điểm đặc trưng của xe hầu hết nằm ở phía trước – sau và bên hông của chiếc xe, nơi mà các kính chắn gió, cửa sổ hông, đèn chiếu trước – sau đều có mối tương quan tỉ lệ về kích thước, vị trí tương đối của chúng với nhau.
Tuy nhiên, với tư thế quan sát xe nhìn nghiêng, nhìn từ trên xuống hoặc kết hợp của các tư thế kể trên vẫn chứa được một phần thông tin đặc trưng của đối tượng đủ để làm căn cứ cho quá trình phát hiện sau này.
Sự có mặt của đối tượng khác: các đối tượng xe cần quan sát khi xuất hiện trong ảnh có thể bị các vật thể khác che chắn một phần hoặc toàn phần, ví dụ như cây cối, các xe khác, con người,… làm thiếu thông tin đối tượng, kết quả phân tích, và kết quả phát hiện xe sẽ bị ảnh hưởng ít nhiều.
Điều kiện ghi nhận ảnh: sự xuất hiện của xe trong các điều kiện chiếu sáng khác nhau (bao gồm kiểu chiếu sáng, cường độ sáng và màu sắc của nguồn sáng) cũng như các đặc tính của hệ thống thu thập dữ liệu ảnh (camera, máy ảnh, hệ thống gương phản xạ, thấu kính, …) góp phần ảnh hưởng không nhỏ đến kết quả phát hiện xe của hệ thống.
Nền ảnh và điều kiện của môi trường ghi nhận ảnh: hai vấn đề này là đáng được qua tâm bởi sự ảnh hưởng của nó đến quá trình phát hiện là không nhỏ. Khi nền ảnh càng chứa nhiều thành phần (bao gồm nhiều chi tiết rối rắm, màu sắc, hình dáng phức tạp giống với đối tượng – nhưng không phải đối tượng - , …) hoặc môi trường không đồng nhất về ánh sáng (ngược sáng, ảnh bị bóng râm che một phần hoặc toàn phần lên đối tượng) hoặc sự biến đổi liên tục, xuất hiện rồi biến mất quá nhanh, nhanh hơn tốc độ ghi hình của camera, thì vấn đề phát hiện càng thêm khó khăn và phức tạp.
Những yếu tố nêu trên vẫn có giá trị với trường hợp “ảnh” thu được nhờ vào các phương phát phát hiện khác với hướng tiếp cận khác để thu được kết quả tin cậy. Khi đó, phụ thuộc và thuộc tính riêng của loại “nguồn sáng” này mà người ta sẽ sử dụng thêm các phương pháp xử lý mới.
Sự biến đổi – xuất hiện liên tục và quá nhanh – nhanh hơn tốc độ ghi hình của camera thì vấn đề phát hiện càng thêm khó khăn và phức tạp. Một số xe đột ngột xuất hiện trong khung ảnh cũng như biết mất khỏi tầm thị trường của camera là một trong những khó khăn khó có thể tránh khỏi trong quá trình thực thi hệ thống. Trong trường hợp này, yêu cầu các xe quan sát phải có thời gian xuất hiện trong tầm thị trường của camera ít nhất vài giây để camera có thể quan sát tốt và thực hiện tác vụ phát hiện và nhận dạng.