nhận dạng biển báo giao thông hỗ trợ lái xe

LIỆT KÊ CÁC HÌNHHình 1.1 : Hệ thống nhận diện biển báo giao thông và xác định làn đường trong mẫu xe Opel/Insignia Hình 1.2 : Mô hình hệ thống nhận dạng biển báo giao thông đề nghị Hình

LUẬN VĂN THẠC SĨ KỸ THUẬT

NGƯỜI HƯỚNG DẪN KHOA HỌC:

TS NGUYỄN ĐỨC THÀNH

TP HCM 12- 2013

TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI THÀNH PHỐ HỒ CHÍ MINH

Cán bộ hướng dẫn khoa học : TS.Nguyễn Đức Thành

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:

Xác nhận của Chủ tịch Hội đồng đánh giá luận văn và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa

(ký tên)

PGS.TS Đồng Văn Hướng

(ký tên)

TS.Võ Công Phương

PHỤ LỤC : HỆ THỐNG BIỂN BÁO HIỆU GIAO THÔNG ĐƯỜNG BỘ VIỆT NAM

MỤC LỤC

LIỆT KÊ CÁC BẢNG 2

CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN 5

1.1 GIỚI THIỆU 5

1.2 MỤC ĐÍCH NGHIÊN CỨU 6

1.3 CÁC ĐỀ TÀI ĐÃ NGHIÊN CỨU, THÀNH TỰU ỨNG DỤNG VÀ HƯỚNG NGHIÊN CỨU ĐỀ NGHỊ 6

1.4 TỔNG QUAN VỀ GIẢI THUẬT PHÁT HIỆN VÀ PHÂN LOẠI BIỂN BÁO GIAO THÔNG 8

1.4.1 Phát hiện biển báo giao thông 8

1.4.2 Phân loại biển báo giao thông 9

1.5 LÝ DO THỰC HIỆN ĐỀ TÀI 10

1.6 MỤC TIÊU ĐỀ TÀI 11

1.7 NHIỆM VỤ LUẬN VĂN 11

1.7.1 Phạm vi thực hiện 11

1.7.2 Dự kiến các lĩnh vực ứng dụng của đề tài 11

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 12

2.1 CÁC PHƯƠNG PHÁP PHÁT HIỆN BIỂN BÁO GIAO THÔNG 12

2.1.1 Phát hiện, phân loại dựa trên ảnh 15

2.1.2 Phát hiện, phân loại dựa trên dạng hình học 16

2.2 PHƯƠNG PHÁP ĐƯỢC SỬ DỤNG TRONG LUẬN VĂN 17

2.2.1 Phát hiện biển báo giao thông 18

2.2.2 Biểu diễn ảnh 24

2.2.3 Phép biến đổi khoảng cách ảnh màu 27

2.2.4 Nhận dạng biển báo giao thông sử dụng phép biến đổi ảnh CDT 29

2.2.5 Lựa chọn đặc trưng 32

CHƯƠNG 3: XÂY DỰNG HỆ THỐNG 39

3.1 Ý TƯỞNG XÂY DỰNG VÀ HOẠT ĐỘNG CỦA HỆ THỐNG 39

3.2 HỆ THỐNG PHẦN CỨNG LIÊN QUAN 40

3.2.1 Webcam 40

3.3 HỆ THỐNG PHẦN MỀM LIÊN QUAN 41

3.3.1 Hệ điều hành Fedora 12 41

3.3.2 Thư viện mã nguồn mở về thị giác máy tính OpenCV 42

3.3.3 Thực thi chương trình và giải thuật 47

CHƯƠNG 4: KẾT QUẢ - NHẬN XÉT VÀ PHÂN TÍCH 56

4.1 KẾT QUẢ 56

4.2 NHẬN XÉT 72

4.2.1 Ưu điểm 72

4.2.2 Khuyết điểm 72

4.3 PHÂN TÍCH KẾT QUẢ ĐẠT ĐƯỢC 74

CHƯƠNG 5: KẾT LUẬN 76

5.1 KẾT QUẢ ĐẠT ĐƯỢC VÀ Ý NGHĨA 76

5.1.1 Kết quả đạt được 76

5.1.2 Ý nghĩa 77

5.2 HƯỚNG PHÁT TRIỂN 77

LIỆT KÊ CÁC HÌNH

Hình 1.1 : Hệ thống nhận diện biển báo giao thông và xác định làn đường trong mẫu

xe Opel/Insignia

Hình 1.2 : Mô hình hệ thống nhận dạng biển báo giao thông đề nghị

Hình 2.1 : Các không gian biểu diễn màu thông thường

Hình 2.2 : Hình ảnh thể hiện kết quả nhận dạng biển báo giao thông

Hình 2.3 : Phân chia các vùng màu HSV

Hình 2.4 : Kết quả phân tách các màu quan tâm (đỏ, xanh, vàng)

Hình 2.5 : Lược đồ cơ bản của AdaBoost

Hình 2.6 : Một số cặp hình biển báo có mô tả histogram gần giống nhau

Hình 2.7 : Phép tách màu và biến đổi khoảng cách màu (CDT) tương ứng

Hình 2.8 : Khung ảnh đối tượng trước và sau khi lọc bỏ các điểm ảnh nằm ngoài

đường biên và định dạng lại theo kích thước chuẩn 60x60

Hình 2.9 : Phép định dạng kích thước ảnh sử dụng giải thuật nội suy theo giá trị điểm

lân cận gần nhất với không gian 1 chiều và 2 chiều

Hình 2.10: Mô tả giải thuật lựa chọn vùng ảnh đặc trưng và trọng số tương ứng

Hình 2.11: Một số hình ảnh biển báo cấm cùng kết quả sau khi thực hiện giải thuật lựa

chọn vùng ảnh đặc trưng

Hình 3.1 : Mô hình nhận dạng biển báo giao thông

Hình 3.2 : Webcam Logitech C600

Hình 3.4 : Màn hình desktop của hệ điều hành Fedora 12

Hình 3.5 : Giới thiệu OpenCV

Hình 3.6 : Ví dụ về phép biến đổi khoang cách

Hình 3.7 : Ví dụ về hàm CvFindCotour

Hình 3.8 : Khái quát giải thuật huấn luyện tập ảnh mẫu để tìm vùng ảnh đặc trưng

cùng trọng số tương ứng cho từng ảnh mẫu

Hình 3.9 : Một số kết quả từ việc tìm kiếm vùng điểm ảnh đặc trưng cho từng biển

báo giao thông mẫu

Hình 3.10: Sơ đồ khối chức năng của chương trình chính

Hình 3.11: Khái quát giải thuật nhận dạng biển báo giao thông

Hình 4.1 : Tập ảnh mẫu biển báo giao thông sử dụng cho huấn luyện

Hình 4.2 : Một số kết quả nhận dạng biển báo từ tập ảnh biển báo giao thông mẫu Hình 4.3 : Một số kết quả nhận dạng biển báo từ hình chụp thực tế

Hình 4.4 : Một số kết quả nhận dạng trực tuyến biển báo giao thông

Hình 4.5 : Kết quả nhận dạng trực tuyến biển báo giao thông khi đưa ra xa hơn

Hình 4.6 : Kết quả nhận dạng trực tuyến biển báo giao thông trong điều kiện ánh sáng

khác nhau

LIỆT KÊ CÁC BẢNG

Bảng 2.1 : Giải thuật lựa chọn vùng điểm ảnh đặc trưng với trọng số tương ứng Bảng 3.1 : Một phần đoạn chương trình chính thực hiện việc tìm vùng ảnh đặc trưng

và tập trọng số tương ứng từ các ảnh biển báo giao thông mẫu

Bảng 3.2 : Cấu trúc file XML lưu giữ các ảnh được xử lý tìm kiếm đặc trưng

LỜI CAM ĐOAN

Tôi xin cam đoan rằng đây là công trình nghiên cứu của tôi và không sao chép các công trình nghiên cứu của người khác để làm sản phẩm của riêng mình

Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công

bố trong bất kỳ công trình nào khác

Trong luận văn có sử dụng một số tài liệu, giáo trình của các tác giả, cơ quan, tổ chức đã được thể hiện trong phần tài liệu tham khảo

Tôi hoàn toàn chịu trách nhiệm về tính xác thực và nguyên bản của luận văn này

TP Hồ Chí Minh, tháng 12, năm 2013

Tác giả luận văn

Phạm Nhựt Tùng

Cũng xin chân thành cảm ơn sự quan tâm hỗ trợ, tạo điều kiện và hết lòng động viên về tinh thần lẫn vật chất của các thành viên trong gia đình, người thân trong suốt thời gian qua

Sau cùng, học viên gởi lời chúc sức khỏe, hạnh phúc đến quý thầy cô, gia đình và bạn bè

TP Hồ Chí Minh, tháng 12, năm 2013

Học viên

Phạm Nhựt Tùng

Mặc dù hệ thống bản đồ số kết hợp định vị toàn cầu GPS có thể cập nhật các hình ảnh về các con đường nhưng lại không bao gồm thông tin về hệ thống biển báo giao thông Lý do chính là vì các hệ thống biển báo giao thông luôn được thay đổi thường xuyên để phù hợp với việc hướng dẫn giao thông ở từng thời điểm khác nhau của các nhà quản lý giao thông hoặc là các biển báo hiệu công trường thi công xuất hiện một cách đột xuất trên những đoạn đường mà người lái xe có thể chủ quan do vẫn thường

đi lại hàng ngày

Việc nhận biết các biển giao thông này là rất cần thiết cho người lái xe để tham gia giao thông an toàn đặc biệt là một số biển báo quan trọng Nó giúp cho người lái

xe có thể tránh được các tại nạn có thể xảy ra do sự bất cẩn của tài xế

Đề tài này nhắm mục đích phát triển một thiết bị hỗ trợ người lái xe trong việc tự động nhận dạng các biển báo giao thông và nhắc nhở tài xế để phòng tránh và lái xe

an toàn hơn

Ngoài ra đề tài này còn có thể được ứng dụng trong việc phát triển xe tự hành, trong lĩnh vực giao thông đường sắt

1.2 MỤC ĐÍCH NGHIÊN CỨU

Hai vấn đề chính cần giải quyết khi thực hiện đề tài này đó là làm sao phải phát hiện nhanh chóng sự xuất hiện của biển báo giao thông trong khung hình trước phương tiện giao thông đồng thời phải phân loại nhanh biển báo này trong số các biển báo được quy định trong giao thông dựa trên sự phát triển của lĩnh vực thị giác máy tính (computer vision) và hệ thống nhúng (embedded system)

Biển báo hiệu giao thông tuy đã được quy định cụ thể về màu sắc, hình dạng và kiểu dáng nhưng trên thực tế trên đường giao thông hiện nay thì vẫn có sự thay đổi, không đồng nhất về hình dạng, màu sắc, vị trí của hình biển báo của cùng một loại hình biển báo giống nhau Chính điều nay gây ra một sự khó khăn nhất định trong việc nhận dạng và phân loại biển báo giao thông

Đồng thời nhằm tăng tính ứng dụng thực tiễn của đề tài, học viên đã tìm hiểu, lựa chọn các giải pháp, thuật toán tìm kiếm, phân loại biển báo giao thông sao cho có khả năng nhận dạng, phân loại chính xác đồng thời nhiều loại biển báo giao thông khác nhau và thực thi được trên nền hệ thống nhúng sử dụng hệ điều hành Linux (hệ điều hành Linux được lựa chọn do sự hoạt động ổn định, gọn nhẹ phù hợp cho việc phát triển các ứng dụng nhúng trên nền thiết bị phần cứng cấu hình thấp, tiêu tốn năng lượng hoạt động thấp)

1.3 CÁC ĐỀ TÀI ĐÃ NGHIÊN CỨU, THÀNH TỰU ỨNG DỤNG VÀ HƯỚNG NGHIÊN CỨU ĐỀ NGHỊ

Hiện nay, theo tìm hiểu của học viên thì đã có hãng xe Opel (Đức) vừa giới thiệu ý tưởng mẫu xe Opel/Vauxhall Insignia sẽ đưa ra thị trường vào năm sau (2011) có khả năng nhận biết được các biển báo về giới hạn tốc độ và cảnh báo về làn đường ô tô đang di chuyển Hệ thống sử dụng một camera góc rộng có độ phân giải cao gắn phía trước xe sẽ thu thập ảnh tốc độ 30 hình/s Những hình này sau đó

sẽ được xử lý bằng 2 bộ xử lý với phần mềm từ hãng General Motor (Mỹ) Khi phát hiện một biển báo giới hạn tốc độ trên đường, xe sẽ hiển thị cảnh báo lên phía trước người lái xe hoặc cảnh báo bằng âm thanh Ngoài ra camera cũng xác định làn đường

mà xe đang di chuyển có đúng hay không

Hình 1.1 : Hệ thống nhận diện biển báo giao thông và xác định làn đường trong mẫu

xe Opel/Insignia

* Hướng nghiên cứu đề nghị

Trong luận văn này, học viên giải quyết các yêu cầu đặt ra về phát hiện và phân loại biển báo giao thông chính xác, nhanh chóng và thực thi được trên hệ thống nhúng bằng cách sử dụng giải thuật lựa chọn đặc trưng phân biệt của từng biển báo giao thông trong cả hai quá trình phát hiện và phân loại biển báo với sự hỗ trợ của thư viện xử lý ảnh OpenCV (thư viện mở) Ưu điểm của phương pháp này:

- tận dụng được các đặc trưng biết trước về biển báo giao thông như màu sắc, hình dạng, vị trí

- Không đòi hỏi tập huấn luyện biển báo giao thông mẫu nhiều Điều này giúp thuận tiện, giảm thời gian, công sức trong việc thu thập các mẫu biển báo để huấn luyện, xây dựng các tập ảnh mẫu

- Giải thuật đòi hỏi tốc độ xử lý, khối lượng tính toán thấp nhưng tỉ lệ phát hiện

và phân loại thành công biển báo giao thông cao phù hợp cho việc phát triển ứng dụng trên nền hệ thống nhúng

- Một bộ phát hiện sẽ tìm kiếm sự xuất hiện của biển báo giao thông trong khung hình dựa trên các đặc tính về màu sắc, hình dạng của biển báo giao thông thông qua việc lọc các màu quan tâm (đỏ, cam, xanh lam)

1.4 TỔNG QUAN VỀ GIẢI THUẬT PHÁT HIỆN VÀ PHÂN LOẠI BIỂN BÁO GIAO THÔNG

Bài toán phát hiện và phân loại biển báo giao thông cụ thể qua 2 bước sau

Hình 1.2 : Mô hình hệ thống nhận dạng biển báo giao thông đề nghị

1.4.1 Phát hiện biển báo giao thông

Phát hiện biển báo giao thông dựa trên thuật toán xây dựng tập các mẫu đối tượng bằng phương pháp lựa chọn đặc trưng nổi bật của từng đối tượng biển báo giao thông so với các đối tượng khác không phải là biển báo giao thông Các ảnh sau khi chụp từ camera (hoặc trích xuất từ một file video định dạng AVI) sẽ được chuyển tới

bộ tiền xử lý ảnh Tại đây ảnh được phân thành các ảnh con bằng cách chỉ giữ lại các điểm ảnh mà có màu quan tâm (đỏ, cam, xanh lam, đen, trắng) và thiết lập các vùng

LOA, ĐÈN BÁO

HỆ THỐNG NHÚNG

Camera Phát hiện biển

báo giao thông

Phân loại biển báo giao thông

Phát cảnh báo

ảnh quan tâm (ROI: regions of interest) cho từng đối tượng trong ảnh Các đối tượng trong ảnh sau xử lý này sẽ được lần lượt chuyển tới bộ phát hiện biển báo giao thông

để so sánh các đặc trưng của đối tượng với tập mẫu các đặc trưng hình dạng biển báo

đã được tạo lập trước đó để xác định xem đối tượng có phải là biển báo giao thông hay không ? là biển báo gì? (cấm, nguy hiểm, chỉ dẫn) Tập mẫu các đặc trưng hình dạng biển báo được xây dựng bằng cách đem so sánh từng biển báo trong tập các ảnh biển báo giao thông mẫu sau khi đã xử lý tách màu cần tìm với các biển báo giao thông còn lại để tìm ra những vùng (điểm) ảnh đặc trưng nhất trên từng biển báo với các biển báo giao thông khác Kết quả của quá trình trên ta sẽ thu được tập đối tượng khả nghi là biển báo giao thông cùng với kích thước và vị trí của chúng trong khung hình Tập đối tượng này sẽ được xử lý trong giai đoạn phân loại biển báo giao thông tiếp theo

1.4.2 Phân loại biển báo giao thông

Với kết quả thu được là tập đối tượng khả nghi từ giai đoạn phát hiện biển báo giao thông ở trên Các đối tượng này sẽ được xử lý qua một số phép biến đổi định dạng ảnh, tách màu, biến đổi khoảng cách,… để trích xuất ra nội dung hình dạng biển báo cần phân biệt Một lần nữa bằng cách sử dụng phép so sánh để tìm giá trị khác biệt của đối tượng khả nghi với tập ảnh mẫu về hình ảnh thể hiện nội dung biển báo ta sẽ phân biệt được đối tượng biển báo khả nghi là biển báo gì Qua đó, kết quả nhận dạng biển báo sẽ xuất ra thiết bị báo hiệu cảnh báo (âm thanh, hình ảnh) để trợ giúp người lái xe giúp điều khiển xe an toàn và thuận tiện hoặc cảnh báo nếu người lái xe điều khiển xe

đi ngược lại với nội dung biển báo giao thông trên đường

Cả 2 giai đoạn phát hiện và nhận dạng biển báo giao thông đều dựa trên cùng một giải thuật cơ bản đó là so sánh với tập mẫu các vùng ảnh đặc trưng Các đặc trưng nổi bật của từng biển báo giao thông mẫu sẽ được xác định dựa trên phương pháp Biến

đổi khoảng cách ảnh màu (Colour Distance Transform) mà cho phép thực hiện việc

so sánh từng lớp ảnh màu một cách linh hoạt So sánh với một số phương pháp được

sự dụng phổ biến như: phương pháp phân tính thành phần chính yếu (Principle

Component Analysis) hoặc phương pháp học tăng cường thích nghi (AdaBoost) thì phương pháp dựa trên các điểm ảnh đặc trưng nổi bật phù hợp hơn cho việc mô tả, nhận dạng biển báo giao thông nhờ vào đặc điểm được thể hiện và quy định rõ ràng của biển báo giao thông

Bài toán phát hiện và nhận dạng biển báo giao thông đã được nhiều nhóm các nhà khoa học, kỹ sư quan tâm và thực hiện với nhiều phương pháp được sử dụng khác nhau nhưng để đáp ứng được vấn đề xử lý trong thời gian thực và phát triển thực thi được trên nền hệ thống nhúng vẫn còn hạn chế do các yêu cầu về tốc độ và sự chính xác của việc nhận dạng Thực tế cho thấy, có một số phương pháp được nghiên cứu cho kết quả nhận dạng chính xác nhưng lại đòi hỏi khối lượng tính toán lớn, tốc độ phần cứng phải nhanh, không nhận dạng được nhiều biển báo giao thông hay ngược lại cũng có phương pháp cho kết quả xử lý nhanh thì lại thiếu chính xác, gặp trở ngại khi thực thi phần cứng Do đó, tìm kiếm một phương pháp để giải quyết bài toán và các yêu cầu đặt ra về độ chính xác, tốc độ xử lý, khả năng thực thi là mục đích của đề tài này

1.6 MỤC TIÊU ĐỀ TÀI

Nghiên cứu phương pháp, phát triển, thực thi giải thuật trên cơ sở thị giác máy tính kết hợp hệ thống nhúng nhằm phát hiện, nhận dạng biển báo giao thông đáp ứng trong thời gian thực là mục tiêu của đề tài luận văn này

1.7 NHIỆM VỤ LUẬN VĂN

 Tìm hiểu, phát triển giải thuật phát hiện và nhận dạng biển báo giao thông

 Xây dựng chương trình nhận dạng biển báo giao thông dựa trên công cụ Thị giác máy tính kết hợp hệ thống nhúng

 Đối tượng là các loại biển báo giao thông khác nhau Việc nhận dạng được thực hiện từ phía trước biển báo giao thông tương tự như gặp trên đường giao thông

1.7.2 Dự kiến các lĩnh vực ứng dụng của đề tài

 Hệ thống hỗ trợ, cảnh báo người lái xe an toàn

 Hệ thống xe thông minh tự hành

CHƯƠNG 2

CƠ SỞ LÝ THUYẾT

2.1 CÁC PHƯƠNG PHÁP PHÁT HIỆN BIỂN BÁO GIAO THÔNG

Nhận dạng biển báo giao thông đã là một vấn đề thách thức trong nhiều năm qua

và là một nền tảng quan trọng cho sự phát triển của phương tiện giao thông thông minh Mặc dầu, các nghiên cứu ban đầu về vấn đề này đã được thực hiện từ cuối thập

kỷ 60 của thế kỷ trước nhưng những thành tựu đáng kể chỉ đạt được bắt đầu từ những năm 90 khi mà sự phát triển các phương tiện thiết bị hỗ trợ lái xe dựa trên thị giác máy tính (computer vision) thu hút được sự quan tâm rộng rãi và công nghệ xử lý ảnh đạt được những bước tiến vượt bậc Ngày nay, các nghiên cứu tập trung vào lĩnh vực nhận dạng biển báo giao thông không chỉ được thực hiện ở các viện nghiên cức mà còn ở các tập đoàn công nghiệp lớn trên thế giới, đặc biệt là các công ty sản xuất xe hơi Tuy đã có nhiều nghiên cứu được thực hiện về lĩnh vực này và đòi hỏi thực tiễn

về việc lái xe thuận tiện, an toàn luôn được đặt ra nhưng hiện vẫn có rất ít hệ thống nhận dạng biển báo giao thông được phát triển, ứng dụng thành những sản phẩm thực

tế Điều này thể hiện rằng việc lái xe an toàn trong tình hình giao thông hiện nay đang phụ thuộc rất lớn vào sự tập trung, kỹ năng vận hành của người lái xe mà ít được hỗ trợ bởi các phương tiện hiện đại

Biển báo giao thông có một số đặc điểm riêng biệt mà có thể dùng để phân biệt với nhiều đối tượng ngoài trời khác Những đặc điểm này được vận dụng tương đối phổ biến trong nhiều nghiên cứu về phát hiện và nhận dạng biển báo giao thông

Trong nhiều bài báo, công trình được công bố, một quá trình nhận dạng gồm 2 bước được sử dụng bao gồm: việc xác định vùng ảnh quan tâm để tìm kiếm đối tượng, sau

đó xác định một số đặc trưng hình học để từ đó xác định loại biển báo giao thông Để xác định các đối tượng khả nghi là biển báo giao thông, đầu tiên các đặc điểm về màu sắc sẽ được xử lý, tiếp theo sau là các phân tích đặc điểm hình học của đối tượng như

số cạnh, góc, kích thước, trọng tâm, moment,…Dựa trên những hình mẫu đặc trưng của biển báo giao thông (tròn, tam giác, hình vuông, lục giác,….) nhiều tác giả đã xây dựng mô hình nhận dạng bằng cách sử dụng 2 mạng neural thần kinh riêng biệt để phân tích các màu sắc và hình dạng hình học liên quan rồi từ đó kết hợp các kết quả thu được cũng bằng cách sử dụng mạng neural xác định xem đấy là loại biển báo gì Phương pháp này được đánh giá là cho kết quả tương đối chính xác nhưng khối lượng tính toán lớn và số lượng biển báo có thể nhận dạng được không nhiều

Một số nhà nghiên cứu sử dụng phương pháp mà không cần đến thông tin màu sắc hiện hữu của đối tượng vì họ nhận thấy rằng màu sắc trên hình ảnh thu được rất

dễ bị thay đổi do chịu sự ảnh hưởng lớn từ các tác động bên ngoài như: khoảng cách

từ thiết bị chụp ảnh cho đến đối tượng, chất lượng của ảnh thu được, điều kiện thời tiết, thời gian trong ngày hoặc độ phản chiếu của vật liệu làm biển báo giao thông Trong các báo cáo này, thông tin màu sắc của đối tượng không được xem xét mà thay vào đó các ảnh sẽ được biến đổi dùng wavelet và được phân loại bằng mạng neural thần kinh Việc không tận dụng thông tin màu sắc trong việc nhận dạng không làm giảm sự phân biệt giữa một số hình dạng biển báo nhất định Tuy nhiên, khi số lượng biển báo mẫu nhiều thì việc xuất hiện 2 biển báo có hình vẽ tương đối giống nhau là điều không trành khỏi, lúc này kết quả của phương pháp trên đã không còn chính xác

Vì vậy theo ý kiến học viên, thông tin về màu sắc của ảnh thu được cần được tận dụng, không nên bỏ qua để phát hiện, nhận dạng biển báo

Trong số những nghiên cứu sử dụng thông tin màu sắc để phát hiện biển báo giao thông thì có một số nghiên cứu sử dụng không gian màu RGB (Red-Green-Blue) để phân biệt Các ảnh được xử lý bằng cách tách các màu cơ bản đỏ (R), xanh lục (G), xanh lam (B), đen, cam từ ảnh gốc dựa trên việc tính tỉ lệ giữa màu mong muốn với

tổng giá trị các kênh màu RGB; sau đó quá trình xử lý ảnh để tìm kiếm biển báo giao thông được thực hiện trên lớp màu phù hợp như màu đỏ, cam, xanh lam dựa trên việc tập các đặc trưng thống kê được tách ra từ ảnh (tỉ lệ điểm màu quan tâm, moment, trọng tâm, histogram) và kết hợp với bộ nhận diện sử dụng mạng neural nhân tạo Tuy nhiên, phương pháp này chỉ đạt được một số kết quả nhất định vì bị giới hạn bởi

mộ số yếu tố: số lượng biển báo nhận dạng không cao, độ chính xác giảm rõ rệt khi

số lượng biển báo tăng lên, khối lượng tính toán lớn nên thời gian xử lý lâu, bị ảnh hưởng đáng kể bởi điều kiện ánh sáng môi trường do hạn chế từ không gian màu RGB

(a) Không gian màu RGB

(b) Không gian màu HSV

Hình 2.1 : Các không gian biểu diễn màu thường dùng

Qua tìm hiểu một số phương pháp khác, học viên thấy rằng đối với việc nhận dạng vật thể sử dụng thông tin về màu sắc thì không gian màu HSV (Hue – Saturation – Value) được sử dụng rộng rãi do các ưu điểm về đặc tính dễ trừu tượng bởi con người, tạo sự dễ dàng khi xử lý trích xuất các màu và khả năng ít bị ảnh hưởng, tác động khi điều kiện ánh sáng môi trường thay đổi cao Việc trích xuất màu được thực hiện dễ dàng dựa vào việc lựa chọn ngưỡng giá trị Hue tương ứng với màu cần tìm (Vd: màu đỏ có giá trị Hue từ 345-> 15 trên đĩa màu HSV) và kết hợp với giá trị Saturation, Value để phân biệt màu đen và trắng như được thể hiện ở hình trên Sau khi trích xuất ảnh đầu vào thành các kênh màu quan tâm khác nhau, thì chúng

ta sẽ tiến hành tìm kiếm các đối tượng khả nghi và nhận dạng chúng có phải là biển báo giao thông hay không, và là biển báo giao thông gì Tùy thuộc cách thức giải quyết bài toán đặt ra như trên mà các công trình nghiên cứu về lĩnh vực này có thể được phân loại thành 2 phương pháp như sau:

2.1.1 Phát hiện, phân loại dựa trên ảnh

Các phương pháp thuộc nhóm này dựa trên một tập hợp các hình mẫu của đối tượng và sử dụng cửa sổ trượt để phát hiện đối tượng biển báo giao thông khả nghi Cách làm này khác biệt so với các phương pháp dựa trên khuôn mẫu (cần thiết phải

có sẵn mô hình biển báo giao thông) Để trích đặc trưng từ các mẫu ví dụ, cần phải thực hiện việc cho học huấn luyện dưới dạng thống kê hoặc các thuật toán học máy (machine learning) với các mẫu ảnh có chứa đối tượng biển báo giao thông và không chứa đối tượng biển báo giao thông

Do sự xuất hiện của biển báo giao thông trong khung ảnh là ngẫu nhiên với nhiều góc quan sát, vị trí khác nhau nên thường phải xấp xỉ chúng để tạo nên sự phân biệt của hai đối tượng Tùy theo cách tiếp cận xác xuất nào mà sẽ xuất hiện các phương pháp phát hiện tương ứng Liệt kê dưới đây là một số các phương pháp thuộc nhóm này:

 Phương pháp EigenObjects (PCA: Principle Component Analysis)

 Các phương pháp dựa trên Eigen-space

 Các phương pháp dựa trên đặc trưng Haar-like kết hợp thuật toán tăng tốc Adaboost

 Các phương pháp dựa trên mang nơ-ron nhân tạo

 Support Vector Machine – SVM

 Phương pháp Mô hình Markov ẩn (Hidden Markov Model – HMM)

Do nhóm phương pháp này dựa trên việc huấn luyện sao cho thu được mô hình đối tượng biển báo giao thông từ một tập dữ liệu tích cực (positive - ảnh có chứa hình đối tượng) và một tập dữ liệu không tích cực (negative - ảnh không chứa hình đối tượng) nên chúng có sự tương quan so sánh trực tiếp đến các đặc điểm hình học của một kiểu xe điển hình

Nhược điểm của phương pháp này đòi hòi phải luôn có sẵn cơ sở dữ liệu hình biển báo giao thông rất lớn Để có thể phát hiện và nhận dạng được biển báo giao thông, máy tính phải luôn dò trong cơ sở dữ liệu hình này rồi mới đưa ra kết quả nên khối lượng tính toán lớn và phải xây dựng một tập mẫu nhiều Nên thường các nghiên cứu sử dụng phương pháp này thường bị giới hạn bởi số lượng biển báo giao thông có khả năng nhận dạng được

2.1.2 Phát hiện, phân loại dựa trên dạng hình học

Khác với nhóm phương pháp vừa nêu ở trên, các phương pháp thuộc nhóm này quan tâm đến các đặc điểm cấu trúc hình học của biển báo giao thông Vì vậy chúng còn được gọi là nhóm tiếp cận dựa trên đặc trưng (feature - based) Phương pháp này dựa trên việc tính toán các thống kê hình học như: moment, khoảng cách, kích thước, histogram, tỉ lệ điểm ảnh cho từng màu, số cạnh, kích thước biên để tạo ra một tập các đặc trưng hình học

Sau đó, phương pháp sử dụng các thuật toán học (learning algorithm) để huấn luyện tạo các bộ phân lớp (cascade) bằng các tập đặc trưng được tìm từ các hình mẫu

ví dụ tích cực (có chứa hình ảnh đối tượng) và các hình mẫu không tích cực (không chứa hình ảnh đối tượng) được lựa chọn cẩn thận Các hình ảnh sau khi được chọn lọc cẩn thận sẽ được quyết định đặc trưng cho từng loại biển báo giao thông bởi thuật toán học (thường là phương pháp dùng mạng neural hoặc giải thuật học di truyền)

2.2 PHƯƠNG PHÁP ĐƯỢC SỬ DỤNG TRONG LUẬN VĂN

Trong luận văn này, học viên sẽ phát triển một hệ thống nhận dạng biển báo giao thông gồm 2 giai đoạn : phát hiện biển báo và phân loại biển báo Hình 2.2mô tả một kết quả hoạt động của hệ thống trong việc phát hiện và phân loại biển báo giao thông

từ một ảnh đầu vào

Hình 2.2: Hình ảnh thể hiện kết quả nhận dạng biển báo giao thông

Cụ thể, một bộ phát hiện biển báo giao thông sẽ tìm kiếm trong vùng ảnh vừa được xử lý tách màu quan tâm để phát hiện các đối tượng khả nghi là các biển báo giao thông có trong hình dựa trên một số tính chất hình học đặc trưng chung của các loại biển báo Tiếp theo, trong giai đoạn phân loại biển báo, học viên sử dụng giải thuật lựa chọn đặc trưng nổi bật để ứng với mỗi biển báo giao thông ta trích xuất được một số vùng điểm ảnh nổi bật nhất mà dùng để phân biệt đối với các ảnh khác Với những vùng điểm ảnh này, một phép so sánh ảnh linh hoạt dựa trên phép biến đổi khoảng cách cho ảnh màu (Colour Distance Transform) cho phép ta tính được độ khác biệt của đối tượng biển báo khả nghi với các từng ký hiệu giao thông mẫu để tìm ra biển bao giao thông tương đồng, giống với đối tượng khả nghi nhất

2.2.1 Phát hiện biển báo giao thông

Bộ phát hiện biển báo giao thông luôn được kích hoạt mỗi khi một ảnh được đưa vào xử lý Bộ phát hiện này sẽ tập trung xử lý dựa trên những thông tin đã biết trước

về màu sắc đặc trưng, hình dạng, ký hiệu quy định trên biển báo giao thông Với 2 đặc trưng đầu vừa nêu ta có thể phân loại biển báo giao thông đường bộ Việt Nam thành bốn loại sau: biển báo cấm ( hình tròn đỏ), biển báo nguy hiểm (hình tam giác đỏ), biển báo hiệu lệnh (hình tròn xanh lam) và biển báo chỉ dẫn (hình vuông xanh lam) Qua phân tích ta thấy rằng hình dạng và các đường biên phân biệt giữa vùng màu quan tâm với các vùng ảnh khác trong khung ảnh chính là những dấu hiệu ban đầu để phát hiện nhanh một đối tượng biển báo khả nghi Bộ phát hiện được đề nghị trong luận văn này sẽ hoạt động dựa trên đường biên gradient màu quan tâm

Đầu tiên, một ảnh thu được từ camera (hoặc từ ảnh mẫu) thường được thể hiện dưới không gian màu RGB, do đó để thuận tiện trong việc tách màu ta sẽ biến đổi ảnh trên sang biểu diễn bằng không gian màu HSV (Hue-Saturation-Value) theo phép toán chuyển đổi sau:

V max( , , )R G B

có khoảng giá trị như sau:

Ảnh 8 bit: V255 ,V S255 ,S HH/ 2 (để 0H255)

2.2.1.1 Phương pháp lượng tử hóa màu trên không gian HSV

Hình 2.3 : Phân chia các vùng màu HSV

Dựa trên kết quả đạt được của tác giả Zhang Lei và đồng nghiệp trong báo cáo “A CBIR method based on color-spatial feature”, các tác giả đã sử dụng phương pháp lượng tử hóa màu trên không gian HSV bằng cách phân chia đĩa màu thành 7 vùng tương ứng với các màu cơ bản (đỏ, cam, vàng, lục, lam, chàm, tím) cùng kết hợp với

các giá trị S, V để phân biệt thành 3 vùng : đen (vùng I), trắng xám (vùng II), màu (vùng III) như trên hình 2.3

Trên đĩa màu Hue trong không gian HSV, các màu đỏ, cam, vàng, lục, lam, chàm, tím phân bố chủ yếu và có các giá trị từ 00 đến 3600 Các màu này phân bố không đều phụ thuộc vào tầm giá trị Hue Ví dụ các màu cơ bản (đỏ, lục, lam) chiếm diện tích lớn hơn các vùng màu khác Đĩa màu này ta có thể chia nhỏ thành nhiều phần màu cơ bản hơn nhưng trong luận này do không đòi hỏi cao nên ta có thể chia đĩa màu này thành 7 phần cơ bản với tầm giá trị cơ bản như trên hình 2.3

Tiếp theo, ta thấy rằng độ phân biệt màu của điểm ảnh còn phụ thuộc vào 2 giá trị

S, V và học viên đề xuất phân chia mặt phẳng SV thành 3 vùng màu không đều nhau như hình 2.3 Chú ý rằng trong mỗi mặt phẳng SV thì khi giá trị V đủ nhỏ (V<=0.2) thì vùng I có thể được xem như là vùng màu đen bất chấp giá trị H và S Vì vậy mà khi lượng tử hóa sẽ được biểu diễn bởi một chỉ số Khi giá trị S đủ nhỏ (vd: S<=0.2), vùng II có thể xem như là các màu xám bất chấp giá trị H, do đó nó sẽ được biểu diễn thành 7 chỉ số khác nhau phụ thuộc mức độ xám Chỉ có vùng III ( S, V>=0.2) có thể được xem như là vùng có thể phân được màu sắc rõ ràng và tiếp tục được chia thành

4 vùng con phụ thuộc vào thuộc giá trị S, V tương ứng với mức độ phân biệt màu rõ ràng với các biên tương ứng với S = 0.65 và V = 0.7 như được thể hiện trên hình 2.3 Như vậy khi kết hợp với 7 vùng màu trên đĩa màu H ta có đượ 7x 4 = 28 chỉ số biểu diễn màu trong phép lượng tử hóa màu sắc

Quá trình lượng tử hóa màu sắc có thể khái quát như sau :

Với v[0, 0.2) thì đây là vùng màu đen :

0

l  Với s[0, 0.2) và v[0.2, 0.8), đây là vùng màu xám :

l[(v0.2) 10 ] 1x 

Với s[0 , 0.2] và v(0.8,1.0 ], đây là vùng màu trắng nên :

Với s(0.2 ,1.0) và v(0.2 ,1.0), đây là vùng phân biệt màu :

khi h khi h khi h

khi s

khi v V

(a) Ảnh gốc (b) Ảnh sau khi được lọc màu đỏ

(c) Ảnh sau khi được lọc màu xanh lam (d) Ảnh sau khi được lọc màu vàng Hình 2.4 : kết quả phân tách các màu quan tâm (đỏ, xanh, vàng)

Với phương pháp vừa trình bày trên ta đã có được một bộ lọc màu đơn giản mà cho kết quả tương đối chính xác và chấp nhận được Các ảnh thu được từ bộ lọc màu này sẽ được xử lý tiếp ở các bước tiếp theo của quá trình nhận dạng biển báo giao

thông

2.2.1.2 Tìm đường biên và xác định vùng ảnh chứa đối tượng khả nghi

Các ảnh nhị phân đen trắng (màu đen tương ứng với điểm ảnh có màu quan tâm)

có được từ quá trình xử lý trước sẽ được tìm kiếm các đường bao xung quanh đối

tượng dựa trên phép tính gradient của từng điểm ảnh Đường biên là đường phân biệt giữa vật thể và nền ảnh nên các điểm ảnh này sẽ có giá trị gradient lớn Vận dụng đặc điểm này mà ta sẽ tìm được các đường biên bao vật thể

Ảnh nhị phân ban đầu Ảnh được tách và thể hiện đường biên

Như vậy ta đã có được các đường bao quanh vật thể Từ các đường biên này kết hợp thêm các đặc điểm về hình học như tỉ lệ giữa chiều rộng và chiều cao, giữa vùng biên trong và biên ngoài, kích thước chiều rộng và cao để ta giới hạn bớt các đối tượng khả nghi là biển bao giao thông như hình sau:

Ảnh được xử lý để tìm đường biên Các đối tượng khả nghi là biển báo giao

thông được trích xuất

2.2.2 Biểu diễn ảnh

Việc lựa chọn tập các đặc trưng nổi bật tối ưu cho một số lượng lớn các hình ảnh biển báo giao thông là bài toán không dễ giải quyết Cách dễ nhất để thực hiện việc này có lẽ là trích xuất các vùng điểm ảnh đã được xác định trước mà chứa các đặc điểm nổi bật của từng hình biển báo Các vùng ảnh đặc trưng này thường được xác định trước bằng tay mà không quan tâm đến giá trị khác biệt về đặc trưng của vùng ảnh được chọn, vì vậy kết quả hoàn toàn phụ thuộc vào cách thức, kinh nghiệm chủ quan của người lựa chọn Một phương pháp khác cũng thường được sử dụng đó là đó

là biểu diễn mỗi biển báo giao thông dưới dạng tập các thống kê hình học tổng quát như moment, histogram, tỉ lệ các màu,….Tuy nhiên, các kỹ thuật này chỉ chứng minh hữu dụng khi mà số lượng biển báo giao thông cần phân loại không nhiều và những biển báo này cũng cần khác biệt tương đối với nhau Khi mà số lượng biển báo hay

sự tương đồng giữa các biển báo tăng lên thì các giá trị moment, tỉ lệ các màu, histogram hay các mô tả hình học khái quát sẽ có giá trị gần giống nhau và ít khác biệt để phân loại Điều này được chứng minh qua các kết quả đạt được từ các báo cáo

sử dụng phương pháp này

Qua tìm hiểu các phương pháp đã được sử dụng để giải quyết vấn đề kỹ thuật lựa chọn tự động các vùng ảnh đặc trưng như phương pháp phân tích thành phần chính

yếu (Principal Component Analysis) kết hợp thuật toán học thích nghi tăng

cườngAdaBoost ( Adaptive Boost)

Tuy nhiên do tập trung vào việc tìm kiếm các khác biệt toàn cục trên tập bao gồm tất cả các đối tượng nên phương pháp PCA không có khả năng trích xuất các đặc trưng nổi bật cho từng lớp màu riêng rẽ của ảnh, mà đây là một đặc điểm cần được khai thác Hơn nữa, AdaBoost được biết đến như là một thuật toán học mạnh, giúp đẩy nhanh việc tạo ra một bộ phân loại mạnh (strong classifier) bằng cách chọn các đặc trưng tốt trong một họ các bộ phân loại yếu (weak classifier - bộ phân loại yếu)

và kết hợp chúng lại tuyến tính bằng cách sử dụng các trọng số (Hình 2.5)

Hình 2.5: Lược đồ cơ bản của AdaBoost

Nhưng giải thuật AdaBoost ban đầu được phát triển nhằm giải quyết vấn đề phân loại nhị phân (có/không) và sau đó được sử dụng để phân biệt đối tượng bằng cách kết nối liên tiếp nhiều lớp phân loại nhị phân khác nhau Bên cạnh đó, việc huấn luyện AdaBoost cần sử dụng một tập lớn dữ liệu mẫu Việc thu thập hình ảnh và tiến hành tiền xử lý để tạo ra các tập mẫu này là một công việc đòi hỏi nhiều thời gian và công sức, điều này lại càng khó khăn hơn khi một số biển báo giao thông rất ít gặp ngoài thực tế Hơn nữa, biển báo giao thông là một đối tượng được xây dựng dựa trên những quy định rõ ràng về hình dáng, màu sắc khung và kèm theo một ít khác biệt về nội dung

Một vấn đề khác nữa chính là việc lựa chọn biểu diễn hình ảnh sao cho các đặc trưng nổi bật được thể hiện rõ nét Qua tìm hiểu, học viên nhận thấy rằng hầu hết mô

tả hình dáng ở mức độ cao hơn thông quá các giá trị moment với các bậc khác nhau không phù hợp để thể hiện các đối tượng khả nghi là hình ảnh biển báo giao thông đường bộ Hay nói cách khác, các phương pháp dựa trên từng điểm ảnh cụ thể thường

có khuynh hướng rất dễ bị tác động bởi nhiễu hình học như các thay đổi nhỏ về vị trí

do sự lệch, xoay, nghiêng, ngã hay không đồng nhất của đối tượng Phương pháp dựa trên việc tính toán các giá trị histogram có thể khắc phục được hạn chế này nhưng đổi lại nó không thể hiện được sự sắp xếp, thứ tự, mối tương quan giữa các điểm ảnh với nhau mà chỉ mô tả dựa trên những thống kê chung về ảnh Một số kết quả thực nghiệm qua các báo cáo đã chứng minh rằng dùng phương pháp dựa trên histogram

có thể cho kết quả khả quan trong việc phát hiện biển báo giao thông dựa trên hình dạng Tuy nhiên việc so sánh sẽ gặp khó khăn và cho kết quả kém chính xác do nhiễu

từ môi trường, độ phân giải, kích thước đối tượng

Hình 2.6: Một số cặp hình biển báo có mô tả histogram gần giống nhau

Từ các kết quả tìm hiểu được, trong luận văn này học viên lựa chọn giải thuật trích xuất từng ảnh mẫu biển báo giao thông một số lượng giới hạn nhất định các vùng ảnh cụ bộ được cho là khác biệt nhất với các ảnh mẫu biển báo giao thông khác Các vùng đặc trưng được trích xuất này sau đó sẽ được đem ra so sánh giữa ảnh quan sát thu được từ camera với ảnh mẫu biển báo giao thông lý tưởng để tìm mức độ khác biệt nhằm thực hiện việc phân loại biển báo giao thông một cách ổn định và trực tuyến Nhưng trước khi giới thiệu giải thuật lựa chọn vùng ảnh đặc trưng, ta cần tìm hiểu về phép biến đổi khoảng cách ảnh màu ( Colour Distance Transform), một phép biến đổi ảnh gốc ban đầu thành ảnh mô tả riêng rẽ từng màu phù hợp hơn cho việc xử

lý, so sánh ảnh một cách linh hoạt dựa trên khoảng cách không gian

2.2.3 Phép biến đổi khoảng cách ảnh màu

Phép biến đổi khoảng cách ( Distance Tranform) hay còn gọi là bản đồ khoảng cách ảnh là một mô tả khác của ảnh số Giá trị mỗi điểm ảnh trong hình sẽ được gán bằng khoảng cách gần nhất từ điểm ảnh đó tới điểm ảnh đối tượng Dạng phổ biến nhất của điểm ảnh đối tượng chính là các điểm ảnh nằm trên đường biên trong ảnh nhị phân

Phép biến đổi khoảng cách ảnh (Distance transform) (nguồn: wikipedia.org)

Phép biến đổi khoảng cách ảnh cũng được phân thành nhiều loại tùy theo việc lựa chọn cách phương pháp tính khoảng cách Các phương pháp tính khoảng cách phổ biến:

 Phương pháp Euclide

 Phương pháp Manhatan

 Phương pháp bàn cờ vua Việc so sánh dựa trên các hình ảnh có được qua phép biến đổi khoảng cách có một số thuận lợi như: linh hoạt, ít ảnh hưởng bởi phép dịch chuyển, phép xoay với góc xoay vừa phải, nhiễu, nhận dạng tốt với ảnh có độ phân giải thấp hơn

Qua những ưu điểm của việc sử dụng phép biến đổi khoảng cách để so sánh ảnh,

luận văn này xin giới thiệu về Phép biến đổi khoảng cách ảnh màu Đây là sự kết hợp

giữa việc lọc tách màu ảnh, chỉ giữ lại những màu quan tâm với phép biến đổi ảnh trên những ảnh thu được sau quá trình lọc tách màu ảnh Hình 2.7 là một ví dụ cơ bản

về xử lý tách màu và biến đổi khoảng cách màu quan tâm

Hình 2.7 : Phép tách màu và biến đổi khoảng cách màu (CDT) tương ứng: (a) ảnh

gốc ban đầu; ảnh được tách màu và biến đổi khoảng cách đối với: (b) màu đỏ (c) màu đen (d) màu trắng

Một vấn đề có thể gặp phải là khi tìm ảnh biến đổi khoảng cách màu quan tâm nhưng màu này không có trong ảnh đầu vào thì trong phép tìm khoảng cách sẽ cho ra giá trị dương vô cùng lớn (do điểm ảnh màu đối tượng không được xác định) Cụ thể trong đề tài luận văn thì tùy loại biển báo giao thông thì chỉ có thể chứa và không chứa một số màu nhất định (vd: biển báo cấm bao gồm màu đỏ, đen, trắng, xanh mà không bao gồm màu vàng; biển báo nguy hiểm bao gồm màu đỏ, vàng, đen mà không chứa màu trắng) Và chính các giá trị vô cùng lớn này mà được sử dụng trực tiếp trong phép so sánh ảnh có thể dẫn tới việc nhận dạng sai biển báo Để tránh những tác động từ việc thiếu vắng một số màu ở mỗi biển báo nhất định thì các giá trị dương vô cùng lớn này sẽ được loại bỏ nhằm tránh gây ra các vấn đề về số học mà thay vào đó,

ta sử dụng một giới hạn giá trị màu cực đại (vd: dmax = 10) cho mỗi pixel Hay nói

cách khác ta sẽ chuẩn hóa ảnh sau phép biến đổi khoảng cách màu, trong đó mỗi điểm ảnh trong ảnh I sẽ có giá trị được định nghĩa như sau:

max max

max

( , )

( , )( , )

CDT

CDT CDT

CDT

if d I p d d

2.2.4 Nhận dạng biển báo giao thông sử dụng phép biến đổi ảnh màu CDT

Các đối tượng khả nghi là biển báo giao thông được xác định trong quá trình tách màu, tìm đường biên và sử dụng các đặc điểm về hình dáng, kích thước để phát hiện

từ ảnh đầu vào như được trình bày trong phần trước Các đối tượng này sẽ được khoanh vùng bằng các hình chữ nhật để sau này quá trình nhận dạng biển báo giao thông chỉ tập trung xử lý trên các vùng đã được xác định này Điều này giúp giảm khối lượng tính toán không cần thiết

Các đối tượng biển báo giao thông khả nghi này sẽ có các kích thước trên ảnh khác nhau và cũng sẽ khác kích thước của ảnh mẫu so sánh Do đó điều trước tiên ta cần thực hiện là định dạng lại các vùng ảnh chứa đối tượng quan tâm về một kích thước chuẩn (60x60) Những điểm ảnh nằm ngoài khung đối tượng sẽ được lọc bỏ để tránh gây nhiễu cho các đối tượng thực sự quan tâm như Hình 2.8

Hình 2.8: Khung ảnh đối tượng trước và sau khi lọc bỏ các điểm ảnh nằm ngoài

đường biên và định dạng lại theo kích thước chuẩn 60x60

Hình ảnh đối tượng thu được là hình vẫn giữ lại 5 màu cơ bản của biển báo giao thông ( đỏ, vàng, xanh, đen, trắng) Điều này là hết sức quan trọng vì sẽ được sử dụng

để phân loại biển báo giao thông dựa trên hình dáng, màu sắc ký hiệu thể hiện trong biển báo Sau đó, các ảnh đối tượng sẽ được chuyển tới bộ rời rạc hóa từng màu quan

tâm trực tuyến dựa trên giải thuật tách màu đã giới thiệu ở phần trước đây

Phép định dạng lại kích thước ảnh (resize) được sử dụng xuyên suốt trong luận văn này sử dụng giải thuật nội suy xấp xỉ giá trị điểm lân cận gần nhất (nearest- neighbor interpolation) Phương pháp nội suy này được thực hiện bằng cách gán giá trị các điểm ảnh chưa biết bằng giá trị của điểm lân cận gần nhất mà không cần quan tâm đến các điểm lân cận còn lại Giải thuật đơn giản nên rất dễ thực thi và phù hợp với các ảnh màu 3 kênh HSV hay các ảnh nhị phân 1 kênh như trong luận văn này

Hình 2.9 : Phép định dạng kích thước ảnh sử dụng giải thuật nội suy theo giá trị

điểm lân cận gần nhất với không gian 1 chiều và 2 chiều (Nguồn:

wikipedia.org)

Như vậy, vấn đề chính đặt ra lúc này đó là thực hiện việc so sánh linh hoạt giữa các ảnh thực tế thu được và tập ảnh mẫu đã được tách riêng từng màu như tương ứng với mỗi màu như thế nào Mục đích chính của phép biến đổi khoảng cách màu là xác định độ khác biệt trên từng màu tương ứng giữa đối tượng khả nghi được xác định gần giống biển báo giao thông từ ảnh đầu vào với các hình ảnh của biển báo mẫu Chúng ta muốn khoảng cách ảnh này (như được trình bày ở 2.2.3) có thể mô tả được

độ khác biệt giữa các ảnh biển báo giao thông với nhau Độ khác biệt này có thể thường được xây dựng bằng phương pháp thống kê trên một tập lớn các hình ảnh huấn luyện mẫu Như đã trình bày trước đây, việc thu thập, tạo ra một tập với số

lượng lớn các hình ảnh biển báo giao thông phù hợp là rất khó vì có một số biển báo giao thông ít xuất hiện trên đường Và hơn nữa, chúng ta cũng không muốn tự giới hạn khả năng nhận dạng trong một tập số lượng nhỏ các biển báo phổ biến mà mục đích của luận văn này là có thể nhận dạng được càng nhiều biển báo giao thông càng tốt

Để cải tiến việc lựa chọn loại khoảng cách ảnh phù hợp, chúng ta sẽ xem xét những nguyên nhân tạo ra sự khác biệt giữa các ký hiệu của cùng một loại biển báo giao thông với nhau tuy rằng mọi người luôn nghĩ rằng nó giống nhau vì đã được quy định rõ ràng trong luật giao thông đường bộ Đầu tiên là sự khác nhau giữa các khu vực với những đội, cơ quan quản lý biển báo giao thông khác nhau thì các biển báo giao thông cũng có sự khác biệt điển hình như là các biển báo giới hạn tốc độ với các chữ số có font chữ và kích thước khác nhau, điều này có thể la do mong muốn cảnh báo rõ hơn của nhà quản lý Tiếp theo là sự khác biết đến từ sự sắp xếp vị trí các ký hiệu trên biển báo giao thông cũng có sự khác nhau

Ngoài ra còn có một tác động khác cũng làm ảnh nhận được từ camera khác nhau

đó chính là ảnh hưởng từ khả năng chụp ảnh di chuyển của camera, độ phân giải, góc lệch camera và đặc biệt là điều kiện ánh sáng môi trường thay đổi liên tục khác xa với ánh sáng môi trường đầy đủ khi được thử nghiệm Nhưng nhờ vào việc phép biến đổi khoảng cách ảnh màu được xây dựng dựa trên việc tính toán các khoảng cách ngắn nhất theo mọi phương trong không gian khảo sát (2 chiều) đến điểm được xem là đối tượng nên cũng đã giảm thiểu tác động từ việc sai lệch về hình dạng, vị trí, kích thước của các ký hiệu trong biển báo Tuy nhiên, nhằm mong muốn cải thiện hơn nữa kết quả từ phép tính độ khác biệt giữa các ảnh mà phép biến đổi khoảng cách ảnh màu sẽ được kết hợp với giải thuật lựa chọn điểm đặc trưng hay nói cách khác mỗi điểm ảnh trong biển báo mẫu sẽ có một trọng số đánh giá khác nhau trong công thức tính độ khác biệt giữa các ảnh Phương pháp lựa chọn điểm đặc trưng sẽ được trình bày ngay sau đây

2.2.5 Lựa chọn đặc trưng

Khi khoảng cách ảnh dựa trên phép biến đổi khoảng cách ảnh màu CDT đã được thiết lập, thì ảnh đã được tách riêng từng màu có thể được so sánh trực tiếp từng điểm ảnh với nhau mà không cần quan ngại việc các ký hiệu lệch nhau có thể ảnh hưởng đến kết quả nhận dạng Tuy nhiên ý định của phương pháp này là tăng cường ảnh hưởng của các điểm đặc trưng, giúp giảm số lượng các điểm đặc trưng mà không làm giảm đi các thông thể hiện của từng biển báo và giá trị thông tin từ màu sắc bằng cách chỉ chọn những điểm đặc trưng nổi bật, khác biết với các biển báo khác của từng biển báo giao thông

2.2.5.1 Giá trị khác biệt của vùng ảnh cục bộ

Một vùng không gian đầy đủ chứa tất cả các vùng cục bộ có được bằng cách chia nhỏ ảnh thành các vùng ảnh con đều nhau, là những lưới hình vuông không trùng lắp

với kích thước m x m pixel Thông thường ta chọn m = 4, như vậy đối với ảnh có kích

thước 60 x 60 pixel ta sẽ có được 255 vùng ảnh hình vuông nhỏ với kích thước 4 x 4 pixel Giá trị khác biệt của từng vùng ảnh con r k giữa ảnh I và ảnh J có thể được tính dựa trên việc sử dụng ảnh được tách màu I với ảnh đã được xử lý qua phép biến đổi khoảng cách màu và chuẩn hóa J bằng cách tính trung bình khoảng cách của từng

điểm ảnh giữa 2 hình với nhau :

2

2 1

Gọi d I Jˆ ( , )S và dˆS,W( , )I J là giá trị khác biệt bình thường và có trọng số W k giữa 2

ảnh I và J được tính trên tất cả các vùng ảnh con r kS và được định nghĩa như sau :

k k

Thuật toán tăng tốc thích nghi được sử dụng làm phương pháp chính để phát hiện

và phát hiện đối tượng xe trong luận văn Thuật toán tăng tốc là mô hình học máy hiệu quả được sử dụng nhiều trong các đề tài về nhận dạng trước đây Mô hình này chỉ sử dụng các bộ phân loại yếu

2.2.5.2 Giải thuật lựa chọn vùng ảnh con đặc trưng

Giả thiết rằng ta có một tập các loại ảnh biển báo giao thông C{ :T i i1, , }N

và ảnh đối tượng khả nghi x j, nhiệm vụ của bộ nhận dạng là phân loại biển báo giao thông khả nghi x j thuộc loại nào dựa vào việc xác định giá trị cực đại của xác suất xuất hiện sau :