Luận văn thạc sĩ Kỹ thuật điện tử: Xây dựng hệ thống phát hiện làn đường và vật cản

Luận văn nay xin giới thiệu một số giải thuật trong lĩnh vực xử lý ảnh được áp dụng trong hệthống nhăm có thể phát hiện làn đường và vật cản, từ đó có thể áp dụng vào trongviệc đưa ra cá

ĐẠI HỌC QUỐC GIA TP.HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

DONG NGỌC MINH CÔNG

XÂY DUNG HE THONG PHAT HIỆN LÀN DUONG

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠITRUONG ĐẠI HOC BACH KHOA —DHQG —HCM

Cán bộ hướng dẫn khoa học: TS Trần Hoang Linh

Cán bộ chấm nhận xét 1: TS Bùi Trọng Tú

Cán bộ chấm nhận xét 2: TS Nguyễn Minh Sơn

Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa,ĐHQG Tp HCM ngày 13 tháng 07 năm 2018.

Thanh phan Hội đồng đánh giá luận văn thạc sĩ gồm:(Ghi r6 họ, tên, hoc ham, học vi của Hội đồng cham bảo vệ luận văn thạc sĩ)

1 Chủ tịch: PGS TS Hoàng Trang2 Thu ky: TS Truong Quang Vinh3 Phan biện [: TS Bùi Trọng Tu

4 Phan bién 2: TS Nguyén Minh Son

5 Uy viên: TS Lê Chi ThôngXác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý

chuyên ngành sau khi luận văn đã được sửa chữa (nêu có).

CHỦ TỊCH HỘI ĐÔNG TRƯỞNG KHOA

ĐẠI HỌC QUOC GIA TP.HCM CONG HÒA XÃ HỘI CHỦ NGHĨA VIỆTTRƯỜNG ĐẠI HỌC BÁCH NAM Độc lập - Tự do - Hạnh phúc

KHOA

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: Đồng Ngọc Minh Công MSHV:1570363

Ngày, tháng, năm sinh: 23/08/1991 Nơi sinh: TP.HCM

Chuyên ngành: Kỹ thuật điện tử Mã số : 60 52 02 03

I TÊN DE TÀI: Xây dựng hệ thống phát hiện làn đường va vật can

Il NHIEM VU VA NỘI DUNG:

e Tìm hiểu cơ sở lý thuyết về giải thuật phát hiện lan đường, ly thuyết

mang neuron, giải thuật dựa trên mạng neuron tích chap (CNN).

e Xây dựng hệ thông mô phỏng trên visual studio để huấn luyện cho bộ co

sở dt liệu dùng trong CNN.

e Xây dựng hệ thống trên visual studio dé mô phỏng giải thuật phát hiện

làn đường và vật cản.

Ill NGÀY GIAO NHIEM VU : 04/09/2017

IV NGAY HOAN THANH NHIEM VU: 03/12/2017V CÁN BO HUONG DAN: TS Trần Hoàng Linh

Tp HCM, ngay 13 thang 07 nam 2018

CAN BO HUONG DAN CHU NHIEM BO MON DAO TAO

(Họ tên va chữ ky) (Họ tên và chữ ký)

TRƯỞNG KHOA

(Họ tên và chữ ký)

LỜI CÁM ƠNĐược sự phân công của nhà trường, khoa điện — điện tử và sự đồng ý của giáoviên hướng dẫn của thay TS Tran Hoang Linh, em đã thực hiện luận van thạc sĩchuyên ngành kỹ thuật điện tử với đề tài “Xây dựng hệ thống phát hiện lànđường và vật can” Qua trang viết này em xin gửi lời cảm ơn tới những người đã

giúp đỡ em trong thời gian học tập, nghiên cứu luận văn thời gian qua.

Trước hết, em xin được tỏ lòng biết ơn và gửi làm cảm ơn chân thành đến côTrương Công Dung Nghỉ và thây Trần Hoàng Linh Cô là người đã trực tiếp hướngdẫn và tận tình chỉ bảo trong công việc nghiên cứu, tìm kiếm tai liệu, xử lý va phântích van dé của luận văn Nhờ cô và thầy mà em có thể hoàn thành luận văn cao

TÓM TATTai nan giao thông đường bộ đã trở thành một trong những van dé nghiêm trọngnhất trên thế giới hiện nay Cùng với sự tiến bộ về công nghệ, những hệ thống mới

được phát minh và tích hợp vào trong các phương tiện, đặc biệt là xe hơi đã làm

giảm đi SỐ lượng các vụ tai nạn giao thông Trong đó, hệ thống ADAS (Advanced

Driving Assistant System) đã hỗ trợ người lái một cách hiệu qua hơn Luận văn nay

xin giới thiệu một số giải thuật trong lĩnh vực xử lý ảnh được áp dụng trong hệthống nhăm có thể phát hiện làn đường và vật cản, từ đó có thể áp dụng vào trongviệc đưa ra các cảnh báo cho người lái, hay xa hơn nữa là có thé tích hợp vào côngnghệ xe tự hành đã va đang ngày càng phát triển

ABSTRACT

Traffic safety is one of the most important issues which every country is facing.With the advancement of technology, many modern systems have been inventedand integrated into automobile industry The Advanced Driver Assistance System(ADAS) is known at most as an outstanding system to support drivers Reducing theratio of accidents and saving lives are principal objectives in the context of thissystem In the driving assistance system, obstacle and lane detection is the keycomponents of collision avoidance Therefore, in this thesis, | woud like tointroduce the versatile methodologies which are used in order to detecting the lanesand obstacles.

LỜI CAM ĐOANTôi xin cam đoan đây là công trình nghiên cứu của riêng tôi Các số liệu, kếtquả trong dé tài này là trung thực và chưa công bố dưới bat kỳ hình thức nào trướcđây Tất cả những tham khảo và kế thừa cho việc thực hiện luận văn này đã đượccảm ơn và các thông tin trích dẫn trong luận văn đã được chỉ rõ nguồn gốc rõ ràngvà được phép công bố.

TP.HCM, ngay thang năm 2016

Hoc viên thực hiện

Đông Ngọc Minh Công

14 Tình hình nghiên cứu trong và ngồi nƯỚC - 5555 x+2 2

CHƯƠNG II: PHÁT HIỆN LAN ĐƯỜNG 5-5-5<c<cesseseseseseseseses 52.1 Một số giải thuật về phát hiện làn đường - 2-5-5 +2 2£s+ezescze 52.2 Xác định vùng cần Xử lý -¿- ¿5c 22c z2 E2 2E 2E E211 EEEEekrrrrre 92.3 Phát hiện các dau làn đường ¿5 + 2 +s+++S£+E+EeEzEeEererkrrerererree 112.3.1 Chuyến đổi khơng gian mầu - 2 - + 5+ 2 +£+E+E£e+xexrerxerered 11

23.2 Lọc nhiễu và phát hiện cạnh S999 1 1 1 re, 12

2.3.3 Biến đơi Hough - + + Sc2+SE SE 32 2321112111111 211 11 re 13

2.3.4 Loại bỏ các đoạn sai và định vi làn đường << <<<<2 16

CHUONG ITI: PHÁT HIỆN VAT CÁN 5-5 5-5-5 ssesssssseseseseseses 193.1 Tổng quan về Deep Learning -+- + 2+5 + +E+EEcxetererrrrerererree 20

3.[.[ Neuron Gv 203.1.2 Mạng neuron (Neuron nefWOTK) 9 re 213.2 Mang neuron tích chap — Convolutional Neuron Network (CNN) 22

B21 CAUUTUC ee 223.2.2 Đặc điểm nhận dang o cccccccccccsssscscssssssesessssssssescssssssssesesssessesseeseees 22

3.2.3 Tích chập (ConvoÏutIOP)) - - s99 ng 233.244 POOling cọ Họ re 25

3.2.5 Chuẩn hĩa -ccct th ri 273.2.6 _ Kết nối day đủ — Fully Connect - ¿5552 s2 ecxerererrerered 273.277 _ Truyền ngược — Backpropagation - ¿52c s+xsrreresrered 283.3 Áp dụng giải thuật YOLO vào phát hiện vật cản -5-55+: 333.3.1 Giới thiệu về giải thuật YOLO 2 25c tt EckcteEerrkrkreee 333.3.2 Câu trúc YOLO cck2rtéEht Hee 343.3.3 Tĩm tắt giải thuật YOLO ¿- ¿E22 1 1 E5 2121212111 1111k, 343.3.4 Chỉ tiết các bước phát hiện đối tượng trong YOLO 37

3A Đưa ra cảnh ĐáO - - c0 000000900 0S 9S nu vn vs 53

CHƯƠNG IV: KET QUA MO PHONG - NHẬN XÉT - 55AL Kết quả mô phỏng ¿+ - 56952 SE+E#EE E39 212321 121111211 cxeeg 55

4.1.1 _ Phát hiện làn đường ¿©2552 SE‡ESEEEEeEEEEkerkrerkrrrrerree 554.1.2 _ Phát hiện vật cản 5c c2 SE 1 1112111112111 111 xe 57

4.1.3 Kết quả tổng hop phát hiện làn đường và vật cản và cảnh báo 59

4.2 Nhận Xét c2 SE 1 1911211121111 111111 111111011101 61

4.3 Hướng phát triển để tài - ¿+ - +52 E2ES E23 E221 Ekrrrreee 62TÀI LIEU THAM KHẢOO < 5° < 5° <©s£ se se eEseEeEsessssesessesess 63

Hình 1.Hình 1.Hình 1.Hình 1.Hình 1.Hình 1.Hình 2.Hình 2.Hình 2.Hình 2.Hình 2.Hình 2.Hình 2.Hình 2.Hình 2.Hình 2.Hình 2.Hình 2.Hình 3.Hình 3.Hình 3.Hình 3.Hình 3.Hình 3.Hình 3.Hình 3.Hình 3.Hình 3.Hình 3.Hình 3.Hình 3.

MỤC LUC HÌNH ANH VÀ BANG BIEU1: Mơ hình cho hệ thong lái tự AON oscecccccccscesescscssssessssesssssssssesessssssesesessees |2: So GO tong Qudt CUA AE 10h 88880 Gnga ƠỎ 23: Kết quả mơ phỏng HOG-SVM waccccccscsccscscsssssssssssssssessesessssssssssessessssseseseesens 34: Kết quả phát hiện làn đường với RANSAC -cccccccetekeeterererrrec, 35: Xử lý trong hệ thống Mobile eye cccccccccccscsssscscscsssssssessssssssssessssssssesessesssseees 4

6: Chức năng cảnh báo va chạm trong Mobile €ye à << << <3 41: Mơ tải giải thuật line S€HGH SG SG S0 ke 5

"ly, (5.8 5.40)063, (0 NPiiiầa ƠỎ 6

3: Giải thHUát grđI€Hf COHSÍT(IHE ào SG và 8

4: Các bước tơng thé của giải thuật đỀ XHẤT - 5-5 SE eE+tstsEsrsrree, 9

5: Xác định vùng Ọ cọ re 10

6: Sơ đơ tong quát khối phát hiện dấu làn đhường 5-5-cccscscsesescse 117: Hình anh về chuyên đổi khơng gian MAU eececccscecsscecsssessssesssssssessesesesseees 128: Kết GU LOC CQHỈH cece cece Q1 và 139: Mơ hình trong biến đổi HOUN cieceeccecscscsssscscssssessssesssssessesesssssssesesessseseees 1410: Kết quả từ biến đơi Houghh - - - + 5S SE tt EE SE EEEEEEkrkerrrrkrred l511: Sơ đồ giải thuật loại bỏ các làn khơng chính xác . -5 1712: Kết quả áp dụng giải thuật loại bỏ các làn khơng chính xác 18

1: Mơ hình CUA MOt H€UHFOHH QC Gc KV ke 20

2: Cầu trúc tổng quắt MANY H€LIFOH + + << S*+E#EEEEEeEeEsrsrerrees 213: Cầu trúc mang neuron tích chập cơ Đẩn -¿-c-c+s+s+ese+e+esesrsrererees 224: Trích xuất các đặc điểm nhận dạng CUA đHh àằ 55c +++++++++ssssssss 23

5: Cách thức thực hiện tich ChPD vớ 23

6: Kết quả tích chập của MOL ĐỘ LOC SG G1 111111111 x2 247: Kết quả tích chập của tồn bộ bức ảnÌh 5-5 + ctvsrsrerererereeeeed 25

Š- Cách thức thực hién DOỌHHđ Ăn 26

QO: Ket quả DOỌÌTNN St EEEEEEEE515151111111111111111111111111111111111 1x 26

T10: Một don vi tinh CÍ-HTLÌ, Ảo - S1 009960091619 1K vớ 27

11: Xử lý trong lĩp kết nối MAY AU cocececcccceccscscstsssssesssssscsescsvsvsveenessacesavevevens 2812: Mơ hình tính tốn tuyên ngược Aa ÌỚp «555k +++teeeeeeeesree 2913: Mơ hình tính tốn tuyên ngược đa lớp cĩ bÌ@ -cccscscsesrsescee 32

Hình 3 14: Sơ đô giải thuật Ñ-CÌNN SG St tk HH HH1, 33Hình 3 15: Các đặc điểm nhận dạng doi [HFQTH G111 kg 33Hình 3 16: Sơ G6 tong quát giải thuật LO + + EsEeEeEerkrkekeerereseseee 34Hình 3 17: Cầu trúc YOLO weseesseesssesssessssesseesseesseeseeesnsesnsesnsesneesneesnseaeeneeenseenseeneenes 34

Hình 3 18: Các vùng được DhẬNH CÏI( G0000 1 11v kg v32 35

Hình 3 19: Các khung bao nhận dạng đổi IƯỢng, «se Set Esskskekrkresessee 35Hirth 8S592/548 /90000n0n98Ẻe 36

Hình 3 21: Mô hình YOLO nhán dạng toàn bộ DUC dnh «««««c+c++ss+ 36

Hình 3 22: Trích xuất thông tin doi tượng theo từng khung bao của mỗi cell 39Hình 3 23: Xác suất nhận dạng doi /x3//1-2PPPEA 40Hình 3 24: Xác định thông tin nhận dạng của doi tượng theo mỗi khung bao 4]Hình 3 25: Số lượng khung bao cho toàn bộ ảnh - Set +t+teteeeeseseee 43

Hình 3 26: Các bước chọn lọc khung bao phù hợp cho việc nhán dạng 44

Hình 3 27: Thông tin khung bao của lớp đối HƯỢng - se sec sststsereseseee 45

Hình 3 28: So sánh khung bao HhnH (QH ke 46

Hình 3 29: Khung bao được loại bỏ khi xác suất bằng 0 -c-c+c+cseseseseseee 47

Hình 3 30: Khung bao đưỢC tit ÏẠI S0 1v kg vờ 486

Hình 3 31: Kết quả giả thuật NIMS - -GScStStEEEEEEEEEEEE HH HT, 49Hình 3 32: Kết quả thực hiện cho lớp đối tượng cuối CÙng - -ccccc+cscsrsescse 50Hình 3 33: Chọn lọc cho khung bao SOB vcccccccccscscsscscsecscsevscsesscsesacsecscsesssssescseescseeees 51Hình 3 34: Kết quả phát hiện mi đi fIFỢTIg «5+ 5S SStsEsEeEEEEkrkrkeerereeesree 52Hình 3 35: Khu vực cảnh báo nguy hẲÌỄM - - -sctstsEEkEEEEkekekekekrkeesrsrsrree 53Hinh 3 36: Nhitng điểm duoc chon dé kiểm tra đối z0 54Hình 4 1: Một số kết quả phát hiện làn đường + 5S SeSesecskskrrkrkeesree 56Hình 4 2: Kết quả phát hiện Vật CAN 55c SE SE tk E1 11111111 cre 58Hình 4 3: Kết quả mô phỏng của Ge tài - - + + cE‡E‡EEEEEEEEEEEEEEEEEEEkeEerererecee 60Bang 4 1: Kết qua định lượng nhận dang vát can ¬— 59

Bang 4 2 Kêt qua đáp ung thời gian xử lý của hệ thong àà S3 61

1.1 Tổng quan

CHUONG I: GIỚI THIEU

Luận văn này xin trình bay việc ứng dung các giải thuật trong lĩnh vực xử lý

ảnh và trong lĩnh vực máy học để có thé xây dựng được một hệ thống có thể thực

hiện nhiệm vụ phát hiện làn đường và vật cản trong giao thông.

Cot lõi của phương pháp tiêp cận của luận văn dựa trên việc:

e Áp dụng các giải thuật xử lý ảnh, trong đó cụ thé là các giải thuật phát hiệncạnh nhăm có thể phát hiện được làn đường của xe đang lưu thông

e Ung dụng giải thuật dựa trên mang neuron tích chap (Convolutional Neural

Network - CNN) trong việc phát hiện vật cản đang có mặt trên đường.

Trong những năm gần đây, các nghiên cứu về hệ thông hỗ trợ lái xe (ADAS)và đặc biệt là hệ thống xe tự hành đã nhận được sự quan tâm rất lớn Một trong

những mục tiêu chính của các nghiên cứu trong lĩnh vực này nhăm hồ trợ người láivà cung câp một sô chức năng hiện đại, an toàn và thông minh hơn Với hệ thông

ADAS hoặc hệ thống xe tự hành thì việc phát hiện làn đường và vật cản một cáchchính xác là chìa khóa của hệ thống

Ước lượng vị trí,khoảng cách

Vv

Hình 1 1: Mô hình cho hệ thông lái tự động

1.2 Mục tiêu của đề tàiPhát hiện làn đường và vật can là một yếu tố quyết định trong hệ thống hỗ

trợ lái xe Do đó, việc tích hợp các giải thuật phát hiện làn đường và vật cản có

thé thực hiện một cách chính xác thành một hệ thống và có thể đưa ra cảnh báolà mục tiêu của dé tài Từ đó có thể ứng dụng trong việc đưa ra cảnh báo vachạm hoặc hỗ trợ lái xe tốt hơn và xa hơn nữa là hệ thống xe tự hành

Hình 1 2: Sơ đồ tổng quát của dé tài1.3 Phạm vi đề tài

Đề tài được thực hiện với đáp ứng ngõ vảo là video và ngõ ra cũng sẽ là một videođã được đánh dấu làn đường theo những đoạn đường thang mà xe đang chạy và

khoanh vùng những vật cản đang có trên đường lưu thông Sau đó đưa ra cảnh báo

khi có vật cản trong vùng nguy hiểm đã được thiết lập trước đó Hệ thống sẽ đượcthiết kế hoạt động trên các bộ cơ sở dữ liệu video từ các nguồn trên Internet

1.4 Tình hình nghiên cứu trong và ngoài nước

Một số những nghiên cứu trước đây cũng đã phần nào góp phần cung cấp nhiễu giảithuật tốt đối với việc áp dụng trong việc phát hiện làn đường và vật cản Tuy nhiên,một số dé tài chi đưa ra các giải pháp riêng biệt mà không tích hợp cả hai giải thuật

việc phát hiện làn đường và vật cản lại với nhau.

Thái Văn Chánh [18] thực hiện việc phát hiện vật can và ước lượng khoảng cách sử

dụng thong tin 3D dựa trên giải thuật HOG-SVM Đề tài chỉ dừng lại ở việc pháthiện vật cản mà không có phần phát hiện và đánh dấu làn đường Thêm vào đó là sựkhác biệt về giải thuật thì đề tài trước là HOG-SVM mà không phải là sử dụngCNN Do đó kết quả sẽ có thé sẽ không có được độ chính xác cao

Chenyi Chen và các cộng sự [1] ứng dụng giải thuật máy học để có thé huấn luyệntrong việc tự điều khiến có thé áp dụng trong hệ thong xe tự hành Đề tài này đã kếthợp việc phát hiện làn đường va vật cản đồng thời huấn luyện các kiểu sơ đỗ lànđường để xe có thé tự điều chỉnh hướng Giải thuật của họ được mô phỏng thôngquả việc điều khiến tự động xe trong một trò chơi điện tử, tương tự như cách thứcvận hành của một hệ thống lái xe tự động trong thực tế Đối với dé tài này, đã chothay được tìm năng trong việc áp dụng máy học vào trong thực tế Việc chưa đưa rakết quả trong thực tế đã làm hạn chế đến đề tài.

Mohamed Aly [2] nhận dạng làn đường theo trong vùng nội ô Đề tài này cung cấp

việc xử lý nhận dạng làn đường một cách nhanh chóng và cũng có độ chính xác

tương đói Việc phát hiện làn đường dựa trên thuật toán tập hợp mẫu ngấu nhiên(Random Sample Consensus — RANSAC) Đề tài đã cho ra một số kết quả tốt trong

việc phát hiện làn đường.

Một sô các đề tài bên trên đã thực hiện việc phát hiện làn đường va vật can Tuy

nhiên hầu như những hệ thống dựa trên các giải thuật trong lĩnh vực thị giác máy

tính đều chỉ được tích hợp sẵn trên những phương tiện các những nhà sản xuất xe.Và công ty Mobileye có trụ sở tại Israel đã đưa ra sản phẩm trên thị trường có thểgan trực tiếp trên xe theo từng nhu câu của người dùng Sản phẩm của Mobileye

dựa trên một camera đơn được gan phía trước xe Di kèm với camera nay là mộtmàn hình hiện thị nhỏ sẽ hiện thị các thông tin về biên báo tôc độ, khoảng cách vớicác xe phía trước va đưa ra các cảnh báo Với điêu kiện lý tưởng là các vạch kẻ

đường có thể nhìn thấy được, không bị che khuất bởi các điều kiện như: bóng tối,

mưa, tuyêt va theo như nha sản xuât công bô thì hệ thông có với độ chính xác lên

đến 99%

&id ed elgoa a"idcee Fr Wa id bd sl sel thecree Er#-#?#.

CHUONG II: PHÁT HIỆN LAN DUONG2.1 Một số giái thuật về phát hiện làn đường.

Một số giải thuật phát hiện làn đường đã được dé xuất như: line segment

detection, RANSAC, gradient constraint.

e Giai_thudat line segment detection [6]: dùng dé đánh dấu lại các làn đườngthông qua việc tập hợp các điểm ảnh có những điểm tương đồng về hướngcủa các đoạn thắng và ghép chúng lại thành một làn đường hoàn chỉnh

a) Ảnh gốc b) Hướng đoạn thăng c) Kết quả

Hình 2 1: Mô tải giải thuật line segment

© Giải thuật RANSAC [7]: dùng dé dánh dau lại các đoạn thăng dựa trên việcxác định số lượng tập hợp qua các điểm được lựa chọn ngẫu nhiên năm trongvùng có khả năng thuộc đoạn thăng cần xác định Giải thuật RANSAC đượcmô tả ngăn gọn thông qua hình 2.2

e (a) Khởi tạo mô hình RANSAC

Đâu tiên, ta chọn các diém nhâu nhiên là hai diém màu đỏ Sau đó, xác định môhình mà ta cân xét, ở day là mô hình đường thăng.

2

e

e aed

>3

°°

r2 >

o @* « ° La° TS e

* ® ‡

»

*`

ñ

d) Có 15 điểm thoả điều kiệnHình 2 2: Mô tả về RANSAC

Cudi cùng giải thuật sẽ chọn ra hai diém mà những vùng trong nó có nhiều điệm

nhất và sẽ vẽ đường thắng qua hai điểm đó.© Gradient constraint [20]: giải thuật này đánh dau các đoạn thắng thông qua

việc phân tích hướng, vi trí của những điêm ảnh có khả năng thuộc lànđường.

b) Xác định vùng xu lý

c) Đánh dau làn đường

Hình 2 3: Giải thuật gradient constraint

Đề tài này sẽ giới thiệu một phương pháp phát hiện làn đường thông qua cácthuật toán phát hiện cạnh và biến đổi Hough

Giải thuật có thể gồm nhiều bước xử lý nhưng có thể tóm gọn thành hai bước chính.Bước thứ nhất là quá trình tiền xử lý, nhằm xác định vùng can xử lý chính Bướcthứ hai là phát hiện làn đường dựa trên gồm các bước lọc nhiễu, phát hiện cạnh dòtìm và đánh dau các làn đường dựa trên giải thuật biến đổi Hough Sơ đồ khối củagiải thuật được mô tả trong hình 2.4 Nếu điều kiện đường xá thay đối do thời tiết,các vật thể trên đường sẽ có rất nhiều các tín hiệu nhiễu, do đó làm giảm đi độ chính

xác trong các điều kiện thực tê.

Anh ngõvào

Loại bỏ các đoạn sai và

đánh dâu lại làn đường.

Hình 2 4: Các bước tổng thé của giải thuật dé xuất2.2 Xác định vùng cần xứ lý

Xác định vùng cần được xử ly (Region of interest: ROI) sẽ giúp cho ta cómột số lợi ích như: các làn đường cần xử lý sẽ luôn năm trong vùng đã được xácđịnh trước khi mà vị trí và hướng của camera trên xe luôn được cố định Vùng nàyđược trình bày trong hình 2.5b Do đó, chúng ta không cần phải xử lý hết toàn bộ

bức ảnh mà chỉ trong vùng này thôi Bên cạnh đó, việc chỉ xử lý làn đường trong

vùng ROI chứ không phải toàn bộ bức ảnh sẽ giúp giảm đi ảnh hưởng của nhiễu do

mưa, sương mù hoặc các dạng thời tiết xâu khác Hơn nữa, thì sự phức tạp trong

việc tính toán xử lý cũng được giảm một cách đáng kê.

Thông thường, vùng ROI này sẽ được trích lọc khoảng một phan hai hoặcmột phan ba kích thước theo chiều cao của ảnh Tuy nhiên, trong một số tình huéngcác phan phía xa của ROI bị ảnh hưởng thêm rất nhiều các yếu t6 như lề đường, giảiphân cách, rào chăn Do đó, trong dé tai này em xin dé xuất việc chia vùng ROInày thành các vùng khác nhau, nhỏ hơn để xử lý Cụ thé ta sẽ chia ROI này thànhhai phần riêng biệt là vùng ROI xa và ROI gần Trong đó, ta sẽ chỉ xử lý một phầnhai vùng ROI có vị trí gần xe nhất Còn vùng ROI gần sẽ được xử lý toàn bộ.

Hình 2 5: Xác định vung ROI

2.3 Phát hiện các dấu làn đườngĐề phát hiện và đánh dau làn đường ta phải thực hiện các giải thuật phát hiện cạnhvà biến đối Hough nhằm phát hiện các đoạn thang có khả năng là làn đường.

Do đó mục địch của việc biến đôi không gian màu này nhằm nâng cao tốc độ

xử lý ảnh.

b) Anh đã xử lýHình 2 7: Hình ảnh về chuyền đổi không gian màu2.3.2 Lọc nhiễu và phát hiện cạnh

Làn đường thông thường là màu trang hoặc vàng trên nên đường màu xámhoăc đen Vì thế cách dễ nhất dé phát hiện những làn kẻ này là sử dụng thông tin về

cạnh Tuy nhiên, việc chỉ phát hiện các cạnh của làn đường thì không dễ dàng như

vậy bởi vì có rất nhiều nhiễu trong một bức ảnh, ví dụ như bóng của các vật thểkhác, sự thay đôi về cường độ sáng Vì thế, chúng ta sẽ loại bỏ nhiễu bang cách sử

dụng các bộ lọc nhiễu Gaussian, median trước khi áp dụng các giải thuật Sobel,

Canny để phát hiện các cạnh của làn đường

ne Se Kệ,

Hình 2 8: Kế quả lọc cạnh2.3.3 Biến đối Hough

Biến doi Hough là một kỹ thuật có thé dùng dé tách ra các đặc điểm của mộthình dáng cụ thé trong một ảnh nhị phân Trong dé tài này, bién đổi Hough được sửdụng trong việc phát hiện các đoạn thăng mà có khả năng là làn đường

Biến đối Hough được áp dụng thông qua việc chuyển đôi một đường thắng

trong hệ tọa độ Decarte sang hệ tọa độ cực hay còn gọi là không gian Hough.

- Phuong trình toán học đường thăng trong hệ tọa độ Decarte như sau:

y=mx+c

Với: x, y là tọa độ của những điểm mà đường thăng đi qua

m, c là những hệ sô sẽ tìm được từ việc thay các giá tri tọa độ của nhữngdiém mà đường thang qua.

- Phuong trình biến đối Hough của một đường thăng trong không gian Hough

được biéu diễn theo công thức sau:

p = xcos8 + ysin8

Với p là khoảng cách của đường thắng đến gốc tọa độ và 0 là góc hợp bởi

khoảng cách đó với trục hoành như hình 2.9a.

Biến đổi Hough của đường này là một điểm tại tọa độ (p, 8) trong khônggian Hough như trong hình 2.9b Tập hợp những đường đi qua một điểm trong hình2.9c có biến đôi Hough là tập hợp những điểm (p, 0) như trong hình 2.9d

Ta xét ví dụ ba điểm thăng hàng trong hình 2.9e, biến đối Hough của những điểmđó là ba đường cong tập hợp những đường cong theo các tham số p va 0 như hình2.9f Ba đường cong này cắt nhau tại một điểm (po, 05) tương ứng với những đườngkhông liền nét qua ba điểm thăng hàng này.

(e)Những điềm thang hàng f) Biến đổi Hough của (e)

Hình 2 9: Mô hình trong biến đổi Hough

Vì mỗi đường thăng được xác định bởi cặp giá tri (p, 8) nên thuật toán tao ra mộtmảng hai chiều để tính tích lũy các giá trị của điểm ảnh đang xử lý (accumulator).

Hàng của ma trận ứng với p và cột ứng với 9, kích thước của mảng phụ thuộc vào

độ chính xác mà chúng ta chọn Tất nhiên là mảng càng lớn thì càng chính xác vàtính toán càng lâu, còn mảng nhỏ thì nhanh hơn nhưng không chính xác băng

Khi sử dụng ta sẽ truyền giá trị p và 0 mong muốn chính là kích thước của mảng haichiều Thuật toán sẽ vẽ tất cả đường thăng theo cặp giá trị (p, 0) đối với mỗi điểmnăm trên ảnh và sẽ đếm số pixel nam trên đường thang đó Cứ mỗi pixel tìm thaythì cộng thêm giá tri vào 6 ứng với (p, 8) Sau khi hoàn tat quá trình cho toàn bộ cáccặp (p 9) thì mỗi ô trong ma trận (p, 8) sẽ có giá tri là số điểm ảnh năm trên đườngthăng đó

Từ giá trị số lượng những điểm ảnh này, ta sẽ vẽ được các đường thăng theo cặp giátri (p, 8) có SỐ lượng điểm ảnh cao nhất hoặc theo một ngưỡng sỐ lượng giá tri nhấtđịnh Và đây chính là cách để đánh dau làn đường dựa vào biến đổi Hough

Đối với thư viện OpenCv ta có thé sử dụng hàm tích hợp sẵn của biến đối Hough làcvHoughLines2(dnh nhị phân, mảng chứa các line, kiểu biến đổi Hough, rho,theta, ngưỡng của số điểm trên cùng một đường thang, param1, param2)

param1: đôi với kiểu biến Hough thông thường thì param1 = 0, nhưng khi kiểu nàylà “probabilistic” thì những đường thắng có độ dài nhỏ hon param] sẽ bị loại bỏ.Param2: đỗi với kiêu biến Hough thông thường thì param2 = 0, nhưng khi kiểu nàylà “probabilistic” thì param2 chính là độ chênh lệch giữa các đường thắng để có thé

kêt nỗi lại với nhau.

2.3.4 Loại bỏ các đoạn sai và định vị làn đường

Do kết quả của giải thuật biến đổi Hough chi là những đường thắng và sẽ có khánhiều đoạn không chính xác theo yêu câu bài toán là giới hạn chỉ trong làn đườngmà xe đang chạy Do do, ta phải áp dụng thêm giải pháp khác dé loại bỏ những làn

đường không chính xác này cũng như định vi làn đường đó là làn bên trái hay bên

phải Thông thường, vi trí đặt camera sẽ được hiệu chỉnh sao cho năm giữa vi tríkính lái Vì vậy, trong điều kiện lắp đặt chuẩn xác thì vị trí trung tâm của bức ảnhđược dùng làm mốc dé định vị làn đường Sau khi đã định vị được làn đường, ta sẽtiếp tục loại bỏ những đoạn không chính xác dựa vào chính góc của nó so với

đường trung tâm cũng như vi trí của những làn đường khác nhau.

Giải pháp nay được mô tả như sơ đồ trong hình 2.11

Thong tin biénđối Hough

Xác định làn trai,làn phải

fd / Lom /

Yes

Xac dinh vi tri lan gan

trung tam nhat va capnhat vi tri hién tai

NoLan cuôi cùng

CHUONG III: PHÁT HIỆN VAT CAN

Bên cạnh việc phát hiện lan đường, thi việc phát hiện vat can trên đường cũng quan

trọng không kém Việc phát hiện các vật cản giống như việc hệ thống có thể biếtđược tình trạng giao thông xung quanh xe và trên đường như thế nào

Trong dé tài này, xin được giới thiệu việc ứng dụng của ngành nghiên cứu đangđược quan tâm rat nhiêu và có những ứng dụng hữu ích trong cuộc sông nói chungvà trong xử lý anh nói riêng Đó là “Deep Learning” mà cụ thê là “ConvolutionalNeuron Network (CNN) ”.

Ngoài giải thuật dựa trên mạng neuron để phát hiện vật cản thì trước đây cũng đã cómột số giải thuật khác nhằm giải quyết bài toán nay tương tự như:

- So sánh trùng khớp mẫu [16]: cách tiếp cận của đề tài là sẽ tính toán mức độtương đồng của ảnh hiện tại với một ảnh mẫu Khi có một ảnh ngõ vào, nó sẽphân tích các đặc điểm ảnh và so sánh với ảnh mẫu được lưu từ trước trong hệthống cuối cùng sẽ xác định đối tượng trong ảnh đó là gì Việc phân tích các đặcđiểm đối với từng ảnh khác nhau cũng là một quá trình cực kỳ phức tạp và cóthể gặp sai sót Bên cạnh đó, việc doi hỏi luôn phải SỐ lượng ảnh mẫu lớn vàcập nhật liên lục sé làm cho cơ sở dữ liệu ngày càng lớn, dẫn đến việc truy xuất,

so sánh sẽ chậm chạp hơn ảnh hưởng đến tốc độ xử lý của hệ thống

- _ Giải thuật HOG-SVM [18]: là một giải thuật nham trích xuất các đặc trưng củaảnh Giải thuật này thực hiện bằng cách chia ảnh cần xử lý thành các vùng khácnhau Sau đó, mỗi điểm ảnh sẽ được trích xuất thành một vector hướng củachính nó Cuối cùng, mỗi cell sẽ được tính toán ra hướng của nó dựa trên biểudé hướng được tập hợp từ những điểm ảnh mà nó chứa Từ đó, có thé mô tảđược hình dạng và sự xuất hiện của đối tượng có trong ảnh Giải thuật này có ưuđiểm là bảo toàn thông tin về đường viễn của đối tượng trong ảnh nhưng sẽ làm

mat đi các thông tin vê mau sac, giảm độ sac nét cua dữ liệu.

Tuy có những sự hạn chế nhất định, nhưng các giải thuật trên cũng đã cung cấp mộtnên tảng cho việc phát triển các giải thuật tốt hon, chính xác và hiệu quả hơn Một

trong sô đó là các giải thuật dựa trên mạng neuron.

3.1 Tổng quan về Deep Learning

Deep Learning là một dang của ngành máy học (Machine Learning), dựa

trên các thuật toán dé trừu tượng hóa mô hình dữ liệu ở mức độ cao bằng cách xử lýnhiều lớp cau trúc phức tạp Những lớp cau trúc nay được mô phỏng theo chính hệthần kinh của con người với những đơn vị nhỏ nhất là các neuron thần kinh Cácneuron nay được kết nối, liên kết với nhau thành một mạng lưới gọi là mạng neuron

(Neuron Network).

3.1.1 Neuron

Các hoạt động suy nghĩ của con người đều được bộ não điều khiến Trongđó, đơn vị tính toán cơ bản của não bộ là mỗi neuron trong hệ thần kinh Theo cáctài liệu sinh học, thì có khoảng 86 ty neuron trong hệ thần kinh của con người và

chúng được kết nối với khoảng 10! - 10!” các khớp nối thần kinh (synapse) Hình

3.1 mô tả một đơn vi sinh học và mô hình toán học cua một neuron [11].

impulses carried Z0 wo

`, 00#0dendrite \

branchesof axon

a) Neuron sinh hoc b) Mô hình toán hoc

Hình 3 1: Mô hình của mot neuron

Mỗi neuron nhận được tín hiệu đầu vào từ mỗi nhánh thần kinh (dendrites)của nó và tạo ra các tín hiệu đầu ra dọc theo sợi trục (axon) của nó Các sợi trụccuối cùng phân nhánh ra và kết nối thông qua các khớp than kinh đến các nhánh của

neuron khác.

Trong mô hình toán học của một neuron, các tín hiệu đó đi dọc theo sợi trục

than kinh (xo) sau đó nhân với trọng số nhánh đó của noron (wo) Trong mô hình cobản, các nhánh sẽ tập hợp tín hiệu đến trung tâm, nơi tat cả chúng nhận được tongkết Nếu tong số cuối cùng vượt quá ngưỡng nhất định, neuron sẽ gửi tín hiệu ở ngõ

ra.

3.1.2 Mang neuron (Neuron network)

Mang neuron là mô hình tập hợp và kết nối các neuron lại với nhau Ngõ ra củamột số neuron sé trở thành đầu vào cho các neuron khác Thay vì kết nỗi các neuronmột cách vô định thì mạng neuron thường được tô chức thành các lớp khác biệt.Dưới đây là ví dụ về cầu trúc mang neuron [11]

Hình 3 2: Cau trúc tổng quát mang neuron

Theo câu trúc cơ bản trên, ta có thé thay được mang neuron sé có các lớp:ngõ vào, lớp an và ngố ra Tuy theo câu trúc của môi mang neuron khác nhau, ta sétính được kích thước của nó Theo cau trúc trên, ta tinh được kích thước như sau.

+ Số neuron: 4+2 = 6 (không tính ngõ vào)+ Số kết nối: [3 x 4] + [4x 2] = 20

+ Số hiệu chỉnh: 4+ 2 =6

Cuỗi cùng ta sẽ có tông cộng 26 thông sô mà mạng có thê học được.

3.2 Mạng neuron tích chập — Convolutional Neuron Network (CNN)

Do ngõ vào cần xử lý là anh hai chiều, được tập hợp từ nhiều điểm ảnh chứa đặcđiểm riêng của nó và được biểu diễn trong toán học là một ma trận hai chiều Vìvậy, việc xử lý sẽ rất phức tạp do có nhiều thông số để có thể trích xuất đặc điểmcủa toàn bộ bức ảnh Do đó, phép toán tích chập sẽ giúp giảm bớt khối lượng tínhtoán giúp cho việc xử lý sẽ nhanh và Ít xảy ra lỗi hơn Bên cạnh đó, về mặt cau trúc

và những lớp đặc trưng riêng của mạng neuron tích chập sẽ có sự khác biệt với mộtmạng neuron thông thường tùy theo những bài toán và giải thuật khác nhau.

3.2.1 Cấu trúcMạng neuron tích chập có nguyên lý giỗng như một mạng neuron cơ bản

3.2.2 Đặc điểm nhận dạng

Mạng neuron tích chập sẽ so sánh theo từng mảnh nhỏ, các mảnh này được gọi đặc

điểm nhận dạng Bằng cách so sánh này, nó sẽ tìm ra được những đặc điểm giốngnhau của các đối tượng trong ảnh Chính việc so sánh một cách chị tiết như vay, sẽgiúp cho khả năng nhận dạng của mạng neuron tích chập tốt hơn rất nhiêu

Hình 3 4: Trích xuất các đặc điểm nhận dạng của ảnhMỗi đặc điểm giống như một hình ảnh nhỏ hai chiều Các đặc điểm này sẽ trùngkhớp với các điểm chung của bức ảnh Ví dụ, các điểm đặc trưng quan trọng củachữ “X” được mô tả trong hình 3.4 sẽ được ghi nhớ lại Những đặc điểm này sẽđược đem so sánh với bất kỳ hình ảnh có chữ X nào.

3.2.3 Tích chap (Convolution)

Hình 3 5: Cách thức thực hiện tích chap

Khi có một bức ảnh hoàn toàn mới, mạng neuron tích chập sẽ không biết được cácđặc điểm nhận dạng sẽ như thế nào Do đó, ta sẽ phải có trước các đặc điểm nhận

dạng quan trọng của đối tượng và tạo thành các bộ lọc cho cụ thé Tiép theo sé su

dụng phép tích chập để trích xuất toàn bộ bộ đặc điểm đối với các bức ảnh khác

ost BR on 0111 › 0.33 li

0.11 1.00 011

Hình 3 6: Kêt qua tích chap cua một bộ lọcDé tính toán khả năng trùng khớp cua môi đặc điêm của ảnh, ta cân chỉ ra giá tri cuamôi đặc điểm của anh can so sánh đôi với diém ảnh tương ứng trong những đặc

điểm đã được lưu lại.Đối với hình 3.6, nếu tất cả điểm ảnh của đối tượng trùng khớp với đặc điểm cầnnhận dang thi tổng lại rồi chia cho số điểm ảnh thì sẽ ra là 1 Tương tự, nếu khôngcó điểm ảnh nào trong đặc điểm khớp với mảnh hình ảnh, thì kết quả là -1

Để hoàn tất, chúng ta lặp lại quá trình này cho toàn bộ bức ảnh Ta có thé lay kếtquả từ mỗi bộ lọc đặc điểm và tạo một mang hai chiều mới từ đó, dựa vào vị trí củamỗi mảnh năm trong hình ảnh Bản đồ các phần khớp nhau này cũng là một phiênban đã được lọc từ hình ảnh gốc Nó là một bản đồ thể hiện noi tìm thấy đặc điểmcó khả năng trùng khớp trong hình anh Các giá trị gần 1 cho thay xác suất trùngkhớp cao, các giá trị gần -1 hay gần bằng 0 cho thấy xác suất không trùng khớp với

các đặc điềm nhận dạng.

Bước tiếp theo là lặp lại toàn bộ quá trình tích chập cho từng đặc điểm khác nhau.

Kết quả là ta có một tập hợp các đặc điểm đối với bức hình ảnh cần nhận dạng Tập

hợp các đặc điểm này chính là bộ lọc của chúng ta.Đề thuận tiện trong việc tích hợp của bước tính toán này, người ta đã gom tất cả cáckết quả của từng đặc điểm này lại với nhau thành một lớp (layer) Có thé thay rang,việc tích chập này sẽ gia tăng số lượng các phép toán số học lên rất nhiều Vì vậy,các nhà sản xuất vi mạch đã tạo nên những bộ vi xử lý chỉ chuyên cho việc tính toánrất lớn này trong ngành máy học này

3.2.4 Pooling

Từ kết quả của phân tích chập, có thể nhận thấy răng kích thước của mỗi mảng tínhtoán đều rất lớn và có những điểm dư thừa Và chức năng pooling là việc loại bỏnhững điểm dư thừa và giữ lại những đặc điểm quan trọng Cách thức thực hiệnpooling được thể hiện dưới hình sau

-0.11 0411 -0.11 loa -0.11 1.00 -0.110.33 Ege! |oss [Bi O11 -011

Hình 3 8: Cách thức thực hiện pooling

Việc thực hiện pooling này đơn giản chỉ là chọn ra những điểm có giá trị cao nhấtvà tập hợp lại thành một kết quả khác Chỉ đơn giản áp dụng một bộ lọc cửa số 2x2ta có thể giảm đi kích thước của một mảng đi 4 lần, việc này không những giúp

chọn ra những thông tin quan trọng mà còn giúp giảm tải cho việc tính toán từ đó

làm cho tốc độ xử lý nhanh hơn

Hình 3 10: Một don vi tinh chỉnh

Đóng vai trò nhỏ nhưng quan trong trong quá trình này là một bộ tinh chỉnh tuyến

tính Rectified Linear Unit hoặc ReLU Việc tính toán của bộ này cũng khá đơn

giản Những điểm nào có giá trị âm sẽ được hoán đổi thành giá trị O ngược lại sẽ

được giữ nguyên giá tri.

3.2.6 Kết nối day đủ — Fully ConnectLớp kết nỗi này dong vai trò như là một bộ lọc cấp cao, sẽ giúp chuyển doi nhữnggiá trị đặc trưng thành những trọng số để đưa ra kết quả Các lớp kết nối này đóng

vai tro quan trọng trong việc tạo thành một CNN hoàn chỉnh Thay vì sẽ xử lý dữ

liệu theo mang hai chiều thì các lớp kết nỗi sẽ xử lý theo kiểu danh sách đơn