Ứng dụng xử lý hình ảnh nhận dạng đường đi cho ôtô chạy tự động

vi MC LC Trang ta Trang QUYTăĐNHăGIAOăĐ TÀI XÁCăNHNăCAăCÁNăBăHNGăDN i LÝ LCH KHOA HC ii LIăCAMăĐOAN ii LI CM T iii TÓM TT iv MC LC vi DANH SÁCH CÁC CH VIT TT x DANH SÁCH CÁC HÌNH xi Chngă1 TỌ ̉ NGăQUAN 1 1.1. Tô ̉ ngăquanăchungăvêălố ̃ nhăv ̣ cănghiênăc  u 1 1.1.1. Gii thiu 1 1.1.2. ng dng phát hinălƠnăđng trên các hãng xe 5 1.2. Các kt qu nghiên cuătrongăvƠăngoƠiăncăđƣăcôngăb 6 1.2.1. Các k qu nghiên cuătrongănc 6 1.2.2. Các kt qu nghiên cuăngoƠiănc 7 1.3. Mcăđíchăcaăđ tài 7 1.4. Nhim v caăđ tài và gii hnăđ tài 8 1.4.1. Nhim v 8 1.4.2. Gii hnăđ tài 8 1.5.ăPhngăphápănghiênăcu 8 Chngă2ăăCăS LÝ THUYT 10 vii 2.1. Lý thuyt tổng quan v x lý nh 10 2.1.1. X lý nh s là gì ? 10 2.1.2. Biu din mt nh s 11 2.1.3. Các vnăđ căbn trong x lý nh 19 2.1.4.ăBiênăvƠăcácăphngăphápăphátăhin biên 26 2.1.5. Các mô hình màu 26 2.2. Binăđổi Hough (Hough Transform) 30 2.2.1. BinăđổiăHoughăchoăđng thẳng 30 2.2.2. BinăđổiăHoughăchoăđng thẳng trong taăđ cc 32 Chngă3ăăPHN MM NG DNG 33 3.1. Matlab 33 3.1.1. Gii thiu Matlab 33 3.1.2. Các thành phnăcăbn ca Matlab 34 3.1.3. Malab GUI 42 3.1.4.ăPhơnăđonăvƠătáchăđng vin trong Malab 44 3.1.5. Binăđổi Hough trong MATLAB 45 3.2. Image Acquisition Toolbox 50 3.2.1. Chcănĕng 50 3.2.2.ăCácăbc thu thp hình nhăcăbn 51 3.3. Computer Vision System Toolbox 54 3.3.1. Chcănĕng 54 3.3.2. Các hàm x lí video 54 3.4. Image Processing Toolbox 61 3.4.1.ăĐc nh 61 viii 3.4.2. Hin th nh 61 3.4.3. Ghi nh 62 3.4.4. Chuynăđổi gia các lp nh và các loi nh 63 Chngă4ăăCHNGăTRỊNHăĐIU KHIN 64 4.1. Mô hình tổng quát 64 4.2. Chn và thit lp camera 65 4.3.ăMôăhìnhăđng và phm vi quan sát 66 4.4. Tin trình x lí nh 66 4.4.1.ăXácăđnh duăphơnăcáchălƠnăđng 66 4.4.2.ăXácăđnh du phân cách trái ậ phiăvƠăchènăđánhăduălƠnăđng 69 4.4.3. Xut tín hiu 69 4.5. Lp trình giao din 71 4.5.1. Cácănútăđiu khin 71 Chngă5ăăTHC NGHIMăVÀăĐÁNHăGIÁ 73 5.1. D liu thc nghim 73 5.1.1.ăĐaăđim thc nghim 73 5.1.2. V tcăđ x lí 73 5.2. Các hình nh chy th nghimăchngătrình 74 5.3.ăPhngăphápăđánhăgiáăvƠătiêuăchíăđánhăgiá 75 5.4. Tiêu chí v tcăđ 75 5.5.ăĐánhăgiáăv đ chính xác 76 5.6.ăĐánhăgiáăv s sai lch 76 Chngă6ăăKT LUN 78 6.1. Kt qu đtăđc caăđ tài 78 ix 6.2. Nhng vnăđ còn tn ti 78 6.3.ăHng phát trinăđ tài 79 TÀI LIU THAM KHO 80 Các trang Web. 82 PH LC 83 A.ăChngătrìnhăchính. 83 B.ăXácăđnh du ch lƠnăđng. 90 C. Xácăđnh du phân cách trái / phi. 91 D. Nút Start Webcam. 93 E. Nút Detection & Tracking. 94 F. Nút Stop. 101 G. Nút Exit. 102 H. Nút Connect. 102 I. Nút Send. 105 x DANH SÁCH CÁC CH VIT TT MATLAB Maxtrix Laboratory CMU Carnegie Mellon University MIT Massachusetts Institute of Technology DARPA Defense Advanced Research Projects Agency HDTV High-definition television ROI Regions of Interest RGB Red, Green, Blue HSL Hue, Saturation, Luminance 2D Two Demension TIFF Targed Image File Format JPEG Joint Photographics Experts Group GIF Graphics Interchange Format BMP Window Bitmap PNG Portable Network Graphics XWD X Window Dump PCX Personal Computer Exchange CMY Cyan, Magnenta, Yellow xi DANH SÁCH CÁC HÌNH Hình 1.1: Minh ha các mc tiêu khác nhau trong bài toán phát hinălƠnăđng 2 Hình 1.2: Nhng ví d v các tình hung trong bài toán phát hinălƠnăđng 3 Hình 1.3: Mô hình tổng quát gii quyt bài toán phát hinălƠnăđng. 5 Hình 1.4: Hê ̣ ăthôngăh tr ̣ ăla  năđ  ng. 5 Hình 2.1: nhătngătăvƠănhăsăhóa 11 Hình 2.2: Điê ̉ măquiăchiêuăkhôngăgianăcu ̉ aăđiê ̉ măa ̉ nhă(0,0). 12 Hình 2.3: nh nh phân 13 Hình 2.4: nh xám hóa 14 Hình 2.5: nh màu RGB trong Matlab. 15 Hìnhă2.6:ăĐim nh  trong mt min lân cn. 16 Hình 2.7: Ly mu hình ch nht liên thông. 16 Hình 2.8: CácăbcăcăbnătrongămtăhăthngăxălỦănhă 19 Hình 2.9: Biu din nh bằng ma trnăđim 20 Hìnhă2.10:ăSăđ chung ca h thng nhn dng. 23 Hình 2.11: nhăthuănhơ ̣ năva  ăa ̉ nhămongămuôn 24 Hình 2.12: Các mô hình màu 27 Hình 2.13: Hê ̣ ăto ̣ aăđô ̣ ăma  uăRGB 28 Hình 2.14: Mô hình màu HSV 29 Hình 2.15: Bng ch s giá tr 0 31 Hìnhă2.16:ăĐng thẳng Hough trong h taăđ Đ-các 32 Hình 3.1: Giao din khi khiăđng 33 Hình 3.2: Ca sổ làm vic 35 Hình 3.3: Ca sổ GUIDE Quick Start. 42 Hình 3.4: Ca sổ tngătác. 43 Hình 3.5: nhătáchăbiên. 45 Hình 3.6: nh góc mchăđin. 46 Hình 3.7: Dùng binăđổi Hough. 47 xii Hình 3.8: Kt qu dùng houghpeaks 48 Hình 3.9: KtăquăsădngăhƠmăhoughlines. 50 Hình 3.10: Măfileăvideoădùngăvision.VideoPlayer. 55 Hìnhă3.11:ănhăcngăđ 57 Hình 4.1: Mô hình tổng quát. 64 Hình 4.2: Mô hình c th. 65 Hình 4.3: Vùng quan tâm. 67 Hình 4.4: nhăđc trích xut 67 Hình 4.5: Hình gii hn quan sát. 68 Hình 4.6: nhăcngăđ. 68 Hình 4.7: nh nh phân 68 Hìnhă4.8:ăChngătrìnhămôăphỏng Proteus. 70 Hìnhă4.9:ăChngătrìnhăto Virtual Serial Port Driver. 70 Hình 4.10: Giao dinăngi dùng. 71 Hình 4.11: Giao din. 72 Hình 5.1: V tríăkhiăđiăđúngălƠnăđng 74 Hình 5.2: Lch trái. 74 Hình 5.3: Lch phi 75 Hình 5.4: Sai lch do du ch đngăầầầầầầầầầầầầầầầầầ 77 1 Chngă1 TỌ ̉ NGăQUAN 1.1. Tô ̉ ngăquanăchungăvê  ălố ̃ nhăv ̣ cănghiênăc  u 1.1.1. Gii thiu Nhn dng đngăđi là mt trong nhng vnăđ rt quan trng trong nhiu ng dng v các h thng h tr giao thông t đng,ăđặc bit trong các h thngăđu khin xe t đng. Cùng vi s phát trinăvt bc vtăđ x lý ca máy tính, giá thành ca các thit b h tr ngày càng gim thì các nghiên cu v h thngăđiu khin xe t đngăngƠyăcƠngăđc phát trin cùng vi s phát trin ca h thng giao thôngă thôngă minh.ă Đƣă cóă nhiu nghiên cu tp trung vào bài toán phát hin làn đng và mt s kt qu bcăđuăđt đc đã cho thy nhng tín hiu kh quan. Trong bài toán phát hinălƠnăđng có 3 loi mc tiêu chính là: (i) cnh báo khi chuynălƠnăđng, (ii) h tr ngi trong quá trình lái xe, và (iii)ăđiu khin xe t đng. i) Hệ thống thông báo khi chuyển làn đường 1 : Trong mc tiêu này, yêu cu đặt ra là h thng phiă thôngă báoăđcă khiă xeăthayăđổiălƠnăđng. Vnăđ quan trng nht cn gii quyt  đơyălƠălƠmăsaoăd đoánăđc chính xác quỹ đo ca xe tngăng viăđng biên caălƠnăđng. ii) Hệ thống hỗ trợ người điều khiển xe 2 : Trong mc tiêu này, vnăđ quan trngălƠăgiúpăngiăđiu khinăxeăchúăỦăđcălƠnăđng d dƠngăhn.ăHayănóiăcáchă khác,ăngiăđiu khin s đc h thng giăỦăcácălƠnăđng. Hu ht các nghiên cuăđu tp trung  mc tiêu này. iii) Hệ thống hỗ trợ điều khiển xe tự động 3 : Vi mc tiêu h tr điu khin xe t đng, yêu cuăđặt ra là h thng cnăđaăraăđcălƠnăđng sp ti mà xe s di 1 Lane-Departure-Warning Systems 2 Driver-Attention Monitoring Systems 3 Automated Vehicle-Control Systems 2 chuyn. Vnăđ quan trngăđi vi mc tiêu này là hn ch đc sai s tính toán trong vicăcălng v trí caăxeăvƠălƠnăđng. Hình 1.1: Minh ha các mc tiêu khác nhau trong bài toán phát hing a) Mng. b) Mc tiêu h tr u khin xe. c) Mu khin xe t ng. [1] Trongăca  cămu ̣ cătiêuătrên , mc tiêu phc v cho h thngă điu khin xe t đngăđcăđánhăgiáălƠăkhóănht. Hin tiăhng nghiên cuănƠyăđangăthuăhútăđc nhiu s quan tâm ca các nhóm nghiên cu,ătrongăđóăcóăc nhng nhóm lnănhă nhóm ca CMU 4 , hay nhóm ca MIT 5 vi nhng cuc thi lnănhăDARPA.ăNghiênă cu caăđ tài nằm ch yu  mc tiêu này. Tuy vy vn còn nhiuăkhóăkhĕnătn ti trong vic gii quyt bài toán vi mcătiêuănƠyănóiăriêngăcũngănhătoƠnăb bài toán phát hinălƠnăđng nói chung. Cácăkhóăkhĕnăcóăth ch raănhăsau: - Phn ln yêu cuăđòiăhỏi ng dng phi x lý  thi gian thc. Trong rt nhiu nghiên cu,ănhă [2] các kt qu đtăđc khá tt, tuy nhiên nghiên cu này vnăchaăthcăthiăđc trong thi gian thc. 4 Carnegie Mellon University 5 Massachusetts Institute of Technology 3 - S khóăkhĕnădoăcácăduăphơnăcáchălƠnăđng (lane-marking) không rõ nét hoặc b che lpầăCácăvíăd nƠyăđc th hinătrongăHìnhă1.2ăđc ly từ kt qu kho sát ca McCall và cng s trong [1]. Hình 1.2: Nhng ví d v các tình hung trong bài toán phát hing ng b che bi bóng nng không rõ nét. d) ng kt hp nhiu long b che bi bóng ng hoàn toàn b mt du. [1] [...]... x lý nh là ma tr n vuông nhỏ v i m t s l đi m nh, ví d 3x3 15 Hình 2.6: Đi m ảnh ở trong một miền lân cận [16] Cho đi m nh p (x,y) : 4 t aăđ hàng xóm v i c t và hàng có t aăđ l năl t là (x+1, y), (x-1, y), (x, y+1), (x, y-1) ký hi u là t p N4(p) (Hình 2.7a).ă4 đi m nh hƠngăxómătheoăđ ng chéo có t a đ l năl t là (x+1, y+1), (x+1, y-1), (x-1, y+1), (x-1, y-1) ký hi u là t p ND(p) (Hình 2.7b) T pă8 đi. .. trên các th t c phân tích d li u Nhìn chung, dù là mô hình nào và kỹ thu t nh n d ng ra sao, m t mô hình nh n d ng có th tóm t tătheoăs ăđ Hình 2.10 Hình 2.10: Sơ đồ chung của hệ thống nhận dạng [17] 23 2.1.3.8 N n ch nh bi n d ng nh thu nh năth ng b bi n d ng do các thi t b quang h căvƠ đi n t nhămongămu n nhăthuănh n Hình 2.11: ̉nh thu nhận và ảnh mong muôn [15] Đ kh c ph căng i ta s d ng các phép... n cho nh 2.1.3.11 Trích ch năđặc đi m Cácă đặcă đi m c aă đ iă t ngă đ c trích ch n tuỳ theo m că đíchă nh n d ng trong quá trình x lý nh Có th nêu ra m t s đặc đi m c a nhăsauăđơy: - Đặc đi m không gian: Phân b m c xám, phân b xác su t,ăbiênăđ , đi m u n v.v Đặc đi m bi năđổi: Cácăđặc đi m lo iănƠyăđ c trích ch n bằng vi c th c hi n l c vùng (zonal filtering) Các b vùngăđ - c g iălƠăắmặt n đặc đi. .. uădiễnăbĕngămaătrơ ̣n đi ̉m : Hình 2.9: Biểu diễn ảnh bằng ma trận đi m a, ảnh thật; b, ảnh được Zoom; c, Mô tả ảnh băng ma trận đi ̉m [16] Môăhốnhăhoaăảnh: - Môăhốnhăcảmănhơ ̣năảnh : LƠămô hình bi uădi năthôngăquaăcácăthu cătínhăc mă nhơ ̣năảnhă (mƠuăs c , c ngăđô ̣ăsang ), cácăthu cătínhăv ăth iăgian , cácăc mă nhơ ̣năvêăphôiăcảnh, bôăcu ̣c - Môăhốnhăbôăcu ̣c : LƠămô hình bi uădi năth ăhi... đoăđ t i.ăC c trên b mặt c aăđ iăt ng t i đi m ngăđ sáng c a tia ph n x ph thu c vào góc t i và h s ph n x c a b mặt Hình 2.14: Mô hình màu HSV [16] 2.1.5.5 Mô hình màu YIQ Môă hình mƠuă YIQă lƠă môă hình mƠuă đ c ng d ng trong truy n hình màu bĕngăt n r ng t i Mỹ,ă vƠădoăđóănóăcóă m i quan h chặt ch v iă mƠn hình đ ho màu raster YIQ là s thayăđổi c a RGB cho kh nĕngătruy năphátăvƠătínhăt v iă tiă... khác, còn trí tu nhân t oăđ m c th pănh ă c dùng cho nh ng công vi c x lý m c caoănh ăthaoătácăkỦăhi u và qu n lý tri th c [14] Phơnăđo n và mô t nh là lý thuy t quan tr ng trong vi c th c hi năđ tài „ ng d ng x lý nhăđ nh n d ngălƠnăđ ng cho ô tô ch y t đ ng‟ 2.1.2 Bi u di n m t nh s 2.1.2.1 nh là gì ? M t b c nh là hình nhăt hoặc phong c nhăđ ngătr ngă (hình nh o) c a m tăđ iăt c t o b i m t thi t b... t păcác đi m nhănƠoăđóătrongă m t hình (S có th là toàn b - Hai đi m nhă păvƠăqăđ gi aăchúngăđ - c g i là k t n i v i nhau qua S n u t n t iăđ ng c thi t l p b iăcác đi m nh thu c S p nằm trong S, t păcác đi m nh k t n i v i p và thu căSăđ ph năđ - nh) c g i là thành c k t n i (connected component) N u S ch có 1 thành ph n k t n i,ăcóănghĩaălƠăm i đi m nh thu c S thì k t n i v i t t c các đi m nh còn... ng các công c hổ tr cho h th ngăgiaoăthôngăthôngăminhătrongăđóăcóăph c u c a th iăđ i ngăti n giao thông thông minh là yêu ng d ng x lý nhăđ nh n d ng đ ng đi cho ô tô ch y t đ ng nhằm m căđíchăđó 1.4 Nhi m v c aăđ tài và gi i h năđ tài 1.4.1 Nhi m v S d ng các công c x lý nhăđ xây d ngăch đ ngătrìnhănh n dàng làn ng cho ô tô ch y t đ ng 1.4.2 Gi i h năđ tài - Nghiên c uătrênămô hình đ - Các d u phơnăcáchălƠnăđ... nén này d a vào vi c th ng kê t n xu t xu t hi n c a giá tr các đi m nh,ătrênăc ăs đóămƠăcóăchi năl c mã hóa thích h p M t ví d đi n hình cho kỹ thu t mã hóa này là *.TIF - Nén nh không gian: Kỹ thu t này d a vào v trí không gian c a cácă đi m nhăđ ti n hành mã hóa Kỹ thu t l i d ng s gi ng nhau c aăcác đi m nh trong các vùng g n nhau Ví d cho kỹ thu t này là mã nén *.PCX - Nén nh s d ng phép bi nă đổi:ă... t thi t b quang h cănh ăm t t măg kính hoặc m t máy nh Hình nhăt gi i th c ba chi u (3D) c aăđ iăt ng,ăng ng,ăm t ng ngătr ngăđóălƠăăhaiăchi u (2D) ph n ánh th ng hay c nh v t Hình 2.1: ̉nh tương tự và ảnh số h́a [15] 11 i 2.1.2.2 nh s là gì ? M t nh kỹ thu t s ( nh s ) là m t bi u di n hai chi u c a m t hình nh s d ng m t s h u h nă cácă đi mă đi m nh, hay còn g i là ph n t nh, pels hoặc pixels Thôngăth . nh nh phân 13 Hình 2.4: nh xám hóa 14 Hình 2.5: nh màu RGB trong Matlab. 15 Hình 2.6: Đi m nh  trong mt min lân cn. 16 Hình 2.7: Ly mu hình ch nht liên thông. 16 Hình 2.8: CácăbcăcăbnătrongămtăhăthngăxălỦănhă. 19 Hình 2.9: Biu din nh bằng ma trn đi m 20 Hình 2.10:ăSăđ chung ca h thng nhn dng. 23 Hình 2.11: nhăthuănhơ ̣ năva  ăa ̉ nhămongămuôn 24 Hình 2.12: Các mô hình màu 27 Hình. vic 35 Hình 3.3: Ca sổ GUIDE Quick Start. 42 Hình 3.4: Ca sổ tngătác. 43 Hình 3.5: nhătáchăbiên. 45 Hình 3.6: nh góc mch đi n. 46 Hình 3.7: Dùng binăđổi Hough. 47 xii Hình 3.8: