ỨNG DỤNG xử lý ẢNH và THUẬT TOÁN LEVENBERG MARQUARDT TRONG VIỆC PHÁT HIỆN, NHẬN DẠNG BIỂN báo GIAO THÔNG

M CL C TRANG T A QUY T Đ NH GIAO Đ TÀI LÝ L CH KHOA H C i L I CAM ĐOAN ii L I C M N iii TÓM T T iv M C L C vi CÁC T VI T T T ix DANH SÁCH CÁC HÌNH x CH NG 1: GI I THI U 1.1 Tổng quan tình hình nghiên c u 1.2 Các k t qu nghiên c u vƠ ngoƠi n c đư công bố 1.2.1 Các k t qu nghiên c u n c 1.2.2 Các k t qu nghiên c u ngoƠi n c 1.3 Nhi m v c a đ tài 1.3.1 Yêu cầu c a đ tài 1.3.2 Nội dung cần th c hi n CH NG 2: C S LÝ THUY T X LÝ NH 2.1 Các lý thuy t xử lý nh 2.1.1 Không gian màu 2.1.2 Các toán tử hình thái 11 vi 2.1.3 L c trung v (Median Filter) 19 2.2 Th vi n th giác máy tính mã nguồn m OpenCV 21 2.2.1 Gi i thi u th vi n mã nguồn m OpenCV 21 2.2.2 L ch sử OpenCV 22 2.2.3 Ki n trúc c a OpenCV 23 2.3 Đ ng cong Gielis 24 2.4 Thu t toán tối u Levenberg-Marquardt 26 CH NG 3: THI T K VÀ XÂY D NG CH NG TRỊNH 28 3.1 M c đích 28 3.2 Ch c c a ch 3.3 Xây d ng ch ng trình 28 ng trình 29 3.3.1 Khối IHLS_NHS 29 3.3.2 Khối ti n xử lý 32 3.3.3 Khối xử lỦ đ ng biên 36 3.3.4 Góc quay offset 40 3.3.5 Khối tái t o hình d ng dùng đ 3.4 Ch ng cong Gielis 43 ng trình trình nh n d ng máy tính 46 CH NG 4: THI T K VÀ TH C HI N H TH NG NHÚNG PHÁT HI N VÀ NH N D NG BI N BÁO 49 4.1 Yêu cầu thi t k 49 4.2 CƠi đặt cho kit nhúng 51 4.2.1 L a ch n h u hành 51 vii 4.2.2 CƠi đặt h u hành 52 4.2.3 Kh i động h u hành giao di n LXTerminal 53 4.2.4 CƠi đặt th vi n OPENCV cho QT, mã nguồn C++ 54 4.2.5 CƠi đặt driver vƠ th vi n cho Pi Camera 58 4.2.6 CƠi đặt th vi n GPIO kit nhúng 58 4.2.7 Xây d ng ch ng trình C++ kit nhúng 59 4.3 L u đồ gi i thu t tổng quát ch CH NG 5: K T QU ng trình th c thi kit nhúng 59 TH C HI N 63 5.1 Các nh đ a vƠo thử nghi m vƠ đánh giá 63 5.2 M ch thi công 73 CH NG 6: K T LU N VÀ H NG PHÁT TRI N 74 6.1 K t lu n 74 6.2 H ng phát triển 75 TÀI LI U THAM KH O 76 viii CÁC T VI T T T CPU GB HSI IPP MB IPP MB ML OpenCV ORC PCA RGB SVM NHS IHLS RO GC CW CCW COM LM Central Processing Unit Gigabyte Hue ậ Saturation ậ Intensity Intergrated Performance Primitives Megabyte Intergrated Performance Primitives Megabyte Machine Learning Open Computer Vision Optical Character Recognition Principle Components Analysis Red ậ Green ậ Blue Support Vector Machine Normalized Hue Saturation Improved Hue Luminance and Saturation Rotational Offset Gielis Curve Clock Wise Counter Clock Wise Centre Of Mass Levenberg-Marquardt ix DANH SÁCH CÁC HÌNH HÌNH TRANG Hình 1.1 Mô hình SVM đ c đ ngh [1] Hình 1.2 Tổng quan đ tƠi dùng đặc tr ng c c phân l p SVM [3] Hình 1.3 Mô hình nh n d ng DVM mà nhóm tác gi đ xuất [6] Hình 1.4 Mô hình xử lý nh n d ng biển báo giao thông c a bƠi báo ắA System for Traffic Sign Detection, Tracking, and Recognition Using Color, Shape, and Motion Information” [7] Hình 1.5 Mô hình phát hi n biển báo giao thông c a bƠi báo ắColor-Based Road Sign Detection and Tracking” [8] Hình 2.1 Mô hình không gian màu RGB Hình 2.2 Mô hình không gian màu HSL 11 Hình 2.3 nh vƠ đối t ng nh 12 Hình 2.4 Quan h gi a hai t p h p 13 Hình 2.5 Phép giãn nh phân 15 Hình 2.6 Quá trình quét c a phần tử cấu trúc hình nh nh phân 16 Hình 2.7 Phép co nh phơn hai đối t ng 17 Hình 2.8 Quá trình th c hi n phép đóng nh 18 Hình 2.9 Minh h a phép đóng nh ph ng di n Ủ nghĩa hình h c 19 Hình 2.10 Cách th c ho t động c a l c trung v 19 Hình 2.11 Quá trình phát triển c a OpenCV 23 Hình 2.12 Cấu trúc c s c a OpenCV 24 x Hình 2.13 Một số thông số c a đ ng cong Gielis hình d ng (v i a=b=1) 25 Hình 2.14 Mô hình h c đ n gi n Matlab h t a độ c c (a’, b’, c’, d’) h t a độ Descart (a, b, c, d) 25 Hình 3.1 S đồ gi i thu t tổng quát 28 Hình 3.2 S đồ khối phát hi n biển báo giao thông 29 Hình 3.3 nh ngõ vào(a) ngõ ra(b) c a khối IHLS-NHS 30 Hình 3.4 S đồ khối IHLS-NHS 30 Hình 3.5 nh nh phơn sau đ c phơn ng ỡng để lấy vùng đặc tr ng (vùng màu tr ng nh ng pixel c a nh ngõ vƠo mang mƠu đỏ) 32 Hình 3.6 nh ngõ vào c a khối ti n xử lý 33 Hình 3.7 nh ngõ c a khối ti n xử lý 33 Hình 3.8 S đồ khối c a ti n xử lý 33 Hình 3.9 Các nh ngõ vào c a khối tăng c ng nh 34 Hình 3.10 nh ngõ c a khối tăng c Hình 3.11 nh ngõ vƠo ch a lo i bỏ đối t Hình 3.12 nh ngõ c a khối lo i bỏ đối t Hình 3.13 nh nh phân ch a điểm bao lồi 36 ng nh 34 ng nhỏ không quan tâm 35 ng nhỏ không quan tâm 35 Hình 3.14 Đ ng biên c a đối t ng tr c (a) sau xử lý (b) (màu tr ng lƠ điểm thuộc biên đối t ng) 37 Hình 3.15 Kho ng cách t điểm biên đ n đ Hình 3.16 Kho ng cách h t điểm biên đ n đ ng thẳng nối hai điểm bao lồi 37 ng thẳng nối điểm bao lồi 38 Hình 3.17 S đồ khối c a khối xử lý biên 38 Hình 3.18 Ngõ vào c a khối xử lỦ biên, điểm mƠu đỏ lƠ điểm bao lồi, t p h p điểm màu tr ng lƠ đ ng biên c a đối t ng 39 xi Hình 3.19 Ngõ c a khối xử lý biên, v i ng ỡng (kho ng cách tối đa cho phép) (các điểm màu tr ng lƠ đ ng biên m i sau đ c xử lý) 39 Hình 3.20 Góc quay offset (Rotational offset - RO) 40 Hình 3.21 S đồ khối c a khối Rotational offset 40 Hình 3.22 Mô t Rotational Offset 41 Hình 3.23 Các điểm đ ng biên b dẫn đ n k t qu sai 42 Hình 3.24 Hình nh b che ch n dẫn đ n k t qu sai 42 Hình 3.25 Các đầu vƠo vƠ đầu c a khối tái t o hình d ng dùng đ ng cong Gielis 43 Hình 3.26 S đồ khối c a khối tái t o hình d ng c a biển báo v i đ ng cong Gielis 43 Hình 3.27 S đồ gi i thu t c a thu t toán Levenberg-Marquardt 44 Hình 3.28 Giao di n ch Hình 3.29 M ng trình 47 nh cần xử lý 47 Hình 3.30 K t qu sau xử lý 48 Hình 4.1 H thống phát hi n nh n d ng biển báo giao thông 50 Hình 4.2 Module c m bi n siêu âm SRF05 50 Hình 4.3 Camera pi dùng để thu nh n hình nh 51 Hình 4.4 Kit nhúng Raspberry PI khối c b n kit 51 Hình 4.5 Format thẻ nh vƠ cƠi đặt h u hành lên kit nhúng 52 Hình 4.6 Thi t l p thông số c b n cho h u hành 53 Hình 4.7 Ch ng trình nh p l nh c a h u hành - LXTerminal 53 Hình 4.8 Cấu hình Raspberry Pi để nh n di n camera 58 Hình 4.9 S đồ gi i thu t ch ng trình phát hi n nh n d ng biển báo giao thông kit nhúng 60 xii Hình 4.10 Màn hình hiển th kit nhúng, thể hi n kho ng cách gi a v t c n kit nhúng 61 Hình 4.11 Camera ch p nh đ a vƠo khối xử lý ( nh ngõ vào c a khối xử lý) 61 Hình 4.12 Màn hình hiển th kit nhúng, thể hi n đư xử lý xong biển báo giao thông 62 Hình 4.13 K t qu xử lỦ ch ng trình kit nhúng 62 Hình 5.1 Phát hi n nh n d ng biển báo giao thông nguy hiểm(biển báo hình tam giác) 64 Hình 5.2 Phát hi n nh n d ng biển báo cấm (biển báo hình tròn) 65 Hình 5.3 Phát hi n nh n d ng biển d ng l i (biển báo tám c nh) 66 Hình 5.4 Phát hi n nh n d ng biển ch dẫn (biển báo hình vuông màu xanh) 67 Hình 5.5 Phát hi n nh n d ng nhiểu biển báo hình 68 Hình 5.6 K t qu thử nghi m môi tr ng ban đêm 69 Hình 5.7 K t qu thử nghi m môi tr ng có s Hình 5.8 K t qu thử nghi m v i nh ch p đ Hình 5.9 Các tr c ng mù vƠ m a nhẹ 69 tốc độ cao 70 ng h p nh n d ng sai 70 Hình 5.10 Xử lý biển báo tam giác kit v i hình nh đ c ch p t camera 72 Hình 5.11 Xử lý biển báo hình tròn kit v i hình nh đ c ch p t camera 72 Hình 5.12 Xử lý biển báo l c giác kit v i hình nh đ c ch p t camera 73 Hình 5.13 M ch thi công phần c ng 73 xiii CH NG 1: GI I THI U Cùng v i s phát triển c a thành t u khoa h c kỹ thu t hi n đ i, s động c ch kinh t th tr ng, đ i sống văn hóa đ c nâng cao, chất l ng sống đ c c i thi n rõ nét, vấn đ v giao thông t ng b c đ c quan tâm nâng cao góp phần vào s phát triển chung an toàn b n v ng c a toàn xã hội Giao thông Vi t Nam nh ng vấn đ nóng c a xã hội Nóng t quy mô phát triển đ n chất l ng c s h tầng vƠ h n h t tình hình tai n n giao thông đ ng Theo số li u m i t y ban An Toàn Giao Thông Quốc Gia, ch tháng đầu năm 2014 (từ ngày 16/12/2014 đến 15/7/2014), Vi t Nam x y 6.410 v tai n n giao thông, làm ch t 5.635 ng i, làm b th ng 3.945 ng i Đơy lƠ số đáng báo động đối v i đất n c hòa bình, đáng để m i thành phần xã hội quan tơm đánh giá T tình hình giao thông th c t t i Vi t Nam, xét phần nguyên nhân v tai n n giao thông đ ng tài x lái xe không làm ch tốc độ, không chấp hành hi u l nh giao thông, không quan sát không nh n lo i biển báo tín hi u giao thông Nguyên nhân c a vấn đ tài x m t mỏi, thi u t p trung nhi u y u tố ch quan khách quan khác T kh o sát th c t đối v i tài x mà thành phần ch y u tài x taxi K t qu cho thấy s mong muốn có h thống có kh c nh báo đ c trang b xe giúp h ý th c h n v nh ng nguy hiểm ti m ẩn u khiển ph ng ti n l u thông, giúp b o v tài s n, tính m ng c a ng i tham gia rộng h n n a b o v h nh phúc c a gia đình vƠ toƠn xư hội T nh ng lý th c ti n trên, lu n văn nƠy đ nh h ng nghiên c u gi i thu t Levenberg- Marquardt nhằm đ a đ n gi i pháp xây d ng h thống, góp phần h n ch nh ng tai n n giao thông gi m thiểu hóa nh ng h u qu sau tai n n, thông qua ý t ng h thống phát hi n nh n d ng biển báo giao thông nguy hiểm để c nh báo, thông tin cho ng i u khiển ph ng ti n tham gia giao thông H thống ho t động th i gian th c, nh n d ng phát hi n biển báo giao thông m i hoàn c nh u ki n x y th c t Lu n văn h ng t i ng d ng h thống nhúng, camera v i ki n th c v xử lý nh số, l p trình bẳng ngôn ng l p trình C++ ngôn ng l p trình nhúng(python) v i th vi n mã nguồn m OpenCV 1.1 Tổng quan tình hình nghiên c u Ngày khoa h c kỹ thu t phát triển m nh m , ngƠnh u khiển h c t động hóa đư có nh ng b c ti n l n Đi u khiển h c t động hóa ngày đóng vai trò quan tr ng vi c tăng suất lao động, chất l ng an toàn cho sống c a ng i Trong xã hội công nghi p ngày nay, vi c ng d ng robot t hành, cánh tay máy, có kh ho t động độc l p ngày phổ bi n Để có kh thông minh đó, chúng ph i có kh nhìn, nh n d ng tình huống, xử lý tình nh ng i Đáp ng nhu cầu đó, xử lý nh phần quan tr ng c a trình u khiển h c t động hóa D li u v hình nh có l ng thông tin l n vƠ xác h n lo i d li u t c m bi n khác Đi u giúp cho vi c gi i quy t vấn đ lĩnh v c u khiển t động d dƠng h n Vấn đ xây d ng h thống nh n d ng biển báo giao thông vấn đ l n vƠ đư có nhi u h ng ti p c n để gi i quy t toán Vấn đ nƠy đ c quốc gia phát triển v ngành t động hóa quan tâm t s m vƠ đư có nhi u công trình nghiên c u kh quan Tuy nhiên hi n h thống c nh báo hỗ tr tài x hi n giai đo n đ c trung tâm nghiên c u c a th gi i, hãng xe ô tô thử nghi m, đánh giá vƠ ch a th c đ a vƠo sử d ng th c t Để phát hi n, nh n di n c nh báo, đ m b o tính xác b t buộc h thống cần ph i có tốc độ xử lý nhanh, ho t động ổn đ nh th i gian th c Một s n phẩm có tính ng d ng cao ph i có tốc độ xử lỦ đ nhanh, xác, tin c y, ổn đ nh, có kh m rộng nâng cấp thêm Đó lƠ y u tố quan tr ng vi c xây d ng phát triển h thống 1.2 Các k t qu nghiên c u vƠ ngoƠi n c đư công b 1.2.1 Các k t qu nghiên c u n c a “Phát phân loại biển báo giao thông dựa SVM thời gian thực” c a Lê Thanh Tâm, Trần Thái S n vƠ Seichii Mita [1] Đơy lƠ module nằm d án h thống lái xe t động c a h c vi n Công Ngh Toyota đ c tài tr b i t p đoƠn ô tô Toyota Tác gi trình bày cách ti p c n m i hi u qu sử d ng đặc tr ng mƠu SVM (Support Vector Machine) để phát hi n vùng ng cử cho biển báo giao thông th i gian th c Đặc tr ng mƠu đ c xử lý vùng c a pixel để sử d ng thông tin pixel lân c n thay t ng pixel nh cách ti p c n đư có Sau đó, phép bi n đổi Hough thu t toán phát hi n contour đ c áp d ng để phân l p nh khử nhi u d a đặc tr ng hình h c c a biển báo giao thông Mô hình SVM đ c đ ngh đ c thể hi n t i hình 1.1 (d) nh đư lấy bao lồi (e) nh đư xử lỦ biên (f) nh sau khối tái t o đ ng cong Gielis Hình 5.1 Phát hi n nh n d ng biển báo giao thông nguy hiểm (biển báo hình tam giác) - Nhóm bi n báo cấm: Có d ng hình tròn (tr biển số "d ng l i" có hình c nh đ u) nhằm báo u cấm h n ch mƠ ng d ng đ i sử ng ph i t đối tuơn theo Hầu h t biển đ u có vi n đỏ, n n màu tr ng, n n có hình v mƠu đen đặc tr ng cho u cấm h n ch s l i c a ph ng ti n c gi i, thô s vƠ ng Nhóm biển báo cấm gồm có 39 kiểu (a) nh ngõ vƠo 64 i (b) nh sau phơn ng ỡng mƠu (c) nh sau tăng c (d) nh đư lấy bao lồi (f) nh sau khối tái t o đ ng nh (e) nh đư xử lỦ biên ng cong Gielis Hình 5.2 Phát hi n nh n d ng biển báo cấm (biển báo hình tròn) - Bi n d ng l i: biển có hình tám c nh đ u (a) nh ngõ vƠo 65 (b) nh sau phơn ng ỡng mƠu (d) nh đư lấy bao lồi (f) nh sau khối tái t o đ (c) nh sau tăng c ng nh (e) nh đư xử lỦ biên ng cong Gielis Hình 5.3 Phát hi n nh n d ng biển d ng l i (biển báo tám c nh) - Nhóm bi n ch d n: Có d ng hình ch nh t hình vuông n n mƠu xanh lam để báo cho ng h i sử d ng đ ng bi t nh ng đ nh ng cần thi t nh ng u có ích khác hƠnh trình Nhóm biển ch dẫn gồm có 48 kiểu 66 (a) nh ngõ vƠo (b) nh sau phơn ng ỡng mƠu (d) nh đư lấy bao lồi (f) nh sau khối tái t o đ (c) nh sau tăng c ng nh (e) nh đư xử lỦ biên ng cong Gielis Hình 5.4 Phát hi n nh n d ng biển ch dẫn (biển báo hình vuông màu xanh) 67 (a) nh ngõ vƠo (b) nh sau phơn ng ỡng mƠu (d) nh đư lấy bao lồi (f) nh sau khối tái t o đ (c) nh sau tăng c ng nh (e) nh đư xử lỦ biên ng cong Gielis Hình 5.5 Phát hi n nh n d ng nhiểu biển báo hình Các môi tr ng đ c th nghi m đánh giá lƠ: Môi tr ng ánh sáng ban ngƠy t gi đ n 17 gi u ki n th i ti t tốt, không m a, không b ng c sáng, biển báo rõ rƠng 68 không b che khuất, nh k t qu t i hình 5.1, hình 5.2 hình 5.3 hình 5.4 Môi tr ng ban đêm có h thống chi u sáng công cộng V i môi tr ng nƠy b ph thuộc vƠo nhi u y u tố v thi t b thu hình chất l ng thấp, ánh sáng môi tr ng y u, vƠ b lẫn nhi u ánh sáng t đèn xe ch y ng c chi u, ánh sáng t b ng hi u bên đ ng (a) nh ngõ vƠo (b) nh ngõ Hình 5.6 K t qu thử nghi m môi tr - Môi tr ng m a, có s ng mù, nhi u mơy hay ánh sáng y u (a) nh ngõ vƠo (b) nh ngõ Hình 5.7 K t qu thử nghi m môi tr nhẹ - ng ban đêm nh b m thu hình 69 tốc độ cao ng có s ng mù vƠ m a (a) nh ngõ vƠo (b) nh ngõ Hình 5.8 K t qu thử nghi m v i nh ch p đ c tốc độ cao Các nh nh n d ng sai: (a) nh b che ch n b i đối t ng khác (b)Biển báo đặc bi t (biên c a nh có mƠu không liên t c) biển báo h t đ ng u tiên (c)Góc ch p nh l ch nên nh n d ng hình d ng Hình 5.9 Các tr 70 ng h p nh n d ng sai K t qu phát hi n nh n d ng biển báo giao thông đ c tóm t t t i b ng T 170 hình có biển báo, 143 hình phát hi n xác biển báo giao thông, 122 hình nh n d ng xác hình d ng c a biển báo Các tr h p phát hi n sai (27 hình), nguyên nhân nh ng đối t ng ng có hình d ng màu s c v i biển báo giao thông xuất hi n nh L u Ủ lƠ nh ng biển báo kho ng cách xa (biển báo xuất hi n nhỏ hình) h thống không nh n d ng đư đ c thống bỏ qua khối ti n xử lý (c thể khối lo i bỏ đối tu ng nhỏ không quan tâm) Một số tr ng h p nh n d ng sai góc ch p l ch, không rõ hình d ng (ví d : hình tròn hay tám c nh) Ngoài h thống nh n d ng biển báo b bi n d ng, b che ch n, d ng biển báo đ ặc bi t … B ng : Tóm t t k t qu phát hi n nh n d ng biển báo giao thông Phát hi n (%) Phát hi n Nh n d ng (%) Không phát Nh n d ng Nh n hi n d ng sai Biển báo vi n đỏ 84.5 15.5 85.8 14.2 Biển báo vi n xanh 82.1 17.9 82.6 17.4 Tổng cộng 83.3 16.7 84.2 15.8 Các nh nh n d ng kit nhúng: Nhìn chung k t qu phát hi n nh n d ng biển báo giao thông kit giống k t qu phát hi n nh n d ng máy tính K t qu xử lỦ kít nhúng đ c thể hi n nh hình 5.9, hình 5.10 hình 5.11 (a) nh ngõ vƠo ch p t camera nhúng 71 (b) nh sau phơn ng ỡng mƠu ậ (c) nh ngõ hiển th mƠn hình nh seg.jpg ậ nh result.jpg Hình 5.10 Xử lý biển báo tam giác kit v i hình nh đ camera c ch p t (a) nh ngõ vƠo ch p t camera nhúng (b) nh sau phơn ng ỡng mƠu (c) nh ngõ hiển th mƠn hình Hình 5.11 Xử lý biển báo hình tròn kit v i hình nh đ camera 72 c ch p t (a) nh ngõ vƠo ch p t camera nhúng (b) nh sau phơn ng ỡng mƠu (c) nh sau tăng c Hình 5.12 Xử lý biển báo l c giác kit v i hình nh đ ng nh c ch p t camera 5.2 M ch thi công Kh i x lý trung tâm Kh i c m bi n kho ng cách Kh i camera thu nh n nh Hình 5.13 M ch thi công phần c ng 73 NG 6: K T LU N VÀ H CH NG PHÁT TRI N 6.1 K t lu n - V i m c tiêu đư đ ra, đ tƠi đư ng d ng đ toán tối h c kỹ thu t xử lý nh, thu t u Levenberg-Marquardt vào toán xây d ng, thi t k h thống ng t i vi c phát hi n nh n d ng hình d ng biển báo giao thông đu ng Đ tƠi đư xơy d ng đ c ch ng trình th c thi máy tính v i ph ng pháp đ xuất, đồng th i chu ng trình nƠy lƠ ti n đ , c s nghiên c u để xây d ng h thống tối u kít nhúng Các ch ng trình, h thống phát hi n xác vùng nh biển báo giao thông hình d ng c a Đ tƠi đư t p trung vào tất c hình d ng c a biển báo giao thông đ ng hi n có (hình tròn, hình tam giác, hình ch nh t, hình tám c nh đ u) hai màu s c vi n c b n c a biển báo (màu xanh vƠ mƠu đỏ) u ki n môi tr - Đơy lƠ b ng, khí h u c nh quan khác c đầu để phát triển toán phát hi n nh n d ng biển báo giao thông hoàn ch nh sau nƠy… Điểm b t c a ph ng pháp nƠy lƠ không cần ph i thu th p d li u, bỏ qua giai đo n huấn luy n mẫu Đặc điểm khác v i ph ng pháp nh n d ng đư đ c công bố tr c đơy, m h ng nghiên c u m i để gi i quy t vấn đ - V ch u ki n môi tr ng trình demo ch y máy tính, sau thử nghi m ng khác (m a, nhi u mây, ánh sáng y u),môi tr ng chi u sáng khác (ban ngƠy vƠ ban đêm), u ki n c a biển báo (b che khuất, b phai m , bong tróc, b bẩn b i s n, b i m c độ ít), ch ng trình đ t k t qu tốt, xuất nh ngõ ra, thông tin nh, tham số qua t ng khối, v y ng i l p trình d dàng nghiên c u, phát triển nh ch nh, tối u h thống tìm nguyên nhân lỗi T đó, h thống s đ - V ch c tối u n u ta có nhi u th i gian xử lý kỹ t ng khối ng trình ch y kit nhúng, lƠ b demo máy tính, k t qu đ t đ c t c k th a c a ch ng trình ng đồng v i k t qu máy tính Tuy s k t h p c a nhi u ngôn ng l p trình (python C++), phối h p ho t động c a nhi u module khác nhau, nh ng h thống ch y ổn đ nh xác, ch y t động kit đ c cấp nguồn Tuy nhiên tốc độ c a kit ch m h n so v i máy tính, nên th i gian xử lý nh ch a đ t yêu cầu xử lý th i gian th c 74 6.2 H ng phát tri n -Tối u hóa gi i thu t h n để đ t độ xác cao h n, vƠ tốc độ xử lý nhanh h n Để lu n văn có tính ng d ng cao sống - Ph ng pháp đ xuất m rộng v i phát hi n nh n d ng nh ng biển báo giao thông có vi n đen, tr ng hay vàng - Ph ng pháp phơn ng ỡng màu s c d a vào khối NHS cần ph i c i thi n phát triển h n n a d b nh h ng l n b i ánh sáng tối, ánh sáng không thu n l i vƠ đ a ph ng pháp phơn bi t v t thể màu s c vƠ kích th c gần giống biển báo giao thông để tránh h thống nh n d ng nhầm - Xử lỦ tr ng h p biển báo b che ch n, bi n d ng góc ch p l ch Phát triển gi i thu t tìm tâm v trí tâm c a đ ng cong m 75 TÀI LI U THAM KH O [1] L T Tơm, T T S n and S Mita, "Phát hi n phân lo i biển báo giao thông d a SVM th i gian th c," Tuyển tập Công trình Nghiên cứu Công nghệ Thông tin Truyền thông, 2009 [2] Đ N Anh, "Thu t toán phát hi n chuyển động," Luận văn thạc sĩ nghành kỹ thuật điện, Trường Đại Học Công Nghệ, 2010 [3] N D Khánh, L Đ Duy and D A Đ c, "Phát hi n biển báo giao thông dùng đặc tr ng c c (local features)," in Hội thảo FAIR (Fundamental And Applied IT Research) lần V, Tháng 08-2011 [4] C Y Yang, C S Fuh, S W Chen and P S Yen, "A Road Sign Recognition System Based on Dynamic Visual Model," CVPR’03 Proceedings of the 2003 IEEE computer society conference on Computer vision and pattern recognition, pp Pages 750-755, 2003 [5] C Bahlmann, Y Zhu, V Ramesh, M Pellkofer and T Koehler, "A System for Traffic Sign Detection, Tracking, and Recognition Using Color, Shape, and Motion Information," Proceedings IEEE Intelligent Vehicles Symposium, 2005 [6] Fuentes, L D Lopez and Olac, "Color-Based Road Sign Detection and Tracking," International Conference on Image Analysis and Recognition ICIAR), Montreal, CA, August 2007 [7] J Gielis, "A Generic Geometric Transformation that Unifies a Wide Range of Natural and Abstract Shapes," American Journal of Botany, p 333ậ338, 2003 [8] A Zelinsky, "Learning OpenCV -Computer Vision with the OpenCV Library (Bradski, G.R et al.; 2008)[On the Shelf]," Robotics Automation Magazine, IEEE, vol 16, pp 100-100, 2009 [9] H Fleyeh, "Color detection and segmentation for road and traffic signs," Cybernetics and Intelligent Systems, 2004 IEEE Conference on , vol vol.2, pp pp.809,814, 2004 [10] A de la Escalera, J Armingol, J Pastor and F Rodriguez, "Visual sign information extraction and identification by deformable models for intelligent vehicles," Intelligent Transportation Systems, IEEE Transactions on, vol vol.5, p 68, June 2004 [11] K Levenberg, "A Method for the Solution of Certain Non-Linear Problems in Least Squares," The Quarterly of Applied Mathematics, pp 164-168, 1944 [12] D Marquardt, "An algorithm for least-squares estimation of nonlinear parameters," Journal of the Society for Industrial and Applied Mathematics, pp 431-441, 1963 [13] P H Ng , "Nh n d ng đối t ng s d ng thu t toán Adaboost," Luận văn thạc sĩ 76 khoa học công nghệ thông tin, Trường Đại Học Huế, 2009 [14] N H N Khánh, "KBOT - wifi Robot - Robot tin h c l p trình u khiển qua Wifi," Đề tài tham dự Hội thi Tin học trẻ toàn quốc lần thứ XIX - 2013, 2013 [15] D Gavrila, "Traffic sign recognition revisited," DAGM-Symposium, pp 86-93, 1999 [16] R E Yoav Freund, "ắA Short Introdution to Boosting," Journal of Japanese Society for Artificial Intelligence, pp 771-780, September 1999 [17] M Lourakis, "A brief description of the Levenberg-Marquardt algorithm implemented by levmar," Institute of Computer Science, Foundation for Research and Technology, Hellas, 2005 [18] P M.Viola, "Rapid object detection using a boosted cascade of simple features," Proc IEEE Conf on Computer Vision and Pattern Recognition, Dec 2001 [19] G Loy and N Barnes, "Fast shape-based road sign detection for a driver assistance system," in Intelligent Robots and Systems, 2004 (IROS 2004) Proceedings 2004 IEEE/RSJ International Conference, vol 1, 2004, pp 70-75 [20] C Paulo and P Correia, "Automatic Detection and Classification of Traffic Signs," Image Analysis for Multimedia Interactive Services, 2007 WIAMIS '07 Eighth International Workshop on, pp 11-11, 2007 [21] I Qazi, O Alata, C Maloigne and J Burie, "Spatial structure characterization of textures in IHLS colour space," Acoustics, Speech and Signal Processing, 2009 ICASSP 2009 IEEE International Conference on, pp 1069,1072, 19-24 April 2009 [22] P.Sethna, M K.Transtrum and K.James, "Improvements to the Levenberg-Marquardt algorithm for nonlinear least-squares minimization," Journal of Computational Physics, January 30, 2012 77 [...]... u nh n bi t một số biển báo giao thông đ ng bộ t i Vi t Nam để đ a ra c nh báo cho lái xe Áp d ng thu t toán đ xuất đ a vƠo bài toán phát hi n và nh n d ng biển báo giao thông, nên ch có thể nh n d ng hình d ng biển báo giao thông (ví d : biển báo hình tròn, hình vuông, tam giác, l c giác…) không nh n d ng nội dung c a biển báo (ví d : biển báo nguy hiểm bên giác, biển báo tốc độ tối đa cho phép 60km/h….)... máy tính dùng để xử lý vi c phát hi n, theo v t và nh n d ng các biển báo giao thông d a trên màu s c, hình d ng và thông tin trong th i gian th c nh hình 1.4 Ph ng pháp ti p c n đ c trình bày trong bài báo gồm hai phần Phần đầu tiên sử d ng các đặc tr ng Haar-like k t h p v i bộ tăng tốc Adaboost để phát hi n biển báo Phần ti p theo, sau khi đư phát hi n và theo v t biển báo thì biển báo đ c phân lo... vi t ch trình để kiểm ch ng và mô t đ ng cong Gielis ng ng 3 Tìm hiểu các ph ng pháp xử lý nh, tăng c ng nh, xử lỦ điểm nh, xử lý biên và bao lồi … để trích lấy vùng nh đặc tr ng c a biển báo giao thông t đó ch xử lý trên vùng nh này 4 Vi t ch ng trình phát hi n và nh n d ng biển báo giao thông qua nh tĩnh bằng phần m m QT Creator trên Windows để có c s nghiên c u 7 và phát triển, h n n a các mã l... vấn đ và mong muốn có một gi i pháp để hỗ tr ng i lái xe vƠ nơng cao độ an toàn trong giao thông BƠi báo đ xuất một mô hình nh hình 1.3, g i là mô hình tr c quan động (Dynamic Visual Model) để phát hi n và nh n d ng các biển báo giao thông trên đ ng Đồng th i cũng trình bƠy nh ng khó khăn trong vi c nh n d ng biển báo nh : mƠu s c c a biển báo b phai m d i nh h ng c a ánh n ng mặt tr i, s n biển báo. .. Lopez và Olac Fuentes [6] Bài báo trình bày một n n t ng chung cho vi c nh n d ng và theo v t các biển báo giao thông ch sử d ng duy nhất một thông tin v màu s c Ph ng pháp ti p c n gồm hai phần Phần đầu sử d ng một t p phân phối Gauss để phát hi n đ ng và các biển báo giao thông Phần th hai là theo v t đối t ng đư đ c xác đ nh b c tr c đó Mô hình phát hi n biển báo giao thông đ c mô t nh hình 1.5 Theo... nhau nh trong môi tr ng ánh n ng g t, th i ti t mát, th i ti t âm u nhi u mây, biển báo b che khuất b i bóng râm, b h h i một phần, trong quang c nh đ ng nông thôn, đ ng thành phố đông xe … T nh ng yêu cầu trên ta xây d ng nên l u đồ gi i thu t tổng quát nh sau : nh đầu vào Nh n d ng biển báo giao thông Phát hi n biển báo giao thông Xuất nh k t qu Hình 3.1 S đồ gi i thu t tổng quát Biển báo giao thông. .. xác và ch c ch n s mang l i các đột phá 1.3 Nhi m v của đ tài 1.3.1 Yêu cầu của đ tài 6 M c tiêu c a lu n văn lƠ ng d ng các kỹ thu t xử lý nh, thu t toán tối u Levenberg- Marquardt vào vi c thi t k xây d ng một h thống h ng t i vi c phát hi n và nh n d ng hình d ng các biển báo giao thông đ ng bộ đ c thu v t camera và hiển th thông tin nh n d ng Ph m vi nghiên c u: nghiên c u nh n bi t một số biển báo. .. cấp b i bài báo, h thống có thể phát hi n và phân lo i đ c một số biển báo giao thông v i t l chính xác cao trong đi u ki n 10frames/1 giây Hình 1.4 Mô hình xử lý nh n d ng biển báo giao thông c a bƠi báo ắA System for Traffic Sign Detection, Tracking, and Recognition Using Color, Shape, and Motion Information” [5] 5 c “Color-Based Road Sign Detection and Tracking ” c a Luis David Lopez và Olac Fuentes... nghiên c u và phát triển một h thống phát hi n, nh n d ng các biển báo giao thông đ ng bộ d a trên ng d ng một số hàm c a th vi n th giác máy tính mã nguồn m OpenCV, cùng v i các ph ng pháp xử lý nh và thu t toán tối u hóa Levenberg- Marquardt Đ tài t p trung nghiên c u các vấn đ c b n sau: 1 Nghiên c u gi i thu t Levenberg- Marquardt, c ph m vi ng d ng s lý thuy t và 2 Tìm hiểu th vi n th giác máy tính... đ c có thể dùng để nghiên c u thu t toán hoặc sử d ng trong các ng d ng th ng m i liên quan t i nh n d ng chuyển động c Phát hiện biển báo giao thông dùng đặc trưng cục bộ (local features)” c a Nguy n Duy Khánh, Lê Đình Duy vƠ D ng Anh Đ c [3] Đ tƠi dùng đặc tr ng c c bộ và bộ phân l p SVM (Support Vector Machine) để phát hi n biển báo giao thông Tổng quan thu t toán đ c tác gi trình bƠy nh theo hình