Nghiên cứu xử lý ảnh bằng labview hỗ trợ xe tự hành ngành công nghệ kỹ thuật ô tô

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHĨA LUẬN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT Ô TÔ NGHIÊN CỨU XỬ LÝ ẢNH BẰNG LABVIEW HỖ TRỢ XE TỰ HÀNH GVHD: TS NGUYỄN BÁ HẢI SVTH: TRẦN TẤN THÀNH NGUYỄN DƯƠNG LINH SKL 0 Tp Hồ Chí Minh, tháng 07/2019 KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP NGHIÊN CỨU XỬ LÝ ẢNH BẰNG LABVIEW HỖ TRỢ XE TỰ HÀNH SVTH : TRẦN TẤN THÀNH MSSV: 15145359 SVTH : NGUYỄN DƯƠNG LINH MSSV: 15145280 GVHD: TS NGUYỄN BÁ HẢI p hí inh, tháng 07 năm 2019 KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP Chuyên ngành: Công nghệ Kỹ thuật ô tô Tên đề tài NGHIÊN CỨU XỬ LÝ ẢNH BẰNG LABVIEW HỖ TRỢ XE TỰ HÀNH TRẦN TẤN THÀNH 15145359 SVTH : NGUYỄN DƯƠNG LINH MSSV: 15145280 GVHD: TS NGUYỄN BÁ HẢI SVTH : MSSV: p hí inh, tháng 07 năm 2019 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc Lập – Tự Do – Hạnh Phúc MINH KHOA CƠ KHÍ ĐỘNG LỰC TP Hồ Chí Minh, ngày … tháng … năm …… NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP ọ tên inh viên: Ầ Ấ MSSV: 15145359 (Email: 15145359@student.hcmute.edu.vn YỄ D Ơ Điện thoại: 0985214684) L (Email: 15145280@student.hcmute.edu.vn V: 15145280 Điện thoại: 0778731091) Chuyên ngành: ơng nghệ ỹ thuật Ơ tơ Lớp: 151453B Khóa: K15 Tên đề tài Ê Ứ XỬ LÝ Ả BẰ LABV EW – Ỗ Ợ XE Ự Nhiệm vụ đề tài hiệm vụ 1: ìm hiểu xử lý ảnh phần mềm LabV EW hiệm vụ 2: hận biết cảnh báo có tín hiệu đèn giao thông hiệm vụ 3: hân loại biển báo đọc tốc độ tối đa cho phép biển báo giới hạn tốc độ hiệm vụ 4: hận dạng vạch kẻ đường đưa cảnh báo lệch khỏi đường Sản phẩm đề tài Ngày giao nhiệm vụ đề tài: 02/04/2019 Ngày hoàn thành nhiệm vụ: 22/07/2019 TRƯỞNG BỘ MƠN CÁN BỘ HƯỚNG DẪN CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự – Hạnh phúc KHOA CƠ KHÍ ĐỘNG LỰC Bộ mơn: Điện tử Ơ tơ NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN ên đề tài: ghiên cứu xử lý ảnh LabV EW – hỗ trợ xe tự hành ọ tên inh viên: Ầ Ấ MSSV: 15145359 YỄ D Ơ L MSSV: 15145280 gành: ông nghệ ỹ thuật ô tô ọ tên V D: TS NG YỄ BÁ Ả I NHẬN XÉT Về hình thức trình bày & tính hợp lý cấu trúc đề tài: Về nội dung (đánh giá chất lượng đề tài, ưu/khuyết điểm giá trị thực tiễn) II NHỮNG NỘI DUNG CẦN ĐIỀU CHỈNH, BỔ SUNG III ĐỀ NGHỊ VÀ ĐÁNH GIÁ ề nghị (cho phép bảo vệ hay không): iểm đánh giá (theo thang điểm 10): p Chí Minh, ngày tháng năm 20… iảng viên hướng dẫn (Ký & ghi rõ họ tên) CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự – Hạnh phúc KHOA CƠ KHÍ ĐỘNG LỰC Bộ mơn: Điện tử Ơ tơ NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN ên đề tài: ghiên cứu xử lý ảnh LabV EW – hỗ trợ xe tự hành ọ tên inh viên: Ầ Ấ V: 15145359 YỄ D Ơ L V: 15145280 gành: ông nghệ ỹ thuật ô tô ọ tên V B: GV ThS LÊ Q A VŨ I NHẬN XÉT Về hình thức trình bày & tính hợp lý cấu trúc đề tài: Về nội dung (đánh giá chất lượng đề tài, ưu/khuyết điểm giá trị thực tiễn) II NHỮNG NỘI DUNG CẦN ĐIỀU CHỈNH, BỔ SUNG III ĐỀ NGHỊ VÀ ĐÁNH GIÁ ề nghị (Cho phép bảo vệ hay không): iểm đánh giá (theo thang điểm 10): p hí Minh, ngày … tháng … năm 20 iảng viên phản biện (Ký & ghi rõ họ tên) KHOA CƠ KHÍ ĐỘNG LỰC XÁC NHẬN HOÀN THÀNH ĐỒ ÁN ên đề tài: ghiên cứu xử lý ảnh LabV EW – hỗ trợ xe tự hành ọ tên inh viên: Ầ Ấ YỄ D Ơ V: 15145359 L MSSV: 15145280 gành: ông nghệ ỹ thuật ô tô au tiếp thu điều chỉnh theo góp ý iảng viên hướng dẫn, iảng viên phản biện thành viên ội đồng bảo án tốt nghiệp hoàn chỉnh theo yêu cầu nội dung hình thức hủ tịch ội đồng: iảng viên hướng dẫn: iảng viên phản biện: p hí Minh, ngày tháng 07 năm 2019 LỜI CÁM ƠN Lời đâu tiên chúng em xin chân thành cảm ơn tới toàn thể quý thầy cô trường đại học hạm ỹ huật hành hố hí inh nhiệt tình giảng dạy truyền đạt kiến thức quý báu cho chúng em suốt thời gian học tập trường ự giúp đỡ q thầy hoa hí ộng Lực tận tình giảng dạy truyền đạt kiến thức kinh nghiệm quý báu nghề ặc biệt, thầy guyễn Bá ải người thầy trước với nhiều năm kinh nghiệm đứng phía sau động viên, bảo định hướng đường cho chúng em lúc khó khăn ột lần nữa, chúng em xin chân thành cảm ơn kính chúc q thầy rường ọc hạm ỹ huật hành hố hí ại inh dồi sức khỏe, niềm vui nhiệt huyết với nghề giáo để góp phần vào nghiệp trăm năm trồng người Và đặc bệt, q thầy hoa hí ộng Lực lời chúc sức khỏe, hạnh phúc thành công húng em xin chân thành cảm ơn! p , ngày…tháng… năm 2019 hóm thực đề tài i TĨM TẮT ĐỀ TÀI ề tài “Nghiên cứu xử lý ảnh LabVIEW – hỗ trợ xe tự hành” tìm hiểu phương pháp nhận dạng tín hiệu đèn giao thơng, biển báo đường xe tham gia giao thông ụ thể, người nghiên cứu sử dụng công cụ xử lý ảnh LabV EW: Vision Acquisition, Vision Assistant để thu thập xử lý ảnh thơng qua nhận dạng màu sắc hình thử nghiệm giả định sau: - hình khung khơng tự chuyển động - èn giao thông, biển báo in giấy có kích thước - Vị trí đặt biển báo, đèn cố định - ặt đường phẳng đồng màu ề tài sử dụng webcam để thu thập hình ảnh mơ hình hoạt động ình ảnh cơng cụ Vision Acquisition thu nhận, sau chuyển vào cơng cụ Vision Assistant để xử lý nhận dạng màu sắc, kí tự dạng số au xử lý số điểm ảnh vị trí có tương quan với màu sắc đem thực phép so sánh cho kết quả, cuối xuất dòng lệnh cảnh báo hình máy tính ết đạt hồn thành mơ hình nhận dạng tín hiệu đèn giao thông, biển báo nhận biết vạch kẻ đường Qua cảnh báo phải dừng hay tiếp tục di chuyển, tốc độ di chuyển tối đa cảnh báo di chuyển lệch khỏi vạch kẻ đường ii MỤC LỤC Trang L Á Ó Ơ i Ắ Ề Ụ LỤ ii iii DA Ụ Á DA Ụ Á DA Ụ Á BẢ Ơ 1: Ổ ỮV Ế Ì Ắ V Ý Ệ vi vii Q A xi 1.1 ặt vấn đề 1.2 quan xe tự hành 1.2.1 Xe tự hành 1.2.2 Các thành phần xe tự hành 1.2.3 ác nghiên cứu nước xe tự hành 1.2.4 hững ưu nhược điểm xe tự hành 1.3 ục đích 1.4 hiệm vụ 1.5 ối tượng, phạm vi phương pháp nghiên cứu 1.5.1 ối tượng 1.5.2 hạm vi nghiên cứu 1.5.3 hương pháp nghiên cứu 1.6 iới hạn đề tài 1.7 ế hoạch thực Ơ 2: Ơ Ở LÝ YẾ iii Hình 4.3: Nhận dạng đèn xanh  Thực nghiệm biển báo giao thông Hình 4.4: Nhận dạng biển báo giới hạn tốc độ 68 Hình 4.5: Nhận dạng biển báo nguy hiểm Hình 4.6: Nhận dạng biển báo nơi giao chạy theo vịng xuyến 69 Hình 4.7: Nhận dạng biển báo cấm dừng đỗ xe  Thực nghiệm nhận dạng đường cảnh báo lệch 70 Hình 4.8: Đi đường Hình 4.9: Lệch phải 71 Hình 4.10: Lệch trái 4.2 Đánh giá ể biết thuật tốn chạy có ổn định mong muốn a tiến hành đánh giá kết thực nghiệm môi trường khác nhau: trường (MT1): ngồi trời trường (MT2): mái che 4.2.1 Nhận dạng tín hiệu đèn giao thông hực nghiệm qua lần 72 Bảng 4.1: Thực nghiệm nhận dạng tín hiệu đèn mơi trường Khoảng cách 50 cm, thời tiết nắng nhẹ, chiều cao đèn tín Đèn đỏ hiệu 33 cm Đèn Đèn vàng xanh Màu thực tế Đỏ Vàng Xanh Màu nhận sau xử lý Đỏ Vàng Xanh lần 922.196 999.627 1000 lần 901.295 999.627 998.549 lần 914.534 999.627 996.735 lần 896.239 999.413 974.24 lần 907.783 999.436 960.453 T T T Thực nghiệm lấy điểm ảnh Kết trả (T or F) Bảng 4.2: Thực nghiệm nhận dạng tín hiệu đèn mơi trường Khoảng cách 50 cm, có ánh sáng đèn hỗ trợ, chiều cao đèn Đèn đỏ tín hiệu 33 cm Đèn Đèn vàng xanh Màu thực tế Đỏ Vàng Xanh Màu nhận sau xử lý Đỏ Vàng Xanh lần 889.003 999.627 832.707 lần 900.988 999.604 921.542 lần 885.47 999.86 875.247 lần 915.043 999.627 892.009 lần 878.917 999.31 887.274 T T T Thực nghiệm lấy điểm ảnh Kết trả (T or F) o sánh tương quan môi trường:  iểm tương đồng: • àu vàng không thay đổi môi trường (sai lệch pixel) • a số kết trả từ bảng  Khác: + Về màu đỏ: • MT1 chênh lệch điểm ảnh 27 pixel, bên MT2 37 pixel  MT1 chênh 73 lệch sau lần thực nghiệm • iểm ảnh trung bình 908.4 pixel 893.9 pixel màu gốc có 1000 pixel, 2, cho thấy so với có kết tốt + Về màu xanh: • hênh lệch điểm ảnh chênh lệch màu • 40 pixel, 89 pixel suy màu độ khơng dao động qua nhiều có điểm ảnh trung bình 986 pixel gốc điểm ảnh trung bình 881.75 pixel, so với màu sắc nhỉnh  Qua cho thấy mơi trường nhận dạng tín hiệu đèn giao thơng uy nhiên phần màu sắc thu nhận tốt hẳn 4.2.2 Nhận dạng biển báo giao thông Bảng 4.3: Thực nghiệm nhận dạng biển báo giao thông MT1 Khoảng cách 50-55cm, Điểm ảnh thời tiết nắng nhẹ, Phân Xuất Đọc kí Màu Màu Màu Màu loại (T cảnh báo tự dạng đỏ trắng xanh vàng or F) (T or F) số lần 406 11 528 T T 50 Biển báo lần 388 629 92 T T 50 giới hạn tốc lần 398 732 24 T T 50 độ 50 Km/h lần 392 10 556 T T 50 lần 367 587 T T 50 Biển báo lần 134 21 518 293 T T x nguy hiểm lần 132 26 535 276 T T x Đường lần 127 19 539 273 T T x người lần 125 29 527 263 T T x cắt ngang lần 132 22 535 279 T T x Biển báo lần 167 679 T T x dẫn, lần 89 631 T T x hướng dẫn lần 211 676 T T x chạy theo lần 219 636 T T x vòng xuyến lần 66 561 F F x chiều cao biển báo 33 cm 74 lần 454 395 T T X Biển báo lần 443 391 T T X cấm dừng lần 472 365 T T X đỗ xe lần 463 395 T T X lần 462 391 T T X Phân Xuất Đọc kí Bảng 4.4: Thực nghiệm nhận dạng biển báo giao thông MT2 Khoảng cách 50-55cm, Điểm ảnh có ánh sáng đèn hỗ Màu Màu Màu Màu loại (T cảnh báo tự dạng đỏ trắng xanh vàng or F) (T or F) số lần 353 885 46 T T 50 Biển báo lần 352 783 46 T T 50 giới hạn tốc lần 349 772 50 T T 50 độ 50 Km/h lần 347 787 53 T T 50 lần 345 791 51 T T 50 Biển báo lần 207 211 422 T T x nguy hiểm lần 202 230 438 T T x Đường lần 207 209 410 T T x người lần 208 204 417 T T x cắt ngang lần 203 212 412 T T x Biển báo lần 71 709 T T x dẫn, lần 81 690 T T x hướng dẫn lần 81 679 T T x chạy theo lần 88 691 T T x vòng xuyến lần 89 692 T T x lần 432 153 422 13 T T x Biển báo lần 413 166 439 13 T T x cấm dừng lần 404 157 459 10 T T x đỗ xe lần 407 161 458 10 T T x lần 398 164 460 10 T T x trợ, chiều cao biển báo 33 cm ết bảng số liệu cho thấy: 75  ự tương đồng: • au lần thử nghiệm biển báo, điểm ảnh màu đỏ màu vàng môi trường trả tốt, khơng có sai số q khác biệt • ịn biển báo: hì biển báo dẫn chạy theo vòng xuyến cho thấy số điểm ảnh mơi trường có khác khơng nhiều, mà chệnh lệch điểm ảnh biển báo xấp xỉ ho nên, biển báo mơi trường nhận xử lý tốt • ết trả phân loại xuất cảnh báo tương đối  Khác biệt • Về màu trắng màu xanh bị nhiễu nhiều, ánh nắng chiếu vào vào biển báo làm cho ảnh thu từ camera bị lẫn lộn màu sắc, nên xử lý gây nên sai lệch hoàn toàn o với kết đưa tốt, cho thấy ảnh hưởng nguồn sáng đến việc xử lý ảnh nói chung riêng màu xanh trắng lớn • việc nhiễu màu trắng xanh dẫn đến kết thu môi trường khác biệt: biển báo giới hạn tốc độ nhận tốt lại bị nhiễu qua nhiều, gây sai lệch • Ở biển báo cấm dừng đỗ xe kết cho lại tốt bị nhiễu nhận điểm ảnh màu trắng biển báo khơng có màu trắng • Biển báo nguy hiểm đường có người cắt ngang nhiều, cịn có màu xanh bị nhiễu khơng có màu xanh  ết luận: • ùy loại biển báo mà môi trường khác gặp nhiễu khác hưng từ kết nhận cho thấy • uy xử lý tốt, bị nhiễu 1 biển báo giới hạn tốc độ có cho kết đúng, xác có sai lệch màu sắc nhiễu nhiều mà chưa xử lý 76 4.2.3 Nhận dạng cảnh báo lệch đường hình khơng di chuyển: nghiệm vị trí đặt: lệch trái, lệch phải đường Bảng 4.5: Thực nghiệm nhận dạng cảnh báo lệch đường Nhận Thời tiết dạng nắng nhẹ, vạch vạch kẻ kẻ đường đường thẳng, nét ( Có liền Hệ Lệch ( thống Trái/ (On/Off) phải) Bề Trung điểm Vạch kẻ Vạch kẻ tức thời 1( pixel) 2(pixel) (pixel) rộng TURN LEFT/ đường RIGHT Cảnh báo (pixel) không) lần lần Giữa đường lần lần lần lần Lệch lần Phải lần Good có On x 615.526 986.774 244.279 742.5 x Lane Keeping Good có On x 613.807 985.75 241.864 743.89 x Lane Keeping Good có On x 613.003 984.797 241.208 743.59 x Lane Keeping Good có On x 612.997 984.792 241.202 743.59 x Lane Keeping Good có On x 612.987 984.778 241.195 743.58 x Lane Keeping có On Phải 486.5 655 318 337 có On Phải 479.873 650 309.745 340.25 có On Phải 488.975 650 327.949 322.05 TURN Warning! LEFT Off Lane TURN Warning! LEFT Off Lane TURN Warning! LEFT Off Lane 77 lần lần lần lần Lệch lần Trái lần lần có On Phải 479.532 650 309.064 340.94 có On Phải 481.617 650 313.233 336.77 có On Trái 773.5 930 617 313 có On Trái 776 935 617 318 có On Trái 773 929 617 312 có On Trái 773.079 929.157 617 312.16 có On Trái 772.5 929 616 313 TURN Warning! LEFT Off Lane TURN Warning! LEFT Off Lane TURN Warning! RIGHT Off Lane TURN Warning! RIGHT Off Lane TURN Warning! RIGHT Off Lane TURN Warning! RIGHT Off Lane TURN Warning! RIGHT Off Lane Qua bảng số liệu cho thấy: • ối với kết mơ nhận dạng xuất cảnh báo tốt • hơng có chênh lệch q nhiều qua lần thử, kết trả tương đối mong đợi 78 CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ 5.1 Kết đạt Qua thời gian nghiên cứu thực đồ án, nhóm chúng em xây dựng thuật toán xử lý ảnh Bằng kiến thức học, nghiên cứu hướng dẫn, kiến thức thực tế bên ngoài, nhóm hồn thành nhiệm vụ đề ra: ưa cảnh báo tín hiệu đèn giao thơng, xuất cảnh báo biển báo giới hạn tốc độ, nhận dạng cảnh báo lệch đường Qua cố lại kiến thức ngôn ngữ lập LabV EW Bên cạnh đó, có thêm kiến thức ứng dụng LabV EW vào việc thu thập xử lý hình ảnh, nhận dạng hình ảnh thu qua webcam Về nhóm chúng em đạt mục tiêu ban đầu đặt ra: dựa vào phần mềm Labview xây dựng hệ thống xử lý ảnh thu thập từ camera để xử lý ảnh biển báo, tín hiệu đèn giao thơng đường au đó, xuất cảnh báo hỗ trợ xe tự hành Và đóng góp nhỏ vào việc nghiên cứu phát triển xe tự hành tương lai Tuy nhiên, vấn đề để giải chưa đạt ý muốn, nhiều mặt hạn chế so với đề tài 5.2 Những vấn đề tồn Do thời gian thực đề tài, điều kiện thí nghiệm, thử nghiệm có hạn nên đề tài tồn số vấn đề:  hơng xây dựng mơ hình hồn chỉnh  hưa ứng dụng xử lý nhiễu phần mềm  hưa đưa tín hiệu để điều khiển mà xuất lệnh cảnh báo  ác vật thể để nhận dạng đặt cố định khung hình, khơng phải nằm bất kì, không tách vật thể khỏi môi trường xung quanh  hưa xử lý vạch kẻ đường cong  ề tài dừng lại mức chưa ứng dụng vào thực tiễn tham gia giao thông 79 5.3 Hướng phát triển ề tài chưa áp dụng cho xe tham gia giao thơng thực tế Vì để áp dụng vào thực tế giao thơng cần áp dụng thực tiếp số nội dung sau đây:  ghiên cứu thêm dạng xử lý ảnh thuật toán phần mềm tối ưu iúp cho việc tách vật thể mong muốn khỏi môi trường để xử lý  ghiên cứu kết hợp với né tránh vật cản xe để nhận diện vật cản di chuyển đường ồng thời nâng cấp amera để chất lượng ảnh tốt hoạt động hiệu môi trường phức tạp  ết hợp xử lý nhận dạng với số cảm biến va chạm, để báo va chạm hiển thị tình trạng giao thơng cảnh báo nguy hiểm  âng cao thuật toán hiệu việc xử lý ảnh chương trình, thuật tốn có độ phức tạp cao nhằm giúp xe có khả xử lý xác tình phức tạp gần với điều kiện hoạt động thực tế 80 Tài liệu tham khảo [1] guyễn Bá ải, Lê ĩ ồn “Lập trình 3D LabV EW”, Hocdelam Group, 2011 [2] guyễn Quang oan, Xử lý ảnh, ọc Viện ơng ghệ Bưu hính Viễn Thơng, 2006 [3] JAE L , guyễn Văn gọ, Giáo trình xử lý ảnh, ại học Quốc ia ội, 2001 [4] https://www.youtube.com/watch?v=aJCxJLuAhTs [5] http://www.ni.com/pdf/manuals/371007a.pdf [6] https://forums.ni.com/t5/FIRST-Robotics-Competition/FRC-2016-Image-ProcessingTutorial/ta-p/3520933?profile.language=en [7]https://physics.bgu.ac.il/~bogomole/Books/Labview/Image%20Acquisition%20and%2 0Processing%20with%20LabVIEW~tqw~_darksiderg/Image%20Acquisition%20and%2 0Processing%20with%20LabVIEW~tqw~_darksiderg.pdf [8] hocdelam.org S K L 0 ... KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP Chun ngành: Cơng nghệ Kỹ thuật ô tô Tên đề tài NGHIÊN CỨU XỬ LÝ ẢNH BẰNG LABVIEW HỖ TRỢ XE TỰ HÀNH TRẦN TẤN THÀNH 15145359 SVTH : NGUYỄN DƯƠNG LINH MSSV:... 1.2 quan xe tự hành 1.2.1 Xe tự hành 1.2.2 Các thành phần xe tự hành 1.2.3 ác nghiên cứu nước xe tự hành 1.2.4 hững ưu nhược điểm xe tự hành 1.3... tín hiệu đèn giao thông vạch kẻ đường 1.5.3 Phương pháp nghiên cứu ể hoàn thành mục tiêu đề tài ? ?Nghiên cứu xử lý ảnh LabVIEW - hỗ trợ xe tự hành? ?? sử dụng phương pháp nghiên cứu sau:  hương pháp