Đồ án thiết kế hệ thống nhúng đề bài xe tự hành

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA KỸ THUẬT ĐIỆN TỬ I - - BÁO CÁO MÔN HỌC ĐỒ ÁN THIẾT KẾ HỆ THỐNG NHÚNG Đề bài: “XE TỰ HÀNH” Giảng viên hướng dẫn: NGUYỄN NGỌC MINH Hệ: ĐẠI HỌC CHÍNH QUY Hà Nội – 2021 LỜI CẢM ƠN Trước hết, em xin gửi lời cảm ơn chân thành đến tồn q thầy Học viện Cơng nghệ Bưu Viễn thơng, Q thầy khoa Kỹ thuật Điện tử I truyền đạt kiến thức quý báu cho chúng em suốt học kỳ vừa qua, Em xin gửi lời cảm ơn sâu sắc đến giáo viên hướng dẫn – Nguyễn Ngọc Minh, người nhiệt tình hướng dẫn em thực chuyên đề tập lớn Do giới hạn thời gian nghiên cứu lượng kiến thức, thông tin thu thập cịn hạn chế nên chun đề khơng tránh khỏi thiếu sót q trình nghiên cứu thực Vì vậy, em mong nhận góp ý đánh giá chân thành thầy, cô Em xin chân thành cảm ơn! MỤC LỤC CHƯƠNG I: TỔNG QUAN I Đặt vấn đề II Một số nghiên cứu III Phạm vi tập CHƯƠNG II: CƠ SỞ LÝ THUYẾT .5 I Xử lý tín hiệu II Thị giác máy tính (Computer Vision) III Thư viện OpenCV IV Thuật toán CNN 10 V Các loại biển báo giao thông Việt Nam .17 CHƯƠNG III NỘI DUNG VÀ KẾT QUẢ NGHIÊN CỨU 19 I Phân tích thiết kế 19 Đặc trưng biển báo 19 Quy trình phát nhận diện biển báo 19 Yếu tố ảnh hưởng đến màu sắc 20 Phát biển báo .21 Nhận diện biển báo 22 II Cài đặt 22 Explore the dataset 22 Xây dựng module CNN .22 Training .23 Chạy thử 23 Kết 24 CHƯƠNG IV KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 24 Đánh giá .24 Hạn chế .25 Hướng phát triển 25 TÀI LIỆU THAM KHẢO .25 CHƯƠNG I: TỔNG QUAN Đặt vấn đề Xử lý ảnh phân ngành xử lý số tín hiệu với tín hiệu xử lý ảnh Đây phân ngành khoa học phát triển năm gần Xử lý ảnh gồm lĩnh vực chính: xử lý nâng cao chất lượng ảnh, nhận dạng ảnh, nén ảnh truy vấn ảnh Sự phát triển xử lý ảnh đem lại nhiều lợi ích cho sống người Ngày xử lý ảnh áp dụng rộng rãi đời sống như: photoshop, nén ảnh, nén video, nhận dạng biển số xe, nhận dạng khuôn mặt, nhận dạng chữ viết, xử lý ảnh thiên văn, ảnh y tế, Trong năm gần đây, với phát triển khoa học kỹ thuật, công nghệ xe tự hành phát triển vũ bão Xử lý ảnh, nhận diện biển báo giao thông phần thiếu xe tự hành Hiện tuyến đường Việt Nam hầu hết có đặt biển báo giao thông, nhằm thông tin cho người lái xe biết điều phép, điều không phép, nguy hiểm xãy ra, hiệu lệnh phải thi hành hay hướng dẫn giúp cho người tham gia giao thơng lái xe an tồn Nhưng tham gia giao thông người lái xe cần tập trung lái xe để tránh gặp tai nạn giao thông gặp cố người lái xe đối phó kịp thời, việc liên tục quan sát biển báo giao thông đặt bên đường khiến cho người lái xe khơng thể đối phó kịp thời cố đường gặp phải Ví dụ người lái xe chuẩn bị tới đoạn đường bị hư hỏng có nhiều hố sâu (hay gọi ổ gà), đồng thời gần có đặt biển báo “được phép chạy với tốc độ tối đa 40 km/h”, phải quan sát biển báo nên người lái xe khơng thấy ổ gà, có khẳ gặp tai nạn Một số nghiên cứu Trên giới có nhiều nhà nghiên cứu vấn đề này: • “Construction of Cascaded Traffic Sign Detector Using Generative Learning”, Keisuke Doman Daisuke Deguchi Tomokazu Takahashi Yoshito Mekada Ichiro Ide Hiroshi Murase (2006), Janan • “Color Detection and Segmentation for Road and Traffic Signs”, Hasan Fleyeh (2004), Scotland • “Road Signs Detection and Reconstruction using Gielis Curves”, Valentine Vega Désiré Sidibé Yohan Fougerolle (2012), Italy Nhưng nghiên cứu thường áp dụng phạm vi biển báo số quốc gia, đặt trưng biển báo quốc gia khác Phạm vi tập Xây dựng hệ thống thông tin nhận dạng biển báo giao thông từ đoạn video thực tế quay đoạn đường có đặt biển báo giao thông Khi gặp biển báo, nhận dạng biển báo video biển báo thơng báo hình hiển thị (hoặc thơng báo hệ thống âm hai) Trong phạm vi nghiên cứu, hệ thống nhận dạng loại biển báo cấm, biển báo nguy hiểm biển báo dẩn phổ biến, thường gặp đặt tuyến đường Việt Nam CHƯƠNG II: CƠ SỞ LÝ THUYẾT Xử lý tín hiệu Xử lý tín hiệu trường kỹ thuật điện tập trung vào phân tích, sửa đổi tổng hợp tín hiệu âm thanh, hình ảnh phép đo khoa học Kỹ thuật xử lý tín hiệu sử dụng để cải thiện truyền dẫn, hiệu lưu trữ chất lượng chủ quan nhấn mạnh phát thành phần quan tâm tín hiệu đo lường 1.1 Thị giác máy tính (Computer Vision) Thị giác máy tính lĩnh vực gồm phương pháp thu nhận, phân tích, xử lý nhận dạng hình ảnh liệu đa chiều từ thực tế thông tin số (numerical) biểu tượng (symbolic) dùng cho mục đích định Ý tưởng dựa thị giác người khả nhận dạng hiểu hình ảnh Để làm điều đó, thị giác máy tính áp dụng mơ hình xây dựng dựa ngành lý thuyết học, vật lý, thống kê hình học a Ứng dụng Trong ứng dụng thị giác máy tính, thường lập trình để giải vấn đề cụ thể, phương pháp đều dựa học (learning) trở nên ngày phổ biến Ví dụ ứng dụng thị giác máy tính phục vụ cho: • Điều khiển tiến trình (Controlling processes) rơ bốt cơng nghiệp • Điều hướng (Navigation) xe tự động hay rô bốt di động • Phát kiện (Detecting events) đếm số lượng xe đường để phát trình trạng ùn tắc giao thơng • Mơ hình hố đối tượng mơi trường (Modeling objects or environments) phân tích hình ảnh y học mơ hình địa chấn • Sự kiểm tra tự động (Automation inspection) kiểm tra chất lượng sản phẩm nhà máy, xí nghiệp b Các nhiệm vụ điển hình Recognition Sự nhận dạng (recognition) xự xác định tập liệu hình ảnh có chứa đối tượng (object), đặt trưng (feature) xem xét hay không Recognition vấn đề kinh điển thị giác máy tính, xử lý ảnh (image processing) Các vấn đề nhận dạng như: • Object recognition (hay cịn gọi object classification) – Tìm nhận dạng đối tượng hình ảnh video • Identification (Xác định nhất) – Từng thể đối tượng nhận dạng đối tượng tập hợp đối tượng Ví dụ: nhận dạng khuôn mặt, nhận dạng dấu vân tay (fingerprint) hay nhận dạng chữ viết tay • Dectection (Phát hiện) – Phát đối tượng quan tâm Ví dụ: phát tế bào lạ ảnh y học hay phát xe cộ qua hệ thống thu phí tự động Motion analysis Phân tích chuyển động chuỗi hình ảnh xử lý để có vận tốc ước lượng điểm chuỗi hình ảnh cảnh chiều Scene reconstruction Mục đích xây dựng mơ hình chiều từ nhiều hình ảnh quang cảnh video Image restoration Mục đích phục hồi hình ảnh loại bỏ thành phần gây nhiễu Phương pháp đơn giản dùng lọc (filter) median filter, Gaussian filter hay lọc khác c Các phương pháp Image acquisition Thu nhận hình ảnh từ vài thiết bị máy chụp hình, máy chụp xquang, đa, kính hiển vi đại, máy quét, Tuỳ vào thiết bị mà kết tạo ảnh chiều, chiều chuỗi hình ảnh Pre-processing Tiền xử lý bước làm trước áp dụng phương pháp thị giác máy tính lên hình ảnh để trích xuất phần cụ thể thông tin nhằm đảm bảo đáp ứng số giả định phương pháp Ví dụ như: • Lấy mẫu lại để đảm bảo xác hệ thống toạ độ • Giảm nhiễu để đảm bảo khơng bị sai lệnh thơng gây cảm biến • Tăng cường độ tương phản để đảm bảo thơng tin thích hợp phát Feature extraction Trích xuất đặc trưng như: • Đường (line), viền (egde), đỉnh (ridge) • Góc (coner), đốm màu (blob), điểm (point) • Cấu trúc (texture), hình thù (shape), chuyển động (motion) Detection/Segmentation Quá trình xử lý ảnh để đưa định cần tạo liệu cho bước xử lý kế tiếp, như: • Lựa chọn tập hợp điểm quan tâm • Tách nhiều khu vực nhỏ ảnh chứa đối tượng quan tâm High-level processing Tại bước xử lý nâng cao, liệu đầu vào thường tập điểm vùng ảnh quan tâm tạo từ bước xử lý detection/segmentation Ví dụ như: • Xác thực liệu có đáp ứng mơ hình giả định ứng dụng hay khơng • Nhận dạng hình ảnh – Phân loại đối tượng phát thành loại • Đăng ký hình ảnh – So sánh kết hợp nhìn khác đối tượng Decision making Đưa định cho ứng dụng Ví dụ như: • Đạt khơng đạt (pass/fail) cho ứng dụng kiểm tra tự động • Khớp khơng khớp (match/no-match) cho ứng dụng nhận dạng • Đưa cảnh báo ứng dụng thuộc y học, quân đội, bảo mật nhận dạng 1.2 Thư viện OpenCV OpenCV gì? Project OpenCV Intel năm 1999 Gary Bradsky OpenCV viết tắt cho Open Source Computer Vision Library OpenCV thư viện nguồn mở hàng đầu cho Computer Vision Machine Learning, có thêm tính tăng tốc GPU cho hoạt động theo real-time OpenCV phát hành theo giấy phép BSD (*), miễn phí cho học tập sử dụng với mục đích thương mại Nó có giao diện C++, C, Python Java hỗ trợ Windows, Linux, Mac OS, iOS Android OpenCV thiết kế để hỗ trợ hiệu tính tốn chuyên dùng cho ứng dụng real-time (thời gian thực) Nếu viết C/C++ tối ưu, thư viện tận dụng xử lý đa lõi (multi-core processing) OpenCV có cộng đồng người dùng hùng hậu hoạt động khắp giới nhu cầu cần đến ngày tăng theo xu hướng chạy đua sử dụng computer vision công ty công nghệ OpenCV ứng dụng rộng rãi toàn cầu, với cộng đồng 47.000 người, với nhiều mục đích tính khác từ interactive art, đến khai thác mỏ, khai thác web map qua robotic cao cấp Ứng dụng OpenCV gì? OpenCV sử dụng cho đa dạng nhiều mục đích ứng dụng khác bao gồm: - Hình ảnh street view Kiểm tra giám sát tự động Robot xe tự lái Phân tích hình ảnh y học Tìm kiếm phục hồi hình ảnh/video Phim – cấu trúc 3D từ chuyển động Nghệ thuật đặt tương tác Tính module phổ biến OpenCV Theo tính ứng dụng OpenCV, chia thư viện thánh nhóm tính module tương ứng sau: - Xử lý hiển thị Hình ảnh/ Video/ I/O (core, imgproc, highgui) - Phát vật thể (objdetect, features2d, nonfree) - Geometry-based monocular stereo computer vision (calib3d, stitching, videostab) - Computational photography (photo, video, superres) - Machine learning & clustering (ml, flann) - CUDA acceleration (gpu) OpenCV có cấu trúc module, nghĩa gói bao gồm số thư viện liên kết tĩnh (static libraries) thư viện liên kết động (shared libraries) Xin phép liệt kê số định nghĩa chi tiết module phổ biến có sẵn [2] sau: - Core functionality (core) – module nhỏ gọn để xác định cấu trúc liệu bản, bao gồm mảng đa chiều dày đặc nhiều chức sử dụng tất module khác - Image Processing (imgproc) – module xử lý hình ảnh gồm lọc hình ảnh tuyến tính phi tuyến (linear and non-linear image filtering), phép biến đổi hình học (chỉnh size, afin warp phối cảnh, ánh xạ lại dựa bảng chung), chuyển đổi không gian màu, biểu đồ, nhiều khác - Video Analysis (video) – module phân tích video bao gồm tính ước tính chuyển động, tách nền, thuật tốn theo dõi vật thể - Camera Calibration and 3D Reconstruction (calib3d) – thuật tốn hình học đa chiều bản, hiệu chuẩn máy ảnh single stereo (single and stereo camera calibration), dự đoán kiểu dáng đối tượng (object pose estimation), thuật tốn thư tín âm (stereo correspondence algorithms) yếu tố tái tạo 3D - 2D Features Framework (features2d) – phát đặc tính bật nhận diện, truy xuất thông số, thông số đối chọi - Object Detection (objdetect) – phát đối tượng mô hàm định nghĩa sẵn – predefined classes (vd: khuôn mặt, mắt, cốc, người, xe hơi,…) - High-level GUI (highgui) – giao diện dễ dùng để thực việc giao tiếp UI đơn giản - Video I/O (videoio) – giao diện dễ dùng để thu mã hóa video ... hình thù đặc trưng cố định Thiết kế xe tự hành 2.1 Tổng quan RaspberryPi 4B+ Raspberry Pi máy tính kích thước nhỏ tích hợp nhiều phần cứng mạnh mẽ đủ khả chạy hệ điều hành cài đặt nhiều ứng dụng... phần thiếu xe tự hành Hiện tuyến đường Việt Nam hầu hết có đặt biển báo giao thơng, nhằm thơng tin cho người lái xe biết điều phép, điều khơng phép, nguy hiểm xãy ra, hiệu lệnh phải thi hành hay... giúp cho người tham gia giao thông lái xe an tồn Nhưng tham gia giao thơng người lái xe cần tập trung lái xe để tránh gặp tai nạn giao thông gặp cố người lái xe đối phó kịp thời, việc liên tục quan