Đồ án thiết kế hệ thống nhúng, học viện công nghệ bưu chính viễn thông (7)

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA KỸ THUẬT ĐIỆN TỬ I - - BÁO CÁO MÔN HỌC ĐỒ ÁN THIẾT KẾ HỆ THỐNG NHÚNG Đề bài: “XE TỰ HÀNH” Giảng viên hướng dẫn: Sinh viên thực hiện: NGUYỄN NGỌC MINH BÙI NGỌC TRAI TRỊNH BÁ NGHĨA HOÀNG XUÂN TÂM BÙI VINH TỒN Hệ: ĐẠI HỌC CHÍNH QUY Hà Nội – 2021 LỜI CẢM ƠN Trước hết, em xin gửi lời cảm ơn chân thành đến toàn q thầy Học viện Cơng nghệ Bưu Viễn thông, Quý thầy cô khoa Kỹ thuật Điện tử I truyền đạt kiến thức quý báu cho chúng em suốt học kỳ vừa qua, Em xin gửi lời cảm ơn sâu sắc đến giáo viên hướng dẫn – Nguyễn Ngọc Minh, người nhiệt tình hướng dẫn em thực chuyên đề tập lớn Do giới hạn thời gian nghiên cứu lượng kiến thức, thơng tin thu thập cịn hạn chế nên chun đề khơng tránh khỏi thiếu sót q trình nghiên cứu thực Vì vậy, em mong nhận góp ý đánh giá chân thành thầy, cô Em xin chân thành cảm ơn! MỤC LỤC CHƯƠNG I: TỔNG QUAN Đặt vấn đề Xử lý ảnh phân ngành xử lý số tín hiệu với tín hiệu xử lý ảnh Đây phân ngành khoa học phát triển năm gần Xử lý ảnh gồm lĩnh vực chính: xử lý nâng cao chất lượng ảnh, nhận dạng ảnh, nén ảnh truy vấn ảnh Sự phát triển xử lý ảnh đem lại nhiều lợi ích cho sống người Ngày xử lý ảnh áp dụng rộng rãi đời sống như: photoshop, nén ảnh, nén video, nhận dạng biển số xe, nhận dạng khuôn mặt, nhận dạng chữ viết, xử lý ảnh thiên văn, ảnh y tế, Trong năm gần đây, với phát triển khoa học kỹ thuật, công nghệ xe tự hành phát triển vũ bão Xử lý ảnh, nhận diện biển báo giao thông phần thiếu xe tự hành Hiện tuyến đường Việt Nam hầu hết có đặt biển báo giao thơng, nhằm thông tin cho người lái xe biết điều phép, điều khơng phép, nguy hiểm xãy ra, hiệu lệnh phải thi hành hay hướng dẫn giúp cho người tham gia giao thông lái xe an toàn Nhưng tham gia giao thông người lái xe cần tập trung lái xe để tránh gặp tai nạn giao thông gặp cố người lái xe đối phó kịp thời, việc liên tục quan sát biển báo giao thơng đặt bên đường khiến cho người lái xe khơng thể đối phó kịp thời cố đường gặp phải Ví dụ người lái xe chuẩn bị tới đoạn đường bị hư hỏng có nhiều hố sâu (hay cịn gọi ổ gà), đồng thời gần có đặt biển báo “được phép chạy với tốc độ tối đa 40 km/h”, phải quan sát biển báo nên người lái xe khơng thấy ổ gà, có khẳ gặp tai nạn Một số nghiên cứu Trên giới có nhiều nhà nghiên cứu vấn đề này: • “Construction of Cascaded Traffic Sign Detector Using Generative Learning”, Keisuke Doman Daisuke Deguchi Tomokazu Takahashi Yoshito Mekada Ichiro Ide Hiroshi Murase (2006), Janan • “Color Detection and Segmentation for Road and Traffic Signs”, Hasan Fleyeh (2004), Scotland • “Road Signs Detection and Reconstruction using Gielis Curves”, Valentine Vega Désiré Sidibé Yohan Fougerolle (2012), Italy Nhưng nghiên cứu thường áp dụng phạm vi biển báo số quốc gia, đặt trưng biển báo quốc gia khác Phạm vi tập Xây dựng hệ thống thông tin nhận dạng biển báo giao thông từ đoạn video thực tế quay đoạn đường có đặt biển báo giao thơng Khi gặp biển báo, nhận dạng biển báo video biển báo thơng báo hình hiển thị (hoặc thông báo hệ thống âm hai) Trong phạm vi nghiên cứu, hệ thống nhận dạng loại biển báo cấm, biển báo nguy hiểm biển báo dẩn phổ biến, thường gặp đặt tuyến đường Việt Nam CHƯƠNG II: CƠ SỞ LÝ THUYẾT Xử lý tín hiệu Xử lý tín hiệu trường kỹ thuật điện tập trung vào phân tích, sửa đổi tổng hợp tín hiệu âm thanh, hình ảnh phép đo khoa học Kỹ thuật xử lý tín hiệu sử dụng để cải thiện truyền dẫn, hiệu lưu trữ chất lượng chủ quan nhấn mạnh phát thành phần quan tâm tín hiệu đo lường 1.1 Thị giác máy tính (Computer Vision) Thị giác máy tính lĩnh vực gồm phương pháp thu nhận, phân tích, xử lý nhận dạng hình ảnh liệu đa chiều từ thực tế thông tin số (numerical) biểu tượng (symbolic) dùng cho mục đích định Ý tưởng dựa thị giác người khả nhận dạng hiểu hình ảnh Để làm điều đó, thị giác máy tính áp dụng mơ hình xây dựng dựa ngành lý thuyết học, vật lý, thống kê hình học a Ứng dụng Trong ứng dụng thị giác máy tính, thường lập trình để giải vấn đề cụ thể, phương pháp đều dựa học (learning) trở nên ngày phổ biến Ví dụ ứng dụng thị giác máy tính phục vụ cho: • Điều khiển tiến trình (Controlling processes) rơ bốt cơng nghiệp • Điều hướng (Navigation) xe tự động hay rơ bốt di động • Phát kiện (Detecting events) đếm số lượng xe đường để phát trình trạng ùn tắc giao thơng • Mơ hình hố đối tượng mơi trường (Modeling objects or environments) phân tích hình ảnh y học mơ hình địa chấn • Sự kiểm tra tự động (Automation inspection) kiểm tra chất lượng sản phẩm nhà máy, xí nghiệp b Các nhiệm vụ điển hình Recognition Sự nhận dạng (recognition) xự xác định tập liệu hình ảnh có chứa đối tượng (object), đặt trưng (feature) xem xét hay không Recognition vấn đề kinh điển thị giác máy tính, xử lý ảnh (image processing) Các vấn đề nhận dạng như: • Object recognition (hay cịn gọi object classification) – Tìm nhận dạng đối tượng hình ảnh video • Identification (Xác định nhất) – Từng thể đối tượng nhận dạng đối tượng tập hợp đối tượng Ví dụ: nhận dạng khn mặt, nhận dạng dấu vân tay (fingerprint) hay nhận dạng chữ viết tay • Dectection (Phát hiện) – Phát đối tượng quan tâm Ví dụ: phát tế bào lạ ảnh y học hay phát xe cộ qua hệ thống thu phí tự động Motion analysis Phân tích chuyển động chuỗi hình ảnh xử lý để có vận tốc ước lượng điểm chuỗi hình ảnh cảnh chiều Scene reconstruction Mục đích xây dựng mơ hình chiều từ nhiều hình ảnh quang cảnh video Image restoration Mục đích phục hồi hình ảnh loại bỏ thành phần gây nhiễu Phương pháp đơn giản dùng lọc (filter) median filter, Gaussian filter hay lọc khác c Các phương pháp Image acquisition Thu nhận hình ảnh từ vài thiết bị máy chụp hình, máy chụp xquang, đa, kính hiển vi đại, máy quét, Tuỳ vào thiết bị mà kết tạo ảnh chiều, chiều chuỗi hình ảnh Pre-processing Tiền xử lý bước làm trước áp dụng phương pháp thị giác máy tính lên hình ảnh để trích xuất phần cụ thể thơng tin nhằm đảm bảo đáp ứng số giả định phương pháp Ví dụ như: • Lấy mẫu lại để đảm bảo xác hệ thống toạ độ • Giảm nhiễu để đảm bảo không bị sai lệnh thông gây cảm biến • Tăng cường độ tương phản để đảm bảo thơng tin thích hợp phát Feature extraction Trích xuất đặc trưng như: • Đường (line), viền (egde), đỉnh (ridge) • Góc (coner), đốm màu (blob), điểm (point) • Cấu trúc (texture), hình thù (shape), chuyển động (motion) Detection/Segmentation Quá trình xử lý ảnh để đưa định cần tạo liệu cho bước xử lý kế tiếp, như: • Lựa chọn tập hợp điểm quan tâm • Tách nhiều khu vực nhỏ ảnh chứa đối tượng quan tâm High-level processing Tại bước xử lý nâng cao, liệu đầu vào thường tập điểm vùng ảnh quan tâm tạo từ bước xử lý detection/segmentation Ví dụ như: • Xác thực liệu có đáp ứng mơ hình giả định ứng dụng hay khơng • Nhận dạng hình ảnh – Phân loại đối tượng phát thành loại • Đăng ký hình ảnh – So sánh kết hợp nhìn khác đối tượng Decision making Đưa định cho ứng dụng Ví dụ như: • Đạt khơng đạt (pass/fail) cho ứng dụng kiểm tra tự động • Khớp không khớp (match/no-match) cho ứng dụng nhận dạng • Đưa cảnh báo ứng dụng thuộc y học, quân đội, bảo mật nhận dạng 1.2 Thư viện OpenCV OpenCV gì? Project OpenCV Intel năm 1999 Gary Bradsky OpenCV viết tắt cho Open Source Computer Vision Library OpenCV thư viện nguồn mở hàng đầu cho Computer Vision Machine Learning, có thêm tính tăng tốc GPU cho hoạt động theo realtime OpenCV phát hành theo giấy phép BSD (*), miễn phí cho học tập sử dụng với mục đích thương mại Nó có giao diện C++, C, Python Java hỗ trợ Windows, Linux, Mac OS, iOS Android OpenCV thiết kế để hỗ trợ hiệu tính tốn chun dùng cho ứng dụng real-time (thời gian thực) Nếu viết C/C++ tối ưu, thư viện tận dụng xử lý đa lõi (multi-core processing) OpenCV có cộng đồng người dùng hùng hậu hoạt động khắp giới nhu cầu cần đến ngày tăng theo xu hướng chạy đua sử dụng computer vision công ty công nghệ OpenCV ứng dụng rộng rãi toàn cầu, với cộng đồng 47.000 người, với nhiều mục đích tính khác từ interactive art, đến khai thác mỏ, khai thác web map qua robotic cao cấp Ứng dụng OpenCV gì? OpenCV sử dụng cho đa dạng nhiều mục đích ứng dụng khác bao gồm: - Hình ảnh street view Kiểm tra giám sát tự động Robot xe tự lái Phân tích hình ảnh y học Tìm kiếm phục hồi hình ảnh/video Phim – cấu trúc 3D từ chuyển động Nghệ thuật đặt tương tác Tính module phổ biến OpenCV Theo tính ứng dụng OpenCV, chia thư viện thánh nhóm tính module tương ứng sau: - Xử lý hiển thị Hình ảnh/ Video/ I/O (core, imgproc, highgui) Phát vật thể (objdetect, features2d, nonfree) Geometry-based monocular stereo computer vision (calib3d, stitching, videostab) Computational photography (photo, video, superres) Machine learning & clustering (ml, flann) CUDA acceleration (gpu) OpenCV có cấu trúc module, nghĩa gói bao gồm số thư viện liên kết tĩnh (static libraries) thư viện liên kết động (shared libraries) Xin phép liệt kê số định nghĩa chi tiết module phổ biến có sẵn [2] sau: - Core functionality (core) – module nhỏ gọn để xác định cấu trúc liệu bản, bao gồm mảng đa chiều dày đặc nhiều chức sử dụng tất module khác - Image Processing (imgproc) – module xử lý hình ảnh gồm lọc hình ảnh tuyến tính phi tuyến (linear and non-linear image filtering), phép biến đổi hình học (chỉnh size, afin warp phối cảnh, ánh xạ lại dựa bảng chung), chuyển đổi không gian màu, biểu đồ, nhiều khác - Video Analysis (video) – module phân tích video bao gồm tính ước tính chuyển động, tách nền, thuật tốn theo dõi vật thể - Camera Calibration and 3D Reconstruction (calib3d) – thuật tốn hình học đa chiều bản, hiệu chuẩn máy ảnh single stereo (single and stereo camera calibration), dự đoán kiểu dáng đối tượng (object pose estimation), thuật tốn thư tín âm (stereo correspondence algorithms) yếu tố tái tạo 3D - 2D Features Framework (features2d) – phát đặc tính bật nhận diện, truy xuất thông số, thông số đối chọi - Object Detection (objdetect) – phát đối tượng mô hàm định nghĩa sẵn – predefined classes (vd: khuôn mặt, mắt, cốc, người, xe hơi,…) - High-level GUI (highgui) – giao diện dễ dùng để thực việc giao tiếp UI đơn giản - Video I/O (videoio) – giao diện dễ dùng để thu mã hóa video - GPU – Các thuật toán tăng tốc GPU từ modun OpenCV khác … số module hỗ trợ khác, ví dụ FLANN Google test wrapper, Python binding, v.v 1.3 Thuật toán CNN Thuật toán CNN – Convolutional Nerual Network (CNNs – Mạng nơ-ron tích chập) mơ hình Deep Learning tiên tiến Nó giúp cho xây dựng hệ thống thơng minh với độ xác cao CNN sử dụng nhiều toán nhận dạng object ảnh Để tìm hiểu thuật toán sử dụng rộng rãi cho việc nhận dạng (detection), tìm hiểu thuật tốn Convolutional gì? Là cửa sổ trượt (Sliding Windows) ma trận mô tả hình dưới: Các convolutional layer có parameter(kernel) học để tự điều chỉnh lấy thông tin xác mà khơng cần chọn feature Trong hình ảnh ví dụ trên, ma trận bên trái hình ảnh trắng đen số hóa Ma trận có kích thước 5×5 điểm ảnh có giá trị giao điểm dòng cột Convolution hay tích chập nhân phần tử ma trận Sliding Window hay gọi kernel, filter feature detect ma trận có kích thước nhỏ ví dụ 3×3 Cắm 15 chân cửa cable tới cổng CSI(Camera Serial Interface) Khi kết nối, bạn truy cập tới vào máy ảnh thông qua Multi-Media Abstraction Layer (MMAL) Video for Linux (V4L) APIs Ngồi có thư viện Picamera Python, nhiều nguồn khác mà bạn tìm thấy trực tuyến Chương III PHÁT HIỆN LÀN ĐƯỜNG Phát đường nhiệm vụ quan trọng việc phát triển hệ thống ôtô tự lái nói riêng thị giác máy tính nói chung Trong viết này, xây dựng model để phát vạch kẻ đường thời gian thực cách sử dụng thư viện openCV Để phát đường, phải phát vạch trắng hai bên đường Thư viện ứng dụng vào đề tài Thư viện OpenCV thư viện đối gần gũi với việc xử lý ảnh thông thường nâng cao Với mã nguồn mở thân thiện lập trình khiến OpenCV điều khơng thể thiếu xử lý ảnh Vì vậy, đề tài chúng em sử dụng thư viện OpenCV toán Tiếp theo thư viện numpy thư viện tốn phổ biến mạnh mẽ Python Nó cho phép làm việc hiệu với ma trận mảng, đặc biệt liệu ma trận mảng lớn với tốc độ xử lý nhanh nhiều lần sử dụng code Python đơn Cùng với thư viện math, thư viện tốn học để xử lý hàm tốn học cơng thức tốn học khác Khai báo thư viện python: Cách bước xử lý ảnh Bước quan trọng xử lý ảnh đọc ảnh, camera phải đọc từ frame để xử lý bước Và em lưu ảnh với đường cần xử lý “10.png”: Bức ảnh cần xử lý: Tiếp theo là chúng em chuyển hình ảnh BGR cần xử lý sang gang màu xám hình ảnh màu xám chứa giá trị từ đến 255 Việc thật cần thiết cho việc xử lý ảnh mong muốn Ảnh sau chuyển qua gang màu xám: Trong xử lý ảnh, phép làm mờ ảnh dùng nhiều có nhiều vai trị quan trọng Hiệu ứng làm mờ mang lại (áp dụng trường hợp): + Giảm nhiễu (noise) ảnh + Làm trơn ảnh (smooth) Việc làm trơn ảnh giảm sắc nét cạnh, thay vào đó, vùng trơn lan Kích thước cửa sổ lọc làm thường số lẻ nguyên dương (3, 5, 7, 9, …) Chính kích thước lẻ nên ta có pixel trung tâm kernel.Việc chọn kích thước lọc thường dựa vào kích thước ảnh đầu vào kinh nghiệm Kernel thường thiết kế hình vuông (tức width = height) Ảnh sau lọc nhiễu ( làm mịn): Kết luận: Chúng em có ảnh sẵn sàng để thực công việc quan trọng phát cạch phát đường Phát cạch đường Thuật toán phát cạnh Canny thuật tốn phát cạnh phổ biến sử dụng để phát cạnh hình ảnh Để trì giá trị gradient cao hình ảnh, chúng em chọn giá trị ngưỡng thấp cao Thuật tốn Canny gồm có bước chính: + Bước 1: Lấy đạo hàm ảnh theo chiều ngang dọc theo phân phối Gaussian + Bước 2: Tính cường độ hướng gradient + Bước 3: Non-maximum Suppression (viết tắt NMS): loại bỏ pixel vị trí khơng phải cực đại tồn cục + Bước 4: Lọc theo ngưỡng phát cạch thực Kết ảnh sau phát cạnh thuật toán Canny: Cuối cùng, chúng em sử dụng lọc Hough để phát đường Biến đổi Hough phương pháp trích xuất tính để phát hình dạng đơn giản hình trịn, đường thẳng, v.v hình ảnh Nó trả giá trị tính radian, có nghĩa giá trị –pi pi đại diện cho góc điểm (x, y) trục x dương Sau chúng em sử dụng vịng lặp để vẽ cách vị trí đường thơng qua lọc Hough Kết đạt được: Đánh giá kết Qua thuật toán Canny để phát cạch với lọc HoughLine để phát đường hình ảnh Theo kết quả, chúng em loại bỏ đường thẳng sàn nhà xác định từ 75 đến 80% đường ảnh Dựa vào kết đủ để xe di chuyển theo đường CHƯƠNG IV NỘI DUNG VÀ KẾT QUẢ NGHIÊN CỨU Phân tích thiết kế 1.1 Đặc trưng biển báo Vì tính phức tạm biển báo, phạm vi toán nhận dạng biển báo cấm biển báo nguy hiểm biển báo hiệu lệnh Dựa vào đặc điểm nhận dạng biển báo, nhận thấy điểm chung biển báo có viền đỏ xanh lam Đây đặc trưng quan trọng dùng để phát biển báo định vị vị trí hình ảnh Một số biển báo khơng thuộc đặc điểm chung bỏ qua 1.2 Quy trình phát nhận diện biển báo Việc phát nhận dạng biển báo video đơn giản hoá việc phát nhận dạng biển báo hình ảnh, chất video kết hợp nhiều hình ảnh lại với Để phát nhận dạng biển báo cần phải phân tích, xử lý trích xuất thơng tin cần thiết hình ảnh để phát có “sự xuất hiện” biển báo, sau tiến hành nhận dạng biển báo từ tập liệu chứa thơng tin biển báo Do biển báo giao thông đối tượng biết trước, không đổi – tập tất biển báo có vẽ phần mềm Do đó, tơi đề xuất sử dụng phương pháp: • Phát vùng biển báo dựa viền biển báo cáo màu đỏ xanh dương • Nhận dạng biển báo dựa giải thuật so khớp cách: ◦ Tìm keypoints trích xuất keypoint descriptors vùng biển báo phát bước (query) tập liệu biển báo mẫu (train) ◦ Lần lượt so khớp query với train chọn kết có số lượng keypoints khớp nhiều 1.3 Yếu tố ảnh hưởng đến màu sắc Ở bước phát biển báo dựa màu sắc, dùng phương pháp threshold áp dụng ngưỡng cho dãy màu gồm màu đỏ xanh dương Không gian màu BGR (Blue Green Red) Mặc định hình ảnh màu đọc OpenCV thể không gian màu BGR Các hình ảnh chụp, video quay điều kiện ánh sáng khác khác yếu tố khó khăn cho việc trích xuất đặc trưng, điều kiện ánh sáng (luminance) khác nhau, màu biến đổi thành màu khác chế độ màu này, ánh sáng ảnh hưởng cường độ (intensity) điểm ảnh, chia với kênh màu: Intensiy=11%B+59%G +30%R Do khó để trích xuất biển báo chế độ màu Không gian màu HSV (Hue – Saturation – Value) Với không gian màu Hue giữ giá trị màu sắc (giá trị từ đến 360); Saturation giữ giá trị độ kinh khiết hay bảo hoà Hue (giá trị từ đến 100), giá trị lớn Hue đậm Value giữ giá trị độ sáng hình ảnh (giá trị từ đến 100), giá trị lớn Hue sáng 1.4 Phát biển báo Từ lý sau đọc xong hình ảnh, chuyển ảnh từ khơng gian màu BRG sang không gian màu HSV để không bị ảnh hưởng anh sáng, với chế độ màu HSV toàn cường độ sáng (intensity/luminance) chuyển kênh V, từ cần xử lý kênh màu lại H S mà không cần quan tâm đến V HSV OpenCV cài đặt khác so với phần mềm sửa ảnh: Hue có giá trị từ – 179 (mã hố 7-bit), Saturation có giá trị từ – 255 (mã hố 8-bit) Value có giá trị từ – 255 (mã hoá 8-bit) Dựa vào hình trên, giá trị màu: • Màu đỏ thuộc khoảng: