Nhan đề : Nhận dạng chỗ đỗ xe ô tô bằng camera Tác giả : Trần Trung Tiến Người hướng dẫn: Nguyễn Vũ Thắng Từ khoá : Ô tô Năm xuất bản : 2020 Nhà xuất bản : Trường đại học Bách Khoa Hà Nội Tóm tắt : Trình bày sơ đồ khối và cơ sở lý thuyết; nội suy vị trí đỗ xe và kết quả đạt được.
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ KỸ THUẬT NHẬN DẠNG CHỖ ĐỖ XE Ô TÔ BẰNG CAMERA TRẦN TRUNG TIẾN trantien.117@gmail.com Chuyên nghành: Kỹ thuật điện tử Giảng viên hướng dẫn: TS Nguyễn Vũ Thắng Chữ ký GVHD Viện Điện tử viễn thông HÀ NỘI, 6/2020 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Trần Trung Tiến Đề tài luận văn: Nhận dạng chỗ đỗ xe ô tô camera Chuyên ngành: Kỹ thuật Điện tử Mã số SV: CA170266 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 23/07/2020 với nội dung sau: - Bố cục chưa hợp lý - Thêm phần khảo sát hệ thống sử dụng camera - Các lỗi soạn thảo văn Ngày Giáo viên hướng dẫn tháng năm 2020 Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG LỜI CAM ĐOAN Tôi cam kết luận văn cơng trình nghiên cứu thân tôi, hướng dẫn TS Nguyễn Vũ Thắng Các kết công bố báo cáo trung thực, không chép cá nhân tổ chức công bố khác Ngày … tháng …… năm 2020 HỌC VIÊN Trần Trung Tiến Lời cảm ơn Lời đầu tiên, xin trân trọng cảm ơn TS Nguyễn Vũ Thắng thành viên phịng thí nghiệm IC Design tận tình hướng dẫn tơi q trình hồn thành luận văn Tôi xin chân thành cảm ơn thầy, cô thuộc viện Điện tử - Viễn thông, trường Đại học Bách Khoa Hà Nội tạo điều kiện hỗ trợ tơi suốt q trình tơi thực luận văn Do thân tơi cịn giới hạn kiến thức khả lý luận nên luận văn cịn nhiều thiếu sót hạn chế, kính mong dẫn đóng góp thầy, để luận văn tơi hồn thiện Tơi xin chân thành cảm ơn! Các kết luận văn thực hướng dẫn TS Nguyễn Vũ Thắng TS Nguyễn Vũ Thắng có tồn quyền sử dụng luận văn Tóm tắt Luận văn thực thử nghiệm chương trình xác định vị trí đỗ xe bãi đỗ, nhằm phục vụ cho hệ thống quản lý bãi đỗ xe sử dụng camera dựa mạng nơ-ron tích chập Luận văn tìm hiểu cơng cụ cần thiết cho toán xử lý ảnh, số thuật tốn xử lý ảnh phân tích mức độ cần thiết luận văn toàn hệ thống quản lý bãi đỗ xe Kết luận văn đánh giá độ xác phương án xác định vị trí đỗ xe Luận văn đưa thiết kế chi tiết nhằm giải số vấn đề gặp phải triển khai hệ thống quản lý bãi đỗ xe Từ đó, luận văn xây dựng giao diện thân thiện với người dùng cho phép áp dụng thiết kế với nhiều bãi đỗ khác mà không cần phải sâu vào code hay phải sử dụng phần mềm bên Hệ thống chạy thử thực tế cho kết độ xác 92.5% số lượng ảnh nhận diện đủ điểm mốc, lại số lượng ảnh nhận diện điểm mốc tổng 67 ảnh đầu vào, tất xử lý thành công liệu ảnh Trong tương lai, nhóm nghiên cứu thử nghiệm liệu lớn hơn, nhóm tăng kích thước điểm mốc, thực khảo sát màu xe tránh nhầm lẫn màu với điểm mốc có vài lựa chọn khác cho bãi đỗ xe với tính chất khác nhau… để giúp hệ thống nhận diện xác MỤC LỤC MỞ ĐẦU CHƯƠNG GIỚI THIỆU CHUNG VỀ LĨNH VỰC NGHIÊN CỨU 1.1 Đặt vấn đề 1.2 Mục tiêu nhiệm vụ luận văn 1.3 Kết luận chương CHƯƠNG SƠ ĐỒ KHỐI VÀ CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu chung hệ thống 2.1.1 Bài toán 2.1.2 Đầu vào/ra hệ thống 2.1.3 Sơ đồ khối 2.2 Khối xử lý công việc đề cập luận văn 10 2.3 Một số thuật toán khái niệm sử dụng luận văn 13 2.3.1 Tổng quan OpenCV 13 2.3.2 Chuyển đổi không gian màu 14 2.3.3 Thuật toán Morphological Transform 17 2.3.4 Các phương pháp chỉnh ảnh 20 2.3.5 Thuật toán Canny Edge Detection 27 2.3.6 Thuật toán Hole Filling 30 2.3.7 Thuật toán xoay ảnh 32 2.4 Kết luận chương 33 CHƯƠNG NỘI SUY VỊ TRÍ ĐỖ XE VÀ KẾT QUẢ ĐẠT ĐƯỢC 34 3.1 Thực đánh dấu điểm mốc 37 3.2 Nội suy tọa độ ảnh vị trí đỗ 39 3.2.1 Xác định tọa độ điểm mốc vị trí đỗ xe 39 3.2.2 Thực nội suy tọa độ ảnh 40 3.3 Thực cắt ảnh 46 3.3.1 Cắt ảnh sử dụng tọa độ 46 3.3.2 Cắt ảnh sử dụng mask 50 3.4 Kết đạt 53 3.5 Kết luận chương 53 KẾT LUẬN 55 TÀI LIỆU THAM KHẢO 56 DANH MỤC HÌNH VẼ Hình 1: Một số phương pháp quản lý bãi đỗ xe trời (a) sử dụng cảm biến hồng ngoại kết hợp với rào chắn [1], (b) sử dụng cảm biến [2] Hình 2: Phương pháp sử dụng camera nhiệt Hình 3: Sử dụng camera để giám sát, quản lý bãi đỗ xe [4] Hình 1: Sơ đồ khối hệ thống nhận dạng chỗ đỗ xe ô tô camera Hình 2: Camera lắp đặt tầng tịa nhà C9, khn viên trường Đại học BKHN kết chụp bãi đỗ xe nhà C9, trường Đại học Bách khoa Hà Nội 10 Hình 3: Sơ đồ khối Image Processing 11 Hình 4: Quy trình thực cơng việc khối Image Processing 12 Hình 5: Khơng gian màu RGB 15 Hình 6: Không gian màu HSV 16 Hình 7: Hình ảnh gốc sử dụng thuật toán .18 Hình 8: Hình ảnh minh họa Erosion .18 Hình 9: Hình ảnh minh họa Dilation .19 Hình 10: Hình ảnh minh họa Opening 19 Hình 11: Hình ảnh minh họa Closing 20 Hình 12: Hai hình ảnh mặt phẳng 3D (trên sách) 21 Hình 13: Hình ảnh mặt phẳng 3D chỉnh với hình ảnh khác Homography 22 Hình 14: Hình ảnh minh họa máy ảnh pinhole .25 Hình 15: Các kiểu biến dạng hình ảnh 26 Hình 16: Sự khác Image Warping Image Calibration .28 Hình 17: Hình ảnh minh họa ngưỡng lọc 29 Hình 18: Hình ảnh kết thuật tốn phát cạnh Canny 29 Hình 19: Các bước thực Hole Filling 31 Hình 20: Sơ đồ thuật toán bước thực Hole Filling 31 Hình 21: Hình ảnh minh họa thuật toán xoay ảnh 32 Hình 1: Hình ảnh vị trí đỗ bị lệch 36 Hình 2: Các cách đánh dấu mốc 37 Hình 3: Hình ảnh đánh dấu điểm mốc 39 Hình 4: Xác định tọa độ điểm mốc .39 Hình 5: Xác định tọa độ vị trí đỗ xe .40 Hình 6: Hình ảnh tham khảo bị nhiễu 41 Hình 7: Hình ảnh loại bỏ nhiễu Morphological Transform 42 Hình 8: Kết nhận diện đầy đủ mốc với ảnh chứa mốc triển khai thực tế 42 Hình 9: Hình ảnh tham chiếu 44 Hình 10: Hình ảnh góc camera bị lệch .44 Hình 11: Hình ảnh sau thực làm méo ảnh với mốc 45 Hình 12: Vị trí đỗ xe cắt theo hình tham chiếu 45 Hình 13: Vị trí đỗ xe cắt theo hình làm méo với góc camera khác 45 Hình 14: Vị trí đỗ xe cắt theo tọa độ cho trước với góc camera khác 45 Hình 15: Giao diện phần mềm Paint sử dụng để cắt ảnh 46 Hình 16: Các contour vẽ trực tiếp lên cửa sổ chương trình 47 Hình 17: Tọa độ lưu vào file text 48 Hình 18: Hình ảnh cắt vị trí đỗ xe 49 Hình 19: Sử dụng contours hình vng hình thoi 50 Hình 20: Ví dụ cách sử dụng phần mềm Paint 3D để tạo mask .51 Hình 21: Hình minh họa mask với blob cho vị trí đỗ .51 Hình 22: Kết sau kết hợp hình ảnh bãi đỗ mask vừa tạo .52 Hình 23: Kết sau thực Warping 53 Hình 24: Kết ảnh phục vụ cho trình phân loại .53 DANH MỤC BẢNG BIỂU Bảng 1: Thông tin đầu ra, đầu vào khối Image Processing 11 Bảng 2: Sự khác Image Warping Image Calibration .26 MỞ ĐẦU A Bối cảnh nghiên cứu Hiện mật độ xe ô tô ngày tăng cao khu đô thị lớn, với điều xuất ngày nhiều bãi đỗ xe với quy mô lớn nhỏ khác việc quản lý, vận hành bãi đỗ xe chưa tối ưu mang lại hiệu cao cho người quản lý người lái xe, ví dụ như: thiếu thơng tin số lượng chỗ đỗ xe trống, người lái xe phải dành nhiều thời gian để tìm kiếm chỗ đỗ khơng gian đỗ tơ rộng lớn Vì vậy, phát triển hệ thống quản lý, nhận diện chỗ đỗ xe ô tô thật cần thiết lợi ích: tiết kiệm thời gian, điều hành phương tiện lưu thông dễ dàng, thuận tiện cho người sử dụng B Phương pháp nghiên cứu Để quản lý bãi đỗ xe ô tô, bên cạnh phương pháp sử dụng nhiều nơi cổng tự động, cảm biến mặt đất hệ thống khí để biết số vị trí cịn trống trống vị trí khu vực đỗ xe cịn có phương pháp sử dụng camera để giám sát, quản lý bãi đỗ xe Phương pháp có ưu điểm ta giám sát diện rộng khu vực bãi đỗ xe với camera, việc thi công đơn giản không ảnh hưởng nhiều đến môi trường C Mục tiêu đối tượng nghiên cứu Đề tài: “Hệ thống nhận dạng chỗ đỗ xe ô tô camera” đưa phương pháp để tối ưu hóa việc giám sát, quản lý bãi đỗ xe nhằm cải thiện khó khăn cịn gặp người quản lý người lái xe khu vực đỗ xe thành phố lớn Đối tượng nghiên cứu đề tài trình xử lý hình ảnh để phân loại trạng thái vị trí đỗ “trống” hay “khơng trống” D Phạm vi nghiên cứu Phạm vi đề tài gồm nội dung trình bày thành chương sau: - Chương 1: Khảo sát phương pháp sử dụng để quản lý bãi đỗ xe nhằm đưa phương pháp tối ưu mang hiệu cao cho người quản lý, người sử dụng hệ thống quản lý bãi đỗ xe Từ đó, xác định mục tiêu nhiệm vụ công việc phải thực luận văn để đạt kết với phương pháp giám sát, quản lý bãi đỗ xe sử dụng camera mà ta lựa chọn - Chương 2: Giới thiệu tổng quan toàn hệ thống nhận diện bãi đỗ xe camera, trình bày khối cơng việc yêu cầu thực đề tài xác định vị trí chỗ đỗ xe – phần công việc nằm hệ thống nhận diện bãi đỗ xe lớn Thêm vào đó, luận văn tìm hiểu số thuật tốn khái niệm xử lý ảnh sử dụng đề tài - Chương 3: Sử dụng phần mềm, thuật toán để xác định tọa độ điểm mốc, tọa độ vị trí đỗ; chuyển đổi khơng gian màu, loại bỏ nhiễu chỉnh hình ảnh Từ đó, phần mềm nội suy vị trí đỗ, cắt ảnh xuất file hoàn toàn tự động để phục vụ cho khối công việc hệ thống nhận diện bãi đỗ xe camera Phần cuối, trình bày kết đạt sau hồn thành cơng việc u cầu, đưa hạn chế mà chương trình chưa đạt Cuối cùng, luận văn đưa số giải pháp khắc phục hạn chế đề xuất hướng phát triển hệ thống tương lai Hình 7: Hình ảnh loại bỏ nhiễu Morphological Transform Như Hình 7, hầu hết nhiễu bị loại bỏ phần mốc giữ ngun Ngồi Morphological Transform, chương trình loại trừ blob khơng xác cách đặt điều kiện kích thước, khu vực mốc mật độ pixel trắng bounding box Chương trình thực sau: if 20