Trong những năm gần đây, với sự phát triển kinh tế của Việt Nam, số lượng phương tiện giao thông đã tăng một cách chóng mặt, đặc biệt là phương tiện ô tô. Phương tiện cá nhân tăng lên, đòi hỏi diện tích đất dành cho bãi đỗ xe cũng phải tăng theo. Tại một bãi đỗ xe có diện tích lớn, để kiểm soát được bãi đậu như trên thì cần phải có một hệ thống phức tạp gồm các nhiệm vụ khác nhau, chẳng hạn như tìm bãi đỗ trống cho xe, quản lý chi phí xe, soát vé tự động,… Với mỗi một vấn đề trên thì ta lại cần giải một bài toán khác nhau. Hiện nay, với sự phát triển của công nghệ thì việc đưa ra giải pháp cho các bài toán trên cũng không còn quá khó khăn. Chính vì thế, nhóm chúng em lựa chọn đề tài: “Ứng dụng xử lý ảnh trong quản lý bãi đỗ xe”
BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO THỰC TẬP CƠ SỞ NGÀNH Mã lớp độc lập : IT6046.1 (20222IT6046001) ỨNG DỤNG XỬ LÝ ẢNH TRONG QUẢN LÝ BÃI ĐỖ XE Giáo viên hướng dẫn : Thạc sĩ Lê Như Hiền Nhóm thực : Nhóm 12 - K16 Vũ Hồng Cát Mã SV: 2021601794 Lớp: KHMT01 K16 Phạm Đức Duy Mã SV: 2021602655 Lớp: KHMT01 K16 Nguyễn Hoàng Giang Mã SV: 2021603232 Lớp: KHMT01 K16 Nguyễn Trung Hiếu Mã SV: 2021604011 Lớp: KHMT01 K16 Trần Văn Sơn Mã SV: 2021603713 Lớp: KHMT01 K16 Hà Nội – 2023 LỜI CẢM ƠN Đối với sinh viên trường Đại học Công Nghiệp Hà Nội, báo cáo tổng kết môn học minh chứng cho kiến thức có sau học phần học học phần Chúng em xin gửi lời cảm ơn đến trường Đại học Công Nghiệp Hà Nội, khoa Công nghệ thông tin tạo điều kiện cho chúng em học tập Chúng em xin chân thành cảm ơn thầy cô khoa giảng dạy với tất tâm huyết, truyền dạy cho chúng em tất kiến thức quý báu để chúng em vững bước đường học tập nghiệp tương lai Đặc biệt em xin chân thành cảm ơn đến cô giáo Thạc sĩ Lê Như Hiền Trong suốt trình nghiên cứu, thực báo cáo cô giúp đỡ, hướng dẫn tận tình để chúng em hồn thành đề tài nghiên cứu Một lần nữa, chúng em xin cảm ơn cô, chúc cô dồi sức khỏe, hạnh phúc, thành công nghiệp giảng dạy ! Chúng em xin chân thành cảm ơn! MỤC LỤC LỜI CẢM ƠN MỤC LỤC MỞ ĐẦU Lý chọn đề tài Mục đích nghiên cứu Đối tượng nghiên cứu Nhiệm vụ nghiên cứu Giới hạn phạm vi nghiên cứu Phương pháp nghiên cứu 7 Bố cục CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 Tổng quan OpenCV 1.1.1 OpenCV ? 1.1.2 Sử dụng OpenCV xử lý ảnh 1.2 Deep Learning mạng nơ ron nhân tạo 10 1.2.1 Mạng nơ ron tích chập (CNN Convolution Neural Network) 10 CHƯƠNG 2: KHẢO SÁT HỆ THỐNG 12 2.1 Tiêu chuẩn thiết kế mơ hình bãi đỗ xe 12 2.1.1 Tiêu chuẩn thiết kế bãi đỗ xe quy định 12 2.1.2 Bãi đỗ xe chéo góc 45 độ 13 2.1.3 Bãi đỗ xe song song 14 2.2 Phân tích góc nhìn camera 14 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG 18 3.1 Mơ hình hệ thống 18 3.2 Thiết kế hệ thống 18 3.2.1 Phân vùng bãi đỗ xe lưu liệu 18 3.2.2 Crop ảnh 19 3.2.3 Xử lý ảnh 20 3.2.4 Áp dụng mạng tích chập (Convolution Neural Network) để nhận diện 21 3.2.5 Hiển thị lên hình 23 KẾT LUẬN 24 Những lợi ích mang lại đề tài 24 Điểm hạn chế đề tài 24 Hướng phát triển đề tài 24 Ứng dụng 24 TÀI LIỆU THAM KHẢO 27 DANH MỤC HÌNH ẢNH Hình Hình ảnh bãi đỗ xe điển hình nhiều nơi Hình 1.1 Ảnh minh hoạ OpenCV Hình 1.2 Ảnh minh hoạ Deep Learning 10 Hình 1.3 Hình ảnh cấu trúc mạng nơ ron tích chập 11 Hình 1.4 Hình ảnh lớp tích chập 11 Hình 2.1 Một mơ hình bãi đỗ xe thơng minh 13 Hình 2.2 Mơ hình bãi đỗ xe chếch góc 45 độ 13 Hình 2.3 Mơ hình bãi đỗ xe song song 14 Hình 2.4 Hình ảnh camera bãi đỗ xe 15 Hình 2.5 Khung cảnh nhìn thẳng đứng bãi đỗ xe 15 Hình 2.6 Khung cảnh nhìn nghiêng bãi đỗ xe 16 Hình 2.7 Mơ thiết kế bãi đỗ 17 Hình 3.1 Hình ảnh minh họa phân vùng bãi đỗ xe 19 Hình 3.2 Hình ảnh vùng nhỏ mơ hình bãi đỗ xe 20 Hình 3.3 Hình ảnh phép biến đổi ảnh 21 Hình 3.4 Hình ảnh minh họa non-vehicles 22 Hình 3.5 Hình ảnh minh họa vehicles 22 Hình 3.6 Hình ảnh minh hoạ hiển thị hình 23 Hình ảnh trường Đại học Cơng Nghiệp Hà Nội 25 MỞ ĐẦU Lý chọn đề tài Trong năm gần đây, với phát triển kinh tế Việt Nam, số lượng phương tiện giao thông tăng cách chóng mặt, đặc biệt phương tiện tơ Phương tiện cá nhân tăng lên, địi hỏi diện tích đất dành cho bãi đỗ xe phải tăng theo Tại bãi đỗ xe có diện tích lớn, để kiểm sốt bãi đậu cần phải có hệ thống phức tạp gồm nhiệm vụ khác nhau, chẳng hạn tìm bãi đỗ trống cho xe, quản lý chi phí xe, sốt vé tự động,… Với vấn đề ta lại cần giải toán khác Hiện nay, với phát triển cơng nghệ việc đưa giải pháp cho toán khơng cịn q khó khăn Chính thế, nhóm chúng em lựa chọn đề tài: “Ứng dụng xử lý ảnh quản lý bãi đỗ xe” Hình Hình ảnh bãi đỗ xe điển hình nhiều nơi Mục đích nghiên cứu Như mục tiêu cần đạt thông qua nghiên cứu: - Đếm số lượng xe vào bãi - Kiểm soát xe vào bãi - Thống kê thời gian vào - Tính tốn chi phí - Hiển thị bãi đỗ trống Đối tượng nghiên cứu Bãi đỗ xe trường Đại học Công Nghiệp Hà Nội Nhiệm vụ nghiên cứu - Phân tích góc nhìn camera - Đưa hướng giải pháp - Xây dựng tảng lý thuyết Giới hạn phạm vi nghiên cứu Để giải vấn đề nêu trên, phạm vi nghiên cứu bao gồm phần: + Tìm hiểu sử dụng thư viện xử lý ảnh OpenCV + Ứng dụng Deep Learning để nhận diện ảnh Phương pháp nghiên cứu - Thu thập liệu gồm video dùng camera để tự quay bãi đỗ - Nghiên cứu kỹ thuật để phát có phương tiện giao thơng bên bãi khơng Bố cục Đề tài bao gồm chương: Chương 1: Cơ sở lý thuyết Chương 2: Khảo sát hệ thống Chương 3: Thiết kế hệ thống CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 Tổng quan OpenCV 1.1.1 OpenCV ? Hình 1.1 Ảnh minh hoạ OpenCV Project OpenCV Intel năm 1999 Gary Bradsky OpenCV viết tắt cho Open Source Computer Vision Library OpenCV thư viện nguồn mở hàng đầu cho Computer Vision Machine Learning, có thêm tính tăng tốc GPU cho hoạt động theo real-time OpenCV có cộng đồng người dùng hùng hậu hoạt động khắp giới nhu cầu cần đến ngày tăng theo xu hướng chạy đua sử dụng computer vision công ty công nghệ OpenCV ứng dụng rộng rãi toàn cầu, với cộng đồng 47.000 người, với nhiều mục đích tính khác từ interactive art, đến khai thác mỏ, khai thác web map qua robotic cao cấp 1.1.2 Sử dụng OpenCV xử lý ảnh 1.1.2.1 Thay đổi kích thước khung hình Resize, hay gọi cách khác scale ảnh, việc ta chỉnh kích thước ảnh kích thước (có thể giữ tỉ lệ ảnh ban đầu không) + Lệnh chỉnh kích thước: cv2.resize(src, dsize, fx, fy) + dsize: kích thước (width, height) Tuy tổ chức liệu Height Width Channel tham số truyền vào tuple lại xếp Width trước Height sau Các ý điểm + fx, fy: dùng để biến đổi theo tỉ lệ ảnh thay kích thước tuyệt đối Crop ảnh với OpenCV Crop vùng ảnh theo trục y(iy: y), theo trục x(ix: x) 1.1.2.2 Vẽ hình chèn text Mục tiêu: Vẽ hình dạng hình học khác với OpenCV Vẽ đường (Drawing Line) Vẽ hình chữ nhật (Drawing Rectangle) Vẽ vịng trịn (Drawing Circle) Vẽ hình elip (Drawing Ellipse) Vẽ đa giác (Drawing Polygon) 1.1.2.3 Các hàm biến đổi ảnh cần thiết Ảnh xám (Gray image): Ảnh màu thực chất tập hợp ma trận số có kích thước Khi muốn xử lý thông tin ảnh, dễ dàng ta xử lý liệu ma trận số thay nhiều ma trận số Việc biến đổi ảnh màu ảnh số (Grayscale converting) xuất mục đích - biến đổi thơng tin ảnh ma trận số hai chiều Làm mờ ảnh (Blur image): + Nó loại bỏ cạnh cường độ thấp + Nó giúp làm mịn hình ảnh + Nó có lợi việc che giấu chi tiết: ví dụ, cần phải làm mờ nhiều trường hợp, chẳng hạn cảnh sát cố tình muốn giấu mặt nạn nhân Phát cạnh (Canny Edges): Edge Detection kĩ thuật xử ảnh sử dụng để tìm kiếm viền bao của đối tượng ảnh Trong xử lý ảnh, việc kiếm việc thực chất tìm khu vực bị liên tục độ sáng (a.k.a khu vực có chênh lệch đột biến cường độ sáng) Làm giãn (Dialating image) làm mòn (Eroding image): + Loại bỏ pixel nhiễu cô lập + Loại bỏ pixel nhiễu xung quanh đối tượng giúp cho phần viền (cạnh) đối tượng trở nên mịn + Loại bỏ lớp viền (cạnh) đối tượng giúp đối tượng trở nên nhỏ đặt pixel viền trở thành lớp đối tượng 1.2 Deep Learning mạng nơ ron nhân tạo Deep Learning (học sâu) xem lĩnh vực Machine Learning (học máy) – máy tính học cải thiện thơng qua thuật toán Deep Learning xây dựng dựa khái niệm phức tạp nhiều, chủ yếu hoạt động với mạng nơ-ron nhân tạo để bắt chước khả tư suy nghĩ não người Hình 1.2 Ảnh minh hoạ Deep Learning 1.2.1 Mạng nơ ron tích chập (CNN Convolution Neural Network) 1.2.1.1 Khái niệm Trong mạng neural, mơ hình mạng neural tích chập (CNN) mơ hình để nhận dạng phân loại hình ảnh Trong đó, xác định đối tượng nhận dạng khuôn mặt số lĩnh vực mà CNN sử dụng rộng rãi 10 Kiểu thiết kế thấy Việt Nam lại thông dụng nước ngồi với mật độ xe lưu thơng đỗ tương đối lớn Kích thước bãi đỗ gồm chiều dài đỗ e 6m Chiều rộng xe đỗ tối thiểu 2.3m, chiều rộng lối tránh hai ô tô 2.5m 2.1.3 Bãi đỗ xe song song Các bãi đỗ xe song song thường thấy nhiều sân bay, bãi đỗ xe bến tàu, sân bay khu vực có diện tích vơ rộng lớn Theo kích thước nhà khoảng cách A 5.8m, chiều dài B 4.6m chiều rộng lối 2.2m đến 2.3m Hình 2.3 Mơ hình bãi đỗ xe song song Nếu bãi đỗ đặt ngồi trời kích thước A 6.10m đến 6.7m, chiều dài chỗ để ô tô 5.5m, chiều rộng 2.5m Đây mơ hình bãi đỗ xe thông dụng nay, thiết kế phổ biến Việt Nam, đặc biệt trung tâm thương mại, bãi đỗ siêu thị lớn, … 2.2 Phân tích góc nhìn camera Trong bãi đỗ xe tiêu chuẩn thiết kế, thường có camera lắp đặt để quan sát vùng mơ hình Để phục vụ cho việc giám sát bãi đỗ 14 thuận lợi, thường camera cần có độ phân giải cao Full HD trở lên đặt cố định Như có góc nhìn bãi đỗ khung cảnh thẳng đứng (Hình 1.6) khung cảnh nhìn nghiêng (Hình 1.7) Hình 2.4 Hình ảnh camera bãi đỗ xe Hình 2.5 Khung cảnh nhìn thẳng đứng bãi đỗ xe 15 Hình 2.6 Khung cảnh nhìn nghiêng bãi đỗ xe Như mô hình bãi đỗ xe mà phân tích có khung cảnh thẳng đứng, khung cảnh nhìn nghiêng trích xuất từ camera camera đặt cố định Điểm chung mơ hình đỗ xe bao gồm bãi đỗ nhỏ bên ngăn cách vạch trắng kẻ xung quanh đồng hình đây: 16 Hình 2.7 Mơ thiết kế bãi đỗ Vì đặc điểm bãi đậu chung kích thước dễ dàng cho phân tích trạng thái 17 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG 3.1 Mơ hình hệ thống Chia làm giai đoạn: GĐ1: Đầu tiên thu thập liệu gồm video dùng camera để tự quay bãi đỗ GĐ2: Đối với bãi đỗ tương ứng với khung hình camera cố định, ta đánh dấu vị trí bãi đỗ lưu lại GĐ3: Sử dụng kỹ thuật để phát có phương tiện giao thơng bên bãi khơng Ở có cách để phát phương tiện giao thơng xử dụng kỹ thuật xử lý ảnh sử dụng mơ hình CNN Deep Learning GĐ4: Từ kết thu được, hiển thị lên hình cho người điều khiển sử dụng 3.2 Thiết kế hệ thống Chuẩn bị liệu: Dữ liệu bao gồm video camera quay bãi đỗ xe 3.2.1 Phân vùng bãi đỗ xe lưu liệu Sau có liệu từ phần chuẩn bị data, ta sử dụng khung hình mơ hình để đánh dấu bãi đỗ nhỏ bên Sử dụng mouseEvent, kết hợp vẽ hình thư viện OpenCV, dùng chuột chọn vùng cho vùng chọn có kích thước gần tương đương nhau, hình đây: 18 Hình 3.1 Hình ảnh minh họa phân vùng bãi đỗ xe Và cuối lưu lại liệu gồm tọa độ bãi đỗ lại (file csv, file txt, …) 3.2.2 Crop ảnh Sau có tọa độ lưu lại từ ảnh gốc, ta cắt nhỏ ảnh bãi đỗ hiển thị sau: 19 Hình 3.2 Hình ảnh vùng nhỏ mơ hình bãi đỗ xe 3.2.3 Xử lý ảnh 3.2.3.1 Ý tưởng Ý tưởng để nhận diện bãi đỗ có phương tiện giao thơng đơn giản, đếm số lượng pixel chuyển đổi sang ảnh nhị phân (binary image) dựa vào cạnh góc ảnh xử lý Chẳng hạn ảnh mà ko có đủ số lượng pixel ứng vs cạnh góc ảnh bình thường, ko có phương tiện qua lại ngược lại 3.2.3.2 Các phép biến đổi ảnh Dưới phép biến đổi mà em áp dụng để thực ý tưởng trên: Biến đổi từ ảnh màu sang ảnh đa mức xám (gray image) Từ ảnh xám thu được, sử dụng phép biến đổi GaussianBlur để làm mờ ảnh, lọc nhiễu Sử dụng Adaptive Threshold để phân ngưỡng ảnh chuyển ảnh sang dạng nhị phân Sử dụng phép biến đổi Median Blur để loại bỏ nhiễu nhỏ ảnh 20 Sử dụng Dilation để làm rõ điểm sáng ảnh Cuối ta thu ảnh trình tự đây: Hình 3.3 Hình ảnh phép biến đổi ảnh 3.2.4 Áp dụng mạng tích chập (Convolution Neural Network) để nhận diện Để xây dựng mạng Nơ ron cần nhiều liệu đầu vào nhằm tăng độ xác cho khả dự đốn Ở tốn này, chúng em tập trung vào phần liệu tương ứng với kết đầu nó, có phương tiện giao thông bãi đỗ, phương tiện Thư mục non-vehicles thư mục chứa ảnh cối, đèn đường, sân trống, … để thể ko có phương tiện giao thơng qua lại 21 Hình 3.4 Hình ảnh minh họa non-vehicles Còn thư mục vehicles thư mục chứa phương tiện giao thơng Hình 3.5 Hình ảnh minh họa vehicles 22 3.2.5 Hiển thị lên hình Hình 3.6 Hình ảnh minh hoạ hiển thị hình 23 KẾT LUẬN Những lợi ích mang lại đề tài Ta thấy lợi ích mà mang lại như: + Tiết kiệm thời gian cho người quản lý + Đơn giản hoá vấn đề phải quản lý bãi trông xe quy mô lớn + Mơ hình tiện lợi, đem lại cảm giác thoải mái cho người gửi trông xe Điểm hạn chế đề tài Trong điều kiện trời mưa, trời có tuyết, hay bãi đỗ xe khơng có đèn đường, việc dự đoán vào ban đêm ảnh hưởng đến kết nhiều Hướng phát triển đề tài Có nhiều điều để thoải mái sức sáng tạo đề tài này, nhận diện phương tiện vào bãi phát triển thêm như: + Tính tốn chi phi gửi xe + Khảo sát khung có nhiều xe đậu + Tìm lối vào, tìm lối cho xe,… + Bãi đỗ xe tự động Ứng dụng Áp dụng vào mơ hình quản lý nhà xe trường Đại học Công Nghiệp 4.1 Thực trạng Số lượng sinh viên trường ĐHCNHN ngày tăng theo năm Ngồi ra, với diện tích khơng q rộng nên sinh viên ln gặp khó khăn việc tìm kiếm chỗ đỗ xe, thời gian việc xếp hàng lấy thẻ xe 24 Hình ảnh trường Đại học Công Nghiệp Hà Nội 4.2 Giải pháp Ứng dụng xử lý ảnh vào mơ hình nhà xe trường Đại học Cơng Nghiệp: + Kiểm sốt chỗ để xe: tìm vị trí trống để đỗ xe, định hướng lối cho xe Lợi ích: Tiết kiệm thời gian tìm chỗ để xe, lấy xe + Quản lý xe: Với việc ứng dụng xử lý ảnh ta lấy hình ảnh biển số xe, điều tạo nên mơ hình bãi đỗ xe tự động Lúc vé gửi xe chia thành 25 loại: - Vé theo tháng: Hệ thống ghi lại mã định danh biển số xe đó, sinh viên không cần cấp thẻ từ lần gửi xe, có sẵn liệu hệ thống Mỗi lần vào/ra hệ thống tự động trừ chi phí gửi xe - Vé tạm thời: Người quản lý nhà xe phải làm thủ công quét thẻ từ xe Nhưng gây khó khăn như: + Số lượng sinh viên đăng kí theo tháng khơng nhiều + Bắt buộc phải xe lúc đăng kí vé + Trong trường hợp nhiều sinh viên đăng kí gây liệu tải + Việc an ninh không chặt chẽ ban đầu + Sinh viên phải có ý thức chấp hành nghiêm chỉnh 26 TÀI LIỆU THAM KHẢO Adrian Kaehler, Gary Rost Bradski (2008), Learning OpenCV, O'Reilly Media Francois Chollet (2017), Deep Learning with Python, Manning Publications Andrew Ng (2017), Neural Networks and Deep Learning, Michael Nielsen Hamed Habibi Aghdam, Elnaz Jahani Heravi (2017), Guide to Convolutional Neural Networks: A Practical Application to Traffic-Sign Detection and Classification, Pringer International Publishing Vũ Hữu Tiệp (2019), Machine Learning bản, NXB Khoa học Kỹ thuật 27 28