Đề tài ứng dụng computer vision trong nhận diện phương tiện giao thông ở lối vào vành đai 2 trên cao (ngã tư sở cầu vĩnh tuy)

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ Học phần: Trí tuệ nhân tạo kinh doanh ĐỀ TÀI: ỨNG DỤNG COMPUTER VISION TRONG NHẬN DIỆN PHƯƠNG TIỆN GIAO THÔNG Ở LỐI VÀO VÀNH ĐAI TRÊN CAO (NGÃ TƯ SỞ - CẦU VĨNH TUY)    Giảng viên hướng dẫn : Ngơ Thùy Linh Nhóm thực           : 10 Lớp                               : IS42A21   Hà Nội, ngày tháng năm 2023 Thành viên nhóm 10 ST T Tên MSV SĐT Vũ Thị Thanh Chúc 23A4050075 0967323935 Tìm liệu ảnh, thay đổi số tiêu kiểm thử mơ hình, làm word phần V 20% Nguyễn Khánh Linh 23A4010889 0974986195 Tìm liệu hình ảnh tơ, chạy code chương trình phần xây dựng mơ hình, kiểm tra độ xác mơ hình,  làm word phần IV 20% Nguyễn Lê Phương Anh 23A4050020 0963371428 Tổng hợp word, hỗ trợ word cho bạn chạy chương trình thực nghiệm Xây dựng nội dung word Làm word phần mở đầu, kết luận phần I 20% Phạm Thị Loan 23A4010377 0364549448 Tìm liệu ảnh xe ba gác, tổng hợp word, chạy chương trình phần thực nghiệm Làm word phần II, III 20% Nguyễn Ngọc Trà My 23A4010424 0389717676 Tìm liệu hình ảnh xe máy, tiền xử lý liệu, chạy code chương trình phần xây dựng mơ hình, kiểm tra độ xác mơ hình, làm word phần IV 20% MỤC LỤC Nội dung cơng việc Đóng góp Table of Contents MỞ ĐẦU NỘI DUNG I Giới thiệu đơn vị sử dụng; phát biểu toán lý chọn toán Giới thiệu đơn vị sử dụng Phát biểu toán Lý chọn toán .7 II Giới thiệu cách thức thu thập liệu, kiểu liệu ảnh cần thu thập, số lượng kiểu liệu ảnh cách tổ chức lưu trữ liệu máy tính Cách thức thu thập liệu Kiểu liệu ảnh cần thu thập 10 III Giới thiệu thuật toán sử dụng 10 Giới thiệu mạng nơ-ron tích chập 10 Cấu trúc mạng CNN 11 IV Mã lệnh chương trình 12 Khai báo thư viện sử dụng 12 Kết nối với Google Drive đọc lưu liệu .13 Khai báo đường dẫn thư mục chứa liệu ảnh .14 Gán nhãn liệu 14 Tiền xử lý liệu hình ảnh với ImageDataGenerator 15 Đọc liệu Train Validation 16 Xây dựng mơ hình .17 Huấn luyện mô hình 21 Sử dụng mơ hình 26 10 Thử nghiệm mơ hình kiểm tra độ xác 27 V Thực nghiệm 35 Chuẩn hóa kích thước ảnh 35 Thêm lớp mạng CNN, thay đổi số lượng kích thước lọc .39 Thêm lớp ảnh vào liệu 44 Thay đổi tham số optimizer 51 Thay đổi giá trị số vịng lặp chạy mơ hình EPOCHS 56 Đồng thời việc chuẩn hóa kích thước ảnh, bổ sung thêm lớp CNN thay đổi tham số Optimizer .63 KẾT LUẬN 68 TÀI LIỆU THAM KHẢO 69                             MỞ ĐẦU Giới thiệu vấn đề Thế giới có bước chuyển rõ rệt bối cảnh cách mạng cơng nghiệp lần thứ Đó đời phát minh xu hướng cơng nghệ: IoT, điện tốn đám mây, Blockchains, cơng nghệ cảm biến, thực tế ảo, trí tuệ nhân tạo, Khoa học, công nghệ trở thành phần thiết yếu không hoạt động sản xuất mà đời sống cá nhân Một xu hướng cơng nghệ mang tính đột phá cách mạng Cơng nghiệp 4.0 Trí tuệ nhân tạo – Artificial Intelligence (viết tắt AI) Hiện nay, AI tin tưởng sử dụng phổ biến nhiều lĩnh vực nhiều dạng khác Sự thuận tiện trí thơng minh nhân tạo khiến AI áp dụng rộng rãi, làm thay số công việc cho người vô số ngành nghề Trong đó, thị giác máy tính lĩnh vực phát triển mạnh mẽ giới Khái niệm thị giác máy tính có liên quan tới nhiều ngành học có nhiều hướng nghiên cứu khác Kể từ năm 70 kỷ 20 mà khả tính tốn máy tính trở nên mạnh mẽ hơn, giải cơng việc u cầu tốc độ cao xử lí tệp ảnh hay đoạn video mà thị giác máy tính nhắc đến, nghiên cứu phát triển đến Thị giác máy tính vấn đề mẻ nhà nghiên cứu Việt Nam Việc nghiên cứu phát triển ứng dụng thị giác máy tính mở nhiều tiềm khả ứng dụng thực tiễn mạnh mẽ cho chặng đường nghiên cứu Việt Nam Chính tính thiết thực tiềm ứng dụng mạnh mẽ này, nhóm 10 chúng em định chọn chủ đề: “ Nhận diện phương tiện giao thông lối vào vành đai cao (ngã tư sở - cầu Vĩnh Tuy) ”     NỘI DUNG I Giới thiệu đơn vị sử dụng; phát biểu toán lý chọn toán Giới thiệu đơn vị sử dụng Sở giao thông vận tải thành phố Hà Nội quan chuyên môn Ủy ban nhân dân thành phố, chịu đạo quản lý tổ chức, biên chế công tác UBND thành phố; đồng thời, chịu kiểm tra, giám sát hướng dẫn chuyên môn, nghiệp vụ Bộ Giao thông vận tải Sở Giao thông vận tải thành phố Hà Nội có chức tham mưu, giúp UBND thành phố Hà Nội thực quản lý nhà nước đường bộ, đường thủy nội địa, đường sắt đô thị; vận tải; an tồn giao thơng; quản lý, khai thác, tu, bảo trì hạ tầng giao thơng thị ngồi thị, gồm: cầu đường bộ, cầu vượt, hè phố, đường phố, dải phân cách, hệ thống biển báo hiệu đường bộ, đèn tín hiệu điều khiển giao thông, hầm dành cho người bộ, hầm giới đường bộ, cầu dành cho người bộ, bến xe, bãi đỗ xe, đường tỉnh, hệ thống rãnh thoát nước đường tỉnh, đường quốc lộ, đường vành đai, đường cao tốc địa bàn Thành phố Địa chỉ: Số 258 Khu liên Võ Chí Cơng - phường Xuân La - quận Tây Hồ - Thành phố Hà Nội Điện thoại: 0243.3824404 Fax: 0243.3824984 Email: sogtvt@hanoi.gov.vn Website: sogtvt.hanoi.gov.vn Phát biểu toán Xây dựng ứng dụng nhận diện phương tiện giao thông dựa Computer Vision việc sử dụng hình ảnh kỹ thuật số từ máy ảnh đoạn phim mơ hình học sâu (deep learning), ứng dụng xác định phân loại xác phương tiện – tiếp sau phản ứng với chúng “nhìn thấy” Cụ thể, tốn phân loại phương tiện phép di chuyển đường vành đai cao phương tiện không phép di chuyển đường vành đai cao, thông qua hỗ trợ nhà quản lý dễ dàng xác định phương tiện vi phạm phương tiện khơng vi phạm từ đưa thơng báo kịp thời cho người vi phạm biết đồng thời đưa hình thức xử phạt mức phạt phù hợp với loại phương tiện Input: Hình ảnh phương tiện giao thông (xe đạp, xe máy, ô tô) di chuyển lên cầu vượt Output: Hình ảnh phương tiện vi phạm không vi phạm giao thơng Lý chọn tốn Theo thơng báo Sở GTVT TP Hà Nội việc phân luồng tổ chức giao thông cho người phương tiện tham gia giao thông đường lưu thông qua tuyến đường Vành đai 2, đoạn từ cầu Vĩnh Tuy đến Ngã Tư Sở người phương tiện tham gia giao thông đường không lên đường Vành đai cao, bao gồm: máy kéo, xe môtô hai bánh, xe môtô ba bánh, xe gắn máy (kể xe máy điện) loại xe tương tự; xe máy thi cơng tự hành, xe bánh xích (trừ phương tiện làm nhiệm vụ tu bảo dưỡng, kiểm tra, sửa chữa đường cao); người bộ, xe thơ sơ; súc vật Tuy nhiên, có số trường hợp có loại xe nhầm lên đường vành đai cao Chính vậy, việc ứng dụng Computer Vision xây dựng mơ hình nhận diện phân loại phương tiện di chuyển lên đường vành đai cao tương đối khả thi thời điểm Giải pháp tiết kiệm chi phí hỗ trợ tối ưu cho nhà quản lý dễ dàng xác định phương tiện vi phạm khơng vi phạm từ đưa thông báo kịp thời cho người vi phạm biết đồng thời tiến hành xử phạt vi phạm cách hợp lý Nhóm chúng em muốn chủ đề nghiên cứu nhóm có tính khả thi, áp dụng vào thực tế Chúng em mong việc ứng dụng Computer Vision xây dựng mơ hình nhận diện phân loại phương tiện di chuyển lên đường vành đai cao thay người việc hỗ trợ tối ưu cho nhà quản lý việc quản lý, xác định thông báo kịp thời cho người vi phạm biết đồng thời tiến hành xử phạt vi phạm cách hợp lý II Giới thiệu cách thức thu thập liệu, kiểu liệu ảnh cần thu thập, số lượng kiểu liệu ảnh cách tổ chức lưu trữ liệu máy tính Cách thức thu thập liệu Các thành viên nhóm tìm kiếm thu thập hình ảnh phương tiện giao thơng từ Google chụp ảnh thực tế loại phương tiện giao thông đường Hình ảnh nhóm thu thập ảnh có màu, sau chia ảnh thành nhóm tải thư mục ảnh lên Google drive Nhóm sử dụng hình ảnh có dạng sau: Hình ảnh tơ mà nhóm thu thập Hình ảnh xe đạp điện mà nhóm thu thập Hình ảnh xe máy mà nhóm thu thập Nhóm chia liệu ảnh thu thập thành tệp : ô tô, xe đạp điện xe máy Tổng số lượng 300 ảnh, đó:  Lớp train gồm 240 ảnh: lớp gồm 80 ảnh  Lớp validation gồm 60 ảnh: lớp gồm 20 ảnh  Ta có tỷ lệ Train : Validation 80 : 20 Kiểu liệu ảnh cần thu thập Thu thập hình ảnh phương tiện giao thơng gồm: xe máy (xe moto), xe ô tô (xe con, xe khách, xe bus, xe tải), xe đạp điện, xe ba gác Thuộc tính gán nhãn cần nhận diện: xe máy, xe tô, xe đạp điện  Phương tiện phép di chuyển vành đai cao ô tô ( không vi phạm)  Phương tiện không phép di chuyển vành đai cao phương tiện lại: xe đạp điện, xe máy (vi phạm) III Giới thiệu thuật toán sử dụng Giới thiệu mạng nơ-ron tích chập Convolutional Neural Network (CNN) hay cịn gọi mạng nơ-ron tích chập mơ hình Deep learning (học sâu) tiên tiến, giúp nhận dạng, phân loại xác định hình ảnh, đối tượng hỗ trợ xây dựng hệ thống thơng minh, phản ứng với độ xác cao Mạng CNN thiết kế với mục đích xử lý liệu thông qua nhiều lớp mảng So với mạng nơ-ron thông thường, mạng CNN nhận đầu vào mảng hai chiều hoạt động trực tiếp hình ảnh thay tập trung trích xuất tính thường thấy mạng nơ ron khác Hiện nay, mạng CNN được ứng dụng nhiều xử lý ảnh, cụ thể là nhận diện đối tượng ảnh Ngồi thuật tốn ứng dụng rộng rãi lĩnh vực khác như: chẩn đoán bệnh, xe tự lái, phát sản phẩm lỗi dây chuyền sản xuất, 10