Đề tài ứng dụng computer vision trong nhận diện phương tiện giao thông ở lối vào vành đai 2 trên cao (ngã tư sở cầu vĩnh tuy)

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ Học phần: Trí tuệ nhân tạo kinh doanh ĐỀ TÀI: ỨNG DỤNG COMPUTER VISION TRONG NHẬN DIỆN PHƯƠNG TIỆN GIAO THÔNG Ở LỐI VÀO VÀNH ĐAI TRÊN CAO (NGÃ TƯ SỞ - CẦU VĨNH TUY)    Giảng viên hướng dẫn : Ngơ Thùy Linh Nhóm thực           : 10 Lớp                               : IS42A21   Hà Nội, ngày tháng năm 2023 Thành viên nhóm 10 ST T Tên MSV SĐT Vũ Thị Thanh Chúc 23A4050075 0967323935 Tìm liệu ảnh, thay đổi số tiêu kiểm thử mơ hình, làm word phần V 20% Nguyễn Khánh Linh 23A4010889 0974986195 Tìm liệu hình ảnh tơ, chạy code chương trình phần xây dựng mơ hình, kiểm tra độ xác mơ hình,  làm word phần IV 20% Nguyễn Lê Phương Anh 23A4050020 0963371428 Tổng hợp word, hỗ trợ word cho bạn chạy chương trình thực nghiệm Xây dựng nội dung word Làm word phần mở đầu, kết luận phần I 20% Phạm Thị Loan 23A4010377 0364549448 Tìm liệu ảnh xe ba gác, tổng hợp word, chạy chương trình phần thực nghiệm Làm word phần II, III 20% Nguyễn Ngọc Trà My 23A4010424 0389717676 Tìm liệu hình ảnh xe máy, tiền xử lý liệu, chạy code chương trình phần xây dựng mơ hình, kiểm tra độ xác mơ hình, làm word phần IV 20% MỤC LỤC Nội dung cơng việc Đóng góp Table of Contents MỞ ĐẦU NỘI DUNG I Giới thiệu đơn vị sử dụng; phát biểu toán lý chọn toán Giới thiệu đơn vị sử dụng .6 Phát biểu toán Lý chọn toán .7 II Giới thiệu cách thức thu thập liệu, kiểu liệu ảnh cần thu thập, số lượng kiểu liệu ảnh cách tổ chức lưu trữ liệu máy tính Cách thức thu thập liệu Kiểu liệu ảnh cần thu thập 10 III Giới thiệu thuật toán sử dụng 10 Giới thiệu mạng nơ-ron tích chập 10 Cấu trúc mạng CNN 11 IV Mã lệnh chương trình 12 Khai báo thư viện sử dụng 12 Kết nối với Google Drive đọc lưu liệu 13 Khai báo đường dẫn thư mục chứa liệu ảnh 14 Gán nhãn liệu .14 Tiền xử lý liệu hình ảnh với ImageDataGenerator 15 Đọc liệu Train Validation .16 Xây dựng mơ hình .17 Huấn luyện mơ hình 21 Sử dụng mơ hình 26 10 Thử nghiệm mơ hình kiểm tra độ xác 27 V Thực nghiệm 35 Chuẩn hóa kích thước ảnh 35 Thêm lớp mạng CNN, thay đổi số lượng kích thước lọc .39 Thêm lớp ảnh vào liệu 44 Thay đổi tham số optimizer 51 Thay đổi giá trị số vịng lặp chạy mơ hình EPOCHS 56 Đồng thời việc chuẩn hóa kích thước ảnh, bổ sung thêm lớp CNN thay đổi tham số Optimizer .63 KẾT LUẬN 68 TÀI LIỆU THAM KHẢO 69                             MỞ ĐẦU Giới thiệu vấn đề Thế giới có bước chuyển rõ rệt bối cảnh cách mạng cơng nghiệp lần thứ Đó đời phát minh xu hướng công nghệ: IoT, điện tốn đám mây, Blockchains, cơng nghệ cảm biến, thực tế ảo, trí tuệ nhân tạo, Khoa học, công nghệ trở thành phần thiết yếu không hoạt động sản xuất mà đời sống cá nhân Một xu hướng công nghệ mang tính đột phá cách mạng Cơng nghiệp 4.0 Trí tuệ nhân tạo – Artificial Intelligence (viết tắt AI) Hiện nay, AI tin tưởng sử dụng phổ biến nhiều lĩnh vực nhiều dạng khác Sự thuận tiện trí thơng minh nhân tạo khiến AI áp dụng rộng rãi, làm thay số công việc cho người vơ số ngành nghề Trong đó, thị giác máy tính lĩnh vực phát triển mạnh mẽ giới Khái niệm thị giác máy tính có liên quan tới nhiều ngành học có nhiều hướng nghiên cứu khác Kể từ năm 70 kỷ 20 mà khả tính tốn máy tính trở nên mạnh mẽ hơn, giải cơng việc yêu cầu tốc độ cao xử lí tệp ảnh hay đoạn video mà thị giác máy tính nhắc đến, nghiên cứu phát triển đến Thị giác máy tính vấn đề mẻ nhà nghiên cứu Việt Nam Việc nghiên cứu phát triển ứng dụng thị giác máy tính mở nhiều tiềm khả ứng dụng thực tiễn mạnh mẽ cho chặng đường nghiên cứu Việt Nam Chính tính thiết thực tiềm ứng dụng mạnh mẽ này, nhóm 10 chúng em định chọn chủ đề: “ Nhận diện phương tiện giao thông lối vào vành đai cao (ngã tư sở - cầu Vĩnh Tuy) ”     NỘI DUNG I Giới thiệu đơn vị sử dụng; phát biểu toán lý chọn toán Giới thiệu đơn vị sử dụng Sở giao thông vận tải thành phố Hà Nội quan chuyên môn Ủy ban nhân dân thành phố, chịu đạo quản lý tổ chức, biên chế công tác UBND thành phố; đồng thời, chịu kiểm tra, giám sát hướng dẫn chuyên môn, nghiệp vụ Bộ Giao thông vận tải Sở Giao thông vận tải thành phố Hà Nội có chức tham mưu, giúp UBND thành phố Hà Nội thực quản lý nhà nước đường bộ, đường thủy nội địa, đường sắt đô thị; vận tải; an tồn giao thơng; quản lý, khai thác, tu, bảo trì hạ tầng giao thơng thị ngồi đô thị, gồm: cầu đường bộ, cầu vượt, hè phố, đường phố, dải phân cách, hệ thống biển báo hiệu đường bộ, đèn tín hiệu điều khiển giao thơng, hầm dành cho người bộ, hầm giới đường bộ, cầu dành cho người bộ, bến xe, bãi đỗ xe, đường tỉnh, hệ thống rãnh thoát nước đường tỉnh, đường quốc lộ, đường vành đai, đường cao tốc địa bàn Thành phố Địa chỉ: Số 258 Khu liên Võ Chí Cơng - phường Xn La - quận Tây Hồ - Thành phố Hà Nội Điện thoại: 0243.3824404 Fax: 0243.3824984 Email: sogtvt@hanoi.gov.vn Website: sogtvt.hanoi.gov.vn Phát biểu toán Xây dựng ứng dụng nhận diện phương tiện giao thông dựa Computer Vision việc sử dụng hình ảnh kỹ thuật số từ máy ảnh đoạn phim mơ hình học sâu (deep learning), ứng dụng xác định phân loại xác phương tiện – tiếp sau phản ứng với chúng “nhìn thấy” Cụ thể, toán phân loại phương tiện phép di chuyển đường vành đai cao phương tiện không phép di chuyển đường vành đai cao, thơng qua hỗ trợ nhà quản lý dễ dàng xác định phương tiện vi phạm phương tiện không vi phạm từ đưa thơng báo kịp thời cho người vi phạm biết đồng thời đưa hình thức xử phạt mức phạt phù hợp với loại phương tiện Input: Hình ảnh phương tiện giao thông (xe đạp, xe máy, ô tô) di chuyển lên cầu vượt Output: Hình ảnh phương tiện vi phạm không vi phạm giao thông Lý chọn tốn Theo thơng báo Sở GTVT TP Hà Nội việc phân luồng tổ chức giao thông cho người phương tiện tham gia giao thông đường lưu thông qua tuyến đường Vành đai 2, đoạn từ cầu Vĩnh Tuy đến Ngã Tư Sở người phương tiện tham gia giao thông đường không lên đường Vành đai cao, bao gồm: máy kéo, xe môtô hai bánh, xe môtô ba bánh, xe gắn máy (kể xe máy điện) loại xe tương tự; xe máy thi công tự hành, xe bánh xích (trừ phương tiện làm nhiệm vụ tu bảo dưỡng, kiểm tra, sửa chữa đường cao); người bộ, xe thô sơ; súc vật Tuy nhiên, có số trường hợp có loại xe nhầm lên đường vành đai cao Chính vậy, việc ứng dụng Computer Vision xây dựng mơ hình nhận diện phân loại phương tiện di chuyển lên đường vành đai cao tương đối khả thi thời điểm Giải pháp tiết kiệm chi phí hỗ trợ tối ưu cho nhà quản lý dễ dàng xác định phương tiện vi phạm khơng vi phạm từ đưa thơng báo kịp thời cho người vi phạm biết đồng thời tiến hành xử phạt vi phạm cách hợp lý Nhóm chúng em muốn chủ đề nghiên cứu nhóm có tính khả thi, áp dụng vào thực tế Chúng em mong việc ứng dụng Computer Vision xây dựng mơ hình nhận diện phân loại phương tiện di chuyển lên đường vành đai cao thay người việc hỗ trợ tối ưu cho nhà quản lý việc quản lý, xác định thông báo kịp thời cho người vi phạm biết đồng thời tiến hành xử phạt vi phạm cách hợp lý II Giới thiệu cách thức thu thập liệu, kiểu liệu ảnh cần thu thập, số lượng kiểu liệu ảnh cách tổ chức lưu trữ liệu máy tính Cách thức thu thập liệu Các thành viên nhóm tìm kiếm thu thập hình ảnh phương tiện giao thông từ Google chụp ảnh thực tế loại phương tiện giao thông đường Hình ảnh nhóm thu thập ảnh có màu, sau chia ảnh thành nhóm tải thư mục ảnh lên Google drive Nhóm sử dụng hình ảnh có dạng sau: Hình ảnh tơ mà nhóm thu thập Hình ảnh xe đạp điện mà nhóm thu thập Hình ảnh xe máy mà nhóm thu thập Nhóm chia liệu ảnh thu thập thành tệp : ô tô, xe đạp điện xe máy Tổng số lượng 300 ảnh, đó:  Lớp train gồm 240 ảnh: lớp gồm 80 ảnh  Lớp validation gồm 60 ảnh: lớp gồm 20 ảnh  Ta có tỷ lệ Train : Validation 80 : 20 Kiểu liệu ảnh cần thu thập Thu thập hình ảnh phương tiện giao thông gồm: xe máy (xe moto), xe ô tô (xe con, xe khách, xe bus, xe tải), xe đạp điện, xe ba gác Thuộc tính gán nhãn cần nhận diện: xe máy, xe ô tô, xe đạp điện  Phương tiện phép di chuyển vành đai cao ô tô ( không vi phạm)  Phương tiện không phép di chuyển vành đai cao phương tiện lại: xe đạp điện, xe máy (vi phạm) III Giới thiệu thuật toán sử dụng Giới thiệu mạng nơ-ron tích chập Convolutional Neural Network (CNN) hay cịn gọi mạng nơ-ron tích chập mơ hình Deep learning (học sâu) tiên tiến, giúp nhận dạng, phân loại xác định hình ảnh, đối tượng hỗ trợ xây dựng hệ thống thông minh, phản ứng với độ xác cao Mạng CNN thiết kế với mục đích xử lý liệu thơng qua nhiều lớp mảng So với mạng nơ-ron thông thường, mạng CNN nhận đầu vào mảng hai chiều hoạt động trực tiếp hình ảnh thay tập trung trích xuất tính thường thấy mạng nơ ron khác Hiện nay, mạng CNN được ứng dụng nhiều xử lý ảnh, cụ thể là nhận diện đới tượng ảnh Ngồi thuật toán ứng dụng rộng rãi lĩnh vực khác như: chẩn đoán bệnh, xe tự lái, phát sản phẩm lỗi dây chuyền sản xuất, 10 => Kết luận: Tỉ lệ nhận diện trung bình thay tham số optimizer thành Adam 68%.  55 Thay đổi giá trị số vòng lặp chạy mơ hình EPOCHS Số vịng lặp EPOCHS nói chi tiết phần 8.2 tham số quan trọng cho biết số lần duyệt qua toàn tập liệu huấn luyện (training dataset) mà thuật toán học máy (machine learning algorithm) hoàn thành Việc lựa chọn số epoch khác toán, bước quan trọng để cải thiện độ xác cho tốn mà nhóm chọn.  Hiện tại, số epoch mơ hình 100 Nhóm thực lần thay đổi số vịng lặp này, tăng lên 120 giảm xuống 80 vòng lặp  Tăng số vòng lặp lên 120:   Kết chạy thử mơ hình với số vòng lặp 120 Xe đạp điện: tỉ lệ nhận diện 19/25, tương đương 76% 56  Xe máy: tỉ lệ nhận diện 19/25, tương đương 76% 57  Ơ tơ: tỉ lệ nhận diện 17/25, tương đương 68% 58 => Kết luận: Tỉ lệ nhận diện trung bình tăng số vịng lặp lên 120 73% 59  Giảm số vòng lặp xuống 80:  Đánh giá độ xác mơ hình với số vịng lặp 80  Xe đạp điện: tỉ lệ nhận diện 19/25, tương đương 76% 60  Xe máy: tỉ lệ nhận diện 18/25, tương đương 72% 61  Ơ tơ: tỉ lệ nhận diện 17/25, tương đương 68% 62 => Kết luận: Tỉ lệ nhận diện trung bình giảm số vòng lặp xuống 80 72% Đồng thời việc chuẩn hóa kích thước ảnh, bổ sung thêm lớp CNN thay đổi tham số Optimizer Từ kết thực nghiệm trên, nhóm nhân thấy thực việc chuẩn hóa kích thước ảnh, bổ sung thêm lớp CNN thay đổi tham số optimizer kết đạt giúp ổn định độ xác mơ hình ban đầu, nhóm thực đồng thời bước thay đổi để xem xét hiệu mơ hình  Chuẩn hóa kích thước ảnh:  Chuẩn hóa kích thước ảnh tệp Train Validation:  Chuẩn hóa kích thước ảnh input lớp CNN1:  Chuẩn hóa kích thước ảnh bước dự đoán:  Bổ sung thêm lớp CNN thứ 4:  Thay đổi tham số Optimizer (từ RMSprop sang Adam): 63  Kết chạy vịng lặp mới:  Đánh giá mơ hình sau đồng thời thay đổi số tiêu:  Xe đạp điện: tỉ lệ nhận diện 22/25, tương đương 88% 64  Xe máy: tỉ lệ nhận diện 22/25, tương đương 88% 65  Ơ tơ: tỉ lệ nhận diện 14/25, tương đương 56% 66 => Kết luận: Tỉ lệ nhận diện trung bình sau đồng thời thay đổi chuẩn hóa kích thước, thêm lớp CNN thay đổi tham số optimizer 77,3% 67 KẾT LUẬN Vai trò AI vô tận sống AI tiếp cận với người thơng qua nhiều lĩnh vực, ngành nghề khác Ưu điểm trí tuệ nhân tạo AI khả xử lý liệu khoa học hơn, nhanh hơn, hệ thống so với người Việc phát triển đưa sản phẩm AI tới tay người dùng cách thúc đẩy mạnh mẽ phát triển toàn nhân loại Mở giới hoàn toàn giải pháp bù đắp cho vấn đề mà người khơng thể giải Trong đó, Computer Vision lĩnh vực phát triển nhanh khoa học máy tính trí tuệ nhân tạo Với tỷ hình ảnh chia sẻ ngày, lĩnh vực thị giác máy tính ngày trọng đầu tư, nghiên cứu với phần cứng thuật toán áp dụng Thị giác máy tính vấn đề mẻ nhà nghiên cứu Việt Nam Việc nghiên cứu phát triển ứng dụng thị giác máy tính mở nhiều tiềm khả ứng dụng thực tiễn mạnh mẽ cho chặng đường nghiên cứu Việt Nam Nhóm 10 chọn chủ đề: “ Nhận diện phương tiện giao thông lối vào vành đai cao (ngã tư sở - cầu Vĩnh Tuy) ” Chúng em mong việc ứng dụng Computer Vision xây dựng mơ hình nhận diện phân loại phương tiện di chuyển lên đường vành đai cao thay người việc hỗ trợ tối ưu cho nhà quản lý việc quản lý, xác định thông báo kịp thời cho người vi phạm biết đồng thời tiến hành xử phạt vi phạm cách hợp lý Do thời gian có hạn trình độ nghiên cứu cịn nhiều hạn chế, nghiên cứu chúng em không tránh khỏi sai sót Nhóm 10 chúng em mong nhận góp ý nhận xét từ để nhóm chúng em hồn thiện nghiên cứu ứng dụng mơ hình nhận diện phương tiện giao thơng vào thực tế 68 TÀI LIỆU THAM KHẢO Link lấy liệu: Tài liệu online, 2021, Nghiên cứu tìm hiểu Trí tuệ nhân tạo (AI) – xu hướng công nghệ bật cách mạng cơng nghiệp 4.0 Trình bày số ứng dụng cơng nghệ Trí tuệ nhân tạo lĩnh vực, studocu.com https://www.studocu.com/vn/document/truong-dai-hoc-thuong-mai/thuongmai-dien-tu/nghien-cuu-va-tim-hieu-ve-tri-tue-nhan-tao-ai-mot-trong-nhungxu-huong-cong-nghe-noi-bat-cua-cuoc-cach-mang-cong-nghiep-40-trinh-baymot-so-ung-dung-cua-cong-nghe-tri-tue-nhan-tao-trong-linh-vuc/24992758 Nguyễn Thị Huệ, 2020, Thị giác máy tính gì? Các vấn đề liên quan tới thị giác máy tính, viblo.asia https://viblo.asia/p/thi-giac-may-tinh-la-gi-cac-van-de-lien-quan-toi-thi-giacmay-tinh-Az45b4M6ZxY Cổng Giao tiếp điện tử Hà Nội, (2016?), Sở Giao thông Vận tải, hanoi.gov.vn https://hanoi.gov.vn/lanhdaoquacacthoiky/-/hn/zJYU39PZOBhM/ 1604/36766/3/so-giao-thong-van-tai.html;jsessionid=ISIRkJsHDvx+zfzut3v2nWe.app2 Sở Giao thông Vận tải Hà Nội, sogtvt.hanoi.gov.vn https://sogtvt.hanoi.gov.vn/ Nguyễn Trọng Tài, 2023, Tồn cảnh thơng xe đường Vành đai cao Ngã Tư Sở tới cầu Vĩnh Tuy, cafef.vn https://cafef.vn/toan-canh-thong-xe-duong-vanh-dai-2-tren-cao-nga-tu-so-toicau-vinh-tuy-20230111101549833.chn 69