Nghiên cứu xây dựng mô hình xác định, giám sát vị trí đỗ xe sử dụng trí tuệ nhân tạo tại sở thông tin và truyền thông thanh hóa bằng camera giám sát

BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƯỜNG ĐẠI HỌC HỒNG ĐỨC CAO VĂN LUYỆN NGHIÊN CỨU XÂY DỰNG MƠ HÌNH XÁC ĐỊNH, GIÁM SÁT VỊ TRÍ ĐỖ XE SỬ DỤNG TRÍ TUỆ NHÂN TẠO TẠI SỞ THƠNG TIN VÀ TRUYỀN THƠNG THANH HĨA BẰNG CAMERA GIÁM SÁT LUẬN VĂN THẠC SĨ MÁY TÍNH THANH HĨA, NĂM 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƯỜNG ĐẠI HỌC HỒNG ĐỨC CAO VĂN LUYỆN NGHIÊN CỨU XÂY DỰNG MƠ HÌNH XÁC ĐỊNH, GIÁM SÁT VỊ TRÍ ĐỖ XE SỬ DỤNG TRÍ TUỆ NHÂN TẠO TẠI SỞ THƠNG TIN VÀ TRUYỀN THƠNG THANH HĨA BẰNG CAMERA GIÁM SÁT LUẬN VĂN THẠC SĨ MÁY TÍNH Chuyên ngành: Khoa học máy tính Mã số: 8480101 Người hướng dẫn khoa học: TS Nguyễn Đình Cơng THANH HĨA, NĂM 2022 Danh sách Hội đồng đánh giá luận văn Thạc sỹ khoa học (Theo Quyết định số: /QĐ- ĐHHĐ ngày tháng năm 2022 Hiệu trưởng Trường Đại học Hồng Đức) Học hàm, học vị Cơ quan Chức danh Họ tên Công tác Hội đồng Chủ tịch HĐ UV, Phản biện UV, Phản biện Uỷ viên Uỷ viên, Thư ký Xác nhận Người hướng dẫn Học viên chỉnh sửa theo ý kiến Hội đồng Ngày tháng năm 2022 LỜI CAM ĐOAN Tôi xin cam đoan, luận văn tự thân tơi tìm hiểu, nghiên cứu hướng dẫn TS Nguyễn Đình Cơng Trong tồn nội dung luận văn trình bày cá nhân, tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Tơi xin chịu hồn tồn trách nhiệm với nội dung viết luận văn Thanh Hoá, ngày 12 tháng năm 2022 Tác giả luận văn Cao Văn Luyện i LỜI CẢM ƠN Tôi xin bày tỏ lòng biết ơn chân thành sâu sắc đến TS Nguyễn Đình Cơng – Trường Đại học Hồng Đức, Thầy dành thời gian, tâm huyết tận tình, hướng dẫn tơi suốt q trình tìm hiểu, triển khai nghiên cứu đề tài để thực luận văn Tôi xin chân thành cảm ơn tới tồn thể thầy giáo, giáo Trường Đại học Hồng đức nhiệt tình giảng dạy tạo điều kiện thuận lợi suốt q trình tơi học tập nghiên cứu thực luận văn Tôi xin gửi lời cảm ơn chân thành tới gia đình, bạn bè, đồng nghiệp bên tôi, cổ vũ cho tôi, động viên, giúp đỡ tơi suốt q trình học tập thực luận văn Do điều kiện thời gian khả thân có hạn, có nhiều cố gắng, song luận văn khơng tránh khỏi thiếu sót, mong nhận ý kiến đóng góp q báu q thầy, cơ, bạn bè đồng nghiệp để luận văn hoàn thiện Tơi xin chân thành cảm ơn! Thanh Hóa, ngày 12 tháng năm 2022 Tác giả luận văn Cao Văn Luyện ii MỤC LỤC LỜI CAM ĐOAN - LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC HÌNH VẼ v DANH MỤC BẢNG BIỂU vii MỞ ĐẦU 1 Tính cấp thiết đề tài Mục đích nhiệm vụ nghiên cứu Phương pháp nghiên cứu: Dự kiến kết đạt Nội dung nghiên cứu: Chương GIỚI THIỆU MẠNG NƠ RON NHÂN TẠO 1.1 Giới thiệu khái niệm 1.2 Mạng Nơron 1.2.1 Khái niệm perceptron 1.2.2 Hàm kích hoạt hàm mát 1.3 Mạng nơron đầy đủ 1.3.1 Kiến trúc mạng nơ ron đầy đủ 1.3.2 Lan truyền thẳng 1.3.3 Quá trình học với mạng nơ ron 1.4 Mạng nơron tích chập 1.4.1 Cấu trúc mạng CNN Chương MƠ HÌNH MẠNG YOLO 11 2.1 Giới thiệu chung 11 2.2 Kiến trúc mạng Yolo 11 2.2.1 YOLO phiên thứ 11 2.2.2 YOLO phiên thứ 12 2.2.3 YOLO phiên thứ 16 2.2.4 YOLO phiên thứ 18 Kết luận chương 22 iii Chương XÂY DỰNG GIẢI PHÁP NHẬN DẠNG VỊ TRÍ ĐỖ XE 23 3.1 Giới thiệu chung 23 3.2 Xử lý liệu 23 3.3 Huấn luyện mơ hình 25 3.4 Thiết kế chức sở liệu hệ thống 26 3.4.1 Thiết kế chức 26 3.4.2 Quản lý quyền, phân quyền đăng nhập: 27 3.4.3 Tra cứu 27 3.4.4 Chức nhận diện 28 3.4.5 Quản trị cập nhật 28 3.5 Thiết kế sở liệu 29 3.5.1 Danh mục khu vực bãi gủi xe 29 3.5.2 Danh mục khu vực camera 29 3.5.3 Người dùng 30 3.5.4 Quản lý quyền phân quyền 30 3.5.5 Bảng Log 30 Kết luận chương 31 Chương TRIỂN KHAI HỆ THỐNG BÃI ĐỖ XE THÔNG MINH 32 4.1 Một số giao diện hệ thống 32 4.1.1 Giao diện trang chủ 32 4.1.2 Giao diện đăng nhập 32 4.1.3 Giao diện quản lý hệ thống camera 33 4.1.4 Giao diện quản lý người dùng 33 4.1.5 Giao diện quản lý khu vực bãi đỗ xe 33 4.2 Đánh giá độ xác mọt số mơ hình 34 4.3 Đánh giá trải nghiệm người dùng 35 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 39 TÀI LIỆU THAM KHẢO 41 iv DANH MỤC HÌNH VẼ Hình 1 Mơ hình perceptron [20] Hình Đồ thị biểu diễn hàm sigmoid [21] Hình Hình biểu diễn cấu trúc mạng nơ ron [20] Hình Mơ hình mạng CNN [4] Hình Biểu diễn thay đổi đặc trưng qua lớp CNN [22] 10 Hình Kiến trúc mạng YOLOv1 [23] 11 Hình 2 Các tham số q trình dự đốn BB [6] 14 Hình Kiến trúc mạng YOLOv2 [9] 14 Hình Mơ hình WordTree sử dụng để liên kết nhãn liệu huấn luyện [6] 15 Hình Mơ hình cấu trúc YOLOv3 [12] 17 Hình Cấu trúc khối Dense Net [14] 18 Hình Mơ hình SPP sử dụng YOLOv4 [18] 19 Hình Mơ hình kiến trúc PAN [18] 20 Hình Cơ chế nối đặc trưng PAN [18] 20 Hình 10 Cấu trúc chế SAM [16] 21 Hình 11 Mơ hình chế khối tích chập attention [16] 22 Hình 12 Các nghiên cứu ứng dụng mơ hình YOLOv4 [19] 22 Hình Giải pháp tổng thể hệ thống nhận dạng vị trí đỗ xe đề xuất [17].23 Hình Q trình xây dựng Groundtruth vị trí đậu xe 24 Hình 3 Định dạng liệu để huấn luyện 25 Hình Biểu đồ độ xác q trình huấn luyện 26 Hình Biểu đồ use-case chức quyền phân quyền 27 Hình Biểu đồ use-case chức tra cứu 27 Hình Biểu đồ use-case mô tả chức nhận diện đối tượng từ Camera 28 Hình Giao diện trang chủ Website 32 Hình Giao diện đăng nhập hệ thống 32 Hình Giao diện quản lý hệ thống camera 33 v Hình 4 Giao diện quản lý người dùng 33 Hình Giao diện quản lý bãi đỗ 34 Hình Kết nhận dạng mơ hình YOLOv4, màu đỏ thể khu vực đỗ xe đầy đủ 35 Hình Một số câu hỏi tham khảo ý kiến người dùng 37 Hình Tổng hợp phản hồi người dùng 38 vi - Điều kiện để bắt đầu use-case: + Quản trị có tài khoản mật đăng nhập - Điều kiện để kết thúc use-case: + Cập nhật thành công thông tin bãi đỗ xe lên hệ thống quản lý - Dịng сơng việс сơ bản: + Quản trị viên đăng nhậр + Trên menu сhọn сhứс сậр nhật: Thêm mới, sửа, xóа, сậр nhật liệu - Dịng сơng việс ngоại lệ: + Nếu đăng nhậр sаi đăng nhậр lại 3.5 Thiết kế sở liệu 3.5.1 Danh mục khu vực bãi gủi xe Tên bảng “KhuVucBai” trình bày mơ tả Bảng 3.1 Bảng 3.1 Bảng mô tả thực thể khu vực Tên trường Kiểu liệu Mô tả mаKhuvuс Int Mã khu vựс, duу nhất, khóа сhính tenKhuvuс String Tên khu vựс mоTа String Mô tả thêm 3.5.2 Danh mục khu vực camera Tên bảng “KhuVucCam” trình bày mơ tả Bảng 3.2 Bảng 3.2 Bảng mô tả thực thể Camera Tên trường mаСаmerа Kiểu liệu Int tenСаmerа String mаKhuvuс Int раthURL dаtаСаmerа mоTа String DаteTime String Mô tả Mã саmerа, duу nhất, khóа сhính Tên саmerа Mã khu vựс mà саmerа trựс thuộс Đường dẫn ảnh, tạо thư mụс Videо server để lưu trữ videо сủа сáс саmerа Ngàу quаn sát bãi đỗ xe Mô tả thêm 29 3.5.3 Người dùng Tên bảng “NguoiDung” trình bày mô tả Bảng 3.3 Bảng 3.3 Bảng mô tả thực thể người dùng Tên trường Kiểu liệu Mô tả mаUser bigint Mã định dаnh mã người dùng (сó thể kháсh hành, nhân viên trông giữ xe, quản trị viên), duу nhất, khóа сhính сủа bảng hоTen string Họ tên mаNhа Int sоDienThоаi string Điện thоại сủа người dùng emаil string Emаil сủа người dùng ngауDаngKу DаteTime tenDаngNhар string Tài khоản đăng nhậр vàо hệ thống, mã hóа trường nàу mаtKhаu string Mật đăng nhậр vàо hệ thống, mã hóа trường nàу vаiTrо int Mã nhà сủа người dùng Ngàу đăng ký vàо hệ thống (mặс định): mặс định 1: quản trị viên/lãnh đạо 3.5.4 Quản lý quyền phân quyền Tên bảng “PhanQuyen” trình bày mơ tả Bảng 3.4 Bảng 3.4 Bảng mô tả thực thể quyền Tên trường Kiểu liệu Mơ tả mаРQ bigint Khóа bảng mаND string Họ tên người dùng dsСhuсNаng String dạng: 1@2@3 (mã сáс сhứс năng, сần quу ướс сứng сáс mã nàу) 3.5.5 Bảng Log Tên bảng “Log” trình bày mô tả Bảng 3.5 30 Bảng 3.5 Bảng mô tả thực thể Log Tên trường Kiểu liệu Mô tả mаLоg bigint Khóа bảng mоTа string Mơ tả hành động сủа người dùng (ví dụ: thêm dаnh mụс, sửа сấu hình thời giаn nút giао thơng, …) thоiGiаn DаteTime mаND Bigint Thời giаn xảу rа hành động nàу Mã người dùng thựс hành động nàу Kết luận chương Trong chương này, vào chi tiết giải pháp đề xuất quản lý bãi đỗ xe thông minh Sở Thông tin Truyền thông Tỉnh Thanh Hố Trong việc nhận dạng phương tiện ô tô sử dụng mô hình mạng YOLOv4 Mơ hình huấn luyện liệu thu thập hàng ngày Camera cố định nhà Sở Do sở vật chất Sở chưa có đường bao thiết kế vật lý cho vị trí đậu xe, nên chúng tơi tự định nghĩa đường bao hệ thống sử dụng thang đo độ chồng lấn (IoU) đối tượng ô tô dò với đường bao định nghĩa để xác định xem vị trí cịn “trống” hay “khơng trống” Tiếp theo đó, chúng tơi vào chi tiết chức hệ thống cần vẽ biểu đồ use-case cho chức Cuối cùng, vào xây dựng thiết kế sở liệu cho ứng dụng Trong phần tiếp theo, vào tìm hiểu cách thức vận hành hệ thống đề xuất 31 Chương TRIỂN KHAI HỆ THỐNG BÃI ĐỖ XE THÔNG MINH 4.1 Một số giao diện hệ thống Hình 4.1 Giao diện trang chủ Website 4.1.1 Giao diện trang chủ 4.1.2 Giao diện đăng nhập Người dùng đăng nhập vào tài khoản sử dụng tên đăng nhập tài khoản Nếu đăng nhập thơng tin chuyển tới giao diện trang chủ Nếu nhập sai hệ thống đưa thông báo đăng nhập sai Giao diện thể Hình 4.2 Hình 4.2 Giao diện đăng nhập hệ thống 32 4.1.3 Giao diện quản lý hệ thống camera Quản trị viên bấm vào “Thêm mới” để thêm camera; ấn vào “Sửa” để sửa thơng tin camera; ấn vào “Xố” để xoá camera Giao diện quản lý camera biểu diễn Hình 4.3 Hình 4.3 Giao diện quản lý hệ thống camera 4.1.4 Giao diện quản lý người dùng Quản trị viên ấn vào “Thêm mới” để thêm tài khoản; ấn “Sửa” để chỉnh sửa thông tin tài khoản; ấn “Xố” để xố tài khoản; mơ tả Hình 4.4 Hình 4.4 Giao diện quản lý người dùng 4.1.5 Giao diện quản lý khu vực bãi đỗ xe Bấm vào “Thêm mới” để thêm khu vực bãi đỗ; ấn vào “sửa” để sửa thông tin khu vực đỗ; ấn vào “Xoá” để xoá khu vực bãi đỗ; mơ tả Hình 4.5 33 Hình 4.5 Giao diện quản lý bãi đỗ 4.2 Đánh giá độ xác mọt số mơ hình Trong q trình triển khai mơ hình YOLOv4 để nhận dạng tơ dựa vào hệ thống camera gắn Sở Thông tin Truyền thơng Thanh Hố độ xác q trình triển khai 100% với tốc độ khung hình nhận dạng dây 15 FPS (Môi trường máy tính kiểm tra hiệu mơ hình có cấu hình cụ thể CPU Intel Core i7-10750H corer 12 threads 2.6 GHz (up to 4.9 GHz), RAM 16 GB dual channel (1463.2 MHz)) Một số hình ảnh trình nhận dạng xe thể Hình 4.6 34 Hình 4.6 Kết nhận dạng mơ hình YOLOv4, màu đỏ thể khu vực đỗ xe đầy đủ 4.3 Đánh giá trải nghiệm người dùng Để hoàn thiện chức tham khảo ý kiến người sử dụng Trong luận văn này, thiết kế bảng câu hỏi cho người sử dụng sau tương tác với website Phiếu khảo sát biểu diễn Hình 4.7 35 36 Hình 4.7 Một số câu hỏi tham khảo ý kiến người dùng 37 Phiếu khảo sát 31 người tham gia đánh giá, số lượng phản hồi chưa lớn, nhiên kênh tham khảo để nhóm nghiên cứu tiếp tục phát triển sản phẩm nhằm đáp ứng yêu cầu từ phía người dùng Kết việc tổng hợp phiếu trình bày Hình 4.8 Trong 87% người đánh giá “Hài lòng” giao diện số tính website, 6% số người hỏi cảm thấy khơng hài lịng sản phẩm, 7% số người cảm thấy “Rất hài lòng” Hình 4.8 Tổng hợp phản hồi người dùng 38 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong khuôn khổ luận văn cao học tìm hiểu thực số cơng việc sau đây: - Tìm hiểu tổng quan vấn đề mạng nơ ron nhân tạo nguyên tắc hoạt động mơ hình; thuật tốn sử dụng mơ hình; xu hướng phát triển tương lai mô hình - Đi tìm hiểu thảo luận phiên mơ hình YOLO để nắm cải tiến mơ hình nhằm đạt kết độ xác thời gian xử lý toán nhận dạng đối tượng - Đi sâu vào q trình xây dựng giải pháp bãi đỗ xe thơng minh áp dụng mơ hình nhận dạng YOLOv4 sau tích hợp mơ hình tảng website nhằm xây dựng trang website bãi đỗ xe thông minh tảng ReactJS Một số tồn tại, hạn chế hệ thống ghi nhận sau: - Tốc độ xử lý tảng website cịn chậm tới từ lý chưa tối ưu quản lý sở liệu; - Sự thiếu linh động quản lí groundtruth groundtruths định nghĩa thủ cơng thay đổi vị trí camera phải thực trình định nghĩa lại; - Hệ thống phụ thuộc hoàn toàn vào camera đường truyền internet có dây Sở Do vậy, cố phát sinh với hệ thống camera ảnh hưởng lớn tới ứng dụng website vận hành Một số hướng phát triển tương lai: - Tối ưu hoá sở liệu ứng dụng nhằm tăng tốc trình xử lý vận hành hệ thống Cụ thể, hệ thống có khả quản lý bãi đỗ xe khác thời điểm Bên cạnh đó, việc quản lý camera khác để đưa cảnh báo với góc quản lý tương ứng 39 - Xây dựng giải pháp tạo groundtruths động nhằm giảm thiểu ảnh hưởng việc thay đổi góc nhìn vị trí camera Trong phạm vi nghiên cứu đề tài nay, đưa chế quản lý groundtruths tĩnh Một số hạn chế groundtruths trình bày phía Trong tương lai, nhằm tạo mềm dẻo linh động chế quản lý hạn chế ảnh hưởng với điều kiện từ camera như: Thay đổi góc nhìn, cố lắp đặt nghiên cứu xây dựng liệu groundtruths động chuẩn hoá tương ứng với camera tương ứng - Để áp dụng thực tế cách rộng rãi số yêu cầu đặt cần phải thực là: + Cải thiện giao diện website phát triển sản phẩm tảng mobile tạo tiện lợi cho người dùng truy cập vào ứng dụng đâu + Chuẩn hoá liệu tương ứng với địa bàn đậu xe cụ thể chuẩn hố quy trình lắp đặt góc thu hình + Kết nối định vị GPS tương ứng với địa điểm người dùng để tối ưu hố khả định vị vị trí đo lường xác khoảng cách thời gian tới địa điểm 40 TÀI LIỆU THAM KHẢO Tiếng Anh [1] A Y Ma, Y Liu, L Zhang, Y Cao, S Guo, H Li (2021), “Research Review on Parking SpaceDetection Method”, Symmetry, 13.1: 128 17(12), 2738 [2] A Pohl, J.; Sethsson, M.; Degerman, P.; Larsson (2006), “J.A semiautomated parallel parking system for passenger cars”, Proc Inst Mech Eng J Auto Eng, 220, 5365 [3] BJeong, S.H.; Choi, C.G.; Oh, J.N.; Yoon, P.J.; Kim, B.S.; Kim, M.; Lee, K(2010), “Lowcost design of parallel parking assist system based on an ultrasonic sensor”, Int J.Automot Technol 11, 409416 [4] B Galvez, Reagan L., Argel A Bandala, Elmer P Dadios, Ryan Rhay P Vicerra, and Jose Martin Z Maningo (2018), "Object detection using convolutional neural networks", In TENCON 2018-2018 IEEE Region 10 Conference, pp 2023-2027 IEEE [5] C.Redmon, Joseph, Santosh Divvala, Ross Girshick, and Ali Farhadi (2016), "You only look once: Unified, real-time object detection” ,In Proceedings of the IEEE conference on computer vision and pattern recognition, pp 779-788 [6] C.Redmon, Joseph, and Ali Farhadi (2017), "YOLO9000: better, faster, stronger" In Proceedings of the IEEE conference on computer vision and pattern recognition, pp 7263-7271 [7] CRen, Shaoqing, Kaiming He, Ross Girshick, and Jian Sun (2015), "Faster r-cnn: Towards real-time object detection with region proposal networks", Advances in neural information processing systems , 28 [8] D.Liu, Wei, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, and Alexander C Berg (2016), "Ssd: Single shot multibox detector", In European conference on computer vision, pp 21-37 Springer, Cham 41 [9] D.Seong, Seonkyeong, Jeongheon Song, Donghyeon Yoon, Jiyoung Kim, and Jaewan Choi, "Determination of vehicle trajectory through optimization of vehicle bounding boxes using a convolutional neural network" ,Sensors ,19, no 19: 4263 [10] DRedmon, Joseph, and Ali Farhadi (2018), "Yolov3: An incremental improvement", arXiv preprint arXiv,1804.02767 [11] DC Nguyen, VN Le, HL Nguyen, DM Tran, VL Cao (2022), “Vacant Parking Car Detection and Notification by Using Multi-camera System and Deep Learning”,Intelligent Systems and Networks, LNNS abs, pp 1–9 [12] E.He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun (2016), "Deep residual learning for image recognition" , In Proceedings of the IEEE conference on computer vision and pattern recognition, pp 770778 [13] E Huang, Yi-Qi, Jia-Chun Zheng, Shi-Dan Sun, Cheng-Fu Yang, and Jing Liu (2020), "Optimized YOLOv3 algorithm and its application in traffic flow detections", Applied Sciences, 10, no 9: 3079 [14] F.Bochkovskiy, Alexey, Chien-Yao Wang, and Hong-Yuan Mark Liao (2004), “Yolov4: Optimal speed and accuracy of object detectio" , arXiv preprint arXiv, 10934 [15] F.Huang, Gao, Zhuang Liu, Laurens Van Der Maaten, and Kilian Q Weinberger (2017), "Densely connected convolutional networks", CVPR, pp 4700-4708 [16] JVaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin (2017), "Attention is all you need" , Advances in neural information processing systems, 30 [17] K Woo, Sanghyun, Jongchan Park, Joon-Young Lee, and In So Kweon (2018), "Cbam: Convolutional block attention module", In Proceedings of the European conference on computer vision (ECCV), pp 3-19 42 Trang Web [18] https://medium.com/@shraddhapattanshetti161998/ [19] shorturl.at/iprSW [20] https://cs231n.github.io/ [21] https://www.sciencedirect.com/topics/mathematics/sigmoid-function [22].https://shorturl.at/bhrw8 [23] https://lilianweng.github.io/posts/2018-12-27-object-recognition-part-4/ [24] shorturl.at/ahpru 43