HỆ THỐNG HỖ TRỢ THEO DÕI TÌNH TRẠNG GIAO THÔNG QUA VIDEO DỰA TRÊN MÔ HÌNH FASTER r CNN

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG  LUẬN VĂN TỐT NGHIỆP NGÀNH CÔNG NGHỆ THÔNG TIN Đề tài HỆ THỐNG HỖ TRỢ THEO DÕI TÌNH TRẠNG GIAO THƠNG QUA VIDEO DỰA TRÊN MƠ HÌNH FASTER R-CNN Sinh viên thực : Bùi Nhật Tài Mã số : B1606838 Khóa : 42 Cần Thơ, 01/2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG  LUẬN VĂN TỐT NGHIỆP NGÀNH CÔNG NGHỆ THÔNG TIN Đề tài HỆ THỐNG HỖ TRỢ THEO DÕI TÌNH TRẠNG GIAO THƠNG QUA VIDEO DỰA TRÊN MƠ HÌNH FASTER R-CNN Giáo viên hướng dẫn: TS Trần Nguyễn Minh Thư NCS Vũ Lê Quỳnh Phương Cần Thơ, 01/2021 Sinh viên thực hiện: Bùi Nhật Tài Mã số: B1606838 Khóa : 42 NHẬN XÉT CỦA GIẢNG VIÊN -Cần Thơ, ngày tháng năm (GVHD ký ghi rõ họ tên) LỜI CẢM ƠN Trước hết, xin cảm ơn công ơn sinh thành dưỡng dục Cha Mẹ Cha Mẹ người ln quan tâm chăm sóc, cho ăn học nên người Mọi thành cơng có sau này, nhờ công ơn Cha Mẹ Con xin chúc cha mẹ thật nhiều sức khỏe, bình an ln sống vui vẻ bên cháu Thứ hai, em xin cảm ơn anh chị Anh chị quan tâm, giúp đỡ, tạo điều kiện tốt em có thời gian học tập Em xin chúc anh chị khỏe mạnh, hạnh phúc, thành công gặp nhiều may mắn sống Tiếp đến, em xin cảm ơn q thầy nói chung, Trần Nguyễn Minh Thư nói riêng Cơ người trực tiếp hướng dẫn, tận tình giúp đỡ, bảo, để em hồn thành thật tốt đề tài Em mong sau có nhiều hội để học hỏi kiến thức kinh nghiệm quý báu từ cô từ quý thầy cô khác Em xin chúc cô quý thầy ln có thật nhiều sức khỏe để truyền đạt kiến thức đến cho người Thăng tiến nghiệp luôn vui vẻ, hạnh phúc bên gia đình Em xin cảm ơn chị Vũ Lê Quỳnh Phương đơn vị Công An phường Vĩnh Thanh Vân – TP Rạch Giá – tỉnh Kiên Giang hỗ trợ thông tin, cung cấp liệu, tài liệu để em hồn thành luận văn Em xin chúc chị Phương khỏe mạnh mau chóng thành cơng đường học vấn Em xin chúc anh (chị) đơn vị Cơng An phường Vĩnh Thanh Vân ln hồn thành xuất sắc nhiệm vụ giao nhân dân yêu thương Cuối cùng, xin cảm ơn bạn chia sẻ, sát cánh học tập, giúp đỡ lúc khó khăn Mình xin chúc bạn ln khỏe mạnh, có kết học tập thật tốt sau có cơng việc ổn định theo mong muốn Tuy có nhiều cố gắng q trình thực đề tài,nhưng khơng thể tránh khỏi sai sót Em mong nhận đóng góp ý kiến quý báu quý Thầy Cơ để luận văn hồn thiện Cần Thơ, ngày 11 tháng 01 năm 2021 Người viết Bùi Nhật Tài Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN MỤC LỤC DANH MỤC HÌNH iv DANH MỤC BẢNG vii ABSTRACT viii TÓM TẮT ix PHẦN GIỚI THIỆU .1 Đặt vấn đề Lịch sử giải vấn đề Mục tiêu đề tài Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Kết đạt Bố cục luận văn .4 PHẦN NỘI DUNG CHƯƠNG MƠ TẢ BÀI TỐN Mô tả chi tiết toán Vấn đề giải pháp liên quan đến toán 2.1 Mạng Neural nhân tạo .6 2.2 Nhận diện đối tượng 2.3 Mạng Neural tích chập (Convolutional Neural Network – CNN) .7 2.3.1 Khái niệm 2.3.2 Mơ hình cấu trúc 2.4 Feature Network 2.4.1 VGG16 Convolutional Neural Network .9 2.4.2 ResNet50 10 2.5 Region Proposal Network .11 2.5.1 Selective Search 11 2.5.2 Region Proposal Network Anchor .12 2.6 R-CNN phiên cải tiến 13 2.6.1 R-CNN 13 2.6.2 Fast R-CNN 14 2.6.3 Faster R-CNN 15 2.7 Intersection over Union (IoU) 15 BÙI NHẬT TÀI_B1606838 i Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN 2.8 Non-Maximum Suppression 16 2.9 Tăng cường liệu (Data Augmentation) .17 2.10 Thư viện Tensorflow, Keras 18 2.10.1 Thư viện Tensorflow 18 2.10.2 Thư viện Keras .18 2.11 Công cụ cắt ảnh từ video Free Video to JPG Converter 21 2.12 Công cụ gán nhãn ảnh labelImg 22 2.13 Công cụ chuyển đổi format annotation Roboflow 22 2.14 API gửi SMS – Nexmo 22 2.15 API gửi email – SendGrid .22 2.16 Thư viện thiết kế giao diện Pyqt5 23 2.17 Hệ quản trị sở liệu MySQL 23 CHƯƠNG THIẾT KẾ VÀ CÀI ĐẶT 24 Thiết kế hệ thống 24 Cài đặt giải thuật 26 2.1 Chuẩn bị liệu 26 2.1.1 Thu thập liệu, gán nhãn .26 2.1.2 Xử lý liệu đầu vào cho mơ hình 30 2.2 Xây dựng mơ hình 30 2.2.1 Mạng trích xuất đặc trưng - VGG16 30 2.2.2 Mạng gợi ý vùng - RPN 32 2.2.3 Mạng nhận diện - RCNN 33 2.3 Huấn luyện, đánh giá mô hình 34 2.3.1 Huấn luyện 34 2.3.2 Kiểm tra độ xác mơ hình 35 2.4 Dự đốn với liệu mới, thơng báo lưu kết 36 Xây dựng sở liệu logs 37 Xây dựng giao diện người dùng – GUI 37 CHƯƠNG KẾT QUẢ THỰC NGHIỆM .44 Mô trường thực nghiệm 44 Tập liệu .44 Kết kiểm tra, đánh giá mơ hình .50 PHẦN KẾT LUẬN 58 BÙI NHẬT TÀI_B1606838 ii Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Kết đạt 58 Hướng phát triển 59 TÀI LIỆU THAM KHẢO 60 BÙI NHẬT TÀI_B1606838 iii Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN DANH MỤC HÌNH Hình 1: Ùn tắc giao thơng TP HCM .1 Hình 2: Ảnh minh họa vùng giao thông quy định để xác định lưu lượng giao thông Hình 3: Cấu trúc mạng neural nhân tạo Hình 4: Ảnh minh họa nhận diện đối tượng xe máy Hình 5: Mô tả hoạt động cửa sổ trượt (Sliding Windows) Hình 6: Ví dụ cấu trúc lớp mạng CNN Hình 7: Thủ tục Max-pooling cho vùng 2x2 Hình 8: Cấu trúc mạng VGG16 .9 Hình 9: Cấu trúc khối Residual Block 10 Hình 10: Cấu trúc mạng ResNet50 11 Hình 11: Ảnh sau segment thuật toán Graph Based Image Segmentation12 Hình 12: Ảnh minh họa phương pháp biểu diễn Region proposal 12 Hình 13: Biểu diễn Region proposal Anchor 13 Hình 14: Mơ hình hoạt động R-CNN 13 Hình 15: Mơ hình hoạt động Fast R-CNN 14 Hình 16: Mơ hình hoạt động Faster R-CNN 15 Hình 17: Cách tính số IoU .15 Hình 18: Ví dụ cách đánh giá số IoU .16 Hình 19: Ảnh minh họa Non-maximum suppression 16 Hình 20: So sánh NMS Soft-NMS 17 Hình 21: Cơng thức cập nhật Si .17 Hình 22: Ảnh trước sau áp dụng augment 17 Hình 23: Tham số lớp Conv2D 18 Hình 24: Tham số lớp MaxPooling2D 19 Hình 25: Tham số lớp Dense 20 Hình 26: Tham số lớp Dropout 20 Hình 27: Tham số lớp Flatten 21 Hình 28: Tham số lớp Adam 21 Hình 29: Giao diện ứng dụng Free Video to JPG Converter 22 Hình 30: Sơ đồ hoạt động hệ thống 24 Hình 31: Ảnh minh họa xe gán nhãn ảnh .25 Hình 32: Các xe đếm vùng định sẵn 26 Hình 33: Vẽ khung bao quanh đối tượng .27 Hình 34: Chọn nhãn cho đối tượng vừa vẽ khung 27 Hình 35: Ảnh minh họa file annotations XML (pascalVOC format) .28 Hình 36: Ảnh minh họa file annotations TXT (YOLO format) 28 Hình 37: Ảnh minh họa file classes.txt (YOLO format) 28 Hình 38: Ảnh minh họa annotations csv file (Retinanet format) 29 Hình 39: Các format chuyển đổi Roboflow .29 Hình 40: Quá trình trích xuất đặc trưng mạng VGG16 .31 BÙI NHẬT TÀI_B1606838 iv Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Hình 41: Ảnh minh họa q trình “convolution” với kích thước ma trận 5x5, kích cỡ cửa sổ trượt 3x3 31 Hình 42: Ảnh minh họa trình Maxpooling với vùng 2x2 31 Hình 43: Ảnh minh họa trình hoạt động mạng RPN 32 Hình 44: Ảnh minh họa trình hoạt động mạng nhận diện 33 Hình 45: Kích thước tensor sau qua lớp “Flatten”, “Dense”, “Dropout” đầu tương ứng 34 Hình 46: Kịch kiểm tra đánh giá mơ hình theo tham số khác với tập liệu kiểm tra 35 Hình 47: Vùng quy định đếm xe 36 Hình 48: Thơng tin bảng logs 37 Hình 49: Giao diện chức dự đốn tình trạng giao thơng .37 Hình 50: Giao diện config .38 Hình 51: Ảnh minh họa việc chọn điểm đỉnh vùng đếm xe (các điểm màu xanh) 39 Hình 52: Ảnh minh họa việc chọn điểm bên vùng đếm xe (điểm màu đỏ) 39 Hình 53: Ảnh minh họa nhấn “enter” sau chọn đủ điểm đỉnh vùng đếm xe điểm bên vùng đếm xe 40 Hình 54: Kết đếm xe frame thứ 10 .40 Hình 55: Nội dung SMS thơng báo tình trạng giao thơng .41 Hình 56: Nội dung email thơng báo tình trạng giao thơng .41 Hình 57: Giao diện theo dõi tình trạng giao thơng (logs) 42 Hình 58: Tìm kiếm tình trạng giao thơng “medium” .42 Hình 59: Ảnh minh họa việc chọn ngày “filter” 43 Hình 60: Ảnh sau “D-click” vào link ảnh cột image 43 Hình 61: Cảnh quay góc quay góc CAM1 44 Hình 62: Cảnh quay góc quay góc CAM3 45 Hình 63: Cảnh quay góc quay góc CAM5 45 Hình 64: Cảnh quay góc quay góc CAM5 trời mưa .45 Hình 65: Biểu đồ thể số lượng đối tượng ứng với nhãn tập train ban đầu 46 Hình 66: Biểu đồ thể số lượng xe tương ứng với nhãn tập train sau gom nhãn 47 Hình 67: Biểu đồ thể số lượng xe tương ứng với nhãn tập đánh giá 47 Hình 68: Biểu đồ thể số lượng xe tương ứng với nhãn tập test1 góc CAM3 (180 ảnh) 48 Hình 69: Biểu đồ thể số lượng xe tương ứng với nhãn tập test2 góc CAM1 (100 ảnh) 48 Hình 70: Biểu đồ thể số lượng xe tương ứng với nhãn tập test3 góc CAM5 chưa xoay(100 ảnh) .49 Hình 71: Biểu đồ thể số lượng xe tương ứng với nhãn tập test4 góc CAM5 sau xoay 15 độ (100 ảnh) .49 BÙI NHẬT TÀI_B1606838 v Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN huấn luyện, đánh giá kiểm tra Tập liệu huấn luyện gồm 1260 ảnh Có tỷ lệ phương tiện giao thông gán nhãn biểu đồ sau: Hình 65: Biểu đồ thể số lượng đối tượng ứng với nhãn tập train ban đầu Từ tập liệu ban đầu trên, dựa vào đặc trưng liệu phương pháp đưa kết luận ùn tắc Nhãn gom lại thành bánh, bánh xe ưu tiên, với tỷ lệ ảnh sau ('bike', 15767), ('car', 2658), ('priority', 183): BÙI NHẬT TÀI_B1606838 lvi Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Hình 66: Biểu đồ thể số lượng xe tương ứng với nhãn tập train sau gom nhãn Tập liệu “valid” gồm 360 ảnh Có tỷ lệ phương tiện ('bike', 4551), ('car', 753), ('priority', 59) ảnh sau: Hình 67: Biểu đồ thể số lượng xe tương ứng với nhãn tập đánh giá Tập liệu kiểm tra (test1) gồm 180 ảnh chia từ video góc CAM3, có tỷ lệ phương tiện ('bike', 2222), ('car', 349), ('priority', 30) ảnh sau: BÙI NHẬT TÀI_B1606838 lvii Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Hình 68: Biểu đồ thể số lượng xe tương ứng với nhãn tập test1 góc CAM3 (180 ảnh) Tập liệu kiểm tra (test2) gồm 100 ảnh lấy từ video góc CAM1 Ảnh lấy frame từ đầu video đủ 100 ảnh Có tỷ lệ phương tiện ('bike', 601), ('car', 71) ảnh sau: Hình 69: Biểu đồ thể số lượng xe tương ứng với nhãn tập test2 góc CAM1 (100 ảnh) Tập liệu kiểm tra (test3) gồm 100 ảnh lấy từ video góc CAM5 Ảnh lấy từ tồn video Có tỷ lệ phương tiện ('bike', 669), ('car', 82), ('priority', 1) ảnh sau: BÙI NHẬT TÀI_B1606838 lviii Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Hình 70: Biểu đồ thể số lượng xe tương ứng với nhãn tập test3 góc CAM5 chưa xoay(100 ảnh) Nhận thấy góc CAM5 bị lệch so với góc CAM3 (tập liệu huấn luyện) Do kết đánh giá không tốt Để cải thiện vấn đề trên, cần xoay ảnh góc khoảng 15 độ để giảm bớt độ lệch Giúp mơ hình nhận diện tốt Tập liệu kiểm tra (test4) gồm 100 ảnh lấy từ video góc CAM5 sau xoay góc 15 độ Ảnh lấy từ tồn video Có tỷ lệ phương tiện ('bike', 584), ('car', 79), ('priority', 2) ảnh sau: Hình 71: Biểu đồ thể số lượng xe tương ứng với nhãn tập test4 góc CAM5 sau xoay 15 độ (100 ảnh) BÙI NHẬT TÀI_B1606838 lix Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Kết kiểm tra, đánh giá mô hình Kết kiểm tra tập test1 góc CAM3 với tham số khác cho kết bảng sau Những tham số khác qua lần tô màu vàng (in đậm + in nghiêng): Bảng 1: Kết thực nghiệm tập test1 góc CAM3 (sử dụng VGG16) Lần\ config 2A 2B 3A 3B 5A 5B 5C 5D 5E 5F 5G Image size 300 600 600 600 600 150 300 300 300 300 300 300 300 Anchor box scales [64, 128, 256] [128, 256, 512] [128, 256, 512] [128, 256, 512] [128, 256, 512] [32, 64, 128] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] Num epochs 80 19 18 20 30 40 50 59 70 80 90 Num rois 256 256 256 512 512 256 256 256 256 256 256 256 256 Augmentation V,h,90 h h h h h h h h h h h h Time s/img ~1.5s ~2.8s ~2.8s ~2.6s ~2.6s ~1.1s ~1.5 ~1.5 ~1.5 ~1.5 ~1.5 ~1.5 ~1.5 Acc loss mAP 0.959 0.915 0.93 0.938 0.927 0.983 0.972 0.982 0.986 0.988 0.991 0.992 0.993 0.435 0.667 0.463 0.632 0.483 0.707 0.378 0.299 0.257 0.216 0.194 0.186 0.172 0.873 0.928 0.912 0.900 0.924 0.644 0.879 0.850 0.821 0.836 0.824 0.848 0.807 Qua kết trên, so sánh lần Nhận thấy kích thước ảnh (image size) lớn (300 >< 600) thời gian xử lý ảnh lâu (1,5s >< 2,8s) Tuy nhiên, độ xác dự đoán ảnh (mAP) cao (0.873 >< 0.911) Nhưng cho kích thước ảnh nhỏ (150) khả bỏ sót chi tiết quan trọng cao Cụ thể lần 4, thời gian thực thi giảm không đáng kể so với lần (1,1s >< 1,5s) nhiên độ xác (mAP) lại giảm nhiều (0.644 >< 0.873) Bảng 2: Kết chi tiết mAP nhãn tập test1 góc CAM3 Lần\ mAP 2A 2B 3A 3B 5A 5B 5C 5D 5E 5F 5G BÙI NHẬT TÀI_B1606838 mAP 0.873 0.928 0.912 0.900 0.924 0.644 0.879 0.850 0.821 0.836 0.824 0.848 0.807 mAP of bike 0.818 0.894 0.939 0.886 0.883 0.520 0.843 0.794 0.767 0.777 0.747 0.799 0.736 mAP of car 0.833 0.938 0.855 0.877 0.907 0.418 0.809 0.772 0.793 0.771 0.745 0.764 0.805 mAP of priority 0.966 0.951 0.940 0.937 0.982 0.995 0.985 0.985 0.903 0.960 0.978 0.981 0.880 lx Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Các giá trị tơ xanh (in đậm) giá trị mAP nhỏ nhãn lần kiểm tra tương ứng Ở tập test1 giá trị mAP nhãn “priority” tốt Giá trị mAP chung bị ảnh hưởng nhãn “bike” “car” Acc mAP Loss Hình 72: Kết thực nghiệm tập test1 góc CAM3 (sử dụng VGG16) dạng biểu đồ đường Kết kiểm tra tập test2 góc CAM1 với tham số tương ứng lần kiểm tra tập test1 Bảng 3: Kết thực nghiệm tập test2 góc CAM1 (sử dụng VGG16) Lần\ config 2A 2B 3A 3B 5A 5B 5C 5D 5E 5F 5G Image size 300 600 600 600 600 150 300 300 300 300 300 300 300 Anchor box scales [64, 128, 256] [128, 256, 512] [128, 256, 512] [128, 256, 512] [128, 256, 512] [32, 64, 128] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] Num epochs 80 19 18 20 30 40 50 59 70 80 90 Num rois 256 256 256 512 512 256 256 256 256 256 256 256 256 Augmentation V,h,90 h h h h h h h h h h h h Time s/img ~1.5s ~2.8s ~2.8s ~2.6s ~2.6s ~1.1s ~1.5 ~1.5 ~1.5 ~1.5 ~1.5 ~1.5 ~1.5 Acc loss mAP 0.959 0.915 0.93 0.938 0.927 0.983 0.972 0.982 0.986 0.988 0.991 0.992 0.993 0.435 0.667 0.463 0.632 0.483 0.707 0.378 0.299 0.257 0.216 0.194 0.186 0.172 0.711 0.681 0.674 0.557 0.557 0.358 0.701 0.636 0.750 0.642 0.670 0.624 0.625 Lần khác tham số “num rois” Nhận thấy “num rois” 512 thời gian thực thi nhanh so với “num rois” 256 (2,6s >< 2,8s) độ xác (mAP) cao (0.924 >< 0.572) BÙI NHẬT TÀI_B1606838 lxi Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Bảng 4: Kết mAP chi tiết nhãn tập test2 góc CAM1 Lần\ config 2A 2B 3A 3B 5A 5B 5C 5D 5E 5F 5G mAP 0.711 0.681 0.674 0.557 0.557 0.358 0.701 0.636 0.750 0.642 0.670 0.624 0.625 mAP of bike 0.613 0.697 0.928 0.580 0.510 0.430 0.662 0.620 0.722 0.633 0.658 0.646 0.660 mAP of car 0.826 0.663 0.384 0.534 0.619 0.279 0.751 0.657 0.785 0.663 0.690 0.607 0.586 mAP of priority None None None None None None None None None None None None None Khi góc camera khác so với góc camera tập huấn luyện (CAM1 >< CAM3) độ xác dự đốn (mAP) nhìn chung thấp Độ xác cao kiểm tra góc CAM1 0.75, cao góc CAM3 (góc camera tập liệu huấn luyện) 0.924 Giá trị mAP chung lần chủ yếu bị ảnh hưởng nhãn “bike” Cho thấy tham số lần cho kết nhận diện “bike” không tốt Do tập test2 khơng có nhãn “priority” nên kết mAP nhãn None Acc mAP Loss Hình 73: Kết thực nghiệm tập test2 góc CAM1 (sử dụng VGG16) dạng biểu đồ đường BÙI NHẬT TÀI_B1606838 lxii Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Kết thực nghiệm tập test3 góc CAM5 (sử dụng VGG16) với tham số tương ứng kiểm tra tập test1 Bảng 5: Kết thực nghiệm tập test3 góc CAM5 (sử dụng VGG16) Lần\ config 2A 2B 3A 3B 5A 5B 5C 5D 5E 5F 5G Image size 300 600 600 600 600 150 300 300 300 300 300 300 300 Anchor box scales [64, 128, 256] [128, 256, 512] [128, 256, 512] [128, 256, 512] [128, 256, 512] [32, 64, 128] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] Num epochs 80 19 18 20 30 40 50 59 70 80 90 Num rois 256 256 256 512 512 256 256 256 256 256 256 256 256 Augmentation V,h,90 h h h h h h h h h h h h Time s/img ~1.5s ~2.8s ~2.8s ~2.6s ~2.6s ~1.1s ~1.5 ~1.5 ~1.5 ~1.5 ~1.5 ~1.5 ~1.5 Acc loss mAP 0.959 0.915 0.93 0.938 0.927 0.983 0.972 0.982 0.986 0.988 0.991 0.992 0.993 0.435 0.667 0.463 0.632 0.483 0.707 0.378 0.299 0.257 0.216 0.194 0.186 0.172 0.529 0.659 0.874 0.642 0.594 0.709 0.718 0.630 0.726 0.580 0.628 0.669 0.593 Lần khác tham số “augmentation” Lần sử dụng lật ngang (horizontal flip), lật dọc (vertical flip) xoay 90 độ Lần sử dụng lật ngang Đối với phương tiện giao thơng việc lật dọc xoay 90 độ ảnh khơng thực tế Do độ xác (mAP) bị ảnh hưởng Theo kết bảng chứng minh điều (0.529 >< 0.695 bảng 3) Bảng 6: Kết chi tiết mAP nhãn tập test3 góc CAM5 Lần\ config 2A 2B 3A 3B 5A 5B 5C 5D 5E 5F 5G mAP 0.529 0.659 0.874 0.642 0.594 0.709 0.718 0.630 0.726 0.580 0.628 0.669 0.593 mAP of bike 0.684 0.654 0.973 0.696 0.619 0.765 0.743 0.681 0.724 0.655 0.683 0.721 0.592 mAP of car 0.325 0.628 0.763 0.616 0.593 0.622 0.731 0.621 0.703 0.537 0.602 0.635 0.632 mAP of priority 1.000 1.000 1.000 0.333 0.345 1.000 0.333 0.173 1.000 0.256 0.333 0.500 0.200 Đặc trưng tập liệu test3 có góc camera lệch, lượng xe đơng Do góc camera đặt xa cổng bệnh viện nên lượng xe chủ yếu xa, không nằm phạm vi xe gán nhãn tập huấn luyện Các yếu tố ảnh hưởng tới việc nhận diện xe mơ hình Do số lượng xe ưu tiên xuất tập (1 xe gán nhãn) nên kết nhận diện xe ưu tiên (nhãn priority) không ổn định BÙI NHẬT TÀI_B1606838 lxiii Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Acc mAP Loss Hình 74: Kết thực nghiệm tập test3 góc CAM5 (sử dụng VGG16) dạng biểu đồ đường Góc camera lệch nhiều so với góc camera tập liệu huấn luyện độ xác dự đốn ảnh (mAP) thấp Do cần có bước xử lý để đưa ảnh kiểm tra góc lệch so với góc camera tập huấn luyện Kết thực nghiệm tập test4 góc CAM5 (sử dụng VGG16) sau xoay góc 15 độ với tham số tương tự như kiểm tra tập test1 Cho kết bảng sau: Bảng 7: Kết thực nghiệm tập test4 góc CAM5 (sử dụng VGG16) sau xoay góc 15 độ Lần\ config 2A 2B 3A 3B 5A 5B 5C 5D 5E 5F 5G Image size 300 600 600 600 600 150 300 300 300 300 300 300 300 Anchor box scales [64, 128, 256] [128, 256, 512] [128, 256, 512] [128, 256, 512] [128, 256, 512] [32, 64, 128] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] [64, 128, 256] Num epochs 80 19 18 20 30 40 50 59 70 80 90 Num rois 256 256 256 512 512 256 256 256 256 256 256 256 256 Augmentation V,h,90 h h h h h h h h h h h h Time s/img ~1.5s ~2.8s ~2.8s ~2.6s ~2.6s ~1.1s ~1.5 ~1.5 ~1.5 ~1.5 ~1.5 ~1.5 ~1.5 Acc loss mAP 0.959 0.915 0.93 0.938 0.927 0.983 0.972 0.982 0.986 0.988 0.991 0.992 0.993 0.435 0.667 0.463 0.632 0.483 0.707 0.378 0.299 0.257 0.216 0.194 0.186 0.172 0.674 0.726 0.823 0.735 0.749 0.671 0.628 0.583 0.629 0.576 0.608 0.691 0.675 Các giá trị tô màu lục (in đậm) cột mAP có giá trị cao giá trị mAP kiểm tra tập test3 (khi chưa xoay) BÙI NHẬT TÀI_B1606838 lxiv Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Bảng 8: Kết chi tiết mAP nhãn tập test4 góc CAM5 Lần\ config 2A 2B 3A 3B 5A 5B 5C 5D 5E 5F 5G mAP 0.674 0.726 0.823 0.735 0.749 0.671 0.628 0.583 0.629 0.576 0.608 0.691 0.675 mAP of bike 0.621 0.682 0.829 0.686 0.680 0.719 0.646 0.578 0.601 0.518 0.600 0.698 0.588 mAP of car 0.719 0.762 0.807 0.800 0.812 0.607 0.627 0.607 0.642 0.647 0.627 0.701 0.759 mAP of priority 0.889 1.000 1.000 0.350 1.000 1.000 0.214 0.063 1.000 0.289 0.296 0.214 0.762 Khi so sánh bảng với bảng 6, nhận thấy giá trị mAP nhãn bảng tốt so với bảng Như cho thấy việc xoay camera trước nhận diện cho kết nhận diện nhãn tốt so với việc khơng xoay Acc mAP Loss Hình 75: Kết thực nghiệm tập test4 góc CAM5(sử dụng VGG16) sau xoay góc 15 độ dạng biểu đồ đường Biểu đồ sau thể kết mAP tập kiểm tra: BÙI NHẬT TÀI_B1606838 lxv Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Hình 76: Biểu đồ so sánh kết mAP tập kiểm tra 1, 2, 3, Nhìn vào biểu đồ nhận thấy kết mAP tập test1 tốt Sau tới tập test2, test3, test4 có kết mAP tương đồng Thử nghiệm kiểm tra với RESNET50 Bảng 9: Kết thực nghiệm tập test1 góc CAM3 (sử dụng RESNET50) Lần\ config 1A 1B 2A 2B 2C Image size 600 600 300 300 300 Anchor box scales [128, 256, 512] [128, 256, 512] [64, 128, 256] [64, 128, 256] [64, 128, 256] Num epochs 11 21 10 20 30 Num rois 256 256 256 256 256 Time s/img ~6s ~6s ~5s ~5s ~5s Acc loss mAP 0.912 0.926 0.944 0.958 0.969 0.572 0.438 0.63 0.473 0.385 0.929 0.936 0.803 0.872 0.853 Acc mAP Loss Hình 77: Kết thực nghiệm tập test1 góc CAM3 (sử dụng RESNET50) dạng biểu đồ đường BÙI NHẬT TÀI_B1606838 lxvi Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Kết kiểm tra sử dụng RESNET50 có độ xác (mAP) tốt (0.936>< 0.916) Tuy nhiên, thấy thời gian thực thi lâu nhiều so với sử dụng VGG16 (5s >< 1.5s) Bảng 10: Kết thực nghiệm tập kiểm tra góc CAM1 (sử dụng RESNET50) Lần\ config 1A 1B 2A 2B 2C Image size 600 600 300 300 300 Anchor box scales [128, 256, 512] [128, 256, 512] [64, 128, 256] [64, 128, 256] [64, 128, 256] Num epochs 11 21 10 20 30 Num rois 256 256 256 256 256 Time s/img ~6s ~6s ~5s ~5s ~5s Acc loss mAP 0.912 0.926 0.944 0.958 0.969 0.572 0.438 0.63 0.473 0.385 0.708 0.657 0.479 0.652 0.708 Acc mAP Loss Hình 78: Kết thực nghiệm tập test2 góc CAM1 (sử dụng RESNET50) dạng biểu đồ đường Kết kiểm tra tập test2 cho kết tương tự kiểm tra tập test1 Vẫn tốt so với sử dụng VGG16, nhiên tốn thời gian xử lý nhiều Kết mAP tập test2 thấp so với kiểm tra tập test1 BÙI NHẬT TÀI_B1606838 lxvii Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN PHẦN KẾT LUẬN Kết đạt - Xây dựng hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video sử dụng mơ hình Faster R-CNN với độ xác trung bình tương đối tốt (khoảng 85%) - Hệ thống áp dụng video với tình trạng thời tiết nắng, có mây, góc camera với tập huấn luyện đạt khoảng 92% độ xác - Hệ thống áp dụng video với tình trạng thời tiết nắng khác góc camera với tập huấn luyện đạt khoảng 75% độ xác - Hệ thống áp dụng video với tình trạng thời tiết nắng, mưa khác góc camera với tập huấn luyện, góc cam bị lệch khoảng 15 độ so với mặt đường đạt khoảng 87% độ xác - Hệ thống áp dụng video với tình trạng thời tiết nắng, mưa khác góc camera với tập huấn luyện, góc camera với video xoay góc 15 độ so với video gốc đạt khoảng 82% độ xác Tuy độ xác cao có giảm độ xác trung bình nhãn tăng lên (cụ thể chi tiết so sánh độ xác nhãn bảng bảng 6) - Tuy nhiên tình trạng xe lưu thơng đơng đúc Các xe chồng lấp lên ảnh minh họa 79 mơ hình khơng nhận dạng xác (khơng nhận hết xe vùng) Từ kết luận việc ước lượng mật độ giao thông dựa việc đếm xe Mà phải cần có phương pháp khác tối ưu BÙI NHẬT TÀI_B1606838 lxviii Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN Hình 79: Kết nhận diện đường đơng xe Hướng phát triển - Việc đếm xe vùng có tình trạng kẹt xe xảy khơng khả thi Do đó, cần thay đổi phương pháp xác định mật độ giao thông mà không dựa việc đếm xe Có thể chia nhãn theo ảnh, ảnh xe ít, xe trung bình, xe đơng, kẹt xe… Từ huấn luyện mơ hình với ảnh để xác định tình trạng giao thơng - Thời gian xử lý ảnh tương đối chậm (~1.5s) Cần sử dụng giải thuật khác có tốc độ xử lý nhanh (YoloV4, MobileNet SSD) để xử lý realtime hình ảnh thu trực tiếp từ camera giao thông mà không cần thông qua video - Thêm vài bước xử lý giai đoạn tăng cường liệu tăng giảm độ sáng (brightness), tương phản (contrast) ảnh, thể thời gian ngày (sáng, trưa, chiều) Chuyển ảnh qua mức xám, thể liệu ban đêm - Thu thập thêm nhiều liệu huấn luyện từ nhiều góc camera khác nhau, nhiều tình trạng thời tiết khác để mơ hình nhận diện tốt trường hợp BÙI NHẬT TÀI_B1606838 lxix Đề tài: Hệ thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R-CNN TÀI LIỆU THAM KHẢO [1] N G T A L H I T L L a M A V Julian Nubert, «Traffic Density Estimation using a Convolutional Neural Network,» Fri, 05 Oct 2018 [2] N C Thang, «MIAI,» 13 01 2020 [En línea] Available: https://miai.vn/2020/01/13/ket-hop-object-detection-va-object-tracking-xaydung-he-thong-dem-phuong-tien-giao-thong-tren-duong/ [Último acceso: 21 2020] [3] F B V D a G P Donato Impedovo, «Vehicular Traffic Congestion Classification by Visual Features and Deep Learning Approaches: A Comparison,» 28 November 2019 [4] G ErkamGuresen, «Procedia Computer Science,» Definition of artificial neural networks with comparison to other networks, vol 3, pp 426-433, 2011 [5] L B Y B a P H Yann Lecun, «Gradient-based learning applied to document recognition,» pp 2278 2324, 1998 [6] R Girshick, «Fast R-CNN,» vol abs/1504.08083, 2015 [7] S a H K a G R B a S J Ren, «NIPS,» Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, pp 91-99, 2015 [8] B S R C a L S D Navaneeth Bodla, «Improving Object Detection With One Line of Code,» CoRR, vol abs/1704.04503, 2017 [9] nguyen, [En línea] BÙI NHẬT TÀI_B1606838 lxx ... thống hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R- CNN 9.6.3 Faster R- CNN Để cải thiện tốc độ tối ưu có thể, tác giả khác Shaoqing Ren cho Faster R- CNN [ CITATION Ren15 l... hình Faster R- CNN ABSTRACT Currently, traffic congestion in Vietnam still occurs frequently Especially the rush hours (time to go to school, to work, after school, after work) in order to partly... hỗ trợ theo dõi tình trạng giao thơng qua video dựa mơ hình Faster R- CNN Đầu tiên, liệu huấn luyện video lấy từ camera giao thơng Sau đó, dùng ? ?Video to JPG Converter” để cắt ảnh từ video frame