phát hiện và theo dõi người tìm hiểu các phương pháp chính so sánh và chọn ra phương pháp phù hợp với khả năng và đề tài

Phân công công việc Công việc và mục Tìm hiểu đề tài Tìm hiểu các phương pháp chính, so sánh và chọn ra phương pháp phù hợp với khả năng và Lý thuyết cơ bản Yolov5, Deep sort Nguyễn Lươn

PHÁT HIỆN

VÀ THEO DÕI NGƯỜI

Giảng viên hướng dẫn: TS Võ Lê CườngNhóm 10:

Nguyễn Đình Hùng 20182555Nguyễn Anh Đức 20182433

Phân công công việc Công việc và mục

Tìm hiểu đề tài Tìm hiểu các phương pháp chính, so sánh và chọn ra phương pháp phù hợp với khả năng và

Lý thuyết cơ bản

Yolov5, Deep sort Nguyễn Lương Đức Anh, Nguyễn Đình HùngMobilnet SSD, Centroid Tracker Nguyễn Tiến DũngNguyễn Anh Đức,

Triển khai code và train cho Yolov5

Sử dụng Yolov5 và Deepsort để phát hiện và đếm số lượng đối tượng người trong video

Train trên tập dataset gồm 1038 ảnh. Nguyễn Đình Hùng

Triển khai code cho

Mobilnet SSD Sử dụng Mobilnet SSD vàThuật toán Centroid Tracker

Nguyễn Anh Đức,Nguyễn Tiến Dũng Kiểm thử, báo cáo và

slideTest với video tải về trên mạng, làm báo cáo và slideCả nhóm

MỤC TIÊU :

• Hiểu rõ về mạng yolov5, mobilnet , deepsort.

• Từ video input có thể theo dõi toàn bộ số

người trong video Gán ID riêng cho từng cá thể ở video đầu ra

Nội dung Chính

Cơ sở Lý thuyết

Phát hiện và theo dõi người

Kết Luận

CHƯƠNG 1:CƠ SỞ LÝ THUYẾT

1.1 Giới thiệu về YoLo

• YOLO là một thuật toán sử dụng mạng nơ-ron để cung cấp khả năng phát hiện đối tượng theo thời gian thực

• Thuật toán YOLO sử dụng mạng nơ-ron tích tụ (CNN) để phát hiện các đối tượng trong thời gian thực

Chương 1:CƠ SỞ LÝ THUYẾT

1.2 Hoạt động của YOLO

YOLO hoạt động theo cơ chế detect vật thể trên từng vùng ảnh Ảnh được chia thành S x S ô, ô hay còn gọi là cell Thực ra là chia trong tưởng tượng, không phải cắt ảnh ra hay thực hiện bất kì bước image-processing nào Bản chất của việc chia ảnh là việc chia output, target thành dạng matrix AA kích thước S x S

Chương 1:CƠ SỞ LÝ THUYẾT

Hình 2: Hàm IoU

1.3 IoU

IOU (INTERSECTION OVER UNION) là hàm đánh giá độ chính xác của object detector trên tập dữ liệu cụ thể.

Chương 1:CƠ SỞ LÝ THUYẾT

1 Classifycation loss:

Localization loss là hàm lỗi dùng để tính giá trị lỗi cho boundary box được dự đoán bao gồm tọa độ tâm, chiều rộng, chiều cao của so với vị trí thực tế từ dữ liệu huấn luyện của mô hình.

2 Localization loss:

3 Confidence loss:

4 Total loss:

1.4 Loss function

Chương 1:CƠ SỞ LÝ THUYẾT

Các mô hình của YOLOv5: Chúng em sử dụng mô hình YOLOv5s để có tốc độ nhanh và độ chính xác cao

Hình 3: Các mô hình YOLOv5

1.5 Mô Hình YOLOv5

Chương 1:CƠ SỞ LÝ THUYẾT

1.6 Object Tracking

Object Tracking là bài toán theo dõi một hoặc nhiều đối tượng chuyển động theo thời gian trong một video

Object Tracking có thể chia thành 2 cách tiếp cận chính:

• Single Object Tracking (SOT)

• Mutiple Object Tracking (MOT)

Chương 1: CƠ SỞ LÝ THUYẾT

1.7 Multiple Object Tracking

1 phương pháp MOT hướng đến việc theo dõi tất cả các đối tượng xuất hiện trong khung hình bằng việc phát hiện và gắn định danh cho từng đối tượng:

o Phát hiện "tất cả" các đối tượng

o Đối tượng bị che khuất 1 phần hoặc toàn bộ

o Đối tượng ra khỏi phạm vi của khung hình và sau đó xuất hiện lại

o Các đối tượng có quỹ đạo chuyển động giao nhau hoặc chồng chéo lên nhau

Chương 1: CƠ SỞ LÝ THUYẾT

1.8 Sort

SORT - Simple Online Realtime Object Tracking đề xuất giải pháp cho object

tracking, đồng thời giải quyết cả 2 vấn đề mutiple object tracking và realtime object tracking.

2 thuật toán cốt lõi của sort:

Chương 1:CƠ SỞ LÝ THUYẾT

1.9 Deep Sort

Trong multiple object tracking, có 2 yếu tố chính ảnh hưởng trực tiếp đến performance của việc theo dõi:

Data Association: Quan tâm đến vấn đề liên kết dữ liệu

Track Life Cycle Management: Quan tâm đến việc quản lý vòng đời của một track đã được lưu trữ

Điểm nổi bật so với Sort : Khoảng cách cosine , Matching Cascade , vòng đời 1 track

Chương 1:CƠ SỞ LÝ THUYẾT

• Vòng đời của 1 track

Deep SORT quản lí vòng đợi của 1 track dựa trên 1 biến trạng thái với 3 giá trị (tentative, confirmed, deleted)

Chương 2 : Thực Hiện Đề Tài

2.1 Sơ đồ thuật toán

Object Trackin

Bouding box

ID

Counti

Chương 2: Thực Hiện Đề Tài

2.2 Phương pháp giải quyết bài toán

Kết quả đánh giá sau khi train Yolov5

Chương 2: Thực Hiện Đề Tài

2.3 Detection

Sử dụng model có sẵn của yolov5 vào detect đối tượng cụ thể Ví dụ ta sẽ test thử với ảnh đầu vào là ảnh người đi bộ

Chương 2 : Thực Hiện Đề Tài

2.5 Kết quả thu được và đánh giá

•Kết hợp từ yolov5 và deep_sort ta đã nhận diện và theo dõi được đối tượng tương đối chính xác

Kết luận

THANK YOU !