phát hiện và theo dõi người tìm hiểu các phương pháp chính so sánh và chọn ra phương pháp phù hợp với khả năng và đề tài

Phân công công việc Công việc và mục Tìm hiểu đề tài Tìm hiểu các phương pháp chính, so sánh và chọn ra phương pháp phù hợp với khả năng và Lý thuyết cơ bản Yolov5, Deep sort Nguyễn Lươn

PHÁT HIỆN

VÀ THEO DÕI NGƯỜI

Giảng viên hướng dẫn: TS Võ Lê Cường

Nhóm 10:

Nguyễn Đình Hùng 20182555 Nguyễn Anh Đức 20182433

Phân công công việc

Công việc và mục

Tìm hiểu đề tài Tìm hiểu các phương pháp chính, so sánh và chọn ra phương pháp phù hợp với khả năng và

Triển khai code và

train cho Yolov5

Sử dụng Yolov5 và Deepsort để phát hiện và đếm số lượng đối tượng người trong video

Train trên tập dataset gồm 1038 ảnh. Nguyễn Đình Hùng

Triển khai code cho

Mobilnet SSD Sử dụng Mobilnet SSD và

Thuật toán Centroid Tracker

Nguyễn Anh Đức, Nguyễn Tiến Dũng Kiểm thử, báo cáo và

slide Test với video tải về trên mạng, làm báo cáo và slide Cả nhóm

MỤC TIÊU :

• Hiểu rõ về mạng yolov5, mobilnet ,

deepsort.

• Từ video input có thể theo dõi toàn bộ số

người trong video Gán ID riêng cho từng cá thể ở video đầu ra

CHƯƠNG 1:CƠ SỞ LÝ THUYẾT

1.1 Giới thiệu về YoLo

• YOLO là một thuật toán sử dụng mạng nơ-ron để cung cấp khả năng phát hiện đối tượng theo thời gian thực

• Thuật toán YOLO sử dụng mạng nơ-ron tích tụ (CNN) để phát hiện các đối

tượng trong thời gian thực

Chương 1:CƠ SỞ LÝ THUYẾT

1.2 Hoạt động của YOLO

YOLO hoạt động theo cơ chế detect vật thể trên từng vùng ảnh Ảnh được chia thành S x S ô, ô hay còn gọi là cell Thực ra là chia trong tưởng tượng, không phải cắt ảnh ra hay thực hiện bất kì bước image-processing nào Bản chất của việc chia ảnh là việc chia output, target thành dạng matrix AA kích thước S x S

Chương 1:CƠ SỞ LÝ THUYẾT

Hình 2: Hàm IoU

1.3 IoU

IOU (INTERSECTION OVER UNION) là hàm đánh giá độ chính xác của object detector trên tập dữ liệu cụ thể

Chương 1:CƠ SỞ LÝ THUYẾT

1 Classifycation loss:

Localization loss là hàm lỗi dùng để tính giá trị lỗi cho boundary box được dự đoán bao gồm tọa độ tâm, chiều rộng, chiều cao của so với vị trí thực tế từ dữ liệu huấn luyện của mô hình

2 Localization loss:

3 Confidence loss:

4 Total loss:

1.4 Loss function

Chương 1:CƠ SỞ LÝ THUYẾT

Các mô hình của YOLOv5: Chúng em sử dụng mô hình YOLOv5s để có tốc độ

nhanh và độ chính xác cao

Hình 3: Các mô hình YOLOv5

1.5 Mô Hình YOLOv5

Chương 1:CƠ SỞ LÝ THUYẾT

1.6 Object Tracking

Object Tracking là bài toán theo dõi một hoặc nhiều đối tượng chuyển động theo thời gian trong một video

Object Tracking có thể chia thành 2 cách tiếp cận chính:

• Single Object Tracking (SOT)

• Mutiple Object Tracking (MOT)

Chương 1: CƠ SỞ LÝ THUYẾT

1.7 Multiple Object Tracking

1 phương pháp MOT hướng đến việc theo dõi tất cả các đối tượng xuất hiện trong khung hình bằng việc phát hiện và gắn định danh cho từng đối tượng:

o Phát hiện "tất cả" các đối tượng

o Đối tượng bị che khuất 1 phần hoặc toàn bộ

o Đối tượng ra khỏi phạm vi của khung hình và sau đó xuất hiện lại

o Các đối tượng có quỹ đạo chuyển động giao nhau hoặc chồng chéo lên nhau

Chương 1: CƠ SỞ LÝ THUYẾT

1.8 Sort

SORT - Simple Online Realtime Object Tracking đề xuất giải pháp cho object

tracking, đồng thời giải quyết cả 2 vấn đề mutiple object tracking và realtime object tracking

2 thuật toán cốt lõi của sort:

Chương 1:CƠ SỞ LÝ THUYẾT

1.9 Deep Sort

Trong multiple object tracking, có 2 yếu tố chính ảnh hưởng trực tiếp đến

performance của việc theo dõi:

Data Association: Quan tâm đến vấn đề liên kết dữ liệu

Track Life Cycle Management: Quan tâm đến việc quản lý vòng đời của một track đã được lưu trữ

Điểm nổi bật so với Sort : Khoảng cách cosine , Matching Cascade , vòng đời 1 track

Chương 1:CƠ SỞ LÝ THUYẾT

• Vòng đời của 1 track

Deep SORT quản lí vòng đợi của 1 track dựa trên 1 biến trạng thái với 3 giá trị

(tentative, confirmed, deleted)

on

Chương 2 : Thực Hiện Đề Tài

2.1 Sơ đồ thuật toán

Object Trackin

ID Tracking

Counti

Chương 2: Thực Hiện Đề Tài

2.2 Phương pháp giải

quyết bài toán

Kết quả đánh giá sau khi train Yolov5

Chương 2: Thực Hiện Đề Tài

2.3 Detection

Sử dụng model có sẵn của yolov5 vào detect đối tượng cụ thể Ví dụ ta

sẽ test thử với ảnh đầu vào là ảnh người đi bộ

Chương 2 : Thực Hiện Đề Tài

2.5 Kết quả thu được và đánh giá

•Kết hợp từ yolov5 và deep_sort ta đã nhận diện và theo dõi

được đối tượng tương đối chính xác

Kết luận

THANK

YOU !