Nhận diện và phát hiện hành vi của con người

Tổng quan về đề tài:Các ứng dụng:• Nhận dạng hành vi bất thường như ngã, đột quỵ, hỗ trợ con người trong việc giám sát, đưa ra cảnh báo• Giám sát an ninh: khi có các hành vi như đánh nha

Nhận diện và phát hiện

hành vi của con người

Giảng viên hướng dẫn: TS Nguyễn Xuân Thuận

Nhóm : 9

Sinh viên thực hiện : Đào Tiến Dũng - 20194969

Ngô Văn Vũ - 20195235

1 Tổng quan về đề tài:

• Mô hình dự đoán tư thế của con người từ hình ảnh, video bằng

cách dự đoán các điểm trên cơ thể người, từ đó sẽ nhận diện được

hành vi tương ứng

1 Tổng quan về đề tài:

Các ứng dụng:

• Nhận dạng hành vi bất thường như

ngã, đột quỵ, hỗ trợ con người trong

việc giám sát, đưa ra cảnh báo

• Giám sát an ninh: khi có các hành vi

như đánh nhau, đập phá đồ, xâm nhập

vào vùng cấm, sẽ đưa ra cảnh báo

• Điều khiển các thiết bị thông minh

bằng cử chỉ tay, khuôn mặt

2 Công cụ sử dụng:

• Ngôn ngữ lập trình python, IDE Pycharm

• Google Colab

• Framework Mediapipe

• Mạng LSTM

3 Tạo dữ liệu:

3.1 Sử dụng Framework mediapipe để trích xuất các điểm trên cơ thể người trong quá trình lấy dữ liệu

+ Đối với khuôn mặt framework này sẽ trích xuất tọa 468

điểm trên khuôn mặt:

+ Đối với bàn tay, ta sẽ thu được tọa độ của 21 điểm trên bàn tay:

3 Tạo dữ liệu:

+ Đối với cơ thể sẽ trích xuất 33 điểm:

3.1 Sử dụng Framework mediapipe để trích xuất các điểm trên cơ thể người trong quá trình lấy dữ liệu

3 Tạo dữ liệu:

Chương trình:

3.2 Tạo data

3 Nguồn dữ liệu

• Ở đây ta có 3 hành động là : ‘hello’, ‘thanks’, ‘I love you’

• Tạo đường dẫn thư mục lưu dữ liệu

• Lấy dữ liệu:

3.2 Tạo data

3 Nguồn dữ liệu

• Vecto hoá và chia dữ liệu:

4 Train Model

• Sử dụng thư viện tensorflow và keras để train model

• Thêm các lớp mạng

4 Train Model

5 Đánh giá kết quả

5 Đánh giá kết quả

5 Đánh giá kết quả

THANK YOU !