Báo cáo nghiên cứu khoa học Nghiên cứu sử dụng mạng Nơ ron tích chập cho việc nhận dang hoạt động của người dựa trên cơ sở dữ liệu đã công bố. Ngày nay việc nhận dạng hoạt động của người được ứng dụng trong nhiều lĩnh vực như phân tích thể thao, tương tác người máy, xây dựng các thao tác trong game v.v. Trước đây các vấn đề này thường được giải quyết bằng các mô hình học máy truyền thống, các kết quả còn khiêm tốn. Ngày nay với sự xuất hiện của các mô hình học máy dựa trên Mạng Nơ ron tích chập (Convolutional Neural Networks CNNs) với các đặc trưng tích chập đã có rất nhiều các kết quả ấn tượng trong việc phát hiện, nhận dạng, ước lượng đối tượng. Với những kết quả này, các mô hình mạng CNN đã nhận được quan tâm rất nhiều của cộng đồng nghiên cứu về nhận dạng hoạt động. Đây là các kiến thức mới về trí tuệ nhận tạo, khoa học máy tính. Đó là lĩnh vực thôi thúc sự tò mò của cộng đồng công nghệ thông tin và những sinh viên trẻ. Đồng thời, đã có một số nghiên cứu thực hiện việc nhận dạng hoạt động của người nhưng kết quả vẫn còn khiêm tốn trong trường hợp các khớp xương của người bị che khuất. Điều đó cần được nghiên cứu trong đề tài này.
ỦY BAN NHÂN DÂN TỈNH TUYÊN QUANG TRƯỜNG ĐẠI HỌC TÂN TRÀO BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN Thuộc nhóm nghành khoa học: Khoa học kỹ thuật công nghệ TÊN ĐỀ TÀI: Nghiên cứu sử dụng mạng Nơ ron tích chập cho việc nhận dang hoạt động người dựa sở liệu công bố Chủ nhiệm đề tài : Bàn Văn Bằng Tuyên Quang, tháng năm 2022 ỦY BAN NHÂN DÂN TỈNH TUYÊN QUANG TRƯỜNG ĐẠI HỌC TÂN TRÀO BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN TÊN ĐỀ TÀI: Nghiên cứu sử dụng mạng Nơ ron tích chập cho việc nhận dang hoạt động người dựa sở liệu cơng bố Thuộc nhóm ngành khoa học: Khoa học kỹ thuật công nghệ Sinh viên thực hiện: Dân tộc: Bàn Văn Bằng Nam, Nữ: Nam Dao Lớp, Khoa: Đại học công nghệ thông tin Năm thứ: 2/Số năm đào tạo: Ngành học: Công nghệ thông tin Người hướng dẫn: Ts Lê Văn Hùng Xác nhận Chủ tịch HĐ nghiệm thu (ký, ghi rõ họ tên) Tuyên Quang, tháng năm 2022 Chủ nhiệm đề tài (ký, ghi rõ họ tên) MỤC LỤC A MỞ DẦU .1 Lý chọn đề tài Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu B NỘI DUNG Chương 1: Tổng quan nhận dạng hành động 1.1 Tổng quan mạng CNN .3 1.1.1 Định nghĩa mạng Nơ ron tích chập (Convolutional Neural Network) .3 1.1.2 Cấu trúc CNN 1.2 Nhận dạng hành động Chương 2: Tổng quan mạng CNN cho việc nhận dạng hoạt động người 2.1 Nhận dạng hoạt động người 2.2 Nhận dạng hoạt động người 2D 11 2.3 Nhận dạng hoạt động người 3D 15 Chương 3: Áp dụng mạng CNN có hiệu cao cho việc nhận dạng hoạt động người dựa sở liệu công bố 22 3.1 Tổng quan đồ thị mạng đồ thị 22 3.1.1 Đồ thị 22 3.1.2 Mạng đồ thị (Graph Neural Networks – GNN) 23 3.2 Mạng đồ thị thời gian không gian (ST-GCN) .25 3.2.1 Xây dựng đồ thị khung xương 28 3.2.2 Mạng Nơ ron chuyển đổi đồ thị không gian .29 3.2.3 Chiến lược phân vùng 32 3.2.4 Trọng số cạnh quan trọng học 34 3.2.5 Cơ sở liệu công bố 34 Chương 4: Kết nghiên cứu xây dựng video nhận dạng hành động 39 4.1 Một số độ đo đánh giá nhận dạng hoạt động người .39 4.2 Thực nghiệm 43 4.2.1 Một số yêu cầu 43 4.2.2 Chuẩn bị liệu 43 4.2.3 Huấn luyện 44 4.2.4 Kiểm tra 44 4.3 Kết nghiên cứu .46 4.4 Demo .46 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 49 Danh mục tài liệu tham khảo: 51 DANH MỤC HÌNH V Hình 1.1: Mơ hình hoạt động mạng CNN .3 Hình 1.2: Biến đổi pixel qua Convolutio filter .5 Hình 1.3: Mơ hình Pooling Layer Hình 2.1: Mơ hình tổng quát hệ thống nhận dạng hoạt động người 11 Hình 2.2: Minh họa khớp xương 2D ước lượng ảnh màu 12 Hình 2.3: Minh họa mơ hình nhận dạng hoạt động dựa khung xương 2D người ước lượng từ openpose 13 Hình 2.4: Minh họa hướng tiếp cận DL cho việc nhận dạng hoạt động người 16 Hình 2.5: Minh họa mơ hình nén chọn khung hình tốt cho việc huấn luyện nhận dạng hoạt động 18 Hình 2.6: Mơ hình kết hợp CNN để phân loại hành động xương 19 Hình 2.7: Kiến trúc tổng thể mơ hình SPD 20 Hình 2.8: Minh họa Mạng TTN huấn luyện dễ dàng thêm vào đầu phân loại chuỗi thời gian .21 Hình 3.1: Minh họa đồ thị có hướng 22 Hình 3.2: Minh họa mối quan hệ đồ thị mạng xã hội 23 Hình 3.3: Minh họa việc biểu diễn thông tin ảnh đồ thị 24 Hình 3.4: Minh họa biểu diễn đồ thị CNN .25 Hình 3.5: Biểu đồ thời gian - không gian khung xương sử dụng ST-GCN 26 Hình 3.6: Minh họa mơ hình mạng ST-GCN .27 Hình 3.7: Hình ảnh minh họa lớp hoạt động sở liệu NTU RGB + D 37 Hình 3.8: Minh họa sở liệu NTU RGB + D tải lưu trữ máy chủ 38 Hình 4.1: Kết ước lượng khung xương người ảnh màu dựa Openpose 48 Hình 4.2: Minh họa kết nhận dạng hoạt động dựa khung xương mạng ST-GCN 48 DANH MỤC BẢNG BIỂU Bảng 3.1: Kích thước sở liệu NTU RGB + D NTU RGB + D 120 .35 Bảng 3.2: Các hành động hàng ngày NTU RGB + D NTU RGB + D 120 36 Bảng 3.3: Các hành động hỗ trợ NTU RGB + D NTU RGB + D 120 36 Bảng 3.4: Các hành động y tế NTU RGB + D NTU RGB + D 120 37 Bảng 4.1: Các tham số độ đo đánh giá .39 Bảng 4.2: Độ xác nghiên cứu sở ST-GCN 46 DANH MỤC TỪ VIẾT TẮT STT Ký hiệu chữ viết tắt CNN CNNs ReLU DL MM KDES ML LSTM 10 KNNs DNN 11 HAR 12 RNN 13 MJS 14 STSI 15 LDS 16 SPI 17 SPD 18 TTN 19 GNN 20 ST-GCN Chữ viết đầy đủ Convolutional Neural Network Convolutional Neural Networks Dịch nghĩa Mạng nơ-ron tích chập Các mạng nơ-ron tích chập Đơn vị tuyến tính chỉnh lưu Deep Learning Học sâu Motion Map Bản đồ chuyển động Kernel Descriptor Mô tả hạt nhân Machine Learning Học máy Long Short-Term Mạng nơ-ron nhớ ngắnMemory Neural Network dài K-Nearest Neighbours K-Tập lân cận gần Deep Neural Network Mạng nơ-ron sâu Human Activity Nhận dạng hoạt động Recognition người Recurrent Neural Mạng nơ-ron lặp lại Network Motion-based Joints Lựa chọn khớp dựa Selection chuyển động Skeleton Trajectory Hình ảnh hình dạng quỹ Shape Image đạo khung xương Hệ thống động lực học Linear Dynamics System tuyến tính Hình ảnh tư khung Skeleton Pose Image xương Symmetric Positive Xác định đối tượng thực Definite Temporal Transformer Mạng chuyển đổi thời gian Network Graph Neural Networks Mạng nơ-ron đồ thị Spatial Temporal Graph Mạng đồ thị không gian – Convolutional Networks thời gian Rectified Linear Unit STT Ký hiệu chữ viết tắt 21 ROC 22 23 24 25 TP TN FP FN Chữ viết đầy đủ Receiver Operating Characteristic True Positive True Negative False Positivie False Negative Dịch nghĩa Đặc trưng hoạt động thu nhận Dương tính Dương tính giả Âm tính Âm tính giả A MỞ DẦU Lý chọn đề tài Ngày việc nhận dạng hoạt động người ứng dụng nhiều lĩnh vực phân tích thể thao, tương tác người máy, xây dựng thao tác game v.v Trước vấn đề thường giải mơ hình học máy truyền thống, kết khiêm tốn Ngày với xuất mơ hình học máy dựa Mạng Nơ ron tích chập (Convolutional Neural Networks - CNNs) với đặc trưng tích chập có nhiều kết ấn tượng việc phát hiện, nhận dạng, ước lượng đối tượng Với kết này, mơ hình mạng CNN nhận quan tâm nhiều cộng đồng nghiên cứu nhận dạng hoạt động Đây kiến thức trí tuệ nhận tạo, khoa học máy tính Đó lĩnh vực thơi thúc tị mị cộng đồng công nghệ thông tin sinh viên trẻ Đồng thời, có số nghiên cứu thực việc nhận dạng hoạt động người kết khiêm tốn trường hợp khớp xương người bị che khuất Điều cần nghiên cứu đề tài Mục tiêu nghiên cứu Đề tài có ba mục tiêu chính: - Hệ thống hóa lại nghiên cứu nhận dạng hoạt động người dựa hướng tiếp cận sử dụng mạng Nơ ron tích chập - Dựa vào sở liệu công bố sử dụng mạng CNN cho việc nhận dạng hoạt động người - Xây dựng video nhận dạng hoạt động Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu: Đối tượng nghiên cứu đề tài là: - Mạng Nơ ron tích chập cho việc nhận dạng hoạt động - Khung xương người Phạm vi nghiên cứu: Đề tài thực nghiên cứu mạng Nơ ron tích chập cho việc huấn luyện nhận dạng hoạt động người dựa sở liệu công bố Phương pháp nghiên cứu Đề tài sử dụng phương pháp nghiên cứu: - Nghiên cứu tài liệu mạng CNN nhận dạng hoạt động - Nghiên cứu thực nghiệm sử dụng mạng CNN cho nhận dạng hoạt động - Nghiên cứu kiểm thử sử dụng mạng CNN cho nhận dạng hoạt động B NỘI DUNG Chương 1: Tổng quan nhận dạng hành động 1.1 Tổng quan mạng CNN 1.1.1 Định nghĩa mạng Nơ ron tích chập (Convolutional Neural Network) Convolutional Neural Network (CNN hay ConvNet): Mạng Nơ-ron tích chập Đây coi mơ hình Deep Learning tập hợp thuật tốn để có mơ hình liệu trừu tượng cao sử dụng nhiều lớp xử lý cấu trúc phức tạp Nói cách đơn giản, CNN lớp mạng lưới thần kinh sâu, thường áp dụng để phân tích hình ảnh trực quan Hình 1.1: Mơ hình hoạt động mạng CNN Hiện tại, Khơng có định nghĩa xác thuật tốn CNN Mạng CNN thiết kế với mục đích xử lý liệu qua nhiều lớp mảng Ngoài ra, CNN giúp tạo hệ thống thơng minh phản hồi với độ xác cao