Trang 1 NGUYỄN BÁ BẰNGNGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY CHO NHẬN DẠNG HÀNH ĐỘNG VÀ ỨNG DỤNG TRONG NHẬN DẠNG HÀNH ĐỘNG GIƠ TAY PHÁT BIỂU CỦA HỌC SINHLUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Trang
ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN BÁ BẰNG NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY CHO NHẬN DẠNG HÀNH ĐỘNG VÀ ỨNG DỤNG TRONG NHẬN DẠNG HÀNH ĐỘNG GIƠ TAY PHÁT BIỂU CỦA HỌC SINH LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2023 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN BÁ BẰNG NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY CHO NHẬN DẠNG HÀNH ĐỘNG VÀ ỨNG DỤNG TRONG NHẬN DẠNG HÀNH ĐỘNG GIƠ TAY PHÁT BIỂU CỦA HỌC SINH Chuyên ngành: Khoa học máy tính Mã số: 8 48 0101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS Nguyễn Duy Minh THÁI NGUYÊN - 2023 i LỜI CAM ĐOAN Tôi xin cam đoan luận văn này do chính tôi thực hiện, dưới sự hướng dẫn khoa học của TS Nguyễn Duy Minh Các kết quả lý thuyết được trình bày trong luận văn này là sự tổng hợp từ các kết quả đã được công bố và có trích dẫn đầy đủ Các kết quả của chương trình thực nghiệm trong luận văn này được tác giả thực hiện là hoàn toàn trung thực, nếu sai tôi hoàn toàn chịu trách nhiệm Thái Nguyên, ngày …… tháng 8 năm 2023 Học viên Nguyễn Bá Bằng ii LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời biết ơn sâu sắc đến TS Nguyễn Duy Minh người đã tận tình hướng dẫn, chỉ bảo, giúp đỡ em trong suốt quá trình làm luận văn này Em cũng xin gửi lời cảm ơn đến các thầy cô giáo Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên đã truyền đạt những kiến thức và giúp đỡ em trong suốt quá trình học tập của mình Em xin gửi lời cảm ơn tới bạn bè, đồng nghiệp và gia đình đã động viên, khích lệ, tạo điều kiện giúp đỡ tôi trong suốt quá trình học tập, thực hiện và hoàn thành luận văn này Xin chân thành cảm ơn! Thái Nguyên, ngày …… tháng 8 năm 2023 Học viên Nguyễn Bá Bằng iii MỤC LỤC LỜI CAM ĐOAN .i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÍ HIỆU, CHỮ VIẾT TẮT v DANH MỤC CÁC BẢNG .vi DANH MỤC CÁC HÌNH .vii LỜI NÓI ĐẦU ix CHƯƠNG 1 CƠ SỞ LÝ THUYẾT .1 1.1 Lý thuyết về nhận dạng ảnh 1 1.1.1 Tổng quan về xử lý ảnh 1 1.1.2 Quá trình xử lý ảnh 1 1.1.3 Ảnh và biểu diễn ảnh .3 1.1.4 Phạm vi ứng dụng của xử lý ảnh .5 1.2 Học sâu (Deep Learning) 6 1.2.1 Giới thiệu về học sâu .6 1.2.2 Cách hoạt động của học sâu 9 1.3 Mạng nơ-ron 11 1.3.1 Khái niệm cơ bản về mạng nơ-ron 11 1.3.2 Mạng nơ-ron sinh học 13 1.3.3 Mạng nơ-ron nhân tạo 14 1.3.4 Phân loại mạng nơ-ron nhân tạo 20 1.3.5 Huấn luyện mạng nơ-ron nhân tạo 21 1.4 Kết luận chương 23 CHƯƠNG 2 PHƯƠNG PHÁP NHẬN DẠNG HÀNH ĐỘNG 24 2.1 Tổng quan về nhận dạng hành động 24 2.2 Các phương pháp nhận dạng hành động 25 2.2.1 Nhận dạng hành động dựa trên ảnh tĩnh 25 2.2.2 Nhận dạng hành động dựa trên phân tích và biểu diễn hành động 26 iv 2.2.3 Nhận dạng hành động dựa trên cảm biến 27 2.3 Quy trình nhận dạng hành động hoàn chỉnh .27 2.3.1 Biểu diễn hành động 28 2.3.2 Kỹ thuật giảm kích thước 40 2.3.3 Nhận dạng hành động dựa trên phân tích hành động 42 2.4 Kết luận chương 51 CHƯƠNG 3 KẾT QUẢ THỬ NGHIỆM TRONG BÀI TOÁN NHẬN DẠNG HÀNH ĐỘNG GIƠ TAY PHÁT BIỂU CỦA HỌC SINH 53 3.1 Phát biểu bài toán nhận dạng hành động giờ tay .53 3.2 Thu thập cơ sở dữ liệu về hành động giơ tay 55 3.2.1 Cơ sở dữ liệu 55 3.2.2 Ước lượng tư thế (Pose estimation) .56 3.3 Huấn luyện mô hình 58 3.3.1 Mô hình mạng nơ-ron nhân tạo (ANN) .58 3.3.2 Kết quả huấn luyện mô hình 59 3.4 Phân tích và đánh giá kết quả thu được 60 3.2.1 Thực hiện với kịch bản đơn giản 60 3.2.2 Thực hiện với kịch bản phức tạp 61 3.5 Kết luận chương 62 KẾT LUẬN 64 TÀI LIỆU THAM KHẢO 65 v DANH MỤC CÁC KÍ HIỆU, CHỮ VIẾT TẮT STT Chữ viết tắt Ý nghĩa 1 AI Artificial Intelligence (Trí tuệ nhân tạo) 2 ANN Artificial Neural Network (Mạng nơ-ron nhân tạo) 3 CNN Convolutional Neural Network (Mạng nơ-ron tích chập) 4 HAR Human Action Recognition (Nhận dạng hành động con người) 5 HCI Human - Computer Interface (Giao diện người- máy) 6 RNN Recurrent Neural Network (Mạng nơ-ron tái phát) vi DANH MỤC CÁC BẢNG Bảng 3.1 Thông tin chi tiết cơ sở dữ liệu thực nghiệm 54 vii DANH MỤC CÁC HÌNH Hình 1.1 Quá trình xử lý ảnh 2 Hình 1.2 Mối quan hệ giữa AI, Machine Learning và Deep Learning 6 Hình 1.3 Một mạng nơ-ron sâu cho phân loại chữ số 7 Hình 1.4 Đặc trưng sâu được học bởi mô hình phân loại chữ số .8 Hình 1.5 Một mạng nơ-ron được tham số hóa bởi các trọng số của nó 9 Hình 1.6 Hàm mất mát đo lường chất lượng đầu ra của mạng 10 Hình 1.7 Điểm mất mát được sử dụng làm tín hiệu phản hồi để điều chỉnh trọng số 11 Hình 1.8 Cấu trúc của một nơ-ron sinh học điển hình 13 Hình 1.9 Mô hình nơ-ron nhân tạo 15 Hình 1.10 Mô hình toán học mạng nơ-ron nhân tạo 16 Hình 1.11 Mô hình mạng nơ-ron nhân tạo .17 Hình 1.12 Hàm kích hoạt ReLU 18 Hình 1.13 Phân loại mạng nơ-ron nhân tạo 20 Hình 1.14 Mô hình học có giám sát 21 Hình 1.15 Mô hình học không có giám sát 22 Hình 1.16 Mô hình học tăng cường 22 Hình 2.1 Tổng quan chung về hệ thống Nhận dạng hành động con người 28 Hình 2.2 Các đặc trưng khác nhau cho HAR 29 Hình 2.3 Phân loại các phương pháp phân loại hành động 42 Hình 2.4 Kiến trúc của Mạng nơ-ron tích chập sâu 47 Hình 2.5 Hệ thống nhận dạng hành động con người sử dụng mô hình CNN được đào tạo trước .49 Hình 2.6 Một hệ thống HAR mô tả sự kết hợp giữa LSTM và CNN 51 Hình 3.1 Tổng quan mô hình hệ thống .53 Hình 3.2 Ảnh học sinh ngồi nghe giảng 55 Hình 3.3 Ảnh học sinh giơ tay 55 Hình 3.4 Ảnh 17 keypoints 56 viii Hình 3.5 Mô hình mạng nơ-ron 58 Hình 3.6 Độ chính xác của mô hình trong quá trình huấn luyện 59 Hình 3.7 Kết quả nhận dạng hành động học sinh ngồi nghe giảng 60 Hình 3.8 Kết quả nhận dạng hành động học sinh giơ tay 61 Hình 3.9 Kết quả nhận dạng hành động nhóm học sinh .61 Hình 3.10 Kết quả nhận dạng hành động trong lớp đông học sinh 62