Đang tải... (xem toàn văn)
Nhận biết và đánh giá các nội dung của ảnh là sự phân tích một hình ảnh thành những phần có ý nghĩa để phân biệt đối tượng này với đối tượng khác, dựa vào đó ta có thể mô tả cấu trúc của
ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THỊ KIỀU OANH NGHIÊN CỨU MẠNG NƠ-RON DEEPFACE VÀ ỨNG DỤNG TRONG BÀI TOÁN ĐÁNH GIÁ CHẤT LƯỢNG PHỤC VỤ KHÁCH HÀNG DỰA TRÊN NHẬN DẠNG CẢM XÚC LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2023 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THỊ KIỀU OANH NGHIÊN CỨU MẠNG NƠ-RON DEEPFACE VÀ ỨNG DỤNG TRONG BÀI TOÁN ĐÁNH GIÁ CHẤT LƯỢNG PHỤC VỤ KHÁCH HÀNG DỰA TRÊN NHẬN DẠNG CẢM XÚC Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS Nguyễn Duy Minh THÁI NGUYÊN - 2023 i LỜI CAM ĐOAN Sau trình học tập Trường Đại học Công nghệ Thông tin & Truyền thông, với kiến thức lý thuyết thực hành tích lũy được, với việc vận dụng kiến thức vào thực tế, em tự nghiên cứu tài liệu, cơng trình nghiên cứu, đồng thời có phân tích, tổng hợp, đúc kết phát triển để hoàn thành luận văn thạc sĩ Em xin cam đoan luận văn cơng trình thân em tự tìm hiểu, nghiên cứu hồn thành hướng dẫn thầy giáo TS NGUYỄN DUY MINH Thái Nguyên, tháng năm 2023 Học viên Nguyễn Thị Kiều Oanh ii LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời biết ơn sâu sắc đến TS NGUYỄN DUY MINH người tận tình hướng dẫn, bảo, giúp đỡ em suốt trình làm luận văn Em xin gửi lời cảm ơn đến thầy cô giáo Trường Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên truyền đạt kiến thức giúp đỡ em suốt trình học tập Em xin gửi lời cảm ơn tới bạn bè, đồng nghiệp gia đình động viên, khích lệ, tạo điều kiện giúp đỡ em suốt q trình học tập, thực hồn thành luận văn Xin chân thành cảm ơn! Thái Nguyên, ngày …… tháng năm 2023 Học viên Nguyễn Thị Kiều Oanh iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÍ HIỆU, CHỮ VIẾT TẮT v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH .vii LỜI NÓI ĐẦU ix CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 Lý thuyết nhận dạng ảnh 1.1.1 Tổng quan xử lý ảnh 1.1.2 Các trình xử lý ảnh 1.1.3 Ảnh biểu diễn ảnh 1.1.4 Phạm vi ứng dụng xử lý ảnh 1.2 Mạng Neural 1.2.1 Khái niệm chung 1.2.2 Mơ hình mạng nơ-ron nhân tạo 1.2.3 Các luật học 10 1.2.4 Mạng Perceptron lớp 18 1.2.5 Mạng Perceptron nhiều lớp 19 1.3 Mạng Neural tích chập (CNN - Convolutional Neural Network) 22 1.3.1 Tổng quát 22 1.3.2 Phép nhân tích chập (Convolution) 26 1.3.3 Cấu trúc mạng Neural tích chập (CNN) 27 1.4 Kết luận chương 30 CHƯƠNG PHƯƠNG PHÁP NHẬN DẠNG CẢM XÚC 31 2.1 Nhận dạng cảm xúc 31 2.1.1 Tổng quan nhận dạng cảm xúc với FER 31 2.1.2 Các lĩnh vực ứng dụng nhận dạng cảm xúc 32 iv 2.2 Phương pháp nhận dạng cảm xúc 35 2.2.1 Đọc nhãn đơn - MULTICLASS 35 2.2.2 Nhận biết biểu diễn mặt mức độ ước 37 2.2.3 Học tập nhiều nhãn 39 2.3 Nhận dạng cảm xúc sử dụng mơ hình mạng nơ-ron 40 2.4 Nền tảng DeepFace nhận dạng cảm xúc 45 2.5 Kết luận chương 47 CHƯƠNG KẾT QUẢ THỬ NGHIỆM TRONG BÀI TOÁN ĐÁNH GIÁ CHẤT LƯỢNG PHỤC VỤ KHÁCH HÀNG DỰA TRÊN NHẬN DẠNG CẢM XÚC 48 3.1 Bài toán đánh giá chất lượng phục vụ khách hàng dựa nhận dạng cảm xúc 48 3.2 Cơ sở liệu 50 3.3 Huấn luyện mơ hình 51 3.3.1 Mơ hình VGG-Face 52 3.3.2 Cài đặt môi trường 53 3.4 Kết thử nghiệm 54 3.4.1 Đánh giá kết nhận dạng cảm xúc 54 3.4.2 Phân tích kết nhận dạng cảm xúc khuôn mặt 58 3.5 Kết luận chương 59 KẾT LUẬN 60 TÀI LIỆU THAM KHẢO 61 v DANH MỤC CÁC KÍ HIỆU, CHỮ VIẾT TẮT STT Ý nghĩa Chữ viết tắt CNN FER GAN HOG LBP LMS LSTM RGB RNN 10 SVM Convolutional Neural Network (Mạng nơ-ron tích chập) Facial Expression Recognition (Nhận dạng biểu cảm khuôn mặt) Generative Adversarial Networks (Mạng đối thủ chung) Histogram of Oriented Gradients (Biểu đồ độ dốc định hướng) Local Binary Patterns (Mẫu nhị phân cục bộ) Least Mean Square (Bình phương trung bình cực tiểu) Long Short Term Memory network (Mạng nhớ dài-ngắn) Red – Green – Blue (Đỏ - Xanh lục – Xanh lam) Recurrent Neural Network (Mạng nơ-ron hồi quy) Support Vector Machine (Máy véc-tơ hỗ trợ) vi DANH MỤC CÁC BẢNG Bảng 1.1 Một số kết so sánh máy tính não Bảng 1.2 Hình ảnh tích chập khác sau áp dụng Kernel khác 25 vii DANH MỤC CÁC HÌNH Hình 1.1 Các q trình xử lý ảnh Hình 1.2 Quan hệ vùng lân cận điểm ảnh .4 Hình 1.3 Cấu trúc số loại mạng nơ-ron thường gặp Hình 1.4 Mơ hình nơ-ron nhân tạo thứ Hình 1.6 Sơ đồ mạng nơ- ron học có giám sát 11 Hình 1.7 Sơ đồ mạng nơ-ron học củng cố 12 Hình 1.8 Sơ đồ nơ-ron học củng cố 12 Hình 1.9 Nơ-ron M-P 13 Hình 1.10 Cấu trúc phân tử Adaline 14 Hình 1.11 Phân tử Adaline phương pháp học có giám sát .15 Hình 1.12 Phần tử Adaline luật học LMS 16 Hình 1.13 Cấu trúc mạng Adaline phần tử 17 Hình 1.14 Mơ hình mạng nơ-ron Perceptron lớp 19 Hình 1.15 Mạng nơ-ron truyền thẳng lớp 20 Hình 1.17 Mảng ma trận RGB 6x6x3 22 Hình 1.18 Luồng CNN xử lý ảnh đầu vào 23 Hình 1.19 Lớp tích chập 23 Hình 1.20 Ma trận lọc 3x3 ma trận 5x5 24 Hình 1.21 Feature map 24 Hình 1.22 Lớp tích chập hoạt động với stride 26 Hình 1.23 ReLU layer 26 Hình 1.24 Phép nhân tích chập 27 Hình 1.25 Convolutional layer 28 Hình 1.26 Pooling layer 29 Hình 1.27 Max pooling average pooling 29 Hình 1.28 Làm phẳng 30 Hình 2.1 Các xu hướng nghiên cứu FER 36 Hình 2.2 Mẫu cảm xúc 37 viii Hình 2.3 Kết dự đoán cảm xúc 40 Hình 2.4 Một số mơ hình tiên tiến tảng DeepFace .46 Hình 2.5 Hình ảnh minh họa phân tích thuộc tính khn mặt DeepFace 47 Hình 3.1 Tổng quan hệ thống đề xuất 49 Hình 3.2 Ảnh chụp từ video sở liệu 50 Hình 3.3 Cấu trúc mơ hình VGG-Face .52 Hình 3.4 Kết nhận dạng cảm xúc khuôn mặt video 5-9 .56 Hình 3.5 Kết nhận dạng cảm xúc khn mặt video 1-4 10 .57 Hình 3.6 Thống kê kết nhận dạng cảm xúc khuôn mặt 58