Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng

Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng.

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Nguyễn Phước Đại ỨNG DỤNG PHƯƠNG PHÁP HỌC SÂU VÀO NHẬN DẠNG CẢM XÚC ĐỂ ĐÁNH GIÁ ĐỘ HÀI LÒNG KHÁCH HÀNG ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) THÀNH PHỐ HỒ CHÍ MINH - 2023 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Nguyễn Phước Đại ỨNG DỤNG PHƯƠNG PHÁP HỌC SÂU VÀO NHẬN DẠNG CẢM XÚC ĐỂ ĐÁNH GIÁ ĐỘ HÀI LÒNG KHÁCH HÀNG Chuyên ngành: Hệ thống thông tin Mã số: 8.48.01.04 ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC TS HUỲNH TRỌNG THƯA THÀNH PHỐ HỒ CHÍ MINH - 2023 i LỜI CAM ĐOAN Tôi xin cam đoan đề án thạc sĩ hệ thống thông tin “Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lịng khách hàng” tơi nghiên cứu, tổng hợp thực Tất nội dung, số liệu, kết nêu đề án tốt nghiệp trung thực chưa công bố cơng trình khác Tơi hồn tồn chịu trách nhiệm cho hành vi chép trái phép vi phạm quy chế đào tạo TPHCM, ngày 12 tháng 10 năm 2023 Học viên thực đề án Nguyễn Phước Đại ii LỜI CÁM ƠN Tôi xin gửi lời cảm ơn chân thành sâu sắc đến TS Huỳnh Trọng Thưa, người thầy tận tâm nhiệt tình việc hướng dẫn động viên tơi suốt trình thực đề án Nhờ hỗ trợ người thầy, định hướng hồn thành mục tiêu mà tơi đề Tôi xin gửi lời tri ân chân thành đến Thầy, Cơ đồng hành tận tình giảng dạy cho tơi suốt thời gian học tập chương trình Thạc sĩ Hệ thống thông tin khoa Đào tạo Sau đại học, Học viện Cơng nghệ Bưu Viễn thơng sở thành phố Hồ Chí Minh Tơi muốn bày tỏ lòng biết ơn đến ban Giám Đốc Trung tâm Công nghệ Thông tin – Viễn thông Tây Ninh tạo điều kiện thuận lợi cho trình học tập Tôi biết ơn đến tất bạn bè động viên, hỗ trợ đóng góp ý kiến quý báu cho đề án Đóng góp bạn giúp tơi hồn thiện nghiên cứu Đề án hoàn thành đạt số kết định, thừa nhận tồn hạn chế thiếu sót Vì vậy, tơi chân thành mong nhận thơng cảm, đóng góp q báu từ q thầy bạn để tơi cải thiện, nâng cao chất lượng nghiên cứu Một lần xin chân thành cảm ơn ! TPHCM, ngày 12 tháng 10 năm 2023 Học viên thực đề án Nguyễn Phước Đại iii MỤC LỤC LỜI CAM ĐOAN i LỜI CÁM ƠN ii MỤC LỤC iii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT v DANH SÁCH HÌNH VẼ vi DANH SÁCH BẢNG viii MỞ ĐẦU CHƯƠNG – TỔNG QUAN 2.1 Lý chọn đề tài 2.2 Mục đích nghiên cứu 2.3 Đối tượng phạm vi nghiên cứu 2.4 Phương pháp nghiên cứu 2.5 Tính thực tiễn .3 2.6 Bố cục trình bày đề án CHƯƠNG – CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Cơ sở lý thuyết .5 2.1.1 Giới thiệu TensorFlow 2.1.2 Giới thiệu OpenCV 2.1.3 Giới thiệu Python 2.2 Các nghiên cứu liên quan 2.2.1 Mô hình VGG 2.2.2 Mơ hình ResNet 11 iv 2.2.3 Mơ hình MobileNet 12 2.2.4 Kiến trúc Finetune-MobileNet 15 CHƯƠNG – MƠ HÌNH ĐỀ XUẤT 19 3.1 Chuẩn bị liệu 19 3.1.1 Tập liệu 19 3.1.2 Xử lý liệu 19 3.2 Huấn luyện mơ hình 21 3.2.1 Xử lý liệu đầu vào 21 3.2.2 Xây dựng mơ hình .22 3.2.3 Huấn luyện mơ hình 24 3.2.4 Kết huấn luyện mơ hình 24 3.2.5 Mô hình chọn 29 3.3 Cải tiến mơ hình 30 3.3.1 Kiến trúc Finetune-MobileNetV2 .30 3.3.2 Phân nhóm độ hài lịng 31 3.3.3 Kết huấn luyện sau cải tiến .312 Chương – THỰC NGHIỆM 36 4.1 Thu thập thêm liệu cảm xúc thực tế .36 4.2 Huấn luyện mơ hình .36 4.3 Triển khai mơ hình .36 4.4 Cài đặt thực nghiệm .38 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .41 DANH MỤC CÁC TÀI LIỆU THAM KHẢO .42 v DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết tắt DCNN Tiếng Anh Deep Convolutional Neural Networks Mạng nơron tích chập sâu Finetune Tinh chỉnh MobileNet Mạng di động VGG Visual Geometry Group ResNet Residual Network OpenCV Tiếng Việt Open Source Computer Vision Thư viện thị giác máy tính Library mã nguồn mở vi DANH SÁCH HÌNH VẼ Hình 1.1: Cấu hình ConvNet .10 Hình 1.2: Kiến trúc cho ImageNet 11 Hình 1.3: Tỷ lệ lỗi xác thực ImageNet Mơ hình VGG-16, ResNet50/101/152 sử dụng phép chiếu để tăng kích thước 12 Hình 1.4: Kiến trúc thân MobileNet 13 Hình 1.5: Lớp tích chập tiêu chuẩn: (a) với định mức hàng loạt ReLU, (b) Lớp tích chập theo chiều sâu với Depthwise Pointwise .14 Hình 1.6: Kiến trúc hệ thống MobileNet tinh chỉnh 16 Hình 1.7: Mơ hình MobileNet CNN 17 Hình 1.8: Kiến trúc Finetuned MobileNet 18 Hình 2.1: Xử lý liệu input 22 Hình 2.2: Mơ hình ResNet50 23 Hình 2.3: Mơ hình VGG16 .23 Hình 2.4: Mơ hình MobileNetV2 23 Hình 2.5: Kết training với ResNet50 24 Hình 2.6: Kết training với VGG16 .25 Hình 2.7: Kết training với MobileNetV2 25 Hình 2.8: Kết độ xác nhãn cảm xúc với VGG16 .26 Hình 2.9: Kết độ xác nhãn cảm xúc với ResNet50 27 Hình 2.10: Kết độ xác nhãn cảm xúc với MobileNetV2 28 Hình 2.11: Biểu đồ so sánh mơ hình 29 Hình 3.1: Kiến trúc MobileNetV2 30 vii Hình 3.2: Kết training với MobileNetV2 sau cải tiến 32 Hình 3.3: Biểu đồ độ xác nhãn cảm xúc với MobileNetV2 .33 Hình 3.4: Biểu đồ so sánh mơ hình theo nhãn cảm xúc 35 Hình 4.1: Kiến trúc hệ thống thực nghiệm 36 Hình 4.2: Giao diện hệ thống demo 38 Hình 4.3: Các bước đưa liệu vào hệ thống để nhận dạng 39 Hình 4.4: Kết dự đốn cảm xúc qua nhận dạng khn mặt .39 Hình 4.5: Kết liệu nhận dạng chưa chuẩn xác hoàn toàn 40 viii DANH SÁCH BẢNG Bảng 1.1: Kết kiểm thử mơ hình VGG16 training 26 Bảng 1.2: Kết kiểm thử mơ hình ResNet50 training .27 Bảng 1.3: Kết kiểm thử mô hình MobileNetV2 training 28 Bảng 1.4: Kết so sánh mơ hình .29 Bảng 2.1: Kết lớp cảm xúc chạy thử MobileNetV2 sau cải tiến .32 Bảng 2.2: Kết so sánh kỹ thuật đóng băng lớp, 20 lớp 40 lớp 33 Bảng 2.3: Kết kiểm thử mơ hình Finetune20-MobileNetV2 training 34 Bảng 2.4: Kết kiểm thử mơ hình .34 37 Điều kiện trang bị thực nghiệm: 01 máy chủ cấu hình 01 CPU core i5 (4 cores), GB RAM, 512 GB HDD, GPU RTX 2070 8G Hệ điều hành máy chủ: Ubuntu20.0 Ứng dụng cài đặt để lập trình ứng dụng: Python 3.10; Cuda-toolkit 11.6; Sublime text Visual Studio code Các bước thực hiện: - Bước 1: Lấy hình ảnh từ luồng RTSP cửa hàng giao dịch Trong phần này, sử dụng thư viện OpenCV để kết nối lấy hình ảnh từ luồng RTSP camera cửa hàng giao dịch Điều đòi hỏi việc xác định địa IP camera thiết lập kết nối để nhận frame hình ảnh từ luồng RTSP - Bước 2: Tách frame từ luồng RTSP đưa vào mơ hình nhận diện khuôn mặt OpenCV với Haar cascade Một kết nối thành công nhận frame hình ảnh từ luồng RTSP, ta cần sử dụng Haar Cascade classifier có sẵn OpenCV để nhận diện khuôn mặt từ frame Haar Cascade phương pháp phổ biến để phát đặc trưng hình ảnh, khơng phải phương pháp xác Việc tạo khung bao bọc khn mặt tìm thấy frame - Bước 3: Tách khuôn mặt từ kết nhận diện Khi có khung bao bọc chứa khuôn mặt từ bước trước, ta cắt tách vùng ảnh chứa khuôn mặt từ frame Các khuôn mặt sử dụng để dự đốn cảm xúc sau - Bước 4: Resize khn mặt kích cỡ input mơ hình (128x128) tiền xử lý ảnh trước đưa vào mơ hình nhận diện cảm xúc Trước đưa khuôn mặt vào mơ hình nhận diện cảm xúc, ta cần điều chỉnh kích cỡ chúng để phù hợp với kích cỡ đầu vào mơ hình (128x128) Sau đó, ta tiền xử lý ảnh cách chuẩn hóa liệu để đảm bảo chúng thể đặc trưng cần thiết để dự đoán cảm xúc - Bước 5: Đưa ảnh vào mơ hình nhận diện cảm xúc 38 Chúng ta sử dụng mơ hình huấn luyện (MobileNetV2) để dự đốn cảm xúc từ khn mặt tiền xử lý Mơ hình học cách phân loại cảm xúc từ hình ảnh - Bước 6: Nhận kết cảm xúc Dựa kết dự đốn từ mơ hình, ta xác định cảm xúc khn mặt vui, buồn, giận dữ, bất ngờ, vv Kết dự đoán dựa điểm đặc trưng hình ảnh khn mặt - Bước 7: Lưu kết vào database hiển thị lên website Chúng ta lưu kết cảm xúc dự đoán với thời gian vào sở liệu Điều cho phép theo dõi phân tích cảm xúc xuất cửa hàng giao dịch theo thời gian - Bước 8: Hiển thị lên website Cuối cùng, tạo ứng dụng web Streamlit (hoặc công cụ tương tự) để hiển thị kết dự đoán cảm xúc Ứng dụng web hiển thị ảnh gốc, cảm xúc dự đoán thời gian ghi nhận từ sở liệu Người dùng xem kết phân tích cảm xúc cửa hàng giao dịch thông qua giao diện web đơn giản thân thiện 4.4 Cài đặt thực nghiệm Sau chạy chương trình có giao diện sau: Hình 4.2: Giao diện hệ thống demo - Tiến hành chọn hình ảnh video ghi nhận lại hình ảnh khuôn mặt nhiều người để đưa vào hệ thống 39 Hình 4.3: Các bước đưa liệu vào hệ thống để nhận dạng - Sau đưa liệu đầu vào, hệ thống xử lý tách hình gương mặt người đưa dự đốn cảm xúc người hình 4.4 Hình 4.4: Kết dự đốn cảm xúc qua nhận dạng khn mặt Do tập liệu huấn luyện nhiều liệu nhiễu gây độ xác có tăng chưa cao, nên có đưa dự đốn chưa chuẩn xác hình 4.5 40 Hình 4.5: Kết liệu nhận dạng chưa chuẩn xác hoàn toàn 41 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận thực nghiệm Từ kết nghiên cứu hướng xây dựng thực nghiệm, Đề án đưa kết mơ hình có khả áp dụng vào thực tế tốc độ dự đốn mơ hình cao áp dụng Finetune20-MobileNetV2, có khả tích hợp nhiều phần cứng khác bao gồm thiết bị nhúng Hướng phát triển Thu thập thêm liệu huấn luyện mơ hình với nhiều ảnh để tăng độ xác tốc độ xử lý mơ hình Finetune20-MobileNetV2 Phát triển hồn thiện ứng dụng vào thực tế để nhận dạng cảm xúc khách hàng trải nghiệm dịch vụ viễn thông-công nghệ thông tin VNPT Tây Ninh 42 DANH MỤC CÁC TÀI LIỆU THAM KHẢO [1] Karen Simonyan & Andrew Zisserman, (2015), Very Deep Convolutional Networks For Large-scale Image Recognition, Published as a conference paper at ICLR 2015 [2] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, (2015), Deep Residual Learning for Image Recognition, The Open Access version, provided by the Computer Vision Foundation [3] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam, (2017), MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, arXiv:1704.04861v1 [cs.CV] [4] https://chat.openai.com/ , (truy nhập ngày 03/8/2023) [5] https://source.vn/opencv-la-gi/ , (truy nhập ngày 03/8/2023) [6] https://vi.wikipedia.org/wiki/Python_ (ngơn_ngữ_lập_trình), (truy nhập ngày 03/8/2023) [7] Venkatesh, Nagaraju Yallappa, Siddhanth Udayashankar Hegde and Sangeetha Raj Stalin (2021), “Fine-Tuned MobileNet Classifier for Classification of Strawberry and Cherry Fruit Types”, Journal of Computer Science 2021 17(1), pp 44-54 43 BẢN CAM ĐOAN Tôi cam đoan thực việc kiểm tra mức độ tương đồng nội dung đề án tốt nghiệp qua phần mềm https://kiemtratailieu.vn cách trung thực đạt kết mức độ tương đồng 6% toàn nội dung đề án tốt nghiệp Bản đề án tốt nghiệp kiểm tra qua phần mềm cứng đề án tốt nghiệp nộp để bảo vệ trước hội đồng Nếu sai tơi xin chịu hình thức kỷ luật theo quy định hành Học viện Tp Hồ Chí Minh, ngày 12 tháng 10 năm 2023 Học viên thực đề án Nguyễn Phước Đại 44 Học viên Người hướng dẫn khoa học Nguyễn Phước Đại TS Huỳnh Trọng Thưa 45 BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc BÁO CÁO GIẢI TRÌNH SỬA CHỮA, HỒN THIỆN ĐỀ ÁN THẠC SĨ Họ tên học viên: Nguyễn Phước Đại Chun ngành: Hệ thống Thơng tin Khóa: 2021-2023 Tên đề tài: Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng Người hướng dẫn khoa học: TS Huỳnh Trọng Thưa Ngày bảo vệ: 08/10/2023 Các nội dung học viên sửa chữa, bổ sung đề án theo ý kiến đóng góp Hội đồng chấm đề án: Ý kiến hội đồng TT Sửa chữa học viên Chỉnh sửa quy đổi độ hài lòng khách hàng Học viên chỉnh sửa theo mức độ mục 3.3.2 trang 31, 32; mục 3.3.3 trang 34 Giải thích rõ liệu, sử dụng liệu Học viên chỉnh sửa q trình huấn luyện có bổ sung hay không mục 4.2 trang 36 Tp.HCM, ngày 12 tháng 10 năm 2023 Ký xác nhận CHỦ TỊCH HỘI ĐỒNG CHẤM ĐỀ ÁN THƯ KÝ HỘI ĐỒNG NGƯỜI HƯỚNG DẪN KHOA HỌC HỌC VIÊN TS Tân Hạnh TS Nguyễn Hồng Sơn TS Huỳnh Trọng Thưa Nguyễn Phước Đại 46 47 48 49 50 51