2020 httt vothihongnhung ttlv 4047

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - VÕ THỊ HỒNG NHUNG PHÂN TÍCH BIỂU CẢM MẶT NGƯỜI DÙNG MẠNG NƠ RON TÍCH CHẬP Chun ngành: Hệ Thống Thơng Tin Mã số: 8.48.01.04 TÓM TẮT LUẬN VĂN THẠC SĨ (Theo định hướng ứng dụng) TP HỒ CHÍ MINH - NĂM 2022 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS Lê Hoàng Thái Phản biện 1: ………………………………………………… Phản biện 2: ………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng I MỞ ĐẦU Lý chọn đề tài Phân loại biểu cảm lĩnh vực nghiên cứu nhiều năm qua với nhiều ứng dụng nhiều lĩnh vực khác gắn liền với hệ thống tương tác người máy Trong máy học, phân loại biểu cảm tốn khó, nhiên, người, vấn đề giải Các thách thức là: hình ảnh biểu cảm người biểu cảm khác điều kiện ánh sáng, mơi trường góc quay Những biến đổi lớn đối tượng nghiên cứu đa dạng - Nhận biết cảm xúc từ nét mặt có số lợi như: o Tiếp cận theo hướng tự nhiên để xác định trạng thái cảm xúc khn mặt o Nhiều liệu có sẵn cho biểu cảm xúc khuôn mặt o Nhiều công cụ hỗ trợ xác định cảm xúc khuôn mặt có sẵn - Nhận biết cảm xúc từ nét mặt có số nhược điểm như: o Khơng thể cung cấp thơng tin ngữ cảnh, đơi kết bị sai lệch o Kết phát cảm xúc phụ thuộc vào chất lượng hình ảnh video o Chuyển động liên quan đến cảm xúc khuôn mặt đối tượng cố tình làm diễn viên … Vì thế, nhận biết biểu cảm thách thức với thị giác máy tính Trong luận văn này, đưa hướng tiếp cận đơn giản cho nhận biết biểu cảm khuôn mặt: kết hợp Convolutional Neural Network (CNN) bước tiền xử lý đặc trưng CNN đạt độ xác cao học với liệu lớn Tận dụng ưu điểm này, dự kiến đề xuất phương pháp áp dụng vài kỹ thuật tiền xử lý để rút trích thành phần đặc trưng cho biểu cảm khuôn mặt kết hợp với CNNs để thực phân loại cảm xúc hiệu Dự kiến thực nghiệm đánh giá tập liệu công khai lớn (CK+, JAFFE) Các thực nghiệm thực để đánh giá ảnh hưởng tiền xử lý số ảnh hưởng yếu tố khác Hy vọng xây dựng hệ thống phân biệt cảm xúc có độ xác cao đáp ứng yêu cầu thời gian thực Tổng quan vấn đề nghiên cứu 2.1 Phân chia cảm xúc khuôn mặt - Bảng cho biết biểu cảm khuôn mặt thể bảy cảm xúc người [1]: Bảng 1: Mơ tả cảm xúc người Cảm xúc Biểu cảm khn mặt Vui vẻ Khóe mơi mở,Má nâng cao Buồn bã Đơi mí mắt sụp xuống, mắt tập trung, mép kéo nhẹ xuống Tức giận Mắt Nhìn chằm chằm, Mũi nỡ ra, Mơi ép chặt Sợ hãi Lông mày nhướng lên, Miệng mở Ghê tởm Đôi môi nâng cao lên, Mũi nhăn Ngạc nhiên Lơng mày cong cao Trịng trắng mắt rõ hơn, miệng há Bình thường Khơng biểu 2.2 Tình hình nghiên cứu Mục đích nghiên cứu Nghiên cứu đề tài nhằm mục đích tìm hiểu tốn nhận biết cảm xúc từ nét mặt, từ xây dựng hệ thống ứng dụng thực tiễn như: đánh giá cảm xúc nhân viên thời gian làm việc cơng ty, từ xác định hiệu công việc… Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu: tập trung tìm hiểu số phương pháp CNN phổ biến nay, xác định bảy trạng thái cảm xúc người dựa vào hình ảnh đơn nhập vào Phạm vi nghiên cứu: thực tập liệu chuẩn CK+ [10] JAFFE, hai giới tính nam lẫn giới tính nữ, độ tuổi từ 18 - 45 tuổi, với nhiều chủng tộc người khác Đồng thời, thử nghiệm số ảnh chụp webcam để minh hoạ tính khả thi hệ thống mặt ứng dụng Đề xuất cách tiếp cận học sâu kết hợp với kỹ thuật tiền xử lý như: chuẩn hóa hình ảnh tăng cường mẫu học phép rotation, translation scaling ảnh thật (synthetic training-samples generation), với hy vọng nâng cao độ xác liệu thử nghiệm chọn Tiến tới, xây dựng hệ thống phân loại cảm xúc thoả tiêu chí bên dưới: • Hiệu suất cao đáp ứng yêu cầu thời gian thực • Giảm tác động mơi trường giải vấn đề liệu học (cải tiến khâu tiền xử lý) • Phân tích đánh giá Kết thử nghiệm để hiệu đề xuất Phương pháp nghiên cứu - Phương pháp chuyên gia: - Phương pháp thực nghiệm: - Phương pháp tổng kết kinh nghiệm: Dự kiến nội dung luận văn Chương 1: Giới thiệu chung Chương 2: Hệ thống nhận dạng biểu cảm khuôn mặt Chương 3: Thử nghiệm thảo luận Chương 4: Ứng dụng Chương 5: Kết luận hướng phát triển II NỘI DUNG CHƯƠNG 1: GIỚI THIỆU CHUNG 1.1 Mạng nơ ron nhân tạo 1.1.1 Giới thiệu mạng nơ ron nhân tạo Mạng nơ ron nhân tạo (Artificial Neural Network ANN) chuỗi giải thuật lập trình, mơ dựa cách hoạt động mạng lưới thần kinh não sinh vật sống Mạng nơ ron nhân tạo sử dụng để tìm mối quan hệ tập liệu thông qua thiết kế kiến trúc chứa nhiều tầng ẩn (hidden layer), tầng lại chứa nhiều nơ ron Các nơ ron kết nối với độ mạnh yếu liên kết biểu qua trọng số liên kết [13] 1.1.2 Kiến trúc mạng nơ ron nhân tạo Một mạng Neural nhân tạo có cấu trúc sau: Tầng lớp đầu vào (Input Layer), Tầng lớp ẩn (Hidden Layer),Tầng đầu (Output layer) 1.2 Mạng nơ ron tích chập (Convolutional Neural Networks) 1.2.1 Khái niệm mạng nơ ron tích chập 1.2.2 Mơ hình mạng nơ ron tích chập Một kiến trúc CNN bao gồm lớp: convolution layer, pooling layer fully connected layer Ở lớp convolution pooling thường có hàm kích hoạt phi tuyến Ảnh đưa vào mạng lan truyền qua tầng convolution layer, giá trị tính từ tầng convolution qua hàm kích hoạt, sau giá trị lan truyền qua pooling layer Cuối ảnh lan truyền đến tầng fully connected layer qua hàm kích hoạt Softmax, thường cuối thu vector chứa xác suất phần trăm thuộc lớp toán phân loại 1.4 Kết luận chương Mạng nơ ron nhân tạo chuỗi thuật toán sử dụng để tìm mối quan hệ tập liệu thông qua chế vận hành não sinh học Mạng nơ ron nhân tạo thường huấn luyện qua tập liệu chuẩn cho trước, từ đúc rút kiến thức từ tập liệu huấn luyện, áp dụng với tập liệu khác với độ xác cao Các phương pháp sử dụng để huấn luyện mạng nơ ron nhân tạo ngày tối ưu mặt tính tốn phục vụ cho nhiều mục đích khác Hiện nay, kiến trúc mạng nơ ron ngày hồn thiện cho nhiều nhiệm vụ, mạng nơ ron tích chập ý nhiều tính hiệu thị giác máy tính Mạng nơ ron tích chập với cải tiến góp phần giảm thời gian tính tốn tăng độ xác hứa hẹn phương pháp áp dụng nhiều vào thực tế tương lai CHƯƠNG 2: HỆ THỐNG NHẬN DẠNG BIỂU CẢM KHN MẶT Ở chương này, học viên trình bày chi tiết hệ thống nhận dạng biểu cảm khuôn mặt dựa kiến trúc mạng tích chập Convolution Neural Network quy trình thí nghiệm hai liệu chuẩn cho toán CK+ JAFFE Quy trình thí nghiệm bao gồm hai bước là: bước huấn luyện bước thử nghiệm Đầu vào: Bức ảnh người liệu CK+ JAFFE Đầu ra: Nhãn cảm xúc người dùng theo lớp angry, disgust, fear, happy, neutral, sad Surprise Pha huấn luyện bao gồm kỹ thuật: dùng phương pháp tạo ảnh tổng hợp (Synthetic images generation) để tăng số lượng mẫu học; sử dụng chuỗi kỹ thuật tiền xử lý ảnh (pre-processing) như: tính tốn lại góc nghiêng ảnh điều kiện chụp không lý tưởng, chuẩn hóa giá trị cường độ ảnh, loại bỏ xung quanh gương mặt, điều chỉnh lại kích thước ảnh gương mặt (down sampling) Sau sử dụng kiến trúc mạng học sâu tích chập (Convolution neural network) để huấn luyện 2.1 Tiền xử lý ảnh mặt người tăng cường mẫu học 2.1.1 Tổng hợp tạo mẫu Các thuật tốn Học sâu đơi cần phải huấn luyện liệu đủ nhiều, thiếu liệu phải gặp vấn đề như: thuật toán hoạt động tốt tập huấn luyện mơ hình lại dự đốn tập thử nghiệm (over-fitting); huấn luyện trở nên khó khăn, khó tìm trọng số tốt cho mơ hình, khó hội tụ Do ta giải cách: thiết kế mạng không phức tạp để thử nghiệm lại; sử dụng kỹ thuật transfer learning để tận dụng trọng số huấn luyện liệu lớn tiếp tục huấn luyện liệu riêng; thu thập thêm nhiều liệu 2.1.2 Chỉnh sửa xoay (Rotation correction) Các ảnh mơi trường thật khác góc độ, ánh sáng, kích thước dù biểu cảm, khác biệt ảnh hưởng đến độ xác hệ thống Do đó, cần loại bỏ ảnh hưởng góc độ cách chỉnh lại vùng mặt theo phương ngang phép quay phép chuyển đổi Để xoay lại ảnh gương mặt, cần phải có hai thơng tin hình ảnh khuôn mặt trung tâm hai mắt 2.1.3 Cắt ảnh gương mặt (Face cropping) Với mơ hình đề xuất, cần xác định khoảng cách mắt, sau thực cắt ảnh gương mặt với kích thước xác định sau: chiều cao (height) vùng cắt có hệ số 4.5 gồm: 1.3 cho vùng mắt 3.2 cho vùng mắt, chiều rộng vùng cắt (width) có hệ số 2.4, hệ 12 Hình 2: Chi tiết đầu vào thông số mơ hình DCNN sử dụng 13 Nhận xét so sánh hai mơ hình DCNN CNN Mơ hình DCNN có tổng tham số 1,738,695 tham số, số lượng mơ hình CNN 365,447 tham số Bởi mơ hình DCNN, sử dụng nhiều lớp tích chập Convolutional layer với lọc kích thước khác Dẫn đến việc mơ hình có nhiều tham số cần phải học trình huấn luyện Đối với epoch mơ hình DCNN cần khoảng 12s để hồn thành epoch, với mơ hình CNN cần khoảng 3s để hồn thiện epoch 2.3 Kết luận chương Trong chương này, học viên trình bày tổng quan hệ thống nhận diện khn mặt bước tiền xử lý hình ảnh áp dụng q trình thí nghiệm nhằm mục đích nâng cao hiệu dự đốn hai liệu Bên cạnh đó, học viên trình bày chi tiết hai mơ hình mạng học sâu CNN mơ hình học sâu DCNN bao gồm chi tiết thông số, kiến trúc số lượng tham số mơ hình Đây hai mơ hình sử dụng để chạy thí nghiệm hai liệu thực nghiệm so sánh 14 CHƯƠNG 3: THỬ NGHIỆM VÀ THẢO LUẬN 3.1 Cơ sở liệu 3.1.1 Dữ liệu Cohn-Kanade mở rộng (CK+)[18] Dữ liệu CK+ bao gồm ảnh gương mặt (phần lớn ảnh đơn sắc) với loại cảm xúc: buồn bã (sadness), bất ngờ (surprise), hạnh phúc (happiness), sợ hãi (fear), giận (fear), khinh thường (contempt), ghê tởm (disgust) Mỗi ảnh tập liệu có kích thước 48x48 có tổng cộng 981 ảnh liệu 3.1.2 The Japanese Female Facial Expression (JAFFE) Dataset Dữ liệu JAFFE bao gồm ảnh 10 phụ nữ Nhật Bản với cảm xúc (Giận dữ, khinh thường, sợ hãi, hạnh phúc, buồn bã, bất ngờ) nhãn bình thường Dữ liệu bao gồm 213 ảnh đơn sắc với kích thước 256x256 3.2 Mơi trường thử nghiệm Để huấn luyện mơ hình cài đặt thuật tốn “Phân tích biểu cảm mặt người dùng mạng nơ ron tích chập”, học viên sử dụng cơng cụ, thư viện ngơn ngữ lập trình sau: • Lập trình Python: Python có cú pháp đơn giản, rõ ràng Nó dễ đọc viết ngắn nhiều so sánh với 15 ngơn ngữ lập trình khác C++, Java, C# Python làm cho việc lập trình trở nên thú vị, cho phép tập trung vào giải pháp khơng phải cú pháp • Thư viện máy học Tensorflow – keras: Keras coi thư viện mức độ cao TensorFlow, Microsoft (CNTK), Theano Keras có cú pháp đơn giản TensorFlow nhiều Các ưu điểm thư viện là: (1) Keras ưu tiên trải nghiệm người lập trình, (2) Keras hỗ trợ huấn luyện nhiều GPU phân tán, (3) Keras sử dụng rộng rãi doanh nghiệp cộng đồng nghiên cứu • Thư viên Xử lý ảnh – OpenCV: OpenCV tên viết tắt Open Source computer vision library Đây thư viện mã nguồn mở phục vụ cho hướng nghiên cứu xử lý hỉnh ảnh, phát triển ứng dụng đồ họa thời gian thực OpenCV cho phép cải thiện tốc độ CPU thực hoạt động real time Nó cịn cung cấp số lượng lớn mã xử lý phục vụ cho quy trình thị giác máy tính hay mơ hình máy học khác Cấu hình thử nghiệm cho nghiên cứu thực máy tính cá nhân Window 10 Enterprise LTSC, Intel Core i7 Tiger Lake -1180H 4.6 GHz với NVIDA GeForce RTX 3050 Ti 4GB có khả có 2.3 Gb nhớ GPU 16 3.3 Cài đặt thử nghiệm độ đo đánh giá Đối với phương pháp mô hình mạng tích chập CNN, học viên sử dụng thư viện Tensorflow Keras ngơn ngữ lập trình Python để cài đặt Giá trị dropout em sử dụng 0.2 hàm kích hoạt Relu Số lượng node lớp đầy đủ 128 với hàm kích hoạt Relu Gía trị dropout sử dụng lớp 0.25 để giảm Hàm tối ưu sử dụng SGD với giá trị học 0.01 tốc đô momentum 0.95 Hàm mát sử dụng hàm Cross-entropy Để đánh giá hiệu phương pháp, học viên tiến hành mơ hình thử nghiệm đề xuất mơ hình học máy sử dụng ba độ đo độ xác – Accuracy, độ xác - Precision, độ phủ - Recall số F1 – F1 score tập dự đoán tập liệu gán nhãn Các độ đo tính cơng thức sau đây: • Accuracy – Độ xác: Cách đơn giản để đánh giá mơ hình phân lớp sử dụng độ xác (Accuracy) Ý tưởng đơn giản tỷ lệ mẫu dự đoán tổng số mẫu liệu kiểm thử • Ma trận Confusion: Cách tính sử dụng accuracy cho biết phần trăm liệu dự đốn mà khơng liệu dự đốn đúng/sai Do cần phương pháp đánh giá tốt gọi ma trận Confusion (Confusion matrix) Một cách tổng quát, 17 ma trận thể có điểm liệu thực thuộc lớp, được dự đoán rơi vào lớp 3.4 Số liệu 3.4.1 Thử nghiệm liệu CK+ gốc 3.4.2 Thử nghiệm liệu CK+ tăng cường liệu học 3.4.3 Thử nghiệm liệu JAFFE gốc 3.4.3 Thử nghiệm liệu JAFFE gốc 3.5 Kết thử nghiệm Nhìn vào Bảng 3.1, thấy kết mơ hình CNN kết hợp phương pháp tiền xử lý khác liệu CK+ tương ứng cho nhãn cảm xúc Chúng ta dễ dàng nhìn thấy hiệu mơ hình nhãn cảm xúc “Disgust”, “Happy”, “Surprise” hay nhãn “Neutral” với số F1-score 0.88, 0.89, 0.93 0.81 Số lượng liệu cho nhãn cảm xúc liệu CK+ tương ứng nhãn “Fear”, nhãn “Sad” nhãn “Angry”, là lý kết ba nhãn đạt kết thấp toàn nhãn cảm xúc 3.6 Điều chỉnh tiền xử lý 18 3.7 So sánh kết mơ hình CNN DCNN 3.7.1 Tăng số lượng lớp tích chập – Convolution layer 3.7.2 Áp dụng kỹ thuật dropout batch normalization 3.7.3 Mơ hình Kết thí nghiệm Ở phần này, học viên so sánh kết thí nghiệm mơ hình cải tiến DCNN mơ hình CNN trình bày chương hai liệu CK+ JAFFE gốc tăng cương liệu Kết báo cáo độ đo độ xác, độ phủ số F1-score Bảng 3.9 Hình 3.8 trình bày kết so sánh hai mơ hình DCNN mơ hình CNN hai liệu trước sau tăng cường liệu Bảng 1: Kết độ đo DCNN hai liệu gốc sau tăng cường liệu Bộ liệu Loại liệu Precision Recall F1-score Dữ liệu gốc 0.83 0.82 0.82 Dữ liệu tăng cường 0.92 0.92 0.92 Dữ liệu gốc 0.59 0.55 0.57 Dữ liệu tăng cường 0.71 0.63 0.67 CK+ JAFFE 19 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 CK CK + Aug DCNN JAFEE JAFEE + Aug CNN Hình 1: Kết độ đo F1 mơ hình DCNN CNN hai liệu gốc tăng cường liệu Nhìn vào bảng số liệu 3.9 hình 3.12, thấy mơ hình cải tiếp DCNN với thêm lớp tích chập để rút nhiều thông tin từ ảnh áp dụng kỹ thuật giảm overfiting trình huấn luyện mơ hình cho kết tốt mơ hình CNN Cụ thể liệu gốc CK+, mơ hình DCNN đạt độ xác 0.83, độ phủ 0.82 giá trị F1 0.82, so với mơ hình CNN mơ hình cải tiến cao +0.02 Còn liệu CK+ tăng cường liệu mơ hình DCNN cao mơ hình CNN +0.07 độ đo F1 Trong với liệu JAFFE, mơ hình DCNN chứng minh hiệu liệu gốc, mơ hình cao mơ hình CNN +0.03, cịn liệu tăng cường mơ hình +0.04 Nhìn cách tổng quan, thấy mơ hình DCNN cho kết tốt mơ hình CNN Hình 3.13 Hình 3.14 trình bày kết chi tiết độ đo mơ hình 20 DCNN mơ hình CNN hai liệu CK+ liệu JAFFE Nhìn vào hình 3.13, thấy mơ hình DCNN giúp tăng hiệu qua mơ hình CNN hầu hết tất nhãn trừ nhãn Surprise Đặc biệt hai nhãn có tỷ lệ nhãn độ xác thấp “Fear” nhãn “Sad” Mơ hình DCNN giúp tăng hiệu +0.12 cho hai nhãn so với mơ hình CNN Bộ liệu CK+ 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 Angry Disgust Fear Happy DCNN Neutral Sad Surprise CNN Hình 2: Kết độ đo mơ hình DCNN mơ hình CNN liệu gốc CK+ 21 Bộ liệu JAFFE 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 Angry Disgust Fear Happy DCNN Neutral Sad Surprise CNN Hình 3: Kết độ đo mơ hình DCNN mơ hình CNN liệu gốc JAFFE 3.8 Kết luận chương Học viên trình bày chi tiết hai liệu sử dụng để thực nghiệm đề tài liệu CK liệu JAFFE Sau đó, học viên nhận xét so sánh hiệu hai mô hình CNN DCNN hai liệu theo độ đo độ xác – accuracy, độ phủ - recall, độ xác - precision độ đo F1 Ngồi học viên cịn phân tích xem tỷ lệ nhầm lẫn nhãn hai liệu để kiểm tra xem nhãn hay bị dự đoán sai Cuối học viên so sánh kết hai mơ hình DCNN mơ hình CNN hai liệu 22 CHƯƠNG 4: ỨNG DỤNG 4.1 Ứng dụng phát cảm xúc khuôn mặt Để xây dựng ứng dụng phát cảm xúc khn mặt webcam hình laptop, em sử dụng ngôn ngữ Python kết hợp với thư viện OpenCV để viết chương trình minh họa hỗ trợ cho việc xử lý liệu đầu vào từ webcam Quá trình xử lý qua bước sau: Bước 1: Ảnh đầu vào chuyển thành đa cấp xám Bước 2: Dùng haar cascade thư viện OpenCV để tìm kiếm vùng mặt người ảnh đầu vào, sau cắt vùng khn mặt chuyển đến bước Bước 3: Vùng ảnh mặt người chuyển đổi kích thước 32x32 kích thước đầu vào việc huấn luyện mơ hình CNN liệu Bước 4: Ảnh sau chuẩn hóa thành kích thước 32x32 đa cấp xám chuyển đổi miền [0, 1] sau đưa vào mơ hình CNN huấn luyện sẵn để tiến hành dự đoán nhãn cảm xúc Bước 5: Đầu CNN xác suất cảm xúc, chọn cảm xúc có xác xuất cao làm kết cuối 23 Ở phần học viên lựa chọn mơ hình CNN huấn luyện CK+, JAFFE mơ hình đạt kết tương đối tốt số lượng tham số mơ hình DCNN Điều đảm bảo việc xử lý sử dụng Webcam trực tiếp từ máy tính với cấu hình laptop sử dụng.Dưới hình ảnh minh họa chạy thực tế học viên Hình 1: Kết dự đốn mơ hình CNN thử nghiệm thực tế đối vỡi nhãn “Happy” Thời gian dự đốn mơ hình CNN thử nghiệm thực tế nhận diện khung hình để xác định cảm xúc, tính từ lúc webcam nhận hình đưa vào mơ hình đến lúc kết trung bình 0.03s Hình 4.2 thời gian chạy thực nghiệm nhận dạng cảm xúc khuôn mặt qua webcam 24 Hình 2: Thời gian dự đốn mơ hình CNN thử nghiệm thực tế 4.2 Kết luận chương Trong chương này, học viên trình bày ứng dụng minh họa sử dụng webcam máy tính để phát phân loại cảm xúc khuôn mặt Với hỗ trợ thư viện OpenCV việc xác định vùng chứa khuôn mặt, học viên lấy kết đưa qua mơ hình CNN huấn luyện sẵn để tiến hành dự đoán nhãn cảm xúc xuất lên hình 25 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết nghiên cứu luận văn Trong luận văn này, học viên tìm hiểu, khảo sát kỹ thuật Học máy, Học sâu kỹ thuật tiền xử lý Dựa tìm hiểu, học viên kiểm chứng số phương pháp tiền xử lý ảnh tăng cường mẫu học mạng CNN sâu cải tiến cho toán nhận diện cảm xúc gương mặt đạt hiệu thời gian thực, hai liệu dùng để huấn luyện đánh giá JAFFE CK+ Trong đó, kết thực nghiệm Bảng 3.5 cho thấy việc áp dụng kỹ thuật tăng cường liệu có ảnh hưởng tích cực rõ rệt độ xác thu cao huấn luyện với tập ảnh gốc hai liệu Phương pháp tiền xử lý chứng minh hiệu quả, kết cho thấy việc áp dụng tất kỹ thuật tiền xử lý trình bày phần 2.1 hiệu so với thực riêng lẽ phương pháp Các thử nghiệm trình bày Bảng 3.9 cho thấy kiến trúc mạng DCNN sâu đề xuất học viên cho kết tốt hai liệu CK+ JAFFE, nhiên học viên sử dụng kiến trúc mạng đơn giản Chương để xây dựng hệ thống demo phát cảm xúc để phù hợp với yêu cầu thời gian thực với cấu hình máy laptop cá nhân môi trường thực tế Học viên xây dựng ứng dụng minh họa phát cảm xúc khuôn mặt chạy môi trường thực tế với thời gian thực 26 5.2 Những hạn chế luận văn Bên cạnh học viên đạt trình làm luận văn tồn hạn chế mà cần phải nghiên cứu phát triển tương lai Học viên kiểm tra đánh giá liệu chuẩn công bố cho nghiên cứu liệu CK JAFFE Kết thử nghiệm liệu JAFFE chưa đạt kết mong đợi, thấp nhiều so với liệu CK+ 5.3 Hướng phát triển Thử nghiệm nhiều liệu để đạt kết cao Fer 2013, VGG 16, Resnet … với hệ thống máy có cấu hình mạnh Xây dựng hệ thống hỗ trợ phân biệt cảm xúc bệnh nhân có độ xác cao đáp ứng yêu cầu thời gian thực, phục vụ cho việc khám chữa bệnh Bệnh Viện Đa Khoa Tây Ninh để nâng cao trải nghiệm người dùng