(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người

(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người(Luận văn thạc sĩ) Ứng dụng LBP CNN cho bài toán nhận diện cảm xúc mặt người

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGOẠI NGỮ - TIN HỌC THÀNH PHỐ HỒ CHÍ MINH NGUYỄN SƠN HĨA ỨNG DỤNG LBP-CNN CHO BÀI TỐN NHẬN DIỆN CẢM XÚC MẶT NGƯỜI LUẬN VĂN THẠC SĨ NGÀNH: CÔNG NGHỆ THƠNG TIN MÃ SỐ: 60480201 TP.HỒ CHÍ MINH – Tháng 05 Năm 2019 B GIÁO DỤC BỘ D C VÀ ĐÀO ÀO T TẠO TRƯỜNG NG ĐẠII HỌC H C NGO NGOẠII NG NGỮ- TIN H HỌC THÀNH PHỐ HỒ H CHÍ MINH NGUY NGUYỄN SƠN N HĨA ỨNG NG DỤNG D NG LBP-CNN LBP CNN CHO BÀI TOÁN NH NHẬN DIỆN N CẢM M XÚC MẶ MẶT NGƯ ƯỜI LUẬ ẬN VĂN N TH THẠC CS SĨ NGÀNH: CÔNG NGH NGHỆ THÔNG TIN MÃ SỐ Ố:: 60480201 NGƯỜIHƯỚNG DẪN KHOA HỌC:: PGS.TS PH PHẠM M THẾ TH BẢ ẢO TP.HỒ HỒ CHÍ MINH – Tháng 05 N Năm m 2019 LỜI CAM ĐOAN Luận văn công trình nghiên cứu cá nhân tơi, thực hướng dẫn khoa học PGS.TS Phạm Thế Bảo Các số liệu, kết luận nghiên cứu trình bày luận văn hồn tồn trung thực Tơi hồn tồn chịu trách nhiệm lời cam đoan Người cam đoan Nguyễn Sơn Hóa Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN Mục lục Chương 1: Tổng quan 1.1 Giới thiệu 1.2 Các hướng tiếp cận 1.3 Khó khăn thách thức 1.4 Đề xuất hướng giải Chương 2: Cơ sở lý thuyết 11 2.1 Các phương pháp phát khuôn mặt người 11 2.1.1 Hướng tiếp cận dựa tri thức 11 2.1.2 Hướng tiếp cận dựa so khớp mẫu 13 2.1.3 Hướng tiếp cận dựa diện mạo 15 2.2 LBP 19 2.3 Mạng nơ-ron tích chập 27 2.3.1 Tổng quan mạng nơ-ron nhân tạo 27 2.3.2 Mạng nơ-ron tích chập 28 Chương 3: Xây dựng thuật giải 32 3.1 Xác định vị trí khn mặt 32 3.2 Trích đặc trưng LBP 34 3.3 Mơ hình CNN với đặc trưng LBP 35 Chương 4: Kết hướng phát triển 37 4.1 Cơ sở liệu 37 4.1.1 Cơ sở liệu CK+ 37 4.1.2 Cơ sở liệu FER2013 37 4.2 Môi trường thực nghiệm 40 4.3 Thiết kế thực nghiệm 40 4.4 Kết 41 4.4.1 Cơ sở liệu CK+ 41 4.4.2 Cơ sở liệu FER2013 45 4.5 Đánh giá 49 4.5.1 Ưu điểm 49 4.5.2 Khuyết điểm 49 4.6 Hướng phát triển 50 Tài liệu tham khảo 51 Trang 1/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN LỜI CẢM ƠN Chân thành cảm ơn Thầy, Cô khoa CNTT Trường Đại học Huflit TPHCM Thầy Cô giảng dạy truyền đạt nhiều kiến thức quý báu Đặc biệt cảm ơn PGS.TS Phạm Thế Bảo dành nhiều thời gian tận tình hướng dẫn suốt trình thực luận văn Trang 2/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN DANH MỤC TỪ VIẾT TẮT FER Facial Expression Recognition LBP-CNN Local Binary Pattern Convolutional Neural Networks FACS Face Action Coding System CK+ The Extended Cohn-Kanada AU-Coded Expression Database Trang 3/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN DANH MỤC CÁC SƠ ĐỒ, HÌNH VẼ, BẢNG BIỂU - Sơ đồ - Các bước FER - Hình - (a) Ảnh ban đầu có độ phân giải n=1; (b), (c), (d) Ảnh có độ phân giải n=4, 8, 16 - Hình - Một loại tri thức nghiên cứu phân tích khn mặt - Hình - Phương pháp chiếu: (a) Ảnh có khn mặt hình đơn giản; (b) Ảnh có khn mặt hình phức tạp; (c) Ảnh có nhiều khn mặt - Hình - Mẫu khn mặt, có 16 vùng 23 quan hệ (các mũi tên) - Hình - Mơ hình mạng nơ-ron theo Rowley - Hình - Mơ hình Markov ẩn: (a) vector quan sát để huấn luyện cho HMM; (b) năm trạng thái ẩn - Hình - Xác định khn mặt HMM trạng thái, trạng thái lại có trạng thái nhỏ bên trong: trạng thái trán có ba trạng thái nhỏ bên trong; trạng thái mắt có năm trạng thái nhỏ bên - Hình - Tập hợp điểm xung quanh Ptt: (a) bán kính pixel; (b) bán kính 2.5 pixel; (c) bán kính pixel - Hình - Các biến thể LBP LBP đồng dạng - Hình 10 - Bảng thống kê mẫu uniform LBP - Hình 11 - Minh họa trường hợp LBP quay với góc 15 độ: (a) ảnh xoay α độ; (b) tám mẫu LBP tương ứng - Hình 12 - Ví dụ q trình tính tốn đặc trưng - Hình 13 - Cấu trúc nơ-ron nhân tạo - Hình 14 - Mơ hình mạng neural tích chập - Hình 15 - Mơ hình trường tiếp nhận cục - Hình 16 - Quan hệ neuron ẩn pooling - Hình 17 - Số lượng neuron tương ứng Trang 4/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN - Hình 18 - Kích thước giảm - Hình 19 - Phát khn mặt với Viola-Jones - Hình 20 - Trích xuất đặc trưng LBP ảnh khn mặt người - Hình 21 - Mơ hình chúng tơi thiết kế cho CNN phân lớp 07 cảm xúc mặt người - Hình 22 - Ảnh mẫu sở liệu CK+ - Hình 23 - Một số ảnh nhãn gây nhầm lẫn FER2013 - Hình 24 - Cấu trúc csv sở liệu FER2013 - Hình 25 - Biểu đồ phân bố cảm xúc sở liệu FER2013 - Hình 26 - So sánh hiệu suất TN1 TN2 sở liệu CK+ - Hình 27 - So sánh hiệu suất TN1 TN2 sở liệu FER2013 - Hình 28 - Một số liệu phân loại sai liệu CK+ - Hình 29 - Một số liệu phân loại sai liệu FER2013 - Biểu đồ 4.1 - So sánh hiệu suất cảm xúc sở liệu CK+ - Biểu đồ 4.2 - So sánh hiệu suất cảm xúc sở liệu FER2013 - Bảng 4.1 - Kết phân loại CNN sở liệu CK+ - Bảng 4.2 - Kết phân loại CNN sở liệu FER2013 Trang 5/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN Chương 1: Tổng quan 1.1 Giới thiệu Nhận dạng cảm xúc mặt người (Facial Expression Recognition – FER) giữ vai trò quan trọng tương tác người máy, hệ thống an ninh với phổ biến camera an ninh sân bay, văn phòng, trường đại học, máy ATM, ngân hàng… FER cịn sử dụng nghiên cứu tâm lý học hành vi, chăm sóc khách hàng hay hệ thống khuyến nghị dựa hình ảnh Biểu khuôn mặt thể tâm trạng trạng thái cảm xúc cá nhân thời điểm cụ thể buồn, hạnh phúc, tức giận… Paul Ekman [1] cho thấy sáu cảm xúc phổ biến buồn (sad), hạnh phúc (happy), tức giận (angry), sợ hãi (fear), ghê tởm (disgust) ngạc nhiên (surprise) Phát khuôn mặt bước nhận dạng cảm xúc khn mặt, khn mặt xác định từ ảnh đầu vào loại bỏ đối tượng khác (nếu có) Sau xác định khn mặt người, bước thực trích xuất đặc trưng biểu diễn đặc trưng Với đặc trưng thu được, công việc cuối phân loại đặc trưng vào loại cảm xúc phổ biến trên, sơ đồ Nhiều cơng trình nghiên cứu thực nhằm nâng cao độ xác cho tốn FER Tiếp cận giai đoạn trích xuất biểu diễn đặc trưng có phương pháp Gabor Wavelet, LBP (Local Binary Pattern), PCA (Principal Component Analysis), LDA (Linear Discriminant Analysis), LDP (Local Directional Pattern), HOG (Histogram of Oriented Gradients) Mỗi phương pháp có ưu khuyết điểm riêng, LBP với ưu điểm chịu ảnh hưởng thay đổi độ sáng, góc quay, độ co giãn, chi phí tính tốn thấp, tốc độ xử lý nhanh nên ứng dụng nhiều toán phát nhận diện khuôn mặt Ở giai đoạn phân loại, nhiều thuật tốn nghiên cứu cơng bố Mơ hình Markov ẩn (Hidden Markov Model), Nạve Bayesian, KNN (K-nearset Neighbours), SVM (Suport Vector Machine), Mạng nơ ron tích chập (Convolutaion Neural Networks – CNN)… [1][2][3] Trong đó, CNN thể ưu vượt trội với khả xử lý tập liệu lớn nhiều kiến trúc mạng nghiên cứu công bố… Với ưu điểm LBP CNN, luận văn tập trung tìm hiểu, nghiên cứu kiến trúc mà liệu đầu vào CNN đặc trưng LBP hay cịn gọi mạng nơ ron tích chập mẫu nhị phân cục (LBP-CNN – Local Trang 6/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN Binary Pattern Convolutional Neural Networks) cho toán nhận dạng cảm xúc mặt người Sơ đồ - Các bước FER 1.2 Các hướng tiếp cận Nhận dạng cảm xúc mặt người (FER) trình giúp nhận biết tâm trạng cảm xúc cá nhân Rất nhiều cơng trình thực FER có hai hướng tiếp cận [2][3] là: • Dựa theo diện mạo (appearance); cách tiếp cận dựa theo diện mạo xem xét thơng tin có từ giá trị cường độ điểm ảnh hay toàn ảnh cách áp dụng phép biến đổi, lọc phương pháp máy học, thống kê… • Dựa theo hình học (geometric); cách tiếp cận dựa theo hình học, hình dạng, khoảng cách, vị trí thay đổi thành phần mặt như: mặt, mắt, miệng, trán… xem xét Năm 1978, Ekman giới thiệu hệ thống để đo biểu khuôn mặt gọi FACS (Face Action Coding System - Hệ thống mã hoá hành động mặt) dựa tâm lý học [4] FACS phát triển cách phân tích mối quan hệ co giãn thay đổi diện mạo khuôn mặt chúng gây Sự co giãn chịu trách nhiệm cho hành động đánh dấu đơn vị hành động (Action Unit - AU) Mặt chia thành đơn vị hành động mặt (Upper Face AU) đơn Trang 7/51 Nhận dạạng cảm xúcc mặt ngườ ời với LBP-C CNN Nguyễn Sơn Hóa Chương g 4: Kết q hướ ớng phát ttriển 4.1 Cơ sở liệu u Chún ng sử dụng d hai sở liệuu: CK+ FER2013 để đánh giiá mơ hình xây dựng thơơng qua kếtt thực nghiệm n 4.1.1 Cơ sở liệu u CK+ Cơ sở s liệu CK+ C (The Extended C Cohn-Kanaada AU-Codded Expresssion Databbase) [9] sở liệu ảnh cảm xú úc mặt đđược gán nhhãn theo dããy AU dành d cho nhhững hệ thống g FACS, hìnnh 22 Hình 22 - Ảnh m mẫu sở liệu u CK+ Cơ sở liệu CK+ C tthiết kế dànnh riêng choo hệệ thống FAC CS nên CK K+ tập ddãy ảnh tươ ơng ứng vớii thay đđổi AU Hành vi khuôn mặt củaa 210 người lớ ớn ghi lại bằn ng hai thiết bị đồng bộộ phần cứngg máy ảnh Panasonic AG7500 Nhhững người tham gia llà từ 18 đếnn 50 tuổi, nữ n 69%, 81% % người M Mỹ gốc Âu, 13% người M Mỹ gốc Phi 6% cácc nhóm kháác Những người n tham m gia hướng dẫnn ngư ười thí nghiiệm để thực mộtt loạt 23 m hình khhn mặt; bbao gồm nhhững hành độộng đơn lẻ v kết hhợp cácc hành động g Mỗi mànn hình bắt đầu đ kết thúc mộ ột khuôn m mặt trung lậập với bất kkỳ trường hợp h ngoại lệệ ghi nhận Trìnnh tự hình ảnhh cho chế độ đ xem trư ước chế độ xem 30 độ đượ ợc số hóa thhành m mảng 640x4900 640xx480 pixel với giá trị màu 8-bit màu xám hhoặc 24 bitt Các cảm xúc bao gồm m: biểu hiệnn khuônn mặt khhông biểu hiiện khuuôn mặt Cáác khuôn mặt chụ ụp thẳng h quay m góc 30 độ đ 4.1.2 Cơ sở liệu u FER20133 Fer20 013 [10] làà sở liệu l cảm xúúc mặt w website Kagggle cung ccấp cho cácc đội tham giaa thi th hách thức nnhận diện cảảm xúc mặtt người T Trang 37/511 Nguyễn Sơn Hóa Nhận dạạng cảm xúcc mặt ngườ ời với LBP-C CNN Dữ liiệu ảnh tập ảnh xám với kíích thước 488x48 điểm ảnh Khn n mặt trongg ảnh khơng đ hồn tồn chụp thhẳng ggiữa ảnh mà chủủ ý thiết kế để tăng độ khó cho kết nhận ddạng Bên cạnh c đó, nềền ảnh cũnng khơng phhải kkhiết mà cóó ngoại cảảnh hay nhữ ững ảnh lỗi để tăng tínhh cạnh tranhh cho thi Một trở ngại nữ ữa tập ảnh FER20013 ảnh mặt khhông thể hiiện cảm xúúc rõ ràng màà bị che khuất trở t bbiểu cảm kh hác tayy che cằm, ttrán… Đội nón, quấn khăăn, đeo kiếnng…, hình 23 Hình 223 - Một sốố ảnh nh hãn gây nh hầm lẫn troong FER20013 Ảnh FER R2013 gán nnhãn kkhuôn mặt dựa cảảm xúc thể néét mặt t loạại cảm xúc:: = Tức ggiận, = G Ghê tởm, = Sợ hãi, 3= Hạnh phhúc, = Buồồn, = Ngạạc nhiên, = Trung lậpp/Bình thườ ờng Fer20 013 ccung cấp dư ưới dạng fiile csv gồm m cột: Em motion (cảm m xúc) chứaa giá trị từ đến tư ương ứng vvới loại ccảm xúc nêu u Cột “Pixels”: giá g trị ảnh ddưới dạng chu uỗi Cột “U Usage”: gồm m giá trị:: Training, P PrivateTestt PublicT Test ddùng cho mục đích tư ương ứng, hình h 24 T Trang 38/511 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN Mỗi dòng tập tin csv Fer2013 có độ dài tương ứng với 2304 điểm ảnh; nghĩa với dòng tập tin csv Fer2013 tương ứng với ảnh chuyển sang dạng thập phân có độ dài 2304 điểm ảnh Hình 24 - Cấu trúc csv sở liệu FER2013 Trong tổng số 35,887 ảnh sở liệu FER2013 tập “Training” chiếm 28,709 ảnh Tập “PrivateTest” “PublicTest” gồm 3,589 ảnh Trong tỉ lệ loại cảm xúc hình 25 Cảm xúc hạnh phúc chiếm tỉ lệ lớn toàn sở liệu Ngược lại, ghê tởm lại cảm xúc có tỉ lệ phần trăm thấp FER2013 Đây khó khăn lớn dùng phương pháp máy học (như CNN) để giải Trang 39/51 Nguyễn Sơn Hóa Nhận dạạng cảm xúcc mặt ngườ ời với LBP-C CNN Hình 25 - Biểu đồ phân p bố cảảm xúc tron ng sở ữ liệu FER R2013 4.2 Môii trường th hực nghiệệm Chún ng tơi sử dụng d ngơn nngữ lập trìnnh Python 2.7.5 với IIDE: Pychaam Professiional 2018.3 với v thư việnn Tensorflo ow 1.10 đượ ợc cài đặt t máy tínnh để bàn có c phần cứnng CPU: Inntel(R) Coree(TM) i5-34470 CPU @ 3.20GHz + RAM: 88GB DDR3 card đồồ họa GeForcee GT 730 DDR3 D 2GB RAM – Cloock:1.8GHzz (384 CUD DA), hệ điềều hành CenntOS Cudda 9.0 kèm theo CuDN NN 7.1 4.3 Thiết kế thựcc nghiệm Để đánh đ giá đượ ợc kết q mơơ hình kết hợ ợp LBP CNN có hiiệu hơnn hay khơng, chúng c tơi th hiết kế hai thí nghiệm m để thực ngghiệm 02 sở d liệu CK+ + FER20113 Chúng tô ôi gọi: Thựcc nghiệm - Dùng mơơ hình CNN N thhiết kế (chư ương 3) vớii ảnh đầu vàào ảnh khuôn mặt xác định đ vùng kkhn mặt bbằng thuật toốn 3.1 ggọi TN1 Thựcc nghiệm - Dùng mơơ hình CNN N thhiết kế (chư ương 3) vớii ảnh đầu vàào ảnh tính tốn phương p phááp trích đặcc trưng LB BP từ ảnh khuôn k mặt đđược xác địnhh vùng khuôôn mặt g thuật toánn 3.1 gọi TN2 T Trang 40/511 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN 4.4 Kết Chúng thực nghiệm 02 sở liệu CK+ FER2013 để đánh giá mơ hình xây dựng Dựa kích thước khuôn mặt 02 sở liệu CK+ FER2013, chúng tơi giới hạn kích thước khn mặt nhỏ phát 20 x 20 điểm ảnh để phân loại cảm xúc kích thước khn mặt tìm (nếu có) chuẩn hóa kích thước 48 x 48 điểm ảnh cho đồng với kiến trúc CNN xây dựng Thuật toán tối ưu Adam với tỉ lệ học 0.0001 sử dụng cho kiến trúc CNN mà xây dựng chương Bài tốn phân loại 07 loại cảm xúc khuôn mặt nên chúng tơi khơng trình bày phân tích sâu kết giai đoạn phát xác định vùng có khn mặt ảnh Tuy nhiên, hầu hết tất khuôn mặt hai sở liệu để ảnh chụp thẳng khuôn mặt (frontface) có xoay xoay tối đa 30 độ nên kết việc phát khuôn mặt xác định vùng khn mặt có độ xác 100% 4.4.1 Cơ sở liệu CK+ Với tập ảnh thu sau trích ảnh cuối nhãn tương ứng dãy ảnh AU sở liệu CK+ Chúng tơi huấn luyện kiểm tra độ xác hình 26 Trang 41/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN Hình 26 - So sánh hiệu suất TN1 TN2 sở liệu CK+ Chúng thực nghiệm với TN1 TN2 Hình 26 thể hiệu suất kiến trúc CNN với liệu đầu vào đặc trưng LBP cao ảnh không dùng phương pháp trích đặc trưng LBP, nhiên độ xác không vượt trội hẳn Cả hai phương pháp đạt hiệu suất gần tương tự xét bước 400 đặc trưng LBP thể rõ chi tiết nên hiệu suất cao từ bước nhỏ Có thể thấy, với sở liệu ảnh số lượng (617 ảnh), mơ hình CNN đặc trưng LBP đạt hiệu so với ảnh khơng dùng phương pháp trích đặc trưng LBP Các cảm xúc khó phân biệt mơ hình kết hợp LBP CNN làm rõ Cảm xúc ghê tởm nhận dạng xác đạt 75% 58% kết TN1 Hiệu suất nhận dạng cảm xúc tức giận mơ hình kết hợp LBP CNN nhận dạng vượt trội 22%, biểu đồ 4.1 Bảng 4.1 thể rõ chi tiết độ xác thực phân loại cảm xúc CNN ảnh không dùng phương pháp trích đặc trưng LBP phương pháp trích đặc trưng LBP Hai cảm xúc thông thường sợ hãi kết cho TN1 TN2 Nhưng trường hợp cảm xúc hạnh phúc TN1 Trang 42/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN cho kết tốt hẳn TN2 Kết trung bình tất 07 loại cảm xúc TN2 tốt TN1 tốt 7% Bảng 4.1 - Kết phân loại CNN sở liệu CK+ Cảm xúc TN1 TN2 Angry 55 % 77 % Disgust 58 % 75 % Fear 20 % 20 % Happy 100 % 71 % Sad 0% 33 % Surprise 82 % 88 % Neutral 1% 1% 45 % 52 % Trung bình Trang 43/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN Biểu đồ 4.1 - So sánh hiệu suất cảm xúc sở liệu CK+ Biểu đồ 4.1 cho thấy cảm xúc khó phân biệt mơ hình kết hợp LBP CNN làm rõ cảm xúc tức giận (Angry) cảm xúc ghê tởm (Disgust) Trang 44/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN 4.4.2 Cơ sở liệu FER2013 Với sở liệu FER2013, thực nghiệm tương tự với TN1 TN2 Do liệu sở liệu FER2013 nhiều hẳn CK+ nên kết với TN2 cho thấy tốt hẳn kết TN1, hình 27 TN2 cho kết tốt TN 06 loại cảm xúc, có loại cảm xúc thơng thường TN1 tốt TN2 đến 11% Nhưng kết trung bình 07 loại cảm xúc TN2 tốt đến 11% so với TN1, bảng 4.2 Hình 27 - So sánh hiệu suất TN1 TN2 sở liệu FER2013 Trang 45/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN Bảng 4.2 - Kết phân loại CNN sở liệu FER2013 Cảm xúc TN1 TN2 Angry 43 % 64 % Disgust 0% 28 % Fear 19 % 38 % Happy 75 % 80 % Sad 14 % 22 % Surprise 64 % 68 % Neutral 62 % 51 % Trung bình 39 % 50 % Trang 46/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN Biểu đồ 4.2 - So sánh hiệu suất cảm xúc sở liệu FER2013 Biểu đồ 4.2 cho thấy không cảm xúc khó phân biệt (Angry Disgust) mơ hình kết hợp LBP CNN làm rõ mà 04 cảm xúc lại thể hiệu suất phân vượt trội Nếu tập liệu lớn mơ hình phân loại CNN kết hợp với đặc trưng LBP thể ưu vượt trội so với mơ hình CNN khơng kết hợp với đặc trưng LBP Các cảm xúc mơ hình CNN kết hợp với đặc trưng LBP xác định phân biệt tỉ lệ cao Đặc biệt CNN hay mơ hình học sâu, liệu phải lớn đảm bảo tính hiệu Trang 47/51 Nhận dạạng cảm xúcc mặt ngườ ời với LBP-C CNN Nguyễn Sơn Hóa 4.4.3 Một M số trườn ng hợp phâ ân loại sai Tronng liệu C CK+, có nh hiều trườngg hợp khônng thể phânn biệt cảm xxúc thhông thường – buồn, sợ hãi – buồnn, ngạc nhiêên – sợ hãii, … biểu cảm ttrên khn mặt khơng hồn h tồn chhính xác, hìình 28 Tươ ơng tự với ddữ liệu FER R2013 không dễ ddàng phân biệệt với v dùng mắt m chúnng ta để phhân biệt hayy dùng với đặc đ trưng L LBP, hình 29 Hình h 28 - Một số liệu phân loại sai s liệu CK+ + T Trang 48/511 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN Hình 29 - Một số liệu phân loại sai liệu FER2013 4.5 Đánh giá Chúng xây dựng thành cơng mơ hình kết hợp CNN đặc trưng LBP để phân loại 07 loại cảm xúc khuôn mặt 4.5.1 Ưu điểm Phương pháp kết hợp CNN đặc trưng LBP để phân loại 07 loại cảm xúc khuôn mặt cho kết tốt so với dùng mơ hình CNN mà khơng kết hợp với đặc trưng LBP 4.5.2 Khuyết điểm Độ xác chưa hồn tồn tốt Cịn hai loại cảm xúc chưa cho kết tốt so với mơ hình khơng dùng đặc trưng LBP Trang 49/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN 4.6 Hướng phát triển  Kiểm tra chéo (cross-validation) với nhiều sở liệu kể ảnh màu để tìm hiểu cải thiện độ xác  Có thể dùng thêm phương pháp k-fold để tăng liệu huấn luyện  Nghiên cứu loại đặc trưng khác thỏa mãn cho tốn phân loại cảm xúc khn mặt Trang 50/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP-CNN Tài liệu tham khảo [1] Neha Bhardwaj, Manish Dixit, “A Review: Facial Expression Detection with its Techniques and Application”, International Journal of Signal Processing, Image Processing and Pattern Recognition Vol.9, No.6 (2016), pp 149 – 158 [2] Vaibhavkumar J Mistry, Mahesh M Goyani, “A Literature Survey on Facial Expression Recognition using Global Features”, International Journal of Engineering and Advanced Technology Vol.2, No.4 (2013), pp – [3] Jyoti Kumari, R.Rajesh, KM.Pooja, “Facial expression recognition: A survey”, Second International Symposium on Computer Vision and the Internet, pp 486 – 491 [4] Archana Rathi, Brijesh N Shah, “A Survey : Facial Expression Recognition”, International Research Journal of Engineering and Technology Vol.3, No.4 (2016), pp 540 – 545 [5] Caifeng Shan, Shaogang Gong, Peter W McOwan, “Facial expression recognition based on Local Binary Patterns: A comprehensive study”, Image and Vision Computing 27 (2009), pp 803-816 [6] Xianlin Peng, Zhaoqiang Xia, Lei Li, Xiaoyi Feng, “Towards Facial Expression Recognition in the Wild: A New Database and Deep Recognition System”, Northwestern Polytechnical University, pp – [7] Shima Alizadeh, Azar Fazel, “Convolutional Neural Networks for Facial Expression Recognition”, Stanford University, pp – [8] Mundher Al-Shabi, Wooi Ping Cheah, Tee Connie, “Facial Expression Recognition Using a Hybrid CNN–SIFT Aggregator”, Multi-disciplinary Trends in Artificial Intelligence MIWAI 2017, Vol 10607, pp – 12 [9] http://www.consortium.ri.cmu.edu/ckagree/ (Truy cập ngày: 20/10/2018) [10] https://www.kaggle.com/c/challenges-in-representation-learning-facial-expressionrecognition-challenge/ (Truy cập ngày: 20/10/2018) [11] Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phúc Dỗn, “Tổng quan phương pháp xác định khn mặt người”, Trang - 28 [12] Phạm Thế Bảo, “Xác Định Khuôn Mặt Người Trong Ảnh Màu Bằng Logic Mờ”, Luận án Tiến Sĩ, ĐH KHTN, 2009 Trang 51/51 ... Network – CNN) cho nhận dạng xử lý ảnh nhận dạng cảm xúc mặt người [7], đề xuất dùng CNN để nhận dạng từ đặc trưng LBP trích trước Trang 10/51 Nguyễn Sơn Hóa Nhận dạng cảm xúc mặt người với LBP- CNN. .. NGUYỄN SƠN N HÓA ỨNG NG DỤNG D NG LBP- CNN LBP CNN CHO BÀI TOÁN NH NHẬN DIỆN N CẢM M XÚC MẶ MẶT NGƯ ƯỜI LUẬ ẬN VĂN N TH THẠC CS SĨ NGÀNH: CÔNG NGH NGHỆ THÔNG TIN MÃ SỐ Ố:: 60480201 NGƯỜIHƯỚNG DẪN... Hóa Nhận dạạng cảm xúcc mặt ngườ ời với LBP- C CNN Hình 21 – Mơ hình chúng tơi thiết kếế cho CNN N phân lớp 07 cảm xúc mặt ngườ ời T Trang 36/511 Nhận dạạng cảm xúcc mặt ngườ ời với LBP- C CNN