NGHIÊN cứu các THUẬT TOÁN NHẬN DẠNG cảm xúc KHUÔN mặt TRÊN ẢNH 2d

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Đinh Xuân Nhất NGHIÊN CỨU CÁC THUẬT TOÁN NHẬN DẠNG CẢM XÚC KHN MẶT TRÊN ẢNH 2D KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thông tin HÀ NỘI – 2010 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Đinh Xuân Nhất NGHIÊN CỨU CÁC THUẬT TỐN NHẬN DẠNG CẢM XÚC KHN MẶT TRÊN ẢNH 2D KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán hướng dẫn: PGS TS Bùi Thế Duy HÀ NỘI – 2010 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI CẢM ƠN Lời em xin bày tỏ lòng biết ơn tới thầy, cô giáo trường Đại học Công nghệ - Đại học Quốc gia Hà Nội Các thầy cô dạy bảo, dẫn chúng em tạo điều kiện tốt cho chúng em học tập suốt trình học đại học đặc biệt thời gian làm khoá luận tốt nghiệp Em xin bày tỏ lòng biết ơn sâu sắc tới PGS TS Bùi Thế Duy, thầy hướng dẫn em tận tình học kỳ vừa qua Tôi xin cảm ơn người bạn mình, bạn ln bên tôi, giúp đỡ cho ý kiến đóng góp quý báu học tập sống Cuối xin gửi tới bố mẹ tồn thể gia đình lịng biết ơn tình cảm yêu thương Con xin dành tặng bố mẹ kết mà đạt suốt bốn năm học đại học Con cám ơn bố mẹ nhiều Hà nội, ngày 25/05/2010 Đinh Xuân Nhất i LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TĨM TẮT Bài tồn nhận dạng cảm xúc bắt đầu nghiên cứu từ năm 1970 kết đạt nhiều hạn chế Hiện vấn đế nhiều người quan tâm tính hấp dẫn vấn đề phức tạp Mục tiêu khóa luận nghiên cứu đánh giá phương pháp nhận dạng mặt người việc nhận dạng cảm xúc bản: Vui, buồn, ghê tởm, dận giữ tự nhiên ảnh tĩnh, diện Từ khóa: Facial Expression Recognition, Principal Component Analysis, Neural Network, Decision Tree, Weka… ii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com MỤC LỤC LỜI CẢM ƠN i TÓM TẮT ii DANH MỤC HÌNH ẢNH v Chương GIỚI THIỆU .1 1.1 Cấu trúc khóa luận .1 1.2 Nhận dạng cảm xúc khuôn mặt ứng dụng 1.3 Một số phương pháp nhận dạng cảm xúc khuôn mặt 1.3.1 Các phương pháp dựa đặc trưng ảnh 1.3.2 Phương pháp sử dụng Action Units 1.3.3 Phương pháp dùng mơ hình AAM kết hợp tương quan điểm 1.3.4 Mơ hình tổng quan 1.4 Các thách thức vấn đề nhận dạng cảm xúc khuôn mặt .5 1.5 Các vấn đề liên quan Chương MỘT SỐ LÝ THUYẾT CƠ BẢN .7 2.1 Giới thiệu mạng nơron .7 2.1.1 Mạng Perceptron nhiều tầng (MPL – Multi Perceptron Layer) 2.1.2 Ánh xạ mạng lan truyền tiến .8 2.1.3 Hàm sigmoid 11 2.1.4 Thuật toán lan truyền ngược 12 2.2 Giới thiệu PCA 19 2.2.1 Một số khái niệm toán học 19 2.2.2 Ma trận đại số .22 2.2.3 Eigenvector (Vectơ riêng) .23 2.2.4 Eigenvalue (Giá trị riêng) .23 2.2.5 Phân tích thành phần (PCA) 24 Chương CÁC PHƯƠNG PHÁP NHẬN DẠNG CẢM XÚC KHUÔN MẶT 25 iii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.1 Nhận dạng cảm xúc dựa PCA truyền thống .25 3.1.1 Trích chọn đặc trưng .25 3.1.2 Quá trình nhận dạng .26 3.2 Nhận dạng cảm xúc dựa PCA kết hợp thuật toán học 27 3.2.1 Mạng nơron 27 3.2.2 Cây định .27 Chương THỰC NGHIỆM .29 4.1 Môi trường thực nghiệm .29 4.2 Dữ liệu đầu vào 29 4.3 Khảo sát đánh giá 29 4.3.1 Phương pháp PCA truyền thống .30 4.3.2 Phương pháp sử dụng mạng nơron 30 4.3.3 Phương pháp sử dụng định 31 4.4 Tổng kết 32 Chương KẾT LUẬN .33 PHỤ LỤC - MỘT SỐ THUẬT NGỮ ANH – VIỆT .34 TÀI LIỆU THAM KHẢO .35 iv LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com DANH MỤC HÌNH ẢNH Hình 1: Mơ hình nhận dạng cảm xúc .4 Hình 2: Mơ hình mạng lan truyền tiến .8 Hình 3: Đồ thị hàm truyền sigmoid 11 Hình 4: Lan truyền ngược .14 Hình 5: Minh họa việc tính δj cho việc tính nút ẩn j .17 Hình 6: Ví dụ non-eigenvector eigenvector 22 Hình 7: Ví dụ eigenvector có tỉ lệ khác eigenvector 23 Hình 8: Ví dụ trích chọn đặc trưng PCA 25 Hình 9: Mơ hình mạng nơron 27 Hình 10: Cây định 28 v LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương GIỚI THIỆU 1.1 Cấu trúc khóa luận Với nội dung trình bày lý thuyết cách áp dụng vào toán nhận dạng cảm xúc khn mặt, khóa luận tổ chức theo cấu trúc sau: Chương 1: Giới thiệu Giới thiệu sơ lược phương pháp nhận dạng cảm xúc, ứng dụng sống hàng ngày, giới thiệu phương pháp sử dụng khóa luận này, mục tiêu cấu trúc khóa luận Chương 2: Một số lý thuyết Chương hai vào giới thiệu tổng quan lý thuyết Những kiến thức tiền đề để người đọc hiểu cách áp dụng vào toán nhận dạng cảm xúc lớp toán nhận dạng nói chung Chương 3: Các phương pháp nhận dạng cảm xúc Chương vào giới thiệu số phương pháp nhận dạng cảm xúc sử dụng lý thuyết nêu chương hai Chương 4: Thực nghiệm Chương phân tích ưu, nhược điểm so sánh, đánh giá phương pháp Chương 5: Kết luận Chương tổng kết lại đạt chưa đạt Từ nêu lên hướng nghiên cứu phát triển 1.2 Nhận dạng cảm xúc khuôn mặt ứng dụng Trong vài năm gần đây, với phát triển khoa học công nghệ, tương tác người máy trở thành lĩnh vực bật nhằm cung cấp cho người khả phục vụ máy móc Điều bắt nguồn từ khả máy móc tương tác với người Máy móc cần kỹ để trao đổi thơng tin với người kỹ khả hiểu cảm xúc Cách tốt để người biểu thị cảm xúc qua khuôn mặt Bài tồn nhận dạng cảm xúc khn mặt LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com bắt đầu nghiên cứu từ năm 1970 kết đạt đến nhiều hạn chế Ứng dụng nhận dạng cảm xúc sống hàng ngày lớn, hệ thống phát trạng thái buồn ngủ dựa vào cảm xúc khuôn mặt phát triển để cảnh báo cho người lái xe thấy dấu hiệu buồn ngủ, mệt mỏi Các hệ thống kiểm tra tính đắn thơng tin, phần mềm điều khiển dựa vào cảm xúc, thiết bị hỗ trợ người tàn tật, Mục tiêu khóa luận nghiên cứu số phương pháp nhận dạng cảm xúc khuôn mặt dựa ảnh hai chiều trực diện 1.3 Một số phương pháp nhận dạng cảm xúc khn mặt Có nhiều phương pháp nghiên cứu để giải quết toán này, điển hình số phương pháp sau: Sử dụng đơn vị vận động khuôn mặt (Action units – AU), sử dụng PCA, AAM kết hợp tương quan điểm, sử dụng phương pháp học,… Mỗi phương pháp có ưu nhược điểm riêng Đối với phương pháp sử dụng PCA kết hợp mạng nơron, cần tập liệu chuẩn để huấn luyện Việc xây dựng tập huấn luyện tương đối khó khăn tốn cần nhiều người làm mẫu, người phải có khả diễn đạt cảm xúc tốt, ngồi cịn cần đánh giá chuyên gia tâm lý Hiện có số tập huấn luyện chuẩn thường dùng JAFFE (Japanese Female Facial Expression) hay Cohn-kanade 1.3.1 Các phương pháp dựa đặc trưng ảnh Các kỹ thuật sử dụng phương pháp phân tích thành phần PCA, sau huấn luyện thuật tốn học PCA Karl Pearson tạo năm 1901 Đến năm 80, Sirovich Kirby phát triển kỹ thuật để thể khuôn mặt cách hiệu Đưa giống nhiều hình ảnh khn mặt khác nhau, kĩ thuật tìm thành phần phân bố khuôn mặt, thể eigenvectors Từng khuôn mặt tập hợp khn mặt sau tính xấp xỉ kết hợp tuyến tính eigenvector lớn nhất, biết tới eigenfaces LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 1.3.2 Phương pháp sử dụng Action Units Phương pháp nhận dạng cảm xúc dựa đơn vị chuyển động khuôn mặt (AU) Có tất 64 AU, AU kết hợp số khuôn mặt Cảm xúc nhận dạng cách phát thời điểm có AU xuất khuôn mặt với AU xuất tướng ứng với cảm xúc LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 2.2.1.2 Phương sai Phương sai đại lượng khác dùng để đo khoảng cách liệu Ta có cơng thức: Dễ thấy phương sai bình phương độ lệch chuẩn 2.2.1.3 Hiệp phương sai Ta thấy đại lượng độ lệch chuẩn phương sai sử dụng chiều Trong thực tế liệu có nhiều chiều Một ví dụ đơn giản ta có liệu cân nặng điểm số toàn sinh viên lớp K51-KHMT Đối với liệu này, độ lệch chuẩn phương sai tính chiều riêng biệt ta không thấy mối liên hệ chiều Tương tự phương sai, hiệp phương sai đại lượng đo biến thiên chiều Nếu tính hiệp phương sai chiều với ta phương sai chiều Nếu tập liệu có chiều x, y, z ta tính hiệp phương sai cặp chiều (x, y), (y, z), (z, x) Công thức hiệp phương sai tương tự công thức phương sai Công thức phương sai khai triển sau: Và công thức hiệp phương sai: Từ cơng thức hiệp phương sai ta thấy, dương X, Y đồng biến, âm X, Y nghịch biến, X, Y độc lập 21 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 2.2.1.4 Ma trận hiệp phương sai Hiệp phương sai biến thiên chiều, tập liệu có n chiều ta có giá trị hiệp phương sai khác Và để thuận tiện cho việc tính tốn ta biểu diễn giá trị thông qua ma trận gọi ma trận hiệp phương sai Định nghĩa ma trận sau: Trong ma trận với n hàng, n cột Dimx chiều thứ x Ví dụ ma trận hiệp phương sai tập liệu có chiều x, y, z: 2.2.2 Ma trận đại số Phần giới thiệu khái niệm tảng sử dụng PCA vectơ riêng (eigenvector) giá trị riêng (eigenvalue) Hình 6: Ví dụ non-eigenvector eigenvector 22 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 7: Ví dụ eigenvector có tỉ lệ khác eigenvector 2.2.3 Eigenvector (Vectơ riêng) Ta nhân ma trận với điều kiện kích cỡ phù hợp eigenvector trường hợp đặc biệt phép nhân Quan sát phép nhân ma trận với vector hình 3.1 Ở ví dụ thứ vectơ kết bội số vectơ gốc ví dụ thứ vectơ kết lần vectơ gốc Ta thấy vectơ (trong ví dụ 2) biểu diễn mũi tên từ điểm (0, 0) đến điểm (3, 2) ma trận lại hiểu ma trận chuyển đổi Nếu ta nhân ma trận bên trái vectơ vectơ nhận vectơ cũ bị tịnh tiến lượng Đó tính biến đổi vectơ riêng Các tính chất vectơ riêng:  Chỉ ma trận vuông (n x n) có vectơ riêng  Khơng phải ma trận vng có vectơ riêng  Nếu ma trận vng (n x n) có vectơ riêng có n vectơ riêng  Nếu nhân vectơ riêng với số kết sau nhân với ma trận chuyển đổi, vectơ kết vectơ ban đầu  Tất vectơ riêng ma trận trực giao với 2.2.4 Eigenvalue (Giá trị riêng) Giá trị riêng khái niệm liên quan chặt chẽ đến vectơ riêng Thực tế thấy giá trị riêng hình 3.1 Chú ý ví dụ trên, số nhân với vectơ riêng 4 gọi giá trị riêng ứng với vectơ riêng (2 23 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com vectơ riêng ví dụ tương đương nhau) Giá trị riêng vectơ riêng với thành cặp 2.2.5 Phân tích thành phần (PCA) PCA phương pháp để nhận dạng mẫu liệu biểu diễn liệu cách làm bật giống khác Khi mẫu liệu khó nhận khơng gian nhiều chiều PCA cơng cụ mạnh để phân tích chúng Các bước PCA: Bước1: Lấy liệu (Get data) Bước2: Trừ trung bình mẫu Với chiều liệu giả sử chiều x, ta có trung bình mẫu, công việc bước trừ tất giá trị chiều x cho trung bình mẫu x Kết thúc bước ta có trung bình mẫu tất chiều Bước 3: Tính ma trận hiệp phương sai Bước 4: Tính vectơ riêng giá trị riêng ma trận hiệp phương sai Bước 5: Chọn thành phần Đây bước cuối PCA Trong bước này, tùy thuộc vào số lượng thành phần cần lấy, ta lấy thành phần (vectơ riêng) tương ứng với giá trị riêng cao 24 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương CÁC PHƯƠNG PHÁP NHẬN DẠNG CẢM XÚC KHN MẶT Trong khn khổ luận văn phương pháp nhận dạng cảm xúc thực ảnh khuôn mặt mẫu 2D 3.1 Nhận dạng cảm xúc dựa PCA truyền thống 3.1.1 Trích chọn đặc trưng Xây dựng tập vectơ đặc trưng (S1, S2,…Sk) cho hình huấn luyện sử dụng phép phân tích PCA Hình 8: Ví dụ trích chọn đặc trưng PCA Ứng với vectơ đặc trưng riêng có giá trị riêng Như hình huấn luyện đại diện tập giá trị riêng I = (b1, b2, b3… bn) Mỗi cảm xúc bao gồm tập ảnh huấn luyện Ví dụ cảm xúc vui I(Happy 1) = (bHappy 1, bHappy 2, bHappy 3… bHappy n) I(Happy 2) = (bHappy 1, bHappy 2, bHappy 3… bHappy n) 25 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com : I(Happy m) = (bHappy m 1, bHappy m 2, bHappy m 3… bHappy m n) Cảm xúc buồn I(Sad 1) = (bSad 1, bSad 2, bSad 3… bSad n) I(Sad 2) = (bSad 1, bSad 2, bSad 3… bSad n) : I(Sad m) = (bSad m 1, bSad m 2, bSad m 3… bSad m n) Với hình ảnh cần nhận dạng cảm xúc, sử dụng PCA ta tập giá trị riêng I(Nhan_dang) = (bNhan_dang 1, bNhan_dang 2, bNhan_dang 3… bNhan_dang n) 3.1.2 Quá trình nhận dạng Lần lượt tính khoảng cách Euclid từ ảnh cần nhận dạng đến ảnh tập huấn luyện S(Happy 1) = (SHappy 1,1 - bNhan_dang 1)2+(SHappy 1,2 - bNhan_dang 2)2+ +(SHappy 1,n - bNhan_dang n)2 S(Happy 2) = (SHappy 2,1 - bNhan_dang 2)2+(SHappy 2,2 - bNhan_dang 2)2+ +(SHappy 2,n - bNhan_dang n)2 : S(Happy m) = (SHappy m,1 - bNhan_dang 1)2+(SHappy m,2 - bNhan_dang 2)2+ +(SHappy m,n - bNhan_dang n)2 Khi cảm xúc ảnh cần nhận dạng xác định cảm xúc ảnh tập huấn luyện mà khoảng cách Euclid từ ảnh đến ảnh cần nhận dạng bé 26 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.2 Nhận dạng cảm xúc dựa PCA kết hợp thuật tốn học 3.2.1 Mạng nơron Mơ hình: Hình 9: Mơ hình mạng nơron Hình vẽ cho ta mơ hình mạng nơ ron sử dụng khóa luận Đây mạng MLP (MultiLayer Perceptron) bao gồm lớp Lớp đầu vào gồm 30 nút 30 giá trị riêng ảnh sau dùng PCA để trích chọn đặc trưng Lớp ẩn lớp đầu gồm nút cảm xúc Trong mơ hình mạng neural MPL này, sử dụng thuật toán lan truyền ngược (Backprobagation) để tiến hành học mạng, phương pháp giảm lỗi sử dụng phương pháp giảm gradient với hàm truyền hay hàm kích hoạt hàm sigmoid Tồn thuật tốn lý thuyết vấn đề đề cập đến chương I đồ án 3.2.2 Cây định Trong lĩnh vực học máy, định kiểu mơ hình dự báo (predictive model), nghĩa ánh xạ từ quan sát vật/hiện tượng tới kết luận giá trị mục tiêu vật/hiện tượng Mỗi nút (internal node) tương ứng với biến; đường nối với nút thể giá trị cụ thể cho biến Mỗi nút đại diện cho giá trị dự đoán biến mục tiêu, cho trước giá trị biến biểu diễn đường từ nút gốc tới nút Kỹ thuật học máy dùng định gọi học định, hay gọi với tên ngắn gọn định 27 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Học định phương pháp thông dụng khai phá liệu Khi đó, định mơ tả cấu trúc cây, đó, đại diện cho phân loại cành đại diện cho kết hợp thuộc tính dẫn tới phân loại Một định học cách chia tập hợp nguồn thành tập dựa theo kiểm tra giá trị thuộc tính Q trình lặp lại cách đệ qui cho tập dẫn xuất Q trình đệ qui hồn thành khơng thể tiếp tục thực việc chia tách nữa, hay phân loại đơn áp dụng cho phần tử tập dẫn xuất Một phân loại rừng ngẫu nhiên (random forest) sử dụng số định để cải thiện tỉ lệ phân loại Cây định phương tiện có tính mơ tả dành cho việc tính tốn xác suất có điều kiện Cây định mơ tả kết hợp kỹ thuật tốn học tính tốn nhằm hỗ trợ việc mô tả, phân loại tổng quát hóa tập liệu cho trước Dữ liệu cho dạng ghi có dạng: (x, y) = (x1, x2, x3 , xk, y) Biến phụ thuộc (dependant variable) y biến mà cần tìm hiểu, phân loại hay tổng quát hóa x1, x2, x3 biến giúp ta thực công việc Hình 10: Cây định 28 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương THỰC NGHIỆM 4.1 Mơi trường thực nghiệm Chương trình chạy giải thuật PCA viết ngôn ngữ Matlab, chạy hệ điều hành Windows Professional, Laptop có tốc độ CPU 2.0 Ghz, nhớ ram 2Gb Matlab phần mềm tiếng công ty MathWorks, ngơn ngữ hiệu cao cho tính tốn kỹ thuật Nó tích hợp tính tốn, hiển thị lập trình môi trường dễ sử dụng Một số ứng dụng tiêu biểu Matlab như: Hỗ trợ toán học tính tốn, mơ phỏng, phân tích, khảo sát hiển thị số liệu, phát triển ứng dụng với giao diện đồ họa Matlab viết Fortran để cung cấp truy nhập dễ dàng tới phần mềm ma trận phát triển dự án Linpack Eispack Sau viết ngơn ngữ C sở thư viện nêu phát triển thêm nhiều lĩnh vực tính tốn khoa học ứng dụng kỹ thuật Ngoài tính bản, phần mềm MATLAB cịn trang bị thêm ToolBox – gói chương trình (thư viện) cho lĩnh vực ứng dụng đa dạng xử lý tín hiệu, nhận dạng hệ thống, xử lý ảnh, mạng nơ ron, logic mờ, tài chính, tối ưu hóa, phương trình đạo hàm riêng, tin sinh học Mạng MultiLayer Perceptron cung cấp phần mềm Weka 4.2 Dữ liệu đầu vào Gồm có 75 ảnh khn mặt mẫu, độ phân giải 600 x 800 điểm ảnh, tất ảnh khuôn mặt người có độ sáng đồng Cảm xúc thể ảnh rõ ràng Tập liệu có cảm xúc là: Vui, buồn, ghê tởm, giận bình thường 4.3 Khảo sát đánh giá Trong 75 ảnh khuôn mặt mẫu, 40 ảnh chọn làm liệu huấn luyện 35 ảnh lại làm liệu test 29 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4.3.1 Phương pháp PCA truyền thống Với phương pháp này, kết nhận dạng sau:  Vui: 80%  Ghê tởm: 70%  Giận dữ: 86%  Buồn: 55%  Bình thường: 84%  Trung bình: 65% Dựa vào kết quả, ta thấy khả nhận dạng phương pháp không cao Tuy hiên kết với liệu huấn luyện bé Nếu tập liệu huấn luyện lớn chắn khả nhận dạng tăng Đây phương pháp đơn giản dễ hiểu để nhận dạng cảm xúc khuôn mặt nhiên nhược điểm lớn tốc độ xử lý chậm Khi tập huấn luyện lớn, bao gồm hàng nghìn ảnh, với ảnh cần nhận dạng, ta phải so khớp với ảnh tập huấn luyện Vì tốc độ chậm nên phương pháp thường không ứng dụng nhiều thực tế Bên cạnh phương pháp gặp khó khăn ảnh cần nhận dạng khơng có độ sáng tốt, khn mặt khơng diện 4.3.2 Phương pháp sử dụng mạng nơron Với phương pháp huấn luyện mạng nơron, sử dụng giải thuật Multilayer Perceptron cung cấp công cụ Weka với đặc trưng trích chọn PCA, kết nhận dạng sau:  Vui: 100 %  Ghê tởm: 100%  Giận dữ: 67%  Buồn: 50%  Bình thường: 80%  Kết trung bình: 87% 30 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khi thay đổi số tầng ẩn lên lớn bé 5, kết trung bình giảm xuống 83,3% Như khả phân loại mạng nơron không tăng số lượng tầng ẩn tăng 4.3.3 Phương pháp sử dụng định sử dụng giải thuật định J48-Decision Tree cung cấp Weka Kết nhận dạng  Vui: 60 %  Ghê tởm: 14,3%  Giận dữ: 16,7%  Buồn: 0%  Bình thường: 60%  Kết trung bình: 36,7% Trong giải thuật định J48 cung cấp Weka có tham số quan trọng  confidenceFactor: Nhân tố sử dụng cho việc cắt tỉa (Nếu giá trị nhỏ sinh cắt nhiều)  minNumObj: Số thể tối thiểu nút  unPruned: True sinh cắt tỉa ngược lại Sau điều chỉnh tham số, kết tốt thu được:  confidenceFactor: 0.25  minNumObj:  unPruned: False Giải thuật định J48 cho kết nhận dạng thấp, nguyên nhân tập ảnh huấn luyện (45 ảnh) 31 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4.4 Tổng kết Chương mô tả thực nghiệm kết phương pháp nhận dạng cảm xúc Phương pháp thứ dùng PCA tính khoảng cách Euclid, phương pháp khả nhận dạng trung bình, tốc độ chậm Phương pháp thứ sử dụng mạng nơron (MLP) Phương pháp có khả nhận dạng tốt, tốc độ nhanh Phương pháp thứ phương pháp dùng định để phân lớp Phương pháp đạt kết thấp nhiên tập ảnh huấn luyện (40 ảnh) nên chưa đánh giá hết khả nhận dạng phương pháp Trong phương pháp cảm xúc vui ln đạt kết cao có số lượng ảnh huấn luyện nhiều Cảm xúc buồn có số lượng ảnh huấn luyện nên đạt kết thấp Những cảm xúc lại đạt kết tương đối Cây định giải thuật phân lớp đạt hiệu cao số lượng lớp Với số lượng lớn tính hiệu giải thuật giảm Trong khóa luận thời gian chuẩn bị ngắn nên khơng sâu vào phân tích giải thuật mà dùng để xem phương pháp tham khảo thêm 32 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương KẾT LUẬN Qua thời gian nghiên cứu phương pháp nhận dạng cảm xúc khuôn mặt, đặc biệt qua q trình thực khóa luận tốt nghiệp, em tìm hiểu số thuật toán học áp dụng thuật toán cho toán phân lớp để nhận dạng cảm xúc Những kết mà khóa luận đạt được tổng kết sau:  Giới thiệu chi tiết phương pháp trích chọn đặc trưng (PCA) Mạng nơron nhiều tầng truyền thằng (Multilayer Perceptron), đồng thời giới thiệu sơ lược giải thuật phân lớp khác định  Áp dụng giải thuật cho toán nhận dạng cảm xúc  Nhận xét đánh giá kết đạt giải thuật toán nhận dạng cảm xúc Bên cạnh kết đạt được, cịn có vấn đề mà thời điểm khóa luận chưa giải  Xây dựng tập huấn luyện lớn để đạt kết xác  Nghiên cứu số giải thuật trích chọn đặc trưng phân lớp liệu khác  Xây dựng chương trình hồn chỉnh có giao diện tương tác với người sử dụng 33 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com PHỤ LỤC - MỘT SỐ THUẬT NGỮ ANH – VIỆT Thuật ngữ Back propagation algorithm Cross validation Giải nghĩa Thuật toán lan truyền ngược sai số Một cách chọn mẫu tập train tập test để tránh tượng overfitting Feed forward Lan truyền xuôi Input/hidden/output layer Lớp đầu vào/ẩn/ đầu Mean squared error Sai số bình phương trung bình MLP (MultiLayer Perceptrons) Mạng neuron nhiều tầng truyền thẳng Transformation/activation function Hàm truyền/hàm kích hoạt Unsupervised learning Học khơng có giám sát Validation set Tập mẫu xác nhận mạng 34 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÀI LIỆU THAM KHẢO G.Zhao, M.Pietikäinen Dynamic texture recognition using local binary patterns with an application to facial expressions IEEE Transactions on Pattern Analysis and Machine Intelligence 2007 Y.L.Tian, T.Kanade, J.Cohn Recognizing action units for facial expression analysis IEEE Transactions on Pattern Analysis and Machine Intelligence 2001 Z.Wen, T Huang Capturing Subtle Facial Motions in 3D Face Tracking International Conference on Computer Vision 2003 Y.Zhang, Q.Ji Active and dynamic information fusion for facial expression understanding from image sequence IEEE Transactions on Pattern Analysis and Machine Intelligence 2005 M.S.Bartlett, J.C.Hager, P.Ekman, T.J.Sejnowski Measuring facial expressions by computer image analysis Psychophysiology 1999 Z.Zhang, M.Lyons, M.Schuster, S.Akamatsu Comparison Between GeometryBased and Gabor-Wavelets-Based Facial Expression Recognition Using MultiLayer Perceptron IEEE International Conference on Automatic Face and Gesture Recognition 1998 M.Pantic, I.Patras Dynamics of facial expression: Recognition of facial actions and their temporal segments from face profile image sequences IEEE Transactions on Systems, Man and Cybernetics 2006 E.Holden, R.Owens Automatic Facial Point Detection, Asian Conference on Computer Vision 2002 D.Vukadinovic, M.Pantic Fully Automatic Facial Feature Point Detection Using Gabor Feature Based Boosted Classifiers IEEE International Conference on Systems, Man and Cybernetics 2005 10 L.Chen, L.Zhang, H.Zhang, M.Abdel-Mottaleb 3D Shape Constraint for Facial Feature Localization using Probabilistic-like Output IEEE International Workshop Analysis and Modeling of Faces and Gestures 2004 35 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... dụng nhận dạng cảm xúc thời gian thực 1.3.4 Mơ hình tổng quan Ảnh đầu vào Phát khn mặt Ảnh ứng viên khuôn mặt Tiền xử lý ảnh Ảnh tiền xử lý Nhận dạng cảm xúc Cảm xúc Hình 1: Mơ hình nhận dạng cảm. .. luanvanchat@agmail.com Chương CÁC PHƯƠNG PHÁP NHẬN DẠNG CẢM XÚC KHN MẶT Trong khn khổ luận văn phương pháp nhận dạng cảm xúc thực ảnh khuôn mặt mẫu 2D 3.1 Nhận dạng cảm xúc dựa PCA truyền thống 3.1.1... người đọc hiểu cách áp dụng vào toán nhận dạng cảm xúc lớp tốn nhận dạng nói chung Chương 3: Các phương pháp nhận dạng cảm xúc Chương vào giới thiệu số phương pháp nhận dạng cảm xúc sử dụng lý