Nghiên cứu nhận dạng biểu cảm mặt người trong tương tác người máy

BỘ GIAO THÔNG VẬN TẢI BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC HÀNG HẢI VIỆT NAM NGUYỄN THỊ THANH VÂN NGHIÊN CỨU NHẬN DẠNG BIỂU CẢM MẶT NGƯỜI TRONG TƯƠNG TÁC NGƯỜI MÁY LUẬN VĂN THẠC SĨ NGÀNH KỸ THUẬT HẢI PHÒNG - 2016 BỘ GIAO THÔNG VẬN TẢI BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC HÀNG HẢI VIỆT NAM NGUYỄN THỊ THANH VÂN NGHIÊN CỨU NHẬN DẠNG BIỂU CẢM MẶT NGƯỜI TRONG TƯƠNG TÁC NGƯỜI MÁY LUẬN VĂN THẠC SĨ NGÀNH KỸ THUẬT NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: 60480201 CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: TS Hồ Thị Hương Thơm HẢI PHÒNG - 2016 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng Các số liệu, kết nêu Luận văn trung thực chưa công bố công trình khác Tôi xin cam đoan thông tin trích dẫn Luận văn rõ nguồn gốc Học viên Nguyễn Thị Thanh Vân i LỜI CẢM ƠN Tôi xin chân thành gửi lời cảm ơn sâu sắc đến thầy cô khoa Công nghệ thông tin – Trường Đại học Hàng Hải giảng dạy hướng dẫn trình học tập trường Đặc biệt TS Hồ Thị Hương Thơm tận tình hướng dẫn giúp đỡ suốt trình thực đề tài: “NGHIÊN CỨU NHẬN DẠNG BIỂU CẢM MẶT NGƯỜI TRONG TƯƠNG TÁC NGƯỜI MÁY” Tôi xin chân thành cảm ơn thầy cô Viện đào tạo sau Đại Học- Đại học Hàng Hải, tạo điều kiện tốt cho học tập nghiên cứu trường Cuối cùng, muốn gửi lời cảm ơn vô hạn tới gia đình, bạn bè người thân yêu bên cạnh, động viên suốt trình thực luận văn tốt nghiệp Xin chân thành cảm ơn! Học viên Nguyễn Thị Thanh Vân ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU vi DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH viii LỜI MỞ ĐẦU CHƯƠNG ĐẶC TRƯNG CỦA MẶT NGƯỜI VÀ BIỂU CẢM KHUÔN MẶT 1.1 Đặc trưng mặt người 1.1.1 Lời giới thiệu 1.1.2 Phương pháp tiếp cận đặc trưng khuôn mặt 1.2 Biểu cảm khuôn mặt 1.2.1 Các loại cảm xúc 1.2.2 Nhận dạng cảm xúc nét mặt 1.3 Một số phương pháp phát biểu cảm khuôn mặt 1.3.1 Một số phương pháp dựa đặc trưng mặt 1.3.2 Phương pháp sử dụng Action Units 1.3.3 Phương pháp dùng mô hình AAM kết hợp tương quan điểm 10 1.3.4 Mô hình tổng quan 11 1.3.5 Thách thức vấn đề nhận dạng cảm xúc khuôn mặt 11 1.3.6 Một số vấn đề khác 11 CHƯƠNG MỘT SỐ PHƯƠNG PHÁP PHÁT HIỆN BIỂU CẢM KHUÔN MẶT 14 2.1 Cơ sở lý thuyết 14 2.1.1 Giới thiệu mạng Nơron 14 2.1.1.1 Mạng Perceptron nhiều tầng (MPL – Multi Perceptron Layer) 15 iii 2.1.1.2 Ánh xạ lan truyền tiến 15 2.1.1.3 Hàm sigmoid 18 2.1.1.4 Thuật toán lan truyền ngược 19 2.1.2 Giới thiệu PCA 25 2.1.2.1 Một số khái niệm toán học: 25 2.1.2.2 Ma trận đại số 29 2.1.2.3 Eigenvector (Vectơ riêng) 29 2.1.2.4 Eigenvalue (Giá trị riêng) 30 2.1.2.5 Phân tích thành phần PCA 30 2.1.3 Giới thiệu Eigenface 31 2.1.3.1 Tính Eigenface 32 2.1.3.2 Sử dụng khuôn mặt đặc trưng để phân loại hình ảnh khuôn mặt 35 2.1.3.3 Tóm tắt phương pháp nhận dạng đặc trưng khuôn mặt 39 2.1.3.4 Tìm phát khuôn mặt 40 2.1.3.5 Các vấn đề khác 44 2.2 Phương pháp phát biểu cảm khuôn mặt 46 2.2.1 Nhận dạng cảm xúc dựa phương pháp PCA 47 2.2.2 Nhận dạng cảm xúc dựa PCA kết hợp thuật toán học 49 CHƯƠNG 3: CÀI ĐẶT VÀ THỬ NGHIỆM 52 3.1 Môi trường cài đặt 52 3.2 Giao diện chương trình 52 3.2.1 Tạo tập ảnh sở 53 3.2.2 Nhận dạng biểu cảm 54 3.2.3 Ứng dụng để chụp ảnh 56 3.3 Thử nghiệm đánh giá 56 3.3.1 Thử nghiệm 56 3.3.2 Đánh giá 57 3.3.2.1 Phương pháp PCA truyền thống 57 3.3.2.2 Phương pháp sử dụng mạng nơron 58 3.3.2.3 Phương pháp sử dụng định 58 3.3.2.4 Tổng kết 59 iv KẾT LUẬN 60 TÀI LIỆU THAM KHẢO 61 v DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU Giải thích Chữ viết tắt PCA Viết tắt thuật ngữ “Principal Component Analysis” Input/hidden/output layer Lớp đầu vào/ẩn/ đầu MLP “MultiLayer Perceptrons”: Mạng nơron nhiều tầng truyền thẳng MIT Massachusetts Institute of Technology AU Action Units JAFFE Japanese Female Facial Expression AAM Active Appearance Model MPL Multi Perceptron Layer Perceptron Hàm Sigmoid Bộ phân loại tuyến tính cho phân loại liệu Là trường hợp đặc biệt hàm lôgit EigenFace Đặc trưng khuôn mặt EigenValue Trị riêng EigenVector Vector riêng Gradient descent tiến dần tới cực tiểu địa phương Happy Hạnh phúc Disgust Ghê tởm Sad Buồn Anger Giận Neutral Trung lập vi DANH MỤC CÁC BẢNG Tên bảng Số bảng Trang 2.1 Tập liệu 26 2.2 Tập liệu 27 vii DANH MỤC CÁC HÌNH Số hình Tên hình Trang 1.1 Tập khuôn mặt biểu cảm đặc trưng 1.2 Các đặc trưng AU 1.3 Các điểm đánh dấu khuôn mặt 10 1.4 Mô hình nhận dạng cảm xúc 11 1.5 Biểu cảm khuôn mặt không gian 3D 12 1.6 Cảm xúc video 13 2.1 Mô hình mạng lan truyền tiến 16 2.2 Đồ thị hàm truyền sigmoid 19 2.3 Lan truyền ngược 21 2.4 Minh họa việc tính δj cho việc tính nút ẩn j 24 2.5 Ví dụ non-eigenvector eigenvector 29 2.6 Ví dụ eigenvector có tỉ lệ khác eigenvector 29 2.7 Các hình ảnh khuôn mặt sử dụng làm tập huấn luyện 32 2.8 Khuôn mặt trung bình 34 Bảy số khuôn mặt đặc trưng tính từ 2.9 hình ảnh đầu vào hình 2.7 35 Hình ảnh khuôn mặt ban đầu hình chiếu lên 2.10 không gian mặt xác định eigenfaces hình 36 2.9 Ba ảnh hình chiếu vào không gian mặt, 2.11 xác định eigenface 38 2.12 Dò tìm vị trí đầu hệ thống định vị 41 2.13 (a) Ảnh ban đầu (b) Bản đồ mặt tương ứng 42 viii cảm xúc khác xuất cụm riêng biệt, đầu mối quan trọng chiết xuất từ vị trí không gian tính Hình 2.13 Hai thành phần Đầu tiên vector vùng mắt thấp 2.2.1 Nhận dạng cảm xúc dựa phương pháp PCA Trích chọn đặc trưng: Xây dựng tập vectơ đặc trưng (S1, S2,…Sk) cho hình huấn luyện sử dụng phép phân tích PCA Hình 2.14 Ví dụ trích chọn đặc trưng PCA Ứng với vectơ đặc trưng riêng có giá trị riêng Như hình huấn luyện đại diện tập giá trị riêng 47 I = (b1, b2, b3… bn) Hình 2.15 Hình ảnh đại diện tập giá trị riêng Mỗi cảm xúc bao gồm tập ảnh huấn luyện Ví dụ cảm xúc vui I(Happy 1) = (bHappy 1, bHappy 2, bHappy 3… bHappy n) I(Happy 2) = (bHappy 1, bHappy 2, bHappy 3… bHappy n) : I(Happy m) = (bHappy m 1, bHappy m 2, bHappy m 3… bHappy m n) Cảm xúc buồn I(Sad 1) = (bSad 1, bSad 2, bSad 3… bSad n) I(Sad 2) = (bSad 1, bSad 2, bSad 3… bSad n) : I(Sad m) = (bSad m 1, bSad m 2, bSad m 3… bSad m n) Với hình ảnh cần nhận dạng cảm xúc, sử dụng PCA ta tập giá trị riêng I(Nhan_dang) = (bNhan_dang 1, bNhan_dang 2, bNhan_dang 3… bNhan_dang n) Quá trình nhận dạng: Lần lượt tính khoảng cách Euclid từ ảnh cần nhận dạng đến ảnh tập huấn luyện S(Happy 1) = (SHappy 1,1 - bNhan_dang 1)2+(SHappy 1,2 - bNhan_dang 2)2+ +(SHappy 1,n - bNhan_dang n)2 48 S(Happy 2) = (SHappy 2,1 - bNhan_dang 2)2+(SHappy 2,2 - bNhan_dang 2)2+ +(SHappy 2,n - bNhan_dang n)2 : S(Happy 2) m) = (SHappy m,1 - bNhan_dang 1)2+(SHappy m,2 - bNhan_dang + +(SHappy m,n - bNhan_dang n)2 Khi cảm xúc ảnh cần nhận dạng xác định cảm xúc ảnh tập huấn luyện mà khoảng cách Euclid từ ảnh đến ảnh cần nhận dạng bé 2.2.2 Nhận dạng cảm xúc dựa PCA kết hợp thuật toán học Mạng nơron: Mô hình: Hình 2.16 Mô hình mạng nơron Hình vẽ cho ta mô hình mạng nơron sử dụng luận văn Đây mạng MLP (MultiLayer Perceptron) bao gồm lớp Lớp đầu vào gồm 30 nút 30 giá trị riêng ảnh sau dùng PCA để trích chọn đặc trưng Lớp ẩn lớp đầu gồm nút cảm xúc Trong mô hình mạng neural MPL này, sử dụng thuật toán lan truyền ngược (Backprobagation) để tiến hành học mạng, phương pháp giảm lỗi sử dụng phương pháp giảm gradient với hàm truyền hay hàm kích hoạt hàm sigmoid 49 Cây quyết định: Trong lĩnh vực học máy, định kiểu mô hình dự báo (predictive model), nghĩa ánh xạ từ quan sát vật/hiện tượng tới kết luận giá trị mục tiêu vật/hiện tượng Mỗi nút (internal node) tương ứng với biến; đường nối với nút thể giá trị cụ thể cho biến Mỗi nút đại diện cho giá trị dự đoán biến mục tiêu, cho trước giá trị biến biểu diễn đường từ nút gốc tới nút Kỹ thuật học máy dùng định gọi học định, hay gọi với tên ngắn gọn định Học định phương pháp thông dụng khai phá liệu Khi đó, định mô tả cấu trúc cây, đó, đại diện cho phân loại cành đại diện cho kết hợp thuộc tính dẫn tới phân loại Một định học cách chia tập hợp nguồn thành tập dựa theo kiểm tra giá trị thuộc tính Quá trình lặp lại cách đệ qui cho tập dẫn xuất Quá trình đệ qui hoàn thành tiếp tục thực việc chia tách nữa, hay phân loại đơn áp dụng cho phần tử tập dẫn xuất Một phân loại rừng ngẫu nhiên (random forest) sử dụng số định để cải thiện tỉ lệ phân loại Cây định phương tiện có tính mô tả dành cho việc tính toán xác suất có điều kiện Cây định mô tả kết hợp kỹ thuật toán học tính toán nhằm hỗ trợ việc mô tả, phân loại tổng quát hóa tập liệu cho trước Dữ liệu cho dạng ghi có dạng: (x, y) = (x1, x2, x3 , xk, y) 50 Biến phụ thuộc (dependant variable) y biến mà cần tìm hiểu, phân loại hay tổng quát hóa x1, x2, x3 biến giúp ta thực công việc Hình 2.17 Cây định 51 CHƯƠNG 3: CÀI ĐẶT VÀ THỬ NGHIỆM Dựa sở lý thuyết tìm hiểu từ chương trước, học viên sử dụng phần mềm MATLAB R2008B để cài đặt thử nghiệm chương trình Sau đưa số đánh giá nhận xét kết tìm 3.1 Môi trường cài đặt Chương trình nhận dạng biểu cảm khuôn mặt cài đặt thử nghiệm dựa phần mềm MATLAB R2008b Yêu cầu phần cứng: o Webcam 320x240 (24 bit) o CPU: Intel Core Duo P8400 2.27Ghz, 2GB RAM trở lên 3.2 Giao diện chương trình Dữ liệu đầu vào gồm có 50 ảnh khuôn mặt mẫu, độ phân giải 484 x 326 điểm ảnh Tất ảnh khuôn mặt người có độ sáng đồng Cảm xúc thể ảnh rõ ràng Tập liệu có cảm xúc là: hạnh phúc, ghê tởm, giận dữ, buồn trung lập Trong có 10 ảnh chọn làm liệu test Dưới số hình ảnh demo chương trình với giao diện: 52 Hình 3.1 Giao diện chương trình Các chức tương tác gồm có: Tạo tập ảnh sở, Nhận dạng biểu cảm, Ứng dụng, Thoát 3.2.1 Tạo tập ảnh sở Để tạo tập huấn luyện ảnh, vào menu “Tạo tập ảnh sở” , bật webcam thực lưu ảnh hướng dẫn vào thư mục Train Trong thử nghiệm này, học viên lưu 50 ảnh mẫu tương ứng với loại cảm xúc khác nhau: hạnh phúc, ghê tởm, giận dữ, buồn trung lập 53 Hình 3.2 Tạo tập huấn luyện ảnh ban đầu 3.2.2 Nhận dạng biểu cảm Sau tạo xong tập ảnh sở, trình nhận dạng biểu cảm mặt người thực với ba bước Bước chọn thư mục học thư mục huấn luyện “Train” vừa tạo menu “Tạo tập ảnh sở” Sau chọn thư mục chứa ảnh cần nhận dạng thư mục “Test” , chọn ngẫu nhiên ảnh tạo ảnh khác Cuối chọn tệp gán nhãn “LabelFile.txt” thực trình nhận dạng 54 Hình 3.3 Nhận dạng hiển thị kết 55 3.2.3 Ứng dụng để chụp ảnh Hình 3.4 Ứng dụng nhận dạng biểu cảm 3.3 Thử nghiệm đánh giá 3.3.1 Thử nghiệm Chương trình làm việc với 50 mẫu ảnh khuôn mặt người lưu sở liệu, kích thước 484 x 326, ảnh chụp với cường độ ánh sáng vừa phải, lưu dạng JPG theo thứ tự từ đến 50 Cảm xúc thể ảnh rõ ràng 56 Hình 3.5 Tập huấn luyện ảnh khuôn mặt 3.3.2 Đánh giá 3.3.2.1 Phương pháp PCA truyền thống Với phương pháp này, kết nhận dạng sau: o Hạnh phúc: 80% o Ghê tởm: 70% o Giận dữ: 86% o Buồn: 55% o Trung lập: 84% o Kết trung bình: 65% Dựa vào kết quả, học viên nhận thấy khả nhận dạng phương pháp không cao Tuy nhiên kết với tập liệu huấn luyện nhỏ Nếu tập liệu huấn luyện lớn chắn khả nhận dạng tăng Đây phương pháp đơn giản dễ hiểu để nhận dạng cảm xúc khuôn mặt, nhiên nhược điểm lớn tốc độ xử lý chậm Khi tập huấn luyện lớn, gồm hàng ngàn ảnh, với ảnh cần nhận dạng phải so khớp với ảnh tập huấn luyện Vì tốc độ chậm nên phương pháp thường không ứng dụng nhiều thực tế Bên cạnh phương pháp gặp khó 57 khăn ảnh cần nhận dạng độ sáng tốt, khuôn mặt biểu cảm không diện 3.3.2.2 Phương pháp sử dụng mạng nơron Với phương pháp huấn luyện mạng nơron, kết nhận dạng sau: o Hạnh phúc: 100 % o Ghê tởm: 100% o Giận dữ: 67% o Buồn: 50% o Trung lập: 80% o Kết trung bình: 87% Khi thay đổi số tầng ẩn lên lớn bé 5, kết trung bình giảm xuống 83,3% Như khả phân loại mạng nơron không tăng số lượng tầng ẩn tăng 3.3.2.3 Phương pháp sử dụng định Kết nhận dạng sau: o Vui: 60 % o Ghê tởm: 14,3% o Giận dữ: 16,7% o Buồn: 0% o Trung lập: 60% o Kết trung bình: 36,7% Phương pháp cho kết nhận dạng thấp, nguyên nhân tập ảnh huấn luyện (50 ảnh) 58 3.3.2.4 Tổng kết Chương trình học viên thực tốc độ nhận dạng chưa nhanh, tập thử nghiệm có ảnh cần nhận dạng độ xác kết nhận dạng chưa cao 59 KẾT LUẬN Qua nghiên cứu phương pháp nhận dạng cảm xúc khuôn mặt, đặc biệt qua trình thực luận văn này, học viên tìm hiểu số thuật toán áp dụng thuật toán vào toán phân lớp để nhận dạng cảm xúc Những kết mà luận văn đạt được tổng kết sau: o Giới thiệu chi tiết phương pháp trích chọn đặc trưng (PCA) Mạng nơron nhiều tầng truyền thẳng (Multilayer Perceptron), giới thiệu sơ lược giải thuật phân lớp định o Áp dụng giải thuật cho toán nhận dạng cảm xúc khuôn mặt o Nhận xét đánh giá kết đạt giải thuật toán nhận dạng cảm xúc Bên cạnh kết đạt được, có vấn đề mà thời điểm luận văn chưa giải được: o Xây dựng tập huấn luyện lớn để đạt kết xác o Nghiên cứu số giải thuật trích chọn đặc trưng phân lớp liệu khác o Xây dựng chương trình hoàn chỉnh có giao diện tương tác với người sử dụng 60 TÀI LIỆU THAM KHẢO [1] Lương Bá Mạnh Tương tác người máy Trường Đại học Bách Khoa Hà Nội [2] Nguyễn Thị Bạch Kim Giáo trình các phương pháp tối ưu, lý thuyết và thuật toán NXB Bách Khoa Hà Nội [3] M Turk, A Pentland Eigenfaces for Recognition Journal of Cognitive Neuroscience Vol 3, No 71-86, 1991 61 ... tài: “NGHIÊN CỨU NHẬN DẠNG BIỂU CẢM MẶT NGƯỜI TRONG TƯƠNG TÁC NGƯỜI MÁY” Tôi xin chân thành cảm ơn thầy cô Viện đào tạo sau Đại Học- Đại học Hàng Hải, tạo điều kiện tốt cho học tập nghiên cứu trường... nghiên cứu số phương pháp nhận dạng cảm xúc khuôn mặt dựa ảnh tĩnh trực diện Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu đề tài: Nghiên cứu số kỹ thuật nhận dạng biểu cảm khuôn mặt như:... 1.4 Mô hình nhận dạng cảm xúc 1.3.5 Thách thức vấn đề nhận dạng cảm xúc khuôn mặt Xác định cảm xúc khuôn mặt toán khó người cảm xúc bản, nhiều cảm xúc đa dạng khác Hơn nữa, nhận dạng cảm xúc dựa