Nghiên cứu thử nghiệm phương pháp nhận dạng biểu cảm khuôn mặt sử dụng xấp xỉ đa thức

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LÊ THÁI LINH NGHIÊN CỨU, THỬ NGHIỆM PHƢƠNG PHÁP NHẬN DẠNG BIỂU CẢM KHUÔN MẶT SỬ DỤNG XẤP XỈ ĐA THỨC Chuyên ngành: Công Nghệ Thông Tin LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS Nguyễn Linh Giang HÀ NỘI - 2016 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Lê Thái Linh Đề tài luận văn: Nghiên cứu, thử nghiệm phương pháp nhận dạng biểu cảm sử dụng xấp xỉ đa thức Chuyên ngành: Công nghệ thông tin Mã số SV: CB130425 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 23/04/2016 với nội dung sau:  Trình bày lại mơi trường cơng cụ thử nghiệm  Trình bày lại kịch nhận dạng biểu cảm Ngày 23 tháng 04 năm 2016 Giáo viên hƣớng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG LỜI CAM ĐOAN Tác giả luận văn xin cam đoan cơng trình nghiên cứu riêng tác giả luận văn đúc kết từ trình nghiên cứu từ việc tập hợp nguồn tài liệu, kiến thức học đến việc tự thu thập thông tin liên quan liên hệ thực tế đơn vị công tác Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Tác giả luận văn xin cam đoan giúp đỡ cho việc thực Luận văn cảm ơn thông tin trích dẫn Luận văn rõ nguồn gốc Tác giả luận văn xin chịu trách nhiệm v nghiên cứu Học viên thực luận văn Lê Thái Linh LỜI CẢM ƠN Trước tiên, tác giả luận văn xin gửi lời cảm ơn đến tất quý thầy cô giảng dạy chương trình đào tạo thạc s , Viện Cơng Nghệ Thơng Tin Truy n Thông, ại học ách Khoa Hà Nội, người truy n đạt cho tác giả kiến thức hữu ích v đánh giá hiệu hệ thống làm sở cho tác giả thực tốt luận văn Với lịng kính trọng biết ơn, tác giả luận văn xin bày tỏ lời cảm ơn tới PGS.TS Nguyễn Linh Giang khuyến khích, tận tình hướng dẫn thời gian thực luận văn Mặc dù trình thực luận văn có giai đoạn khơng thuận lợi thầy hướng dẫn, bảo cho tác giả luận văn nhi u kinh nghiệm thời gian thực đ tài Sau tác giả luận văn xin gửi lời biết ơn sâu sắc đến gia đình tạo u kiện tốt cho tác giả luận văn suốt trình học thực luận văn Do thời gian có hạn kinh nghiệm nghiên cứu khoa học chưa nhi u nên luận văn nhi u thiếu, mong nhận ý kiến góp ý Thầy/Cơ bạn học viên Học viên thực luận văn Lê Thái Linh DANH MỤC CÁC CHỮ VIẾT TẮT Chữ viết tắt Diễn giải nội dung ANN Artificial Neural Network MLP Mạng nhi u tầng truy n thẳng MLP DANH MỤC CÁC BẢNG Bảng 2-1: Một số hàm truy n thông dụng 23 Bảng 3-1 Bảng thống kê kết thực nghiệm ảnh tĩnh, đối tượng người Châu Á .53 Bảng 3-2 Bảng thống kê kết thực nghiệm ảnh động 54 DANH MỤC HÌNH VẼ Hình 1-1: Thành phần kiến trúc hệ thống nhận dạng 11 Hình 2-1 ặc trưng Haar-like 16 Hình 2-2 Cách tính Integral Image 17 Hình 2-3 Mơ hình phân tần kết hợp phân loại yếu để xác định khuôn mặt 18 Hình 2-4 Kết hợp phân loại yếu thành phân loại mạnh 19 Hình 2-5 Ví dụ v tỉ lệ khn mặt 19 Hình 2-6 Ví dụ v đường cong Bézier .20 Hình 2-7 Cấu trúc nơron sinh học điển hình 21 Hình 2-8 Nơron nhân tạo 22 Hình 2-9: Mạng tự kết hợp 25 Hình 2-10 Mạng kết hợp khác kiểu 25 Hình 2-11 Mạng truy n thẳng 26 Hình 2-12 Mạng phản hồi 26 Hình 2-13 Perceptron .27 Hình 2-14 Mạng MLP tổng quát 28 Hình 2-15 Lan truy n ngược 32 Hình 2-16 Minh họa việc tính δj cho việc tính nút ẩn j 35 Hình 3-1 Mơ hình thực nghiệm đ xuất 37 Hình 3-2 Khn mặt sau phân vùng 39 Hình 3-3 Khn mặt sau phân vùng 40 Hình 3-4 Dữ liệu ảnh huấn luyện – JAFFE Database 48 Hình 3-5 Dữ liệu ảnh huấn luyện – Cohn Kanade Database 49 Hình 3-6 Dữ liệu ảnh huấn luyện – FEI Database 49 Hình 3-7 Kiến trúc OpenCV 51 MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC HÌNH VẼ MỤC LỤC MỞ ĐẦU CHƢƠNG - TỔNG QUAN BÀI TOÁN NHẬN DẠNG BIỂU CẢM 10 1.1 Biểu cảm gƣơng mặt 10 1.2 Các thành phần hệ thống nhận dạng biểu cảm 11 1.3 Những khó khăn tốn nhận dạng biểu cảm 13 1.3 Các nghiên cứu liên quan 14 1.4 Định hƣớng giải pháp tác giả 15 CHƢƠNG - CƠ SỞ LÝ THUYẾT 16 2.1 Đặc trƣng “Haar-like” 16 2.2 Bộ phân loại Adaboost 17 2.3 Đặc trƣng hình học khuôn mặt 19 2.4 Đƣờng cong Bezier 19 2.5 Mạng nơ-ron 20 2.5.1 Định nghĩa mạng nơ-ron 20 2.5.2 Nơ-ron sinh học nơ-ron nhân tạo 21 2.5.3 Mơ hình mạng nơ-ron 24 2.5.4 Mạng nhiều tầng truyền thẳng MLP 27 2.5.5 Huấn luyện mạng nơ-ron 29 CHƢƠNG - THỰC NGHIÊM VÀ KẾT QUẢ 37 3.1 Kịch nhận dạng biểu cảm 38 3.2 Phát khuôn mặt vùng chứa mắt môi 38 3.3 Áp dụng thành phần liên thông vào toán 39 3.4 Tìm điểm kiểm sốt vùng mắt, mơi 45 3.5 Kiến trúc mạng nơ-ron ứng dụng vào toán 45 3.6 Dữ liệu huấn luyện 47 3.7 Các độ đo việc đánh giá 49 3.8 Môi trƣờng công cụ thực nghiệm 49 3.8.1 Môi trƣờng phát triển – Microsoft Visual Studio 50 3.8.2 Tổng quan OpenCV, EmguCV 51 3.8.3 Giới thiệu việc cài đặt số module cụ thể hệ thống 52 3.9 Kết thực nghiệm 53 3.9.1 Ảnh tĩnh 53 3.9.2 Ảnh từ camera máy tính 54 KẾT LUẬN 56 Kết đạt đƣợc luận văn 56 Các vấn đề tồn luận văn 56 Hƣớng phát triển luận văn 56 TÀI LIỆU THAM KHẢO 57 MỞ ĐẦU iểu cảm gương mặt đóng vai trị vơ quan trọng mối liên kết người với xã hội thông điệp khơng phải ngơn từ diễn tả trọn vẹn Chính vậy, tự động nhận dạng biểu cảm gương mặt đóng góp bước tiến quan trọng tương tác người máy; không khoa học nghiên cứu hành vi mà lĩnh vực chẩn đoán lâm sàng, bảo vệ sức khỏe người Tuy nhiên, việc xử lý khối lượng tính tốn lớn nhi u thiết bị khác ln tốn nan giải việc tối ưu hiệu Xuất phát từ thực tế người làm luận văn chọn đ tài "Nhận dạng biểu cảm gương mặt sử dụng xấp xỉ đa thức" cở sở lý thuyết v đường cong ezier mạng nơ-ron Thay tính tốn nhận dạng toàn gương mặt, đường cong ezier làm tăng hiệu tính tốn thơng qua việc trích chọn số lượng điểm gương mặt, sử dụng điểm làm đầu vào cho mạng nơ-ron Với mục tiêu đặt vậy, nội dung, kết nghiên cứu luận văn trình bày ba chương sau: - Chương Tổng quan toán nhận dạng biểu cảm - Chương Cơ sở lý thuyết - Chương Thực nghiệm kết - Kết luận 44 3.4 Tìm điểm kiểm sốt vùng mắt, mơi Hình 3.4-3 Cách tìm điểm kiểm soát “control-point” xác định đường cong sau:  iểm tận khóe mắt bên trái, điểm tận khóe mắt bên phải (P1,P4)  điểm cịn lại xác định nhờ đường thẳng tiếp tuyến với mắt từ P1 P4 sau: o Vẽ đường thẳng có chi u thẳng đứng từ P1 P4, dịch góc nghiêng đường thẳng từ vị trí thẳng đứng theo góc hướng v vùng chứa mắt iểm mà đường thẳng chạm vào chọn điểm kiểm soát 3.5 Kiến trúc mạng nơ-ron ứng dụng vào toán  Trong luận văn, tác giả xây dựng mạng nơ-ron gồm có tầng đầu vào, tầng ẩn tầng đầu  Mỗi nút tầng đầu vào gồm có: o điểm (x,y) kiểm sốt cho phần môi, 10 điểm (x,y) nội suy từ đường cong xấp xỉ Bezier 45        o điểm (x,y) kiểm soát cho phần mắt trái, 10 điểm (x,y) nội suy từ đường cong xấp xỉ Bezier o điểm (x,y) kiểm soát cho phần mắt phải, 10 điểm (x,y) nội suy từ đường cong xấp xỉ Bezier o ộ cao rộng môi o ộ cao rộng mắt trái o ộ cao rộng mắt phải Tầng đầu vào gồm 122 nút Tầng ẩn thứ gồm 50 nút Tầng ẩn thứ gồm 75 nút Tầng đầu gồm nút Tỉ lệ học 0.00001 Trọng số khởi tạo: 0.05 Số vòng lặp: 500 Ta sử dụng số kí hiệu sau mạng nơ-ron áp dụng toán:  j: nơron thứ j (hay nút thứ j)  Xj: vector đầu vào nút thứ j  Wj: vector trọng số nút thứ j  xji: đầu vào nút thứ j từ nút thứ i  wji: trọng số xji  bj: ngƣỡng nút thứ j  oj: đầu nút thứ j  tj: đầu mong muốn nút thứ j  Downstream(j): Tập tất nút nhận đầu nút thứ j làm giá trị đầu vào  η: tốc độ học  f: hàm truyền với f(x) = / (1 + e-x) Thuật tốn lan truy n ngược mơ tả đơn giản hóa sau: Input: - Mạng feed-forward với ni đầu vào, nh nút ẩn no đầu - Hệ số học η 46 - Tập liệu huấn luyện D = {là vector đầu vào, vector đầu mong muốn} Output: Các vector trọng số Thuật toán: Bƣớc 1: Khởi tạo trọng số giá trị ngẫu nhiên nhỏ Bƣớc 2: Lặp lại thỏa mãn u kiện kết thúc Với mẫu, thực bước sau: 2.1 Tính đầu oj cho nút j: oj = f(d – bj) với d = Σxjiwji 2.2 Với nút k thuộc tầng ra, tính δk theo cơng thức: δk = (tk – ok)(1 – ok)ok 2.3 Với nút h thuộc tầng ẩn, tính δh theo cơng thức: δh = oh(1 – oh) Σδkwkh 2.4 Cập nhật: wji = wji + Δwji Trong Δwji = ηδkxji 3.6 Dữ liệu huấn luyện Ảnh đưa vào hệ thống ảnh màu ể hệ thống đưa kết có độ xác cao nhất, ảnh đầu vào nên có đặc trưng sau đây:  Ảnh có phần n n rõ ràng (giống ảnh thẻ ảnh chứng minh thư)  Ảnh chụp trực diện khuôn mặt  Ảnh không qua chỉnh sửa nhi u hiệu ứng gây nhiễu ảnh Tập mẫu chọn bao gồm 800 ảnh (bao gồm ảnh màu ảnh không màu) từ nhi u nguồn liệu khác Cohn-Kanade, JAFFE (dữ liệu ảnh phụ nữ Nhật), FEI (dữ liệu ảnh người razil) Cơ sở liệu đưa vào thử nghiệm bao gồm 200 ảnh (bao gồm ảnh màu ảnh không màu), 50 ảnh cho loại cảm biểu cảm: “bình thường”, “vui vẻ”, “ngạc nhiên”và “buồn” 47  Kích thước ảnh đầu vào chuẩn hóa: 250x250 (pixel)  Kích thước khu vực ảnh vùng mắt: 80x40 (pixel)  Kích thước khu vực ảnh vùng mơi: 80x40 (pixel) Hình 3-4 Dữ liệu ảnh huấn luyện – JAFFE Database 48 Hình 3-5 Dữ liệu ảnh huấn luyện – Cohn Kanade Database Hình 3-6 Dữ liệu ảnh huấn luyện – FEI Database 3.7 Các độ đo việc đánh giá Các phép đo thống kê thường sử dụng để đánh giá hệ thống nhận dạng cảm xúc là: recall, precision f-measure Những phép đo hữu dụng việc đánh giá hiệu suất hệ thống nhận dạng biểu cảm ộ đo “recall” đo nghiên cứu mối quan hệ tỉ lệ phân loại sai loại biểu cảm, “precision” độ đo v mối quan hệ việc phân loại phân loại sai biểu cảm với loại biểu cảm khác Sau “f-measure” trung bình u hịa có trọng số “precision” “recall” Công thức cho phép đo định nghĩa sau: Trong “true positive” tập liệu biểu cảm đầu vào đánh giá theo lý thuyết A hệ thống phân loại đúng; “false positive” tập liệu biểu cảm đầu vào đánh giá theo lý thuyết A bị hệ thống phân loại sai thành A; “false negative” tập liệu đầu vào đánh giá theo lý thuyết A bị hệ thống phân loại sai thành loại biểu cảm khác 3.8 Môi trƣờng công cụ thực nghiệm 49 3.8.1 Môi trƣờng phát triển – Microsoft Visual Studio Microsoft Visual Studio mơi trường phát triển tích hợp (IDE) từ Microsoft Nó sử dụng để phát triển chương trình máy tính cho Microsoft Windows, trang web, ứng dụng web dịch vụ web Visual Studio sử dụng n n tảng phát triển phần m m Microsoft Windows API, Windows Forms, Windows Presentation Foundation, Windows Store Microsoft Silverlight Nó sản xuất hai ngôn ngữ máy mã số quản lý Visual Studio bao gồm trình soạn thảo “code” hỗ trợ IntelliSense cải tiến mã nguồn Trình gỡ lỗi tích hợp hoạt động v trình gỡ lỗi mức độ mã nguồn gỡ lỗi mức độ máy Cơng cụ tích hợp khác bao gồm mẫu thiết kế hình thức xây dựng giao diện ứng dụng, thiết kế web, thiết kế lớp thiết kế giản đồ sở liệu Nó chấp nhận plug-in nâng cao chức hầu hết cấp bao gồm thêm hỗ trợ cho hệ thống quản lý phiên (như Subversion) bổ sung thêm công cụ biên tập thiết kế trực quan cho mi n ngôn ngữ cụ thể cơng cụ dành cho khía cạnh khác quy trình phát triển phần m m Visual Studio hỗ trợ nhi u ngơn ngữ lập trình khác cho phép trình biên tập mã gỡ lỗi để hỗ trợ (mức độ khác nhau) ngơn ngữ lập trình Các ngơn ngữ tích hợp gồm có C, C++ C++/CLI (thơng qua Visual C++), VB.NET (thông qua Visual Basic.NET), C# (thông qua Visual C#) F# (như Visual Studio 2010) Hỗ trợ cho ngôn ngữ khác J++/J#, Python Ruby thơng qua dịch vụ cài đặt riêng rẽ Nó hỗ trợ XML/XSLT, HTML/XHTML, JavaScript CSS Microsoft cung cấp phiên "Express" (đối với phiên Visual Studio 2013 trở v trước) "Community" (đối với Visual Studio 2015) phiên miễn phí Visual Studio 50 3.8.2 Tổng quan OpenCV, EmguCV OpenCV thư viện mã nguồn mở lấy từ đường dẫn sau: http://SourceForge.net/projects/opencvlibrary Thư viện viết C/C++ chạy Linux, Windows Mac OS X Nó tích hợp ngơn ngữ Python, Ruby, Matlab ngôn ngữ khác OpenCV thiết kế cho hiệu tính tốn tập trung chủ yếu cho ứng dụng theo thời gian thực OpenCV viết C tối ưu hóa mang lại nhi u thuận lợi với việc đa xử lý Một mục đích openCV cung cấp sở hạ tầng đơn giản giúp cho người xây dựng ứng dụng phức tạp cách nhanh chóng Thư viện openCV chứa 500 hàm thuộc nhi u lĩnh vực thị giác sử dụng ứng dụng kiểm soát sản phẩm nhà máy, an ninh giao diện người dùng OpenCV chứa thư viện học máy MLL đầy đủ Thư viện tập trung vào tách nhóm nhận dạng mẫu MLL hữu dụng cho nhiệm vụ thị giác, lõi nhiệm vụ openCV, phần sử dụng cho vấn đ học máy OpenCV có cấu trúc bao gồm thành phần chính: Hình 3-7 Kiến trúc OpenCV Thành phần CV chưa phép xử lý ảnh thuật tốn v thị giác máy tính mức cao ML thư viện dành cho học máy, bao gồm nhi u cơng cụ cho 51 việc tách nhóm phân lớp thống kê HighGUI chứa hàm thủ tục vào I/O cho việc lưu trữ tải video ảnh CXCore bao gồm cấu trúc liệu ma trận, quản lý nhớ, phép xử lý kiểu liệu… Trong phiên khơng có thư viện CvAux thư viện chứa nhi u thuật toán giá trị số lĩnh vực, sử dụng thủ tục đối sánh mẫu, k thuật nhận dạng hiệu đối tượng riêng, chứa mơ hình Markov ẩn chi u, k thuật nhận dạng thống kê hiệu cho nhận dạng tiếng nói nhận dạng khn mặt Emgu CV cross platform Net wrapper thư viện xử lý ảnh OpenCV Cho phép chức OpenCV gọi từ ngơn ngữ tương thích C#, V , VC++, IronPython… EmguCV biên dịch Mono chạy Windows, Linux, Mac OS X, iPhone, iPad Android Trong hệ thống EmguCV sử dụng cho số nội dung sau:  Phát khuôn mặt  Phân vùng khn mặt (tìm phân vùng mắt phân vùng môi)  Xây dựng mạng nơ-ron lưu mạng nơ-ron hệ thống 3.8.3 Giới thiệu việc cài đặt số module cụ thể hệ thống Mo ul nh n ạng iểu c m Cấu trúc module nhận dạng biểu cảm bao gồm hàm sau:  Hàm bezier_position(Bitmap b): Hàm thực việc lấy thông số v đường cong bezier khu vực môi mắt, với đầu vào ảnh vùng môi vùng mắt  Hàm get_label(): Hàm thực việc lấy nhãn từ sở liệu cho đặc trưng vùng môi mắt đầu vào  Hàm skin_color(Bitmap b): Hàm thực tìm vùng da mặt ảnh đầu vào b  Hàm big_connect(Bitmap b): Hàm thực tìm vùng da lớn da mặt để xác định vùng đường vi n môi mắt  Hàm bezier_eye(Bitmap b): Hàm thực việc áp dụng đường cong bezier lên đầu vào mắt  Hàm bezier_lip(Bitmap b): Hàm thực việc áp dụng đường cong bezier lên đầu vào môi 52 Mo ul học lại iểu c m  Hàm bezier_position(Bitmap b): Hàm thực việc lấy thông số v đường cong bezier khu vực môi mắt, với đầu vào ảnh vùng môi vùng mắt  Hàm get_label(): Hàm thực việc lấy nhãn từ sở liệu cho đặc trưng vùng môi mắt đầu vào  Hàm skin_color(Bitmap b): Hàm thực tìm vùng da mặt ảnh đầu vào b  Hàm big_connect(Bitmap b): Hàm thực tìm vùng da lớn da mặt để xác định vùng đường vi n môi mắt  Hàm bezier_eye(Bitmap b): Hàm thực việc áp dụng đường cong bezier lên đầu vào mắt  Hàm bezier_lip(Bitmap b): Hàm thực việc áp dụng đường cong bezier lên đầu vào môi  Hàm write_to_db(): Hàm thực việc ghi lại vào sở liệu giá trị thông số đại diện cho phần mắt, môi nhãn tương ứng kèm Mo ul phát hi n gương mặt v phân vùng  Hàm detect(Image image, double scaleFactor,int minNeighbor, Haar_detection_type flag,int minSize): tìm vùng ảnh chứa đối tượng huấn luyện trả hình chữ nhật  Hàm draw(Rectangle rec, Bgr color, int thickness): vẽ vùng tìm thấy lên hình 3.9 Kết thực nghiệm 3.9.1 Ảnh tĩnh Bảng 3-1 Bảng thống kê kết thực nghiệm ảnh tĩnh, đối tượng người Châu Á Biểu cảm ình thường Vui vẻ Bình thƣờng (50) Vui vẻ (50) Ngạc nhiên (50) Buồn(50) 49 2 44 53 Trung bình Ngạc nhiên 50 1 46 Recall 0.98 0.88 0.92 0.95 Precision 0.92 0.98 0.94 0.94 0.95 F 0.95 0.93 0.97 0.93 0.95 uồn 3.9.2 Ảnh từ camera máy tính ầu vào hệ thống chuỗi ảnh động, camera dùng để tiến hành thực nghiệm có 2MP, u kiện ánh sáng bình thường Thực tế cho thấy thiết bị có độ phân giải cao kết xác Thực nghiệm tiến hành 10 người, người thực lần biểu cảm cho loại nhãn biểu cảm hệ thống Các nhãn “bình thường”, “vui vẻ”, “ngạc nhiên”, “buồn” Như ta có 50 liệu đầu cho nhãn đánh giá sở lý thuyết “bình thường”, “vui vẻ”, “ngạc nhiên” “buồn” Nhƣợc điểm ối tượng người Châu Âu da trắng, mắt xanh Do phụ thuộc vào yếu tố ánh sáng hay phơng n n, đối tượng người nước ngồi khơng có vi n mắt màu đen rõ ràng người Châu Á nên độ xác việc nhận dạng giảm Bảng 3-2 Bảng thống kê kết thực nghiệm ảnh động Bình thƣờng Biểu Cảm (50) (50) ình thường Ngạc nhiên Vui vẻ Buồn (50) (50) 40 Vui vẻ 43 Ngạc nhiên 2 41 42 uồn 54 Trung bình Recall 0.8 0.86 0.82 0.84 0.83 Precision 0.82 0.86 0.87 0.86 0.85 F 0.81 0.86 0.85 0.85 0.84 55 KẾT LUẬN Kết đạt đƣợc luận văn Luận văn tốt nghiệp tác giả với đ tài: “Nghiên cứu, thử nghiệm phương pháp nhận biết cử gương mặt thiết bị di động tài giải vấn đ sau: - Tìm hiểu kĩ thuật xử lý ảnh nhằm trích rút đặc trưng gương mặt - Thiết kế mô hình nhận dạng biểu cảm gương mặt Qua thời gian thực luận văn, với hướng dẫn tận tình thầy giáo hướng dẫn, tác giả đạt kết định việc thử nghiệm mô hình nhận dạng Các vấn đề tồn luận văn Mặc dù tác giả cố gắng với tất nỗ lực thân, giúp đỡ tận tình cán hướng dẫn kiến thức thời gian có hạn nên việc xây dựng ứng dụng cịn khó khăn sau: Chưa nhận dạng biểu cảm hiệu gương mặt người Châu Âu lông mày mắt có màu sắc nhạt (lơng mày, lơng mi màu nâu, mắt màu xanh) Hƣớng phát triển luận văn Với số kết đạt luận văn nghiên cứu phát triển theo hướng sau: Tối ưu thuật toán gương mặt có cấu trúc khác Tối ưu thuật tốn mạng nơ-ron, để cải thiện hiệu 56 TÀI LIỆU THAM KHẢO Vural, E., et al., “Automated Drowsiness Detection For Improved Driving safety”, Proc Of the Int.Conf on Automotive Tachnologies, 2008 Ashraf, A ., et al., “The painful face-Pain expression recognition using active appearance models”, Image and Vision Computing, 2009 27(12): pp 17881796 S L Happy, Anirban Dasgupta, Priyadarshi Patnaik, Aurobinda Routray, Automated Alertness and Emotion Detection for Empathic Feedback During E-Learning L.Ma, K Khorasoni, “Facial Expression Recognition Using Constructive FeedForward and Neural Network”, IEEE transactions on systems, man and cybernetics-part B: Cybernetics, vol.34, No 3, June 2004 Cohen, I., N Sebe, F G Gozman, M C Cirelo, T.S.Huang,”Learning Bayesian network classifiers for facial expression recognition both labeled and unlabeled data”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol 1, pp I-595 – I-601, 2003 I Essa and A Pentland, “Coding, Analysis Interpretation, Recognition of Facial Expressions”, IEEE Trans Pattern Analysis and Machine Intelligence, Vol.19, No 7, p 757-763, July 1997 Khan, M., I., huiyan A., “Facial Features Approximation for Expression Detection in Human-Robot Interface”, Sixth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, 2010 Paul Viola, Micheal Jones, “Rapid Object Detection using a oosted Cascade of Simple Features”, Cambridge Center Y.Wang, H.Ai, Wu, and C.Hung, “Real time facial expression recognition with adaboost”, Proceedings of the 17th International Conference on Pattern Recognition, vol 3, pp 926-929, 2004 10 Hatice Gunes, Massimo Piccardi , “Assessing facial beauty through proportion analysis by image processing and supervised learning, 2007 57 11 Victor M A Oliveira, Roberto A Lotufo, “A Study on Connected Components Labeling algorithms using GPUs”, Department of Computer Engineering and Industrial Automation, School of Electrical and Computer Engineering 12 T.W Sederberg, BYU, Computer Aided Geometric Design Course Notes, Chapter 13 Toan Do Nang, Neural Network report, VNU University of engineering and technology 14 Claude C.Chibelushi, Fabrice ourel, “Facial Expression Recognition: A rief Tutorial Overview” 58 ... Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Lê Thái Linh Đề tài luận văn: Nghiên cứu, thử nghiệm phương pháp nhận dạng biểu cảm sử dụng xấp xỉ đa thức Chuyên ngành:... thách thức toán nhận dạng biểu cảm o Nghiên cứu liên quan o Định hướng giải pháp tác giả 1.1 Biểu cảm gƣơng mặt Gương mặt kênh truy n thông phi ngôn ngữ quan trọng Cử biểu khuôn mặt nghiên cứu. .. TOÁN NHẬN DẠNG BIỂU CẢM 10 1.1 Biểu cảm gƣơng mặt 10 1.2 Các thành phần hệ thống nhận dạng biểu cảm 11 1.3 Những khó khăn toán nhận dạng biểu cảm 13 1.3 Các nghiên cứu liên quan