Nhận dạng cảm xúc mặt người

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA - TRỊNH MINH KHÔI NHẬN DẠNG CẢM XÚC MẶT NGƯỜI Chuyên ngành: TỰ ĐỘNG HOÁ Mã ngành: 605260 LUẬN VĂN THẠC SĨ TP Hồ Chí Minh, 06 / 2008 CÔNG TRÌNH ĐƯC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học: GV TS NGUYỄN ĐỨC THÀNH Caùn chấm nhận xét 1: Cán chấm nhận xét 2: Luận văn thạc só bảo vệ TẠI HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA, Ngày … tháng … năm 2008 Đại Học Quốc Gia Tp Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc Lập – Tự Do – Hạnh Phúc - NHIEÄM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: TRỊNH MINH KHÔI Phái: Ngày tháng năm sinh: Nơi sinh: Vũng Tàu Chuyên ngành: 07/08/1980 TỰ ĐỘNG HOÁ Mã số: Nam 605260 I TÊN ĐỀ TÀI: NHẬN DẠNG CẢM XÚC MẶT NGƯỜI II NHIỆM VỤ: - Viết chương trình Nhận Dạng Cảm Xúc Mặt Người III NGÀY GIAO NHIỆM VỤ: ngày 21 tháng 01 năm 2008 IV NGÀY HOÀN THÀNH NHIỆM VỤ: ngày 30 tháng 06 năm 2008 GV.TS NGUYỄN ĐỨC THÀNH V GIÁO VIÊN HƯỚNG DẪN: Giáo viên hướng dẫn Chủ nhiệm ngành Bộ môn Nội dung đề cương Luận văn Thạc só Hội Đồng Chuyên Ngành thông qua Ngày PHÒNG ĐÀO TẠO SAU ĐẠI HỌC tháng năm 2008 KHOA QUẢN LÝ NGÀNH LỜI CẢM ƠN Trong trình thực đề tài luận văn, gặp nhiều khó khăn, phải cố gắng nỗ lực nhiều để hoàn thành luận văn Thạc só Tuy nhiên, hoàn thành luận văn quan tâm, giúp đỡ gia đình, thầy cô, bạn bè đồng nghiệp Đạt kết ngày hôm nay, xin gởi lời cảm ơn chân thành đến Thầy Ts Nguyễn Đức Thành, hướng dẫn thực đề tài luận văn này; Quý Thầy cô Bộ môn Điều Khiển Tự Động – Khoa Điện – Điện Tử – trường Đại học Bách Khoa TP.Hồ Chí Minh, người gia đình, bạn bè, đồng nghiệp giúp đỡ trình làm Luận văn Trịnh Minh Khôi TÓM TẮT NỘI DUNG Trong luận văn này, tác giả trình bày kết nghiên cứu nhằm điều khiển robot có tính cách người (humanoid robot), nghóa robot hiểu cảm xúc cử người Để thực ý tưởng đó, đòi hỏi tạo cho robot Hệ Thống Tự Động Nhận Biết Cảm Xúc Mặt Người Hệ thống tự động nhận dạng mặt người dòng video thực phương pháp tăng cường thích nghi (Adaboost) tiếp tục nhận dạng cảm xúc mặt người phương pháp eigenface, dựa đặc trưng vị trí hình học lông mày, độ mở miệng Luận văn gồm có sáu chương với nội dung sau: Chương 1: Giới Thiệu Giới thiệu sơ lược công trình liên quan lónh vực mà đề tài nghiên cứu Chương 2: Mục Tiêu Của Luận Văn Trình bày mục tiêu nhiệm vụ luận văn cần tập trung nghiên cứu Chương 3: Cơ Sở Lý Thuyết Trình bày sở lý thuyết ứng dụng để thực đề tài Chương 4: Thuật Toán Nhận Dạng Trình bày thuật toán nhận dạng chương trình nhận dạng cảm xúc mặt người Chương 5: Chương Trình & Kết Quả Giới thiệu chương trình “Nhận dạng cảm xúc” kết nhận dạng trình bày đánh giá Chương 6: Kết Luận & Hướng Phát Triển Kết luận lại ý nghóa đề tài nêu hướng mở rộng luận văn MỤC LỤC CHƯƠNG 1: GIỚI THIỆU 10 I ĐẶT VẤN ĐỀ: .10 II NHỮNG CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN: 11 III NHẬN XÉT CÁC CÔNG TRÌNH ĐÃ NGHIÊN CỨU 18 CHƯƠNG 2: MỤC TIÊU CỦA LUẬN VĂN .20 CHƯƠNG 3: CƠ SỞ LÝ THUYẾT 21 I LÝ THUYẾT VỀ ẢNH SỐ: 21 II TIẾP CẬN VỚI KỸ THUẬT TĂNG CƯỜNG (BOOSTING): 27 III KỸ THUẬT TĂNG CƯỜNG THÍCH NGHI (ADABOOST) 28 IV ĐẶC ÑIEÅM HAAR (HAAR FEATURE): 31 V GHÉP TẦNG BỘ PHÂN LOẠI (CASCADE OF CLASSIFIER) 33 VI GHÉP TẦNG BỘ PHÂN LOẠI TĂNG CƯỜNG 34 VII GƯƠNG MẶT EIGENFACE .36 VIII LẬP TRÌNH WEBCAM: 37 IX VI ĐIỀU KHIỂN 89C51: .40 CHƯƠNG 4: THUẬT TOÁN NHẬN DẠNG 46 I SƠ ĐỒ THUẬT TOÁN LẬP TRÌNH WEBCAM: .46 II SƠ ĐỒ THUẬT TOÁN NHẬN DẠNG MẶT NGƯỜI: .47 III SƠ ĐỒ THUẬT TOÁN NHẬN DẠNG CẢM XÚC: 52 IV THUẬT TOÁN GIAO TIẾP KIT VI ĐIỀU KHIỂN 89C51 : .68 CHƯƠNG 5: CHƯƠNG TRÌNH & KẾT QUẢ 70 I GIAO DIỆN CHƯƠNG TRÌNH “NHẬN DẠNG CẢM XÚC” 70 II KẾT QUẢ NHẬN DẠNG 71 III GIAO TIẾP VỚI KIT VI ĐIỀU KHIỂN 89C51: 74 CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .76 I KẾT LUAÄN: 76 II HẠN CHẾ CHƯƠNG TRÌNH: 76 III HƯỚNG PHÁT TRIỂN: .76 TÀI LIỆU THAM KHẢO 78 PHUÏ LUÏC A 80 KẾT QUẢ NHẬN DẠNG .80 DANH SÁCH HÌNH Hình Các cảm xúc gương mặt người: 10 Hình Sơ đồø khối nhận dạng mặt người DCT 12 Hình Sơ Đồ Trích Đặc Trưng Bằng Gabor Wavelets .13 Hình Thuật toán neural nhận dạng mặt người 14 Hình Mô Hình Mặt Người Của Kobayashi Và Hara 15 Hình Giao Diện Của FED (Facial Expression Dictionary) .16 Hình Hệ Thống Mã Hoá Cảm Xúc (FACS) .17 Hình Chương trình Matlab Nhận Dạng Cảm Xúc Dùng Mạng Neural 18 Hình Hệ thống nhận dạng cảm xúc tự động theo thời gian thực .20 Hình 10 Mảng hai chiều file ảnh 24 Hình 11 Mô hình màu RGB .25 Hình 12 Hệ toạ độ pixel 26 Hình 13 Haar Feature Cơ Baûn .32 Hình 14 Đặc điểm Haar cho mặt người .32 Hình 15 SAT(x,y) cách tính tổng điểm ảnh hình chữ nhật 33 Hình 16 Ghép phân loaïi 34 Hình 17 Phương pháp nhận dạng mặt người 36 Hình 18 Phương Pháp Nhận dạng Cảm Xúc 36 Hình 19 Gương mặt eigenface 37 Hình 20 Mô hình lọc hình ảnh tập tin AVI .38 Hình 21 Mô hình quan hệ chương trình, thành phần directshow đầu vào thích hợp .39 Hình 22 Sơ đồ khối vi điều khiển 89C51 42 Hình 23 Sơ đồ chân vi điều khiển 89C51 43 Hình 24 Chọn ngưỡng θ dựa vào tỉ lệ nhận dạng tối thiểu mẫu dương tính 49 Hình 25 Thư mục “camxuc” lưu trữ hình cảm xúc gương mặt 24x24 bmp 53 Hình 26 Phân vùng khuôn mặt 56 Hình 27 Giao Diện Chương Trình Nhận Dạng Cảm Xúc 70 Hình 28 Robot nhận diện cảm xúc 74 Hình 29 Kit vi điều khiển 89C51 điều khiển đèn led đơn 74 Hình 30 Kit vi điều khiển 89C51 giao tiếp với máy tính 75 10 CHƯƠNG 1: GIỚI THIỆU I ĐẶT VẤN ĐỀ: Trong khứ, thường nghó robot máy, lập trình hoạt động cứng nhắc theo chương trình sẵn có, giao tiếp với người qua bàn phím, chuột, hình Tuy nhiên, ngày nay, với sức mạnh vi xử lý ngày cải thiện, cho phép robot giao tiếp với người theo cách mới, hình ảnh (thị giác) âm Có thể, tương lai xa, robot “nhìn thấy” người xung quanh giao tiếp lại cách “người” thể cảm xúc, điệu bộ, ….vv Vì thế, nhiều dự án nước nghiên cứu nhằm điều khiển robot có tính cách người (humanoid robot), nghóa robot hiểu cảm xúc cử người Để thực ý tưởng đó, đòi hỏi tạo cho Robot Hệ Thống Tự Động Nhận Biết Cảm Xúc Mặt Người Hệ thống tự động nhận dạng mặt người dòng video thực tiếp tục nhận dạng cảm xúc mặt người thời gian thực Nói cách khác, hệ thống tự động kiểm tra mặt người nhận dạng cảm xúc mặt người: vui mừng (Joy), buồn (sadness), bất ngờ (suprise), giận (angry), sợ sệt (fear), bình thường (neural),…v.v [11] Hình Các cảm xúc gương mặt người: 1.Sợ sệt, 2.Vui mừng, 3.Bất ngờ, 4.Buồn rầu, 5.Giận Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thaønh 79 [11] Bob Mottram, Face Location in Unstructured Images and Human Body project, 7th Jan 2001, Sluggish Sofware Company [12] C Papageorgious, M Oren, and Tpoggio A General Framework For Object Detection, in International Conference on Computer Vision, 1988 [13] Paul Viola and Michael J.Jones Rapid Object Detection Using A Boosted Cascade Of Simple Feature, IEEE CVPR, 2001 [14] Rainer Lienhart and Jochen Maydt An Extended Set Of Haar Like Feature For Rapid Object Detection, IEEE ICIP 2002, vol 1, pp 900-903, sep.2002 [15] Y.Freund and R.Schapire A Decision – Theoretic Generation Of Online Learning And An Application To Boosting Journal of Computer and System Sciences, 55(1):119-139, 1997 [16] Vadim Pisarevsky, Opencv Object detection: Theory and Practice, 2001, Intel Corporation, Software and solution group [17] Đinh Bá Thắng – Đặng Bác Vân, Tìm Hiểu Các Kỹ Thuật p Dụng Cho Bài Toán Nhận Dạng Của Người Câm, Khoa Công nghệ Thông Tin, trường ĐH KHTN TP.HCM, năm 2005 [18] WILLIAM K PRATT, Digital Image Processing Book, PixelSoft, Inc Los Altos, California [19] Phạm Thế Bảo, Lập Trình Camera, 1997, Nhà xuất Lao động Xã Hội Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 80 PHỤ LỤC A KẾT QUẢ NHẬN DẠNG Kết chương trình nhận dạng cảm xúc cách: Một người thể cảm xúc vòng 10 s Như cảm xúc có 10 hình ứng với thời gian t1=1, t2=2s, t3=3s,…., t10=10s Mười hình cho 10 kết nhận dạng chương trình nhận dạng So sánh kết với cảm xúc ban đầu người định thể cho ta kết sai số chương trình Người thể cảm xúc chia làm hai trường hợp: người quen (người tập huấn luyện), người lạ (người tập huấn luyện) Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 81 I Người quen: Cảm xúc Hình t1 (t1 = 1s), KQND: Hình t2 (t2 = 2s), KQND: Hình t3 (t3 = 3s), KQND: Hình t4 (t4 = 4s), KQND: Hình t5 (t5 = 5s), KQND: Hình t6 (t6 = 6s), KQND: Hình t7 (t7 = 7s), KQND: Hình t8 (t8 = 8s), KQND: Hình t9 (t9 = 9s), KQND: sai Hình t10(t = 10s), KQND: bình thường: Kết đúng: hình sai: hình Tỷ lệ đúng: 90% sai: 10% Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 82 I Người quen: Cảm xúc vui: Hình t1 (t1 = 1s), KQND: Hình t2 (t2 = 2s), KQND: Hình t3 (t3 = 3s), KQND: Hình t4 (t4 = 4s), KQND: Hình t5 (t5 = 5s), KQND: Hình t6 (t6 = 6s), KQND: sai Hình t7 (t7 = 7s), KQND: Hình t8 (t8 = 8s), KQND: Hình t9 (t9 = 9s), KQND: Hình t10(t = 10s), KQND: Kết đúng: hình sai: hình Tỷ lệ đúng: 90% sai: 10% Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 83 I Người quen: Hình t1 (t1 = 1s), KQND: Hình t2 (t2 = 2s), KQND: sai Hình t3 (t3 = 3s), KQND: Hình t4 (t4 = 4s), KQND: Hình t5 (t5 = 5s), KQND: Hình t6 (t6 = 6s), KQND: Hình t7 (t7 = 7s), KQND: sai Hình t8 (t8 = 8s), KQND: Hình t9 (t9 = 9s), KQND: Hình t10(t = 10s), KQND: Cảm xúc bất ngờ: Kết đúng: hình sai: hình Tỷ lệ đúng: 80% sai: 20% Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 84 I Người quen: Hình t1 (t1 = 1s), KQND: Hình t2 (t2 = 2s), KQND: sai Hình t3 (t3 = 3s), KQND: Hình t4 (t4 = 4s), KQND: Hình t5 (t5 = 5s), KQND: Hình t6 (t6 = 6s), KQND: Hình t7 (t7 = 7s), KQND: Hình t8 (t8 = 8s), KQND: sai Hình t9 (t9 = 9s), KQND: Hình t10(t = 10s), KQND: Cảm xúc buồn: Kết đúng: hình sai: hình Tỷ lệ đúng: 80% sai: 20% Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 85 I Người quen: Hình t1 (t1 = 1s), KQND: Hình t2 (t2 = 2s), KQND: Hình t3 (t3 = 3s), KQND: Hình t4 (t4 = 4s), KQND: Hình t5 (t5 = 5s), KQND: Hình t6 (t6 = 6s), KQND: Hình t7 (t7 = 7s), KQND: Hình t8 (t8 = 8s), KQND: Hình t9 (t9 = 9s), KQND: Hình t10(t = 10s), KQND: Cảm xúc giận dữ: Kết đúng: 10 hình sai: hình Tỷ lệ đúng: 100% sai: 0% Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 86 I Người quen: Cảm xúc sợ Hình t1 (t1 = 1s), KQND: Hình t2 (t2 = 2s), KQND: Hình t3 (t3 = 3s), KQND: Hình t4 (t4 = 4s), KQND: Hình t5 (t5 = 5s), KQND: Hình t6 (t6 = 6s), KQND: sai Hình t7 (t7 = 7s), KQND: Hình t8 (t8 = 8s), KQND: Hình t9 (t9 = 9s), KQND: sai Hình t10(t = 10s), KQND: sệt: Kết đúng: hình sai: hình Tỷ lệ đúng: 80% sai: 20% Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 87 II Người lạ: Hình t1 (t1 = 1s), KQND: Hình t2 (t2 = 2s), KQND: Hình t3 (t3 = 3s), KQND: Hình t4 (t4 = 4s), KQND: Hình t5 (t5 = 5s), KQND: Hình t6 (t6 = 6s), KQND: sai Hình t7 (t7 = 7s), KQND: sai Hình t8 (t8 = 8s), KQND: Hình t9 (t9 = 9s), KQND: Hình t10(t = 10s), KQND: Cảm xúc bình thường: Kết đúng: hình sai: hình Tỷ lệ đúng: 80% sai: 20% Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 88 II Người lạ: Hình t1 (t1 = 1s), KQND: Hình t2 (t2 = 2s), KQND: Hình t3 (t3 = 3s), KQND: sai Hình t4 (t4 = 4s), KQND: Hình t5 (t5 = 5s), KQND: Hình t6 (t6 = 6s), KQND: sai Hình t7 (t7 = 7s), KQND: Hình t8 (t8 = 8s), KQND: Hình t9 (t9 = 9s), KQND: Hình t10(t = 10s), KQND: Cảm xúc vui: Kết đúng: hình sai: hình Tỷ lệ đúng:80% sai: 20% Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 89 Hình t1 (t1 = 1s), KQND: Hình t2 (t2 = 2s), KQND: Hình t3 (t3 = 3s), KQND: Hình t4 (t4 = 4s), KQND: Hình t5 (t5 = 5s), KQND: Hình t6 (t6 = 6s), KQND: Hình t7 (t7 = 7s), KQND: Hình t8 (t8 = 8s), KQND: Hình t9 (t9 = 9s), KQND: sai Hình t10(t = 10s), KQND: sai II Người lạ: Cảm xúc bất ngờ: Kết đúng: hình sai: hình Tỷ lệ đúng:80% sai: 20% Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 90 II Người lạ: Hình t1 (t1 = 1s), KQND: sai Hình t2 (t2 = 2s), KQND: sai Hình t3 (t3 = 3s), KQND: sai Hình t4 (t4 = 4s), KQND: Hình t5 (t5 = 5s), KQND: sai Hình t6 (t6 = 6s), KQND: sai Hình t7 (t7 = 7s), KQND: sai Hình t8 (t8 = 8s), KQND: sai Hình t9 (t9 = 9s), KQND: sai Hình t10(t = 10s), KQND: sai Cảm xúc buồn: Kết đúng: 1hình sai: 9hình Tỷ lệ đúng:10% sai: 90% Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 91 II Người lạ: Hình t1 (t1 = 1s), KQND: Hình t2 (t2 = 2s), KQND: Hình t3 (t3 = 3s), KQND: Hình t4 (t4 = 4s), KQND: Hình t5 (t5 = 5s), KQND: Hình t6 (t6 = 6s), KQND: sai Hình t7 (t7 = 7s), KQND: Hình t8 (t8 = 8s), KQND: Hình t9 (t9 = 9s), KQND: Hình t10(t = 10s), KQND: sai Cảm xúc giận Kết đúng: hình sai: hình Tỷ lệ đúng:80% sai: 20% Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 92 II Người lạ: Hình t1 (t1 = 1s), KQND: sai Hình t2 (t2 = 2s), KQND: Hình t3 (t3 = 3s), KQND: sai Hình t4 (t4 = 4s), KQND: sai Hình t5 (t5 = 5s), KQND: sai Hình t6 (t6 = 6s), KQND: sai Hình t7 (t7 = 7s), KQND: sai Hình t8 (t8 = 8s), KQND: sai Hình t9 (t9 = 9s), KQND: sai Hình t10(t = 10s), KQND: sai Cảm xúc sợ sệt Kết đúng: hình sai: hình Tỷ lệ đúng:10% sai: 90% Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành LÝ LỊCH TRÍCH NGANG Họ tên: TRỊNH MINH KHÔI Phái: Ngày tháng năm sinh: Nơi sinh:VŨNG TÀU Chuyên ngành: 07/08/1980 TỰ ĐỘNG HOÁ Nam Mã số: 605260 Địa liên lạc: 115/LÔ F/CƯ XÁ THANH ĐA – Tp.HCM QUÁ TRÌNH ĐÀO TẠO: 1999 - 2004: Học Đại học GTVT Tp.HCM - chuyên ngành Điện Tự Động 2006 - 2008: Học Sau Đại học Đại học Bách Khoa Tp.HCM - chuyên ngành Tự Động Hoá QUÁ TRÌNH CÔNG TÁC: 2004 - nay: Kỹ sư điện tự động, công ty TOYO VN Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành ... Thuật Toán Nhận Dạng Trình bày thuật toán nhận dạng chương trình nhận dạng cảm xúc mặt người Chương 5: Chương Trình & Kết Quả Giới thiệu chương trình ? ?Nhận dạng cảm xúc? ?? kết nhận dạng trình bày... xúc cử người Để thực ý tưởng đó, đòi hỏi tạo cho Robot Hệ Thống Tự Động Nhận Biết Cảm Xúc Mặt Người Hệ thống tự động nhận dạng mặt người dòng video thực tiếp tục nhận dạng cảm xúc mặt người thời... nhóm mặt Cơ bản, FACS chia gương mặt vùng cảm xúc vùng cảm xúc Đề tài: Nhận Dạng Cảm Xúc GVHD:Ts Nguyễn Đức Thành 17 Hình Hệ Thống Mã Hoá Cảm Xúc (FACS) 2.6 Hệ Thống Tự Động Nhận Dạng Cảm Xúc