Nhận dạng cảm xúc mặt người theo thời gian thực

Đại Học Quốc Gia Tp Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA - TRẦN MẠNH SƠN NHẬN DẠNG CẢM XÚC MẶT NGƯỜI THEO THỜI GIAN THỰC Chuyên ngành: TỰ ĐỘNG HOÁ LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 12 năm 2009 CÔNG TRÌNH ĐƯC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học: GVC TS NGUYỄN ĐỨC THÀNH Cán chấm nhận xét 1: Cán chấm nhận xét 2: Luận văn thạc só bảo vệ TẠI HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA, Ngày … tháng … năm 2009 TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HOÀ XÃ HỘI CHỦ NGHIÃ VIỆT NAM KHOA ĐIỆN – ĐIỆN TỬ Độc Lập - Tự Do - Hạnh Phúc -oOo Tp HCM, ngày 29 tháng 12 năm 2009 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: TRẦN MẠNH SƠN Phái: Ngày tháng năm sinh: Nơi sinh: THANH HÓA Chuyên ngành: 12/09/1982 TỰ ĐỘNG HOÁ Mã số: Nam 605260 I TÊN ĐỀ TÀI: NHẬN DẠNG CẢM XÚC MẶT NGƯỜI THEO THỜI GIAN THỰC II NHIỆM VỤ: - Viết chương trình Nhận dạng cảm xúc mặt người III NGÀY GIAO NHIỆM VỤ: ngày 21 tháng 01 năm 2009 IV NGÀY HOÀN THÀNH NHIỆM VỤ: ngày 28 tháng 11 năm 2009 V GIÁO VIÊN HƯỚNG DẪN: GVC.TS NGUYỄN ĐỨC THÀNH Nội dung đề cương Luận văn Thạc só Hội Đồng Chuyên Ngành thông qua Ngày CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) thaùng năm 2009 CHỦ NHIỆM BỘ MƠN KHOA QL CHUN NGÀNH QUẢN LÝ CHUYÊN NGÀNH (Họ tên chữ ký) (Họ tên chữ ký) Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành LỜI CẢM ƠN Trong trình thực đề tài luận văn, gặp nhiều khó khăn, phải cố gắng nỗ lực nhiều để hoàn thành luận văn Thạc só Tuy nhiên, hoàn thành luận văn quan tâm, giúp đỡ gia đình, thầy cô, bạn bè đồng nghiệp Đạt kết ngày hôm nay, xin gởi lời cảm ơn chân thành đến Thầy GVC.TS Nguyễn Đức Thành, hướng dẫn thực đề tài luận văn này; Quý Thầy cô Bộ môn Điều Khiển Tự Động – Khoa Điện – Điện Tử – trường Đại học Bách Khoa TP.Hồ Chí Minh, người gia đình, bạn bè, đồng nghiệp giúp đỡ trình hoàn thành luận văn Ngồi ra, học viên xin gởi lời cảm ơn đến tất thầy cô trực tiếp giảng dạy suốt khóa học, người bạn quan tâm, động viên chia sẻ kiến thức kinh nghiệm chuyên ngành trình học tập rèn luyện vừa qua học viên Học viên thực Trần Mạnh Sơn Chuyên ngành: Tự Động Hóa HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành TÓM TẮT NỘI DUNG Trong luận văn này, tác giả trình bày kết nghiên cứu nhằm điều khiển robot có tính cách người (humanoid robot), nghóa robot hiểu cảm xúc cử người Để thực ý tưởng đó, đòi hỏi tạo cho robot Hệ Thống Tự Động Nhận Biết Cảm Xúc Mặt Người Hệ thống tự động nhận dạng mặt người dòng video thực phương pháp tăng cường thích nghi (Adaboost) tiếp tục nhận dạng cảm xúc mặt người phương pháp eigenface, dựa đặc trưng vị trí hình học lông mày, độ mở miệng Luận văn gồm có sáu chương với nội dung sau: Chương 1: Giới Thiệu Giới thiệu sơ lược công trình liên quan lónh vực mà đề tài nghiên cứu mục tiêu cần đạt Chương 2: Cơ Sở Lý Thuyết Về Thuật toán nhận dạng Trình bày sở lý thuyết ứng dụng để thực đề tài Chương 3: Xây Dựng Hệ Thống Nhận Dạng Microsoft Visual C++ 6.0 Trình bày thuật toán nhận dạng chương trình nhận dạng cảm xúc mặt người Chương 4: Chương Trình & Kết Quả Giới thiệu chương trình “Nhận dạng cảm xúc” kết nhận dạng trình bày đánh giá Chương 5: Kết Luận & Hướng Phát Triển Kết luận lại ý nghóa đề tài nêu hướng mở rộng luận văn Chuyên ngành: Tự Động Hóa HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành MỤC LỤC I II ĐẶT VẤN ĐỀ: NHỮNG CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN: CÁC CÔNG TRÌNH NGHIÊN CỨU TRONG NƯỚC: 1.1 Luận văn: “Các phương pháp nhận dạng mặt người” : 1.2 Nhận dạng mặt người dùng gabor wavelets: CÁC CÔNG TRÌNH NGHIÊN CỨU Ở NƯỚC NGOÀI: .8 2.1 Mạng neural nhận dạng mặt người 2.2 Hệ thống chuyên gia cho phân tích tự động cảm xúc: 2.3 Hệ thống trích đặc trưng cảm xúc tự động: 2.4 Hệ thống nhận diện cảm xúc dựa fed (facial expression dictionary): 10 2.5 Hệ thống mã hoá cảm xúc (facial action coding system-facs) 11 2.6 Hệ thống tự động nhận dạng cảm xúc (eigenexpressions for Facial Expression): 12 III NHAÄN DẠNG CẢM XÚC MẶT NGƯỜI - CÁC CÔNG TRÌNH ĐÃ NGHIÊN CỨU 13 IV: MỤC TIÊU CỦA LUẬN VAÊN .15 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VỀ THUẬT TOÁN NHẬN DẠNG 16 LÝ THUYẾT VỀ ẢNH SỐ: 16 1.1 Khaùi nieäm: .16 1.2 Khái niệm phần tử ảnh : 18 1.3 Caáu trúc file ảnh : 18 1.4 Ảnh xám : 19 1.5 Ảnh trắng đen hay ảnh nhị phân : 19 1.6 Ảnh màu mô hình màu RGB : 19 1.7 Hệ toạ độ pixel mặt người : 21 1.8 Muïc đích việc xử lý ảnh số: .21 CÁC PHƯƠNG PHÁP PHÁT HIỆN (DỊ TÌM) HÌNH ẢNH MẶT NGƯỜI: 22 2.1 Phát dựa ảnh: 23 2.2 Phát dựa dạng hình học: 24 2.3 Phương pháp đặc trưng Haar-like tăng tốc thích nghi nhanh AdaBoost .25 TRÍCH ĐẶT TRƯNG BẰNG PHƯƠNG PHÁP EIGENFACES PCA: 34 3.1 Phương pháp Eigenfaces PCA; .34 3.2 Xaây dựng Eigenfaces với PCA: 37 3.3 Biến đổi ảnh mặt thành vector: .38 Chuyên ngành: Tự Động Hóa HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành 3.4 Không gian ảnh: .38 3.5 Xây dựng Eigenfaces: 39 3.6 Xây dựng ảnh từ Eigenfaces: 45 3.7 Xây dựng lại trạng mặt với PCA: 46 MẠNG NEURON CHO NHẬN DẠNG TRẠNG THÁI MẶT 47 4.1 Giới thiệu: 47 4.2 Tế bào thần kinh mạng thần kinh nhân tạo: 49 4.3 Mạng truyền thẳng lớp (mạng perceptron đơn giản): 53 4.4 Mạng perceptron nhiều lớp thuật tốn lan truyền ngược: 61 CHƯƠNG 5: CHƯƠNG TRÌNH & KẾT QUẢ 70 I II III GIỚI THIỆU CHƯƠNG TRÌNH 70 Xaây dựng giao diện chương trình: 70 CHƯƠNG TRÌNH C++: 71 KẾT QUẢ CHƯƠNG TRÌNH 74 Kết nhận dạng với Webcam: 74 Kết nhận dạng với ảnh từ file: .88 CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .88 I II III KẾT LUẬN: 103 HẠN CHẾ CHƯƠNG TRÌNH: .103 HƯỚNG PHÁT TRIEÅN: .103 TÀI LIỆU THAM KHẢO 105 LÝ LỊCH TRÍCH NGANG 108 Chuyên ngành: Tự Động Hóa HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành CHƯƠNG 1: GIỚI THIỆU I ĐẶT VẤN ĐỀ Trong khứ, thường nghó robot máy, lập trình hoạt động cứng nhắc theo chương trình sẵn có, giao tiếp với người qua bàn phím, chuột, hình Tuy nhiên, ngày nay, với sức mạnh vi xử lý ngày cải thiện, cho phép robot giao tiếp với người theo cách mới, hình ảnh (thị giác) âm Có thể, tương lai xa, robot “nhìn thấy” người xung quanh giao tiếp lại cách “người” thể cảm xúc, điệu bộ, ….vv Vì thế, nhiều dự án nước nghiên cứu nhằm điều khiển robot có tính cách người (humanoid robot), nghóa robot hiểu cảm xúc cử người Để thực ý tưởng đó, đòi hỏi tạo cho Robot Hệ Thống Tự Động Nhận Biết Cảm Xúc Mặt Người Hệ thống tự động nhận dạng mặt người dòng video thực tiếp tục nhận dạng cảm xúc mặt người thời gian thực Nói cách khác, hệ thống tự động kiểm tra mặt người nhận dạng cảm xúc mặt người: vui mừng (Joy), buồn (sadness), bất ngờ (suprise), giận (angry), sợ sệt (fear), bình thường (neural),…v.v [11] Hình Các cảm xúc gương mặt người: 1.Sợ sệt, 2.Vui mừng, 3.Bất ngờ, 4.Buồn rầu, 5.Giận Chuyên ngành: Tự Động Hóa HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành Ứng dụng: Nếu robot có khả nhận biết cảm xúc người, có ích lónh vực y tế nói chung, ví dụ như: chế tạo robot chăm sóc người bệnh, người già,…vv [1] II NHỮNG CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN: Phần trình bày báo luận văn mà tác giả tham khảo, để có nhìn tổng quan công trình nghiên cứu liên quan nước nước lónh vực nhận dạng mặt người cảm xúc gương mặt CÁC CÔNG TRÌNH NGHIÊN CỨU TRONG NƯỚC: 1.1 Luận văn: “Các phương pháp nhận dạng mặt người” : Theo [2], tác giả giới thiệu phương pháp nhận dạng mặt người truyền thống: Nhận Dạng Mặt Người Dùng Mạng Neural Bằng Biến Đổi DCT (Discrete Cosine Transform) DCT, kỹ thuật nén ảnh sử dụng rộng rãi, cho phép diện tất thành phần quan trọng khuôn mặt (tóc, mắt, miệng, mũi) với số lượng nhỏ thành phần tần số thấp Sau DCT áp dụng cho hình ảnh, hệ số lựa chọn đưa đến mạng nơron nhân tạo nhiều lớp (ANN) Bởi dùng lượng nhỏ hệ số nên tốc độ huấn luyện nhận dạng cao Tác giả dùøng sở liệu ảnh gồm 400 ảnh khác nhau, cho 40 người khác nhau, kích thước ảnh 112-92 pixel mặt người, với 256 mức xám cho pixel mặt người Một hệ thống nhận dạng mặt người bao gồm công đoạn sau: Chuyên ngành: Tự Động Hóa HVTH: Trần Mạnh Sơn Luận văn Cao học ảnh Tiền xử lý GVHD: GVC TS Nguyễn Đức Thành Phát đặc trưng Nhận dạng mặt (DCT) Kết nhận dạng (Maïng Neural) Hình Sơ đồø khối nhận dạng mặt người DCT Nhận mặt ngườiùt: Trong luận văn này, chủ yếu tác giả nhận dạng mặt người sở liệu ảnh có sẵn (ảnh gray, kích thước 112x92), ảnh tónh chưa tập trung vào nhận dạng mặt người theo thời gian thực, ví dụ: ảnh động từ video hay webcam, phương pháp nhận dạng tốc độ chậm 1.2 Nhận dạng mặt người dùng gabor wavelets: Theo [3], tác giả đề cập phương pháp gabor wavelets sử dụng để xây dựng vector đặc trưng có khả miêu tả tốt cách xử lý lónh vực dễ tiếp thu hệ thống trực quan người Phương pháp chọn đỉnh (các điểm lượng cao) đáp ứng Gabor làm điểm đặc trưng Chuyên ngành: Tự Động Hóa HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành Chuyên ngành: Tự Động Hóa 99 HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành Nhận xét: Với biểu khuôn mặt nhập từ file, kết nhận dạng đạt 100% − Nhận dạng trạng thái buồn: Chuyên ngành: Tự Động Hóa 100 HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành Chuyên ngành: Tự Động Hóa 101 HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành Nhận xét: Với biểu khn mặt nhập từ file, kết nhận dạng đạt 100% Nhận xét chung: Kết nhận dạng từ file ảnh đạt độ xác cao,100% Chuyên ngành: Tự Động Hóa 102 HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN I KẾT LUẬN: Luận văn “Nhận dạng cảm xúc mặt người theo thời gian thực” đạt mục tiêu nhiệm vụ đề nhận dạng cảm xúc từ hình ảnh nhập từ file nhận dạng trực tuyến từ hình ảnh thu webcam II HẠN CHẾ CHƯƠNG TRÌNH: Bên cạnh đó, chương trình số hạn chế: Nhận dạng ảnh động sai số, tư thể biểu cảm khuôn mặt bị giới hạn, phải gần giống hình ảnh dùng làm sở huấn luyện Tập sở liệu chưa nhiều Nếu tăng sở liệu dẫn đến tình trạng tốc độ nhận dạng bị chậm đáng kể Việc nhận dạng mang tính chủ quan, biểu khuôn mặt người khác Việc hiển thị kết nhận dạng “thô sơ”, việc hiển thị thông báo hình ảnh nhận dạng III HƯỚNG PHÁT TRIỂN: Từ hạn chế trên, chương trình cần phát triển nữa: Cải thiện việc nhận dạng cảm xúc cách tăng độ xác nhận diện cách biểu cảm xúc phức tạp người Ví dụ: người thể gương mặt khác cảm xúc giận dữ, chương trình phải nhận diện Cải thiện sở liệu, đảm bảo nhận dạng người lạ cách xác Webcam nhận diện mặt người với vị trí đứng yên, nên cần cải thiện để webcam quay bám theo đối tượng, giống người Chuyên ngành: Tự Động Hóa 103 HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành Cần thiết để thi công công cụ hiển thị kết nhận dạng trực quan hơn: Tạo hệ thống âm thanh, vẽ khuôn mặt mẫu tương ứng với cảm xúc, thiết bị báo thực tế Chuyên ngành: Tự Động Hóa 104 HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành TÀI LIỆU THAM KHẢO [1] Piyanuch Silapachote, Deepak R Karuppiah, and Allen R Hanson FEATURE SELECTION USING ADABOOST FOR FACE EXPRESSION RECOGNITION [2] Ira Cohen , Nicu Sebe , Fabio G Cozman , Marcelo C Cirelo , Thomas S Huang -Learning Bayesian Network Classifiers for Facial Expression Recognition using both Labeled and Unlabeled Data CVPR03 [3] Y Zhu, L.C.De Silva, C.C.Ko -Using moment invariants and HMM in facial expression recognition [4] Maja Pantic, Member, IEEE, and Leon J M Rothkrantz -Facial action recognition for facial expression analysis from static face images 01298893 [5] Montse Pard"as*, Antonio Bonafonte -Facial animation parameters extraction and expression recognition using Hidden Markov Models [6] Facial expression features extraction based on Gabor wavelet transformation 01400657 [7] Yongsheng Gao, Maylor K H Leung, Siu Cheung Hui, and Mario W Tananda -Facial expression recognition from line-based caricatures 01227586 [8] Ira Cohen1, Nicu Sebe2, Ashutosh Garg1, Michael S Lew2, Thomas S Huang1 -FACIAL EXPRESSION RECOGNITION FROM VIDEO SEQUENCES ICME02 [9] Ira Cohen,* Nicu Sebe, Ashutosh Garg, Lawrence S Chen, and Thomas S Huang Facial expression recognition from video sequences temporal and static modeling Chuyên ngành: Tự Động Hóa 105 HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành [10] Chung-Lin Huang* and Yu-Ming Huang Facial Expression Recognition Using Model-Based Feature Extraction and Action Parameters Classification [11] G.Littlewort, M.S Bartlett, I.Fasel, J.Chesu, T.Kanda, H.Ishiguro, and Movellan, Toward social robots: Automatic Evaluation Of Human-Robot Interaction By Face Detection And Expression Classification, [12] Trương Như Hoàng, Trần Quang Vinh, Luận văn “Các Phương Pháp Nhận Dạng mặt Người”, [13] Đoàn Thị Thu Thuỷ, Luận văn:”Nhận dạng mặt người dùng gabor wavelets”, [14] Aitor Azcarate, Felix Hageloh, Koen van de Sande, Roberto Valenti Automatic facial emotion recognition, [15] Rothkrantz, Expert System For Automatic Analysis Of Facial Expression , [16] Kobayashi, F.Hara, Facial Interaction between animated 3D face Robot and human beings,< 1997, IEEE Computer Society press > [17] Jde Jongh , FED an online facial expression dictionary as a first step in the creation of a complete nonverbal dictionary, [18] P.Ekman, W.Friesen, Facial Action Coding System, [19] Luigi Rosa, http://www.advancedsourcecodecom/facialexpression.asp [20] H.Rowley, S.Baluja, and T.Kanade, Neural Network-base face detection, Chuyên ngành: Tự Động Hóa 106 HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành [21] Bob Mottram, Face Location in Unstructured Images and Human Body project, 7th Jan 2001, Sluggish Sofware Company [22] C Papageorgious, M Oren, and Tpoggio A General Framework For Object Detection, in International Conference on Computer Vision, 1988 [23] Paul Viola and Michael J.Jones Rapid Object Detection Using A Boosted Cascade Of Simple Feature, IEEE CVPR, 2001 [24] Rainer Lienhart and Jochen Maydt An Extended Set Of Haar Like Feature For Rapid Object Detection, IEEE ICIP 2002, vol 1, pp 900-903, sep.2002 [25] Y.Freund and R.Schapire A Decision – Theoretic Generation Of Online Learning And An Application To Boosting Journal of Computer and System Sciences, 55(1):119-139, 1997 [26] Vadim Pisarevsky, Opencv Object detection: Theory and Practice, 2001, Intel Corporation, Software and solution group [27] Ñinh Bá Thắng – Đặng Bác Vân, Tìm Hiểu Các Kỹ Thuật p Dụng Cho Bài Toán Nhận Dạng Của Người Câm, Khoa Công nghệ Thông Tin, trường ĐH KHTN TP.HCM, naêm 2005 [28] WILLIAM K PRATT, Digital Image Processing Book, PixelSoft, Inc Los Altos, California Chuyên ngành: Tự Động Hóa 107 HVTH: Trần Mạnh Sơn Luận văn Cao học GVHD: GVC TS Nguyễn Đức Thành LÝ LỊCH TRÍCH NGANG Họ tên: TRẦN MẠNH SƠN Phái: Ngày tháng năm sinh: Nơi sinh:THANH HÓA Chuyên ngành: 12/09/1982 TỰ ĐỘNG HOÁ Nam Mã số: 605260 Địa liên lạc: 539/2 Lũy Bán Bích, P.Phú Thạnh, Q.Tân Phú– Tp.HCM QUÁ TRÌNH ĐÀO TẠO: 2000 - 2005: Học Đại học Sư phạm Kỹ thuật Tp.HCM - chuyên ngành Điện – Điện tử 2007 - 2009: Học Sau Đại học Đại học Bách Khoa Tp.HCM - chuyên ngành Tự Động Hoá QUÁ TRÌNH CÔNG TÁC: 2005 - Nay: Giảng viên trường Cao Đẳng Công nghệ Thông tin TP.HCM Chuyên ngành: Tự Động Hóa 108 HVTH: Trần Mạnh Sơn A Thuật toán tìm Eigenfaces • Bước 1: Chuẩn bị sở liệu Trong bước này, khuôn mặt ứng với cảm xúc khác nhằm tạo thành tập huấn luyện (R) chuẩn bị • Bước 2: Tính tốn hình ảnh trung bình Tính tốn hình ảnh trung bình luyện cho hình ảnh tập huấn Với M số hình ảnh tập huấn luyện • Bước 3: Trừ hình ảnh tập huấn luyện cho hình ảnh trung bình: Nhằm thu tập hình ảnh sai lệch R’, hình ảnh kí hiệu • Bước 4: Tính ma trận hiệp phương sai C theo cơng thức: Trong đó, A ma trận A = [ ] • Bước 5: Tính tốn trị riêng, vector riêng ma trận hiệp phương sai C Trong bước này, ta thực việc tính tốn trị riêng vector riêng ma trận hiệp phương sai C Các trị riêng này, Eigenface nên chuẩn hóa nhằm trở thành vector đơn vị Thuật tốn tính tốn trị riêng ma trận hiệp phương sai không người viết nêu hầu hết ngôn ngữ lập trình cho lĩnh vực xử lí ảnh MATLAB hay OpenCV hỗ trợ hàm sẵn, ta cần gọi để thực Kết tính tốn cho ta tập vector riêng U • Bước 6: Tính tốn phần tử chủ yếu (Principal Component) Từ tập vector riêng (U) tính tốn bước 5, ta giữ lại tập U’ chứa vector riêng ứng với trị riêng lớn Trị riêng lớn, có nhiều đặc điểm khn mặt mà vector riêng tương ứng chứa Các eigenface ứng với trị riêng nhỏ bỏ qua chúng chứa đựng đặc điểm khuôn mặt Sauk hi chọn tập U’, việc huấn luyện hồn tất • Bước 6*: Cải thiện thuật toán gốc Trong bước 5, ta gặp phải khó khăn lớn ma trận hiệp phương sai C có kích thước N2 xN2 Do đó, ma trận có N2 trị riêng N2 vector riêng Nghĩa với hình ảnh 256x256, ma trận hiệp phương sai có kích thước 65536x65536 đó, phải tính 65536 Eigenface Vì bước thay bước sau theo thuật toán Turk Pentland o Xét ma trận (ma trận MxM, vớ M số hình ảnh R) thay có kích thước N2xN2 ma trận o Ta có nhận xét, trị riêng vector riêng ma trận thỏa mãn quan hệ o Nhân vế cho ma trận A, ta có Đặt Khi vector riêng ma trận hiệp phương sai o Ma trận có tối đa M trị riêng vector riêng, trị riêng ma trận ứng với trị riêng lớn ma trận hiệp phương sai o Nhờ đó, ta phải tính M trị riêng vector riêng sau đó, nhân vector riêng cho ma trận A để thu vector riêng thay tính N2 trị riêng Nhờ đó, số lượng phép tính giảm xuống tốc độ tính tốn cải thiện đáng kể • Bước 7: Tính vector trọng số cho hình ảnh tập huấn luyện Vector trọng số vector cột có dạng: (9) Trong đó, số i nhằm để hình ảnh thứ i tập huấn luyện (i= trọng số hình ảnh thứ i so với eigenface thứ k 1,2,…M) chọn bước 6* Khi đó, hình ảnh thứ I biểu diễn sau M Xem lại công thức trên, dường θ i = ψ + ∑ wki u k (10) k =1 Các trọng số tính theo cơng thức (11) Với k = 1,2…M (với k số eigenface) Cuối vector B chuẩn hóa theo chuẩn cho: Thuật toán phân loại hình ảnh phương pháp Eigenfaces Trong phần trình bày việc phân loại hình ảnh sử dụng việc so sánh khoảng cách Euclide Việc phân loại hình ảnh mạng Neuron trình bày chương VII Q trình phân loại cho hình ảnh Mnew thực qua ba giai đoạn sau: • Bước 1: Tính sai lệch Mnew hình ảnh trung bình tập huấn luyện • Bước 2: Phân tích hình ảnh sai lệch theo Eigenfaces tìm , biểu diễn giống công thức (10) Công thức giống với công thức số (10) Trong đó, trị riêng thu bước huấn luyện Vector trọng số , biểu diễn giống công thức (9) Được xác định bởi: , cách xác định giống (11) Sau đó, ta chuẩn hóa vector trọng số theo chuẩn cho • Bước 3: Nhận diện khoảng cách Euclide sau: Tính “khoảng cách” hình ảnh Mnew hình ảnh ban đầu tập huấn luyện cách tính chuẩn ma trận (Với I số hình ảnh thứ i tập huấn luyện) Cơng thức: Chọn hình ảnh tập huấn luyện cho diện định C bé với hình ảnh đưa vào nhận Nhược điểm việc sử dụng phương pháp Eigenfaces Phương pháp Eigenface có số nhược điểm Các nhược điểm ảnh hưởng lớn đến kết nhận diện Chính vậy, can kết hợp với kó thuật khác để giảm thiểu ảnh hưởng điều kiện không mong muốn Các nhược điểm kể sau: • Điều kiện ánh sáng lúc xây dựng sở liệu lúc nhận dạng phải đạt đïc kết nhận dạng tốt • Mặt phải thẳng, không nghiêng, không quay • Kích thước mặt phải không thay đổi nhiều lúc xây dựng sở liệu lúc nhận dạng • Ảnh hưởng yếu tố khác khuôn mặt lớn đến kết nhận dạng Điều dễ nhận thấy hình ảnh khuôn mặt, khuôn mặt, yếu tố khác tóc, râu, quần áo, phần phía sau (do mặt thườnng trích Haar nên có phần phía sau sót lại) Nếu phía sau phức tạp, độ xác việc nhận dạng bị suy giảm đáng kê D Đề xuất biện pháp khắc phục nhược điểm eigenface • Để khắc phục ảnh hưởng yếu tố độ sáng, ta phải thực tốt việc kiểm soát ánh sáng lúc xây dựng sở liệu lúc nhận dạng • Để khắc phục tình trạng mặt bị ảnh hưởng phép biến đổi similar quay, tịnh tiến, tỉ lệ Ta sử dụng phương pháp mô hình để đưa mặt mặt chuẩn hoá (chuan kích thước có hướng trực diện) ... Xúc Mặt Người Trong Thời Gian Thực Nhận Dạng Ảnh Tónh theo sơ đồ sau: Webcam Nhận dạng mặt người Nhận dạng cảm xúc Hiển thị kết Ảnh từ file Hình Hệ thống nhận dạng cảm xúc tự động theo thời gian. .. cử người Để thực ý tưởng đó, đòi hỏi tạo cho Robot Hệ Thống Tự Động Nhận Biết Cảm Xúc Mặt Người Hệ thống tự động nhận dạng mặt người dòng video thực tiếp tục nhận dạng cảm xúc mặt người thời gian. .. vực nhận dạng mặt người cảm xúc gương mặt CÁC CÔNG TRÌNH NGHIÊN CỨU TRONG NƯỚC: 1.1 Luận văn: “Các phương pháp nhận dạng mặt người? ?? : Theo [2], tác giả giới thiệu phương pháp nhận dạng mặt người