Nhận dạng trạng thái mặt dùng PCA và mạng neural

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN VĂN TRINH NHẬN DẠNG TRẠNG THÁI MẶT DÙNG PCA VÀ MẠNG NEURAL Chuyên ngành: Điều Khiển Học Kỹ Thuật Mã ngành: 2.05.01 LUẬN VĂN THẠC SỸ Tp Hồ chí minh, tháng 11 năm 2007 CƠNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học: TS NGUYỄN ĐỨC THÀNH Cán chấm nhận xét 1:………………………………………… Cán chấm nhận xét 2:………………………………………… Luận văn thạc sỹ bảo vệ tại: HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SỸ TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày… tháng năm… TRƯỜNG ĐẠI HỌC BÁCH KHOA PHÒNG ĐÀO TẠO SĐH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP – TỰ DO – HẠNH PHÚC NHIỆM VỤ LUẬN VĂN THẠC SỸ Họ tên học viên: Trần Văn Trinh Ngày, tháng, năm sinh: 20/08/76 Chuyên ngành: Điều Khiển Học Kỹ Thuật ITÊN ĐỀ TÀI: Phái: nam Nơi sinh: VĨNH LONG MSHV: 01504384 NHẬN DẠNG TRẠNG THÁI MẶT DÙNG PCA VÀ MẠNG NEURAL II- NHIỆM VỤ VÀ NỘI DUNG • Nghiên cứu thuật tốn phân tích thành phần (PCA) áp dụng cho tốn trích đặc trưng trạng thái mặt • Nghiên cứu mạng Perceptron nhiều lớp áp dụng cho phân loại trạng thái mặt • Kết hợp kết nghiên cứu thực toán nhận dạng trạng thái mặt IIIIVV- Ngày Giao Nhiệm Vụ: Ngày Hoàn Thành Nhiệm Vụ: Cán hướng dẫn: TS NGUYỄN ĐỨC THÀNH CÁN BỘ HƯỚNG DẪN CN BỘ MÔN QL CHUYÊN NGÀNH Nội dung đề cương luận văn thạc sỹ hội đồng chuyên ngành thông qua TRƯỞNG PHÒNG ĐT – SĐH Ngày tháng năm 2007 TRƯỞNG KHOA QL NGÀNH LỜI CẢM ƠN Tôi xin chân thành gời đến tồn thể Q Thầy Cơ Khoa Điện – Điện Tử nói chung , Bộ Mơn Điều Khiển Tự Động nói riêng lời cảm ơn chân thành Quý thầy cô truyền đạt cho kiến thức chuyên môn kinh nghiệm học tâp vô quý báu phong phú suốt thời gian học trường Tôi xin gởi đến thầy TS Nguyễn Đức Thành lời cảm ơn chân thành Thầy hướng dẫn tơi tận tình suốt thời gian qua Những tài liệu bổ ích mà thầy cung cấp lời khun, góp ý vơ quý báo giúp e hoàn thành tốt luận văn Xin cảm ơn tất bạn động viên, giúp đỡ trao đổi kiến thức giúp tơi hồn thành luận văn Cuối xin tỏ lòng biết ơn sâu sắc tới gia đình tơi hết lịng ủng hộ động viên thời gian qua Tp HCM ngày 31 tháng 10 năm 2007 Học viên TRẦN VĂN TRINH TÓM TẮT LUẬN VĂN Trong luận văn này, chúng tơi trình bày phương pháp phân loại trạng thái mặt offline không giám sát, không phụ thuộc vào vị trí đặt trưng mắt, miệng, mũi, phân loại bảy trạng thái mặt bản: vui, buồn, giận, phẩn nộ (hay ghê tởm), ngạc nhiên, sợ hãi, tự nhiên Sử dụng PCA giai đoạn tiền xử lý để trích đặc trưng làm giảm số chiều ảnh giữ lại thành miêu tả tập mẫu cách xếp vectơ riêng (các thành phần chính) theo thứ tự cho trị riêng giảm dần Vì vectơ riêng ứng với trị riêng cao sở hữu nhiều đặc trưng miêu tả tập mẫu Do đó, thành phần ứng với trị riêng nhỏ bỏ qua Vectơ đặc trưng dùng làm ngõ vào để mạng perceptron nhiều lớp với số học thích nghi để huấn luyện phân loại Trong phần thí nghiệm đánh giá khả nhận dạng hệ thống đạt từ 78% đến 95% tùy theo cấu trúc mạng tập ảnh mẫu Tập ảnh mặt làm sở liệu lấy từ JAFFE ABSTRACT We propose an algorithm for offline and unsupervised facial expression recognition which can classify the given image into one of the seven basic facial expression categories (happiness, sadness, fear, surprise, anger, disgust and neutral) In the reprocessing phase, PCA is used for dimensionality reduction in input data while retaining those characteristics of the data set that contribute most to its variance, by keeping lower-order principal components and ignoring higher-order ones Such loworder components contain the "most important" aspects of the data Because The higher the eigenvalue, the more characteristic features of a face does the particular eigenvector describe Eigenfaces with low eigenvalues can be omitted, as they explain only a small part of characteristic features of the faces The extracted feature vectors in the reduced space are used to train the supervised Neural Network classifier In the experiments for performance evaluation the networks achieved a recognition rate equal to 78 % and 95% dependently on structuring multyplayer perceptron neural network and different sets of facial images A constructive procedure is detailed and the system performance is evaluated on a public database “Japanese Females Facial Expression (JAFFE).” Mục lục Trang Mục lục Chương 1: GIỚI THIỆU NHẬN DẠNG TRẠNG THÁI MẶT ………… Chương 2: TỔNG QUAN VỀ XỬ LÝ ẢNH……………… … …….….2 2.1 2.1.1 2.1.2 2.2 Các lọc khơng gian Lọc tuyến tính Lọc phi tuyến Tách biên đối tượng Chương 3: CÁC KHÁI NIỆM CƠ BẢN NHẬN DẠNG MẶT…………… 3.1 3.2 3.3 3.4 Giới thiệu Hệ thống nhận dạng mặt Nhận dạng mặt dựa trên đặc trưng Nhận dạng mặt dựa PCA Chương 4: NHẬN DẠNG TRẠNG THÁI MẶT……………………….……10 4.1 4.2 4.3 4.4 4.5 4.6 Giới Thiệu Cơ Sở Toán Học Thống Kê Vectơ riêng – trị riêng – không gian riêng Giảm số chiều phương pháp mặt riêng Xây dựng ảnh từ mặt riêng Xây dựng lại trạng thái mặt với PCA Chương 5: MẠNG NEURON CHO NHẬN DẠNG TRẠNG THÁI MẶT… 26 5.1 5.2 5.3 5.3.1 5.3.2 5.3.3 5.4 Giới Thiệu Tế bào thần kinh mạng thần kinh nhân tạo Mạng truyền thẳng lớp (mạng perceptron đơn giản) Luật học Perceptron Luật học suy giảm độ dốc luật học Delta Đạo hàm luật học suy giảm độ dốc Mạng perceptron nhiều lớp thuật toán lan truyền ngược Mục lục Chương 6: KẾT QUẢ THÍ NGHIỆM……………………………………… 51 6.1 Cơ sở liệu 6.2 Cấu trúc mạng neural 6.3 Kết thí nghiệm Kết luận Hướng phát triển đề tài Tài liệu tham khảo CHƯƠNG 1: GIỚI THIỆU NHẬN DẠNG TRẠNG THÁI MẶT Nhận dạng trạng thái mặt trở nên quan trọng nhiều lĩnh vực từ nhận diện tội phạm, bảo mật, đến giao tiếp người – máy, làm cho thiết bị điện tử trở nên thân thiện hơn.Ví dụ như, xây dựng hệ thống robot nhận diện trạng thái tâm lý chủ nhân sau đưa lời khuyên chia sẻ,… Nhận dạng trạng thái mặt chia làm hai loại nhận dạng dựa ảnh tĩnh ảnh động, ảnh động cho ta nhiều thông tin nên lấy mẫu nhiều khung ảnh liên tiếp cịn ảnh tĩnh thu thập đặc trưng số lượng ảnh có hạn địi hỏi nhiều thời gian xử lý lượng ảnh tĩnh lớn Các phương pháp ước lượng lưu lượng quang ( optical flow), phân tích đặc trưng khơng gian (spatial feature analysis), phân tích lọc cục ( local filter) [2-13] Yacoop Davis [12] dùng phương pháp lưu lượng quang để bám theo thay đổi đặc trưng mặt ảnh động phân loại thành loại trạng thái (vui, ngạc nhiên, giận, sợ hãy, buồn, phẩn nộ) Tỷ lệ nhận dạng đạt từ 80% đến 94% Barlett [2] kết hợp phương pháp lưu lượng quang PCA nhận dạng trạng thái mặt Rosenblum [8,9] phát triển mạng neural RBF , trích đặc trưng sử dụng phép biến đổi cosine rời rạc cho toàn ảnh mặt Tỷ lệ nhận dạng tốt đạt 88% Otsuka Ohya [7] đưa mơ hình nhận dạng mặt cách kêt hợp HMM( hidden Markov Model) lưu lượng quang sau ước lượng trạng thái mặt từ ảnh động FACS ( facial action coding system) Ekman Friesen đưa sử dụng rộng rãi để miêu tả trạng thái mặt Mase[6] đưa phương pháp FACS + hệ thống mã hóa, phân tích nhận dạng trạng thái mặt Nghiên cứu ảnh chủ yếu tập trung tính chuyển động mặt tương ứng với đơn vị tác động AU(action units) Tian[10] xây dựng hệ thống tự động phân tích mặt dưa các đặc trưng tĩnh động, với tỷ lệ nhận dạng đạt khoảng 96% Donato [15] cung cấp chi tiết kỹ thuật nhận dạng trạng thái mặt gần dựa ảnh động hệ thống mã hóa FACS, Nhận dạng trạng thái mặt dựa ảnh tĩnh tốn khó so với ảnh động ảnh tĩnh chứa thơng tin ảnh động Cottrel Metcalfe[17] áp dụng mạng neural lan truyền ngược PCA để nhận dạng trạng thái mặt, gen từ ảnh tĩnh Phương pháp tương tự đưa Padgett Cottrell [18] tỷ lệ nhận dạng cải thiện đạt 84% Matsuno[19] nhận dạng dựa thơng số tính trước phân loại trạng thái bản: vui, buồn, giận, ngạc nhiên Chen Huang đưa thuật toán phân tích biệt thức tuyến tính LDA(linear discriminate analysis) trình bày phương pháp trích đặc trưng nhóm (clustering) Tỷ lệ nhận dạng cao khoảng 86% Ma khorasami nhận dạng dùng mạng neural nuôi tiến với kỹ thuật Pruning, tỷ lệ nhận dạng cho trạng thái vui, giận, ngạc nhiên, phẩn nộ đạt gần 95% Các phương pháp khác lọc gabor wavelet, phân tích biệt thức tuyến tính, so sánh vị trí điểm đặc trưng, đươc trình bày [5, 21-23] Trong luận văn tập trung nhận dạng sáu trạng thái mặt bản: buồn, vui, giận, phẩn bộ, ngạc nhiên, sợ hãi tự nhiên Trình tự xây dựng trình bày chi tiết, hệ thống phân loại khơng giám sát đánh giá dựa cở sở liệu chung “Japanese Females Facial Expression (JAFFE)” Ví dụ hình 1: Thể trạng thái lấy từ sở liệu JAFFE Tự nhiên -hạnh phúc–ngạc nhiên –buồn - giận – sợ - phẩn nộ Hình 1: Các trạng thái Chương 2: TỔNG QUAN VỀ XỬ LÝ ẢNH Xử lý ảnh mảng quan trọng kỹ thuật nhận dạng ảnh nhận dạng đối tượng, tiền đề cho nghiên cứu xây dựng hệ thống giao tiếp người máy Hai nhiệm vụ trình xử lý ảnh nâng cao chất lượng thơng tin hình ảnh xử lý số liệu cung cấp cho q trình khác có việc xử lý hình ảnh thơ ban đầu thành dạng chuẩn để nhận dạng xác Đã có bhiều cơng trình nghiên cứu từ năm 1920 tới xử lý ảnh góp phần thúc đẩy lĩnh vực phát triển khơng ngừng q trình việc thu thập ảnh nguồn ( ảnh từ thiết bị thu ảnh dạng số tương tự) gửi đến máy tính Dữ liệu ảnh lưu trữ dạng định dạng phù hợp với trình xử lý Người lập trình xây dựng thuật tốn phù hợp lên liệu ảnh nhằm thay đổi cấu trúc ảnh phù hợp với ứng dụng khác Với mục tiêu hướng đến luận văn nhận dạng trạng thái mặt dùng thuật toán PCA mạng Neural khâu xử lý ảnh phải khâu tốn 2.1 Các Bộ Lọc Khơng Gian Trong q trình xử lý ta sử dụng mặt nạ không gian nhằm làm thay đổi cấu trúc ảnh gọi lọc khơng gian Có hai loại lọc không gian lọc không gian tuyến tính lọc khơng gian phi tuyến 2.1.1 Lọc tuyến tính Lọc tuyến tính có hàm dịch, hàm xung hàm phân tán điểm biến đổi Fourier ngược lọc thông thấp làm suy giảm loại trừ thành phần có tần số cao miền Fourier cho tần số thấp qua.Các thành phần tần số cao đặc trưng cho biên, chi tiết làm nét ảnh, hiệu lọc thơng thấp lam nhịe ảnh ngược lại với lọc thông thấp, lọc thông cao làm Hình minh họa cực tiểu cục tồn cục 50 Chương 6: KẾT QUẢ THÍ NGHIỆM Trong phần này, đánh giá khả nhận dạng hệ thống PCA mạng Perceptron nhiều lớp 6.1 Cơ Sở Dữ Liệu Để xây dựng mẫu ảnh mặt cho huấn luyện nhận dạng có tính khoa học cao khó tốn nhiều chi phí tập huấn luyện phải nói lên tính xác trạng thái muốn phải qua đánh giá tâm lý chuyên gia phải cần nhiều người làm mẫu người mẫu phải có khả diễn đạt trạng thái tâm lý khác nhau, Do đó, phần lớp tác giả chọn phương án sử dụng sở liệu đánh giá sở chung để so sánh kết nhà nghiên cứu khác Trong luận văn sử dụng tập mẫu từ JAFFE Cơ sở liệu trạng thái mặt JAFFE (Japanese Female Facial Expression) (http://www.kasrl.org/jaffe.html) sử dụng cho huấn luyện kiểm tra gồm 213 ảnh khác 10 cô gái người Nhật, người có trạng thái ảnh tự nhiên, trạng thái có từ ba đến bốn kiểu ảnh Với tập huấn luyện chia làm hai phần sau: • Phần lấy ngẫu nhiên tất trạng thái khoảng 76 ảnh dùng cho huấn luyện • Phần cịn lại để kiểm tra đánh giá hệ thống Ví dụ: Trạng thái vui người có kiểu sau: Hoặc trạng thái sợ hãi gồm ảnh sau: 51 Do ta chọn mẫu cách ngẫu nhiên nên trạng thái chọn hay nhiều ảnh khơng có ảnh Cuối ta lấy 76 ảnh cho huấn luyện, lại 137 ảnh để kiểm tra đánh giá 6.2 Cấu trúc mạng neural Chọn mạng perceptron hai lớp, lớp ẩn lớp để phân loại ảnh trạng thái mặt không gian riêng trích PCA khảo sát phần trước Cấu trúc mạng minh họa hình 6.2 Hình 6.2: Minh họa cấu trúc mạng perceptron cho phân loại 52 Lớp thứ có nhiệm vụ giảm số chiều phi tuyến không gian đặc trưng, cách thay đổi số neural lớp ẩn lớp thứ hai tạo định thống kê dựa tập liệu ngõ lớp ẩn Mỗi neural ngõ trạng thái vậy, hệ thống gồm bảy neural ngõ Mỗi ngõ cho ta ước lượng sác xuất ảnh vào thuộc trạng thái Ưu điểm mạng perceptron nhiều lớp so với mạng khác tính ổn định Trước tiên chúng tơi chia tập huấn luyện thành bảy lớp (sáu trạng thái trạng thái tự nhiên) Sau tính vectơ riêng (vectơ đặc trưng) ma trận hiệp phương sai C tập liệu huấn luyện Tiếp theo, thu thập thành phần (dùng PCA) ảnh tập huấn luyện cho mạng Để kiểm tra ảnh, chiếu vào khơng gian mặt riêng Sau đó, vectơ ánh xạ rút đưa đến ngõ vào mạng Vì vậy, ngõ mạng ảnh kiểm tra thuộc trạng thái Chọn hàm tansig cho lớp ẩn hàm purelin cho lớp ra: Hình 6.1 Hàm tansig (sigmoid) hàm purline • Lớp thứ gồm n (chọn sau) neural có hàm tác động ngõ tansig • Lớp thứ hai gồm neural ứng với trạng thái mặt có hàm tác động ngõ purelin 53 • Tập mẫu cho huấn luyện lấy từ vectơ đặc trưng ảnh trích thuật tốn PCA Với tập huấn luyện có 76 vectơ đặc trưng ứng với 76 ảnh, ảnh lấy khoảng 76 đặc trưng • Thuật tốn huấn luyện dùng thuật toán lan truyền ngược dùng hàm traingde: - Hàm tranigde hàm huấn luyện mạng cập nhật trọng số giá trị bias theo luật học độ dốc suy giảm với số học thích nghi 6.3 Thí Nghiệm 6.3.1 Trình tự thí nghiệm Chạy chương trình “nhandangtrangthaimat” xuất menu hướng dẫn sau: Trong thẻ ‘CHON ANH’ dùng chọn ảnh cho huấn luyện kiểm tra Thẻ ‘THEM VAO CS DU LIEU’ để thêm ảnh vào sở liệu Thẻ ‘XEM CS DU LIEU’ để kiểm tra lại ảnh sở liệu Thẻ ‘ NHAN DANG TRANG THAI MAT’ chương trình nhận dạng bắt đầu Thẻ ‘ XĨA CS DU LIEU’ xóa sở liệu có Thẻ ‘ THOAT’ chương trình nhận dạng 6.3.2 Thí nghiệm 54 Chương trình huấn luyện phân loại máy tính notebook dual-core, 1.73, Ram 512 Chia làm hai trường hơp: Trường hợp Với số neural lớp ẩn 50 • Hằng số momentum = 0,95 • Giá trị mục tiêu 0.000000001 • Huấn luyện với 10 tập mẫu khác trích ngẫu nghiên từ sở liệu ảnh JAFFE trình bày Thời gian phân loại cho ảnh mặt gần phút Hình 6.1 Đồ thị huấn luyện nhận dạng trạng thái mặt Kết đánh giá qua 10 tập mẫu: Trạng Tự thái nhiên Vui Giận Buồn Phẩn nộ Sợ hãi Ngạc nhiên Nhận dạng 95% 90% 91% 93% 91% 90% 90% Trung bình Lớn 90% 55 Trường hơp Với số neural lớp ẩn 30 • Hằng số momentum = 0.95 • Giá trị mục tiêu 0.001 • Huấn luyện với 10 tập mẫu khác trường hợp Thời gian phân loại cho ảnh nhanh thật bất ngờ gần real time (80% Trường hợp 3: 56 Các thông số mạng trường hợp ảnh để kiểm tra lấy từ ảnh khơng có tập huấn luyện Kết nhận dạng trung bình khoảng 78% Như vậy, với nhiều thí nghiệm khác Chứng minh khả nhận dạng hệ thống tốt phụ thuộc thơng số sau: • Số mẫu huấn luyện ( nhiều xác cao) • Số lớp ẩn mạng • Giá trị mục tiêu 57 KẾT LUẬN Mục tiêu luận văn nghiên cứu ứng dụng thuật toán PCA vào tốn trích đặc trưng ảnh mạng neural để phân loại trạng thái mặt người Tuy nhiên, toán nhận dạng trạng thái mặt tốn vơ rộng lớn khó phạm vi luận văn, tác giả giải vấn đề đặt nhiệm vụ luận văn sau: • Nghiên cứu thuật tốn phân tích thành phần (PCA) áp dụng cho tốn trích đặc trưng trạng thái mặt • Nghiên cứu mạng Perceptron nhiều lớp áp dụng cho phân loại trạng thái mặt • Kết hợp kết nghiên cứu thực toán nhận dạng trạng thái mặt Kết đạt luận văn xây dựng thuât toán PCA làm giai đoạn tiền xử lý trích vectơ đặc trưng gồm thành phần của tồn ảnh mặt, sau dùng vectơ làm ngõ vào cho mang huấn luyện Kết đạt tương đối khả quan ứng với mẫu chọn Tuy nhiên, với cách chọn ngẫu nhiên khác kết khơng khác nhiều ngồi thời gian huấn luyện nhiều hay phụ thuộc vào số mẫu nhiều hay it Mặc dù luận văn nhiều hạn chế: - Thứ để đạt độ xác cao phải cần nhiều thời (gần phút) - Thứ hai hệ thống nhận dạng u cầu máy có cấu hình cao - Cuối hệ thống nhận dạng tập mẫu có sẳn, chưa nhận dạng online 58 HƯỚNG PHÁT TRIỂN ĐỀ TÀI Từ hạn chế khách quan chủ quan đề tài, tác giả xin đề nghị số hướng phát triển đề tài sau: - Hồn thiện chương trình trích đặc trưng dùng PCA kết hợp với lọc nhiều chiều Gabor chẳng hạn, - Hoàn thiện giải thuật học phân loại trạng thái thuật tốn lan truyền ngược cịn có số hạn chế hội tụ trình bày - Xây dựng hệ thống nhận dạng online để: • Xây dựng hệ thống nhận dạng tâm lý • Ứng dụng chuẩn bệnh y khoa cách nhận dạng trạng thái bệnh quan thể • Xây dựng hệ thống thơnh minh giao tiếp người – máy, • Các robot phục vụ người gia, người độc thân, 59 Tai liệu tham khảo Z Duric, W Gray, R Heishman, F Li, A Rosenfeld, M Scholles, C Schunn, and H Wechsler, “Integrating perceptual and cognitive modeling for adaptive and intelli-gent human computer interaction,” in Proceedings of the IEEE, Vol 90, 2002, pp 1272- 1289 M Bartlett, P Viola, T Sejowski, L Larsen, J Hager, and P Ekman, “Classifying facial action,” in M Mozer, D S Touretzky, and M Hasselmo, (eds.), Advances in Neural Information Processing Systems, Vol 8, The MIP Press, 1996, pp 823-829 A Colmenarez, B Frey, and T S Huang, “Embedded face and facial expression recognition,” in Proceedings of the International Conference on Image Processing, Vol 1, 1999, pp 633-637 I Essa and A Pentland, “Coding, analysis, interpretation, and recognition for facial expressions,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 19, 1997, pp 757-763 T Kurozumi, Y Shinza, Y Kenmochi, and K Kotani, “Facial individuality and expression analysis by eigenspace method based on class features or multiple dis-criminant analysis,” in Proceedings of the International Conference on Image Proc-essing, Vol 1, 1999, pp 648-652 K Mase, “Recognition of facial expression from optical flow,” IEICE Transactions, Vol E74, 1991, pp 3474-3483 K Mase, “Recognizing multiple persons’ facial expressions using HMM based on automatic extraction of significant frames from image sequences,” in Proceedings of the International Conference on Image Processing, Vol 2, 1997, pp 546-549 60 M Rosenblum, Y Yacoob, and L Davis, “Human emotion recognition from motion using a radial basis function network architecture,” in Proceedings of the IEEE Workshop on Motion of Non-Rigid and Articulated Objects, 1994, pp 43-49 M Rosenblum, Y Yacoob, and L Davis, “Human expression recognition from motion using a radial basis function network architecture,” IEEE Transactions on Neural Networks, Vol 7, 1996, pp 1121-1138 10 Y L Tian, T Kanade, and J Cohn, “Recognizing action units for facial expression analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 23, 2001, pp 97-115 11 Y Yacoob and L Davis, “Recognizing human facial expression from long image sequences using optical flow,” IEEE Transactions on Annual Machine Intelligence, Vol 16, 1994, pp 636-642 12 Y Yacoob, H M Lam, and L S Davis, “Recognizing faces showing expressions,” in Proceedings of the International Workshop on Automatic Face and Gesture Recognition, 1995, pp 278-283 13 D Yang, T Kunkhiro, H Shimoda, and H Yoshikawa, “A study of real-time image processing method for treating human emotion by facial expression,” in Proceedings of the IEEE International Conference on Systems, Man and Cybernetics, Vol 2, 1999, pp 360364 14 P Ekman and W Friesen, The Facial Action Coding System, Consulting Psychologists Press, Palo Alto, CA, 1965 15 G Donato, M Bartlett, J Hager, P Ekman, and T Sejnowski, “Classifying facial actions,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 21, 1999, pp 974-989 61 16 X W Chen and T Huang, “Facial expression recognition: a clustering-based approach,” Pattern Recognition Letter, Vol 24, 2003, pp 1295-1302 17 G Cottrell and J Metcalfe, “EMPATH: face, gender, and emotion recognition using hoons,” in J Moddy, R P Lippman, and D S Touretzky, (eds.), Advances in Neural Information Processing Systems, Vol 3, 1991, pp 564-571 18 C Padgett and G Cottrel, “Identifying emotion in static face images,” in The Second Joint Symposium of Neural Computation, Vol 5, 1995, pp 91-101 19 K Matsuno, C Lee, and S Tsuji, “Recognition of human facial expressions without feature extraction,” in Proceedings of the European Conference on Computer Vision, 1994, pp 513-520 20 L Ma and K Khorasani, “Facial expression recognition using constructive feedforward neural network,” IEEE Transactions on Systems, Man, and Cybernetics – Part B: Cybernetics, Vol 34, 2004, pp 1588-1559 21 M Lyons, J Budynek, and S Akamatsu, “Automatic classification of single facial images,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 21, 1999, pp 1357-1362 22 K Matsuno and S Tsuji, “Recognizing human facial expressions in a potential field,” in Proceedings of the 12th IAPR International Conference on Pattern Recognition, Vol 2, 1994, pp 44-49 23 Y Shinza, Y Saito, Y Kenmochi, and K Kotani, “Facial expression analysis by integrating information of feature-point positions and gray levels of facial images,” in Proceedings of the IEEE 62 International Conference on Image Processing, Vol 1, 2000, pp 466469 24 S Carey and R Dimond, “From piecemeal to configurational representation of faces,” Science, Vol 195, 1997, pp 312-313 25 Machine Learning, Tom M Mitchell 25 Neural Networks for Pattern Recognition, Christopher M Bishop 26 Statistical Pattern Recognition, Andrew R Webb 27 Handbook of Face Recognition, Stan Z Li Anil K Jain 28 Face Recognition using Principle Component Analysis, Kyungnam Kim 29 M.A Turk and A.P Pentland, “Face Recognition Using Eigenfaces”, IEEE Conf on Computer Vision and Pattern Recognition, pp 586591, 1991 30 K I Diamantaras and S Y Kung, “Principal Component Neural Networks: Theory and Applica-tions”, John Wiley & Sons,Inc., 1996 31 A Tutorial on Principal Component Analysis, Jonathon Shlens 32 Face Recognition using Eigenfaces and Neural Networks, Mohamed Rizon 33 Kirby et al., 1990 Application of the Karhunen-Loeve procedure for the characterization of human faces EEE Trans Pattern Analysis and Machine Intelligence, 12: 103-108 34 FACE RECOGNITION USING EIGENFACES, M Sc THESIS 35 Artificial Neural Network-Based Face Recognition, Dr Boukelif Aoued 36 Eigenface-based facial recognition, Dimitri PISSARENKO, December 1, 2002 63 37 A Study of the Eigenface Approach for Face Recognition, Tat-Jun Chin and David Suter 38 Face Recognition: A Comparison of Appearance-Based Approaches, Thomas Heseltine 39 Principal Component Analysis, Second Edition, I.T Jolliffe 40 An Improved Backpropagation Method with Adaptive Learning Rate, V.P Plagianakos, D.G Sotiropoulos, and M.N Vrahatis 41 Stochastic Supervised Learning Algorithms with Local and Adaptive Learning Rate for Recognising Hand-written Characters, M Giudici , F Queirolo and M Valle 42 Recognition of Mixed Facial Expressions by Neural Network , Hiroshi KOBAYASHI and Fumio HARA 43 Feature-Based Facial Expression Recognition Experiments With a Multi-Layer Perceptron, Zhengyou Zhang 44 Real time facial expression recognition from image sequences using Support Vector Machines, I Kotsia a and I Pitasa 45 Appearance Factorization based Facial Expression Recognition and Synthesis, Bouchra Abboud, Franck Davoine 46 Authentic Facial Expression Analysis, Nicu Sebe , Michael S Lew , Ira Cohen , Yafei Sun , Theo Gevers , Thomas S Huang 47 FACE RECOGNITION USING EIGENFACES AND NEURAL NETWORKS , VOLKAN AKALIN 48 Coding Facial Expressions with GaborWavelets, Michael Lyons and Shigeru Akamatsu 64 ... CÁC KHÁI NIỆM CƠ BẢN NHẬN DẠNG MẶT…………… 3.1 3.2 3.3 3.4 Giới thiệu Hệ thống nhận dạng mặt Nhận dạng mặt dựa trên đặc trưng Nhận dạng mặt dựa PCA Chương 4: NHẬN DẠNG TRẠNG THÁI MẶT……………………….……10... 01504384 NHẬN DẠNG TRẠNG THÁI MẶT DÙNG PCA VÀ MẠNG NEURAL II- NHIỆM VỤ VÀ NỘI DUNG • Nghiên cứu thuật tốn phân tích thành phần (PCA) áp dụng cho tốn trích đặc trưng trạng thái mặt • Nghiên cứu mạng. .. khác chủ yếu dựa vào thay đổi kết cấu trạng thái mặt mắt, mũi, miệng, PCA sử dụng toàn ảnh mặt ngõ vào thơ ban đầu hệ thống nhận dạng Thuật tốn nhận dạng trạng thái mặt dựa vào diện mạo bên