nhan dang cam xuc ng dung khuon mat

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT TRƢỜNG ĐH SPKT TP HỒ CHÍ MINH NAM KHOA ĐIỆN-ĐIỆN TỬ ĐỘC LẬP - TỰ DO - HẠNH PHÚC BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH o0o -Tp HCM, ngày tháng năm 2018 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Nguyễn Thị Đài Trang MSSV: 13141378 Hà Tiến Dƣơng MSSV: 13141047 Chuyên ngành: Kỹ thuật Điện tử - Truyền thông Mã ngành: Hệ đào tạo: Đại học quy Mã hệ: Khóa: 2013 Lớp: 13141 I TÊN ĐỀ TÀI: NHẬN DẠNG CẢM XÚC KHUÔN MẶT NGƢỜI II NHIỆM VỤ Các số liệu ban đầu: (ghi thơng số, tập tài liệu tín hiệu, hình ảnh,…) Nội dung thực hiện: (ghi nội dung cần thực phần tổng quan) III NGÀY GIAO NHIỆM VỤ: IV NGÀY HOÀN THÀNH NHIỆM VỤ: V HỌ VÀ TÊN CÁN BỘ HƢỚNG DẪN: Ts Nguyễn Thanh Hải CÁN BỘ HƢỚNG DẪN BM ĐIỆN TỬ CÔNG NGHIỆP – Y SINH ii TRƢỜNG ĐH SPKT TP HỒ CHÍ MINH KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC o0o -Tp HCM, ngày tháng năm 2018 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Hà Tiến Dƣơng Lớp: 13141DT MSSV: 13141047 Họ tên sinh viên 2: Lớp: 13141DT MSSV: 13141378 Tên đề tài: NHẬN DẠNG CẢM XÚC KHUÔN MẶT NGƢỜI Tuần/ngày Xác nhận Nội dung Tuần Tìm đề tài Tuần 2,3 Nghiên cứu đề tài cũ GVHD Tìm hiểu hoạt động Arduino Matlab Tuần Cài đặt Matlab, cài Arduino, cài webcam Matlab Tuần Lập trình Arduino với chân I/O để nhúng liệu Tuần Lập trình xây dựng ảnh huấn luyện để nhận dạng Tuần Lập trình nhận dạng cảm xúc từ ảnh huấn luyện Tuần 8,9 Lập trình nhận dạng cảm xúc qua Webcam Tuần 10 Hiệu chỉnh toàn chƣơng trình Tuần 11,12 Tuần 13,14,15 Viết luận văn Chỉnh sửa, in đồ án GV HƢỚNG DẪN (Ký ghi rõ họ tên) iii LỜI CAM ĐOAN Đề tài Nguyễn Thị Đài Trang Hà Tiến Dƣơng tự thực dựa vào số tài liệu trƣớc khơng chép từ tài liệu hay cơng trình có trƣớc Ngƣời thực đề tài Nguyễn Thị Đài Trang Hà Tiến Dƣơng iv LỜI CẢM ƠN Trong thời gian thực đề tài, nhóm thực đƣợc giúp đỡ gia đình, quý thầy bạn bè nên đề tài đƣợc hồn thành Nhóm thực xin chân thành gửi lời cảm ơn đến: Thầy Nguyễn Thanh Hải, giảng viên trƣờng Đại Học Sƣ Phạm Kỹ Thuật Tp.HCM trực tiếp hƣớng dẫn tận tình giúp đỡ tạo điều kiện để nhóm hồn thành tốt đề tài Nhóm thực xin chân thành cám ơn đến thầy cô khoa Điện - Điện tử trƣờng Đại Học Sƣ Phạm Kỹ Thuật Tp.HCM tận tình dạy dỗ, bảo, cung cấp cho ngƣời thực kiến thức nền, chuyên môn làm sở để hồn thành đề tài Cảm ơn gia đình động viên luôn bên cạnh lúc khó khăn Xin gửi lời cảm ơn đến ngƣời bạn sinh viên khoa Điện-Điện tử giúp đỡ ngƣời thực đề tài để hồn thành tốt đề tài Xin chân thành cảm ơn! Ngƣời thực đề tài: Nguyễn Thị Đài Trang Hà Tiến Dƣơng v MỤC LỤC Contents NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP ii LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP .iii LỜI CAM ĐOAN iv LỜI CẢM ƠN v LIỆT KÊ HÌNH VẼ viii Chƣơng TỔNG QUAN ĐẶT VẤN ĐỀ 1.1 MỤC TIÊU 1.2 NỘi DUNG NGHIÊN CỨU 1.3 GIỚI HẠN 1.4 BỐ CỤC Chƣơng CƠ SỞ LÝ THUYẾT 2.1 PHẦN CỨNG 2.1.1 Kit Arduino 2.1.2 Kit Arduino Uno 2.1.3 PHẦN MỀM MATLAB 2.2.CÁC CẢM XÚC TRÊN KHUÔN MẶT 2.3 PHƢƠNG PHÁP NHẬN DẠNG PCA - EIGENFACES 2.3.1 Phƣơng pháp nhận dạng PCA 2.3.2 Eigenfaces nhận dạng cảm xúc khuôn mặt 2.3.3 Các bƣớc Eigenfaces 10 2.4 Các hàm xử lý matlab 15 Các hàm hiển thị ảnh matlab: 15 Chƣơng TÍNH TỐN VÀ THIẾT KẾ 18 3.1 GIỚI THIỆU 18 3.2 TÍNH TỐN VÀ THIẾT KẾ HỆ THỐNG 18 3.2.2.Thiết kế khối hệ thống 21 3.3 CÀI ĐẶT CÁC GÓI HỖ TRỢ PHẦN CỨNG CHO MATLAB 22 3.3.1 Kết nối Arduino với Matlab 22 3.3.2 Cài đặt Camera cho Matlab 25 vi Chƣơng THI CÔNG HỆ THỐNG 26 4.1 GIỚI THIỆU 26 4.2 THI CÔNG HỆ THỐNG 26 4.3 LẬP TRÌNH HỆ THỐNG 28 4.4 VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC 32 4.4.1 Tài liệu hƣớng dẫn sử dụng 32 Chƣơng KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ 36 5.1 KẾT QUẢ 36 5.1.1 Tổng quan kết đạt đƣợc 36 5.1.2 Kết thực tế 36 5.2 NHẬN XÉT VÀ ĐÁNH GIÁ 42 Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 44 6.1 KẾT LUẬN 44 6.2 Ƣu nhƣợc điểm 44 6.3 HƢỚNG PHÁT TRIỂN 45 PHỤ LỤC 47 Hàm train 47 Chƣơng trình lấy mẫu đầu vào 48 Giao diện chƣơng trình 49 Chƣơng trình mơ 52 vii LIỆT KÊ HÌNH VẼ Hình Trang Hình 2.1: Cấu trúc phần cứng Arduino Uno Hình 2.2: Cấu trúc phần cứng Arduino Uno 12 Hình 2.3: Lấy ảnh đầu vào 16 Hình 2.4: Ảnh tập mẫu 17 Hình 3.1 Sơ đồ khối hệ thống 20 Hình 3.2 Sơ đồ khối trình tạo liệu huấn luyện 20 Hình 3.3 Sơ đồ khối trình nhận dạng 20 Hình 3.4 Get Hardware Support Package 23 Hình 3.5 Cửa sổ Support Package Installer 24 Hình 3.6 Giao diện cài Package cho Arduino 24 Hình 3.7 Kết nối Arduino Matlab thành cơng 25 Hình 3.8 Cài đặt Camera cho Matlab 25 Hình 4.1 Sơ đồ đấu nối dây Arduino với Servo 28 Hình 4.2 Sơ đồ đấu nối dây Arduino với led 29 Hình 4.3 Lƣu đồ chƣơng trình 30 Hình 4.4 Sơ đồ chƣơng trình nhận dạng 31 Hình 4.5 Sơ đồ chƣơng trình xử lý ảnh chụp 32 Hình 4.6 Sơ đồ chƣơng trình trích đặc trƣng 33 Hình 4.7 Khởi động phần mềm 34 Hình 4.8 Giao diện 35 Hình 4.9 Giao diện chƣơng trình mơ 36 Hình 4.10 Kết nhận đƣợc từ ảnh chụp trực tiếp 37 Hình 4.11 Kết nhận đƣợc từ ảnh chụp lƣu sẵn 37 Hình 5.1 Giao diện 38 Hình 5.2 Giao diện chƣơng trình mơ 38 Hình 5.3 Ảnh chụp để kiểm tra 39 Hình 5.4 Data ảnh huấn luyện 40 Hình 5.5 Nhận dạng thành cơng cảm xúc “vui” từ ảnh có sẵn 41 Hình 5.6 Nhận dạng thành cơng cảm xúc “buồn” từ ảnh có sẵn 41 Hình 5.7 Nhận dạng thành cơng cảm xúc “ngạc nhiên” từ có sẵn 42 Hình 5.8 Nhận dạng thành cơng cảm xúc “vui” từ webcam 42 Hình 5.9 Nhận dạng thành cơng cảm xúc “buồn” từ camera 43 viii Hình 5.10 Nhận dạng thành công cảm xúc “ngạc nhiên” từ webcam 43 Hình 5.11 Nhận dạng thành cơng cảm xúc “vui” mở cửa 44 Hình 5.12 Nhận dạng thành cơng cảm xúc “buồn” mở đèn 44 Hình 5.13 Nhận dạng thành cơng cảm xúc “ngạc nhiên” mở cửa tắt đèn 45 ix LIỆT KÊ BẢNG Bảng Trang Bảng 2.1 Thông số kỹ thuật Arduino Uno Bảng 2.2 Các hàm xử lý hình ảnh khác Matlab 17 Bảng 4.1 Danh sách linh kiện, module 27 Bảng 5.1 Thống kê kết nhận dạng từ ảnh chụp 45 Bảng 5.2 Thống kê kết nhận dạng từ camera 45 x CHƢƠNG TỔNG QUAN Chương TỔNG QUAN ĐẶT VẤN ĐỀ Trong năm gần đây, xử lý ảnh đƣợc nghiên cứu phát triển với tốc độ nhanh chóng trung tâm nghiên cứu, trƣờng đại học học viện Trong đó, nhận dạng phân loại hình ảnh lĩnh vực đƣợc theo đuổi cách tích cực Ý tƣởng cốt lỗi từ việc nhận dạng phân loại hình ảnh phân tích ảnh từ liệu thu đƣợc cảm biến hình ảnh nhƣ camera, webcam Nhờ hệ thống xử lý hình ảnh mà ngƣời giảm bớt khối công việc nhƣ tăng xác việc đƣa định liên quan đến xử lý ảnh nhiều lĩnh vực: quân quốc phòng, hệ thống kỹ nghệ hố sinh, giải phẫu, hệ thống thơng minh, robotics, hệ thống an ninh [1] Cùng với hình thức nhận dạng khác nhƣ: nhận dạng giọng nói, chữ viết, dấu vân tay, võng mạc [2], tốn nhận dạng cảm xúc khn mặt ngƣời đƣợc nhóm quan tâm ý Trên thể ngƣời có nhiều đặc điểm để nhận dạng, nhƣng khuôn mặt nơi thể nhiều trạng thái cảm xúc: vui, buồn, giận dữ, phẫn nộ Điều quan trọng xã hội thiết bị điện tử hầu nhƣ tự động hố, thơng minh, hiểu ý ngƣời mà không cần phải thiết bị điều khiển trung gian Các thuật toán nhận dạng xử lý ngày đƣợc sử dụng rộng rãi Vì từ vấn đề trên, ĐATN kiến nghị thực đề tài “Nhận diện cảm xúc khuôn mặt người” xử lý ảnh 1.1 MỤC TIÊU Xây dựng hệ thống nhận diện cảm xúc khuôn mặt cách nối board mạch Arduino với phần mềm Matlab Mơ hình nhận diện cảm xúc khuôn mặt ngƣời, đồng thời ứng với cảm xúc Arduino điều khiển trạng thái cửa đèn led Khi nhận đƣợc cảm xúc vui (cƣời) điều khiển servo mở cửa Khi buồn (không cƣời) điều khiển mở đèn Khi nhận đƣợc cảm xúc ngạc nhiên điều khiển servo đóng cửa tắt đèn BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH ... điệp từ ng? ?ời chuyển tới ng? ?ời khác, phần từ ng? ?? chiếm 7% ảnh hƣ? ?ng, 38% âm lƣ? ?ng gi? ?ng nói, ng? ?n ng? ?? thể ng? ?ời nói chiếm tới 55% ảnh hƣ? ?ng th? ?ng điệp [5] Nhận d? ?ng cảm xúc đƣợc ? ?ng d? ?ng nhiều... nh? ?ng đến Arduino đƣợc sử d? ?ng r? ?ng rãi giới ch? ?ng tỏ đƣợc hiệu th? ?ng qua vô số ? ?ng d? ?ng từ ng? ?ời d? ?ng Arduino board mạch vi xử lý đƣợc d? ?ng để tƣ? ?ng tác với thiết bị phần c? ?ng nhƣ cảm biến, đ? ?ng. .. CHƢ? ?NG T? ?NG QUAN Chư? ?ng T? ?NG QUAN ĐẶT VẤN ĐỀ Trong năm gần đây, xử lý ảnh đƣợc nghiên cứu phát triển với tốc độ nhanh ch? ?ng trung tâm nghiên cứu, trƣ? ?ng đại học học viện Trong đó, nhận d? ?ng phân