(Đồ án hcmute) ứng dụng kit raspberry nhận dạng mặt người

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN - ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA ỨNG DỤNG KIT RASPBERRY NHẬN DẠNG MẶT NGƯỜI GVHD: ThS NGUYỄN DUY THẢO SVTH : HUỲNH CÔNG THÀNH NGUYỄN TRUNG VINH S KL 0 4 Tp Hồ Chí Minh, năm 2016 an LỜI CAM DOAN Chúng cam đoan ĐATN cơng trình nghiên cứu thân chúng tơi hướng dẫn thạc sỹ Nguyễn Duy Thảo Các kết công bố ĐATN trung thực khơng chép hồn tồn từ cơng trình khác Người thực đề tài Huỳnh Công Thành Nguyễn Trung Vinh v an LỜI CẢM ƠN Chúng em xin gửi lời cảm ơn sâu sắc đến ThS.Nguyễn Duy Thảo, tận tình hướng dẫn, bảo, định hướng cho chúng em suốt thời gian thực đề tài Thầy cho chúng em lời khuyên quý báu giúp chúng em hồn thành tốt khóa luận Chúng em xin cảm ơn thầy cô khoa Điện-Điện tử trường Đại Học Sư phạm Kỹ thuật Tp.HCM tận tình giảng dạy, truyền đạt cho chúng em kiến thức quý báu năm học vừa qua, giúp cho chúng em có tảng kiến thức vững để thực khóa luận nghiên cứu học tập sau Cuối cùng, chúng em xin gửi lời cảm ơn đến cha mẹ, tất anh chị, bạn bè, người giúp đỡ, khích lệ phê bình, góp ý, giúp chúng em hồn thành khóa luận cách tốt Xin chân thành cảm ơn! Người thực đề tài Huỳnh Công Thành Nguyễn Trung Vinh vi an MỤC LỤC TRANG BÌA i PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP ii LỊCH TRÌNH THỰC HIÊN ĐỒ ÁN TỐT NGHIỆP iii PHIẾU ĐÁNH GIÁ KHÓA LUẬN TỐT NGHIỆP iv LỜI CAM DOAN v LỜI CẢM ƠN vi MỤC LỤC vii LIỆT KÊ HÌNH ix LIỆT KÊ BẢNG xi TÓM TẮT xii CHƯƠNG TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ 1.2 MỤC TIÊU 1.3 NỘI DUNG NGHIÊN CỨU 1.4 GIỚI HẠN 1.5 BỐ CỤC CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 GIỚI THIỆU VỀ KIT RASPBERRY PI VÀ MODULE CAMERA PI 2.2 GIỚI THIỆU VỀ THƯ VIỆN OPENCV 2.3 ĐẶC TRƯNG HAAR-LIKE 2.4 ADABOOST 12 2.5 CHUỖI CÁC BỘ PHÂN LỚP (CASCADE OF CLASSIFIER) 15 2.5.1 Ý tưởng 15 2.5.2 Huấn luyện cascade 16 CHƯƠNG TÍNH TỐN VÀ THIẾT KẾ 19 3.1 GIỚI THIỆU 19 3.1.1 Thiết kế sơ đồ khối hệ thống 19 3.1.2 Tính tốn thiết kế 22 a Thiết kế khối đầu vào 22 b Thiết kế khối xử lý đầu vào 23 c Thiết kế khối phát khuôn mặt 24 vii an d Thiết kế khối xử lý khuôn mặt phát 24 e Thiết kế khối sở liệu 25 f Thiết kế khối so sánh 25 g Thiết kế khối kết luận 25 3.1.3 Sơ đồ nguyên lý phần cứng 26 CHƯƠNG THI CÔNG HỆ THỐNG 28 4.1 GIỚI THIỆU 28 4.2 THI CÔNG MƠ HÌNH 28 4.3 LẬP TRÌNH HỆ THỐNG 29 4.3.1 Lưu đồ giải thuật 29 4.3.2 Phần mềm lập trình cho hệ thống 34 4.4 VIẾT TÀI LIỆU HƯỚNG DẪN SỬ DỤNG, THAO TÁC 35 4.4.1 Tài liệu hướng dẫn sử dụng 35 4.4.2 Quy trình thao tác 36 CHƯƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ 37 5.1 KẾT QUẢ 37 5.1.1 Tổng quan kết đạt 37 5.1.2 Kết thực tế 37 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 42 6.1 KẾT LUẬN 42 6.2 HƯỚNG PHÁT TRIỂN 42 TÀI LIỆU THAM KHẢO 44 PHỤ LỤC 45 viii an LIỆT KÊ HÌNH Hình 2.1 Cấu tạo Raspberry Pi model B Hình 2.2 Các chân GPIO Raspberry Pi model B Hình 2.3 Module Camera Hình 2.4 Cách kết nối module camera với kit raspberry PI Hình 2.5 Cấu trúc OpenCV Hình 2.6 Minh họa kiểu liệu toán tử mat Hình 2.7 Bốn đặt trưng Haar-like Hình 2.8 Các đặc trưng mở rộng đặc trưng Haar-like sở Hình 2.9 Cách tính Integral Image ảnh 10 Hình 2.10 Cách tính nhanh tổng điểm ảnh vùng D ảnh 11 Hình 2.11 Cách tính nhanh tổng điểm ảnh vùng D với đặc trưng xoay 45o 11 Hình 2.12 Mơ hình phân tần kết hợp phân loại yếu để xác định khn mặt 12 Hình 2.13 Kết hợp phân loại yếu thành phân loại mạnh 13 Hình 2.14 Mơ hình Cascade Classifier 16 Hình 3.1 Sơ đồ khối trình huấn luyện 20 Hình 3.2 Sơ đồ khối trình nhận dạng 21 Hình 3.3 Sơ đồ nguyên lý phần cứng khối đầu vào 23 Hình 3.4 Sơ đồ nguyên lý phần cứng khối kết luận 25 Hình 3.5 Sơ đồ nguyên lý phần cứng 26 Hình 4.1 Mơ hình q trình thực 28 Hình 4.2 Lưu đồ chương trình 29 Hình 4.3 Lưu đồ chương trình huấn luyện 30 Hình 4.4 Lưu đồ chương trình nhận dạng 31 Hình 4.5 Lưu đồ chương trình xử lý sở liệu 32 Hình 4.6 Lưu đồ chương trình xử lý ảnh chụp 33 Hình 4.7 Một số hệ điều hành chạy kit Raspberry PI 34 Hình 4.8 Giao diện hệ điều hành raspbian 34 Hình 4.9 Thiết lập để sử dụng camera pi 35 Hình 4.10 Quy trình thao tác 36 Hình 5.1 Phát khn mặt trường hợp nhìn sang trái 37 Hình 5.2 Phát khn mặt trường hợp nhìn sang phải 38 ix an Hình 5.3 Phát khn mặt trường hợp nhìn thẳng 38 Hình 5.4 Nhận dạng khn mặt trường hợp nhìn sang trái 39 Hình 5.5 Nhận dạng khn mặt trường hợp nhìn sang phải 39 Hình 5.6 Nhận dạng khn mặt trường hợp nhìn thẳng 40 x an LIỆT KÊ BẢNG Bảng Kết trình huấn luyện độ sáng 45 lux 40 Bảng Kết phát nhiều khuôn mặt 40 Bảng Kết trình nhận dạng với độ sáng 40 lux ngưỡng 4000 41 Bảng Kết nhận dạng với độ sáng 110 lux ngưỡng 4000 41 xi an TÓM TẮT Nhận diện mặt người tốn xuất cách khơng lâu, khoảng vài thập niên trở lại đây, có nhiều nghiên cứu Các nghiên cứu ban đầu đơn giản, ảnh đen trắng có khn mặt chụp thẳng, sau mở rộng cho ảnh màu, ảnh có nhiều khn mặt với nhiều góc độ khác nhau, mơi trường xung quanh từ đơn giản đến phức tạp Ngày hệ thống nhận dạng mặt người ứng dụng nhiều lĩnh vực, đặc biệt an ninh bảo mật Trong đề tài “Ứng dụng kit Raspberry nhận dạng mặt người” nhóm thực xây dựng hệ thống phát nhận dạng khn mặt nhanh tương đối xác Các nội dung nghiên cứu bao gồm: Tìm hiểu kit Raspberry, tìm hiểu giải thuật nhận dạng phát khn mặt, xây dựng thuật tốn nhận dạng khuôn mặt, áp dụng thư viện mã nguồn mở OpenCV vào tốn nhận dạng khn mặt Sau tìm hiểu nhiều phương pháp khác nhóm thực đề tài chọn phương pháp phân tích thành phần đặc trưng Haarlike kết hợp phương pháp học máy Adaboost, chuỗi phân lớp Cascade of Classifers Đề tài xây dựng tảng Visual Studio C++ Microsoft thực kit Raspberry Pi, xử lý trực tiếp ảnh nhận từ Camera Pi Mơ hình nhóm thực đạt khoảng 85% mục tiêu nhóm đặt Tỉ lệ phát khn mặt cao khoảng 96%, phụ thuộc vào góc nhìn người camera Tỉ lệ nhận dạng người đạt khoảng 90% phụ thuộc vào góc nhìn độ sáng Mơ hình phát nhiều khn mặt lúc, nhiên so sánh với thư mục ảnh nên nhận dạng người thời gian Ngoài ra, mơ hình hoạt động cịn giật lag camera pi, cấu hình kit Raspberry khơng cao đoạn chương trình chưa tối ưu tốt xii an CHƯƠNG TỔNG QUAN TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ Nhận dạng mặt người nghiên cứu từ năm 1980, lĩnh vực nghiên cứu ngành thị giác máy tính, xem lĩnh vực nghiên cứu ngành sinh trắc học tương tự nhận dạng vân tay, hay nhận dạng mống mắt Trong nhận dạng vân tay mống mắt áp dụng thực tế cách rộng rãi nhận dạng mặt người cịn nhiều thách thức So với nhận dạng vân tay mống mắt, nhận dạng mặt có nguồn liệu phong phú địi hỏi tương tác có kiểm sốt Bài tốn nhận dạng mặt người cịn nhiều thách thức nên hàng năm ngồi nước có nhiều nghiên cứu phương pháp nhận dạng mặt người Nhiệm vụ đặt cho toán nhận dạng mặt người nghiên cứu xây dựng chương trình sử dụng phương pháp nhận dạng có độ xác cao mà khối lượng thời gian tính tốn lại Để giải vấn đề nhóm thực đề tài nhận thấy phương pháp phân tích thành phần đặc trưng khuôn mặt giảm bớt số thành phần không cần thiết tạo hiệu tính tốn nhanh mà đảm bảo độ xác Do đó, nhóm thực chọn đề tài: “Ứng dụng kit Raspberry nhận dạng mặt người” dựa đặc trưng Haar-like viết ngôn ngữ C++ thực kit Raspberry Pi 1.2 MỤC TIÊU Mục tiêu đề tài xây dựng hệ thống nhận dạng mặt người với đầu vào ảnh khuôn mặt người, hệ thống xử lý tìm kiếm xem người có sở liệu hay khơng cho đầu thông tin liên quan đến người nhận dạng 1.3 NỘI DUNG NGHIÊN CỨU Với mục tiêu xây dựng hệ thống nhận dạng mặt người nhóm nghiên cứu nội dung sau:  NỘI DUNG 1: Tìm hiểu giải thuật phát nhận dạng khuôn mặt  NỘI DUNG 2: Xây dựng thuật tốn phát nhận dạng khn mặt  NỘI DUNG 3: Áp dụng mã nguồn thư viện mở OpenCV vào thuật tốn BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP an PHỤ LỤC Nhấn OK để kết thúc Bước 2: Thiết lập địa IP cho Raspberry Pi Sau ghi hệ điều hành vào thẻ nhớ thành công, lúc thẻ nhớ đổi tên thành “boot” Ta tiến hành truy cập vào file “cmdline” theo đường dẫn: boot:\cmdline thực thao tác sau: Tìm đến dịng cuối tập lệnh sau “deadline rootwait” Thêm địa ip mạng LAN máy tính vào theo nguyên tắc: ip=:: Cụ thể ví dụ máy tính có ip mạng LAN 192.168.1.47 nội dung phải thêm vào cuối file “cmdline” là: “ ip=192.168.1.100::192.168.1.47” Giải thích: 192.168.1.47 ip mạng LAN máy tính dùng kết nối với kit raspberry 192.168.1.100 địa ip người dùng đặt cho kit Địa phải thiết lập cho kit máy tính phải “dải tần” khác “số thứ tự” ví dụ 192.168.1 tạm gọi “dải tần” 100 tạm gọi “số thứ tự” Vậy máy tính có ip 192.168.1.47 ip đặt cho kit là: 169.254.1.x với 1