Trang 1 TRƯỜNG ĐẠI HỌC ĐIỆN LỰC Trang 2 TRƯỜNG ĐẠI HỌC ĐIỆN LỰC BÙI TIẾN CHIẾN NHẬN DẠNG KHUÔN MẶT SỬ DỤNG MẠNG NƠRON TRONG NGÔI NHÀ THÔNG MINH Ngành : Kỹ thuật Điều khiển & Tự động hó
BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC ĐIỆN LỰC BÙI TIẾN CHIẾN NHẬN DẠNG KHUÔN MẶT SỬ DỤNG MẠNG NƠRON TRONG NGÔI NHÀ THÔNG MINH LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỀU KHIỂN & TỰ ĐỘNG HÓA Hà Nội, năm 2024 BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC ĐIỆN LỰC BÙI TIẾN CHIẾN NHẬN DẠNG KHUÔN MẶT SỬ DỤNG MẠNG NƠRON TRONG NGÔI NHÀ THÔNG MINH Ngành : Kỹ thuật Điều khiển & Tự động hóa Mã số : 8520216 LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỀU KHIỂN & TỰ ĐỘNG HÓA Người hướng dẫn khoa học: PGS.TS Nguyễn Quang Hoan Hà Nội, năm 2023 LỜI CẢM ƠN Trước tiên, với tình cảm chân thành, em xin gửi lời cảm ơn sâu sắc tới PGS.TS Nguyễn Quang Hoan - người thầy tận tình dẫn, truyền đạt kiến thức chuyên môn, tài liệu kỹ thuật thường xun động viên, khích lệ giúp em hồn thành luận văn Và em xin gửi lời cảm ơn chân thành tới thầy, cô giảng viên trường Đại học Điện lực tận tình dạy dỗ hướng dẫn cho em suốt trình học tập thạc sĩ trường Hơn nữa, chân thành cảm ơn tới lãnh đạo quan, bạn bè đồng nghiệp nơi công tác, gia đình người thân tạo điều kiện thuận lợi để tơi theo học nâng cao trình độ kiến thức chun mơn Cảm ơn giúp đỡ, động viên bạn bè lớp giúp tơi hồn thành khóa học Mặc dù thân nỗ lực, cố gắng để hoàn thành luận văn, song chắn không tránh khỏi sai sót Kính mong nhận cảm thơng, bảo tận tình q thầy bạn để thân ngày hoàn thiện Tác giả xin chân thành cảm ơn! Hà Nội, tháng 01 năm 2024 TÁC GIẢ LUẬN VĂN Bùi Tiến Chiến LỜI CAM ĐOAN Tôi tên Bùi Tiến Chiến xin cam đoan: Luận văn thạc sĩ “Nhận dạng khuôn mặt sử dụng mạng nơron nhà thơng minh” cơng trình nghiên cứu riêng tơi, hướng dẫn khoa học trực tiếp PGS.TS Nguyễn Quang Hoan giúp đỡ đóng góp ý kiến thầy, cô Khoa tự động hóa Trường Đại học Điện lực Các kết nghiên cứu trình bày luận văn trung thực chưa công bố công trình khác Tơi xin cam đoan thơng tin trích dẫn luận văn rõ nguồn gốc Tơi xin chịu hồn tồn trách nhiệm lời cam đoan này./ Hà Nội, tháng 01 năm 2024 TÁC GIẢ LUẬN VĂN Bùi Tiến Chiến Nhận dạng khuôn mặt sử dụng mạng nơron nhà thông minh MỤC LỤC Nội dung ……………………………………………………………………… Trang LỜI CẢM ƠN i LỜI CAM ĐOAN .ii MỤC LỤC i DANH MỤC KÝ HIỆU CHỮ VIẾT TẮT iii DANH MỤC BẢNG BIỂU iv DANH MỤC HÌNH VẼ, HÌNH ẢNH v I MỞ ĐẦU 1 Lý chọn đề tài Mục đích nghiên cứu Đối tượng nghiên cứu Phạm vi nghiên cứu Phương pháp nghiên cứu II BỐ CỤC CỦA LUẬN VĂN .2 CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG MẶT NGƯỜI .3 1.1 Lịch sử nghiên cứu nhận dạng .3 1.2 Tình hình nghiên cứu nước nhận dạng .4 1.3 Tổng quan nhận dạng mặt người 1.4 Kết luận chương CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VỀ NHẬN DẠNG MẶT NGƯỜI 10 2.1 Mạng nơron nhân tạo .10 2.1.1 Nơron nhân tạo 10 2.1.2 Phân loại mạng nơron nhân tạo .13 2.1.3 Các phương thức học mạng nơron nhân tạo 14 2.2 Mạng nơron tích chập CNN 16 2.2.1 Cấu trúc mạng nơron tích chập .16 2.2.2 Đặc trưng chung mạng CNN 17 2.2.3 Các mạng CNN tiêu biểu 18 2.3 Mạng nơron Hopfield rời rạc 19 2.3.1 Cấu trúc mạng Hopfield 19 2.3.2 Luật học mạng Hopfield 20 2.3.3 Tính ổn định mạng Hopfield 20 2.4 Mạng nơron có nhớ liên kết hai chiều BAM 21 2.4.1 Cấu trúc mạng BAM 21 2.4.2 Luật học mạng BAM .24 2.4.3 Ổn định mạng BAM 24 2.5 Đánh giá phương pháp ma trận nhầm lẫn .26 2.6 Lựa chọn phương án giải toán 27 Bùi Tiến Chiến -i- Nhận dạng khuôn mặt sử dụng mạng nơron nhà thông minh 2.6.1 Lựa chọn giải thuật 27 2.6.2 Đặt toán .27 2.6.3 Giới hạn toán .27 2.7 Kết luận chương 28 CHƯƠNG 3: THỬ NGHIỆM MẠNG NƠRON ĐỂ NHẬN DẠNG MẶT NGƯỜI .29 3.1 Thu thập liệu cho mạng nơron 29 3.2 Thiết kế mạng BAM để nhận dạng mặt người .31 3.3 Thử nghiệm mạng BAM để nhận dạng mặt người 32 3.3.1 Xác định đặc trưng đầu vào .32 3.3.2 Xác định đặc trưng đầu 33 3.3.3 Mã hóa đặc trưng đầu vào đầu .35 3.3.4 Pha học 36 3.3.5 Nhận dạng xuôi ngược mẫu học .37 3.4 Thử nghiệm khả chịu lỗi mạng BAM 40 3.5 Đánh giá khả nhận mẫu mạng BAM 51 3.6 Kết luận chương 53 CHƯƠNG 4: MÔ PHỎNG VÀ SỬ DỤNG MẠNG BAM CHO NGƠI NHÀ .54 4.1 Mơ nhận dạng khuôn mặt người ngôn ngữ Python 54 4.1.1 Quá trình huấn luyện ảnh lưu đồ nhận dạng khuôn mặt người 54 4.1.2 Kết chương trình nhận dạng khuôn mặt người .54 4.2 Xây dựng mơ hình mở/đóng cửa cho ngơi nhà thơng minh 59 4.2.1 Thiết bị ngoại vi kết nối với mạng BAM qua ngôn ngữ Python 59 4.2.2 Cơ chế mở/đóng cửa cho nhà thông minh 60 4.2.3 Mơ hình lý thuyết mở/đóng cửa cho nhà thông minh 61 4.2.4 Mơ hình thực tế mở/đóng cửa cho ngơi nhà thơng minh .66 4.3 Kết luận chương 67 III TỔNG LUẬN 68 Kết luận chung 68 Hướng phát triển đề tài 68 IV TÀI LIỆU THAM KHẢO .69 V PHỤ LỤC 70 Phụ lục 1: Các mẫu ảnh hợp lệ 70 Phụ lục 2: Các mẫu huấn luyện 73 Phụ lục 3: Các mẫu ảnh không hợp lệ .74 Phụ lục 4: Giới thiệu sơ ngôn ngữ Python 75 Phụ lục 5: Định nghĩa cơng thức tính tốn ngơn ngữ Python 76 Phụ lục 6: Chương trình huấn luyện ảnh ngôn ngữ Python 83 Phụ lục 7: Thử nghiệm nhận dạng mặt người ngôn ngữ Python 84 Phụ lục 8: Tính tốn khả chịu lỗi mạng BAM ngôn ngữ Python 86 Bùi Tiến Chiến -ii- Nhận dạng khuôn mặt sử dụng mạng nơron nhà thông minh DANH MỤC KÝ HIỆU CHỮ VIẾT TẮT Chữ viết tắt Tiếng Anh Tiếng việt 3D 3-Dimension chiều AI ANN Artificial Intelligence Trí tuệ nhân tạo BAM CNN Artificial Neural Network Mạng nơron nhân tạo CSDL SKM Bidirectional Associative Memories Bộ nhớ liên kết hai chiều KGN DLNN Convolutional Neural Network Mạng nơron tích chập FRGC Database Cơ sở liệu IBM Number of Faces Số khuôn mặt IOS Don't Memorize Không ghi nhớ IoT PCA Deep Learning Neural Network Mạng nơron học sâu PIN RNN Face Recognition Grand Challenge Thách thức lớn nhận dạng SOM khuôn mặt International Business Machines Công ty cổ phần máy kinh doanh Corporation quốc tế Iphone Operating System Hệ điều hành hãng Apple Internet of Things Internet vạn vật Principle Component Analysis Phân tích thành phần Personal Identification Number Số định danh cá nhân Recurrent Neural Networks Mạng nơron hồi quy Self-Organizing Map Ánh xạ tự tổ chức Bùi Tiến Chiến -iii- Nhận dạng khuôn mặt sử dụng mạng nơron nhà thông minh DANH MỤC BẢNG BIỂU Tên bảng Trang Bảng 2.1: Các hàm truyền H(s) thường dùng 11 Bảng 2.2: Một số hàm phi tuyến thường dùng mơ hình nơron .12 Bảng 2.3: Ma trận nhầm lẫn 26 Bảng 3.1: Mã hóa đặc trưng đầu vào xác định đầu 30 Bảng 3.2: Bảng tính tốn đặc trưng đầu vào 33 Bảng 3.3: Bảng tính toán nhãn đầu 34 Bảng 3.4: Mã hóa đặc trưng đầu vào đầu 35 Bảng 3.5: Đặc trưng đầu vào đầu mã hóa dạng lưỡng cực 36 Bảng 3.6: Véc tơ nhận dạng xuôi ngược mẫu học .37 Bảng 3.7: Kết BAM nhận dạng mẫu huấn luyện theo chiều xuôi 38 Bảng 3.8: Kết BAM nhận dạng mẫu huấn luyện theo chiều ngược 39 Bảng 3.9: Tính tốn khả chịu lỗi mạng BAM với 04 mẫu học .41 Bảng 3.10: Nhận dạng mẫu chưa học sử dụng mạng BAM 50 Bảng 3.11: Ma trận nhầm lẫn cho nhận dạng mẫu học 51 Bảng 3.12: Ma trận nhầm lẫn cho nhận dạng mẫu sai số từ 01 tới 06 bit 52 Bảng 4.1: Tổng hợp mẫu huấn luyện chưa huấn luyện 58 Bùi Tiến Chiến -iv- Nhận dạng khuôn mặt sử dụng mạng nơron nhà thông minh DANH MỤC HÌNH VẼ, HÌNH ẢNH Tên hình vẽ, hình ảnh Trang Hình 1.1: Một số ví dụ ứng dụng nhận dạng sinh trắc học Hình 1.2: Cơ chế DeepFace Facebook Hình 1.3: Cơ chế nhận dạng mặt người FindFace Hình 2.1: Mơ hình nơron nhân tạo 10 Hình 2.2: Mơ hình mạng nơron truyền thẳng lớp 13 Hình 2.3: Mơ hình tổng qt mạng nơron truyền thẳng nhiều lớp 13 Hình 2.4: Mơ hình mạng nơron phản hồi 14 Hình 2.5: Mơ hình học có giám sát 14 Hình 2.6: Mơ hình học củng cố 15 Hình 2.7: Mơ hình học khơng giám sát 15 Hình 2.8: Cấu trúc mạng nơron tích chập 16 Hình 2.9: Cấu trúc mạng Hopfield rời rạc 19 Hình 2.10: Cấu trúc mạng BAM 21 Hình 2.11: Mơ hình mạng BAM với đầu vào X 22 Hình 2.12: Mơ hình mạng BAM với đầu vào Y 23 Hình 3.1: Mơ hình mạng liên kết hai chiều BAM, số nơ ron vào/ra m*n=6*5 .31 Hình 3.2: Mô tả đặc điểm khuôn mặt người 32 Hình 4.1: Lưu đồ huấn luyện ảnh 54 Hình 4.2: Lưu đồ thuật toán nhận dạng mặt người 54 Hình 4.3: Quá trình nhận dạng với SKM 1, ảnh không hợp lệ 55 Hình 4.4: Quá trình nhận dạng với SKM = 1, ảnh chưa huấn luyện 56 Hình 4.5: Quá trình nhận dạng với SKM = 1, ảnh huấn luyện 57 Hình 4.6: Thiết bị ngoại vi cho tín hiệu đèn thơng báo 59 Hình 4.7: Cơ chế mở/đóng mạch điều khiển chưa có tín hiệu thơng báo 60 Hình 4.8: Cơ chế mở/đóng mạch điều khiển có tín hiệu thơng báo 60 Hình 4.9: Mơ hình mở/đóng cửa chưa có tín hiệu nhận dạng 61 Hình 4.10: Mơ hình tạo trễ để mở cửa có tín hiệu nhận dạng 62 Hình 4.11: Mơ hình mở cửa có tín hiệu nhận dạng 63 Hình 4.12: Mơ hình thời gian nghỉ có tín hiệu nhận dạng 64 Hình 4.13: Mơ hình đóng cửa có tín hiệu nhận dạng .65 Hình 4.14: Mơ hình đấu nối mạch in để mở/đóng cửa cho ngơi nhà .66 Hình 4.15: Hình ảnh thực tế mơ hình để mở/đóng cửa cho nhà 66 Bùi Tiến Chiến -v- Nhận dạng khuôn mặt sử dụng mạng nơron nhà thông minh I MỞ ĐẦU Lý chọn đề tài - Cùng với thời đại công nghiệp 4.0 nay, ứng dụng mạng nơron miền trí tuệ nhân tạo (AI), Internet vạn vật (IoT) có tính thời phát triển, thu hút quan tâm nhiều nhà khoa học - Ứng dụng nhận dạng mặt người ngày nhà nghiên cứu trọng phát triển sử dụng nhiều lĩnh vực từ khoa học đến đời sống hàng ngày - Vì vậy, học viên chọn đề tài: “Nhận dạng khuôn mặt sử dụng mạng nơron ngơi nhà thơng minh” Mục đích nghiên cứu Nghiên cứu, thử nghiệm phương pháp nhận dạng mặt người sử dụng mạng nơron nhớ liên kết hai chiều BAM Qua đó, so sánh kết đạt được, đánh giá độ xác phương pháp Đối tượng nghiên cứu - Nghiên cứu phương pháp nhận dạng, chọn phương pháp - Nghiên cứu mạng noron hồi quy, thuật toán nhớ liên kết hai chiều - Dùng ảnh mặt người có sẵn thư viện ảnh sở liệu để thử nghiệm Phạm vi nghiên cứu - Cấu trúc, luật học mạng nơron nhân tạo - Cấu trúc, luật học, tính ổn định mạng BAM - Thử nghiệm mạng BAM toán nhận dạng mặt người (thử nghiệm với 04 mẫu người ngẫu nhiên tổng số giới hạn danh sách mẫu, mẫu có 06 đặc trưng) - Đánh giá khả nhớ mẫu mạng BAM - Sử dụng mạng nơ ron BAM ứng dụng cho nhà thông minh Phương pháp nghiên cứu - Phương pháp phân tích thiết kế hệ điều khiển thông minh, sử dụng khả nhớ mẫu mạng BAM với phần mềm có mã nguồn mở để nhận dạng mặt người - Phương pháp mô Bùi Tiến Chiến -1-