Xây dựng hệ thống nhận dạng khuôn mặt và hỗ trợ phân tích thói quen khách hàng

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRƯƠNG QUỐC TUẤN XÂY DỰNG HỆ THỐNG NHẬN DẠNG KHUÔN MẶT & HỖ TRỢ PHÂN TÍCH THĨI QUEN KHÁCH HÀNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng - Năm 2017 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRƯƠNG QUỐC TUẤN XÂY DỰNG HỆ THỐNG NHẬN DẠNG KHN MẶT & HỖ TRỢ PHÂN TÍCH THĨI QUEN KHÁCH HÀNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS PHẠM MINH TUẤN Đà Nẵng - Năm 2017 LỜI CAM ĐOAN Tôi cam đoan đề tài “Xây dựng hệ thống nhận dạng khuôn mặt hỗ trợ phân tích thói quen khách hàng” cơng trình nghiên cứu riêng tơi thực hiện, số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình nghiên cứu khác, mô tả số thơng tin trích lọc từ số nguồn tài liệu ghi rõ phần tham khảo đề tài Luận văn thực sở nghiên cứu lý thuyết hướng dẫn khoa học TS Phạm Minh Tuấn Tác giả luận văn Trương Quốc Tuấn XÂY DỰNG HỆ THỐNG NHẬN DẠNG KHUÔN MẶT & HỖ TRỢ PHÂN TÍCH THĨI QUEN KHÁCH HÀNG Học viên: Trương Quốc Tuấn Chuyên ngành: Khoa học máy tính Mã số:102150319 Khóa: K31 Trường Đại học Bách khoa – ĐHĐN Tóm tắt – Việc nhận dạng khn mặt kết hợp với trí tuệ nhân tạo (học máy) để dự đốn hỗ trợ phân tích thói quen khách hàng ứng dụng thiết thực áp dụng rộng rãi dần tương lai Nghiên cứu nhằm áp dụng cho khách sạn để thu thập liệu khách hàng vào, nhằm tăng cường bảo mật, cảnh báo, dự báo cho khách sạn với khách hàng với tình trạng bình thường bất thường Từ việc áp dụng SDK Intel RealSense để nhận diện khuôn mặt, tác giả khái quát mơ hình, kỹ thuật việc nhận diện khn mặt Cùng với áp dụng mơ hình học máy thơng qua phương pháp hồi quy tuyến tính kết dự đoán Trong đề tài nghiên cứu này, tác giả tóm tắt kết đạt đưa hướng phát triển Từ khóa – nhận diện khn mặt; thói quen, hồi quy tuyến tính, SDK Intel Realsense, học máy BUILDING THE FACE RECOFNITION & SUPPORT THE ANALYSIS OF CUSTOMER HABITS Abstract - Facial recognition combined with artificial intelligence (machine learning) to predict and support the analysis of customer habits is one of the most practical and widely adopted applications in the future This research aims to apply to the hotel to collect customer data on arrival, to enhance the hotel's security, warning, and forecasting to customers with normal or abnormal conditions To adopting the Intel RealSense SDK for facial recognition, the author has outlined the model and technology of face recognition Along with applying machine learning model through linear regression method to produce predictive results In this research topic, the achieved results are summarized and perspective of the work is provided by author, and set out the direction of the next development Key words - Face recognition; Habits, Linear regression, Intel Realsense SDK, Machine learning MỤC LỤC MỞ ĐẦU 1 Tính cấp thiết đề tài Mục tiêu nghiên cứu Nội dung nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa khoa học thực tiễn CHƯƠNG TỔNG QUAN 1.1 GIỚI THIỆU, PHÂN LOẠI VỀ TRÍ TUỆ NHÂN TẠO 1.2 CÁC VẤN ĐỀ VỀ NHẬN DẠNG KHUÔN MẶT 1.2.1 Tìm hiểu việc nhận dạng khuôn mặt (Face recognition) 1.2.2 Cảm xúc khuôn mặt 19 1.3 CÁC TÁC ĐỘNG CỦA TRÍ TUỆ NHÂN TẠO VÀ ÁP DỤNG ĐIỂN HÌNH 19 1.3.1 Tác động 19 1.3.2 Các tốn điển hình áp dụng phương pháp TTNT 20 1.3.3 Những trí tuệ nhân tạo mạnh 20 1.4 KHÁI QUÁT SDK INTEL REALSENSE 23 CHƯƠNG MƠ HÌNH NHẬN DẠNG KHN MẶT & HỖ TRỢ PHÂN TÍCH THĨI QUEN KHÁCH HÀNG 26 2.1 PHÂN TÍCH BÀI TỐN 26 2.2 MƠ HÌNH ĐỀ XUẤT 27 2.3 THIẾT KẾ 33 2.4 THUẬT TỐN CHÍNH 35 CHƯƠNG KẾT QUẢ VÀ THỰC NGHIỆM 37 3.1 MÔI TRƯỜNG PHÁT TRIỂN 37 3.1.1 Chuẩn bị cho môi trường 37 3.1.2 Setup phần SDK Intel Real Sense 37 3.1.3 Cài đặt SQL Server Tạo Database 39 3.1.4 Setup chương trình 43 3.2 DỮ LIỆU ĐẦU VÀO 43 3.3 PHÂN TÍCH KẾT QUẢ 43 3.4 DEMO ỨNG DỤNG 49 3.4.1 Màn hình 49 3.4.2 Màn hình quản lý khách hàng/ đăng ký khuôn mặt 50 3.4.3 Màn hình xem danh sách khách đến 50 3.4.4 Màn hình để nhập liệu train 51 3.4.5 Màn hình xem lại việc check-in check out 51 3.4.6 Màn hình tìm kiếm thơng tin theo ngày khách hàng vào khách sạn 52 3.4.7 Màn hình cài đặt camera, cấu hình 52 KẾT LUẬN & KIẾN NGHỊ 53 TÀI LIỆU THAM KHẢO QUYẾT ĐỊNH GIAO ĐỀ TÀI (Bản sao) DANH MỤC CÁC KÝ HIỆU, TỪ VIẾT TẮT CÁC KÝ HIỆU: 𝝀 : ký hiệu lambda : epsilon CÁC CHỮ VIẾT TẮT: AI: Artificial Intelligence – Trí tuệ nhân tạo PCA: Principal Components Analysis – loại phương pháp phân tích thành phần LDA: Linear Discriminant Analysis – Phương pháp phân tích lớp tuyến tính EBGM: Elastic Bunch Graph Matching – Phương pháp đồ thị đàn hồi SDK: Software Development Kit – Bộ phần mềm phát triển DANH MỤC CÁC BẢNG Số hiệu bảng Tên bảng Trang Bảng 2.1 Bảng phương pháp suy đốn hồi quy tuyến tính 30 Bảng 2.2 Bảng liệu để huấn luyện với chuyên gia dự báo 31 Bảng 3.1 Bảng kết dự đoán 44 Bảng 3.2 Bảng so sánh nhận diện khuôn mặt 48 Bảng 3.3 Bảng so sánh việc học máy 49 DANH MỤC CÁC HÌNH Số hiệu hình Tên hình Trang Hình 1.1 Các thể loại trí tuệ nhân tạo Hình 1.2 Mơ hình nhận diện khn mặt Hình 1.3 Cấu trúc tổng quát hệ thống nhận dạng khn mặt Hình 1.4 Các hướng tiếp cận trích lọc đặc trưng nhận dạng khn mặt 10 Hình 1.5 Nhận diện khn mặt 11 Hình 1.6 Khơng gian (p1, p2) theo hướng phân bổ mạnh vector khơng gian (x1, x2) tìm theo PCA 12 Hình 1.7 Ví dụ minh họa LDA 15 Hình 1.8 Mơ hình lưới khn mặt khác 18 Hình 1.9 Cảm xúc khn mặt (tt) [2] 19 Hình 1.10 Cơng nghệ chạm tay phía ngồi hình từ SDK, Camera 3D Intel [2] 23 Hình 1.11 Camera 3D Intel 24 Hình 2.1 Kiến trúc SDK Intel RealSense [2] 28 Hình 2.2 Kiến trúc tổng quát chương trình 33 Hình 2.3 Các bước việc nhận dạng khn mặt từ SDK [2] 34 Hình 2.4 Mơ hình sử dụng SDK Intel Real Sense AI 34 Hình 2.5 Mơ hình liệu phương pháp hồi quy tuyến tính [5] 35 Hình 3.1 Download SDK Intel Real Sense 37 Hình 3.2 Màn hình install SDK Intel RealSense 38 Hình 3.3 Màn hình cài đặt lựa chọn package 38 Hình 3.4 Mơi trường sau cài đặt 39 Hình 3.5 Màn hình 49 Hình 3.6 Màn hình quản lý khách hàng/ đăng ký khn mặt 50 Hình 3.7 Màn hình xem danh sách khách đến 50 Hình 3.8 Màn hình theo dõi liệu huấn luyện 51 Hình 3.9 Màn hình theo dõi thơng tin check-in check-out 51 Hình 3.10 Màn hình xem lại lịch sử khách hàng 52 Hình 3.11 Màn hình cấu hình hệ thống 52 41 Data  Table: VisitorHistory: Dùng để lưu thông tin lịch sử khách hàng Data: 42  Table: HistoryLog: Lưu trữ trình khách rời camera  Table Train: lưu trữ liệu mẫu để thực huấn luyện, table cập nhật lại sau khách hàng check out Data 43 3.1.4 Setup chương trình Để thực chạy chương trình, cần thực package MSI, install 3.2 DỮ LIỆU ĐẦU VÀO Dữ liệu từ khách hàng vào khách sạn, thực check in, với tập liệu huấn luyện thu thập đăng ký trước đó, từ giải yêu cầu tốn 3.3 PHÂN TÍCH KẾT QUẢ Như trình bày trên, sử dụng SDK Intel RealSense để tiến hành nhận dạng khuôn mặt, xem đầu vào liệu, sau xây dựng mơ hình dự đốn tập liệu thu thập Vấn đề dự đoán, tơi sử dụng theo mơ hình học có giám sát (dùng phương pháp hồi quy tuyến tính) - Dữ liệu để huấn luyện, tơi sử dụng 1000 dịng, chứa thơng tin khách hàng check in trước - Các mốc thời gian huấn luyện, chứa thơng tin lần xuất trước đó, khoảng cách lần xuất trước đó, kết suy đoán chuyên gia cập nhật - Kết đầu dòng liệu, cho biết mức độ bình thường bất thường (theo ngưỡng xác định mục 2.2 trên) - Dữ liệu sau dự đoán cập nhật vào table Train Sau xây dựng mơ hình, triển khai tơi chạy với 100 dòng liệu khách hàng với đa phần liệu bất thường kết thu theo dự báo thói quen bất thường, trích xuất 100 dịng liệu từ Train Từ liệu thực nghiệm trích xuất, khách hàng có thói quen xuất với số lần check-in vào khách sạn không đặn, khoảng cách xuất có lúc ngày, ngày, ngày 13 ngày,…các khoảng cách không theo lũy tuyến, mà bất thường có lúc lúc khác, khoảng cách check-in ngẫu nhiên, nên việc dự đốn thói quen từ chuyên gia (chuyên gia sử dụng chế tính tốn dự đốn, kết trả chuyên gia =0.5 ghi nhận kết 1) hệ thống dựa vào số lần xuất trước phải có tính đặn lũy tuyến (kết hệ thống tính tốn với lấy số lẻ số, có số chạy từ giá trị đến 1), kết trả xét để đánh giá là bình thường, bất thường (với số =0.5 suy kết bình thường) Bảng thơng tin phía rõ việc thói quen khách hàng có tính chất bình thường bất thường từ kết thu dự báo chuyên gia 44 Bảng 3.1 Bảng kết dự đoán Số ngày ID xuất Số lần xuất trước trước (Total (Dissapear Previous Time) Kết dự đoán từ hệ thống Chuyên gia dự báo (Predict Value) Day) 1 0.358 2 0.017 3 0.234 4 0.510 5 0.666 6 13 0.349 7 0.354 8 11 0.195 9 0.295 10 10 0.929 11 11 12 0.090 12 12 0.162 13 13 0.051 14 14 0.447 15 15 0.196 16 16 0.183 17 17 0.906 18 18 11 0.213 19 19 0.235 20 20 0.494 21 21 0.631 22 22 0.149 23 23 0.156 24 24 11 0.124 25 25 0.203 26 26 0.848 27 27 0.712 45 Số ngày ID xuất Số lần xuất trước trước (Total (Dissapear Previous Time) Kết dự đoán từ hệ thống Chuyên gia dự báo (Predict Value) Day) 28 28 0.263 29 29 0.462 30 30 11 0.412 31 31 0.196 32 32 0.359 33 33 13 0.162 34 34 0.178 35 35 0.022 36 36 11 0.405 37 37 0.076 38 38 0.398 39 39 0.922 40 40 11 0.384 41 41 10 0.572 42 42 0.127 43 43 0.127 44 44 0.481 45 45 0.121 46 46 0.053 47 47 12 0.477 48 48 0.496 49 49 0.599 50 50 0.267 51 51 0.273 52 52 0.432 53 53 13 0.422 54 54 0.056 46 Số ngày ID xuất Số lần xuất trước trước (Total (Dissapear Previous Time) Kết dự đốn từ hệ thống Chuyên gia dự báo (Predict Value) Day) 55 55 0.485 56 56 0.468 57 57 0.393 58 58 0.477 59 59 0.482 60 60 0.688 61 61 0.333 62 62 0.016 63 63 0.22 64 64 10 0.491 65 65 0.221 66 66 0.904 67 67 0.035 68 68 12 0.166 69 69 0.277 70 70 0.043 71 71 10 0.007 72 72 0.370 73 73 0.791 74 74 11 0.053 75 75 10 0.854 76 76 0.033 77 77 10 0.099 78 78 0.14 79 79 0.054 80 80 13 0.008 81 81 12 0.875 47 Số ngày ID xuất Số lần xuất trước trước (Total (Dissapear Previous Time) Kết dự đoán từ hệ thống Chuyên gia dự báo (Predict Value) Day) 82 82 0.309 83 83 0.454 84 84 0.049 85 85 0.327 86 86 0.35 87 87 0.577 88 88 0.387 89 89 0.674 90 90 0.143 91 91 0.319 92 92 13 0.232 93 93 0.138 94 94 0.192 95 95 0.210 96 96 0.605 97 97 0.824 98 98 0.317 99 99 0.975 100 100 11 0.392 Với kết tổng số 20/100 dịng liệu khơng khớp từ dự đốn hệ thống so với chuyên gia, kết hệ thống so khớp với chuyên gia đạt 80% Và tơi thử với số lượng lớn 1000 dịng nhiều khách hàng với nhiều trường hợp bình thường bất thường khách hàng, kết hệ thống so khớp với chuyên gia đạt 89% Kết luận rằng, với liệu kết dự báo có phần chưa hồn tồn xác, liệu train nhiều kết dự báo xác 48  Bảng so sánh việc nhận diện khuôn mặt với hãng lớn giới [6] Bảng 3.2 Bảng so sánh nhận diện khn mặt Hãng Tiêu chí Nhận dạng khn mặt (face detection) Face recognition (image) Face Recognitio n (video) Cảm xúc (Enotions Present) Tuổi & giới tính (Age & Gender) Nhiều khuôn mặt (Multi-face tracking) Nhận dạng 3D SDK API Dân tộc (Ethnicity) Kairos Amazon Google Microsoft IBM OpenCV Intel RealSense 49  Bảng so sánh việc học máy từ hãng lớn giới [7] Dữ liệu so sánh giống khoảng 150,000 dòng, sử dụng API hãng Bảng 3.3 Bảng so sánh việc học máy Amazon Google PredicSis BigML Độ xác Accuracy (AUC) 0.862 0.743 0.858 0.853 Thời gian để huấn luyện (giây) (Time for training-s) 135 76 17 Thời gian dự báo (giây) 188 369 (Time for predictions-s) 3.4 DEMO ỨNG DỤNG Các giao diện hình hệ thống 3.4.1 Màn hình Hình 3.5 Màn hình Hiển thị thơng tin chương trình, thu nhận hình ảnh trực tiếp từ camera cho kết dự đoán, hiển thị thông tin gần khách hàng vào khách sạn 50 3.4.2 Màn hình quản lý khách hàng/ đăng ký khn mặt Hình 3.6 Màn hình quản lý khách hàng/ đăng ký khuôn mặt Khi khách hàng phải đăng ký thơng tin khn mặt vào hệ thống, hình cho phép thêm mới, chỉnh sửa, xóa tìm kiếm 3.4.3 Màn hình xem danh sách khách đến Hình 3.7 Màn hình xem danh sách khách đến Tại hình này, xem lại thông tin khách vào khách sạn, sửa, xóa thơng tin 51 3.4.4 Màn hình để nhập liệu train Hình 3.8 Màn hình theo dõi liệu huấn luyện Màn hình cho phép xem lại liệu huấn luyện, liệu cập nhật sau dự báo khách hàng vào, sửa xóa 3.4.5 Màn hình xem lại việc check-in check out Hình 3.9 Màn hình theo dõi thơng tin check-in check-out Màn hình theo dõi thơng tin tình trạng check-in/check out khách, hiệu chỉnh, xóa 52 3.4.6 Màn hình tìm kiếm thơng tin theo ngày khách hàng vào khách sạn Hình 3.10 Màn hình xem lại lịch sử khách hàng Màn hình tìm kiếm thơng tin khách hàng theo ngày, camera 3.4.7 Màn hình cài đặt camera, cấu hình Hình 3.11 Màn hình cấu hình hệ thống Màn hình cài đặt cấu hình camera, hệ thống cho phép sử dụng nhiều camera, cho phép lựa chon camera để thu thập thông tin 53 KẾT LUẬN & KIẾN NGHỊ Kết luận Nhận diện khn mặt dự đốn, phân tích thói quen khách hàng tốn ứng dụng hấp dẫn, nhận nhiều quan tâm nhà nghiên cứu tính ứng dụng thiết thực to lớn thực tế Luận văn trình bày:  Tổng quan cách tích hợp SDK Intel RealSense để nhận dạng khuôn mặt  Áp dụng phương pháp tính tốn theo tuyến tính hồi quy (Linear Regression) vào chương trình học máy  Dự đốn kết từ khn mặt  Xây dựng chương trình demo cho tốn Tuy nhiên kết nhận dạng ta thu nằm điều kiện cụ thể, thông qua SDK IntelRealsense, việc ứng dụng hệ thống vào thực tế gặp phải vấn đề thách thức thông số môi trường, chất lượng ảnh thu Đồng thời việc dự đốn phải cần có liệu huấn luyện lớn để đảm bảo tính xá Kiến nghị Để hệ thống sử dụng rộng rãi vào thực tế nhiều ngành, mang lại hiệu cao hướng phát triển giúp hệ thống lý tưởng hơn:  Xây dựng sở liệu huấn luyện đủ lớn để nâng cao độ xác cho hệ thống  Phân tích khn mặt với nhiều tính năng, cảm xúc để hỗ trợ cho khách sạn việc chăm sóc khách hàng  Mở rộng cho mơ hình học máy khác nơi sử dụng với nhiều khuôn mặt lúc để áp dụng phù hợp cho nơi siêu thị, sân bay,… TÀI LIỆU THAM KHẢO Tài liệu: [1] Shai Shalev-Shwartz and Shai Ben-David (2014), “Understanding Machine Learning: From Theory to Algorithms”, Cambridge University Press [2] Intel RealSense, “SDK Design Guidelines", Intel RealSense Technology, 2014 [3] Alex Smola and S.V.N Vishwanathan, Machine Learning, Cambridge University [4] Wuest & Thorsten (2015), “Identifying Product and Process State Drivers in Manufacturing Systems Using Supervised Machine Learning”, Universitiy Bremen [5] Howard Seltman, “Experimental Design for Behavioral and Social Sciences”, Simple Linear Regression, Chapter 9, CMU [6] https://www.kairos.com/blog/face-recognition-kairos-vs-microsoft-vs-googlevs-amazon-vs-opencv [7] https://www.altexsoft.com/blog/datascience/comparing-machine-learning-asa-service-amazon-microsoft-azure-google-prediction-api/ [8] Stan Z Li & Anil K Jain (2014), “Handbook of Face Recognition”, Google, Oct [9] Ion Marqu´es (2010), “Face Recognition Algorithms”, Universidad Del Paris Vasco, June [10] Inseong Kim, Joon Hyung Shim, and Jinkyu Yang (2012), “Face detection” [11] Henry A Rowley, Shumeet Baluja, and Takeo Kanade (1998), “Neural network based face detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(I), pp.23-38 [12] Kevin P.Murphy (2012), “Machine Learning - A Probabilistic Perspective”, The MIT press Cambridge, Massachusetts London, England [13] M Jordan, J Kleinberg, B.Scholkopf (2006), “Bishop - Pattern Recognition and Machine Learning”, Microsoft [14] Stuart J Russell Peter Norvig, “Artificial Intelligence A Modern Approach”, ISBN 0-13-080302-2 [15] Hans Moravec, “Today's Computers: Intelligent Machines and Our Future”, Stanford ... việc nhận dạng khuôn mặt quầy tiếp tân khách sạn, để hỗ trợ cho việc phân tích thói quen, dự báo khách vào khách sạn Từ góp phần cho việc xây dựng chiến lược phát triển hỗ trợ khách hàng khách. .. phân tích khn mặt nhằm để hỗ trợ nhận biết thói quen khách hàng, sử dụng việc nhận dạng khuôn mặt từ camera có sử dụng SDK Intel RealSense, qua đánh giá thói quen dự báo mức độ an tồn khách hàng. .. phục vụ khách chu đáo Vì vậy, xuất phát từ nhu cầu đấy, chọn đề tài luận văn thạc sĩ: “XÂY DỰNG HỆ THỐNG NHẬN DẠNG KHN MẶT & HỖ TRỢ PHÂN TÍCH THĨI QUEN KHÁCH HÀNG" Mục tiêu nghiên cứu Xây dựng ứng