Xây dựng hệ thống điểm danh tại trường thpt bình sơn sử dụng phương pháp học bán giám sát

ĐẠI HỌC ĐÀ NẴNG TRƢỜNG ĐẠI HỌC BÁCH KHOA - LẠI THỊ BẢO UYÊN XÂY DỰNG HỆ THỐNG ĐIỂM DANH TẠI TRƢỜNG THPT BÌNH SƠN SỬ DỤNG PHƢƠNG PHÁP HỌC BÁN GIÁM SÁT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng - Năm 2018 ĐẠI HỌC ĐÀ NẴNG TRƢỜNG ĐẠI HỌC BÁCH KHOA - LẠI THỊ BẢO UYÊN XÂY DỰNG HỆ THỐNG ĐIỂM DANH TẠI TRƢỜNG THPT BÌNH SƠN SỬ DỤNG PHƢƠNG PHÁP HỌC BÁN GIÁM SÁT Chuyên ngành : Khoa học máy tính Mã số : 60480101 LUẬN VĂN THẠC SĨ Ngƣời hƣớng dẫn khoa học: TS PHẠM MINH TUẤN Đà Nẵng - Năm 2018 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi - Những nội dung luận văn thực hướng dẫn trực tiếp Thầy TS Phạm Minh Tuấn - Các số liệu, kết nêu luận văn trung thực - Mọi tham khảo dùng luận văn trích dẫn rõ ràng trung thực tên tác giả, tên cơng trình, thời gian, địa điểm công bố - Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tơi xin chịu hồn tồn trách nhiệm Tác giả luận văn Lại Thị Bảo Uyên LỜI CẢM ƠN Trước tiên, xin gởi lời cảm ơn chân thành sâu sắc tới Thầy giáo TS Phạm Minh Tuấn, người Thầy tận tình hướng dẫn, động viên giúp đỡ suốt thời gian nghiên cứu thực luận văn Đặc biệt, chân thành cảm ơn em Phạm Minh Thắng, Đỗ Phúc Hảo, Đoàn Công Danh em thuộc Công ty TNHH MTV Hippotech VietNam, địa chỉ: 236 Đống Đa, phường Thạch Thang, Quận Hải Châu, Tp Đà Nẵng hổ trợ, dẫn, giúp đỡ tận tình, động viên Sự gần gũi, thân thiện em động lực lớn suốt chặng đường làm luận văn thạc sĩ Tôi xin gửi lời cảm ơn tới Ban giám hiệu Trường Đại Học Bách Khoa - Đà Nẵng, Ban giám hiệu Trường Đại Học Phạm Văn Đồng - Quảng Ngãi, Ban chủ nhiệm khoa Cơng nghệ thơng tin, Phịng Đào tạo sau đại học hai trường tạo điều kiện thuận lợi q trình học tập, nghiên cứu hồn thành luận văn Tơi xin cảm ơn q Thầy giáo, Cơ giáo người tận tình hướng dẫn truyền đạt cho tơi kiến thức q báu năm nghiên cứu học tập Tôi xin gởi lời cảm ơn tới Ban giám hiệu, thầy cô giáo em học sinh trường THPT Bình Sơn – Quảng Ngãi giúp đỡ tạo điều kiện tốt để tơi hồn thành luận văn Và để có kết ngày hôm nay, biết ơn Gia đình động viên, khích lệ, tạo điều kiện thuận lợi suốt trình nghiên cứu, học tập trình thực đề tài luận văn tốt nghiệp Mặc dù có nhiều cố gắng, chắn luận văn không tránh khỏi thiếu sót định Tơi mong nhận ý kiến đóng góp q báu Thầy Cơ giáo bạn để luận văn ngày hoàn thiện Một lần xin chân thành cám ơn! Tác giả luận văn Lại Thị Bảo Uyên MỤC LỤC MỞ ĐẦU 1 Lý chọn đề tài Mục đích nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa khoa học thực tiễn đề tài Bố cục luận văn CHƢƠNG CƠ SỞ LÝ THUYẾT VỀ NHẬN DẠNG KHUÔN MẶT 1.1 Nhận dạng khuôn mặt 1.1.1 Khái niệm nhận dạng khuôn mặt 1.1.2 Các bước xây dựng hệ thống nhận dạng khuôn mặt 1.1.3 Tổng quan nhận dạng khuôn mặt 1.1.4 Tiền xử lý 1.1.5 Biểu cảm khuôn mặt người 1.2 Học máy 1.2.1 Khái niệm 1.2.2 Các phương pháp học máy 1.2.3 Các mơ hình học máy 10 1.2.4 Ứng dụng học máy: 10 1.3 Tổng quan xử lý ảnh 10 1.3.1 Mục đích xử lý ảnh gồm 11 1.3.2 Các bước trình xử lý ảnh 11 1.3.3 Phạm vi ứng dụng xử lý ảnh 13 1.3.4 Mức xám ảnh biểu diễn ảnh 13 1.4 Các phương pháp nhận dạng đối tượng 16 1.4.1 Phương pháp Principal Component Analysis (PCA) 16 1.4.2 Phương pháp Support Vector Machine (SVM) 17 1.4.3 Phương pháp K-láng giềng gần 18 1.4.4 Phương pháp HOG 18 1.4.5 Phương pháp Linear Discriminant Analysis 19 1.5 Thách thức hệ thống nhận dạng 20 1.6 Kết chương 20 CHƢƠNG XÂY DỰNG HỆ THỐNG ĐIỂM DANH HỌC SINH SỬ DỤNG PHƢƠNG PHÁP HỌC BÁN GIÁM SÁT 22 2.1 Xây dựng hệ thống 22 2.1.1 Giới thiệu toán 22 2.1.2 Tình trạng lớp học vấn đề 23 2.1.3 Thiết kế sở liệu 23 2.2 Mơ hình tổng qt liệu 25 2.3 Luồng hệ thống 26 2.4 Phát đối tượng 28 2.4.1 Đặc trưng Haar-like 29 2.4.2 Đặc điểm thuật toán Haar - Like 32 2.4.3 Số lượng đặc trưng Haar-like 33 2.4.4 Hình ảnh tích hợp 33 2.5 Phân loại yếu 36 2.6 Phân loại mạnh 37 2.7 AdaBoost 37 2.8 Mơ hình phân tầng Cascade 40 2.9 Kết chương 41 CHƢƠNG TRIỂN KHAI HỆ THỐNG VÀ ĐÁNH GIÁ KẾT QUẢ 42 3.1 Môi trường thực nghiệm 42 3.1.1 Dữ liệu sử dụng 42 3.1.2 Giao diện chương trình 42 3.1.3 Thực nghiệm với tập liệu khuôn mặt người 45 3.2 Tổng quan 48 3.2.1 Tình trạng lớp học vấn đề 48 3.2.2 Các giải pháp 48 3.3 Kết xây dựng hệ thống 49 3.3.1 Giới thiệu chương trình 49 3.3.2 Nhận dạng khuôn mặt học sinh 50 3.3 Tìm kiếm, thống kê thơng tin học sinh lớp học 51 3.4 Đánh giá kết 54 3.4.1 Về lý thuyết 54 3.4.2 Về cài đặt 55 3.4.3 Về thực nghiệm 55 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 56 TÀI LIỆU THAM KHẢO 57 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao) TÓM TẮT LUẬN VĂN XÂY DỰNG HỆ THỐNG ĐIỂM DANH TẠI TRƢỜNG THPT BÌNH SƠN SỬ DỤNG PHƢƠNG PHÁP HỌC BÁN GIÁM SÁT Lại Thị Bảo Uyên, học viên cao học khóa 33, chuyên ngành Khoa học máy tính Mã số: 60480101 Khóa: 33 Trường Đại học Bách khoa – ĐHĐN Tóm tắt – Mục đích luận văn để phát triển hệ thống điểm danh học sinh trường THPT Bình Sơn sử dụng phương pháp học bán giám sát Hệ thống giúp giáo viên dễ dàng kiểm sốt học sinh có học đầy đủ hay khơng Chương trình nhận dạng khuôn mặt học sinh hệ thống camera Cụ thể hơn, camera đưa số hình ảnh lớp học Sau đó, chương trình áp dụng thuật tốn Viola-Jones để phát khuôn mặt ảnh Cuối cùng, sử dụng phương pháp trích chọn đặc trưng, kỹ thuật phân tích Principal Component Analysis (PCA) để xác định khuôn mặt xuất ảnh Sau buổi học, giáo viên biết số học sinh tham gia buổi học sở liệu Camera ghi lại học sinh lớp học suốt tiết học lưu hình ảnh vào sở liệu Sau hệ thống xác định danh tính học sinh xuất ảnh Chương trình lưu lại học sinh có tham gia buổi học lớp vào sở liệu Cuối cùng, giáo viên kiểm tra danh sách học sinh có học hay khơng Luận văn tập trung trình bày thuật tốn viola - jones, kỹ thuật phân tích PCA để xác định khuôn mặt Phần cuối luận văn phân tích học sinh tham gia vào hệ thống lớp học đưa kết cuối có tham gia buổi học hay khơng Từ khóa – Hệ thống nhận dạng, nhận dạng khn mặt, trích chọn đặc trưng, giao tiếp người - máy, cử khuôn mặt USING HALF SUPERVISING METHODS TO BUILD A BUDDHIST SYSTEM AT BINH SON HIGH SCHOOL Lai Thi Bao Uyen, graduate student of course 33, majoring in Computer Science Code: 60480101 Course: 33 The university of Technology – Da Nang university Abstract - The purpose of this project is to develop programs that can manage the attendance of students at Binh Son upper cecandary school by using University of Science and Technology It helps teachers to easily control the attendance of students The program identifies students portraits by a camera More specific, a camera takes some photos in class, then, the program applies Viola-Jones algorithm to detect faces in photos Finally, it uses Principal component analysis (PCA) techniques to identify the faces in the photos After class, the teacher manages a number creates a study session on the database The camera will record the students in the classroom during the lesson and save the images to the database Then the program determines the identities of the students in the photo Finally, the program saves the students who are in class into the database After that, teacher can check the list of students The report will focus on the presentation of viola-jones algorithms and PCA techniques The final part of the report is an analysis of the student who attend the system and the final conlession whether stundents attend the class or not Key words - System recognition, facial recognition, feature selection, human - machine interaction, face recognition DANH MỤC CÁC TỪ VIẾT TẮT Từ đầy đủ STT Từ viết tắt PCA Principal component analysis PCR Principal component regression CGA Conformal geometric algebra DANH MỤC CÁC BẢNG Số hiệu bảng Tên bảng Trang 2.1 Chứa thông tin giáo viên 23 2.2 Chứa thông tin học sinh 24 2.3 Chứa thông tin khuôn mặt 24 2.4 Mơ tả thuộc tính học sinh 24 2.5 Mơ tả lớp học 24 DANH MỤC CÁC HÌNH Số hiệu hình Tên hình Trang 1.1 Dữ liệu đưa kết để nhận dạng khuôn mặt 1.2 Các bước xử lý ảnh 11 1.3 Quan hệ vùng lân cận điểm ảnh 16 1.4 Ảnh sau tính gradient chia thành cell 19 2.1 Mối quan hệ hệ thống 25 2.2 Mơ hình tổng qt 25 2.3 Q trình thu thập hình ảnh 26 2.4 Dữ liệu hình ành đầu vào kết 27 2.5 Quá trình thu thập hệ thống 28 2.6 Quan hệ khu vực khác khuôn mặt 29 2.7 Một số mơ hình Haar - like 30 2.8 Các đặc trưng mở rộng đặc trưng Haar-like sở 30 2.9 Đặc trưng Haar – like Loại 31 2.10 Đặc trưng Haar – like Loại 31 2.11 Đặc trưng Haar – like Loại 31 2.12 Đặc trưng Haar – like Loại 31 2.13 Đặc trưng Haar – like Loại 32 2.14 Đặc trưng Haar – like Loại 32 2.15 Một số đặc điểm Haar – like 32 2.16 Giá trị hình ảnh tích hợp 34 2.17 Chuyển thành hình ảnh tích hợp 34 2.18 Bằng chứng hình ảnh tích hợp 35 2.19 Tính giá trị tất điểm ảnh vùng D 35 2.20 Xác định khuôn mặt dựa phân loại yếu 36 2.21 Mơ tả bước Adaboost vịng 38 2.22 Mơ tả bước Adaboost vịng 39 2.23 Mơ tả bước Adaboost vịng 39 2.24 Mơ tả bước Adaboost vịng 39 2.25 Mơ hình cascade cho nhận dạng đối tượng 40 3.1 Quá trình tải liệu 42 3.2 Quá trình tải liệu kết thúc 43 53 Hình 3.17 Dữ liệu học sinh lớp 10A8 Hình 3.18 Dữ liệu học sinh lớp 10A10 54 Hình 3.19 Dữ liệu học sinh lớp 10A12 3.4 Đánh giá kết Kết chương trình Demo thực nghiệm bước đầu cho kết tương đối xác với tập liệu mô phỏng, tức phát nhận dạng khuôn mặt học sinh Kết thể tốt việc nhận dạng đối tượng học sinh phương pháp trích chọn đặc trưng 3.4.1 Về lý thuyết Luận văn trình bày đầy đủ học máy kỹ thuật để xây dựng mơ hình học máy Khái qt hóa đầy đủ hệ thống nhận dạng đối tượng Tìm hiểu thuật toán Haar-like – Adaboost hai tác giả Paul Viola Micheal J.Jones thuật toán xác định mặt người dựa theo hướng tiếp cận diện mạo Tìm hiểu phương pháp trích chọn đặc trưng PCA để trích chọn đặc trưng tốt cách loại bỏ đặc trưng không tốt Thao tác với đối tượng vector, tính tốn làm việc với vector ma trận ảnh đối tượng sử dụng kỹ thuật cắt xây dựng tập ảnh huấn luyện từ liệu ảnh lớp 55 Đã bước đầu tìm hiểu phương pháp trích chọn đặc trưng PCA nhằm xây dựng vector đặc trưng tốt cho việc nhận dạng đối tượng quay góc khác 3.4.2 Về cài đặt Sử dụng thành thạo ngôn ngữ lập trình java xây dựng hệ thống web sử dụng code (jsp servlet), đồng thời sử dụng API Box server có sẵn Vận dụng lý thuyết tảng PCA để xây dựng mơ hình nhận dạng đối tượng dựa việc rút trích lựa chọn đặc trưng cho đối tượng 3.4.3 Về thực nghiệm Hệ thống cho phép nhận dạng đối tượng nhiều góc độ khác với tỷ lệ xác ngày cải thiện, nhờ vào phương pháp học bán giám sát, điều có nghĩa liệu tập huấn luyện ngày bổ sung, nên kết nhận dạng cải thiện rõ ràng sau tập huấn luyện nhiều đầy đủ Dưới kết thực nghiệm với tập liệu khuôn mặt học sinh với sử dụng phương pháp PCA dùng khoảng cách mahalanobis dùng khoảng cách Euclid Hình 3.20 Tỉ lệ nhận dạng sử dụng phương pháp PCA, dùng khoảng cách mahalanobis Hình 3.21 Tỉ lệ nhận dạng sử dụng phương pháp PCA, dùng khoảng cách Euclid 56 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Đã làm đƣợc Bước đầu xây dựng mơ hình huấn luyện để phát nhận dạng khuôn mặt đối tượng học sinh trường THPT Bình Sơn Quảng Ngãi, cách sử dụng thuật toán hỗ trợ việc phát nhận dạng khn mặt bao gồm: Trích chọn đặc trưng Haar-like, tăng tốc Adaboost, phân tích thành phần PCA Sử dụng công cụ hỗ trợ OpenCV để tiến hành cài đặt thực nghiệm Xây dựng chương trình Demo Nhận dạng khn mặt có khả phát nhận dạng khuôn mặt học sinh hình ảnh Kết trình phụ thuộc nhiều vào trình thu thập liệu huấn luyện phát hiện, nhận dạng Sau thời gian nghiên cứu xử lý ảnh, học máy tìm hiểu số sở lý thuyết áp dụng vào nhận dạng khuôn mặt học sinh trường THPT Bình Sơn – Quảng Ngãi Hiện tại, chưa có phương pháp phát đối tượng khn mặt với nhiều góc quay đủ tốt, nên q trình thực nghiệm, luận văn sử dụng với tập ảnh biết trước tọa độ khuôn mặt đâu hình lớn Vấn đề lớn phát đối tượng khn mặt hình ảnh quay nhiều góc độ cần nghiên cứu phát triển Các vấn đề cần cải thiện Hiện tại, chưa có phương pháp phát đối tượng khn mặt với nhiều góc quay đủ tốt, nên trình thực nghiệm, luận văn sử dụng với tập ảnh biết trước tọa độ khn mặt đâu hình lớn Vấn đề vấn đối tượng khn mặt hình ảnh quay nhiều góc độ cần nghiên cứu phát triển Hƣớng phát triển Thuật toán để phát khn mặt hay dùng OpenCV, kế thừa từ thuật toán Violajones, với thuật tốn ảnh quay kết phát khuôn mặt thấp, nghiên cứu kết hợp để xây dựng mơ hình phát khuôn mặt quay cải thiện tốt 57 TÀI LIỆU THAM KHẢO [1] S Z Li and A K Jain, Eds., Handbook of Face Recognition, 2nd Edition Springer, 2011 [2] Mannila, Heikki (1996) Data mining: machine learning, statistics, and databases Int'l Conf Scientific and Statistical Database Management [3] Xiaojin Zhu (2005) Semi-Supervised Learning with Graphs PhD thesis, Carnegie Mellon University, CMU-LTI-05-192, May 2005 [4] V Sindhwani, S.S Keerthi (2007) Newton Methods for Fast Solution of Semisupervised Linear SVMs Large Scale Kernel Machines, MIT Press, 2005 [5] Williams, Ronald J (1987) "A class of gradient-estimating algorithms for reinforcement learning in neural networks" Proceedings of the IEEE First International Conference on Neural Networks [6] Jolliffe, I.T (2002) Principal Component Analysis, second edition (Springer) [7] Adita K Nimbalkar, R R Karhe and C S Patil, “Face and Hand Gesture Recognition using Principle Component Analysis and kNN Classifier”, International Journal of Computer Applications (0975 – 8887),Volume 99– No.8, August 2014 [8] N Dalal and B Triggs, “Histograms of oriented gradients for human detection,” in Computer Vision and Pattern Recognition, 2005 CVPR 2005 IEEE Computer Society Conference on, 2005, vol 1, pp 886–893 [9] R Brunelli, Template Matching Techniques in Computer Vision: Theory and Practice, Wiley, ISBN 978-0-470-51706-2, 2009 [10] Paul Viola and Michael.J Jones, “Robust Real-Time Face Detection”, International Journal of Computer Vision, 2004, pp 137–154 [11] Seeing with OpenCV - Robin Hewitt Trang Web: [12] Trung tâm ứng dụng khoa học Tâm lý – Giáo dục, Lý thuyết Holland việc chọn nghề, http://www.vantayviet.edu.vn/Triet-ly-Ky-nang/Ly-thuyet-Holland-va-viecchon-nghe/-/136/6, truy cập ngày 15/3/2018 [13] Khai phá liệu, https://prezi.com/qg7zcn_tr5g7/khai-pha-du-lieu/, truy cập ngày 15/3/2018 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc NHẬN XÉT LUẬN VĂN TỐT NGHIỆP (Dành cho người phản biện) Họ tên người nhận xét: Lê Xuân Việt Học vị: Tiến sĩ Chun ngành: Bảo đảm tốn học cho máy tính hệ thống tính tốn Cơ quan cơng tác: Khoa Công nghệ thông tin – Đại học Quy Nhơn Họ tên học viên cao học: Lại Thị Bảo Uyên Khóa: K33.KMT.QNg Chun ngành: Khoa học máy tính Tên đề tài luận văn: Xây dựng hệ thống điểm danh trường THPT Bình Sơn sử dụng phương pháp học bán giám sát Ý KIẾN NHẬN XÉT 1- Về lý chọn đề tài: Với mong muốn tìm hiểu, vận dụng phương pháp xử lý ảnh vào việc nhận dạng khuôn mặt người để tiết kiệm thời gian điểm danh cho giáo viên lên lớp, tác giả lựa chọn xây dựng hệ thống điểm danh tự động phù hợp 2- Về phương pháp nghiên cứu, độ tin cậy số liệu: - Học viên tìm hiểu tổng hợp lý thuyết có liên quan - Các kết thử nghiệm chưa phân tích rõ ràng 3- Về kết khoa học đề tài: - Về lý thuyết: Học viên trình bày nét học máy, tìm hiểu thuật tốn Haar-like – Adaboost phương pháp trích chọn đặc trưng PCA - Về thực nghiệm: Bước đầu xây dựng hệ thống nhận dạng cho trưởng THPT 4- Về ý nghĩa khoa học, ứng dụng thực tiễn hướng mở rộng đề tài: Đề tài mang ý nghĩa thực tiễn, cần cải tiến nhiều để nhận dạng xác theo nhiều góc quay camera 5- Những thiếu sót & vấn đề cần làm rõ (nếu có): - Lỗi trình bày: Lỗi tả dòng mở đầu mục lục; Tên mục 1.3.1 cần chỉnh sửa cho với tiêu đề (đề mục); Cần trình bày lại Mơ hình tổng qt (Hình 2.2, trang 21) - Phần lớn nội dung Chương Chương 2, học viên trình bày lý thuyết, chưa đưa bước cụ thể để giải vấn đề - Câu hỏi: i) Trình bày cụ thể bước xây dựng hệ thống? Vận dụng PCA bước nào? Vận dụng Adaboost bước nào? ii) Đánh giá chất lượng Hệ thống? (tỷ lệ nhận dạng đúng) Ý kiến kết luận (mức độ đáp ứng yêu cầu luận văn thạc sĩ): Luận văn đáp ứng nội dung luận văn thạc sĩ kỹ thuật ngành Khoa học máy tính, mã số: 62.46.01.01 Ý KIẾN ĐỀ NGHỊ Đồng ý cho học viên bảo vệ luận văn trước Hội đồng chấm luận văn Thạc sĩ Đà Nẵng, ngày tháng năm 2018 NGƯỜI PHẢN BIỆN Lê Xuân Việt ... XÂY DỰNG HỆ THỐNG ĐIỂM DANH TẠI TRƢỜNG THPT BÌNH SƠN SỬ DỤNG PHƢƠNG PHÁP HỌC BÁN GIÁM SÁT Lại Thị Bảo Uyên, học viên cao học khóa 33, chuyên ngành Khoa học máy tính Mã số: 60480101 Khóa: 33 Trường. .. ? ?Xây dựng hệ thống điểm danh trường THPT Bình Sơn sử dụng phương pháp học bán giám sát? ?? Mục đích nghiên cứu Hỗ trợ giáo viên đánh giá học sinh nâng cao chất lượng dạy học: Tự động hóa việc điểm. ..ĐẠI HỌC ĐÀ NẴNG TRƢỜNG ĐẠI HỌC BÁCH KHOA - LẠI THỊ BẢO UYÊN XÂY DỰNG HỆ THỐNG ĐIỂM DANH TẠI TRƢỜNG THPT BÌNH SƠN SỬ DỤNG PHƢƠNG PHÁP HỌC BÁN GIÁM SÁT Chuyên ngành : Khoa học