ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NĂM HỌC 2016 – 2017 ỨNG DỤNG QUẢN LÝ VÀO RA LỚP HỌC BẰNG NHẬN DIỆN KHUÔN MẶT

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT KHOA CÔNG NGHỆ THÔNG TIN – ĐIỆN – ĐIỆN TỬ ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN THAM GIA CUỘC THI SINH VIÊN NGHIÊN CỨU KHOA HỌC NĂM HỌC 2016 – 2017 ỨNG DỤNG QUẢN LÝ VÀO RA LỚP HỌC BẰNG NHẬN DIỆN KHN MẶT Giảng viên hướng dẫn: Nhóm Sinh viên thực hiện: Trần Bá Minh Sơn Nguyễn Xuân Cường Phạm Minh Tiến 3.Nguyễn Hồng Anh 4.Nguyễn Quốc Thơng Bình Dương, tháng 03 năm 2017 TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT KHOA CÔNG NGHỆ THÔNG TIN – ĐIỆN – ĐIỆN TỬ ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN THAM GIA CUỘC THI SINH VIÊN NGHIÊN CỨU KHOA HỌC NĂM HỌC 2016 - 2017 ỨNG DỤNG QUẢN LÝ VÀO RA LỚP HỌC BẰNG NHẬN DIỆN KHUÔN MẶT Giảng viên hướng dẫn: Nhóm Sinh viên thực hiện: Trần Bá Minh Sơn Nguyễn Xuân Cường Phạm Minh Tiến 3.Nguyễn Hồng Anh 4.Nguyễn Quốc Thơng Bình Dương, tháng 03 năm 2017 MỤC LỤC LỜI NÓI ĐẦU 1.Giới thiệu 2.Mục tiêu 3.Phạm Vi 4.Đối Tượng 5.Phương Pháp Nghiên cứu + Phương pháp nghiên cứu lý thuyết: + Phương pháp nghiên cứu thực nghiệm: Nội dung tiến độ nghiên cứu NỘI DUNG CHƯƠNG I KHẢO SÁT HIỆN TRẠNG, THU THẬP YÊU CẦU,CỞ SỞ LÝ LUẬN 1.1 Tổng quan hệ thống 1.1.1 Mơ tả tốn 1.1.2 Giới thiệu tốn nhận dạng khn mặt người 1.1.3 Ứng dụng đề tài vào sở thực tiễn 1.2.1 Yêu cầu chức 1.3 Mô tả chức 1.3.1 Chức nhận diện khuôn mặt 1.3.2 Chức kiểm tra việc vào lớp học 1.3.3 Xuất danh sách chi tiết vào lớp học sinh viên 1.4.2 Trích đặc trưng phương pháp PCA 1.5 Phân tích phân lớp tuyến tính LDA 1.6 Mẫu nhị phân cục (LBP) 1.6.1 Mô tả kết cấu (Texture descriptor) 1.6.2 Mẫu nhị phân cục mở rộng 1.6.3 Mẫu đồng (uniform patterns) 1.6.4 Áp dụng LBP mô tả khuôn mặt 1.7 Support vector Machines (SVM) 1.7.1 Các khái niệm tảng 10 1.7.2 SVM tuyến tính 10 1.7.3 SVM phi tuyến 10 1.7.4 SVM cho vấn đề nhận dạng đa lớp 10 1.8 ĐỀ XUẤT PHƯƠNG PHÁPNHẬN DẠNG MẶT NGƯỜI 11 1.8.1 Phân tích tốn nhận dạng mặt người 11 1.8.1.1 Phát khuôn mặt (face detection) 11 1.8.1.2 Tiền xử lý ảnh (preprocessing) 11 1.8.1.3 Trích rút đặc trưng ( feature extraction) 11 1.8.1.4 Nhận dạng/Phân lớp 12 1.8.1.5 Dữ liệu hệ thống nhận dạng 12 1.9 Đề xuất phương pháp nhận dạng kết hợp LBP-PCA-SVM 12 1.10 Áp dụng LBP trích rút đặc trưng & PCA để giảm số chiều 13 1.11 Áp dụng SVM phân lớp/nhận dạng 13 1.12 Đánh giá phương pháp 15 CHƯƠNG II PHÂN TÍCH THIẾT KẾ HỆ THỐNG 16 2.1 Sơ đồ use-case 16 2.2 Mơ hình sequence diagram 17 2.2.1 Mơ hình đăng ký đăng nhập hệ thống 17 2.2.2 Mơ hình chức nhận diện camera 18 2.2.3 Chức thông báo, chỉnh sửa danh sách điểm danh cho phận 18 2.3 Sơ đồ thực thể kết hợp 19 2.4 Cấu trúc bảng kiểu liệu thuộc tính 20 CHƯƠNG III THIẾT KẾ GIAO DIỆN 22 Giao diện đăng nhập 22 Giao diện quản lý sinh viên: 23 Giao diện lưu trữ CSDL nhận diện 23 Giao diện xử lý training ảnh lưu trữ CSDL 24 CHƯƠNG 4: ĐÁNH GIÁ KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 25 4.1 Đánh giá kết quả 25 4.1.1 Kết quả đạt 25 4.1.2 4.2 Việc chưa đạt 25 Hướng phát triển 25 DANH SÁCH CÁC KÍ TỰ , CHỮ VIẾT TẮT CSDL Cơ Sở Dữ Liệu PK PRIMARY KEY PCA Principal component analysis LỜI NÓI ĐẦU 1.Giới thiệu Hiện tình trạng trốn học,bỏ tiết học, khơng thực đầy đủ nội quy tham gia đầy đủ số tiết học trường học nói chung đại học Thủ Dầu Một nói riêng, việc quản lý điểm danh cịn nhiều khó khăn, quản lý điểm danh cịn nhiều thiếu sót lưu trữ cịn chưa chặt chẽ Với phát triển nhanh chóng loại máy móc đại máy ảnh số, máy quay phim kỹ thuật số, máy vi tính,điện thoại thơng minh… lượng thơng tin người thu dạng hình ảnh lớn Xử lý ảnh lĩnh vực ngày phổ biến đời sống xã hội Không dừng lại việc xử lý vết nhòe, tái chế phục hồi ảnh cũ, ngày kỹ phương pháp xử lý ảnh mang lại tiến vượt bậc nhận dạng vân tay, nhận dạng khuôn mặt, nhận dạng đối tượng kết hợp với lĩnh vực trí tuệ nhân tạo Bên cạnh đó, vấn đề an ninh bảo mật yêu cầu khắc khe quốc gia giới Các hệ thống xác định, nhận dạng người đời với độ tin cậy cao Một toán nhận dạng người quan tâm nhận dạng qua khn mặt Có hai phương pháp nhận dạng phổ biến nhận dạng dựa đặc trưng phần tử khuôn mặt biển đổi Sóng Wavelet (Gabor Wavelet) Mạng Nơron (Neural Network), Support Vector Machine (SVN),… nhận dạng dựa xét tổng thể tồn khn mặt phương pháp Phân tích thành phần (Principal Component Analysis – PCA) phương pháp Phân tích khác biệt tuyến tính (Linear Discriminant Analysis – LDA),kết quả nhận dạng cao hoạt động ổn định có tính thích nghi cao liệu đầu vào thay đổi nhiều.Kết hợp với phương pháp nhận diện khuôn mặt vào việc nhận dạng điểm danh sinh viên vào lớp cách tự động Việc làm giảm nhiều chi phí quản lý thơng tin cách chặt chẽ nhanh chóng Đó lí nhóm chọn đề tài: "XÂY DỰNG ỨNG DỤNG QUẢN LÝ VÀO RA LỚP HỌC BẰNG NHẬN DẠNG KHUÔN MẶT" Mục tiêu Mục tiêu đề tài xây dựng ứng dụng quản lý vào lớp học nhận dạng khuôn mặt đáp ứng chức sau: - Quản lý vào lớp học hiệu quả - Tính nhận dạng khn mặt - Giúp cho việc kiểm tra sĩ số lớp học nhanh - Quản lý thời gian lên lớp sinh viên - Hiện đại cách điểm danh Phạm Vi Tập trung Nghiên cứu nhận diện sinh viên vào lớp học cấp trường Đối Tượng Tất cả đối tượng có nhu cầu , ưu tiên trường đại học Thủ Dầu Một Phương Pháp Nghiên cứu + Phương pháp nghiên cứu lý thuyết: - Công nghệ ASP.NET, truy vấn SQL, phân tích thiết kế hệ thống - Các phương pháp nhận dạng khuôn mặt người - Phân tích thành phần (PCA) - Phân tích phân lớp tuyến tính LDA - Mẫu nhị phân cục (LBP) - Support vector Machines (SVM) + Phương pháp nghiên cứu thực nghiệm: - Khảo sát góc chụp camera - Khảo sát thời gian nhận diện gửi kết quả trả máy chủ - Lập trình thiết kế ứng , cài đặt thuật tốn mơi trường thực nghiệm Nội dung tiến độ nghiên cứu - Xây dựng sở liệu hình ảnh mẫu để nhận diện - So sánh ảnh đối tượng nhận diện với ảnh lưu sở liệu - Truy xuất thông tin đối tượng nhận diện - Ghi nhận thời gian vào NỘI DUNG CHƯƠNG I KHẢO SÁT HIỆN TRẠNG, THU THẬP YÊU CẦU,CỞ SỞ LÝ LUẬN 1.1 Tổng quan hệ thống 1.1.1 Mơ tả tốn Khi nói đến việc điểm danh sinh viên trường đại học người nghĩ điểm danh đơn giấy,bút,danh sách in sẵn mà chưa quan tâm đến việc áp dụng công nghệ vào việc điểm danh Việc điểm danh truyền thống gây nhiều vấn đề : nhiều thời gian,chi phí khơng bên cạnh cịn xảy thêm vấn đề thất lạc danh sách điểm danh, khó thống kê số lượng sinh viên lớn mơi trường đại học nói chung mơi trường đại học Thủ Dầu Một nói riêng Vì áp dụng cơng nghệ vào việc điểm danh tiết kiệm nhiều thời gian , chi phí, rút ngắn nhiều thời gian cho việc điểm danh , thống kê nhiều vấn đề phát sinh Với cơng nghệ nhận diện khn mặt việc điểm danh trở lên tự động có khoa học 1.1.2 Giới thiệu tốn nhận dạng khn mặt người Nhận dạng mặt người (Face recognition) nghiên cứu từ năm 1980, lĩnh vực nghiên cứu ngành thị giác máy tính (Computer Vision), xem lĩnh vực nghiên cứu ngành sinh trắc học (Biometrics) tương tự nhận dạng vân tay – Fingerprint recognition, hay nhận dạng mống mắt – Iris recognition Trong nhận dạng vân tay mống mắt áp dụng thực tế cách rộng rãi nhận dạng mặt người nhiều thách thức So với nhận dạng vân tay mống mắt, nhận dạng mặt có nguồn liệu phong phú địi hỏi tương tác có kiểm sốt Bài tốn nhận dạng mặt người cịn nhiều thách thức nên hàng năm & ngồi nước có nhiều nghiên cứu phương pháp nhận dạng mặt người Để thử nghiệm phương pháp cần có sở liệu ảnh mẫu Có ba sở liệu ảnh mẫu phổ biến là: Cơ sở liệu AT&T, Cơ sở liệu Yale A, Cơ sở liệu Yale B Bài toán nhận dạng khn mặt áp dụng rộng rãi nhiều ứng dụng thực tế khác 1.1.3 Ứng dụng đề tài vào sở thực tiễn Trong đề tài này, nhóm tập trung tìm kiếm đề xuất thuật tốn hiệu quả nhận dạng khn mặt nhằm kiểm tra việc vào lớp học sinh viên trường đại học Thủ Dầu Một.Do khó khăn tốn nhận dạng khn mặt như: Tư góc chụp, xuất thiếu số thành phần khuôn mặt, biểu cảm khuôn mặt, che khuất, hướng ảnh, điều kiện ảnh Vì nhóm đưa giả định ràng buộc sau làm giảm độ phức tạp tốn sau: - Góc ảnh trực diện (frontal) gần trực diện, không bị che khuất (no occlusion) - Ảnh chụp điều kiện ánh sáng bình thường - Cơ sở liệu ảnh nhỏ, khoảng trăm ảnh - Ảnh xét ảnh số, nghĩa ảnh mặt người chụp từ thiết bị máy ảnh số,camera,….Không xem xét ảnh mặt người nhân tạo vẽ, điêu khắc … 1.2.1 Yêu cầu chức CÁC CHỨC NĂNG CỦA CHƯƠNG TRÌNH PHẦN MỀM ĐIỂM DANH NHẬN DIỆN BẰNG KHUÔN MẶT A.Các chức tổng quát 1.Nhận diện khuôn mặt Chức kiểm tra việc vào lớp học 3.Xuất danh sách chi tiết vào lớp học sinh viên B.Phân rã chức nhỏ chức tổng qt 1.Nhận Diện Khn Mặt 1.1Chụp hình ảnh khn mặt 1.2 Lưu CSDL 1.3 Phân tích nhận diện hình ảnh 1.4 Lưu thông tin nhận diện điểm danh Chức kiểm tra việc vào lớp học 2.1 Lưu thông tin điểm danh học sinh vào Các Bảng server 2.2 Lưu Các lần vào lớp suốt buổi học 2.3Xuất thông tin sinh viên có lớp học thời gian 2.4 Sinh viên có mặt lớp khoảng thời gian Thông báo danh sách điểm danh cho phận quản lý 3.1 Xuất danh sách thời gian chi tiết sinh viên 1.3 Mô tả chức 1.3.1 Chức nhận diện khuôn mặt Mô tả:Hệ thống camera tự động chụp hình ảnh ,gửi máy chủ sau máy chủ dùng thuật tốn nhận diện khn mặt thư viện OpenCV ,EmguCV để nhân diện khuôn mặt chụp camera - Trình tự thực hiện: 1.Camera chụp hình ảnh 2.Camera truyền hình ảnh cần phân tích máy chủ Máy chủ phân tích nhận diện hình ảnh 4.Lưu sở liệu thông tin nhận diện - Kết quả: Nhận diện sinh viên 11 1.8 ĐỀ XUẤT PHƯƠNG PHÁPNHẬN DẠNG MẶT NGƯỜI 1.8.1 Phân tích tốn nhận dạng mặt người Một hệ thống nhận dạng mặt người thông thường gồm bước sau đây: 1.8.1.1 Phát khuôn mặt (face detection) Phát khn mặt q trình xác định vị trí khu vực khn mặt hình ảnh lấy tất cả khn mặt hình ảnh 1.8.1.2 Tiền xử lý ảnh (preprocessing) Bước nhằm mục đích lọc nhiễu, nâng cao chất lượng ảnh, bước bao gồm bước : Căn chỉnh ảnh, chuẩn hóa ánh sáng 1.8.1.3 Trích rút đặc trưng ( feature extraction) Ở bước phương pháp trích chọn đặc điểm như: mẫu nhị phân cục – LBP (hay Gabor wavelets, Gradient, Discrete Cosine Transform …) sử dụng với ảnh mặt để trích xuất thơng tin đặc trưng cho ảnh,kết quả ảnh biểu diễn dạng vector.đề tài nhóm chọn chủ yếu trình bày phương pháp Local Binary Pattern mục 12 1.8.1.4 Nhận dạng/Phân lớp Bước nhận dạng (recognition) hay phân lớp (classification), tức xác định danh tính (identity) hay nhãn (label) ảnh – ảnh Trong Báo Cáo trình bày phương pháp phương pháp SVM 1.8.1.5 Dữ liệu hệ thống nhận dạng Dữ liệu hệ thống nhận dạng chia làm tập ▪ Tập huấn luyện (training set), ▪ Tập tham chiếu (reference set) ▪ Tập để nhận dạng (probe set) Trong nhiều hệ thống, tập training trùng với tập reference (trong báo cáo tập huấn luyện trùng với tập training) Tập training gồm ảnh dùng để huấn luyện, thông thường tập dùng để sinh không gian ma trận phương pháp hay sử dụng PCA, LDA…Tập reference gồm ảnh biết danh tính chiếu vào khơng gian bước training Sau thực chiếu tập reference vào không gian con, hệ thống lưu lại kết quả ma trận với cột ma trận vector tương ứng với ảnh (định danh biết) để thực nhận dạng (hay phân lớp) Nhận dạng (hay phân lớp) thực với tập ảnh probe 1.9 Đề xuất phương pháp nhận dạng kết hợp LBP-PCA-SVM Hiện có nhiều phương pháp kết hợp để nhận dạng khn mặt đề cập.Nhóm trình bày phương pháp nhận dạng mặt người cách kết hợp ba phương pháp LBP, PCA & SVM, ứng dụng việc kết hợp ba phương pháp nhận dạng Sơ đồ kết hợp phương pháp 13 1.10 Áp dụng LBP trích rút đặc trưng & PCA để giảm số chiều Trong báo cáo ảnh chia làm 49 khối, chiều ảnh chia làm phần kích thước ảnh khuôn mặt trước rút đặc trưng cần 126x147px Các bước thực trích rút đặc trưng khn mặt: Các bước thực trích rút đặc trưng 1.11 Áp dụng SVM phân lớp/nhận dạng Sử dụng SVM nhiều lớp với chiến lược one-vs-one (Theo nghiên cứu Chih-Wei Hsu Chih-Jen Lin [11] chiến lược one-vs-all cho kết quả không tốt), sử dụng với hàm nhân Radial basic funtion (RBF) để nhận dạng (Theo kết quả thực nghiệm hàm nhân RBF cho tỉ lệ nhận dạng cao nhất) 14 Sơ đồ phân lớp nhận dạng sử dụng SVM 15 1.12 Đánh giá phương pháp Đồ thị tỉ lệ nhận dạng phương pháp PCA LDA tập AT&T Đối với sinh viên trường để lấy tập liệu ảnh lớn khó Sau thử nghiệm với phương pháp LBP, SVM, PCA với số lượng ảnh mẫu/người từ trở lên, kết quả khả quan Tỉ lệ nhận dạng theo số lượng ảnh mẫu phương pháp LBP-PCA- SVM CSDL AT&T & Yale A 16 CHƯƠNG II PHÂN TÍCH THIẾT KẾ HỆ THỐNG 2.1 Sơ đồ use-case Sơ đồ 1: Sơ đồ use case mô tả chức actor Camera Máy chủ Sơ đồ : Sơ đồ use case mô tả chức actor Bộ Phận Quản Lý 17 2.2 Mơ hình sequence diagram 2.2.1 Mơ hình đăng ký đăng nhập hệ thống Hình 2.1 Mơ hình đăng ký _ Dịng kiện: trang chủ, Admin nhấp vào “Đăng ký”, hệ thống chuyển sang trang đăng ký, hệ thống yêu cầu admin nhập đầy đủ thông tin theo yêu cầu, sau admin nhập đầy đủ thông tin vào nhấp vào nút”Đăng ký” hệ thống gửi thông tin vào CSDL, liệu hệ thống phản hồi lại cho admin đăng ký thành công chuyển qua trang đăng nhập, ngược lại hệ thống báo lỗi vào yêu cầu Admin nhập lại 18 2.2.2 Mơ hình chức nhận diện camera Hình 2.2 Mơ hình chức nhận diện camera Dòng kiện : Camera nhận diện hình ảnh gửi Controller xử lý , kiểm tra xem hình ảnh người cần nhận diện có CSDL chưa, có trả kết quả nhận diện,nếu khơng có controller nhận diện lưu hệ thống CSDL 2.2.3 Chức thông báo, chỉnh sửa danh sách điểm danh cho phận Hình 2.3 Chức thông báo, chỉnh sửa danh sách điểm danh cho phận 19 Dòng kiện : Các phận thực thao tác kiểm tra thông tin điểm danh diao diện điểm danh sinh viên , sau controller thực yêu cầu kiểm tra xem thơng tin cần lấy CSDL có xuất thơng tin giao diện Các phận tiếp tục từ thông tin nhận thực thao tác thêm xóa sửa , controller điều khiển nhận yêu cầu thực thao tác CSDL Sau thơng báo kết quả giao diện 2.3 Sơ đồ thực thể kết hợp 20 2.4 Cấu trúc bảng kiểu liệu thuộc tính Table: SINHVIEN (Sinh Viên) Field Name Data Type Null Key MaSV Varchar(15) No Lop Varchar(6) Yes Ho Nvarchar(20) Yes Ten Nvarchar(20) Yes Description PK Table: GIANGVIEN (Giảng Viên) Field Name Data Type Null Key MaGV Varchar(15) No Password NVarchar(100) Yes Ho Nvarchar(20) Yes Ten Nvarchar(20) Yes Description PK Table: MONHOC (Môn Học) Field Name Data Type Null Key MaMH Varchar(5) No TenMH Nvarchar(80) Yes SoTC int Yes Description PK Table: LOP(Lớp) Field Name Data Type Null Key MaLop Varchar(8) No TenLop Nvarchar(80) Yes Description PK Table: KHOA (Khoa) Field Name Data Type Null Key MaKhoa Varchar(5) No TenKhoa Nvarchar(80) Yes PK Description 21 Table: IMAGES(Hình Ảnh) Field Name Data Type Null Key IDIMG Varchar(5) No LinkIMG Nvarchar(500) Yes Description PK Table: DIEMDANH(Điểm Danh) Field Name Data Type Null Key MaDD Varchar(8) No PK Description Mã điểm danh môn sinh viên có mã MaGV Varchar(15) Yes MaSV Varchar(15) Yes MaMH Varchar(5) Yes MaLop Varchar(8) Yes FK Table: CTDIEMDANH(Chi Tiết Điểm Danh) Field Name Data Type Null Key MaDD Varchar(8) No NgayDD Datetime Yes PK Description Mã Điểm Danh Ngày Điểm Danh, Điểm Danh Vào Ngày SoNV int Yes Số Ngày Vắng NgayBDMH Datetime Yes Ngày Bắt Đầu Môn Học NgayKTMH Datetime Yes Ngày Kết Thúc Môn Học 22 Table: CTDIEMDANH(Chi Tiết Điểm Danh) Field Name Data Type Null Key MaDD Varchar(8) No PK Description Kết Nối Với Mã Điểm danh bảng chi tiết điểm danh NgayHT Datetime TrangThaiHT Int Yes Ngày Tại Đang Học Có khơng,nếu có lớp giá trị có ngược lại cập nhật sinh viên vào lớp CHƯƠNG III THIẾT KẾ GIAO DIỆN Giao diện đăng nhập 23 Giao diện quản lý sinh viên: Giao diện lưu trữ CSDL nhận diện 24 Giao diện xử lý training ảnh lưu trữ CSDL 25 CHƯƠNG 4: ĐÁNH GIÁ KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 4.1 Đánh giá kết 4.1.1 Kết đạt - Thực việc quản lý vào lớp học cách khoa học, - Lưu trữ thông tin sinh viên học cách tự động theo phòng học - Nhận diện hình ảnh sinh viên cách tốt qua nhận diện khuôn mặt - Thống kê danh sách sinh viên vào lớp học cách nhanh chóng 4.1.2 Việc chưa đạt - Việc nhận diện khn mặt cịn hạn chế số góc nhìn - Thuật tốn sử dụng chưa tối ưu 4.2 Hướng phát triển - Cải thiện thuật toán để việc nhận diện nhanh - Cải thiện góc nhìn để camera bắt đầy đủ góc khía cạnh khn mặt ...TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT KHOA CÔNG NGHỆ THÔNG TIN – ĐIỆN – ĐIỆN TỬ ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN THAM GIA CUỘC THI SINH VIÊN NGHIÊN CỨU KHOA HỌC NĂM HỌC 2016 - 2017 ỨNG... 5.Phương Pháp Nghiên cứu + Phương pháp nghiên cứu lý thuyết: + Phương pháp nghiên cứu thực nghiệm: Nội dung tiến độ nghiên cứu NỘI DUNG... điểm danh trở lên tự động có khoa học 1.1.2 Giới thiệu tốn nhận dạng khn mặt người Nhận dạng mặt người (Face recognition) nghiên cứu từ năm 1980, lĩnh vực nghiên cứu ngành thị giác máy tính (Computer