Xây dựng hệ thống điểm danh sinh viên trên smartphone bằng phương pháp nhận diện gương mặt kết hợp gps nghiên cứu khoa học

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN THAM GIA XÉT GIẢI THƯỞNG NGHIÊN CỨU KHOA HỌC SINH VIÊN CẤP TRƯỜNG XÂY DỰNG HỆ THỐNG ĐIỂM DANH SINH VIÊN TRÊN SMARTPHONE BẰNG PHƯƠNG PHÁP NHẬN DIỆN GƯƠNG MẶT KẾT HỢP GPS Thuộc nhóm ngành khoa học: KHOA HỌC MÁY TÍNH TP.Hồ Chí Minh, 4/2013 TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN THAM GIA XÉT GIẢI THƯỞNG NGHIÊN CỨU KHOA HỌC SINH VIÊN CẤP TRƯỜNG XÂY DỰNG HỆ THỐNG ĐIỂM DANH SINH VIÊN TRÊN SMARTPHONE BẰNG PHƯƠNG PHÁP NHẬN DIỆN GƯƠNG MẶT KẾT HỢP GPS Thuộc nhóm ngành khoa học:KHOA HỌC MÁY TÍNH Sinh viên thực hiện: Huỳnh Thiện Bình Nam, Nữ: Nam Dân tộc: Kinh Lớp, khoa: TH10A1 Năm thứ: / Số năm đào tạo: Ngành học: Công Nghệ Thông Tin Người hướng dẫn: TS Lê Xuân Trường TP.Hồ Chí Minh, 4/2013 MỤC LỤC MỞ ĐẦU 14 Tổng quan tình hình nghiên cứu 14 Lý chọn đề tài 15 Mục tiêu đề tài 16 Phương pháp nghiên cứu 17 Đối tượng phạm vi nghiên cứu 18 Đóng góp đề tài 18 CHƯƠNG 1: NỘI DUNG NGHIÊN CỨU 20 1.1 WebServices 20 1.1.1 WebServices gì? 20 1.1.2 Đặc điểm WebServices 20 1.1.2.1 Đặc điểm 20 1.1.2.2 Ưu khuyết điểm 20 1.1.2.3 Các thành phần WebService 21 1.1.2.3.1 XML – eXtensible Markup Language 21 1.1.2.3.2 WSDL – Web Service Description Language 22 1.1.2.3.3 Universal Description, Discovery, and Integration 22 1.1.2.3.4 SOAP – Simple Object Access Protocol 23 1.2 Công nghệ định vị GPS 24 1.2.1 Sơ lược hệ thống GPS 24 1.2.2 Nghiên cứu thành phần hệ thống GPS 26 1.2.2.1 Các thành phần hệ thống GPS 26 1.2.2.2 Nguyên lý định vị GPS 27 1.2.2.2.1 Định vị tuyệt đối (point positioning) 27 1.2.2.2.2 Định vị tương đối (Relative Positioning) 27 1.2.2.3 Các phương pháp đo GPS 27 1.2.2.4 Cách xác định vị trí mặt đất thơng qua hệ thống GPS 29 1.3 Công nghệ nhận dạng gương mặt 30 1.3.1 Các phương pháp 30 1.3.1.1 PCA 31 1.3.1.2 Eigenfaces 33 1.3.1.3 Thuật toán PCA ứng dụng PCA 34 1.3.1.3.1 Thuật toán 34 1.3.1.3.2 Phân tích thành phần chính 34 CHƯƠNG 2: PHÂN TÍCH, THIẾT KẾ VÀ THỰC HIỆN 39 2.1 Phân tích chương trình 39 2.2 Thiết kế chương trình 39 2.2.1 Xây dựng sở liệu 40 2.2.1.1 Phân tích mục tiêu cần giải 40 2.2.1.2 Hiện thực sở liệu 41 2.2.1.3 Mơ hình chi tiết sở liệu 42 2.3 Thực chương trình 43 2.3.1 Các chức ứng dụng 44 2.3.1.1 Đăng nhập vào hệ thống 44 2.3.1.2 Định vị trí GPS 45 2.3.1.3 Nhận dạng gương mặt 46 2.3.1.3.1 Eigenfaces việc nhận dạng mặt người 46 2.3.1.3.2 Quá trình nhận dạng 47 2.3.1.3.3 Tính tốn Eigenfaces 47 2.3.1.3.4 Sử dụng Eigenfaces việc phân loại ảnh 48 2.3.1.3.5 Lưu đồ thuật toán PCA 49 2.3.1.3.6 Nhận xét thuật toán PCA 50 2.3.1.3.7 Lưu đồ thuật giải 51 2.3.1.3.7.1 Lưu đồ thuật giải chụp ảnh 52 2.3.1.3.7.2 Lưu đồ thuật giải cắt dị tìm mặt người 53 2.3.1.3.7.3 Lưu đồ thuật giải nhận dạng 54 2.3.1.4 Điểm danh 55 CHƯƠNG 3: CHƯƠNG TRÌNH MƠ PHỎNG 56 3.1 Các bước chạy ứng dụng 56 3.2 Kết 56 3.3 Tốc độ xử lí 67 CHƯƠNG 4: KẾT LUẬN 68 4.1 Kết nghiên cứu đánh giá 68 4.2 Đóng góp ứng dụng 69 4.3 Nhận xét ứng dụng 69 4.4 Hướng phát triển 70 TÀI LIỆU THAM KHẢO 71 DANH MỤC HÌNH ẢNH Hinh 1.1 :Cấu trúc thông điệp theo dạng SOAP 23 Hình 1.2: Mơ hình vệ tinh GPS 25 Hình 1.3 a) Các thành phần GPS 26 Hình 1.3 b) Các thiết bị thu tín hiệu 27 Hình 1.4 a) Ví dụ giải thuật PCA 32 Hình 1.4 b) Hai góc nhìn lạc đà 33 Hình 1.5 a) Eigenfaces 37 Hình 1.5 b) Hình chiều vào khơng gian khn mặt 38 Hình 2.1: Tương tác user server 39 Hình 2.2: Cơ sở liệu ứng dụng 43 Hình 2.3: Quy trình hoạt động ứng dụng 44 Hình 2.4: Lưu đồ giải thuật PCA 45 Hình 2.5 a) Những gương mặt training set 46 Hình 2.5 b) Ảnh trung bình 46 Hình 2.5 c): Ảnh Eigenfaces tính toán từ training set 47 Hình 2.6: Ảnh hình chiếu vào không gian mặt người 49 Hình 2.7: Lưu đồ thuật tốn PCA 50 Hình 2.8: Lưu đồ thuật giải 52 Hình 2.9: Lưu đồ giải thuật chụp ảnh 53 Hình 2.10: Lưu đồ giải thuật cắt dị tìm mặt người 54 Hình 2.11: Lưu đồ giải thuật nhận dạng 55 Hình 3.1 Giao diện đăng nhập 57 Hình 3.2 Giao diện đăng nhập không thành công 57 Hình 3.3 Đăng nhập thành công 58 Hình 3.4 Giao diện đồ từ vệ tinh 59 Hình 3.5 Định vị trí GPS giao diện giao thông 60 Hình 3.6 Định vị trí GPS giao diện vệ tinh 61 Hình 3.7 Giao diện điện thoại nằm phạm vi điểm danh 62 Hình 3.8 Giao diện điện thoại nằm phạm vi điểm danh 63 Hình 3.9 Giao diện sinh viên điểm danh hộ 64 Hình 3.10 Giao diện nhận dạng không khớp 65 Hình 3.11 Giao diện nhận dạng trùng khớp 66 DANH MỤC TỪ VIẾT TẮT Chữ viết tắt Chữ đầy đủ Ý nghĩa GPS Global Positioning System Hệ thống định vị toàn cầu PCA Principal component analysis Cơng nghệ phân tích thành phần SOAP Simple Object Access Protocol Giao thức sử dụng XML để định nghĩa liệu dạng thuần văn thông qua HTTP BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ TP.HCM THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: Xây dựng hệ thống điểm danh sinh viên Smart Phone bằng phương pháp nhận diện gương mặt kết hợp GPS - Sinh viên thực hiện: Huỳnh Thiện Bình - Lớp: TH10A1 - Sinh viên thực hiện: Nguyễn Thế Hiển - Lớp: TH10A1 - Sinh viên thực hiện: Nguyễn Trung Trực - Lớp: TH10A2 - Sinh viên thực hiện: Phan Tiến Lộc - Lớp: TH10A2 - Người hướng dẫn: TS Lê Xuân Trường Khoa: CNTT Năm thứ: Khoa: CNTT Năm thứ: Khoa: CNTT Năm thứ: Khoa: CNTT Năm thứ: Số năm đào tạo: Số năm đào tạo: Số năm đào tạo: Số năm đào tạo: Mục tiêu đề tài: - Xây dựng hệ thống phần mềm điểm danh sinh viên hoạt động mơ hình Client - Server, với Client chương trình ứng dụng thiết bị đầu cuối điện thoại thông minh (SmartPhone), Server dịch vụ Web (Web Service) máy chủ mạng Internet Về cốt lõi, hệ thống xoay quanh công nghệ chính GPS nhận diện khuôn mặt, làm sở phục vụ cho cơng tác điểm danh Ngồi ra, tiến hành xây dựng hệ sở liệu tốt, làm tiền đề cho hướng phát triển mở rộng phục vụ thống kê, tính toán - Giải vấn nạn học hộ, thi hộ thông qua chương trình ứng dụng với yêu cầu bảo mật định Nhờ đó, vượt qua khó khăn vốn có việc kiểm tra thủ cơng truyền thống số lượng lớn, dẫn tới thiếu sót như: người có thể điểm danh cho nhiều người, dùng hình ảnh giả hoặc tương tự để thi hộ cách dễ dàng - Góp phần thay đổi ý thức, thái độ học tập sinh viên thông qua ràng buộc diện Đảm bảo lượng kiến thức sinh viên, đáp ứng yêu cầu tối thiểu cho thi cử xa đáp ứng u cầu cơng việc Từ nâng cao chất lượng đào tạo - Mọi người có thể tự điểm danh cho mà khơng cần chờ tới lượt Thơng qua tiết kiệm thời gian điểm danh, vốn chiếm nhiều thời gian lớp học lớn đơn giản hóa cơng tác tính tốn diện, xét điểm chuyên cần nhờ tất thông tin lưu hệ thống máy tính văn giấy - Thiết kế ứng dụng có giao diện người dùng thân thiện, tận dụng lợi tảng phát triển điện thoại thông minh (Smartphone) vốn phổ biến giới học sinh sinh viên Nhờ tính khả thi cao, có thể triển khai mà khơng cần thêm tốn thêm chi phí cho thiết bị bổ sung - Áp dụng công nghệ tiên tiến GPS, nhận diện khn mặt vào chương trình ứng dụng khơng ngồi mục tiêu tăng độ chính xác, tăng tính xác thực lên cao Từ đó, đáp ứng yêu cầu công tác điểm danh xác định người nơi thời điểm Tính sáng tạo: - Việc điểm danh còn nhiều bất cập phức tạp khâu thống kê Đòi hỏi ứng dụng cần phải bảo đảm tính chính xác độ tin cậy cao - Để thực điều này, ứng dụng có kết hợp định vị tồn cầu GPS, giúp xác định chính xác sinh viên thời điểm (kiểm tra sinh viên thực điểm danh có thuộc vị trí lớp học hay không), phương 10 - Sinh viên nhập mã số sinh viên mật vào ô mã số sinh viên mật tương ứng hình Nếu mã số sinh viên mật hợp lệ xuất thông báo đăng nhập thành công chuyển sang trang hiển thị đồ đề sinh viên lấy toạ độ vị trí đứng Và ngược lại đăng nhập không thành công, sinh viên kiểm tra lại đăng nhập Hình Giao diện đăng nhập 57 - Khi đăng nhập, thông tin mã số sinh viên, số gửi server Server xử lý thông tin vừa gửi với sở liệu Thông báo đăng nhập không thành công nhập sai mã số sinh viên mật Hình Giao diện đăng nhập không thành công 58 - Thông báo đăng nhập thành công sau nhập mã số sinh viên mật hợp lệ Hình 3 Đăng nhập thành công 59 - Sau đăng nhập thành công, hệ thống tự động chuyển đến trang hiển thị đồ thực lấy toạ độ GPS Đây giai đoạn kiểm tra xem sinh viên có lớp học hay không, bằng cách lấy tọa độ GPS sinh viên so sánh với tọa độ GPS lớp học mà sinh viên có tiết học Nếu sinh viên không lớp học, ứng dụng quay trở hình 3.4 để sinh viên vào lớp thực việc lấy tọa độ lại Hình Giao diện đồ từ vệ tinh 60 - Sau nhấn vào nút lấy toạ độ, vị trí sinh viên sử dụng điện thoại xác định hiển thị đồ hình 3.5 Hình Định vị trí GPS giao diện giao thơng 61 - Sinh viên củng có thể xem chế độ vệ tinh đồ hình 3.6 Hình Định vị trí GPS giao diện vệ tinh 62 - Sau xác định được, tọa độ gửi server để xác nhận sinh viên có nằm phạm vị lớp khơng, thuộc phạm vị lớp server trả kết ứng dụng hiển thị thơng báo lên người dùng Như hình 3.7 khơng thuộc phạm vị lớp, tức sinh viên vị trí khơng lớp học Hình Giao diện điện thoại nằm phạm vi điểm danh 63 - Kết ngược lại sinh viên lớp xuất thông báo hình 3.8 Hình Giao diện điện thoại nằm phạm vi điểm danh 64 - Sau xác định nằm phạm vi tiến hành so sánh nhận diện gương mặt xuất thơng báo cho sinh viên, trùng khớp cho sinh viên quyền điểm danh vào hệ thống Ngược lại chương trình - Sinh viên thơng báo chụp hình gương mặt mình, smartphone tự động chuyển qua chức camera Khi nhấn gửi, tọa độ điểm ảnh gương mặt vừa chụp gửi cho server Server tiến hành so sánh ảnh vủa chụp với ảnh sinh viên sở liệu - Minh hoạ so sánh gương mặt không giống nhau, có nghĩa sinh viên điểm danh hộ Hình Giao diện sinh viên điểm danh hộ 65 - Kết trả hai sinh viên không giống nhau, nên sinh viên không phép điểm danh có học Khi sinh viên lựa chọn chụp ảnh khác hoặc thoát khỏi ứng dụng Hình 10 Giao diện nhận dạng không khớp 66 - Nhận diện chính xác gương mặt giống Và thông báo điểm danh thành công Hình 11 Giao diện nhận dạng trùng khớp 3.3 Tốc độ xử lí - Việc tính toán xử lí ứng dụng dựa vào chất lượng ảnh kích thước đưa vào Nếu ảnh nhỏ ứng dụng xử lí nhanh, ảnh có kích thước lớn ứng dụng xử lí chậm 67 CHƯƠNG 4: KẾT LUẬN 4.1 Kết nghiên cứu đánh giá - Nắm bắt công nghệ cách thức xây dựng ứng dụng điện thoại di động thông minh (SmartPhone) mà cụ thể hệ điều hành Windows Phone - Về dịch vụ Web(Web Service), hiểu chế vận hành, sở lý thuyết phục vụ cho việc xây dựng thực thi dịch vụ Web Server, chọn ASP.NET làm công nghệ chủ điểm để tiến hành xây dựng - Tìm hiểu hệ thống định vị toạ độ tồn cầu GPS, cơng nghệ GPS sử dụng thiết bị di động, đồ phục vụ hiển thị GPS BingMap, GoogleMap - Trong công nghệ nhận diện gương mặt tại, thấy ưu khuyết từng giải thuật hỗ trợ, chọn lựa giải thuật tối ưu va khả thi thuật toán PCA kết hợp Eigenfaces - Theo mơ hình Client – Server, nghiên cứu giao thức hỗ trợ, từng bước thấy khác giao thức, tiến hành chọn giao thức phù hợp phục vụ mục tiêu đề - Hiện thực hoá hệ thống điểm danh sinh viên: o Phía Client: xây dựng ứng dụng hệ điều hành Window Phone kết hợp công nghệ GPS cơng nghệ nhận diện gương mặt o Phía Server: xây dựng Web Service với sở liệu phục vụ công tác điểm danh, tiến hành đưa lên mạng phục vụ thử nghiệm o Thông qua giao thức Client – Server: tiến hành trao đổi thông tin qua lại ứng dụng Client WebService mục tiêu đề - Với ứng dụng điểm danh sinh viên kết hợp cơng nghệ định vị tồn cầu nhận diện gương mặt tích hợp điện thoại di động làm cho cơng việc theo dõi 68 q trình học, thi sinh viên trở nên đơn giản mà hiệu hơn, tiết kiệm thời gian - Sinh viên cần Smartphone có kết nối GPS Camera có thể cài đặt ứng dụng điểm danh trình học thời gian, địa điểm học sinh viên giúp cho việc điểm danh Trường Đại Học thuận tiện - Ứng dụng xây dựng cho hệ điều hành Windows Phone, với giao diện thiết kế cách đơn giản, nên dễ sử dụng Ứng dụng có tính tương tác cao, thực tiễn cao, đáp ứng yêu cầu xã hội 4.2 Đóng góp ứng dụng - Đóng góp cho xã hội: • Ứng dụng góp phần hỗ trợ cho việc giảm bớt nạn học hộ, thi hộ Ngoài cịn có thể áp dụng cho việc tính cơng cho ngành nghề khác - Đóng góp mặt kĩ thuật: • Xây dựng thành cơng hệ thống điểm danh sinh viên có tích hợp cơng nghệ định vị tồn cầu GPS, phương pháp nhận dạng gương mặt • Xây dựng ứng dụng mới, độc đáo cho Smartphone • Xây dựng WebService, lập trình Client – Server 4.3 Nhận xét ứng dụng - Điểm mạnh • Ứng dụng thiết kế với quy trình khoa học hợp lý Điểm danh bằng thông tin cá nhân sinh viên, vị trí sinh viên thực việc điểm danh, cuối ảnh thực sinh viên: ▪ Xác định thông tin cá nhân ứng với sinh viên (mã số sinh viên) 69 ▪ Vị trí GPS sinh viên đứng có nằm khu vực lớp học hay khơng • Nhận diện gương mặt qua ảnh chụp lúc sinh viên thực việc điểm danh - Hạn chế • Ứng dụng chạy cịn chậm • Thuật giải để xác định việc sinh viên có khu vực lớp học hay không còn chưa chính xác (sai số cịn cao) • Thuật giải nhận diện gương mặt độ xác cịn thấp, ảnh khơng tốt, có thể nhận diện sai hoặc khơng nhận diện người 4.4 Hướng phát triển - Cải thiện nhược điểm tồn tại: - Tốc độ xử lý nhận diện gương mặt - Xây dựng sở liệu khoa học hơn, tốt - Phát triển ứng dụng nhiều hệ điều hành khác (Android, iOS, …) 70 TÀI LIỆU THAM KHẢO [1] Phạm Thế Bảo – “Tổng quan phương pháp xác định mặt người” [2] Ethan Cerami – O’Reilly – 2002 – “Web Services Essentials” [3] GreoGory T.French – GeoResearch, Inc – 1996 – “Understanding The GPS” [4] Henry Lee, Eugene Chuvyrov – Apress – “Beginning Window Phone Development Second Edition” [5] Nick Lecrenski, Karli Waston, Robert Fonseca-Ensor - Wiley 2011 - "Beginning Window Phone Application Development" [6] http://thepienews.com/news/uk-biometric-management-system-for-unis-hitsmarket/ [7] http://vietbao.vn/Giao-duc/Hong-Kong-Diem-danh-hoc-sinh-bang-dau-vantay/40107891/202/ [8] http://english.chosun.com/site/data/html_dir/2009/12/04/2009120400262.html [9] http://www.vttu.edu.vn/thong-bao/thong-bao-phong-dao-tao-tb/1125-huong-dandiem-danh-sinh-vien.html 71 ... ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN THAM GIA XÉT GIẢI THƯỞNG NGHIÊN CỨU KHOA HỌC SINH VIÊN CẤP TRƯỜNG XÂY DỰNG HỆ THỐNG ĐIỂM DANH SINH VIÊN... ĐẠI HỌC MỞ TP.HCM THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: Xây dựng hệ thống điểm danh sinh viên Smart Phone bằng phương pháp nhận diện gương mặt kết hợp GPS - Sinh. .. VIÊN TRÊN SMARTPHONE BẰNG PHƯƠNG PHÁP NHẬN DIỆN GƯƠNG MẶT KẾT HỢP GPS Thuộc nhóm ngành khoa học :KHOA HỌC MÁY TÍNH Sinh viên thực hiện: Huỳnh Thiện Bình Nam, Nữ: Nam Dân tộc: Kinh Lớp, khoa: