Đề xuất phương pháp nhận dạng khuôn mặt người và ứng dụng chống gian lận trong thi cử (tt)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN THỊ LEN ĐỀ XUẤT PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT NGƯỜI VÀ ỨNG DỤNG CHỐNG GIAN LẬN TRONG THI CỬ Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2014 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: TS Phạm Thế Quế Phản biện 1: PGS TS Ngô Quốc Tạo Phản biện 2: PGS TS Đỗ Năng Toàn Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: 08h 45, ngày15 tháng 02 năm 2014 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng CHƯƠNG - TỔNG QUAN BÀI TỐN NHẬN DẠNG KHN MẶT NGƯỜI 1.1 Giới thiệu tốn nhận dạng khn mặt người Nhận dạng mặt người (Face recognition) nghiên cứu từ năm 1980, lĩnh vực nghiên cứu ngành thị giác máy tính (Computer Vision), xem lĩnh vực nghiên cứu ngành sinh trắc học (Biometrics) tương tự nhận dạng vân tay – Fingerprint recognition, hay nhận dạng mống mắt – Iris recognition Trong nhận dạng vân tay mống mắt áp dụng thực tế cách rộng rãi nhận dạng mặt người nhiều thách thức So với nhận dạng vân tay mống mắt, nhận dạng mặt có nguồn liệu phong phú địi hỏi tương tác có kiểm sốt Bài tốn nhận dạng mặt người cịn nhiều thách thức nên hàng năm & ngồi nước có nhiều nghiên cứu phương pháp nhận dạng mặt người Để thử nghiệm phương pháp cần có sở liệu ảnh mẫu Có ba sở liệu ảnh mẫu phổ biến là: Cơ sở liệu AT&T, Cơ sở liệu Yale A, Cơ sở liệu Yale B Bài tốn nhận dạng khn mặt áp dụng rộng rãi nhiều ứng dụng thực tế khác 1.2 Ứng dụng đề tài vào sở thực tiễn Trong đề tài này, tơi tập trung tìm kiếm đề xuất thuật tốn hiệu nhận dạng khn mặt nhằm chống gian lận thi cử Do khó khăn tốn nhận dạng khn mặt như: Tư góc chụp, xuất thiếu số thành phần khuôn mặt, biểu cảm khuôn mặt, che khuất, hướng ảnh, điều kiện ảnh Vì luận văn đưa giả định ràng buộc sau làm giảm độ phức tạp toán sau: - Góc ảnh trực diện (frontal) gần trực diện, không bị che khuất (no occlusion) - Ảnh chụp điều kiện ánh sáng bình thường - Cơ sở liệu ảnh nhỏ, khoảng trăm ảnh - Ảnh xét luận văn ảnh số, nghĩa ảnh mặt người chụp từ thiết bị máy ảnh số, camera,… Luận văn không xem xét ảnh mặt người nhân tạo vẽ, điêu khắc … 1.3 Các phương pháp nhận dạng khuôn mặt người 1.3.1 Phân tích thành phần (PCA) Phân tích thành phần phương pháp lâu đời phương pháp phổ biến nghiên cứu nhận dạng khn mặt Phân tích thành phần kỹ thuật phân tích biến đổi nghiên cứu rộng rãi biết đến nhiều Thuật toán lần giới thiệu Pearson (1901), phát triển cách độc lập Hotelling (1933) Ý tưởng thuật tốn phân tích thành phần giảm số chiều tập liệu có tương quan lớn biến Mặc dù giảm số chiều biến trùy biến đổi nhiều tập liệu ban đầu Thực chất PCA giải tốn tìm trị riêng vector riêng cho ma trận đối xứng 1.3.1.1 Trích đặc trưng phương pháp PCA 1.3.1.2 Kỹ thuật trích đặc trưng PCA 1.3.2 Phân tích phân lớp tuyến tính LDA 1.3.3 Mẫu nhị phân cục (LBP) LBP tốn tử kernel 3×3, tổng qt hóa cấu trúc khơng gian cục ảnh Ojala đồng nghiệp giới thiệu phương pháp LBP khả phân tách cao chúng cho phân lớp vân Bởi khả phân tách chi phí tính tốn thấp, LBP trở nên phổ biến nhận dạng mẫu LBP áp dụng cho phát khuôn mặt, nhận dạng khuôn mặt, xác thực khuôn mặt, truy vấn ảnh 1.3.3.1 Mô tả kết cấu (Texture descriptor) 1.3.3.2 Mẫu nhị phân cục mở rộng 1.3.3.3 Mẫu đồng (uniform patterns) 1.3.3.4 Áp dụng LBP mô tả khuôn mặt Việc áp dụng mô tả khuôn mặt LBP Ahonen cộng thực năm 2006 Ý tưởng phương pháp chia hình hảnh khn mặt thành khối, sau tính tốn histogram tương ứng với khối Cuối kết hợp histogram lại với để có vector đặc trưng cho khuôn mặt 1.3.4 Support vector Machines (SVM) SVM phương pháp phân lớp xuất phát từ lý thuyết học thống kê Thuật toán SVM lần Vladimir Vapnik đề xuất Sau đó, Corinna Cortes với Vladimir Vapnik đề xuất hình thức chuẩn SVM có nhiều tính ưu việt so với phương pháp cổ điển khác: dễ dàng xử lý, xử lý với tính ổn định cao liệu phức tạp, có số chiều lớn quan trọng khả xử lý tổng quát 1.3.4.1 Các khái niệm tảng 1.3.4.2 SVM tuyến tính 1.3.4.3 SVM phi tuyến 1.3.4.4 SVM cho vấn đề nhận dạng đa lớp 4 2 4 6 7 Hình 1.1 Cấu trúc nhị phân cho nhận dạng khuôn mặt lớp CHƯƠNG - ĐỀ XUẤT PHƯƠNG PHÁP NHẬN DẠNG MẶT NGƯỜI 2.1 Phân tích toán nhận dạng mặt người Một hệ thống nhận dạng mặt người thông thường gồm bước sau đây: Nhận dạng (recognition) Đào tạo (Training) Hệ thống nhận dạng khuôn mặt Dữ lệu Training Dữ liệu kiểm tra (Từ ảnh/ Camera) Phát khuôn mặt (face detection) Tiền xử lý (preprocessing) Trích rút đặc trưng (feature extraction) Phân loại (classification) Phát khuôn mặt (face detection) Tiền xử lý (preprocessing) Trích rút đặc trưng (feature extraction) Nhận dạng (recognition ) Hình 2.1 Hệ thống nhận dạng khn mặt 2.1.1 Phát khuôn mặt (face detection) Phát khuôn mặt lấy tất khn mặt hình ảnh Kết 2.1.2 Tiền xử lý ảnh (preprocessing) Bước nhằm mục đích lọc nhiễu, nâng cao chất lượng ảnh, bước bao gồm bước : Căn chỉnh ảnh, chuẩn hóa ánh sáng 2.1.3 Trích rút đặc trưng ( feature extraction) Ở bước phương pháp trích chọn đặc điểm như: mẫu nhị phân cục – LBP (hay Gabor wavelets, Gradient, Discrete Cosine Transform …) sử dụng với ảnh mặt để trích xuất thông tin đặc trưng cho ảnh, kết ảnh biểu diễn dạng vector Trong luận văn trình bày phương pháp Local Binary Pattern mục 1.3.3 2.1.4 Nhận dạng/Phân lớp Bước nhận dạng (recognition) hay phân lớp (classification), tức xác định danh tính (identity) hay nhãn (label) ảnh – ảnh Trong luận văn trình bày phương pháp phương pháp SVM mục 1.3.4 10 Mục 1.3.1 chương trình bày phương pháp PCA 2.1.6 Các cách kết hợp phương pháp 2.2 Đề xuất phương pháp nhận dạng kết hợp LBP-PCA-SVM Hiện có nhiều phương pháp kết hợp để nhận dạng khuôn mặt đề cập Trong khuôn khổ luận văn này, trình bày phương pháp nhận dạng mặt người cách kết hợp ba phương pháp LBP, PCA & SVM, ứng dụng việc kết hợp ba phương pháp nhận dạng nhằm chống gian lận thi cử Hình 2.2 Sơ đồ kết hợp phương pháp (phương pháp LBP-PCA-SVM) 11 2.2.1 Áp dụng LBP trích rút đặc trưng & PCA để giảm số chiều Trong luận văn ảnh chia làm 49 khối, chiều ảnh chia làm phần kích thước ảnh khn mặt trước rút đặc trưng cần 126x147px Các bước thực trích rút đặc trưng khn mặt: Hình 2.3 Các bước thực trích rút đặc trưng 2.2.2 Áp dụng SVM phân lớp/nhận dạng Trong luận văn sử dụng SVM nhiều lớp với chiến lược one-vs-one (Theo nghiên cứu Chih-Wei Hsu Chih-Jen Lin [11] chiến lược one-vs-all cho kết không tốt), sử dụng với hàm nhân Radial basic funtion (RBF) để nhận dạng (Theo kết thực nghiệm hàm nhân RBF cho tỉ lệ nhận dạng cao nhất) Hàm nhân Tỉ lệ nhận dạng AT&T Linear Polynomial Radial basic funtion (RBF) 84.0% 93.5% 95.7% 12 Tỉ lệ nhận dạng Yale A 85.2% 94.5% 96.4% Bảng 2.1 Bảng tỉ lệ nhận dạng theo hàm nhân Huấn luyện Nhận dạng Tập huấn luyện Ảnh khuôn mặt kiểm tra Tiền xử lý Tiền xử lý Trích rút đặc trưng (LBP) Trích rút đặc trưng (LBP) Giảm số chiều (PCA) SVM nhiều lớp sở Cây nhị phân Huấn luyện SVM cặp Kết nhận dạng Hình 2.4 Sơ đồ phân lớp/nhận dạng sử dụng SVM 32 Hình 2.5 Cây nhị phân với lớp 40 13 Hình 2.6 Cây nhị phân với lớp 15 2.3 Đánh giá phương pháp Hình 2.7 Đồ thị tỉ lệ nhận dạng phương pháp PCA LDA tập AT&T 14 Đối với sinh viên trường để lấy tập liệu ảnh lớn khó Sau thử nghiệm với phương pháp LBP, SVM, PCA với số lượng ảnh mẫu/người từ trở lên, kết khả quan Số lượng ảnh mẫu/người Tỉ lệ nhận dạng AT&T Tỉ lệ nhận dạng Yale A 80.0% 90.1% 91.5% 92.3% 92.7% 93.5% 94.8% 95.7% 81.4% 90.3% 91.8% 92.8% 93.2% 94.2% 95.4% 96.4% Bảng 2.2 Tỉ lệ nhận dạng theo số lượng ảnh mẫu phương pháp LBP-PCA- SVM CSDL AT&T & Yale A 15 CHƯƠNG - XÂY DỰNG ỨNG DỤNG CHỐNG GIAN LẬN TRONG THI CỬ DỰA TRÊN PHƯƠNG PHÁP LBP-PCA-SVM 3.1 Những tượng gian lận phổ biến thi cử Hiện tượng gian lận Giáo dục nói chung tượng gian lận học hộ, thi hộ nói riêng vấn đề nan giải bàn cãi nhiều đặc biệt trước – sau kỳ thi Trong trường Đại học, Cao đẳng, Trung học chuyên nghiệp mục đích việc học hộ tránh để 30% điểm học phần theo quy chế 25 Bộ Giáo dục Việc học hộ thường xảy lớp Liên thông, Tại chức học vào ca tối, lớp có tình trạng lớp đơng, giáo viên Đối với tượng thi hộ, việc kiểm tra đối chiếu học sinh – sinh viên vào dự thi nhiều thời gian, bỏ qua đối tượng thi hộ trường hợp anh em thi hộ, tượng tráo ảnh thẻ dự thi, tượng quên thẻ sinh viên… 16 Tại trường Cao đẳng Xây dựng số 1, phát nhiều trường hợp thi hộ, học hộ đặc biệt lớp học chức, liên thông học vào ca tối Trong khuôn khổ luận văn này, tơi xin sâu tìm hiểu vào phần chống gian lận thi cử 3.2 Quy trình thực chống gian lận thi cử Quy trình thực chống gian lận thi cử thực theo quy định Bộ Giáo dục Đào tạo Thông thường, để kiểm sốt việc thi hộ kỳ thi Phịng Khảo thí Đảm bảo chất lượng thường bố trí 02 cán coi thi cho phịng thi khoảng 30 đến 40 thí sinh Quy trình Tại phịng thi trước làm thi thường diễn theo nhiều bước: Như vậy, để chuẩn bị cho buổi thi, 02 Cán coi thi phải thực khối lượng công việc lớn phải thực thời gian ngắn để đảm bảo kịp thời gian tính làm cho thí sinh theo quy định chung Vì vậy, khâu quan sát thí sinh, đối chiếu nhận dạng thí sinh đơi chưa trọng thực kỹ, việc xảy tình ngồi mong muốn thí sinh 17 quên thẻ sinh viên, ảnh nhòe, ảnh cũ ảnh khơng đóng dấu giáp lai khó nhận dạng, điều dẫn đến bỏ lọt đối tượng thi hộ Ý tưởng xây dựng phần mềm ứng dụng nhận dạng khn mặt nhằm tháo gỡ tình trạng học hộ, đặc biệt thi hộ mong muốn giảm bớt quy trình coi thi, với tính xác cao mang lại hiệu cơng việc Quy trình thực sau:  Bước 1: Thu thập liệu ảnh sinh viên Trước kỳ thi sinh viên gửi cho nhà trường hình ảnh khn mặt (trạng thái bình thường, vui vẻ, buồn) Tập tên gửi có định dạng MSSV-[1,2,3, …], MSSV mã số sinh viên, sau ký tự “-“ số 1, 2, … tương ứng với ảnh số hoặc … Ảnh chụp độ phân giải 3Mpx Sau xác thực ảnh đưa vào sở liệu Sinh viên gặp trực tiếp người phụ trách để thu thập ảnh từ Camera  Bước 2: Nhập liệu thi trước buổi thi 18 Trước lần thi, người phụ trách nhập danh sách thí sinh thi tương ứng với phịng thi, danh sách nhập từ file Excel tải vào máy chủ (trong chương trình demo danh sách lọc theo mã sinh viên)  Bước 3: Quy trình phịng thi Tại phịng thi chương trình nhận dạng dựa liệu từ máy chủ gửi xuống.Trước lần thi cần kiểm tra hệ thống nhận dạng: camera, ánh sáng Yêu cầu thí sinh đứng trực diện, ngắn trước Camera Nếu nhận dạng thành cơng thí sinh vào thi, nhận dạng lần khơng thành cơng thí sinh cần xuất trình thẻ sinh viên(hoặc chứng minh thư) để cán coi thi đối chiếu Camera Ánh sáng Ánh sáng C Hình 3.1 Mơ hình nhận dạng phịng thi 19 3.3 Chức phần mềm Chương trình nhận dạng khuôn mặt viết C# với thư viện EmguCV - trình bao bọc (wrapper) OpenCV cho ngơn ngữ C#) Chương trình sử dụng Logitech HD Webcam C270 Mơ hình thực Truyền liệu Histogram Client (máy trạm) Server (máy chủ) Hệ thống nhận dạng khuôn mặt Dữ lệu Training Phát khn mặt Tiền xử lý Trích rút đặc trưng Phân loại Dữ liệu kiểm tra (Từ ảnh/ Camera) Phát khn mặt Tiền xử lý Trích rút đặc trưng Nhận dạng Hình 3.2 Mơ hình hệ thống nhận dạng khn mặt Mơ hình hình thực chia phần: máy chủ máy trạm Máy chủ lưu sở liệu khuôn mặt liệu thi Vào buổi sáng chương trình Kết 20 máy chủ chuyển liệu xuống máy trạm, tập tin có phần mở rộng LBPH theo mơ hình mạng LAN Trong buổi thi số thí sinh khơng q 40 sinh viên, nên theo mơ hình máy chủ gửi liệu máy trạm không lớn 3.3.1 Chương trình máy chủ (Server) Server có chức thu thập ảnh trích rút đặc trưng Ảnh thu thập ảnh tĩnh (từ tập tin thư mục), ảnh chụp từ Camera Hình 3.3 Giao diện chương trình Server 21 Hình 3.4 Chức thu thập ảnh từ Camera Sau thu thập ảnh, chương trình trích rút đặc trưng ảnh theo điều kiện lọc gửi xuống máy trạm (Client) Ở điều kiện lọc theo mã sinh viên (có thể mở rộng lọc theo lớp, họ tên sinh viên ….) Hình 3.5 Chức tạo liệu Training Dữ liệu sau tạo liệu thành công lưu tập tin với phần mở rộng LBPH, mặc định tên tập tin 22 có định dạng yyyyMMddHHmmss, người quản lý thay đổi tên cho dễ nhớ Hình 3.6 Dữ liệu sau Training 3.3.2 Chương trình máy trạm (Client) Máy trạm sử dụng liệu trích rút đặc trưng từ máy chủ gửi training(Huấn luyện) liệu sau nhận dạng khn mặt từ hình ảnh thu Camera Để sử dụng chương trình, người dùng nhấn vào biểu tượng có hình thư mục mở tập tin máy chủ gửi Sau nhấn vào biểu tượng hình “Play” để chương trình nhận dạng Nếu nhận dạng thành cơng/khơng thành cơng chương trình có thơng báo giọng nói nhận dạng 23 thành cơng thơng báo hình Với lần nhận dạng khuôn mặt nhận dạng, phần mềm lấy kết lần nhận dạng liên tiếp nhau, khuôn mặt nhận dạng thành công kết lần giống Hình 3.7 Kết nhận diện thành cơng 3.4 Đánh giá hiệu phần mềm với trường CĐXD1 Khảo sát thực nghiệm với 35 học sinh lớp học tương ứng với phịng thi tuỳ theo điều kiện cho kết nhận dạng khác nhau: - Đối với thí sinh gửi ảnh theo yêu cầu, ảnh gửi khoảng từ tháng đến 12 tháng 24 trước kỳ thi tỉ lệ nhận dạng khn mặt xác lên đến 87% - Đối với thí sinh gửi ảnh khoảng 12 tháng, điều kiện ảnh chất lượng ảnh thấp, ảnh khơng u cầu tỉ lệ nhận dạng xác khoảng 76% - Đối với thí sinh gửi ảnh chưa yêu cầu thân thí sinh có thay đổi nhiều ( thẩm mỹ, khn mặt bị mái tóc che , …) vào phịng thi đối chiều nhận dạng tỉ lệ nhận dạng xác khoảng 63% Do kết trình khảo sát trên, để đề tài có tính ứng dụng đem lại hiệu nhận dạng cao, đáp ứng u cầu cơng việc tiến hành nhận dạng khuôn mặt phải tuân thủ theo ràng buộc toán nhận dạng Trong trường hợp không nhận dạng được, ảnh nhận dạng khuôn mặt khác tiến hành chụp lại ảnh thí sinh thời điểm tại, đồng thời Cán coi thi kiểm tra thêm chứng minh thư để đảm bảo tính xác, sau lưu ảnh cho lần thi sau ... áp dụng rộng rãi nhiều ứng dụng thực tế khác 1.2 Ứng dụng đề tài vào sở thực tiễn Trong đề tài này, tơi tập trung tìm kiếm đề xuất thuật toán hiệu nhận dạng khuôn mặt nhằm chống gian lận thi cử. .. vấn đề nhận dạng đa lớp 4 2 4 6 7 Hình 1.1 Cấu trúc nhị phân cho nhận dạng khuôn mặt lớp CHƯƠNG - ĐỀ XUẤT PHƯƠNG PHÁP NHẬN DẠNG MẶT NGƯỜI 2.1 Phân tích toán nhận dạng mặt người Một hệ thống nhận. .. pháp 2.2 Đề xuất phương pháp nhận dạng kết hợp LBP-PCA-SVM Hiện có nhiều phương pháp kết hợp để nhận dạng khuôn mặt đề cập Trong khn khổ luận văn này, trình bày phương pháp nhận dạng mặt người cách