Hằng ngày, có hơn 30 nghìn sinh viên Trường Đại học Công Nghiệp Hà Nội đến trường tại 3 cơ sở cả Hà Nam và Hà Nội. Tại mỗi lớp học, các giảng viên thường mất 5 7 phút để điểm danh các sinh viên trong lớp. Điều đó làm ảnh hưởng đến thời gian giảng dạy và tiếp thu kiến thức của sinh viên. Ngoài ra việc lớp học đông sinh viên, giảng viên không thể nhớ hết mặt mọi người khiến việc điểm danh hộ vẫn thường xuyên diễn ra. Đồng thời, trong những năm gần đây các ứng dụng về trí tuệ nhân tạo ngày càng phát triển và được đánh giá cao. Một lĩnh vực đang được quan tâm của trí tuệ nhân tạo nhằm tạo ra các ứng dụng thông minh, có tính người đó là nhận dạng.
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN - BÁO CÁO THỰC TẬP CƠ SỞ NGÀNH Mã lớp độc lập: IT6046.1(20222IT6046001) XÂY DỰNG HỆ THỐNG NHẬN DIỆN KHUÔN MẶT NHẰM ĐIỂM DANH SINH VIÊN CHO TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI GVHD: Thạc sỹ Lê Như Hiền Nhóm sinh viên thực hiện: Nhóm 5 Nguyễn Trọng Hùng Trần Quang Hùng Trần Thị Trà Mi Hoàng Kim Quang Hồ Nam Tú Mã SV: 2021605350 Mã SV: 2021606718 Mã SV: 2021602647 Mã SV: 2021607572 Mã SV: 2021604025 Hà Nội, năm 2023 Lớp: KHMT2 Lớp: KHMT2 Lớp: KHMT1 Lớp: KHMT1 Lớp: KHMT1 LỜI CẢM ƠN Trên thực tế khơng có thành cơng mà không gắn liền với hỗ trợ, giúp đỡ dù hay nhiều, dù trực tiếp hay gián tiếp Vậy nên, với lòng biết ơn sâu sắc, chúng em xin gửi tới Cô Lê Như Hiền lời cảm ơn chân thành Chúng em cảm ơn cô dùng toàn tri thức tâm huyết để truyền đạt vốn kiến thức quý báu cho chúng em, cảm ơn tận tâm hướng dẫn giải đáp thắc mắc chúng em qua buổi học lớp Nếu khơng có lời hướng dẫn, dạy bảo thật khó để chúng em hồn thành báo cáo Nhóm xin gửi lời cảm ơn đến tất thành viên lớp, xuyên suốt trình học tập, người sẵn sàng sẻ chia, giúp đỡ nhau, tạo điều kiện thuận lợi cho nhóm hồn thiện báo cáo Chúng em xin chúc cô bạn thật nhiều sức khỏe, chúc điều tốt đẹp đồng hành người Chúng em xin chân thành cảm ơn! MỤC LỤ LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC HÌNH ẢNH .5 MỞ ĐẦU Lý chọn đề tài Mục đích nghiên cứu Đối tượng nghiên cứu Nhiệm vụ nghiên cứu Giới hạn phạm vi nghiên cứu Phương pháp nghiên cứu 7 Bố cục CHƯƠNG 1: TỔNG QUAN 1.1 Giới thiệu địa điểm khảo sát 1.2 Khái qt tốn nhận diện khn mặt 10 1.3 Tổng quan hệ thống 11 1.4 Công cụ sử dụng 11 1.4.1 Ngôn ngữ lập trình Python .11 1.4.2 Thư viện OpenCV 12 1.4.3 Thư viện Tkinter 12 1.4.4 MySQL 13 1.4.5 Microsoft Visual Code 13 CHƯƠNG 2: PHÂN TÍCH HỆ THỐNG .15 2.1 Thu thập liệu 15 2.2 Tiền xử lý 17 2.3 Phát khuôn mặt 19 2.5 So sánh xác thực 26 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .28 I Kết luận 28 II Những khó khăn hạn chế .28 III Hướng phát triển 29 TÀI LIỆU THAM KHẢO 30 DANH MỤC CÁC TỪ VIẾT TẮT CV: Computer Vision HOG: Histogram of Oriented Gradients CNN: Convolutional Neural Network LBP: Local Binary Patterns DANH MỤC HÌNH ẢNH Hình 2.1 Tổng quan hệ thống 11 Hình 2.2 Dữ liệu sinh viên .17 Hình 2.3 Thuật tốn Thresholding 18 Hình 2.4 Thuật toán Smoothing .19 Hình 2.5 Ảnh gốc 21 Hình 2.6 Ảnh sau xử lý 22 Hình 2.7 Kết thuật toán HOG 23 Hình 2.8 68 điểm mốc khuôn mặt 24 Hình 2.9 Ảnh sau trích xuất đặc trưng 25 MỞ ĐẦU Lý chọn đề tài Hằng ngày, có 30 nghìn sinh viên Trường Đại học Công Nghiệp Hà Nội đến trường sở Hà Nam Hà Nội Tại lớp học, giảng viên thường - phút để điểm danh sinh viên lớp Điều làm ảnh hưởng đến thời gian giảng dạy tiếp thu kiến thức sinh viên Ngoài việc lớp học đông sinh viên, giảng viên nhớ hết mặt người khiến việc điểm danh hộ thường xuyên diễn Đồng thời, năm gần ứng dụng trí tuệ nhân tạo ngày phát triển đánh giá cao Một lĩnh vực quan tâm trí tuệ nhân tạo nhằm tạo ứng dụng thơng minh, có tính người nhận dạng Vậy nên chúng em lựa chọn xây dựng hệ thống điểm danh khuôn mặt để giải vấn đề cịn tồn đọng phía Mục đích nghiên cứu Mặc dù hệ thống điểm danh khuôn mặt phát triển từ lâu việc triển khai sử dụng cịn mẻ cịn gặp nhiều khó khăn Mục đích đề tài tìm hiểu cách thức hoạt động cách thức triển khai hệ thống, đồng thời đưa giải pháp, đánh giá lợi ích tiềm hệ thống Cụ thể: - Tìm hiểu thức hoạt động hệ thống điểm danh khn mặt - Tìm hiểu q trình nhận diện, cơng cụ thuật tốn sử dụng - Phân tích lợi ích sử dụng hệ thống điểm danh khuôn mặt Đối tượng nghiên cứu Đối tượng nghiên cứu đề tài hệ thống điểm danh nhận diện khuôn mặt cho sinh viên trường Đại học Công nghiệp Hà Nội Các đối tượng cụ thể bao gồm hệ thống camera, sở liệu hình ảnh sinh viên trường Nhiệm vụ nghiên cứu Nhiệm vụ nghiên cứu đề tài bao gồm: Tìm hiểu cách thức hoạt động hệ thống điểm danh nhận diện khuôn mặt, bao gồm thành phần hệ thống, trình thu thập xử lý liệu, cách nhận diện đối chiếu khuôn mặt Khảo sát địa điểm áp dụng hệ thống nhận diện khn mặt sẵn có Đánh giá thách thức việc áp dụng, triển khai đề xuất giải pháp để giải vấn đề có Giới hạn phạm vi nghiên cứu Giới hạn phạm vi nghiên cứu đề tài bao gồm nội dung liên quan đến hệ thống điểm danh nhận diện khn mặt Các vấn đề liên quan đến độ xác hệ thống, bảo mật liệu Phương pháp nghiên cứu Phương pháp nghiên cứu đề tài kết hợp nhiều phương pháp khác để thu thập, phân tích đánh giá thơng tin liệu thu thập được: - Phương pháp tìm kiếm thu thập thông tin: sử dụng công cụ tìm kiếm trực tuyến để thu thập tài liệu, báo, nghiên cứu thông tin liên quan đến hệ thống điểm danh nhận diện khuôn mặt - Phương pháp khảo sát: khảo sát trực tiếp đến lớp học bạn sinh viên - Phương pháp so sánh đánh giá: để đánh giá tính ứng dụng hiệu hệ thống điểm danh nhận diện khuôn mặt so với phương pháp khác Bố cục Ngoài phần: Mở đầu, Kết luận, Tài liệu tham khảo, Phụ lục, nội dung chủ yếu trình bày theo chương: Chương 1: Tổng quan Chương 2: Kết nghiên cứu CHƯƠNG 1: TỔNG QUAN 1.1 Giới thiệu địa điểm khảo sát Trường Đại học Công nghiệp Hà Nội (Hanoi University of Industry) trường đại học công lập trực thuộc Bộ Cơng Thương, có truyền thống đào tạo cán khoa học kỹ thuật, cán kinh tế, Với bề dày 120 năm xây dựng phát triển, trải qua nhiều lần đổi tên, sáp nhập, cho dù giai đoạn nào, trường đánh giá nôi đào tạo cán kỹ thuật, cán kinh tế hàng đầu nước Nhiều cựu sinh viên trường trở thành cán cấp cao, nắm giữ cương vị, trọng trách Đảng, Nhà nước, Bộ, Ban, Ngành trung ương địa phương Trường Đại học Công nghiệp Hà Nội triển khai đào tạo theo học chế tín năm học 2008 – 2009 Với quy mô 50.000 học sinh, sinh viên với nhiều lĩnh vực, loại hình ngành nghề đào tạo Trong năm qua nhà trường xây dựng chương trình triển khai đào tạo 21 chuyên ngành đại học quy, 18 chuyên ngành đào tạo cao đẳng quy, 14 chuyên ngành Trung cấp chuyên nghiệp nhiều chương trình đào tạo trình độ khác Trường có sở đào tạo Hà Nội Hà Nam - Cơ sở 1: có tổng diện tích đất 50.540 m nằm địa bàn xã Minh Khai, huyện Từ Liêm, thành phố Hà Nội Quốc lộ 32 đường Hà Nội Sơn Tây - Cơ sở 2: nằm trục đường quốc lộ 70 địa bàn xã Tây Tựu, huyện Từ Liêm, thành phố Hà Nội cách sở 3km có tổng diện tích đất 45.791 m2 - Cơ sở 3: địa bàn xã Phù Vân phường Lê Hồng Phong, Thành phố Phủ Lý, tỉnh Hà Nam với tổng diện tích đất 385.740 m2 - Độ xác: Một khó khăn đạt độ xác cao việc xác định trích xuất khn mặt từ ảnh Điều bị ảnh hưởng yếu tố ánh sáng, góc chụp, ảnh biến đổi khác Việc đảm bảo chất lượng ảnh đầu vào quan trọng để đạt kết tốt - Đa dạng liệu: Để đảm bảo mơ hình nhận diện khn mặt có khả tổng quát hóa, cần có tập liệu đa dạng, bao gồm mẫu từ nhiều nguồn biến thể khác khuôn mặt Tuy nhiên, việc thu thập liệu đa dạng đủ lớn thách thức dự án nhỏ có hạn nguồn lực - Bảo mật quyền riêng tư: Nhận diện khuôn mặt vấn đề nhạy cảm liên quan đến quyền riêng tư Cần thực biện pháp bảo mật tuân thủ quy định pháp luật liên quan đến việc thu thập, lưu trữ xử lý liệu khuôn mặt Đảm bảo việc sử dụng liệu khuôn mặt thực quy tắc sách bảo vệ quyền riêng tư người dùng quan trọng - Hiệu suất: Xử lý ảnh khuôn mặt q trình tính tốn tốn mặt tài nguyên Để triển khai hệ thống nhận diện khuôn mặt hiệu quả, cần đảm bảo trình xử lý tối ưu hóa có thời gian phản hồi nhanh, đặc biệt áp dụng nhận diện khuôn mặt thời gian thực - Độ tin cậy: Một thách thức khác đảm bảo độ tin cậy hệ thống nhận diện khuôn mặt Điều đòi hỏi đánh giá xử lý hiệu tình đặc biệt, nhận dạng điều kiện ánh sáng yếu, ảnh mờ ảnh chất lượng thấp - Đa ngơn ngữ đa văn hóa: Khi triển khai hệ thống nhận diện khuôn mặt môi trường đa ngơn ngữ đa văn hóa, việc đảm bảo tính đa dạng 16 đồng liệu thách thức Việc sử dụng liệu đa ngơn ngữ đa văn hóa để huấn luyện kiểm tra hệ thống cần xem xét - Để vượt qua khó khăn này, quan trọng để có quy trình chuẩn xác cẩn thận việc xử lý liệu, chọn lọc liệu đủ đa dạng, áp dụng giải thuật mô hình nhận diện khn mặt phù hợp tn thủ quy tắc bảo mật quyền riêng tư Chúng em thu thập hình ảnh số sinh viên lớp trang https://sv.haui.edu.vn, chúng em nhận thấy: - Các ảnh sinh viên lấy từ ảnh lúc thi kì thi THPTQG, điều ảnh hưởng tới q trình nhận diện hệ thống hình ảnh sinh viên thực tế thay đổi so với thời điểm chụp ảnh - Ảnh sinh viên cung cấp có tỷ lệ khác đưa lên hệ thống nhà trường, ảnh bóp lại để phù hợp với tỷ lệ khung hình hệ thống, điều làm ảnh hưởng đến khả nhận diện hệ thống Hình 2.2 Dữ liệu sinh viên 2.2 Tiền xử lý Sau thu thập ảnh khuôn mặt, cần sử dụng thiết bị chụp ảnh camera để lấy hình ảnh người dùng q trình điểm danh Ảnh 17 sau xử lý để trích xuất đặc trưng quan trọng từ khuôn mặt, chẳng hạn điểm mốc, kích thước hướng mắt, mũi, miệng, v.v Trong giai đoạn tiền xử lý ảnh này, sử dụng thuật toán: Phân ngưỡng (Thresholding); Đây kỹ thuật tiền xử lý ảnh sử dụng để chuyển đổi ảnh xám sang ảnh nhị phân Thuật toán xác định ngưỡng để phân tách pixel thành hai nhóm - pixel có giá trị lớn ngưỡng pixel có giá trị nhỏ ngưỡng Kỹ thuật hữu ích việc loại bỏ nhiễu phát vật thể ảnh Hình 2.3 Thuật tốn Thresholding Làm mịn (Smoothing): Là kỹ thuật tiền xử lý ảnh dùng để giảm thiểu đối tượng nhiễu vết bẩn ảnh Các phương pháp làm mịn phổ biến bao gồm làm mịn theo Gaussian, làm mịn theo median làm mịn theo Bilateral 18 Hình 2.4 Thuật tốn Smoothing Tóm lại, bước tiền xử lý ảnh chương trình điểm danh nhận diện khuôn mặt bước quan trọng để cải thiện độ xác độ tin cậy hệ thống nhận diện khuôn mặt Bằng cách tiền xử lý ảnh, ta làm giảm yếu tố gây nhiễu tăng cường đặc trưng quan trọng khn mặt, từ cải thiện khả nhận diện định danh hệ thống Ngoài ra, bước tiền xử lý ảnh giúp chuẩn bị liệu cho mơ hình nhận diện khn mặt Bằng cách chuẩn hóa kích thước ánh sáng, ta đảm bảo mơ hình nhận đầu vào đồng quán Điều làm giảm biến đổi khơng cần thiết giúp mơ hình học nhận diện khuôn mặt cách hiệu Cuối cùng, bước tiền xử lý ảnh giúp tăng cường tính bảo mật bảo mật hệ thống điểm danh Nếu ta loại bỏ ảnh yếu tố không cần thiết, ta đảm bảo có khuôn mặt người dùng sử dụng để nhận diện định danh, giữ cho liệu cá nhân bảo vệ 2.3 Phát khuôn mặt Sau trình tiền xử lý ảnh, tiếp tục tập trung vào phần quan trọng hệ thống nhận dạng khuôn mặt: "phát khuôn mặt" Trong phần này, chúng em tập trung vào việc xác định vị trí phát diện 19