Nghiên cứu xây dựng hệ thống tự động nhận dạng và phân tích khuôn mặt sinh viên nhằm hỗ trợ việc học tập tương tác trong lớp học tt

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG TÓM TẮT BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ Nghiên cứu xây dựng hệ thống tự động nhận dạng phân tích khn mặt sinh viên nhằm hỗ trợ việc học tập tương tác lớp học Mã số: CNTT-10 Chủ nhiệm đề tài: TS Phạm Minh Tuấn ĐÀ NẴNG, 05/2019 s0 crAo DUC vA DAo rAo DAI HQC BA xANC ,d ToM rAr nAo cAo rOuc KEr I\\A DE TAI KHOA HOC VA CONG NGI{E CAP BO ,.' Nghi0n criu xfly dtrng he th6ng tU tlQng nhfln d?ng vh phfln tfch khudn mit sinh vi6n nhlm h6 trg viQc hgc t$p tuong titc l6p Mi hQc sii: CNTT-l0 Chri nhiQm oiitai (E, hp t€n) TS Pham Minh TuAn PGS, TS, NguYEnL0 Htng oa NANG, ost2org DANH SÁCH THAM GIA Các cá nhân tham gia: - TS Phạm Minh Tuấn, Khoa Công nghệ Thông tin, Trường Đại học Bách khoa, Đại học Đà Nẵng - PGS TS Nguyễn Tấn Khôi, Khoa Công nghệ Thông tin, Trường Đại học Bách khoa, Đại học Đà Nẵng - TS Ninh Khánh Duy, Khoa Công nghệ Thông tin, Trường Đại học Bách khoa, Đại học Đà Nẵng - ThS Nguyễn Nguyễn Năng Hùng Vân, Trường Đại học Bách khoa, Đại học Đà Nẵng - ThS Đỗ Phúc Hảo, Trường Đại học Kiến trúc Đà Nẵng - ThS Trần Anh Kiệt, Đại Học Đà Nẵng Các tổ chức phối hợp: - Trung tâm DATIC, Trường Đại học Bách khoa, Đại học Đà Nẵng - Công ty TNHH MTV HIPPTECH VIETNAM INC MỤC LỤC MỤC LỤC DANH MỤC HÌNH DANH MỤC BẢNG DANH MỤC TỪ VIẾT TẮT THÔNG TIN KẾT QUẢ NGHIÊN CỨU MỞ ĐẦU CHƯƠNG TỔNG QUAN NGHIÊN CỨU 1.1 NHẬN DẠNG MẶT NGƯỜI 1.2 HỌC MÁY 1.3 KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG 1.3.1 Phân tích thành phần (PCA) 1.3.2 Phương pháp hồi quy thành phần (PCR) 1.4 THUẬT TOÁN VIOLA-JONES 10 1.5 KẾT CHƯƠNG 11 CHƯƠNG 12 XÂY DỰNG HỆ THỐNG VÀ PHƯƠNG PHÁP ĐỀ XUẤT 12 2.1 XÂY DỰNG HỆ THỐNG 12 2.1.1 Giới thiệu toán 12 2.2 PHƯƠNG PHÁP ĐỀ XUẤT 12 2.2.1 Đại số hình học bảo giác (CGA) 12 2.2.2 Phương pháp trích chọn đặc trưng dựa Đại số hình học bảo giác (CGA) 13 2.2.3 Phương pháp đề xuất cải tiến thuật toán Viola-Jones 14 2.2.3.1 Phương pháp trích xuất đặc trưng 14 2.2.3.2 Đánh giá Fuzzy Membership 15 2.2.3.2.1 Hàm thành viên Triangular 15 2.2.3.2.1 Hàm thành viên Gaussian 15 2.2.3.3 Áp dụng Fuzzy Membership cho thuật toán AdaBoost 16 2.2.3.2.1 Hàm thành viên Triangular 16 2.2.3.2.1 Hàm thành viên Gaussian 17 2.2 KẾT CHƯƠNG 17 CHƯƠNG 18 THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 18 3.1 MÔI TRƯỜNG THỰC NGHIỆM 18 3.1.1 Dữ liệu sử dụng 18 3.1.2 Môi trường triển khai 18 3.2 CÁC GIAI ĐOẠN THỰC NGHIỆM 18 3.2.1 Thực nghiệm với tập liệu 2D 18 3.2.2 Thực nghiệm so sánh phương pháp đề xuất thuật toán Viola-Jones 18 3.2.3 Kết thử nghiệm thực tế 21 3.3 KẾT CHƯƠNG 22 KẾT LUẬN VÀ HƯƠNG PHÁT TRIỂN 23 DANH MỤC HÌNH Số hiệu hình Hình 1.1 Hình 2.1 Hình 2.2 Hình 2.3 Hình 2.4 Hình 3.1 Hình 3.2 Hình 3.3 Hình 3.4 Hình 3.5 Hình 3.6 Hình 3.7 Hình 3.8 Hình 3.9 Hình 3.10 Hình 3.11 Hình 3.12 Hình 3.13 Tên hình Một số mẫu Haar – like Hình ảnh cửa sổ khung x với đặc trưng kích thước không nguyên Hàm thành viên Triangular Hàm thành viên Gaussian Hàm thành viên Triangular gốc áp dụng vào đặc trưng phân lớp yếu Tập hình ảnh thực nghiệm 2D Ma trận kết sử dụng PCR Ma trận kết sử dụng CGA-PCR Ảnh gốc từ tập liệu MIT cbcl trước chuẩn hóa Hình ảnh từ tập liệu MIT cbcl sau chuẩn hóa ROC cho giá trị khác γ cho tập liệu MIT cbcl ROC giá trị γ khác cho tập liệu Yi-Qing ROC hàm thành viên Gaussian cho tập liệu MIT cbcl ROC hàm thành viên Gaussian cho tập liệu Yi-Qing ROC tất hàm thành viên cho tập liệu MIT cbcl ROC tất hàm thành viên cho tập liệu Yi-Qing Hình ảnh lớp học thực tế Kết nhận dạng khuôn mặt lớp học thực tế Trang 10 14 15 16 16 18 18 18 19 19 20 20 20 21 21 21 22 22 DANH MỤC BẢNG Số hiệu bảng Bảng 3.1 Tên bảng Số hình ảnh khn mặt/ khơng phải khuôn mặt tập liệu MIT cbcl Yi-Qing DANH MỤC TỪ VIẾT TẮT Từ viết tắt CGA PCA PCR DBSCAN PCR-CGA ROC Ý nghĩa Conformal geometric algebra Principal component analysis Principal component regression Density-based spatial clustering of applications with noise Principal Component Regression – Conformal Geometric Algebra Receiver Operating Characteristic Trang 19 THONG TIN KET QUA NGHION CuU Th6ng tin chung: TOn dO tdi: Nghi0n crfru xiy dqng hQ th6ng tU tQng nh$n deng vdr ph6n tfch khudn m[t sinh vi0n nhim hd trq viQc hgc t$p tuong t6c lfp hQc Md s6: CNTT-I0 Chri nhiQm: TS Ph4m Minh Tu6n Thdnh vi6n tham gia: o PGS.TS Nguy6n T6n KJrdi o TS Ninh Kh6nh Duy o ThS Nguy6n Ndng Hing Vdn o ThS E6 Phric HAo o Ths TrAn Anh Kiet Co quan chri tri: D4i hgc Dd Ning Thoi gian thUc hiQn: Tn Clll}l/2017 di5n 3l/12/2018 Mgc tiOu: i H5 trq cho gi6o vi6n d6nh gi6 sinh vi€n bing c6ch di6m danh ty dOng, : Ndng cao kdt qud phit hign vd nh4n dpng khu6n m{t thdi gian thuc rJ bdng c6ch d0 xuAt dugc phucrng ph6p phdt hiQn khu6n mat v6i nhi6u g6c nhin cria khu6n mflt v6i t6c dQ cao Tfnh mrfi vA sdng t4o: oe xu6t dugc phuong ph6p nhpn d4ng drii tuqng v6i nhi6u g6c nhin kh6c Cdi tiiin dugc thu$t to6n Viola-Jones bbng c6ch dA xu6t m6u Haar-like thuc vd 6p dung logic md hu6n luyQn khu6n mflt c6 r6c dQ vd ty nhfn d4ng cao T6mtitkdt qui lQ nghiGn criu: 2bdib6o ddng tr6n t4p chi o s6 nu6c c The fast Gaussian Distribution based AdaBoost Algorithm for Face Detection, Tgp chi KHCN-DHDN,20lg ri o Xdy dgng thuflt torln phdn tich nh6m nhim phdn nh6m c6c nh6m hgc tdp Md hinh ph6t hiQn nh6m ngudi hgc c6 c6ch hgc rucrng rl6ng - 6p dpng hgc titing NhQt trUc tuy6n, T4p chf KHCN - EHDN, 2018 2ky y€u hQi thdo qu6c t6 o ' Application of Conformal Geometric Algebra to in-plane rotated face detection by AdaBoost-based algorithm, AGACSE 2018, July 23rd to 27th,2018 - Campinas, Biazil o Bus Passengers Activity Recognition Using pHD Filter, YX =7-, =ttv , >f | )->z6fr+,A, Instrument and Control Engineers o - ffi t2@= TheSociety of SICE, Japan,2017 High-speed Face Detection using Fuzzy Membership Function based AdaBoost algorithm, International Joumal of Engineering and Technology (UAE), Accepted - Huong d6n th4c s! XAy dgng h9 th6ng web dii3m danh th6ng qua camera HiQu quf,, phuong thri'c chuy6n giao k6t qu6 nghiOn cri,u vi kh6 ning ri,ng dqng: Budc l: chuytin giao phdn m6m vd huong ddn d6 E4i hqc Ed NEng tri6n khai srl dUng Budc 2: n€u d4t hiQu quA cao se phd bitin di5 sri dpng vdo nhiing linh vgc khdc Ngdy 31 thdng 05 ndm 2019 ccr DOC KHCN&MT Chri nhiQm Ad tai (lty,.hq vd t€n) PGS, TS Nguydnli Hing INFORMATION ON RESEARCH RESULTS General information: − Project title: Building a system to automatically identify and analyze student faces to support interactive learning in the classroom − Code number: CNTT-10 − Project Leader: Dr Pham Minh Tuan − Coordinator: o Dr Nguyễn Tấn Khôi o Dr Ninh Khánh Duy o Mr Nguyễn Năng Hùng Vân o Mr Đỗ Phúc Hảo o Mr Trần Anh Kiệt − Implementing institution: DATIC Center – Danang University of Technology, the University of Danang − Duration: from 1/2017 to 12/2018 Objectives: − Support for teacher to automatic attendance assessment of students − Enhance face detection and recognition face detection methods with multiple facial expressions in real time Cretiveness and innovativeness: − Propose a method of identifying objects with different rotation − Improve the Viola-Jones algorithm by proposing a real number Haar-like and applying fuzzy logic in face training with high speed and recognition rates Research results: − Two articles are published in the domestic journals − Two articles are published in the international conferences − One article is accepted in the international journals (SCOPUS) − Instructor master students − Develop a web-based attendance system through the camera Effect, transfer alternatives of research results and applicability: − Step 1: Transfer the software and instruction for deployment on the computer system − Step 2: If the system gets high effect, it will be popular for other areas MỞ ĐẦU Lý chọn đề tài Ngày này, nghiên cứu kỹ thuật xử lý nhận dạng ảnh triển khai rộng rãi nước ta Xử lý ảnh phân ngành xử lý tín hiệu số đối tượng tín hiệu cụ thể ảnh Đối tượng ảnh chủ yếu sử dụng ảnh số, việc xử lý tiến hành hệ thống máy tính Thơng thường việc xử lý tiến hành theo quy trình sau Đầu tiên, thông qua phép biến đổi ảnh làm mượt, nhị phân ảnh, trích xuất viền,… ta thu thơng tin hữu ích Sau đó, từ thơng tin hữu ích, thơng qua phương pháp phân nhóm hay phân loại, nhận dạng ta xây dựng hệ thống thông minh phục vụ cho sống người Cụ thể nước ta, có cơng trình nghiên cứu liên quan đến xử lý ảnh nhận dạng cử tay tiếng việt [1] [2], tra cứu ảnh dược liệu [3] Nghiên cứu đề tài chủ yếu trọng đến việc nhận dạng khuôn mặt người nhằm phân tích thái độ học tập sinh viên Cũng có đề tài nước liên quan đến việc nhận dạng mặt người nhận dạng khuôn mặt sử dụng kết hợp phương pháp phân tích thành phần máy vector hỗ trợ [4] hay hỗ trợ điều tra tội phạm thông qua ứng dụng nhận dạng khuôn mặt [5] Những nghiên cứu sử dụng phương pháp học máy nhằm nâng cao tỷ lệ nhận dạng cho toán cụ thể họ Tỷ lệ nhận dạng khn mặt diện tương đối cao, nhiên khuôn mặt chụp với góc nghiên khác tỷ lệ nhận dạng chưa cao Hơn việc áp dụng vào lĩnh vực giáo dục nói chung tốn phân tích thái độ học tập sinh viên trường đại học nói riêng cịn hạn chế triển khai nước ta Đối với nghiên cứu nước ngoài, việc nghiên cứu nhận dạng khn mặt triển khai nhiều nhóm nghiên cứu khác Có hai hướng việc nhận dạng khn mặt người Đầu tiên trích xuất vị trí khn mặt từ ảnh video sử dụng mơ hình Face Tracking [6] [7] sử dụng phương pháp “weak-classifiers” nhóm tác giả Paul Viola, Michael J Jones [8] Các thuật tốn có khả phát khn nặt người góc độ diện với tỷ lệ xác cao Tiếp theo trình nhận nhận dạng, khn mặt xác định vị trí thơng qua phương pháp học máy Phân tích biệt thức tuyến tính, Mạng nơ-ron, Máy vec-tơ hỗ trợ [9] để nhận dạng khuôn mặt đối tượng Việc ứng dụng nghiên cứu nhận dạng khuôn mặt áp dụng lĩnh vực giáo dục nhóm nghiên cứu nước ngồi tiến hành Đại diện kể tới hệ thống điểm danh sinh viên sử dụng nhận dạng khn mặt nhóm Kawaguchi Yohei [10] hay nhóm Arulogun [11] Cũng nghiên cứu nhận dạng khuôn mặt, hệ thống chủ yếu nhận dạng khn mặt tương đối diện lớp học để điểm danh Tuy nhiên, thực tế bắt buộc sinh viên ngồi tư trình học tập Vì ảnh lớp học thời điểm khác dẫn tới kết hướng khuôn mặt sinh viên khác Dẫn tới việc nhận dạng xác khó khăn Nghiên cứu này, nghiên cứu sử dụng đại số hình học (Geometric Algebra -GA) [12] kết hợp với phương pháp học náy nhằm nâng cao tỉ lệ nhận dạng khuôn mặt với góc độ khác Với đặc tính dễ dàng biểu diễn xử lý đối tượng khơng gian 3D, có nhiều nghiên cứu thành cơng học máy phương pháp trích chọn đặc tính áp dụng GA [13] [14] Phương pháp nhận dạng vật thể sử dụng GA với góc nhìn khác đề xuất với độ xác cao [15], nhiên ứng dụng cho khn mặt với góc nhìn khác chưa đề xuất CHƯƠNG I: TỔNG QUAN NGHIÊN CỨU 1.1 NHẬN DẠNG MẶT NGƯỜI 1.1.1 Khái niệm nhận dạng mặt người Nhận dạng mặt người (face recognititon) [16] lĩnh vực nghiên cứu ngành Computer Vision, xem lĩnh vực nghiên cứu ngành Biometrics (tương tự nhận dạng vân tay, hay nhận dạng mống mắt) Xét nguyên tắc chung, nhận dạng khn mặt có tương đồng lớn với nhận dạng vân tay nhận dạng mống mắt, nhiên khác biệt nằm bước trích chọn đặc trưng (feature extraction) lĩnh vực khác Trên thực tế người ta hay chia phương pháp nhận dạng mặt làm loại: phương pháp tiếp cận toàn cục (Eigenfaces-PCA, Fisherface-LDA), phương pháp tiếp cận dựa đặc điểm cục (LBP [17], Gabor wavelets [18]) phương pháp lai (là kết hợp hai phương pháp toàn cục đặc điểm cục bộ) Phương pháp dựa đặc điểm cụ thể chứng minh ưu việt làm việc điều kiện khơng có kiểm sốt nói lịch sử phát triển nhận dạng phát triển phương pháp trích chọn đặc trưng (feature extraction methods) sử dụng hệ thống dựa feature based Các ứng dụng nhận dạng khn mặt dựa hai mơ hình nhận dạng: xác định danh tính (identification) xác thực danh tính (verification) Trong toán identification, ta cần xác định danh tính ảnh kiểm tra, cịn tốn verification ta cần xác định hai ảnh có thuộc người hay không 1.1.2 Các bước xây dựng hệ thống nhận dạng Xây dựng hệ thống nhận dạng khuôn mặt thực tế mô tả qua bước sau đây: Bước 1: Thực việc phát khuôn mặt liệu đầu vào (CSDL ảnh, video) cắt lấy phần ảnh mặt để thực nhận dạng (face cropping) Bước 2: Tiền xử lý ảnh (preprocessing) bao gồm bước sau: o Căn chỉnh ảnh (face image alignment) o Chuẩn hóa ánh sáng (illumination normalization) o Trích chọn đặc trưng ảnh (feature extraction) để xây dựng vector đặc trưng thể cho ảnh cần nhận dạng Bước 3: Nhận dạng (recognition) phân lớp (classification) o Thường sử dụng phương pháp học máy (kNN, SVM, ) o Dữ liệu chia thành tập (tập huấn luyện – tranning tập để kiểm nghiệm – testing) o Tập training gồm ảnh dùng để huấn luyện, thông thường tập dùng để sinh không gian (project subspace) ma trận phương pháp hay sử dụng PCA [19] (Principal Component Analysis), WPCA [20] (Whitened PCA), LDA [21] (Linear Discriminant Analysis), KPCA [22] (Kernel PCA),… Mục đích việc huấn luyện: giảm số chiều vector đặc trưng vector thường có độ dài lớn nên để ngun việc tính toán lâu phức tạp, thứ hai làm tăng tính phân biệt (discriminative) ảnh khác lớp Ở cần lưu ý ảnh vector nên dùng khái niệm hàm khoảng cách hai vector để đo khác biệt ảnh 1.2 HỌC MÁY 1.2.1 Khái niệm Học máy [23] lĩnh vực trí tuệ nhân tạo liên quan đến việc phát triển kĩ thuật cho phép máy tính "học" Cụ thể hơn, học máy phương pháp để tạo chương trình máy tính việc phân tích tập liệu Học máy có liên quan lớn đến thống kê, hai lĩnh vực nghiên cứu việc phân tích liệu, khác với thống kê, học máy tập trung vào phức tạp giải thuật việc thực thi tính tốn Nhiều tốn suy luận xếp vào loại tốn khó, phần học máy nghiên cứu phát triển giải thuật suy luận xấp xỉ mà xử lý Học máy có tính ứng dụng cao bao gồm máy truy tìm liệu, chẩn đốn y khoa, phát thẻ tín dụng giả, phân tích thị trường chứng khốn, phân loại chuỗi DNA, nhận dạng tiếng nói chữ viết, dịch tự động, chơi trị chơi cử động rơ-bốt 1.2.2 Các phương pháp học máy 1.2.2.1 Học không giám sát ‖𝒘‖ = Và vấn đề tìm vector trọng số hiệp phương sai phép biến đổi tuyến tính 𝒘T 𝒙 lớn Có thể tốn học hóa vấn đề sau: 𝑛 max ∑(𝒘T 𝒙𝒊 − 𝒘T 𝜇)2 , 𝑠 𝑡 ‖𝒘‖2 = (2) 𝒘 𝑛 𝑖=1 Ở 𝑛 𝝁 = ∑ 𝒙𝑖 𝑛 (3) 𝑖=1 𝝁 trung bình tất vector tập liệu X Để giải tối ưu vấn đề này, báo cáo giới thiệu hệ số Lagrange 𝜆 ≥ cho hàm Lagrange sau: 𝑛 𝐿(𝒘, 𝜆) = ∑(𝒘T 𝒙𝒊 − 𝒘T 𝝁)2 − 𝜆(‖𝒘‖2 − 1) (4) 𝑛 𝑖=1 Sau đó, tính đạo hàm 𝐿(𝒘, 𝜆) với việc w tiến đến giá trị công thức sau: 𝑛 ∑(𝒙𝒊 − 𝝁)(𝒙𝒊 − 𝝁)T 𝒘 = 𝜆𝒘 (5) n 𝑖=1 Cho nên việc tối ưu vấn đề giải việc phân hủy eigen sau: 𝐶𝒘 = 𝜆𝒘, Ở 𝑛 𝐶 = ∑(𝑥𝑖 − 𝜇)(𝑥𝑖 − 𝜇)T 𝑛 (6) (7) 𝑖=1 C ma trận phương sai tập liệu X Cuối cùng, PCA sử dụng giảm số chiều liệu sử dụng k vector riêng (eigenvectors) Những vector tương ứng với giá trị riêng (eigenvalues) lớn Điều có nghĩa tập liệu gốc xấp xỉ liệu có số chiều tổng quan liệu gốc PCA sử dụng phương pháp trích chọn đặc trưng Đặc trưng 𝑓(𝑥) trích xuất từ vector x sử dụng k eigenvector sau: 𝑓𝑃𝐶𝐴 (𝒙) = ((𝒙 − 𝝁)T 𝒘𝟏 , … , (𝒙 − 𝝁)T 𝒘𝑘 )T (8) 𝒘𝒊 vector riêng (eigenvector) thứ i, ≤ 𝑖 ≤ 𝑘 1.3.2 Phương pháp hồi quy thành phần (PCR) PCR phương pháp phân tích hồi quy sử dụng PCA Đầu tiên, PCR tìm vector trọng số w theo hàm lỗi sau: 𝑛 𝐸 = ∑(𝒘T 𝒙𝒊 − 𝒘T 𝝁)2 (9) 𝑛 𝑖=1 E nhỏ Ở 𝒙𝑖 𝝁 vector thứ i vector trung bình tập liệu = {𝑥𝑖 | 𝑥𝑖 𝜖 𝑅 𝑑 }𝑛𝑖=1 Việc tính tốn để tìm vector trọng số w tương tự PCA, PCR sử dụng giá trị riêng (eigenvalues) nhỏ Sau đó, PCR biến đổi liệu x cách xóa l vector riêng (eigenvector) Phép biến đổi sau: 𝑓𝑃𝐶𝑅 (𝒙) = ((𝒙 − 𝝁)T 𝒘𝒍+𝟏 , … , (𝒙 − 𝝁)𝒘𝒎 )T (10) 𝑚 = min{𝑛 − 1, 𝑑} mức độ tự tập liệu X Báo cáo mô tả phương pháp phân lớ dựa PCR sau Đưa vào tập liệu: 𝑇 = {(𝒙𝑖 , 𝒚𝑖 )|𝒙𝒊 ∈ 𝑅 𝑑 , 𝒚𝒊 ∈ 𝐶 = {1, … , 𝑐}}𝑛𝑖=1 (11) 𝒙𝒊 𝒚𝒊 vector thứ i nhãn tập liệu huấn luyện C tập nhãn tương ứng Đầu tiên, tính toán tất vector riêng (eigenvectors) cho tập hợp 𝑋𝑗 = {𝒙𝒊 ∈ 𝑅 𝑑 |𝒚𝒊 = 𝑗; 𝑗 ∈ 𝐶 = {1, , 𝑐}} tìm phép biến đổi tương ứng với 𝑓𝑃𝐶𝑅;𝑗 (𝒙) Sau đó, vector x định nghĩa phân lớp đơn giản sau: 𝑗̂ = 𝑎𝑟𝑔 min‖𝑓𝑃𝐶𝑅;𝑗 (𝒙)‖ (12) 𝒘 Bởi đặc trưng PCR giả sử liệu phân bổ siêu mặt phẳng, khơng thể ứng dụng vào trường hợp liệu phân bổ siêu mặt phẳng đối tượng quay Phương pháp trích xuất đặc trưng sử dụng PCR biểu diễn tốt liệu phân bổ siêu mặt phẳng, với liệu biểu diễn đối tượng quay phương pháp biểu diễn không tốt Trong báo cáo này, sử dụng phương pháp nhận dạng đối tượng quay, báo cáo đề xuất sử dụng kết hợp PCR CGA nhằm trích xuất liệu phân bổ siêu mặt cầu đối tượng quay Phương pháp đề xuất kết hợp PCR CGA trình bày chi tiết chương 1.4 THUẬT TỐN VIOLA-JONES Ngồi việc trích xuất đặc trưng, nghiên cứu đồng thời áp dụng cải tiến thuật tốn ViolaJones nhằm nâng cao khả phát khn mặt từ hình ảnh thu từ camera Trong mục này, báo cáo phân tích ưu nhược điểm thuật tốn Viola-Jones để đưa nhìn tổng quan từ phát triển thuật tốn phát khn mặt 1.4.1 Đặc trưng Haar-like Đặc trưng Haar-Like [8] tập hợp đặc trưng đường ngang, đường dọc, đường chéo…của đối tượng Các đặc trưng lưu file, dựa vào file mà biết ảnh có chứa đối tượng cần tìm hay khơng Hình 1.1: Một số mẫu Haar – like Dùng đặc trưng trên, ta tính giá trị đặc trưng Haar-like chênh lệch tổng pixel vùng đen vùng trắng công thức sau: f(x) = Tổngvùng đen(các mức xám pixel) - Tổngvùng trắng(các mức xám pixel) 1.4.2 Bộ phân loại yếu Ứng với đặc trưng, phân loại yếu xác định sau: +1 𝑝 × 𝑓(𝑥) < 𝑝 × 𝜃 W(𝑥) = { −1 𝑝 × 𝑓(𝑥) ≥ 𝑝 × 𝜃 Trong đó: - x hình ảnh 24 x 24 - p hệ số (-1 + 1) - f (x) giá trị các đặc trưng ứng với x - θ ngưỡng Có thể hiểu cơng thức sau: Nếu giá trị Haar-like -feature hình ảnh vượt qua ngưỡng phân loại yếu kết luận hình ảnh khn mặt ngược lại hình ảnh khơng phải khn mặt Ngưỡng θ p tính tốn cách huấn luyện Với ngưỡng thích hợp, kết loại hình ảnh có W vượt ngưỡng khuôn mặt Tuy nhiên, sử dụng phân loại yếu cho độ xác thấp Bộ phân loại mạnh Bộ phân loại mạnh tổng hợp từ nhiều phân loại yếu Bộ phân loại mạnh xác định sau: 𝑛−1 +1 ∑ 𝛼𝑡 𝑊𝑡 (𝑥) > 𝜑 𝑡=0 𝑛−1 S(𝑥) = −1 { ∑ 𝛼𝑡 𝑊𝑡 (𝑥) ≤ 𝜑 𝑡=0 10 Trong đó: n số lượng phân loại yếu Wt hàm phân loại yếu thứ t αt hệ số phân loại yếu thứ t φ ngưỡng phân loại mạnh Nếu x khuôn mặt, phân loại mạnh cho kết ngược lại Phân loại mạnh kết hợp nhiều phân loại yếu Các thông số αt, φ tính tốn q trình huấn luyện Trong phần tiếp theo, báo cáo mô tả làm để tạo loại mạnh cách sử dụng thuật tốn AdaBoost 1.5 Kết chương Chương trình bày tổng quan nhận dạng mặt người đồng thời giới thiệu phương pháp học máy Sau đó, trình bày kỹ thuật trích chọn đặc trưng PCA PCR Cuối cùng, chương trình bày kỹ thuật phát nhận dạng khuôn mặt sử dụng thuật toán Viola-Jones Chương phần đề xuất cải tiến phương pháp trích chọn đặc thuật toán Viola-Jones 11 CHƯƠNG II: XÂY DỰNG HỆ THỐNG VÀ PHƯƠNG PHÁP ĐỀ XUẤT 2.1 XÂY DỰNG HỆ THỐNG 2.1.1 Giới thiệu toán Trong báo cáo này, xây dựng hệ thống dùng để nhận dạng đối tượng sinh viên thơng qua khn mặt với nhiều góc quay khác Ở lần nhận dạng, hệ thống “bổ sung” thêm liệu để huấn luyện, điều làm cho mơ hình nhận dạng ngày nâng cao tỉ lệ nhận dạng Đây kỹ thuật thể rõ nét phương pháp học tăng cường học máy Với liệu hình ảnh ban đầu, hệ thống nhận dạng góc quay khn mặt so với hình ảnh đưa vào, từ xác định thái độ học tập sinh viên (tức có nhìn hướng hay có người khơng tập trung so với người cịn lại) Hệ thống cho phép giáo viên upload ảnh học phần lên, cho phép đồng với Box server, khoảng thời gian định, sinh viên học phần phải vào xác nhận tính sai hệ thống nhận dạng Sau khoảng thời gian đó, giáo viên kiểm tra xác nhận tính đắn sau đồng ý, hệ thống bắt đầu lấy hình để làm phong phú thêm tập huấn luyện, sau xây dựng lại mơ hình từ liệu cập nhật, việc tăng tỉ lệ nhận dạng sau 2.2 PHƯƠNG PHÁP ĐỀ XUẤT 2.2.1 Đại số hình học bảo giác (CGA) Đại số hình học bảo giác (CGA) phần GA [25] GA định nghĩa không gian cách định nghĩa 𝑝 + 𝑞 vector sở vuông góc 𝒪 = {𝒆1 , … , 𝒆𝑝 , 𝒆𝑝+1 , … , 𝒆𝑝+𝑞 }, 𝒆2𝑖 = +1, ∀𝑖 ∈ {1, … , 𝑝} 𝒆2𝑖 = −1, ∀𝑖 ∈ {𝑝 + 1, … , 𝑞} Ở đây, ta ký hiệu không gian định nghĩa 𝒢p, q Như không gian thực m chiều ℛ 𝑚 biểu diễn 𝒢m,0 GA Không gian CGA mở rộng từ không gian thực ℛ 𝑚 với việc thêm vector sở Do đó, khơng gian CGA xác định m + vector sở {𝒆1 , … , 𝒆𝑚 , 𝒆+ , 𝒆− }, 𝒆+ 𝒆− định nghĩa sau: 𝒆2+ = 𝒆+ ∙ 𝒆+ = 1, 𝒆2− = 𝒆− ∙ 𝒆− = −1, 𝒆+ ∙ 𝒆− = 𝒆+ ∙ 𝒆𝑖 = 𝒆− ∙ 𝒆𝑖 = 0, ∀𝑖{1, … , 𝑚} ( 13 ) Do đó, khơng gian CGA được ký hiệu 𝒢𝑚+1,1 Ta định nghĩa thêm vector sở sau: 𝒆0 = (𝒆− − 𝒆+ ), 𝒆∞ = (𝒆− + 𝒆+ ) (14) Từ (13) (14) ta có 𝒆0 𝒆0 = 𝒆∞ 𝒆∞ = 0, 𝒆0 𝒆∞ = 𝒆∞ 𝒆0 = −1, 𝒆0 𝒆𝑖 = 𝒆∞ 𝒆𝑖 = 0, ∀𝑖 ∈ {1, … , 𝑚} (15) 𝑚 Theo đề xuất Hestenes [25], vector thực 𝒙 = ∑𝑚 𝒙 𝒆 ∈ ℛ biểu diễn điểm 𝑃 ∈ 𝑖 𝑖 𝑖 𝒢𝑚+1,1 không gian CGA sau: 𝑃 = 𝒙 + ‖𝒙‖2 𝒆∞ + 𝒆0 (16) Một hình cầu biểu diễn vector bảo giác (conformal vector) không gian CGA: 1 S = 𝑃 − 𝑟 𝒆∞ = 𝒙 + {‖𝒙‖2 − 𝑟 }𝒆∞ + 𝒆0 , (17) Ở S biểu diễn mặt cầu có tâm 𝒙, bán kính 𝑟 không gian thực ℛ 𝑚 Khi nội tích (inner product) 𝑆 ∙ 𝑄 = 0, Q điểm nằm mặt cầu 𝑆 Từ (16) (17), ta nhận thấy điểm hình cầu với bán kính 𝑟 = không gian CGA 𝒢𝑚+1,1 Một vector bảo giác 𝑆 𝒢𝑛+1,1 viết dạng tổng quát: 𝑆 = 𝒔 + 𝑠∞ 𝒆∞ + 𝑠0 𝒆0 (18) 𝑚 𝒔 = ∑𝑚 𝑖 𝑠𝑖 𝒆𝑖 vector không gian thực ℛ 𝑠∞ 𝑣à 𝑠0 tham số vector sở 𝒆∞ 𝑣à 𝒆0 Trong bao cáo này, sử dụng tích vơ hướng điểm P với vector bảo giác S làm khoảng cách chúng Từ cơng thức (15), (16) (18), ta tính khoảng cách sau: 𝑑(𝑃, 𝑆) = = (𝒙 + ‖𝒙‖2 𝒆∞ + 𝒆0 ) (𝒔 + 𝑠∞ 𝒆∞ + 𝑠0 𝒆0 ) 12 ‖𝒙‖2 𝑠0 Khi d(P,S) = 0, ta có = 𝒙 𝒔 − 𝑠∞ − (19) ‖𝒙‖2 𝑠0 = (𝑠0 = ) 𝒙 𝒔 − 𝑠∞ − 𝒙 𝒔 − 𝑠∞ = ⟺ { ‖𝒙 − 𝑠 𝒔‖ = ‖𝒔‖2 −2𝑠0 𝑠∞ (20) (𝑠0 ≠ 0) 𝑠02 Theo (20) d(P,S) = điểm P nằm siêu mặt phẳng (s0 = 0) nằm siêu mặt cầu (s0 ≠ 0) thể vector bảo giác S không gian CGA Ở đây, sử dụng đặc trưng để đề xuất phương pháp hồi quy 2.2.2 Phương pháp trích chọn đặc trưng dựa Đại số hình học bảo giác (CGA) Trong giải pháp đề xuất này, liệu đối tượng quay biểu diễn siêu mặt cầu, việc sử dụng tí phương pháp trích chọn đặc trưng PCR có kết thấp, phương pháp PCR trích chọn đặc trưng tốt tập liệu phân bổ chủ yếu siêu mặt phẳng Nên phần này, đưa phương pháp đề xuất kết hợp kỹ thuật PCR với Đại số hình học bảo giác để trích chọn đặc trưng đối tượng quay có phân bổ liệu chủ yếu siêu mặt cầu Điều cho kết nhận dạng đối tượng cao so với việc sử dụng kỹ thuật PCR tí Trong phần này, đề xuất phương pháp phân loại sử dụng CGA, đưa vào tập huấn luyện 𝑇 = {(𝒙𝒊 , 𝒚𝒊 )| 𝒙𝒊 ∈ 𝑅 𝑑 , 𝒚𝒊 ∈ 𝐶 = {1, … , 𝑐}}𝑛𝑖=1 (21) Khi yi nhãn vector xi không gian Rd Ta tách rời tập huấn luyện thành c tập con, tập định nghĩa sau: 𝑋𝑗 = {𝒙𝒊 ∈ 𝑅 𝑑 |𝒚𝒊 = 𝑗; 𝑗 ∈ {1, … , 𝑐}} (22) Đầu tiên, phương pháp đề xuất biến đổi d-chiều vector tập thành điểm không gian CGA Từ cơng thức (16), trình bày lại theo tập sau: 𝑃𝑗 = {𝑃𝑖 = 𝒙𝒊 + ‖𝒙‖2 𝒆∞ + 𝒆0 ∈ 𝒢𝑑+1,1 | 𝒚𝒊 = 𝑗; 𝑗 ∈ 𝐶 = {1, … , 𝑐}} (23) Sau đó, định nghĩa hàm lỗi Ej cho tập thứ j sau: 𝐸𝑗 = ∑ 𝑑2 (𝑃𝑖 , 𝑆𝑗 ) (24) 𝑦𝑖 =𝑗 = ∑ ( 𝒙𝑖 𝑠𝑗 − 𝑠∞𝑗 − 𝑦𝑖 =𝑗 ‖𝒙 ‖2 𝑠 )2 𝑖 0𝑗 Từ công thức (20) thấy bề mặt siêu mặt phẳng siêu mặt cầu không thay đổi nhân thêm hệ số Điều có nghĩa tối thiểu hóa hàm lỗi Ej, giá trị sj giới hạn ‖𝑠𝑗 ‖ = Trong trường hợp này, toán trở thành tìm cực tiểu hàm sau: 𝑚𝑖𝑛 ∑ ( 𝒙𝑖 𝒔𝒋 − 𝑠∞𝑗 − ‖𝒙𝑖 ‖2 𝑠0𝑗 )2 (25) 𝑦𝑖 =𝑗 Với điều kiện là: (26) ‖𝑠𝑗 ‖ = Kết tối ưu để giải vấn đề đề xuất Pham [26] Vấn đề tối ưu giải việc phân hủy eigen sau: 𝑨𝑗 𝒔𝒋 = 𝜆𝑗 𝒔𝒋 (27) Aj ma trận phương sai tập huấn luyện thứ j không gian CGA 𝑛 𝑨𝑗 = ∑ 𝑦𝑖 =𝑗 𝒇𝒋 (𝒙𝒊 )𝒇T (𝒙𝒊 ) Hàm fj(x) định nghĩa sau: 𝒇𝑗 (𝒙) = 𝒙 − 𝒇∞𝑗 − ‖𝒙‖2 𝒇𝟎𝒋 ∈ 𝑹𝑑 − ∑4𝑗 ∑𝑦𝑖 =𝑗(𝒙𝒊 ) + ∑2𝑗 ∑𝑦𝑖=𝑗(‖𝒙𝒊 ‖2 𝒙𝒊 ) 𝒇∞ = (∑2𝑗 )2 − 𝑛𝑗 ∑4𝑗 13 (28) (29) (30) ∑2𝑗 ∑𝑦𝑖 =𝑗(𝒙𝒊 ) − 𝑛𝑗 ∑𝑦𝑖=𝑗(‖𝒙𝒊 ‖2 𝒙𝒊 ) (31) (∑2𝑗 )2 − 𝑛𝑗 ∑4𝑗 Trong tổng bình phương ∑2𝑗 = ∑𝑦𝑖=𝑗(‖𝒙𝑖 ‖2 ) tổng mũ bốn ∑4𝑗 = ∑𝑦𝑖=𝑗(‖𝒙𝒊 ‖4 ) 𝑛𝑗 = ∑𝑦𝑖=𝑗 số phần từ vector tập Xj Một eigen vetor sj vector eigen bảo giác tập Xj định nghĩa siêu mặt cầu (mặt phẳng) 𝑆𝑗 = 𝒔𝒋 + 𝑠∞𝑗 𝒆∞ + 𝑠0𝑗 𝒆0 giá trị riêng 𝜆𝑗 phương sai Một vector riêng (eigen vector) vector bảo giác riêng định nghĩa siêu hình cầu 𝑆 = 𝒔 + 𝑠∞ 𝒆∞ + 𝑠0 𝒆0 giá trị riêng phương sai với khoảng cách bình phương khoảng cách Pk S Các ước tính siêu mặt cầu siêu mặt phẳng khớp với tập liệu giá trị riêng 𝛾 Bởi có d giá trị riêng liệu gốc biểu diễn khơng gian d chiều, tìm d phương án cho vector bảo giác Sj1, …, Sjd cho tập Xj Phép biến đổi phương pháp đề xuất xóa bỏ l vecotr riêng (eigenvector), với 𝑃 = 𝒙 + ‖𝒙‖2 𝒆∞ + 𝒆0 ∈ 𝒢𝑛+1,1 , 𝒇𝑪𝑮𝑨;𝒋 (𝒙) = (𝑃 𝑆𝑗,𝑙+1 , … , 𝑃 𝑆𝑗,𝑚𝑗 )𝐓 (32) Ở 𝑚 = min{𝑛 − 1, 𝑑} mức độ tự tập Xj Sau đó, vector x định nghĩa phân lớp đơn giản sau: 𝑗̂ = 𝑎𝑟𝑔 min‖𝒇𝐶𝐺𝐴;𝑗 (𝒙)‖ (33) 𝒇0 = 𝒘 Trong q trình thực nghiệm, sử dụng cơng thức (33) để phân lớp đối tượng, đồng thời sử dụng hai phương pháp PCR PCR-CGA (phương pháp kết hợp PCR CGA) để thực nghiệm so sánh kết với dựa vào tập liệu khác (sử dụng tập đối tượng thực nghiệm ảnh quay 3D [27] thực nghiệm ảnh khuôn mặt 2D [28]) Trong trình để nhận dạng đối tượng, chuyển liệu ảnh màu sang ảnh màu xám, từ có ma trận pixel ảnh Sau đó, xây dựng vector đặc trưng ảnh từ ma trận ảnh ban đầu Với vector đặc trưng ảnh, sử dụng công thức (12) phương pháp PCR sử dụng công thực (33) phương pháp PCR-CGA để nhận dạng đối tượng Dữ liệu ảnh đưa vào chuẩn hóa kích thướt tương tự nhau, cho phép lấy pixel xám ảnh Với phương pháp sử dụng có độ xác tập ảnh ban đầu Một vài kết thực nghiệm biểu diễn chi tiết phần chương 3, kết thực nghiệm thực nghiệm với tập liệu 3D tập liệu 2D Chi tiết cụ thể trình thực nghiệm trình bày Chương 2.2.3 Phương pháp đề xuất cải tiến thuật tốn Viola-Jones Việc nhận dạng trích chọn đặc tính tương đối quan trọng Tuy nhiên, để thực việc nhận dạng việc phát khn mặt quan trọng Để phát khuôn mặt, báo cáo đề xuất cải tiến sử dụng thuật toán Viola-Jone cách cải tiến mẫu Haat-like logic mờ Các đề xuất trình bày cụ thể mục 2.2.3.1 Phương pháp trích xuất đặc trưng Theo Viola-Jones, mẫu Haar-like sử dụng với kích thước nguyên, tất đặc trưng có giá số ngun Bằng cách phân tích, nhiều thơng tin đặc trưng trích xuất dạng Haar-like retarles có kích thước khơng phải số nguyên Bằng cách tiếp cận này, phạm vi giá trị đặc trưng mở rộng, từ tang độ xác so với hệ thống Viola-Jones ban đầu Hình 2.3 đưa ví dụ hình chữ nhật có kích thước khơng ngun Đây khung x từ ảnh chiều cao hình chữ nhật đặc trưng Hình 2.1: Hình ảnh cửa sổ khung x với đặc trưng kích thước khơng ngun 14 Vì kích thước khơng phải số nguyên, giá trị đặc trưng biểu diễn số thực dấu chấm động Điều dẫn đến khó khăn hệ thống sử dụng mẫu đặc trưng phức tạp Đối với vấn đề này, cách tiếp cận đề xuất tính tốn nhanh chóng giá trị đặc trưng vài phép tính với độ phức tạp O(1) So với cách tính tốn đặc trưng truyền thống, thời gian xử lý phương pháp đề xuất gần 2.2.3.2 Đánh giá Fuzzy Membership Trong logic rời rạc cổ điển, tất biến có giá trị cụ thể {0, 1} {𝑓𝑎𝑙𝑠𝑒, 𝑡𝑟𝑢𝑒} Thay vào đó, phương pháp mờ thương thỏa thuận với giá trị mờ khác 1, giá trị biểu thị mức độ độ tin tưởng biến Cơ chế thiết yếu cho trình xây dựng danh sách câu lệnh if-then Hàm thành viên biểu diễn đượng cong xác định cách điểm không gian đầu vào ánh xạ tới giá trị thành viên (34) 𝐴 = {𝑥, Ω(𝑥)|𝑥 ∈ 𝑋} X khơng gian đầu vào, x giá trị đầu vào, A tập mờ Ω(𝑥) hàm thành viên Trong phạm vi báo cáo này, hàm thành viên Fuzzy áp dụng mà khơng có luật Fuzzy Dưới số hàm thành viên thường sử dụng thực tế: 2.2.3.2.1 Hàm thành viên Triangular Đây hàm thành viên (viết tắt MF – Membership Function) đơn giản hình thành cách sử dụng đường thẳng Nó xác định giới hạn a, giới hạn b giá trị trung bình µ, cho 𝑎 < 𝜇 < 𝑏 Hàm thành viên Triangular biểu diễn hình đây: Hình 2.2: Hàm thành viên Triangular 𝑥𝑏 (34) 2.2.3.2.2 Hàm thành viên Gaussian Hàm thành viên Gaussian đạt độ mịn cho giá trị đầu vào Hàm xác định giá trị trung bình µ phương sai 𝜎 Giá trị phương sai nhỏ đồ thị nhìn chng hẹp Hình biểu diễn hàm 15 Hình 2.3: Hàm thành viên Gaussian 2) − (𝑥−𝜇)2 2𝜎2 (35) 𝑒 √2𝜋𝜎 2.2.3.3 Áp dụng Fuzzy Membership cho thuật toán AdaBoost Nhược điểm phương pháp Viola-Jones với thuật toán Adaboost rời rạc truyền thống ngưỡng đơn giản tách biệt phân bổ dương âm giá trị đặc trưng Haar-like Bằng cách kết hợp nhiều tập phân lớp yếu với nhiều ngưỡng, số phép tính tang theo cấp số nhân mà khơng đảm bảo tăng độ xác cho việc phát Bên cạnh đó, dẫn đến vấn đề khớp (overfitting) trình huấn luyện Áp dụng Fuzzy Membership vào AdaBoost nhằm tìm kiếm độ xác cho việc phát khuôn mặt khuôn mặt ảnh đầu vào thay phân lại chúng trực tiếp mang giá trị Từ mức độ đó, việc phân loại xác hiệu so với phương pháp cổ điển Phương pháp đề xuất tiến hành sau, đặc trưng, tất giá trị tương ứng cho ví dụ ảnh tính tốn đặc trưng cho trước Bước kế tiếp, giá trị trung bình phương sai tính tốn cho hai phân bổ Sau đó, hàm thành viên Fuzzy mờ phần cuối sử dụng để tính tốn thành viên Bằng cách sử dụng đặc tính hai phân bổ, nhược điểm việc chồng chéo khắc phục trung bình phân bổ ln tách rời Hơn nữa, sử dụng thành viên giúp xác định mức độ xác cho khn mặt khơng phải khuôn mặt 2.2.3.3.1 Hàm thành viên Triangular Với dạng cổ điển hàm thành viên Triangular, giá trị trung bình giá trị nhỏ nhất/ lớn vùng khn mặt/ khơng phải khn mặt tính tốn Khi tiến hành thực nghiệm với hàm ban đầu, kết đạt không cao so với hàm khác giá trị ngoại lệ từ hai phân bổ Những giá trị ngoại lệ khơng đóng góp nhiều cho tính chất phạm vi liệu Hình 2.6 vẽ sau huấn luyện phân lớp yếu đầu tiên, đặc trưng sử dụng lại để tính tốn thành viên cho ví dụ đầu vào Ω(𝑥|𝜇, 𝜎 = Hình 2.4: Hàm thành viên Triangular gốc áp dụng vào đặc trưng phân lớp yếu Để tránh ngoại lệ, giới hạn cho hình tam giác tính tốn cách sử dụng độ lệch chuẩn vùng Giới hạn sửa đổi xây dựng sau: (36) 𝑎 = 𝜇 − 𝛾𝜎, 𝑏 = 𝜇 + 𝛾𝜎 γ tham số phụ thay đổi ảnh hưởng đến độ rộng tam giác 16 Bởi đặc trưng sử dụng hình 2.6, hai phân bổ với giới hạn dưới/ vẽ cách sử dụng 𝛾 = Từ hình vẽ thấy hầu hết điểm hai phân bổ đại diện hàm thành viên Triangular với 𝛾 = Trong trình thực nghiệm, giá trị γ thay đổi để tìm giá trị phù hợp cho tối đa hóa tỷ lệ phát Theo phạm vi liệu, γ nên có giá trị từ đến để phát vùng khuôn mặt khuôn mặt 2.2.3.3.2 Hàm thành viên Gaussian Tương tự hàm thành viên Triangular, báo cáo đề xuất thêm tham số vào cho hàm thành viên Gaussian mô tả sau: (𝑥−𝜇)2 − 2) Ω(𝑥|𝜇, 𝜎 = 𝑒 𝛾𝜎2 (37) √2𝜋𝜎 Tham số γ thêm vào để thay đổi phạm vi phân bổ Theo toán học, cách cho 𝛾 = 1,68% phân bổ thực hiện, 95% 𝛾 = 2, 99,7% 𝛾 = Áp dụng tham số làm giảm ảnh hưởng từ ngoại lệ quy trình trích xuất dặc trưng Phương pháp đề xuất báo cáo thời gian tuyến tính để tính trung bình phương sai cho phân bổ dương âm với độ phức tạp O(N) sử dụng phép toán đơn giản O(MKN) độ phức tạp chung thuật toán phương pháp đề xuất Ngồi độ phức tạp chí phí tình toán đáng quan tâm Khi sử dụng hàm thành viên Gausian, phép toán với số thực bắt buộc mà phép toán phức tạp nhiều so với phép toán với số nguyên đơn giản Rõ ràng, để tìm kiếm thành viên, hàm thành viên Gausian hàm phân bổ Gausian gốc nhiều thời gian hàm thành viên Triangular Để loại bỏ nhược điểm này, thực nghiệm, báo cáo sử dụng phương thức khác để tìm kiếm thành viên thay tính tốn cơng thức truyền thống áp dụng vào hàm phân bổ Gaussian ban đầu để so sánh thời gian tính tốn với hàm thành viên khác Phương pháp tiếp cận sau: Nếu ảnh khuôn mặt, tỷ lệ hàm Gausian cho hai phân bổ phải lớn 1: 𝑒 − (𝑥−𝜇𝑝 ) 𝛾𝜎𝑝2 √2𝜋𝜎𝑝2 − 𝑒 √2𝜋𝜎𝑛2 (𝑥−𝜇𝑛 )2 𝛾𝜎𝑛2 >1 (38) √𝜎𝑛2 >𝑒 (𝑥−𝜇𝑝 ) (𝑥−𝜇𝑛 )2 − 𝛾𝜎𝑝2 𝛾𝜎𝑛2 (39) √𝜎𝑝2 Bởi tất phần tử không âm, nên bất đẳng thức khơng đổi bình phương hai bên: (𝑥−𝜇𝑝 ) (𝑥−𝜇 )2 𝑛 −2 𝜎𝑛2 𝛾𝜎𝑝2 𝛾𝜎𝑛2 > 𝑒 (40) 𝜎𝑝2 Hơn nữa, số mũ tự nhiên hàm tăng, áp dụng lôgarit tự nhiên cho bất đẳng thức ta được: (𝑥 − 𝜇𝑛 )2 (𝑥 − 𝜇𝑝 ) 𝜎𝑛2 ln ( ) > [ − (41) ] 𝜎𝑛 𝛾𝜎𝑝2 𝛾𝜎𝑛2 Báo cáo sử dụng bất đẳng thức để so sánh, tất phép tốn tính tốn thời gian ngắn Báo cáo giảm nhiều phép tính tốn việc tính tốn đơn giản 2.3 Kết chương Chương trình bày việc phân tích xây dựng hệ thống nhận dạng đối tượng sinh viên thông qua khuôn mặt với nhiều góc quay camera khác Tiếp theo, chương trình bày thuật tốn đề xuất ứng dụng hệ thống triển khai Phương pháp thứ sử dụng đại số hình học bảo giác (CGA) việc trích chọn đặc tính đối tượng quay Phương pháp thứ cải tiến thuật toán Viola-Jones cách sử dụng Haar-like số thực áp dụng logic mờ để tăng tốc độ huấn luyện thuật toán 17 CHƯƠNG III: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 3.1 MÔI TRƯỜNG THỰC NGHIỆM 3.1.1 Dữ liệu sử dụng 3.1.1.1 Dữ liệu khuôn mặt 2D Trong thực nghiệm này, báo cáo sử dụng tập liệu robotics[10] Dữ liệu hình ảnh nhiều đối tượng, đối tượng gồm tập hình ảnh góc quay khác nhau, đối tượng có 74 hình chụp tương ứng với nhiều góc quay Kích thước hình 128x128, hình quay khác 50, đó, sử dụng 37 hình dùng để huấn luyện mơ hình 37 hình cịn lại để kiểm thử mơ hình so sánh phương pháp với (sử dụng phương pháp phân tích hồi quy thành phần sử dụng phương pháp dựa phương pháp đề xuất) Trong giới hạn thực nghiệm, sử dụng tập liệu gồm đối tượng, đối tượng gồm 74 hình ảnh chứa tồn góc quay Hình 3.1: Tập hình ảnh thực nghiệm 2D 3.1.2 Mơi trường triển khai Trong q trình xây dựng hệ thống thực nghiệm, báo cáo sử dụng công cụ sau: - Eclipse Neon.1 - Sử dụng ngơn ngữ lập trình java - Server runtime: tomcat - Môi trường phát triển windows - Sử dụng api box để trao đổi với Box server Tất source code chương trình xây dựng không sử dụng công cụ có sẵn 3.2 CÁC GIAI ĐOẠN THỰC NGHIỆM 3.2.1 Thực nghiệm với tập liệu 2D Trong thực nghiệm này, báo cáo sử dụng tập liệu robotics[10] Dữ liệu hình ảnh nhiều đối tượng, đối tượng gồm tập hình ảnh góc quay khác nhau, đối tượng có 74 hình chụp tương ứng với nhiều góc quay Kích thước hình 128x128, hình quay khác 50, đó, sử dụng 37 hình dùng để huấn luyện mơ hình 37 hình cịn lại để kiểm thử mơ hình Báo cáo sử dụng hai phương pháp trích chọn đặc trưng PCR phương pháp PCR-CGA để phân lớp nhận dạng đối tượng, kết biểu diễn ma trận phân bổ kết hình 3.2 hình 3.3 Hình 3.2: Ma trận kết sử dụng PCR Hình 3.3: Ma trận kết sử dụng CGA-PCR 18 Kết trung bình trình nhận dạng đối tượng 2D 0.50 phương pháp trích chọn đặc trưng PCR Còn phương pháp sử dụng kết hợp PCR-CGA cao (0.70) 3.2.2 Thực nghiệm so sánh phương pháp đề xuất thuật toán Viola-Jones 3.2.2.1 Thực nghiệm Tập liệu khuôn mặt hệ thống Viola-Jones sử dụng thực nghiệm, Yi-Qing Face Data [29] với ảnh PNG kích thước 24 x 24 Ngoài ra, báo cáo sử dụng tập liệu từ MIT cbcl Face Data [30] với ảnh PGM kích thước 19 x 19 Tất hình ảnh dung để huấn luyện thực nghiệm đề ảnh xám Báo cáo tiến hành thực nghiệm để so sánh kết phương pháp Viola-Jones ban đầu với phương pháp sử dụng Fuzzy memberships Phương pháp đề xuất thay đổi thông số cho hàm thành viên báo cáo đề cập phần trước Cả tỷ lệ phân loại thời gian xử lý đưa để so sanh Đối với tập liệu, bảng tra cứu tương ứng sinh kích thước ảnh khác dẫn đến việc thay đổi bảng Trước chuẩn bị bảng tra cứu huấn luyện, toàn tập liệu chuẩn hóa cho hình ảnh huấn luyện thực nghiệm [31] Do đó, hình ảnh có tiêu chuẩn Các mẫu ảnh trước sau trình chuẩn hóa liệt kê đây: Hình 3.4: Ảnh gốc từ tập liệu MIT cbcl trước chuẩn hóa Hình 3.5: Hình ảnh từ tập liệu MIT cbcl sau chuẩn hóa Bảng 3.1: Số hình ảnh khn mặt/ khơng phải khn mặt tập liệu MIT cbcl Yi-Qing Bảng thể số ví dụ đầu vào khn mặt/ khơng phải khn mặt sử dụng q trình huấn luyện thực nghiệm Trong thực nghiệm, thuật toán triển khai ngôn ngữ Java Hệ thống sử dụng máy tính với hệ điều hành Mac OS, nhớ 8GB DDR3 1600MHz vi xử lý Intel Core 2,6 GHz i5 Số lượng ổ cứng không nhắc đến thực tế báo cáo sử dụng RAM để thử nghiệm hệ thống Nghĩa ổ cứng không bắt buộc hệ thống Viola-Jones 3.2.2.2 Kết thực nghiệm 3.2.2.2.1 Hàm thành viên Triangular Trong thực nghiệm, kết so sanh với giá trị γ thay đổi tương ứng với 1, 1.5, 2, 2.5 ROC(Receiver Operating Characteristic) năm kết biểu diễn hình 3.15 19 Hình 3.6: ROC cho giá trị khác γ cho tập liệu MIT cbcl Từ đường cong ROC trên, dễ dàng nhận thấy 𝛾 = 𝑦 = cho kết tốt so với giá trị khác Quy trình áp dụng với tập liệu Yi-Qing thu ROC hình 3.16 Trong thực nghiệm này, 𝛾 = 2, 2.5 𝛾 = cho kết cao tương tự Hình 3.7: ROC giá trị γ khác cho tập liệu Yi-Qing 3.2.2.2.2 Hàm thành viên Gaussian Để kiểm tra hiệu hàm thành viên Gaussian giá trị khác tham số γ, γ nằm đoạn [1, 3] Hình 3.17 mơ tả rõ ràng đường cong ROC hàm thành viên Trong đồ thị 𝛾 = có đường cong ROC dốc Hình 3.18 cho thấy ROC hàm Gaussian sử dụng cho tập liệu Yi-Qing Tương tự tập liệu MIT cbcl, hàm thành viên Gaussian với giá trị γ khác cho kết gần giống với tập liệu, tỷ lệ phân loại cao đáng kể Hình 3.8: ROC hàm thành viên Gaussian cho tập liệu MIT cbcl 20 Hình 3.9: ROC hàm thành viên Gaussian cho tập liệu Yi-Qing 3.2.2.2.3 Phương pháp Viola-Jones hàm thành viên logic mờ Hình 3.19 3.20 cho biểu điễn ROC hàm thành viên phương pháp Viola-Jones gốc sau thực nghiệm với liệu MIT cbcl Yi-Qing Hình 3.10: ROC tất hàm thành viên cho tập liệu MIT cbcl So với hệ thống ban đầu Viola-Jones, hàm thành viên Fuzzy đạt kết tương tự tốt hơn, đặc biệt với hàm thành viên Gaussian Hơn nữa, phần tiếp theo, báo cáo chứng minh cách tiếp cận phương pháp đề xuất tốt việc giảm thời gian chạy Hình 3.11: ROC tất hàm thành viên cho tập liệu Yi-Qing 3.2.3 Kết thử nghiệm thực tế Như trình bày phần (3.2.1.2) kết chương trình thực nghiệm với tập liệu mơ phỏng, tức kết hợp nhiều hình ảnh đối tượng người vào khung ảnh lớn Kết thể 21 tốt việc nhận dạng đối tượng mặt người phương pháp trích chọn đặc trưng cho đối tượng quay Tuy nhiên, để tăng tính khách quan, báo cáo thực nghiệm với liệu thực tế chụp lớp học, có dạng hình 3.26 Hình 3.12: Hình ảnh lớp học thực tế Thực bước thực mục (3.2.1.2), ta thu kết trình nhận dạng đối tượng hình (3.27) Hình 3.13: Kết nhận dạng khn mặt lớp học thực tế Hiện tại, nghiên cứu thực nghiệm góc độ quay khác camera thực tế, kết nhận dạng khả quan xác 3.3 Kết chương Chương trình bày kết nhận dạng vật thể với góc quay khác Phương pháp đề xuất với kết hợp CGA PCR cho kết tốt phương pháp trước vật thể quay Chương đồng thời trình bày kết phát nhận dạng khuôn mặt sử dụng thuật toán Viola-Jones Phương pháp đề xuất cho phương pháp đề xuất kết hợp với logic mờ cho kết tốt so với phương pháp Viola-Jones trước tốc độ huấn luyện độ xác việc phát nhận dạng 22 KẾT LUẬN VÀ HƯƠNG PHÁT TRIỂN Kết luận Nghiên cứu trình bày đầy đủ học máy kỹ thuật để xây dựng mơ hình học máy Khái quát hóa đầy đủ hệ thống nhận dạng đối tượng phát nhận dạng khuôn mặt Cải tiến phương pháp trích chọn đặc trưng PCA sử dụng CGA để nhận dạng đối tượng với nhiều góc quay khác nhau, đồng thời sử dụng kết hợp với kỹ thuật PCR để trích chọn đặc trưng tốt cách loại bỏ đặc trưng không tốt Cải tiến thuật toán Viola-Jone sử kết hợp với logic mở nhằm tăng tốc độ huấn luyện tỷ lệ nhận dạng Thực nghiệm cho thấy, so sánh kết nhận dạng dựa vào phương pháp tí trích chọn đặc trưng vector (PCR) sử dụng phương pháp đề xuất (bằng cách kết hợp PCR với tảng lý thuyết CGA) Kết nhận dạng phương pháp đề xuất (kết hợp PCR với CGA) có tỷ lệ nhận dạng cao Hệ thống cho phép nhận dạng đối tượng nhiều góc độ khác với tỷ lệ xác ngày cải thiện, nhờ vào phương pháp học tăng cường, điều có nghĩa liệu tập huấn luyện ngày bổ sung, nên kết nhận dạng cải thiện rõ ràng sau tập huấn luyện nhiều đầy đủ Ngoài hệ thống đánh giá thái độ học tập dựa vào góc nhìn sinh viên ảnh Từ đó, xác định trọng tâm lớp học, đồng thời xác định rõ sinh viên không tập trung học Như trình bày chi tiết phần thái độ học tập sinh viên, kết đánh giá góc nhìn sinh viên dựa nhiều vào thu thập liệu nên chưa cao Giả sử với góc nhìn xác định kết thu nhờ việc đánh giá vị trí trung tâm vị trí đứng giảng viên mang lại kết tương đối Hướng phát triển Để triển khai thực tế việc thu thập hình ảnh khn mặt sinh viên điều kiện ánh sáng khác cần thiết Vì vậy, hướng phát triển đề tài tập trung vào việc triển khai ứng dụng thực tiễn với nhiều môi trường khác Tích hợp vào hệ thống có trường Đại học Bách Khoa – Đại học Đà Nẵng để dễ dàng cho giảng viên nắm bắt trình học tập sinh viên Áp dụng phương pháp hình học đại số bảo giác để nâng cao tỉ lệ phát khuôn mặt đồng thời phân tích biểu cảm sinh viên q trình học tập Đánh giá thái độ học tập sinh viên trình học 23 ... cứu ảnh dược liệu [3] Nghiên cứu đề tài chủ yếu trọng đến việc nhận dạng khuôn mặt người nhằm phân tích thái độ học tập sinh viên Cũng có đề tài nước liên quan đến việc nhận dạng mặt người nhận. .. [11] Cũng nghiên cứu nhận dạng khuôn mặt, hệ thống chủ yếu nhận dạng khn mặt tương đối diện lớp học để điểm danh Tuy nhiên, thực tế bắt buộc sinh viên ngồi tư trình học tập Vì ảnh lớp học thời... Các bước xây dựng hệ thống nhận dạng Xây dựng hệ thống nhận dạng khuôn mặt thực tế mô tả qua bước sau đây: Bước 1: Thực việc phát khuôn mặt liệu đầu vào (CSDL ảnh, video) cắt lấy phần ảnh mặt để