Nghiên cứu và xây dựng hệ thống xác định khuôn mặt chung nhất trong tập ảnh số

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ CÙ VIỆT DŨNG NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG XÁC ĐỊNH KHUÔN MẶT CHUNG NHẤT TRONG TẬP ẢNH SỐ LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM Hà Nội – 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ CÙ VIỆT DŨNG NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG XÁC ĐỊNH KHUÔN MẶT CHUNG NHẤT TRONG TẬP ẢNH SỐ Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS Bùi Thế Duy Hà Nội – 2014 LỜI CẢM ƠN Trƣớc tiên, em xin gửi lời cảm ơn chân thành biết ơn sâu sắc tới thầy giáo hƣớng dẫn, PGS.TS Bùi Thế Duy tận tình hƣớng dẫn em suốt trình thực khoá luận tốt nghiệp, cách đặt câu hỏi nghiên cứu, hiểu vấn đề, viết báo cáo cách khoa học Em xin chân thành cảm ơn sâu sắc tới anh chị, thầy cô phòng tƣơng tác ngƣời máy tận tình bảo, giải vấn đề vƣớng mắc Em xin bày tỏ lời cảm ơn sâu sắc tới thầy cô giáo trƣờng Đại học Công Nghệ, ngƣời thầy, cô tận tình giảng dạy truyền đạt cho em kiến thức, kinh nghiệm quý báu suốt trình học tập rèn luyện Trƣờng Con xin bày tỏ lòng chân thành biết ơn tới cha mẹ, anh chị, ngƣời gia đình bạn bè bên cạnh lúc khó khăn nhất, giúp vƣợt qua khó khăn học tập nhƣ sống Hà nội, ngày tháng 09 năm 2014 Học viên Cù Việt Dũng Lời cam đoan Tôi xin cam đoan: Những kết nghiên cứu đƣợc trình bày luận văn hoàn toàn trung thực, tôi, không vi phạm điều luật sở hữu trí tuệ pháp luật Việt Nam Nếu sai, xin chịu hoàn toàn trách nhiệm trƣớc pháp luật TÁC GIẢ LUẬN VĂN Cù Việt Dũng MỤC LỤC Trang Lời cam đoan MỤC LỤC Danh mục ký hiệu chữ viết tắt Danh mục bảng Danh mục hình vẽ, đồ thị LỜI MỞ ĐẦU CHƢƠNG 1: TỔNG QUAN 10 1.1 Giới thiệu 10 1.2 Phát biểu toán .11 1.2.1 Quy trình xử lý 11 1.2.2 Những khó khăn, thách thức .12 1.3 Một số phƣơng pháp xác định khuôn mặt 12 1.3.1 Hƣớng tiếp cận dựa tri thức .13 1.3.2 Hƣớng tiếp cận dựa đặc trƣng không thay đổi 14 1.3.3 Hƣớng tiếp cận dựa so khớp mẫu 16 1.3.4 Hƣớng tiếp cận dựa diện mạo 17 1.4 Kết luận chƣơng 17 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT 18 2.1 Phát khuôn mặt .18 2.1.1 Các đặc trƣng giống Haar 18 2.1.2 Phƣơng pháp Adaboost .20 2.2 Tổng quan phƣơng pháp trích rút đặc trƣng 22 2.2.1 Phƣơng pháp trích chọn đặc trƣng hình học .23 2.2.2 Phƣơng pháp trích chọn đặc trƣng diện mạo 23 2.3 Phƣơng pháp phân tích thành phần 24 2.3.1 Sơ lƣợc đại số tuyến tính 24 2.3.2 Phân tích thành phần - PCA 25 2.4 Mô hình diện mạo tích cực 28 2.4.1 Hình dáng điểm mốc 28 2.4.2 Căn chỉnh hình dạng tập huấn luyện 30 2.4.3 Huấn luyện mô hình 30 2.4.3.1 Huấn luyện mô hình hình dáng .31 2.4.3.2 Huấn luyện hình ảnh 31 2.4.3.3 So khớp 32 2.5 Giới thiệu phân cụm 33 2.5.1 Khái niệm 33 2.5.2 Một số vấn đề phân cụm 35 2.5.3 Phân cụm phân cấp 36 2.6 Kết luận chƣơng 37 CHƢƠNG 3: XÂY DỰNG HỆ THỐNG 38 3.1 Tổng quan hệ thống 38 3.2 Phát khuôn mặt .40 3.3 Trích rút đặc trƣng 41 3.3.1 Phân tích thành phần .42 3.3.2 Mô hình diện mạo tích cực 44 3.4 Xác định khuôn mặt chung 45 3.5 Kết luận chƣơng 46 CHƢƠNG 4: THỬ NGHIỆM VÀ KẾT QUẢ ĐẠT ĐƢỢC 47 4.1 Cơ sở liệu khuôn mặt thử nghiệm .47 4.2 Một số thực nghiệm 48 4.3 Kết luận chƣơng 54 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 55 TÀI LIỆU THAM KHẢO 56 Danh mục ký hiệu chữ viết tắt CSDL Cơ sở liệu ASM Active Shape Model PCA Principal Component Analysis HAC Hierarchical Agglomerative Clustering Danh mục bảng Bảng 2.1: Tham số liệu thuộc tính nhị phân 35 Danh mục hình vẽ, đồ thị Hình 2.1: Hình 2.2: Hình 2.3: Hình 2.4: Hình 2.5: xoay 45o Hình 2.6: Hình 2.7: Hình 2.8: Hình 2.9: Hình 2.10: Hình 2.11: Hình 3.1: Hình 3.2: Hình 3.3: Hình 3.4: Hình 3.5: Hình 3.6: Hình 3.7: Hình 3.8: Hình 3.9: Hình 4.1: Hình 4.2: Hình 4.3: Hình 4.4: Hình 4.5: Hình 4.6: Hình 4.7: Hình 4.8: Hình 4.9: Hình 4.10: Hình 4.11: Hình 4.12: Hình 4.13: Bốn đặc trƣng Haar-like 18 Các đặc trƣng mở rộng đặc trƣng Haar-like sở 18 Cách tính Integral Image ảnh 19 Cách tính nhanh tổng điểm ảnh vùng D ảnh 19 Cách tính nhanh tổng điểm ảnh vùng D ảnh với đặc trƣng 20 Thuật toán Adaboost 21 Hình dạng biểu diễn hình dạng mô hình .29 Vị trí 68 điểm mốc khuôn mặt 29 Thuật toán gióng hàng tập huấn luyện .30 Quy trình huấn luyện mô hình hình dáng 31 Thuật toán so khớp hình dáng khuôn mặt 32 Sơ đồ tổng quát hệ thống .38 Mã giả thuật toán tổng quát hệ thống 39 Giao diện hệ thống 40 Giao diện kết sau xác định đƣợc khuôn mặt chung 40 Giao diện kết phát khuôn mặt .41 Chuyển ảnh khuôn mặt sang vector 42 Tập ảnh khuôn mặt sau chuẩn hóa kích thƣớc 43 Thuật toán so khớp khuôn mặt 44 Thuật toán phân cụm phân cấp 45 Ví dụ tập sở liệu tự xây dựng 47 Tập ảnh đầu vào thực nghiệm 48 Khuôn mặt chung thực nghiệm .48 Kết hệ thống thực nghiệm - PCA .49 Kết hệ thống thực nghiệm - ASM 49 Tập ảnh đầu vào thực nghiệm 50 Khuôn mặt chung thực nghiệm .50 Kết hệ thống thực nghiệm - PCA .51 Kết hệ thống thực nghiệm - ASM 51 Tập ảnh đầu vào thực nghiệm 52 Khuôn mặt chung thực nghiệm .52 Kết hệ thống thực nghiệm - PCA .53 Kết hệ thống thực nghiệm - ASM 53 LỜI MỞ ĐẦU Hiện giới có hàng trăm mạng mạng xã hội khác nhƣ MySpace Facebook tiếng thị trƣờng Bắc Mỹ Tây Âu; Orkut Hi5 Nam Mỹ; Friendster Châu Á đảo quốc Thái Bình Dƣơng Một số mạng xã hội khác gặt hái đƣợc thành công đáng kể theo vùng miền nhƣ Bebo Anh Quốc, CyWorld Hàn Quốc, Mixi Nhật Bản Ở Việt Nam xuất nhiều mạng xã hội nhƣ: Facebook, Zing Me, YuMe, Tamtay đƣợc đông đảo bạn trẻ ngƣời nƣớc tin dùng Với số lƣợng mạng xã hội đông đảo nhƣ thế, lƣợng thông tin liệu thu đƣợc khổng lồ Trong lƣợng thông tin khổng lồ này, có lƣợng lớn hình ảnh Một minh chứng rõ mạng xã hội facebook, có hàng trăm tỷ hình sở liệu Việc tìm thông tin hữu ích lƣợng liệu hình ảnh lớn nhƣ cấp thiết Nhiều thông tin đƣợc chia sẻ mạng xã hội thể hình ảnh cung cấp cho ngƣời dùng thông tin ngƣời, phong cảnh mang nhiều phong cách cá nhân Mọi ngƣời thƣờng chia sẻ hình ảnh cá nhân trang mạng xã hội để chia sẻ chúng với gia đình, ngƣời thân, bạn bè ngƣời quen Tuy nhiên, ngƣời dùng muốn tìm hiểu thông tin gặp phải vấn đề phải tìm thông tin ngƣời khó khăn (tốn thời gian nhiều không tìm đƣợc) Lý việc lƣợng ảnh mạng xã hội nhiều tăng nhanh hàng ngày Với tập ảnh cho trƣớc, ảnh có hay nhiều khuôn mặt gây nhiều khó khăn cho ngƣời dùng xác định chủ thể tập ảnh cách nhanh Do đó, nên cần hệ thống giúp gom đối tƣợng khuôn mặt cụm (theo độ đo tƣơng tự đó) tập liệu ảnh có hay nhiều khuôn mặt ảnh vô cần thiết Từ xác định đƣợc khuôn mặt chung tập ảnh Với cần thiết tác giả chọn đề tài “Nghiên cứu xây dựng hệ thống xác định khuôn mặt chung tập ảnh số” Nội dung khóa luận gồm có chƣơng: Chƣơng 1: Tổng quan, giới thiệu phát biểu toán, nêu số hƣớng tiếp cận việc phát khuôn mặt ảnh Chƣơng 2: Cơ sở lý thuyết, giới thiệu sở lý thuyết số phƣơng pháp liên quan toán Chƣơng 3: Xây dựng hệ thống, trình bày xây dựng hệ thống giải toán Chƣơng 4: Thử nghiệm kết đạt đƣợc, trình bày sở liệu thực nghiệm kết thử nghiệm, đánh giá thử nghiệm 43 Hình 3.7: Tập ảnh khuôn mặt sau chuẩn hóa kích thước B2 Biểu diễn ảnh Ii thành vector xi ta thu đƣợc tập liệu X = [x1, x2,…, xn] Trong n số lƣợng ảnh khuôn mặt, xi ảnh khuôn mặt thứ i có kích thƣớc 200x200 Tức X ma trận chiều gồm n hàng 40 000 cột B3 Áp dụng hàm khởi tạo PCA::PCA có sẵn thƣ viện OpenCV PCA pca(const Mat &data, const Mat &mean, int flags, int maxComponents=0) Trong Mat &data - ma trận tập đặc trƣng đầu vào đƣợc lƣu trữ dƣới dạng ma trận hàng Mat &mean - giá trị ma trận trung bình, ma trận rỗng giá trị trung bình đƣợc tính từ tập liệu data Còn tham số int flags - cờ hoạt động đƣợc sử dụng để xác định cách bố trí liệu theo hàng hay theo cột, CV_PCA_DATA_AS_ROW cho biết mẫu tập trƣng đầu vào khuôn mặt đƣợc lƣu trữ nhƣ hàng ma trận CV_PCA_DATA_AS_COL cho biết mẫu tập trƣng đầu vào khuôn mặt đƣợc lƣu trữ nhƣ cột ma trận Cuối maxComponents – số lƣợng tối thành phần PCA đƣợc giữ lại, mặc định tất thành phần đƣợc giữ lại Tiếp theo sử dụng hàm PCA::project để chiếu vector từ không gian ban đầu sang không gian thành phần void project ( const Mat &vec, CV_OUT Mat &result) const Trong vec tham số đầu vào có chiều cách bố trí tƣơng tự kiểu với liệu đầu vào đƣợc sử dụng giai đoạn áp dụng PCA Result vector 44 đầu sau chiếu vector vec vào không gian thành phần Trong hệ thống, giai đoạn PCA tác giả dùng khuôn mặt lƣu trữ hàng ma trận đặc trƣng - CV_PCA_DATA_AS_ROW Vì ma trận đầu result có số lƣợng hàng số lƣợng hàng vector đầu vào, có nghĩa result.row = vec.row Và số lƣợng cột ma trận đầu số lƣợng thành phần chính( ví dụ maxComponents số lƣợng đƣợc truyền giai đoạn PCA) 3.3.2 Mô hình diện mạo tích cực ASM phƣơng pháp dựa mô hình sử dụng mô hình cho trƣớc tất mô hình khuôn mặt đƣợc xây dựng từ trƣớc Phƣơng pháp sau huấn luyện xây dựng mô hình tiến hành so khớp với khuôn mặt ảnh, thƣờng cố gắng tìm vị trí phù hợp mô hình với liệu hình ảnh khuôn mặt Khi xây dựng mô hình ASM phải có sở liệu hình ảnh gắn với tập tin thích nó, thƣờng có hai định dạng hỗ trợ asf pts Trong hệ thống, tác giả dùng mô hình có sẵn đƣợc huấn luyện, bạn tải mô hình trang chủ blog greatyao [21] Tiếp theo hệ thống tiến hành trích rút đặc trƣng khuôn mặt, thuật toán đƣợc mô tả tổng quát nhƣ dƣới hình 3.8: THUẬT TOÁN ASM_FITTING Input: LI – tập ảnh gồm n ảnh cascade_name – liệu huấn luyện cascade model_name – liệu mô hình sau huấn luyện Output: D – Tập đặc trưng khuôn mặt Khởi tạo nImages  n; totalFaces  0; Load liệu init_detect_cascade(cascade_name); Read(model_name); Mô hình hóa khuôn mặt For i = to nImages Bool flag  detect_all_faces(&detshapesi , &nFace, LIi ); If (flag) For j = to nFaces() Begin Sj  InitShape(detshapesj ); totalFaces ++; End; Sj  Fit_asm(Sj) Trích rút đặc trƣng For k = to totalFaces Dk  Feature(Sk); Return D; Hình 3.8: Thuật toán so khớp khuôn mặt 45 Thuật toán ASM_fitting có tham số đầu vào tập ảnh khuôn mặt cho trƣớc, liệu haarlike mô hình sau huấn luyện nói phần Hàm detect_all_face() phát đƣợc khuôn mặt ảnh trả giá trị flag = true Khi phát đƣợc khuôn mặt ảnh, hàm InitShape() trả hình chữ nhật bao khuôn mặt đƣợc lƣu trữ dƣới dạng hai điểm Top-left BottomRight Hàm Fit_asm() so khớp hình dạng đƣợc mô hình hóa từ hàm InitShape() cho phù hợp với khuôn mặt xét cho ta 68 điểm mốc Cuối hàm Feature() trích rút đặc trƣng lƣu trữ dƣới dạng phù hợp Trong hệ thống thu đƣợc 68 điểm mốc sau trình so khớp fitting, hình dạng đƣợc định nghĩa gồm 68 điểm mốc này, đƣợc thành lập cách kết hợp phần tử biểu diễn vị trí điểm độc lập {(xi, yi)} đƣợc gọi điểm mốc: S= ), Để trích rút đặc trƣng khuôn mặt đƣợc biểu diễn dƣới dạng vector X gồm 136 phần tử nhƣ sau: X = (x1, x2,…,xn, y1, y2,… , yn) Kết tập đặc trƣng thu đƣợc từ N khuôn mặt phát đƣợc ma trận gồm N hàng 136 cột Trong khuôn mặt đƣợc biểu diễn hàng ma trận, số cột ma trận 136 3.4 Xác định khuôn mặt chung Tác giả áp dụng phƣơng pháp phân cụm phân cụm phân cấp để gom khuôn mặt tƣơng tự cụm khuôn mặt riêng biệt Từ xác định khuôn mặt chung tập ảnh Thuật toán đƣợc mô tả dƣới hình 3.9: Input: D- Ma trận đặc trƣng cỡ NxN Ouput: F - Khuôn mặt chung For n to N For i  to N C[n][i]  SIM(Dn,i); I[n] 1; For k  to N –  argAve{: i ≠ m ˄ I[i] =1˄I[m] =1 } C[i][m] A.APPEND() For j  to N C[i][j]  SIM(i,m,j);C[j][i]  SIM(i,m,j); I[m]  0; id  MaxFaces(A); FGetFaces(id); Return F; Hình 3.9: Thuật toán phân cụm phân cấp 46 Trong thuật toán trên, tính ma trận khoảng cách C cỡ NxN Sau thực N - bƣớc để sáp nhập cụm có độ tƣơng tự nhỏ ngƣỡng cho trƣớc Trong lần lặp, ta thu đƣợc hai cụm tƣơng tụ đƣợc sáp nhập hàng cột cụm i sáp nhập C đƣợc cập nhật Các cụm đƣợc lƣu trữ nhƣ danh sách việc sáp nhập A Mảng I cho ta biết đƣợc trạng thái cụm đƣợc sáp nhập Hàm SIM(i, j, m) tính độ tƣơng tự cụm j cụm sau sáp nhập cụm i với cụm m, tác giả dùng độ đo Centroid-linkage Sau có cụm A khuôn mặt riêng biệt ta xác định số cụm có số lƣợng khuôn mặt lớn thông qua hàm MaxFaces() Khuôn mặt F khuôn mặt chung tập ảnh đƣợc lấy cụm có số lƣợng khuôn mặt lớn hàm GetFaces() 3.5 Kết luận chƣơng Trong chƣơng này, tác giả tập trung nghiên cứu bƣớc để giải xây dựng hệ thống Ở chƣơng 4, phần thử nghiệm cho việc dò tìm khuôn mặt chung ảnh khuôn mặt Sau trình thực nghiệm, tác giả tiến hành so sánh đƣa đánh giá, nhận xét cho toán 47 CHƢƠNG 4: THỬ NGHIỆM VÀ KẾT QUẢ ĐẠT ĐƢỢC 4.1 Cơ sở liệu khuôn mặt thử nghiệm Để phục vụ cho toán tác giả thu thập tập liệu ảnh gồm tập ảnh bao gồm ảnh nhiều độ phân giải khác ảnh có nhiều khuôn mặt để thử nghiệm đánh giá Tập liệu đƣợc tác giả thu thập từ mẫu hình chụp khuôn mặt ngƣời, ảnh đƣợc lƣu định dạng JPG Các ảnh khuôn mặt có khuôn mặt mà có nhiều khuôn mặt ảnh Bằng cách thay đổi hình ảnh khuôn mặt khác tập dƣ liệu cho thấy hiệu hệ thống Hình 4.1: Ví dụ tập sở liệu tự xây dựng 48 4.2 Một số thực nghiệm Tác giả tiến hành thực nghiệm kết hệ thống số tập ảnh đầu vào nhƣ trình bày mục 4.1 nhƣ sau để đánh giá hiệu hệ thống Thực nghiệm 1: Tập ảnh đầu vào Hình 4.2: Tập ảnh đầu vào thực nghiệm Trong tập ảnh tổng tất có 12 cá nhân, nhƣ thấy khuôn mặt chung ảnh Hình 4.3: Khuôn mặt chung thực nghiệm Cá nhân xuất lần tập ảnh đầu vào Hình 4.4 hình 4.5 dƣới kết hệ thống với phƣơng pháp trích rút đặc trƣng 49 Hình 4.4: Kết hệ thống thực nghiệm - PCA Hình 4.5: Kết hệ thống thực nghiệm - ASM Với kết hệ thống thấy kết hệ thống xác 50 Thực nghiệm 2: Tập ảnh đầu vào Hình 4.6: Tập ảnh đầu vào thực nghiệm Trong tập ảnh tổng tất có 06 cá nhân, nhƣ thấy khuôn mặt chung ảnh Hình 4.7: Khuôn mặt chung thực nghiệm Cá nhân xuất lần tập ảnh đầu vào Hình 4.8 hình 4.9 dƣới kết hệ thống với phƣơng pháp trích rút đặc trƣng 51 Hình 4.8: Kết hệ thống thực nghiệm - PCA Hình 4.9: Kết hệ thống thực nghiệm - ASM Với kết hệ thống thấy kết hệ thống xác 52 Thực nghiệm 3: Tập ảnh đầu vào Hình 4.10: Tập ảnh đầu vào thực nghiệm Trong tập ảnh tổng tất có cá nhân, nhƣ thấy khuôn mặt chung ảnh Hình 4.11: Khuôn mặt chung thực nghiệm 53 Cá nhân hình 4.11 xuất lần tập ảnh đầu vào Hình 4.12 hình 4.13 dƣới kết hệ thống Hình 4.12: Kết hệ thống thực nghiệm - PCA Hình 4.13: Kết hệ thống thực nghiệm - ASM Với kết hệ thống thấy kết hệ thống xác 54 Với thực nghiệm trên, tác giả thấy phƣơng pháp PCA ASM cho kết xác xác định khuôn mặt chung tập ảnh ảnh có nhiều khuôn mặt Tác giả thực thêm nhiều thực nghiệm khác nhau, kết cho thấy phƣơng pháp PCA độ sáng hình ảnh ảnh hƣởng lớn đến kết quả, ASM biểu cảm khuôn mặt thay đổi làm kết thay đổi 4.3 Kết luận chƣơng Trong chƣơng cuối này, tác giả trình bày tập sở liệu ảnh đầu vào gồm nhiều khuôn mặt ảnh và, thu thập kết từ kết từ số thực nghiệm để có nhận xét đánh giá hệ thống 55 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Trong nội dung luận văn này, sau tiến hành nghiên cứu tổng quan toán xác định đƣợc khuôn mặt giống ảnh gồm nhiều khuôn mặt, số phƣơng pháp liên quan để giải toán Tác giả sâu vào nghiên cứu ứng dụng thành công hai phƣơng pháp Active Shape Model, PCA để trích rút đặc trƣng khuôn mặt áp dụng phƣơng pháp phân cụm phân cấp tích tụ để gom khuôn mặt giống cụm, từ ta xác định đƣợc khuôn mặt chung tập ảnh thuộc cụm có số lƣợng khuôn mặt lớn Tác giả tiến hành cài đặt xây dựng thử nghiệm thành công, từ đƣa nhận xét, đánh giá cho toán Qua thử nghiệm hệ thống đáp ứng tƣơng đối tốt mong muốn ngƣời dùng Để xây dựng đƣợc chƣơng trình ứng dụng cho toán có số khó khăn cần vƣợt qua là: việc dò tìm phát khuôn mặt điều kiện khác khó khăn Khó khăn thứ là, hệ thống xây dựng phải đáp ứng thời gian thực tốc độ xử lý phải nhanh Bên cạnh kết công bố từ trƣớc, tác giả sử dụng tập ảnh mẫu gồm ảnh có khuôn mặt nên chƣa so sánh hệ thống tác giả xây dựng với hệ thống có Hƣớng phát triển Bài toán đặt tƣơng đối khó lĩnh vực nhận dạng khai phá liệu Mặc dù tác giả nỗ lực, cố gắng nhằm xây dựng hệ thống có khả đáp ứng tốt áp dụng đƣợc vào thực tế Nhƣng với hạn chế mặt trình độ nhƣ thời gian thực hiện, nên kết chƣa đƣợc nhƣ mong muốn Những định hƣớng sau hy vọng ngày hoàn thiện mang tính khả thi cho khả tƣơng tác ngƣời với máy tính qua hệ thống - - Tăng số đặc trƣng khuôn mặt đƣợc trích rút để tăng độ xác cho kết phân cụm Kết hợp với số phƣơng pháp khác để trình dò tìm khuôn mặt đƣợc xác hiệu với khuôn mặt nghiêng, bị xoay, có vật cản nhƣ đội mũ, đeo kính Có thể tích hợp hệ thống vào số hệ thống thực tế nhƣ trang mạng xã hội để giải số vấn đề thực tế 56 - TÀI LIỆU THAM KHẢO [1] A tutorial on principal components analysis, Lindsay I Smith Cornell University, USA, (February 2002) [2] A Jain, M Murty, and P Flynn, ”Data Clustering: A Review”, ACM Computing Surveys, 31(3), September 1999 [3] D.G Kendall, “Shape Manifolds, Procrustean Metrics, and Complex Projective Shapes”, Bull London Math Soc., vol 16, pp 81-121, 1984 [4] E Osuna, R Freund, and F Girosi, “Training Support Vector Machines: An Application to Face Detection” Proc IEEE Conf Computer Vision and Pattern Recognition, pp 130-136, 1997 [5] G Yang and T S Huang (1994) “Human Face Detection in Complex Background”, Pattern Recognition, vol 27, no 1, pp 53-63 [6] G.Zhao, M.Pietikäinen Dynamic texture recognition using local binary patterns with an application to facial expressions IEEE Transactions on Pattern Analysis and Machine Intelligence 2007 [7] H.B.Deng, L.W.Jin, L.X.Zhen, J.C.Huang A New Facial Expression Recognition Method Based on Local Gabor Filter Bank and PCA plus LDA International Journal of Information Technology 2005 [8] H.P Graf, T Chen, E Petajan, and E Cosatto, “Locating Faces and Facial Parts”, Proc First Int‟l Workshop Automatic Face and Gesture Recognition, pp 41-46, 1995 [9] J Canny, “A Computational Approach to Edge Detection”, IEEE Trans Pattern Analysis and Machine Intelligence, vol 8, no 6, pp 679-698, June 1986 [10] J Sobottka and I Pitas, “Segmentation and Tracking of Faces in Color Images”, Proc Second Int‟l Conf Automatic Face and Gesture Recognition, pp 236-241, 1996 [11] J.Yang, R.Stiefelhagen, U.Meier, A.Waibel Real-time face and facial feature tracking and applications In Proceedings of Auditory-Visual Speech Processing, New South Wales, Australia 1998 [12] K.V Mardia and I.L Dryden, “Shape Distributions for Landmark Data”, Advanced Applied Probability, vol 21, pp 742-755, 1989 [13] Kang Ryoung Park, Gaze Detection System by Wide and Auto Pan/Tilt Narrow View Camera, DAGM 2003, LNCS 2781 pp 76 – 83, Springer-Verlag Berlin Heidelberg 2003 57 [14] Ming-Hsuan Yang, David J Kriegman, and Narendra Ahuja (2002) , Detecting Faces in Images: A Survey”, IEEE Transactions on Pattern Analysis and machine Intelligent, vol 24, no [15] P Viola, & M Jones (2004) Robust real-time face detection International Journal of Computer Vision, 57(2), 137-154 [16] Stephen Milborrow and Fred Nicolls “Locating facial features with an extended active shape model” Proceedings of the 10th European Conference on Computer Vision: Part IV, ECCV '08, 2008 [17] T Ojala, M Pietikäinen, and T Maenpaa Multiresolution Gray Scale and Rotation Invariant Texture Analysis with Local Binary Patterns IEEE Transactions on Pattern Analysis and Machine Intelligence 2002 [18] T F Cootes, D H Cooper, C J Taylor, and J Graham, “Active Shape ModelsTheir Training and Application”, Department of Medical Biophysics, University of Manchester, Oxford Road, Manchester M13 9PT, England [19] T Sakai, M Nagao, and S Fujibayashi, “Line Extraction and Pattern etection in a Photograph”, Pattern Recognition, vol 1, pp 233-248, 1969 [20] Y.L.Tian, L.Brown, A.Hampapur, S.Pankanti, A.Senior, R.Bolle Real world real-time automatic recognition of facial expressions IEEE Workshop on Performance Evaluation of Tracking and Surveillance 2003 [21] http://blog.greatyao.me/2012/05/06/Introduction-to-ASMLibrary/ [22] http://www.facedetection.com/facedetection/datasets.htm [...]... định khuôn mặt ngƣời là một hệ thống nhận đầu vào là một tập ảnh có thể chứa nhiều khuôn mặt trong ảnh Qua quá trình xử lý tính toán hệ thống xác định đƣợc vị trí mặt ngƣời trong ảnh (nếu có) và xác định ngƣời nào là xuất hiện nhiều nhất trong số những ngƣời hệ thống tách đƣợc 1.2.1 Quy trình xử lý Hệ thống gồm các bƣớc xử lý cơ bản sau - Dò tìm khuôn mặt Trích rút đặc trƣng Phân cụm  Dò tìm khuôn mặt. .. quen là ai, thông tin liên quan đến bạn bè Vì vậy tác giả chọn đề tài Nghiên cứu và xây dựng hệ thống xác định khuôn mặt chung nhất trong tập ảnh số góp phần giải quyết và đáp ứng nhu cầu này Khi tìm kiếm thông tin, ở đây là thông tin chủ nhân của tập ảnh gồm lƣợng lớn hình ảnh, hình ảnh có thể chỉ là phong cảnh, có một ngƣời hay một tập thể gồm nhiều ngƣời khác nhau thì chúng ta không thể giải quyết... đoạn sau đó là trích rút đặc trƣng và xác định khuôn mặt chung nhất 1.3 Một số phƣơng pháp xác định khuôn mặt Dựa vào tính chất của các phƣơng pháp xác định mặt ngƣời trong các bức ảnh, các phƣơng pháp này đƣợc chia thành bốn loại chính, tƣơng ứng với bốn hƣớng[1] tiếp cận khác nhau Ngoài ra cũng có rất nhiều nghiên cứu mà phƣơng pháp xác định mặt ngƣời không chỉ dựa vào một hƣớng mà có liên quan đến... dựa vào các luật, các luật này phụ thuộc vào tri thức của các tác giả nghiên cứu về bài toán xác định khuôn mặt Có thể xây dựng các luật cơ bản để mô tả các đặc trƣng của khuôn mặt và các quan hệ tƣơng ứng Ví dụ, một khuôn mặt thƣờng có hai mắt đối xứng qua trục thẳng đứng giữa khuôn mặt và có một mũi một miệng Các quan hệ đặc trƣng có thể là quan hệ về vị trí và khoảng cách tƣơng đối Khó khăn của hƣớng... viền khuôn mặt, mắt, mũi và miệng Thông qua các giá trị tƣơng quan này mà hệ thống sẽ quyết định có hay không có tồn tại khuôn mặt trong ảnh Hƣớng tiếp cận này có lợi thế là rất dễ cài đặt, nhƣng không hiệu quả khi tỷ lệ, tƣ thế, và hình dáng thay đổi Sakai đã cố gắng thử xác định khuôn mặt ngƣời chụp thẳng trong ảnh [9] Ông dùng vài mẫu con ( sub template ) về mắt, mũi, miệng, và đƣờng viền khuôn mặt. .. trong luận văn Để giải quyết yêu cầu đặt ra của luận văn, tác giả đi sâu nghiên cứu và giải quyết hai vấn đề chính: Vấn đề thứ nhất, giới thiệu trình tự các bƣớc giải quyết cho lớp bài toán Vấn đề thứ hai, nghiên cứu và xây dựng ứng dụng hệ thống xác định khuôn mặt chung nhất trong một tập ảnh cho trƣớc 18 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT Trong chƣơng này tác giả sẽ trình bày tổng quan lý thuyết để giải quyết... hiện khuôn mặt, trích rút đặc trƣng, và xác định khuôn mặt chung nhất trong tập ảnh cho trƣớc 2.1 Phát hiện khuôn mặt 2.1.1 Các đặc trƣng giống Haar Viola và Jones dùng 4 đặc trƣng cơ bản [18] để xác định khuôn mặt ngƣời Mỗi đặc trƣng Haar–like là sự kết hợp của hai hay ba hình chữ nhật "trắng" hay "đen" nhƣ trong hình sau: Hình 2.1: Bốn đặc trưng Haar-like cơ bản Để áp dụng các đặc trƣng này vào việc... tri thức của ngƣời nghiên cứu về các đặc trƣng của khuôn mặt (ví dụ nhƣ cƣờng độ phân phối, sự khác nhau) của vùng trên khuôn mặt Yang và Huang đã sử dụng hƣớng tiếp cận dựa trên tri thức để xác định khuôn mặt [2] Hệ thống của hai tác giả bao gồm ba mức luật Đầu tiên các ông sử dụng một khung cửa sổ để quét trên bức ảnh và thông qua một số tập luật để xác định các ứng viên có thể là mặt ngƣời, ví dụ... ngƣời về khuôn mặt sang các luật cho máy tính một cách hiệu quả Nếu các luật này quá chi tiết, chặt chẽ thì sẽ có thể xác định thiếu các khuôn mặt có trong ảnh, nhƣng nếu các luật quá tổng quát thì sẽ dẫn đến xác định sai khu vực không phải là khuôn mặt thành khuôn mặt Ngoài ra cũng khó để mở rộng phạm vi của bải toán để xác định các khuôn mặt có nhiều tƣ thế khác nhau Có nhiều cách để xây dựng chƣơng... Giai đoạn tách khuôn mặt từ ảnh ban đầu là một giai đoạn quan trọng và khó khăn góp phần quan trọng đến kết quả nhận dạng, việc phát hiện khuôn mặt từ ảnh ban đầu gắn với điều kiện không ổn định của dữ liệu ảnh: độ sáng của ảnh, kích thƣớc và hƣớng của khuôn mặt, góc quay,… Vì vậy, với hệ thống nhận dạng mặt ngƣời cần phải có một số tiêu chuẩn ràng buộc: - Ảnh với màu tự nhiên chiếu sáng và độ đậm đều ... mặt chung Hình 3.1: Output Phân cụm khuôn mặt Sơ đồ tổng quát thuật toán hệ thông Hệ thống xác định khuôn mặt chung tập ảnh cho trƣớc trình xác định khuôn mặt nhóm lớp khuôn mặt tƣơng tự có số. .. xuất nhiều kho ảnh cho trƣớc cách xác định cụm có số lƣợng khuôn mặt nhiều 1.2 Phát biểu toán Hệ thống xác định khuôn mặt ngƣời hệ thống nhận đầu vào tập ảnh chứa nhiều khuôn mặt ảnh Qua trình... TRƢỜNG ĐẠI HỌC CÔNG NGHỆ CÙ VIỆT DŨNG NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG XÁC ĐỊNH KHUÔN MẶT CHUNG NHẤT TRONG TẬP ẢNH SỐ Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN