Trích đặc trưng ảnh 2d tái tạo ảnh đa chiều

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA HUỲNH VÂN KHOA TRÍCH ĐẶC TRƯNG ẢNH 2D TÁI TẠO ẢNH ĐA CHIỀU Chuyên ngành: KỸ THUẬT ĐIỆN TỬ LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 12 năm 2010 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học: PGS.TS LÊ TIẾN THƯỜNG Cán chấm nhận xét 1: Cán chấm nhận xét 2: Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp.HCM ngày tháng năm Đại Học Quốc Gia Tp Hồ Chí Minh CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc Lập – Tự Do – Hạnh Phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: HUỲNH VÂN KHOA Phái: Nam Ngày, tháng, năm sinh: 05/01/1985 Nơi sinh: Đồng Tháp Chuyên ngành: KỸ THUẬT ĐIỆN TỬ MSHV: 09140013 I-TÊN ĐỀ TÀI: TRÍCH ĐẶC TRƯNG ẢNH 2D TÁI TẠO ẢNH ĐA CHIỀU II-NHIỆM VỤ VÀ NỘI DUNG:  Tìm hiểu phương pháp phát vùng ảnh  Tính tốn độ sâu ảnh  Phát mơ hình ảnh mặt 3D  Thực mơ đánh giá kết đạt III-NGÀY GIAO NHIỆM VỤ: 27/05/2010 IV-NGÀY HOÀN THÀNH NHIỆM VỤ: 13/12/2010 V-CÁN BỘ HƯỚNG DẪN: PGS.TS LÊ TIẾN THƯỜNG CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM NGÀNH BỘ MÔN QUẢN LÝ NGÀNH (Họ tên chữ ký) (Họ tên chữ ký) (Họ tên chữ ký) LỜI CÁM ƠN Chân thành bày tỏ lòng biết ơn Thầy PGS.TS Lê Tiến Thường trực tiếp hướng dẫn, tận tình bảo tạo điều kiện thuận lợi nhất, giúp đỡ tơi hồn thành Luận Văn Chân thành cảm ơn Quý Thầy Cô chuyên ngành Kỹ Thuật Điện Tử, Trường Đại Học Bách Khoa Tp Hồ Chí Minh hết lịng giảng dạy, truyền đạt kiến thức giúp đỡ suốt thời gian học tập Trường Chân thành cám ơn Phòng Đào Tạo Sau Đại Học, Trường Đại Học Bách Khoa Tp Hồ Chí Minh tạo điều kiện tốt cho trang thiết bị tài liệu học tập suốt khóa học Chân thành cám ơn bạn học viên cao học K2009 gia đình ủng hộ, giúp đỡ học tập thực Luận Văn TP.HCM, ngày 13 tháng 12 năm 2010 KS Huỳnh Vân Khoa TĨM TẮT Thực mơ hình cho mơ hình ảnh mặt 3D tương tự với ảnh mặt người vấn đề quan trọng lĩnh vực đồ họa máy tính Nhiều nhà nghiên cứu đưa phương pháp mơ hình khác để mơ hình mặt người thực tế Tuy nhiên, dù phương pháp cho kết có chất lượng cao, thời gian, chi phí cơng đoạn cần thiết để tạo mơ phương pháp nhiều Để cải thiện phần cho việc thực thi, đề tài giới thiệu phương pháp mơ hình mặt đầy đủ mà nhanh chóng tạo mơ hình mặt 3D thực dựa ảnh 2D đơn Mục tiêu đề tài thực nghiên cứu ảnh mặt chụp thẳng phía trước giữ thay đổi hình dạng cách thống kê Dùng đặc tính này, đặc điểm mặt trích từ ảnh Những đặc tính độ sâu tính tốn phương pháp tạo hình dạng từ bóng dùng phép xấp xỉ tuyến tính (Shape from Shading) Từ độ sâu tính trước đó, mơ hình riêng 3D tạo biểu diễn mắc lưới Kết có mơ hình ảnh mặt 3D nhiều cá nhân cách dễ dàng Hơn nữa, chi phí tính tốn phương pháp tốn phương pháp khác Vì phương pháp xem có tính thực thi nhanh đáng kể Đề tài thực có ảnh mặt 2D ngõ vào biết trước khơng có thơng số hỗ trợ việc tính tốn nên độ sâu điểm mũi, miệng, mắt xem có chênh lệch khơng đáng kể ABSTRACT Modeling a 3D face model resembling a human face has been an important issue in computer graphics Various modeling methodologies to model real human faces have been proposed and the obtained results are high-quality However, the time, cost and process to complete such models are considerable To improve the implementation, the topic proposes a method to model a fully face that can rapidly create a real 3D face model based on a single 2D image only The aim of the topic is researched on the frontal face image and capture the changes in shape statistically Using these properties, facial features are detected from images The depth characteristics are estimated by the algorithm of “Shape from shading using linear approximation” A 3D individual image is generated from the depths estimated and represented by meshes The result obtained from this method allows to generate a 3D face image of individuals easily Moreover, the computational cost from this method is much lower than the others Therefore, it is considered a method with remarkable fast perfomance The topic is implemented with a 2D face image as an input given and there is no parameter more supplementing the estimation Thus, the depths’ differences at points of noise, mouth, eyes are not considered GIỚI THIỆU Gần đây, phát triển nhanh chóng cơng nghệ thông tin dẫn đến tiến lĩnh vực đồ họa máy tính số trường, viện ngành công nghiệp thu nhiều lợi nhuận từ lĩnh vực Thực tế ảo kỹ thuật Thế giới ảo xuất thu hút nhiều người Họ bị vào xã hội độc lập với giới thực bên Trong giới ảo, người thể thân họ dạng nhân vật 3D, nhân vật ảo đóng vai người thật mà tính cách thay đổi Chính thế, người ta cố gắng tạo nhân vật tương tự với họ bề ngồi Vì mục đích này, kỹ thuật mơ hình dùng để mơ hình hình dạng người tương tự với bề user quan tâm Bởi thuộc tính mặt người thông số định giúp phân biệt cá nhân nên phát triển phương pháp để mơ hình mặt người thực trở thành vấn đề lĩnh vực đồ họa máy tính Đề tài đưa phương pháp mơ hình nhanh chóng mà tạo ảnh 3D từ ảnh đơn 2D, cách dùng tối ưu ưu điểm có từ phương pháp dựa ảnh đơn INTRODUCTION In recent years, the rapid development of information technology has led to advancement in the field of computer graphics It brought benefits for universities, research institutes, industrial sectors Virtual reality is the one of such technologies and attracts several peoples They are attracted in the new societies which are independent on the real world In the virtual world, the people represent themselves in the form of 3D characters; these virtual characters play the role of an alter ego Thererore, they try to create the characters that resemble themselves on the apperance For this purpose, new modeling techniques that can model the shape of human body resembling the users’ apperances are researched Because the attributes of facial image are crucial parameters to distinguish an individual from the others, the development of methods to model the real human face has become an issue in computer graphics The topic proposes a rapid modeling method which can generates a 3D image from a single 2D image by minimizing points obtained from the method based on a single image MỤC LỤC Trang CÁC TỪ VIẾT TẮT DANH MỤC HÌNH VẼ CHƯƠNG CÁC MƠ HÌNH TÍCH CỰC 1.1 Giới thiệu 1.2 Các mơ hình phân bố điểm 1.2.1 Đặt nhãn cho tập huấn luyện 1.2.2 Cách xếp cho tập huấn luyện 1.2.3 Lấy giá trị thống kê tập hình dạng xếp 1.3 Sử dụng mô hình phân bố điểm việc tìm ảnh 11 1.3.1 Tính tốn chuyển động cho điểm mơ hình 12 1.3.2 Tính tốn thay đổi việc xếp thơng số hình dạng 13 1.3.3 Cập nhật xếp thơng số hình dạng 15 1.4 Một số minh họa sử dụng mơ hình phân bố điểm để tìm ảnh 16 1.5 Kết luận 20 CHƯƠNG BIÊN VÀ PHƯƠNG PHÁP PHÁT HIỆN BIÊN 2.1 Giới thiệu 21 2.1.1 Phương pháp phát biên trực tiếp 21 2.1.2 Phương pháp phát biên gián tiếp 21 2.2 Phương pháp Gradient 22 2.2.1 Toán tử Robert 23 2.2.2 Toán tử Prewitt 24 2.2.3 Toán tử Sobel 24 2.2.4 Mặt nạ đẳng hướng 25 2.2.5 Toán tử la bàn Kirsh 25 2.3 Phương pháp Laplace 26 2.4 Phương pháp Canny 27 2.5 Phương pháp dò biên theo quy hoạch động 29 2.6 Thực số phương pháp phát biên ảnh 30 CHƯƠNG TẠO HÌNH DẠNG TỪ BĨNG DÙNG XẤP XỈ TUYẾN TÍNH 3.1 Giới thiệu 32 3.2 Phương pháp tạo hình dạng từ bóng 34 3.3 Sự hội tụ 38 3.4 Chi tiết thực thi 39 CHƯƠNG NỘI SUY CÁC HÀM CƠ BẢN DẠNG TIA 4.1 Giới thiệu 44 4.2 Làm thích hợp hàm ẩn với bề mặt 47 4.3 Nội suy hàm dạng tia 48 4.4 Cắt giảm trung tâm RBF 52 4.5 Phép xấp xỉ RBF liện nhiễu 53 CHƯƠNG THỰC HIỆN MÔ PHỎNG 5.1 Phương pháp thực 56 5.2 Thực mô 57 5.3 Đánh giá kết 62 CHƯƠNG KẾT LUẬN - ỨNG DỤNG VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết luận 65 6.2 Ứng dụng 65 6.3 Hướng phát triển 65 Trích Đặc Trưng Ảnh 2D Tái Tạo Ảnh Đa Chiều GVHD: PGS.TS Lê Tiến Thường điểm mắt, mũi, miệng Từ hướng phát triển đưa nhằm hạn chế loại bỏ xuất thành phần không mong muốn phép nội suy BRF (được trình bày chương 4, phần 4.3) mơ hình mặt 3D có sẵn với ảnh mặt 2D đơn đối tượng Với điểm đặc tính thứ i (x i' ) mơ hình 3D có sẵn phải thỏa mãn điểm đặc tính thứ i (xi) tương ứng ảnh mặt 2D đơn đặt vào, thơng số (, c) thu việc giải hệ phương trình tuyến tính (4-12), cuối hàm s(x) phương trình (4-9) tính Kết dự đốn độ sâu mắt, mũi, miệng màu da từ ảnh mặt 2D đối tượng cải thiện Phương pháp nội suy RBF mơ hình mặt 3D có sẵn với ảnh mặt 2D đối tượng minh họa cụ thể sau: Ảnh mặt 2D Mơ hình mặt 3D x’ x Nội suy RBF Tính tốn độ sâu Phát mơ hình 3D đối tượng Hình-6.1 Mơ hình hướng phát triển C6: Ứng dụng hướng phát triển 66 HVTH: Huỳnh Vân Khoa Trích Đặc Trưng Ảnh 2D Tái Tạo Ảnh Đa Chiều GVHD: PGS.TS Lê Tiến Thường PHỤ LỤC A Phương pháp lặp Jacobi: Phương pháp Jacobi phương pháp lặp hiệu dụng phương trình tuyến tính, đặc biệt phương trình sai phân Trong phương pháp này, ta giải hệ tuyến tính sau: (A-1) Ax  b Trong đó: A: ma trận kích thước (NxN) với hệ số a(i,j) x: biến vector với kich thước (Nx1) b: giá trị biết trước với kích thước (Nx1) Lời giải cho hệ thống phải thỏa mãn điều kiện sau: xi     b i   a i, j x j ; i a i, j  ji  (A-2) Bắt đầu tính tốn với giá trị ban đầu x tính tốn giá trị lặp cách dùng giá trị trước Nếu n số lần lặp, giá trị biến x tính sau: x i (n  1)     b i   a i, j x j (n) ; i a i, j  ji  (A-3) B Cách xếp cặp hình dạng: Cho hai hình dạng giống nhau, x1 x 2, cần chọn góc xoay , hệ số thang đo s hệ số biến đổi (tx,ty) để ánh xạ x2 vào M(x2) + t để cực tiểu hóa tổng có trọng số Với định nghĩa: E  (x1  M(s, θ)[x ]  t) T W(x1  M(s, θ)[x ]  t) (B-1)  x jk   (s.cosθ)x jk  (s.sinθ)y jk     y jk   (s.sinθ)x jk  (s.sinθ )y jk  (B-2) t  (t x , t y , , t x , t y ) T (B-3) Trong đó: M(s, θ) Phụ lục 68 HVTH: Huỳnh Vân Khoa Trích Đặc Trưng Ảnh 2D Tái Tạo Ảnh Đa Chiều GVHD: PGS.TS Lê Tiến Thường Và W ma trận đường chéo trọng số cho điểm Nếu đặt: a x  s.cosθ; a y  s.sinθ (B-4) Bằng phép xấp xỉ bình phương nhỏ đưa tập gồm bốn phương trình tuyến tính: X Y  Z    Y2 X2 Z  a x   X    W  a y  Y1   Y2  t x  C1      X  t y  C  W X2  Y2 (B-5) Trong đó: n 1 n 1 X i   w k x ik (B-6) Yi   w k y ik k 0 k 0 n 1 n 1 Z   w k (x 22k  y 22k ) W   wk k 0 (B-7) k 0 n 1 C1   w k (x 1k x 2k  y1k y 2k ) (B-8) k 0 n 1 C   w k (y1k x 2k  x1k y 2k ) (B-9) k 0 Từ phương trình (B-5) tính tốn a x, ay, tx ty phương pháp ma trận C Cách tính vector riêng ma trận phương sai: Khi số mẫu huấn luyện N số tọa độ điểm 2n, vector riêng ma trận hiệp phương sai S (2nx2n) tính từ vector riêng ma trận nhỏ (NxN) bắt nguồn từ liệu Giả sử có N mẫu, x i (i  1,2, , N) Cho D ma trận (2nxN) với cột sau: D  (x , x , , x N ) (C-1) Ma trận hiệp phương sai S xác định có dạng: S Phụ lục D.D T N 69 (C-2) HVTH: Huỳnh Vân Khoa Trích Đặc Trưng Ảnh 2D Tái Tạo Ảnh Đa Chiều GVHD: PGS.TS Lê Tiến Thường Với ma trận T ma trận có kich thước (NxN) thỏa mãn: T T D D N (C-3) Cho e i (i  1,2, , N) vector riêng trực giao T với trị riêng tương ứng γ i : Te i  γ i e i (C-4) T D De i  γ i e i N (C-5) Do đó: Nhân hai vế phương trình (C-5) cho D: DD T De i  γ i De i N (C-6) S(De i )  γ i (De i ) (C-7) Kết hợp (C-2) (C-6): Do đó, e i vector riêng T De i vector riêng S có trị riêng Nếu N vector riêng trực giao đơn vị S p i (i  1,2, , N), đó: pi  De i γiN (C-8) Với trị riêng tương ứng λ i  γ i Hệ số thang đo phương trình (C-8) cần có để vector riêng có chiều dài đơn vị Trực giao tương quan biểu diễn sau: p Ti p j  T T e i D De j  e iT Te j γi N γi 1 (i  j)  e iT e j   0 (i  j) (C-9) D Khoảng cách Mahalanobis: Trong thống kê, khoảng cách Mahalanobis định nghĩa khoảng cách vector x  (x , x ,, x N ) T so với nhóm có trung bình μ  (μ , μ ,, μ N ) T ma trận hiệp phương sai S, tính bởi: Phụ lục 70 HVTH: Huỳnh Vân Khoa Trích Đặc Trưng Ảnh 2D Tái Tạo Ảnh Đa Chiều GVHD: PGS.TS Lê Tiến Thường D M (x)  (x  μ) T S1 (x  μ) (D-1) Khoảng cách Mahalanobis định nghiã kích thuớc khơng đồng dạng   hai vector ngẫu nhiên x y có phân bố giống với ma trận hiệp phương sai S:       d(x, y)  (x  y) T S 1 (x  y) (D-2) Nếu ma trận hiệp phương sai ma trận đồng thức, khoảng cách Mahalanobis rút gọn thành khoảng cách Euclidean Nếu ma trận hiệp phương sai ma trận đường chéo, kết kích thước khoảng cách gọi khoảng cách Euclidean chuẩn hoá: N (x  y )   d(x, y)   i i i 1 σi (D-3) đó: σ i độ lệch chuẩn xi khắp tập lấy mẫu tap A tap B Phụ lục 71 HVTH: Huỳnh Vân Khoa Trích Đặc Trưng Ảnh 2D Tái Tạo Ảnh Đa Chiều GVHD: PGS.TS Lê Tiến Thường % Tinh Covariance function C = Covariance(X) [n,k] = size(X); Xc = X-repmat(mean(X),n,1); C = Xc'*Xc/n; % Tinh khoang cach Mahabobis function DM = MahalanobisDistance(X,Y) [n1, k1] = size(X); [n2, k2] = size(Y); n = n1 + n2; if(k1~=k2) disp('So cac cot cua X va Y phai bang nhau') else xDiff = mean(X)-mean(Y) CovarianceX = Covariance(X) CovarianceY = Covariance(Y) S = (n1/n)*CovarianceX + (n2/n)*CovarianceY DM = sqrt(xDiff*inv(S)*xDiff'); end % ap dung cho hai tap X va Y X = [2 2; 5; 5; 3; 7; 4; 3; 6; 5; 3]; Y = [6 9; 4; 7; 6; 4]; DM = MahalanobisDistance(X,Y) scatter(X(:,1),X(:,2),'o'); hold on scatter(Y(:,1),Y(:,2),'*'); legend('tap A','tap B','Location','NW'); xDiff = -2.2000 -1.7000 CovarianceX = 3.6000 0.2000 0.2000 2.2100 CovarianceY = 1.3600 0.4000 0.4000 3.6000 S= 2.8533 0.2667 0.2667 2.6733 DM = 1.5936 Phụ lục 72 HVTH: Huỳnh Vân Khoa Trích Đặc Trưng Ảnh 2D Tái Tạo Ảnh Đa Chiều GVHD: PGS.TS Lê Tiến Thường E Phân tích thành phần PCA: E.1 Nhận dạng mẫu không gian đa chiều: Các vấn đề xuất thực việc nhận dạng không gian đa chiều Các bước cải tiến hiệu đạt cách thực việc ánh xạ liệu vào không gian chiều a    a x 2     a N  b1  b  y 2     b K  (E-1) Mục tiêu PCA giảm chiều liệu trì tập liệu gốc nhiều tốt E.2 Sự giảm chiều: PCA cho phép tính tốn biến đổi tuyến tính liệu từ không gian đa chiều sang không gian chiều b1  t 11a  t12 a    t 1N a N  b  t 21a  t 22 a    t 2N a N   b  t a  t a    t a K1 K2 KN N  K (E-2) (E-2) đưa dạng: b1  t 11 t 12   t b    21 t 22         b K  t K1 t K2 Phụ lục  t 1N  a   t 2N  a   y  Tx         t KN  a N  73 (E-3) HVTH: Huỳnh Vân Khoa Trích Đặc Trưng Ảnh 2D Tái Tạo Ảnh Đa Chiều GVHD: PGS.TS Lê Tiến Thường Trong đó: t 11 t 12  t t T   21 22     t K1 t K2  t1N   t 2N       t KN  (E-4) E.3 Cơ sở chiều hơn: Xấp xỉ vector cách tìm sở khơng gian chiều thích hợp Cách biểu diễn không gian nhiều chiều hơn: x  a v1  a v    a N v N (E-5) (v1 , v , , v N ) sở cửa không gian N chiều Cách biểu diễn khơng gian chiều hơn: xˆ  b1 u  b u    b K u K (E-6) (u1 , u , , u K ) sở không gian K chiều Nếu hai dạng có kích thước (N = K) x  xˆ Ví dụ: 1  0  0      v1  0; v  1 ; v  0 (cơ sở chuẩn) 0 0 1  3 x v  3  3v1  3v  3v 3 (E-7) 1  1  1     u  0; u  1 ; u  1 0 0 1 Phụ lục 74 HVTH: Huỳnh Vân Khoa Trích Đặc Trưng Ảnh 2D Tái Tạo Ảnh Đa Chiều GVHD: PGS.TS Lê Tiến Thường 3 x u  3  0u1  0u  3u 3 (E-8) Từ (E-7) (E-8)  x v  x u E.4 Mất thông tin: Sự giảm chiều ngụ ý thông tin Dự trữ nhiều thông tin tốt, nghĩa là: error  x  xˆ (E-9) E.5 Xác định khơng gian chiều tốt nhất: Khơng gian chiều tốt xác định vector riêng tốt ma trận hiệp phương sai (covariance) x (có nghĩa vector riêng tương ứng với trị riêng lớn gọi “các thành phần bản”) E.6 Phương pháp thực hiện: Giả sử (x , x , , x M ) vector (Nx1) Bước 1: Tìm trung bình M mẫu M x M i1 i (E-10) φi  xi  x (E-11) x Bước 2: Tìm hiệu trung bình Bước 3: Tìm ma trận A  [φ1 φ  φ M ] (là ma trận NxM), từ tính ma trận hiệp phương sai C M T T  φ n φ n  AA M n 1 Bước 4: Tính trị riêng C thỏa mãn: λ1  λ    λ N (E-12) (E-13) Bước 5: Tính vector riêng C: u , u ,, u N Phụ lục 75 HVTH: Huỳnh Vân Khoa Trích Đặc Trưng Ảnh 2D Tái Tạo Ảnh Đa Chiều GVHD: PGS.TS Lê Tiến Thường Bởi C đối xứng, u , u ,, u N tạo thành sở (có nghĩa vector x (x  x) thực, viết dạng tổ hợp tuyến tính vector riêng): N x  x  b1 u  b u    b N u N   b i u i (E-14) i 1 Bước 6: Sự giảm chiều Chỉ giữ thành phần ứng với K trị riêng lớn nhất: K xˆ  x   b i u i (E-15) i1 Với K