Nghiên cứu một số kỹ thuật khôi phục mặt người ba chiều từ sọ luận án TS công nghệ thông tin 62 48 01 01

ĐẠI HỌC QUỐC GIA HÀ N ỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ MA THỊ CHÂU NGHIÊN C ỨU MỘT SỐ KỸ THUẬT KHÔI PHỤC MẶT NGƯỜI BA CHIỀU TỪ SỌ LUẬN ÁN TIẾN SĨ CÔNG NGH Ệ THÔNG TIN HÀ N ỘI – Năm 2013 ĐẠI HỌC QUỐC GIA HÀ N ỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ MA THỊ CHÂU NGHIÊN C ỨU MỘT SỐ KỸ THUẬT KHÔI PHỤC MẶT NGƯỜI BA CHIỀU TỪ SỌ Chuyên ngành: Khoa học Máy tính Mã s ố: 62 48 01 01 LUẬN ÁN TIẾN SĨ CÔNG NGH Ệ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS.BÙI TH Ế DUY GS TAE – WAN KIM HÀ N ỘI – Năm 2013 LỜI CẢM ƠN Để hoàn thành luận án, tác giả nhận giúp đỡ nhiệt tình tạo điều kiện nhiều người, sau tác giả xin phép bày tỏ lời cảm ơn chân thành: Tôi xin gửi lời cảm ơn chân thành sâu sắc tới hai thầy Bùi Thế Duy – Trường Đại học Cô ng nghệ, Đại học Quốc gia Hà Nội thầy Tae-wan Kim – Trường Đại học quốc gia Seoul, Hàn Quốc, người thầy tâm huyết tận tình hướng dẫn, động viên khích lệ, dành nhiều thời gian q báu để định hướng cho tơi q trình tham gia khóa học hồn thiện luận án Tôi xin gửi lời cảm ơn chân thành tới lãnh đạo trường Đại học Công nghệ, lãnh đạo Khoa Cô ng nghệ thông tin, cảm ơn đồng nghiệp tạo điều kiện thuận lợi cho trình làm luận án Tơi xin gửi lời cảm ơn chân thành tới bạn đồng nghiệp phịng thí nghiệm Tương tác Người máy, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, người bên tơi động viên, góp ý, chỉnh sửa q trìnhviết luận án Tôi xin gửi lời cảm ơn chân thành tới bác Nguyễn Trọng Toàn – Nguyên giám đốc Viện pháp y quân đội, người cung cấp số liệu có lời khun bổ ích giúp tơi tiếp cận số liệu nhân trắc khuôn mặt hiệu để tơi hồn thành luận án Tơi xin gửi lời cảm ơn chân thành tới bạn Nguyễn Đình Tư – Phịng thí nghiệm Tương tác Người máy, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, bạn Phạm Bá Mấy – Viện CNTT, Viện Khoa học Việt Nam nhiệt tình giúp đỡ tơi q trình triển khai thu thập số liệu can thiệp thô ng tin nhân trắc Tôi xin gửi lời cảm ơn đặc biệt tới anh Đặng Trung Kiên, người có dẫn, lời khuyên, động viên bổ ích thiết thực q trình tơi thực luận án Cuối cù ng, tơi xin gửi lịng ân tình tới bố mẹ, chồng Gia đình tơi nguồn động viên truyền nhiệt huyết để hồn thành luận án i LỜI CAM ĐOAN Tơi xin cam đoan: Bản luận án tốt nghiệp cô ng trình nghiên cứu thực cá nhân, thực sở nghiên cứu lý thuyết, kiến thức kinh điển, nghiên cứu khảo sát tình hình thực tiễn hướng dẫn khoa học PGS TS Bùi Thế Duy GS TS Tae-wan Kim Các số liệu, mơ hình tốn kết luận án trung thực, giải pháp đưa xuất phát từ thực tiễn kinh nghiệm, chưa g bố hình thức trước trình, bảo vệ cơng nhận “Hội Đồng đánh giá luận án tốt nghiệp Tiến sĩ Cô ng nghệ Thô ng Tin” Một lần nữa, xin khẳng định trung thực lời cam kết Tác giả: ii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC CÁ C KÝ HIỆU VÀ CHỮ VIẾT TẮT vi DANH MỤC CÁ C BẢNG vii DANH MỤC CÁ C HÌNH VẼ viii MỞ ĐẦU CHƯƠNG TỔNG QUAN 1.1 Bối cảnh 1.2 Bài toán c ách giải chún g 1.3 Cấu trú c luận án CHƯƠNG KIẾN THỨC CƠ BẢN VỀ DỰNG KHUÔN SỌ MẶT TỪ HỘP 2.1 Các cách tiếp cận dựng khuôn mặt từ hộp sọ 2.1.1 Dựng thủ cô ng khuôn mặt từ hộp sọ 2.1.2 Dựng khuôn mặt từ hộp sọ với trợ giúp c máy tính 2.2 Biểu diễn mơ hình ba chiều khuôn mặt sọ 12 2.2.1 Mơ hình hóa bề mặt khn mặt lưới đa giác 13 2.2.2 Mơ hình hóa bề mặt khn mặt bề mặt tham số 14 CHƯƠNG DỰNG MƠ HÌNH BA CHIỀU CỦA SỌ TỪ ẢNH 16 3.1 Những nghiên cứu liên quan 17 3.1.1 Dựng mơ h ình ba chiều khn mặt từ ảnh 17 3.1.2 Các trích chọn đặc trưng ảnh 24 3.2 Thuật tốn dựng mơ hình ba chiều sọ từ ảnh 25 3.2.1 Thuật tốn tính đặc trưng sọ ba chiều 27 3.2.2 Ảnh hưởng lỗi trượt lên đặc trưng sọ ba chiều cách khắc phục 30 3.2.3 Biến đổi mơ hình ba chiều sọ mẫu RBF 34 iii Đặc 3.2.4 Thử ng 3.3 3.3.1 Tính 3.3.2 Đánh g Kết luậ 3.4 CHƯƠNG DỰNG MƠ HÌNH BA CHIỀU KHN MẶT TỪ MƠ HÌNH B CHIỀU CỦA SỌ Những 4.1 4.1.1 Dựng mơ hình ba chiều khn mặt từ mơ hình ba chiều sọ với trợ giú máy tính Các ph 4.1.2 sọ 4.2 Thuật tốn dựng mơ hình ba chiều khn mặt từ mơ hình ba chiều 51 Các mố 4.2.1 4.2.2 Biến đổ 4.2.3 Đặc Thử ng 4.3 4.3.1 Xác đ 4.3.2 Dựng m Kết luậ 4.4 CHƯƠNG TRÍCH CHỌN ĐẶC TRƯNG TỰ ĐỘNG TRÊN MƠ HÌNH B CHIỀU CỦA SỌ Những 5.1 5.1.1 Trích 5.1.2 Trích Trích c 5.2 5.2.1 Phân 5.2.2 Trích 5.2.3 Trích 5.2.4 Đặc 5.3 Kết qu 5.4 Kết luậ iv CHƯƠNG KẾT QUẢ NGHIÊ N CỨU VÀ BÀN LUẬN 90 KẾT LUẬN 92 DANH MỤC CÁC CƠ NG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊ N QUAN ĐẾN LUẬN Á N 93 TÀI L IỆU THAM KHẢO 94 PHỤ LỤC - HÌNH HỌC E-PI-PƠ -LA 103 PHỤ LỤC - BIẾN ĐỔI BỀ MẶT BA CHIỀU DỰA VÀO HÀM BÁ N KÍNH CƠ SỞ 106 PHỤ LỤC - MỘT SỐ PHÉ P TOÁN 110 PHỤ LỤC - CÁ C SỐ ĐO NHÂN TRẮC 116 v DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT VIẾT TẮT ABBFP (Angle Between Best Fit Polynomial) BFP ( Best Fit Polynomial) ESOD (Extended Second Order Difference) MC (Marching Cubes) MSE (Mean Square Error) PCA (Principle Component Analysis) RBF ( Radial Basic Function) SFM (Structure From Motion) SOD (Second Order Difference) TPS (Thin-Plate Spline) THUẬT NGỮ Hộp sọ Mơ hình ba chiều sọ : Góc đa thức tốt : Đa thức tốt : Vi phân bậc hai mở rộng : Các khối liên kết : Trung bình sai phương : Phân tích thành phần : Hàm bán kính sở : Cấu trúc từ chuyển động : Vi phân bậc hai : Mảnh S-pline mỏng : Hộp sọ thật khai quật : Mơ hình ba chiều bề mặt hộp sọ dạng lưới đa giác Mơ hình ba chiều kh n mặt : Mơ hình ba chiều bề mặt khuôn mặt dạng lưới đa giác vi DANH MỤC CÁC BẢNG Bảng 3.1: Lỗi trung bình lỗi lớn điểm đặc sọ trưng ba chiều trước sau điều chỉnh 42 Bảng 4.1: Lỗi trung bình hai phương pháp 68 Bảng 6.1: Một số hàm bán kính sở 108 Bảng 6.2: Các số đo sọ 116 Bảng 6.3: Mốc đo độ dày mô mềm 116 Bảng 6.4: Cơ ng thức tính độ dày mơ mềm theo phương pháp hồi qui tuyến tính 118 Bảng 6.5: Các số đo sọ dùng để tính độ dày mô mềm theo phương pháp dù ng mạng nơ-ron 120 vii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Qui trình dựng mơ h ình ba chiều khn mặt từ hộp sọ Hình 2.1: Dựng thủ cô ng khuôn mặt từ hộp sọ Hình 2.2: Một hệ thống chồng khít ảnh lên hộp sọ 10 Hình 2.3: Dựng khn mặt dựa giải phẫu 11 Hình 2.4: Dựng khn mặt dựa độ dày mô mềm 11 Hình 2.5: Vídụ biểu diễn bề mặt khn mặt lưới đa giác 13 Hình 2.6: Vídụ biểu diễn bề mặt khn mặt bề mặt s-pline 15 Hình 3.1: Dựng mơ h ình ba chiều khn mặt từ ảnh dựa vào hiệu chỉnh ảnh 19 Hình 3.2: Ảnh bảng ca-rô để hiệu chỉnh máy quay 19 Hình 3.3: Dựng mơ hình ba chiều khuôn mặt từ ảnh dùng bảng ca-rô để hiệu chỉnh máy quay 20 Hình 3.4: Dựng mơ hình ba chiều khn mặt từ thiết lập nguồn sáng chụp ảnh 21 Hình 3.5: Dựng mơ hình ba chiều khn mặt dựa vào mơ hình ba chiều khn mặt mẫu 22 Hình 3.6: Dựng mơ h ình ba chiều sọ từ ảnh 27 Hình 3.7: Tínhđiểm đặc trưng sọ ba chiều 29 Hình 3.8: Một số điểm đặc trưng sọ ba chiều 29 Hình 3.9: Lỗi trượt điều chỉnh điểm ba chiều 30 Hình 3.10: Mối quan hệ điểm hai chiều ba chiều 33 Hình 3.11: Đánh giá sai số trượt điều chỉnh đặc trưng sọ ba chiều .35 Hình 3.12: Mơ hình ba chiều sọ mẫu 36 Hình 3.13: Xác định điểm đặc trưng mơ h ình ba chiều sọ mẫu .36 Hình 3.14: Chụp ảnh sọ quét 39 Hình 3.15: Hộp sọ quét trước (trái) sau (phải) đánh dấu thêm nhãn 39 Hình 3.16: Đối sánh đặc trưng SIFT 40 Hình 3.17: Đối sánh đặc trưng HARRIS 40 Hình 3.18: Lỗi trượt ảnh hộp sọ thứ 41 Hình 3.19: Lỗi trượt ảnh hộp sọ thứ hai 41 viii Với tập khác biệt x1, ,xn $ Aij = Bj, i,j = 1, ,n t n Định lý 6.1: Nếu miền $ khô ng gian Haar Định lý cho thấy, khô ng gian chiều ta nội suy liệu đa thức bậc n − từ liệu n điểm rời rạc Tuy nhiên, không gian nhiều chiều phép nội suy khôn g Sự tồn không gian Haar bảo đảm nội suy liệu bậc n Nói cách khác, xác định ma trận A khô ng suy biến đảm bảo nghiệm toán xác định Hardy [28] đề xuất hàm bán kính sở loại phụ thuộc liệu, có tính khoảng cách đối xứng tâm để giải vấn đề ma trận A không suy biến Do vậy, dù ng RBF bảo đảm nội suy liệu s Định nghĩa 6.3: Hàm φ : R −→ R liên tục xác định dương mà hàm chẵn thỏa mãn ∈ (6.11) S ∈ T n với n điểm đô i khác x1, ,xn R c = (c1, ,cn) R Hàm φ gọi xác định dương chặt dấu 6.11 xảy ra, T c = (0, ,0) Nếu hàm sở hàm xác định dương chặt, ma trận nội suy xây dựng từ hàm sở ma trận nội suy dương chặt Tính chất quan trọng loại ma trận giá trị riêng ma trận dương ma trận không suy biến s Định nghĩa 6.4: Hàm φ : R −→ R gọi hàm bán kính tồn hàm biến ϕ : [0,+∞) −→ R thỏa mãn φ(x) = ϕ(r) Với r = ||x|| ||.|| chuẩn Hàm ϕ tương ứng gọi hàm bán kính sở Hàm ϕ xác định dương (chặt) hàm φ xác định dương (chặt) Bảng 6.1 biểu diễn số dạng hàm bán kính sở Mạng RBF mạng nơ-ron nhân tạo sử dụng hàm bán kính sở hàm kích hoạt Đó kết hợp tuyến tính hàm bán kính sở Kiến trúc mạng RBF thường có ba tầng: tầng vào, tầng ẩn, tầng n Hàm ϕ : R −→ R mạng biểu diễn sau: (6.13) 107 Bảng 6.1: Một số hàm bán kính sở STT Polyhar spline Trong N số nơ ron tầng ẩn, ci vec-tơ tâm cho nơ ron thứ i ,và trọng số tuyến tính để tính đầu ρ hàm bán kính sở, trường hợp hàm Gaussian ρ(||x − ci||) = e−β||x−ci||2 Trọng số ai, ci, β xác định với mục đích tối ưu việc khớp hàm ϕ liệu Trong mạng RBF, ba loại tham số cần cập nhật cho loại tốn cụ thể là: vec-tơ tâm ci, trọng số tuyến tính cho tầng wi tham số βi hàm RBF Người ta định nghĩa hàm mục tiêu chọn tham số cho tối thiểu hàm mục tiêu Hàm mục tiêu thường định nghĩa hàm bình phương tối thiểu Trong Kt(w) = [y(t) − ϕ(x(t),w)] Hàm tối thiểu có mục tiêu tối ưu độ xác Trong trường hợp đầu hàm nội suy có nhiều tiêu chuẩn hàm mục tiêu cộng thêm thành phần tương ứng Ví dụ trường hợp hàm nội suy ngồi việc đảm bảo độ xác cịn phải trơn, ta định nghĩa hàm mục tiêu sau (6.17) 108 Trong (6.18) Thành phần S tối ưu cực đại tính trơn hàm nội suy đầu λ tham số kiểm soát (regularization) 109 PHỤ LỤC - MỘT SỐ PHÉ P TỐ N Tốn tử giả nghịch đảo + Cho trước ma trận A, ma trận A gọi ma trận giả nghịch đảo A + + A thỏa mãn tiêu chuẩn sau đây: ASdfjkl; -(i): AA A = A + + + -(ii): A AA = A -(iii): ∗(AA+)∗ = AA+ -(iv): (A+A) = A+A M∗ ma trận chuyển vị liên hợp ma trận M Để lấy chuyển vị liên hợp ma trận M, trước hết ta tiến hành chuyển vị ∗ma trận M sau tiến hành liên hợp phức cho phần tử ma trận chuyển vị M [i,j] = M¯ [i,j] Ma trận phản đối xứng T Cho vec-tơ ba chiều e = [e1,e2,e3] ma trận phản đối xứng e định nghĩa sau: T Ma trận Mn× n xác định dương z Mz>0 với vec-tơ thực z Ma trận Hessian Ma trận Hessian ma trận vuông biểu diễn đạo hàm cấp phần hàm Cho hàm giá trị thực f(x1,x2, ,xn), ma trận Hessian H hàm f biểu diễn sau Laplacian of Gaussian - LoG Toán tử Laplace với nhân Gaussian σ (6.19) Đạo hàm phần theo x 110 (6.20) Đạo hàm bậc phần theo x (6.21) Tương tự với đạo hàm phần theo y Sau LoG định nghĩa sau: Difference of Gaussian - DoG Toán tử Laplace với hàm nhân Gaussian σ1 Toán tử Laplace vơi hàm nhân Gaussian σ2 DoG định nghĩa sau: DoG = Gσ1(x,y) − Gσ2(x,y) Gaussian curvature Tốn tử hình dạng: vi phân df đồ Gauss f Hai cực cong chính: điểm bề mặt giá trị riêng tốn tử hình dạng điểm Gaussian curvature: tích hai cực cong κ1 κ2 điểm K = κ1.κ2 Hệ số cực trị Các cực cong lớn nhỏ κmax κmin đỉnh tam giác T tính từ véc-tơ pháp tuyến cạnh Véc-tơ pháp tuyến cạnh nội suy từ pháp tuyến đỉnh Gọi S(p) tất tam giác có chung đỉnh p (Hình 6.3), A(x) diện tích hình x Hệ số cực trị đỉnh định nghĩa sau: 111 (6.27) κmax¯ κmin¯ véc-tơ riêng κmax κmin tương ứng Hình 6.3: Các tam giác chung đỉnh p Trọng số cạnh tam giác Đối với phương pháp SOD, trọng số cạnh tam giác e tính theo cơng thức sau: (6.28) ni nj pháp tuyến bề mặt hai tam giác có cạnh kề e (Hình 6.4) Hình 6.4: Hai tam giác kề chung cạnh e Đối với phương pháp ESOD, tính trọng số cho cạnh e giống cơng thức 6.28, ni nj pháp tuyến hai đỉnh đối diện hai tam giác kề cạnh e (Hình 6.5) Hình 6.5: Hai đỉnh đối diện cạnh e hai tam giác kề 112 Đối với phương pháp BFP, với số cạnh chuỗi tam giác kề tam giác có cạnh e, xấp xỉ đa thức p(u) (Hình 6.6) Trọng số cạnh e tính sau: n w(e) = p (e) (6.29) Hình 6.6: Xấp xỉ đa thức Đối với phương pháp ABBFP, số cạnh chuỗi tam giác kề bên trái tam giác chứa cạnh e, xấp xỉ đa thức pl(u), số cạnh chuỗi tam giác kề bên phải tam giác chứa cạnh e, xấp xỉ đa thức pr(u) (Hình 6.7) Trọng số cạnh e tính theo cơng thức sau: (6.30) Hình 6.7: Xấp xỉ đa thức trái phải cạnh e Phép nhân chập ba chiều Gọi IM× ∗N× K liệu quét ba chiều sau phân đoạn, HP× Q× S mặt nạ ba chiều IM’× N× K = I H kết phép nhân chập liệu I mặt nạ H I0 tính sau, vị trí (x,y,z): 113 M/2 N/2 K/2 I (x,y,z) = X X X I(x + i,y + j,z + k)H(i,j,k) (6.31) i=−M/2 j=−N/2 k=−K/2 Ví dụ, với ảnh I cho mặt nạ H3× 3×3 cho trước Hình 6.8, vị trí ảnh I tính sau minh họa hình Hình 6.8: Nhân chập I = I ∗ H Ma trận mô men bậc hai Cho ảnh I[p] p cặp số nguyên vị trí điểm ảnh Với điểm ảnh p có cửa sổ w[r] kích cỡ r = {−m m}×{ −m m} cửa sổ trọng số Các trọng số cửa sổ gán cho tổng Ma trận mô men bậc hai định nghĩa sau: Mặt phẳng Frankfurt Sọ đặt tư Frankfurt tư bờ bình tai bờ ổ mắt nằm mặt phẳng song song với mặt phẳng ngang So sánh hai tập điểm ba chiều khô ng lực lượng Bài tốn so sánh hai tập điểm ba chiều khơ ng kíchcỡ thường dù ng để đánh giá tập điểm ba chiều xây dựng lại Các tập điểm ba chiều xây dựng lại so 114 với tập điểm ba chiều chuẩn tập điểm ba chiều thu nhận cách thức khác quét ba chiều Cho điểm p bề mặt S, khoảng cách điểm p bề mặt S e(p,S) tính sau: (6.32) Trong d() khoảng cách Ơ-clit hai điểm khô ng gian ba chiều Khoảng cách trung bình hai bề mặt S1 S2 (Hình 6.9) tính theo cơng thức sau: (6.33) Hình 6.9: Hai bề mặt khác Khoảng cách lớn hai bề mặt S1 S2 tính sau: (6.34) Những khoảng cách khơng có tính đối xứng (Hình 6.10) Hình 6.10: Khoảng cách khơng đối xứng 115 PHỤ LỤC - CÁ C SỐ ĐO NHÂN TRẮC Bảng 6.2: Các số đo sọ STT dai_so rong_so cao_so en_en rong_mat rong_tran cao_mui dai_xuong_mui rong_mui 10 rong_hoc_mui 11 12 molar_molar chi_so_mui 13 cao_trung_binh 14 cchi_so_cao_dai STT 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 117 Bảng 6.4: Cơng thức tính độ dày mơ mềm theo phương pháp hồi qui tuyến tính STT mềm 10 11 12 13 14 15 16 17 18 19 20 118 21 22 23 24 119 Bảng 6.5: Các số đo sọ dùng để tính độ dày mơ mềm theo phương pháp dùng mạng nơ-ron STT 10 Labiale inferius 11 12 13 14 15 16 17 18 19 20 21 22 23 Zygomaticarch 24 120 ... ĐẠI HỌC CÔNG NGHỆ MA THỊ CHÂU NGHIÊN C ỨU MỘT SỐ KỸ THUẬT KHÔI PHỤC MẶT NGƯỜI BA CHIỀU TỪ SỌ Chuyên ngành: Khoa học Máy tính Mã s ố: 62 48 01 01 LUẬN ÁN TIẾN SĨ CÔNG NGH Ệ THÔNG TIN NGƯỜI HƯỚNG... hình ba chiều khn mặt từ ảnh Trong nghiên cứu trước đây, số hóa hộp sọ ba chiều thường dựa liệu qt, dựng mơ hình ba chiều kh n mặt từ ảnh chụp có nhiều nghiên cứu liên quan Việc số hóa sọ ba chiều. .. CỦA SỌ TỪ ẢNH Số hóa hộp sọ ba chiều bước quan trọng việc dựng lại mơ hình ba chiều kh n mặt từ hộp sọ Bởi vì, hộp sọ khung xương cứng khn mặt Thơng thường để có liệu số hóa ba chiều hộp sọ, người