(LUẬN án TIẾN sĩ) nghiên cứu một số kỹ thuật khôi phục mặt người ba chiều từ sọ luận án TS công nghệ thông tin 62 48 01 01

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ MA THỊ CHÂU NGHIÊN CỨU MỘT SỐ KỸ THUẬT KHÔI PHỤC MẶT NGƯỜI BA CHIỀU TỪ SỌ LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI – Năm 2013 TIEU LUAN MOI download : skknchat@gmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ MA THỊ CHÂU NGHIÊN CỨU MỘT SỐ KỸ THUẬT KHÔI PHỤC MẶT NGƯỜI BA CHIỀU TỪ SỌ Chuyên ngành: Khoa học Máy tính Mã số: 62 48 01 01 LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS.BÙI THẾ DUY GS TAE – WAN KIM HÀ NỘI – Năm 2013 TIEU LUAN MOI download : skknchat@gmail.com LỜI CẢM ƠN Để hoàn thành luận án, tác giả nhận giúp đỡ nhiệt tình tạo điều kiện nhiều người, sau tác giả xin phép bày tỏ lời cảm ơn chân thành: Tôi xin gửi lời cảm ơn chân thành sâu sắc tới hai thầy Bùi Thế Duy – Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội thầy Tae-wan Kim – Trường Đại học quốc gia Seoul, Hàn Quốc, người thầy tâm huyết tận tình hướng dẫn, động viên khích lệ, dành nhiều thời gian q báu để định hướng cho tơi q trình tham gia khóa học hồn thiện luận án Tôi xin gửi lời cảm ơn chân thành tới lãnh đạo trường Đại học Công nghệ, lãnh đạo Khoa Công nghệ thông tin, cảm ơn đồng nghiệp tạo điều kiện thuận lợi cho trình làm luận án Tơi xin gửi lời cảm ơn chân thành tới bạn đồng nghiệp phịng thí nghiệm Tương tác Người máy, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, người bên tơi động viên, góp ý, chỉnh sửa q trình viết luận án Tôi xin gửi lời cảm ơn chân thành tới bác Nguyễn Trọng Toàn – Nguyên giám đốc Viện pháp y quân đội, người cung cấp số liệu có lời khun bổ ích giúp tơi tiếp cận số liệu nhân trắc khuôn mặt hiệu để tơi hồn thành luận án Tơi xin gửi lời cảm ơn chân thành tới bạn Nguyễn Đình Tư – Phịng thí nghiệm Tương tác Người máy, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, bạn Phạm Bá Mấy – Viện CNTT, Viện Khoa học Việt Nam nhiệt tình giúp đỡ tơi q trình triển khai thu thập số liệu can thiệp thông tin nhân trắc Tôi xin gửi lời cảm ơn đặc biệt tới anh Đặng Trung Kiên, người có dẫn, lời khuyên, động viên bổ ích thiết thực q trình tơi thực luận án Cuối cùng, tơi xin gửi lịng ân tình tới bố mẹ, chồng Gia đình tơi nguồn động viên truyền nhiệt huyết để tơi hồn thành luận án i TIEU LUAN MOI download : skknchat@gmail.com LỜI CAM ĐOAN Tôi xin cam đoan: Bản luận án tốt nghiệp cơng trình nghiên cứu thực cá nhân, thực sở nghiên cứu lý thuyết, kiến thức kinh điển, nghiên cứu khảo sát tình hình thực tiễn hướng dẫn khoa học PGS TS Bùi Thế Duy GS TS Tae-wan Kim Các số liệu, mơ hình tốn kết luận án trung thực, giải pháp đưa xuất phát từ thực tiễn kinh nghiệm, chưa công bố hình thức trước trình, bảo vệ cơng nhận “Hội Đồng đánh giá luận án tốt nghiệp Tiến sĩ Công nghệ Thông Tin” Một lần nữa, xin khẳng định trung thực lời cam kết Tác giả: ii TIEU LUAN MOI download : skknchat@gmail.com MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT vi DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH VẼ viii MỞ ĐẦU CHƯƠNG TỔNG QUAN 1.1 Bối cảnh 1.2 Bài tốn cách giải chúng tơi 1.3 Cấu trúc luận án .5 SỌ CHƯƠNG KIẾN THỨC CƠ BẢN VỀ DỰNG KHUÔN MẶT TỪ HỘP 2.1 Các cách tiếp cận dựng khuôn mặt từ hộp sọ 2.1.1 Dựng thủ công khuôn mặt từ hộp sọ .7 2.1.2 Dựng khuôn mặt từ hộp sọ với trợ giúp máy tính 2.2 Biểu diễn mơ hình ba chiều khn mặt sọ 12 2.2.1 Mơ hình hóa bề mặt khuôn mặt lưới đa giác 13 2.2.2 Mơ hình hóa bề mặt khn mặt bề mặt tham số 14 CHƯƠNG DỰNG MƠ HÌNH BA CHIỀU CỦA SỌ TỪ ẢNH 16 3.1 Những nghiên cứu liên quan 17 3.1.1 Dựng mơ hình ba chiều khn mặt từ ảnh 17 3.1.2 Các trích chọn đặc trưng ảnh 24 3.2 Thuật tốn dựng mơ hình ba chiều sọ từ ảnh 25 3.2.1 Thuật toán tính đặc trưng sọ ba chiều 27 3.2.2 Ảnh hưởng lỗi trượt lên đặc trưng sọ ba chiều cách khắc phục 30 3.2.3 Biến đổi mơ hình ba chiều sọ mẫu RBF 34 iii TIEU LUAN MOI download : skknchat@gmail.com 3.2.4 Đặc tính hội tụ độ phức tạp thuật toán 36 Thử nghiệm đánh giá 39 3.3 3.3.1 Tính lỗi trượt điều chỉnh đặc trưng sọ ba chiều 39 3.3.2 Đánh giá hiệu điều chỉnh đặc trưng sọ ba chiều dựa lỗi trượt 42 Kết luận chương 43 3.4 CHƯƠNG DỰNG MƠ HÌNH BA CHIỀU KHN MẶT TỪ MƠ HÌNH BA CHIỀU CỦA SỌ 44 Những nghiên cứu liên quan 45 4.1 4.1.1 Dựng mơ hình ba chiều khn mặt từ mơ hình ba chiều sọ với trợ giúp máy tính 45 4.1.2 Các phương pháp đánh giá mơ hình ba chiều khn mặt kết 49 4.2 Thuật toán dựng mơ hình ba chiều khn mặt từ mơ hình ba chiều sọ 51 4.2.1 Các mốc đo, số đo sọ xác định độ dày mô mềm 54 4.2.2 Biến đổi mơ hình ba chiều khuôn mặt mẫu RBF 57 4.2.3 Đặc tính hội tụ độ phức tạp thuật toán 62 4.3 Thử nghiệm đánh giá 65 4.3.1 Xác định cơng thức tính độ dày mô mềm 65 4.3.2 Dựng mơ hình ba chiều khn mặt từ mơ hình ba chiều sọ 66 4.4 Kết luận chương 69 CHƯƠNG TRÍCH CHỌN ĐẶC TRƯNG TỰ ĐỘNG TRÊN MƠ HÌNH BA CHIỀU CỦA SỌ 70 5.1 Những nghiên cứu liên quan 70 5.1.1 Trích chọn đặc trưng ba chiều dựa đa giác 70 5.1.2 Trích chọn đặc trưng ba chiều dựa điểm 71 5.2 Trích chọn đặc trưng 73 5.2.1 Phân đoạn liệu 74 5.2.2 Trích chọn điểm góc 79 5.2.3 Trích chọn cạnh 82 5.2.4 Đặc tính hội tụ độ phức tạp thuật toán 85 5.3 Kết thử nghiệm 87 5.4 Kết luận chương 89 iv TIEU LUAN MOI download : skknchat@gmail.com CHƯƠNG KẾT QUẢ NGHIÊN CỨU VÀ BÀN LUẬN .90 KẾT LUẬN 92 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN 93 TÀI LIỆU THAM KHẢO 94 PHỤ LỤC - HÌNH HỌC E-PI-PƠ-LA 103 PHỤ LỤC - BIẾN ĐỔI BỀ MẶT BA CHIỀU DỰA VÀO HÀM BÁN KÍNH CƠ SỞ 106 PHỤ LỤC - MỘT SỐ PHÉP TOÁN 110 PHỤ LỤC - CÁC SỐ ĐO NHÂN TRẮC .116 v TIEU LUAN MOI download : skknchat@gmail.com DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT VIẾT TẮT ABBFP (Angle Between Best Fit Polynomial) BFP ( Best Fit Polynomial) ESOD (Extended Second Order Difference) MC (Marching Cubes) MSE (Mean Square Error) PCA (Principle Component Analysis) RBF ( Radial Basic Function) SFM (Structure From Motion) SOD (Second Order Difference) TPS (Thin-Plate Spline) THUẬT NGỮ Hộp sọ Mơ hình ba chiều sọ : Góc đa thức tốt : Đa thức tốt : Vi phân bậc hai mở rộng : Các khối liên kết : Trung bình sai phương : Phân tích thành phần : Hàm bán kính sở : Cấu trúc từ chuyển động : Vi phân bậc hai : Mảnh S-pline mỏng : Hộp sọ thật khai quật : Mô hình ba chiều bề mặt hộp sọ dạng lưới đa giác Mơ hình ba chiều khn mặt : Mơ hình ba chiều bề mặt khn mặt dạng lưới đa giác vi TIEU LUAN MOI download : skknchat@gmail.com DANH MỤC CÁC BẢNG Bảng 3.1: Lỗi trung bình lỗi lớn điểm đặc sọ trưng ba chiều trước sau điều chỉnh 42 Bảng 4.1: Lỗi trung bình hai phương pháp .68 Bảng 6.1: Một số hàm bán kính sở 108 Bảng 6.2: Các số đo sọ 116 Bảng 6.3: Mốc đo độ dày mô mềm .116 Bảng 6.4: Cơng thức tính độ dày mơ mềm theo phương pháp hồi qui tuyến tính 118 Bảng 6.5: Các số đo sọ dùng để tính độ dày mơ mềm theo phương pháp dùng mạng nơ-ron 120 vii TIEU LUAN MOI download : skknchat@gmail.com DANH MỤC CÁC HÌNH VẼ Hình 1.1: Qui trình dựng mơ hình ba chiều khn mặt từ hộp sọ Hình 2.1: Dựng thủ công khuôn mặt từ hộp sọ Hình 2.2: Một hệ thống chồng khít ảnh lên hộp sọ 10 Hình 2.3: Dựng khn mặt dựa giải phẫu 11 Hình 2.4: Dựng khn mặt dựa độ dày mơ mềm 11 Hình 2.5: Ví dụ biểu diễn bề mặt khn mặt lưới đa giác 13 Hình 2.6: Ví dụ biểu diễn bề mặt khn mặt bề mặt s-pline 15 Hình 3.1: Dựng mơ hình ba chiều khn mặt từ ảnh dựa vào hiệu chỉnh ảnh 19 Hình 3.2: Ảnh bảng ca-rô để hiệu chỉnh máy quay 19 Hình 3.3: Dựng mơ hình ba chiều khuôn mặt từ ảnh dùng bảng ca-rô để hiệu chỉnh máy quay 20 Hình 3.4: Dựng mơ hình ba chiều khn mặt từ thiết lập nguồn sáng chụp ảnh 21 Hình 3.5: Dựng mơ hình ba chiều khn mặt dựa vào mơ hình ba chiều khn mặt mẫu 22 Hình 3.6: Dựng mơ hình ba chiều sọ từ ảnh 27 Hình 3.7: Tính điểm đặc trưng sọ ba chiều 29 Hình 3.8: Một số điểm đặc trưng sọ ba chiều 29 Hình 3.9: Lỗi trượt điều chỉnh điểm ba chiều 30 Hình 3.10: Mối quan hệ điểm hai chiều ba chiều 33 Hình 3.11: Đánh giá sai số trượt điều chỉnh đặc trưng sọ ba chiều 35 Hình 3.12: Mơ hình ba chiều sọ mẫu 36 Hình 3.13: Xác định điểm đặc trưng mơ hình ba chiều sọ mẫu 36 Hình 3.14: Chụp ảnh sọ quét 39 Hình 3.15: Hộp sọ quét trước (trái) sau (phải) đánh dấu thêm nhãn 39 Hình 3.16: Đối sánh đặc trưng SIFT 40 Hình 3.17: Đối sánh đặc trưng HARRIS 40 Hình 3.18: Lỗi trượt ảnh hộp sọ thứ 41 Hình 3.19: Lỗi trượt ảnh hộp sọ thứ hai 41 viii TIEU LUAN MOI download : skknchat@gmail.com với tập điểm ba chiều chuẩn tập điểm ba chiều thu nhận cách thức khác quét ba chiều Cho điểm p bề mặt S, khoảng cách điểm p bề mặt S e(p,S) tính sau: (6.32) Trong d() khoảng cách Ơ-clit hai điểm không gian ba chiều Khoảng cách trung bình hai bề mặt S1 S2 (Hình 6.9) tính theo cơng thức sau: (6.33) Hình 6.9: Hai bề mặt khác Khoảng cách lớn hai bề mặt S1 S2 tính sau: (6.34) Những khoảng cách khơng có tính đối xứng (Hình 6.10) Hình 6.10: Khoảng cách khơng đối xứng 115 TIEU LUAN MOI download : skknchat@gmail.com PHỤ LỤC - CÁC SỐ ĐO NHÂN TRẮC Bảng 6.2: Các số đo sọ STT Các số đo sọ dai_so Kí hiệu Mơ tả g_op Là khoảng cách điểm glabella opisthocranion rong_so eu_eu Là khoảng cách điểm eurion cao_so ba_b en_en en_en Là khoảng cách điểm basion bregma Là khoảng cách điểm endocanthion rong_mat zy_zy Là khoảng cách điểm zygion rong_tran ft_ft Là khoảng cách điểm frontotemporale cao_mui prn_sn Là khoảng cách điểm pronasale subnasale dai_xuong_mui n_rhi rong_mui al_al Là khoảng cách điểm nasion rhinion Là khoảng cách điểm alare 10 rong_hoc_mui ln_ln Là khoảng cách điểm lateral nasal 11 molar_molar ml_ml Là khoảng cách điểm molar 12 chi_so_mui 13 cao_trung_binh 14 cchi_so_cao_dai chi_so_mui = rong_mui/cao_mui _ chi_so_cao_dai = cao_so/dai_so Bảng 6.3: Mốc đo độ dày mơ mềm Kí Vị trí hiệu STT Tên mốc đo Số điểm Opisthocranion op Điểm sau vùng chẩm, ụ chẩm Vertex v Điểm cao đầu Trichion tr Điểm nằm đường chân tóc trán Glabella g Nasion n Điểm nằm khớp trán mũi Rhinion rhi Điểm chỗ hai xương mũi khớp Điểm nhô trán đầu lông mày TIEU LUAN MOI download : skknchat@gmail.com Pronasion prn Điểm nhô đầu mũi, đỉnh mũi Subnasale sn Điểm mũi tiếp giáp với nhân trung Stomion sto Điểm ranh giới môi 10 Labiale inferius li Điểm bờ môi 11 Sublabiale sl Điểm bờ môi 12 Metal Điểm nhô cao cằm 13 Meton Điểm nếp gấp cằm - mơi 14 Supraobitale sor Điểm cao phía ổ mắt 15 Orbitale or Điểm thấp bờ ổ mắt 16 Endocanthion en Điểm góc mắt (đầu mắt) 17 Exocanthion ex Điểm góc mắt ngồi (đi mắt) 18 Porion po Điểm sau vùng chẩm, ụ chẩm 19 Alare al Điểm hốc mũi 20 Zygion zy Điểm ngồi cung gị má 21 Lateral nasal Điểm cánh mũi 22 Gonion Điểm ngồi góc hàm 23 Zygomatic-arch Điểm nhơ cao gị má 24 Mid master Điểm má, điểm cắn 25 Bregma b Điểm nhô mặt bên đầu 26 Eurion eu Điểm sau vùng chẩm, ụ chẩm 27 Basion ba Điểm trước lỗ chẩm 28 Frontotemporale ft Điểm trước gờ thái dương 29 Molar ml Điểm chân giáp hàm nanh 30 Gnathion gn go Điểm cằm 117 TIEU LUAN MOI download : skknchat@gmail.com ... TRƯỜNG ĐẠI HỌC CÔNG NGHỆ MA THỊ CHÂU NGHIÊN CỨU MỘT SỐ KỸ THUẬT KHÔI PHỤC MẶT NGƯỜI BA CHIỀU TỪ SỌ Chuyên ngành: Khoa học Máy tính Mã số: 62 48 01 01 LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG... khn mặt người ta cảm nhận thấy không dễ gọi tên Chúng ta mong muốn tìm cải tiến kỹ thuật để cải thiện độ xác khn mặt kết Trong luận án này, nghiên cứu số kỹ thuật khôi phục khuôn mặt ba chiều từ. .. đặc trưng sọ ba chiều Đặc trưng sọ ba chiều khôi phục từ ảnh chụp hộp sọ yếu tố quan trọng để xây dựng mơ hình ba chiều sọ Để có điểm đặc trưng sọ ba chiều giữ lại độ đo, ngồi thơng tin từ ảnh dùng