Nghiên cứu một số kỹ thuật khôi phục mặt người ba chiều từ sọ. Luận án TS. Công nghệ thông tin: 62 48 01 01

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ MA THỊ CHÂU NGHIÊN CỨU MỘT SỐ KỸ THUẬT KHÔI PHỤC MẶT NGƯỜI BA CHIỀU TỪ SỌ LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI – Năm 2013 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ MA THỊ CHÂU NGHIÊN CỨU MỘT SỐ KỸ THUẬT KHÔI PHỤC MẶT NGƯỜI BA CHIỀU TỪ SỌ Chuyên ngành: Khoa học Máy tính Mã số: 62 48 01 01 LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS.BÙI THẾ DUY GS TAE – WAN KIM HÀ NỘI – Năm 2013 LỜI CẢM ƠN Để hoàn thành luận án, tác giả nhận giúp đỡ nhiệt tình tạo điều kiện nhiều người, sau tác giả xin phép bày tỏ lời cảm ơn chân thành: Tôi xin gửi lời cảm ơn chân thành sâu sắc tới hai thầy Bùi Thế Duy – Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội thầy Tae-wan Kim – Trường Đại học quốc gia Seoul, Hàn Quốc, người thầy tâm huyết tận tình hướng dẫn, động viên khích lệ, dành nhiều thời gian q báu để định hướng cho tơi q trình tham gia khóa học hồn thiện luận án Tôi xin gửi lời cảm ơn chân thành tới lãnh đạo trường Đại học Công nghệ, lãnh đạo Khoa Công nghệ thông tin, cảm ơn đồng nghiệp tạo điều kiện thuận lợi cho tơi q trình làm luận án Tôi xin gửi lời cảm ơn chân thành tới bạn đồng nghiệp phịng thí nghiệm Tương tác Người máy, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, người bên động viên, góp ý, chỉnh sửa q trình viết luận án Tôi xin gửi lời cảm ơn chân thành tới bác Nguyễn Trọng Toàn – Nguyên giám đốc Viện pháp y quân đội, người cung cấp số liệu có lời khun bổ ích giúp tơi tiếp cận số liệu nhân trắc khuôn mặt hiệu để hồn thành luận án Tơi xin gửi lời cảm ơn chân thành tới bạn Nguyễn Đình Tư – Phịng thí nghiệm Tương tác Người máy, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, bạn Phạm Bá Mấy – Viện CNTT, Viện Khoa học Việt Nam nhiệt tình giúp đỡ tơi q trình triển khai thu thập số liệu can thiệp thông tin nhân trắc Tôi xin gửi lời cảm ơn đặc biệt tới anh Đặng Trung Kiên, người có dẫn, lời khuyên, động viên bổ ích thiết thực q trình tơi thực luận án Cuối cùng, tơi xin gửi lịng ân tình tới bố mẹ, chồng Gia đình tơi nguồn động viên truyền nhiệt huyết để tơi hồn thành luận án i LỜI CAM ĐOAN Tôi xin cam đoan: Bản luận án tốt nghiệp cơng trình nghiên cứu thực cá nhân, thực sở nghiên cứu lý thuyết, kiến thức kinh điển, nghiên cứu khảo sát tình hình thực tiễn hướng dẫn khoa học PGS TS Bùi Thế Duy GS TS Tae-wan Kim Các số liệu, mơ hình toán kết luận án trung thực, giải pháp đưa xuất phát từ thực tiễn kinh nghiệm, chưa công bố hình thức trước trình, bảo vệ công nhận “Hội Đồng đánh giá luận án tốt nghiệp Tiến sĩ Công nghệ Thông Tin” Một lần nữa, xin khẳng định trung thực lời cam kết Tác giả: ii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT vi DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH VẼ viii MỞ ĐẦU CHƯƠNG TỔNG QUAN 1.1 Bối cảnh 1.2 Bài toán cách giải 1.3 Cấu trúc luận án .5 SỌ CHƯƠNG KIẾN THỨC CƠ BẢN VỀ DỰNG KHUÔN MẶT TỪ HỘP 2.1 Các cách tiếp cận dựng khuôn mặt từ hộp sọ 2.1.1 Dựng thủ công khuôn mặt từ hộp sọ .7 2.1.2 Dựng khuôn mặt từ hộp sọ với trợ giúp máy tính 2.2 Biểu diễn mơ hình ba chiều khn mặt sọ 12 2.2.1 Mơ hình hóa bề mặt khn mặt lưới đa giác 13 2.2.2 Mơ hình hóa bề mặt khn mặt bề mặt tham số 14 CHƯƠNG DỰNG MƠ HÌNH BA CHIỀU CỦA SỌ TỪ ẢNH 16 3.1 Những nghiên cứu liên quan 17 3.1.1 Dựng mơ hình ba chiều khuôn mặt từ ảnh 17 3.1.2 Các trích chọn đặc trưng ảnh 24 3.2 Thuật toán dựng mơ hình ba chiều sọ từ ảnh 25 3.2.1 Thuật tốn tính đặc trưng sọ ba chiều 27 3.2.2 Ảnh hưởng lỗi trượt lên đặc trưng sọ ba chiều cách khắc phục 30 3.2.3 Biến đổi mô hình ba chiều sọ mẫu RBF 34 iii 3.2.4 Đặc tính hội tụ độ phức tạp thuật toán 36 Thử nghiệm đánh giá 39 3.3 3.3.1 Tính lỗi trượt điều chỉnh đặc trưng sọ ba chiều 39 3.3.2 Đánh giá hiệu điều chỉnh đặc trưng sọ ba chiều dựa lỗi trượt 42 Kết luận chương 43 3.4 CHƯƠNG DỰNG MƠ HÌNH BA CHIỀU KHN MẶT TỪ MƠ HÌNH BA CHIỀU CỦA SỌ 44 Những nghiên cứu liên quan 45 4.1 4.1.1 Dựng mơ hình ba chiều khn mặt từ mơ hình ba chiều sọ với trợ giúp máy tính 45 4.1.2 Các phương pháp đánh giá mơ hình ba chiều khn mặt kết 49 4.2 Thuật toán dựng mơ hình ba chiều khn mặt từ mơ hình ba chiều sọ 51 4.2.1 Các mốc đo, số đo sọ xác định độ dày mô mềm 54 4.2.2 Biến đổi mơ hình ba chiều khuôn mặt mẫu RBF 57 4.2.3 Đặc tính hội tụ độ phức tạp thuật toán 62 4.3 Thử nghiệm đánh giá 65 4.3.1 Xác định cơng thức tính độ dày mô mềm 65 4.3.2 Dựng mơ hình ba chiều khn mặt từ mơ hình ba chiều sọ 66 4.4 Kết luận chương 69 CHƯƠNG TRÍCH CHỌN ĐẶC TRƯNG TỰ ĐỘNG TRÊN MƠ HÌNH BA CHIỀU CỦA SỌ 70 5.1 Những nghiên cứu liên quan 70 5.1.1 Trích chọn đặc trưng ba chiều dựa đa giác 70 5.1.2 Trích chọn đặc trưng ba chiều dựa điểm 71 5.2 Trích chọn đặc trưng 73 5.2.1 Phân đoạn liệu 74 5.2.2 Trích chọn điểm góc 79 5.2.3 Trích chọn cạnh 82 5.2.4 Đặc tính hội tụ độ phức tạp thuật toán 85 5.3 Kết thử nghiệm 87 5.4 Kết luận chương 89 iv CHƯƠNG KẾT QUẢ NGHIÊN CỨU VÀ BÀN LUẬN .90 KẾT LUẬN 92 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN 93 TÀI LIỆU THAM KHẢO 94 PHỤ LỤC - HÌNH HỌC E-PI-PƠ-LA 103 PHỤ LỤC - BIẾN ĐỔI BỀ MẶT BA CHIỀU DỰA VÀO HÀM BÁN KÍNH CƠ SỞ 106 PHỤ LỤC - MỘT SỐ PHÉP TOÁN 110 PHỤ LỤC - CÁC SỐ ĐO NHÂN TRẮC .116 v DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT VIẾT TẮT ABBFP (Angle Between Best Fit Polynomial) BFP ( Best Fit Polynomial) ESOD (Extended Second Order Difference) MC (Marching Cubes) MSE (Mean Square Error) PCA (Principle Component Analysis) RBF ( Radial Basic Function) SFM (Structure From Motion) SOD (Second Order Difference) TPS (Thin-Plate Spline) THUẬT NGỮ Hộp sọ Mơ hình ba chiều sọ : Góc đa thức tốt : Đa thức tốt : Vi phân bậc hai mở rộng : Các khối liên kết : Trung bình sai phương : Phân tích thành phần : Hàm bán kính sở : Cấu trúc từ chuyển động : Vi phân bậc hai : Mảnh S-pline mỏng : Hộp sọ thật khai quật : Mơ hình ba chiều bề mặt hộp sọ dạng lưới đa giác Mơ hình ba chiều khn mặt : Mơ hình ba chiều bề mặt khuôn mặt dạng lưới đa giác vi DANH MỤC CÁC BẢNG Bảng 3.1: Lỗi trung bình lỗi lớn điểm đặc sọ trưng ba chiều trước sau điều chỉnh 42 Bảng 4.1: Lỗi trung bình hai phương pháp .68 Bảng 6.1: Một số hàm bán kính sở 108 Bảng 6.2: Các số đo sọ 116 Bảng 6.3: Mốc đo độ dày mô mềm .116 Bảng 6.4: Cơng thức tính độ dày mơ mềm theo phương pháp hồi qui tuyến tính 118 Bảng 6.5: Các số đo sọ dùng để tính độ dày mô mềm theo phương pháp dùng mạng nơ-ron 120 vii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Qui trình dựng mơ hình ba chiều khn mặt từ hộp sọ Hình 2.1: Dựng thủ cơng khn mặt từ hộp sọ Hình 2.2: Một hệ thống chồng khít ảnh lên hộp sọ 10 Hình 2.3: Dựng khn mặt dựa giải phẫu 11 Hình 2.4: Dựng khuôn mặt dựa độ dày mô mềm 11 Hình 2.5: Ví dụ biểu diễn bề mặt khuôn mặt lưới đa giác 13 Hình 2.6: Ví dụ biểu diễn bề mặt khuôn mặt bề mặt s-pline 15 Hình 3.1: Dựng mơ hình ba chiều khuôn mặt từ ảnh dựa vào hiệu chỉnh ảnh 19 Hình 3.2: Ảnh bảng ca-rơ để hiệu chỉnh máy quay 19 Hình 3.3: Dựng mơ hình ba chiều khn mặt từ ảnh dùng bảng ca-rô để hiệu chỉnh máy quay 20 Hình 3.4: Dựng mơ hình ba chiều khn mặt từ thiết lập nguồn sáng chụp ảnh 21 Hình 3.5: Dựng mơ hình ba chiều khn mặt dựa vào mơ hình ba chiều khn mặt mẫu 22 Hình 3.6: Dựng mơ hình ba chiều sọ từ ảnh 27 Hình 3.7: Tính điểm đặc trưng sọ ba chiều 29 Hình 3.8: Một số điểm đặc trưng sọ ba chiều 29 Hình 3.9: Lỗi trượt điều chỉnh điểm ba chiều 30 Hình 3.10: Mối quan hệ điểm hai chiều ba chiều 33 Hình 3.11: Đánh giá sai số trượt điều chỉnh đặc trưng sọ ba chiều 35 Hình 3.12: Mơ hình ba chiều sọ mẫu 36 Hình 3.13: Xác định điểm đặc trưng mơ hình ba chiều sọ mẫu 36 Hình 3.14: Chụp ảnh sọ quét 39 Hình 3.15: Hộp sọ quét trước (trái) sau (phải) đánh dấu thêm nhãn 39 Hình 3.16: Đối sánh đặc trưng SIFT 40 Hình 3.17: Đối sánh đặc trưng HARRIS 40 Hình 3.18: Lỗi trượt ảnh hộp sọ thứ 41 Hình 3.19: Lỗi trượt ảnh hộp sọ thứ hai 41 viii