Nghiên cứu ứng dụng của học máy để tái tạo khuôn mặt từ dữ liệu 3d có vết thương

Trang 1 TRƯỜNG ĐẠI HỌC QUY NHƠNNGUYỄN QUỐC DƯƠNGNGHIÊN CỨU ỨNG DỤNG CỦA HỌC MÁYĐỂ TÁI TẠO KHUÔN MẶT TỪ DỮ LIỆU 3D CÓVẾT THƯƠNGĐỀ ÁN THẠC SĨ KHOA HỌC DỮ LIỆU ỨNG DỤNG Trang 2 TRƯỜNG ĐẠI

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN NGUYỄN QUỐC DƯƠNG NGHIÊN CỨU ỨNG DỤNG CỦA HỌC MÁY ĐỂ TÁI TẠO KHUÔN MẶT TỪ DỮ LIỆU 3D CÓ VẾT THƯƠNG ĐỀ ÁN THẠC SĨ KHOA HỌC DỮ LIỆU ỨNG DỤNG Bình Định - Năm 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN NGUYỄN QUỐC DƯƠNG NGHIÊN CỨU ỨNG DỤNG CỦA HỌC MÁY ĐỂ TÁI TẠO KHUÔN MẶT TỪ DỮ LIỆU 3D CÓ VẾT THƯƠNG ĐỀ ÁN THẠC SĨ KHOA HỌC DỮ LIỆU ỨNG DỤNG Ngành : Khoa học dữ liệu ứng dụng Mã số : 8904648 Người hướng dẫn 1 : GS TS Nguyễn Xuân Hùng Người hướng dẫn 2 : PGS TS Lê Công Trình Bình Định - Năm 2023 i Lời cam đoan Tôi xin cam đoan nội dung trong luận văn "Nghiên cứu ứng dụng của học máy để tái tạo khuôn mặt từ dữ liệu 3D có vết thương" là do bản thân thực hiện theo logic riêng dưới sự hướng dẫn của GS.TS Nguyễn Xuân Hùng và PGS.TS Lê Công Trình Các nội dung và kết quả sử dụng trong đề án đều có trích dẫn và chú thích nguồn gốc rõ ràng Bình Định, ngày tháng 11 năm 2023 Tác giả Nguyễn Quốc Dương ii Mục lục Lời cam đoan i Danh sách bảng iv Danh sách hình vẽ vi Mở đầu 1 1 Giới thiệu về dữ liệu 3D và công nghệ in 3D 7 1.1 Các kiểu dữ liệu hình dạng 3D 7 1.2 Sự phát triển của công nghệ in 3D 9 2 Mô hình học sâu để tái tạo khuôn mặt 3D và một số vấn đề liên quan 13 2.1 Một số thuật ngữ liên quan đến học sâu hình học 13 2.1.1 Đồ thị 13 2.1.2 Lưới (grids) 16 2.1.3 Nhóm 18 2.1.4 Trắc địa 20 2.1.5 Lưới (mesh) 21 2.2 Mô hình tích chập đồ thị hai luồng để phân vùng vết thương trên khuôn mặt 3D 26 2.2.1 Luồng C 27 2.2.2 Luồng N 29 iii 2.2.3 Tích hợp các tính năng 30 2.3 Mô hình tái tạo vết thương trên khuôn mặt 3D 31 2.3.1 vcConv và vcTransConv 32 2.3.2 vdPool, vdUnpool, vdUpRes và vdDownRes 33 3 Ứng dụng mô hình học máy để tái tạo khuôn mặt trên dữ liệu 3D có vết thương 36 3.1 Thu thập và tạo lập dữ liệu 36 3.1.1 Tạo khuôn mặt 3D 37 3.1.2 Tiền xử lý dữ liệu được tạo lập 38 3.1.3 Mô phỏng đa dạng các vết thương trên khuôn mặt 3D 39 3.2 Phát hiện và phân vùng vết thương trên khuôn mặt 3D 43 3.3 Tái tạo khuôn mặt 3D 47 3.4 Trích xuất phần cần lấp đầy trên khuôn mặt 49 3.5 Sử dụng công nghệ in 3D để minh họa kết quả tái tạo khuôn mặt 52 Kết luận 54 Danh mục công trình khoa học đã công bố 55 Tài liệu tham khảo 56 iv Danh sách bảng 3.1 Kết quả đào tạo của mô hình TSGCNet với các hàm loss tương ứng 47 3.2 Các chỉ số thống kê hiệu suất của mô hình tái tạo khuôn mặt 3D 50 v Danh sách hình vẽ 1 Hỗ trợ điều trị một số bộ phận trên cơ thể người bằng công nghệ in 3D 2 2 Một số nghiên cứu về hỗ trợ điều trị bệnh nhân ngoại chấn thương 3 3 Xây dựng mô hình tái tạo khuôn mặt từ dữ kiệu 3D có vết thương 4 1.1 Các cách biểu diễn khác nhau cho dữ liệu 3D 7 1.2 Các dấu mốc phát triển của công nghệ in 3D tại Việt Nam 10 2.1 Lưới hình tam giác Ví dụ về đa tạp (2 hình trên) và không đa tạp (2 hình dưới) 22 2.2 Hình học đằng sau công thức Cotang 23 2.3 Ánh xạ theo điểm của các tế bào mèo/chó (trái) và hàm ánh xạ của các chi chung của mèo/chó (phải) 25 2.4 Kiến trúc của mô hình mạng tích chập đồ thị hai luồng 27 3.1 Mô tả về kiến trúc của mô hình MICA 38 3.2 Một số minh họa về đầu vào và kết quả đầu ra của mô hình MICA 38 3.3 Tiền xử lý dữ liệu 39 3.4 Một số khuôn mặt 3D được mô phỏng từ quá trình tạo sẹo thực tế 42 3.5 Sử dụng mô hình TSGCNet để phân vùng vết thương trên khuôn mặt 3D 43 3.6 Minh họa về tập dữ liệu khuôn mặt 3D có vết thương và nhãn tương ứng 45 3.7 Kiến trúc hoạt động của mô hình tái tạo khuôn mặt 3D 49 3.8 Kết quả của mô hình tái tạo khuôn mặt 3D 49 vi 3.9 Giá trị hàm loss tương ứng sau mỗi epoch 50 3.10 Minh họa trích xuất phần lấp đầy vết thương trên khuôn mặt 51 3.11 Một mẫu được chọn in 3D để lấp đầy vết thương 52 3.12 Mô hình nghiên cứu ứng dụng được đề xuất trong đề án này 53 3.13 Tổng quan việc áp dụng phương pháp đề xuất sử dụng công nghệ in 3D để tái tạo mô mềm giả ở mặt 54 1 Mở đầu Công nghệ in 3D xuất hiện vào cuối những năm 1980 đã trở thành một trong những xu hướng công nghệ quan trọng và chủ chốt của cuộc cách mạng công nghiệp lần thứ tư Hiện nay, các ứng dụng của công nghệ in 3D đang ngày càng phát triển rộng rãi, nó thâm nhập sâu vào các lĩnh vực như y tế, giáo dục, xây dựng, kiến trúc, nghệ thuật, thời trang, Cụ thể, trong ngành công nghiệp điện tử và công nghiệp sản xuất, công nghệ in 3D đã được sử dụng để chế tạo các bộ phận phức tạp từ các chất liệu khác nhau và đem lại rất nhiều lợi ích Điển hình như khả năng sản xuất các mô hình có hình dạng phức tạp, tạo nhanh sản phẩm thử nghiệm theo yêu cầu, mở ra tiềm năng về lợi thế chi phí sản xuất, cải tiến quy trình và sản phẩm cho các nhà cung cấp Hơn nữa, khác với quy trình truyền thống, các mô hình khi được chế tạo theo quy trình in 3D có thể bỏ qua thao tác làm đồ gá, khuôn Trong trường hợp có sự thay đổi nhỏ ở mẫu in, với phương pháp đổ khuôn truyền thống thì phải tạo lại khuôn mới hoặc gia công thêm khi dùng khuôn cũ Trong khi đó, với công nghệ in 3D thì chỉ cần thay đổi thiết kế là có thể hoàn thành nhiệm vụ Điều này giúp công đoạn chế tạo, sản xuất có thể giảm thiểu tối đa chi phí vận hành, công sức Trong giáo dục, in 3D có những ứng dụng rất thiết thực, đặc biệt là liên quan đến các môn học khoa học, công nghệ, kỹ thuật và kỹ năng toán học Sinh viên có thể thiết kế, sản xuất các sản phẩm trong lớp học và có cơ hội thử nghiệm các ý tưởng, vừa học vừa làm với máy in 3D Trong y tế, công nghệ in 3D đã và đang được ứng dụng để sản xuất các mô hình giải phẫu bộ phận cơ thể con người (xương, răng, tai giả, ) Công nghệ này cũng đã được sử dụng để hỗ trợ các thử nghiệm về phương pháp và công nghệ y tế mới, tăng cường nghiên cứu y khoa, giảng dạy và đào tạo đội ngũ y, bác sĩ Đặc 2 biệt, với in 3D các mô sinh học, người ta còn kỳ vọng có thể sản xuất ra các bộ phận cơ thể người phục vụ cho việc thay thế và cấy ghép các cơ quan bị hỏng Từ những lợi ích được nêu trên, công nghệ in 3D có thể được xem là tương lai của ngành chế tạo và chăm sóc sức khỏe Tuy nhiên, phương pháp này có thể vẫn còn quá đắt đỏ, tốn thời gian và khó giám sát Chính vì điều này, các nhà nghiên cứu đã kết hợp AI với công nghệ in 3D để tạo ra một quy trình sản xuất hoàn hảo và kì vọng sẽ khai thác được nhiều kết quả nghiên cứu ứng dụng vào trong đời sống Hình 1: Hỗ trợ điều trị một số bộ phận trên cơ thể người bằng công nghệ in 3D Hiện nay, những người thương tích do tai nạn giao thông, tai nạn nghề nghiệp, khuyết tật bẩm sinh, bệnh tật đã làm cho họ bị khuyết đi một phần của cơ thể Rất nhiều nghiên cứu đã cố gắng tái tạo những cấu trúc hư hỏng để giúp cho bệnh nhân phục hồi được chúng tôi minh họa trong Hình 1 và Hình 2 Việc tái cấu trúc những bộ phận trên cơ thể người được chia thành ba hướng nghiên cứu chính bao gồm tái cấu trúc body, tái cấu trúc tứ chi và tái cấu trúc phần đầu [1–8] Trong đó, tái cấu trúc xương tứ chi được nhiều