4.4 Phương pháp PifuHD
4.4.2. Quy trình thực hiện
Single-View 3D Human Digitization: là một vấn đề khó, do mức độ chi tiết
của ảnh không rõ ràng theo tia máy ảnh. Để khắc phục sự mơ hồ như vậy, các tham số của mơ hình 3D thường được sử dụng để ước lượng cho tập hợp các tham số của mơ hình có mức độ nhỏ, giới hạn khơng gian trong một mơ hình tham số đã chọn. Tuy nhiên, tính liên kết của các mơ hình được giới hạn này khơng cao.
Một phương pháp được giới thiệu gần đây: PIFu (Hàm ẩn được căn chỉnh theo pixel), phương pháp này không phân biệt rõ ràng không gian đầu ra nhưng thay vào đó, hồi quy một chức năng xác định việc sử dụng cho bất kỳ vị trí 3D nhất định nào. Điều này phương pháp tiếp cận cho thấy sức mạnh của nó trong việc tái tạo lại độ trung thực cao Hình học 3D mà khơng cần phải biểu diễn đồng thời tồn bộ khối
56
lượng đầu ra trong bộ nhớ. Hơn nữa, không giống như các biểu diễn bề mặt ngầm sử dụng một vectơ đặc trưng toàn cầu, PIFu sử dụng đầy đủ các tính năng hình ảnh phức hợp, giữ lại các chi tiết địa phương hiện có trong một hình ảnh đầu vào.
High-Resolution Synthesis in Texture Space: một phương pháp theo tái tạo
kết cấu hoặc hình học 3D bằng cách sử dụng bản đồ kết cấu biểu diễn để ước tính hình học hoặc chi tiết màu sắc. Đặc biệt, cách tiếp cận Tex2Shape của Alldieck và cộng sự. Nhằm mục đích tái tạo 3D chất lượng cao hình học bằng cách hồi quy các chuyển vị trong một UV không bọc không gian. Tuy nhiên, kiểu tiếp cận này cuối cùng bị hạn chế bởi cấu trúc liên kết của lưới mẫu (hiển thị các vấn đề khi đại diện cho các cấu trúc liên kết khác nhau, chẳng hạn như bắt buộc bởi các kiểu tóc hoặc váy khác nhau) và cấu trúc liên kết được chọn đối với tham số hóa UV (ví dụ: hiện vật đường may có thể nhìn thấy xung quanh đường nối kết cấu). Các cách tiếp cận gần đây tận dụng thần kinh mơ hình mạng để dự đốn kết cấu hoặc độ sâu trung gian các biểu diễn sau đó được sử dụng để tái tạo 3D cuối cùng đầu ra hình học.
Cơng việc của chúng tơi cũng liên quan đến các phương pháp tiếp cận tạo ra hình ảnh con người tổng hợp chất lượng hoặc độ phân giải cao. Gần đây các phương pháp xem xét sản xuất mặt tổng hợp chất lượng cao để khắc phục những hạn chế của các phương pháp tiếp cận dựa trên GAN ban đầu. Sự đánh đổi tương tự được theo đuổi trong phân đoạn ngữ nghĩa nhiệm vụ.