Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học

Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.

ĐẠI HỌC ĐÀ NẴNG

TRƯỜNG ĐẠI HỌC BÁCH KHOA

LÊ TIẾN MẪU

TÁI TẠO VÀ PHÂN TÍCH ĐỐI TƯỢNG 3D DỰA TRÊN NGỮ NGHĨA VÀ HÌNH HỌC

Chuyên ngành : KHOA HỌC MÁY TÍNH

Mã số : 9480101

TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT

Đà Nẵng - 2024

Công trình được hoàn thành tại

TRƯỜNG ĐẠI HỌC BÁCH KHOA

Người hướng dẫn khoa học:

Luận án sẽ được bảo vệ trước Hội đồng chấm luận án cấp Trường,

Trường Đại học Bách khoa

Vào hồi … giờ … ngày … tháng … năm 2024

Có thể tìm hiểu luận án tại:

- Thư viện quốc gia Việt Nam

- Trung tâm Thông tin - Học liệu & Truyền thông, Đại học Đà Nẵng

Tuy nhiên để tái tạo và phục dựng các mô hình, mẫu vật thường chi phí rất lớn và các kết quả thường được sử dụng để trình diễn, phân tích, phân đoạn hay nhận dạng lại đối tượng,… Các phương pháp thường phục vụ trong tái tạo mô hình đối tượng ba chiều mục đích để tái tạo và lưu trữ Các nghiên cứu chưa đi sâu vào việc phân tích đặc trưng hay nhận dạng Với các mục đích và khó khăn đó, luận án đề xuất phương pháp tái tạo mô hình 3D từ tập ảnh và đề xuất phương pháp phân tích đặc trưng và chú thích ngữ nghĩa trên

mô hình đối tượng Dữ liệu thử nghiệm được thu thập từ một số bảo tàng văn hóa Chămpa ở Việt Nam Hình 1.1 một số hình đặc trưng các mô hình, hiện vật đang được trưng bày tại Bảo tàng Chămpa Đà Nẵng

Hình 1.1: Hình ảnh trưng bày hiện vật tại bảo tàng

Dựa trên mục tiêu, đối tượng và kết quả nghiên cứu đóng góp của chính luận án về mặt khoa học:

− Đề xuất cách thu thập tập dữ liệu để tái tạo và số hóa các hiện vật tại bảo tàng Chăm;

− Sử dụng phương pháp phân rã tập điểm 3D bằng phương pháp chia nhỏ

bề mặt tập điểm trong không gian, xác định độ cong bề mặt của điểm và tập điểm, trên cơ sở đó tính độ cong của điểm 3D trên bề mặt và xác định đường đặc trưng của tập dữ liệu 3D;

− Đề xuất cách phân mảnh đối tượng 3D trên cơ sở thuật toán phân cụm và phân tích độ cong bề mặt của tập điểm;

− Đề xuất phương pháp chú thích ngữ nghĩa đối tượng 3D trên cơ sở kết hợp giữa phân phân đoạn, chú thích trên tập ảnh 2D của phương pháp học sâu và chú thích đối tượng 3D dựa vào bản đồ độ sâu của tập ảnh trong quá trình tái tạo mô hình 3D của tập ảnh tương đồng;

− Triển khai mô hình hóa 3D đối tượng trên tập dữ liệu thực tế từ các bảo tàng Chămpa của Việt Nam;

Chương 1 TÁI TẠO VÀ PHÂN TÍCH MÔ HÌNH 3D

Chương này giới thiệu sơ lược về một số ứng dụng của mô hình hóa hình học, một số phương pháp tái tạo mô hình 3D từ nhiều phương pháp khác nhau như scan, tái tạo mô hình từ tập ảnh chụp; một số phương pháp phân tích đặc trưng hình học, ngữ nghĩa trên mô hình đối tượng 3D Từ đó làm cơ sở cho đề xuất hướng nghiên cứu liên quan đến luận án

1.1 Mô hình đối tượng 3D

1.2 Tái tạo mô hình 3D

1.2.1 Tái tạo mô hình 3D bằng cách quét đối tượng

1.2.2 Tái tạo mô hình 3D từ tập ảnh 2D

1.2.2.1 Thu thập và tiền xử lý dữ liệu ảnh 2D

Để thực hiện tái tạo mô hình 3D từ tập ảnh phương pháp đề xuất thu nhận hình ảnh bằng cách chụp ảnh xung quanh các pho tượng, có thể sử dụng các máy ảnh thông thường để chụp ảnh Yêu cầu kỹ thuật trong quá trình chụp ảnh đóng vai trò quan trọng trong kết quả tái tạo Để nâng cao độ chính xác,

từng cặp ảnh chụp gần nhau phải có chung vùng dữ liệu, máy ảnh cần được thiết lập các tham số như độ sáng, tiêu cự, khẩu độ và tốc độ hạn chế thay đổi

Hình 1.3: Phương pháp di chuyển camera khi chụp ảnh

1.2.2.2 Mô hình máy chụp ảnh

1.2.2.3 Xác định tập điểm đặc trưng bất biến

1.2.2.4 Xác định vị trí camera của ảnh từ tập điểm đặc trưng bất biến 1.2.2.5 Tái tạo mô hình 3D từ ảnh chụp 2D

1.3 Đặc trưng ngữ nghĩa và hình học trên mô hình 3D

1.3.1 Đặc trưng hình học trên mô hình 3D

1.3.2 Đặc trưng ngữ nghĩa trên mô hình 3D

Bài toán phân đoạn, chú thích ngữ nghĩa cho các đám mây điểm 3D nhằm mục đích phân loại các điểm, tập điểm trong không gian thành các vùng, khu vực có tính chất, đặc điểm tương tự nhau và gán nhãn ngữ nghĩa tương ứng Tích chất, đặc điểm của đám mây điểm là tập điểm phi cấu trúc, chúng rời rạc vì vậy việc nhận dạng và phân tích đặc trưng ngữ nghĩa của chúng là một thách thức lớn cho các nhà khoa học

Kết luận chương 1

Trong chương này giới thiệu sơ lược về mô hình 3D và các ứng dụng trong thực tế, giới thiệu một số phương pháp tái tạo mô hình 3D như phương pháp chụp, phương pháp scan và các đặc trưng hình học và ngữ nghĩa trên tập đám mây điểm

Chương 2 PHÂN TÍCH ĐẶC TRƯNG TRÊN ẢNH 2D VÀ MÔ HÌNH 3D

Chương này giới thiệu một số phương pháp mô tả và phân tích đặc trưng trên hình ảnh bằng phương pháp HOG, SIFT; phương pháp phân tích đặc

trưng trên tập điểm 3D và thử nghiệm vào bài toán phân tích đặc trưng, phân mảnh trên mô hình đối tượng 3D

2.1 Đặt vấn đề

2.2 Phương pháp nhận dạng và phân tích đặc trưng trên ảnh

2.2.1 Một số kỹ thuật phân tích đặc trưng trên ảnh 2D

2.2.2 Phương pháp mô tả đặc trưng HOG

2.2.3 Phương pháp mô tả đặc trưng SIFT

2.2.4 Một số phương pháp nhận dạng đối tượng bằng kỹ thuật học sâu

2.3 Phương pháp phân tích đặc trưng mô hình 3D

Để phân tích đặc trưng mô hình 3D, luận án đề xuất phương pháp phân tích các đặc trưng của mô hình 3D dựa theo các đặc trưng hình học của mô hình Bao gồm 3 bước chính Bước 1: Từ tập điểm xây dựng cấu trúc cây octree cho mô hình đối tượng, thực hiện phân rã đối tượng làm giảm mật độ điểm trên bề mặt đối tượng Bước 2: Tiến hành thực hiện phân tích các đặc trưng từng tập điểm, dựa vào độ cong bề mặt tập điểm Các thuộc tính này bao gồm vectơ pháp tuyến, độ cong của điểm ảnh dựa vào phương pháp phân tích thành phần chính và mặt phẳng tiếp tuyến cục bộ Bước 3: Với mỗi tập điểm thu được, trích lọc tập điểm đặc trưng trên cơ sở độ cong trung bình của toàn bộ tập điểm Những đặc trưng tương tự nhau thành từng cụm và được đánh dấu

Hình 2.14: Sơ đồ mô tả các bước chính trong quá trình phân tích mô hình

2.3.1 Chia nhỏ bề mặt trên tập điểm 3D

Cách tiếp cận sử dụng cấu trúc dữ liệu với cây bát phân (octree) để phân

rã đối tượng và thực hiện giảm mật độ điểm trên bề mặt đối tượng cho tập đám mây điểm Ý tưởng của thuật toán tạo cây octree như: Khởi tạo tập điểm của mô hình là được gọi là một khối thực hiện đệ quy chia nhỏ khối thành 8 khối con Nếu bất kỳ khối có nhiều hơn 1 điểm thì tiếp tục chia thành các khối nhỏ Không chia khối mà có 1 hoặc không còn nút nào Và lặp lại các bước 1 cho đến khi khối chỉ còn 1 hoặc không còn nút con

2.3.2 Tính độ cong của bề mặt trên đối tượng 3D

Tập điểm của một mô hình 3D sau khi được tái tạo từ các đối tượng là tập điểm không có cấu trúc và xét về mặt hình học các điểm là rời rạc không có mối liên hệ lẫn nhau Để phân tích mối tương quan, mối liên hệ giữa các điểm này, cần phải xét tổng thể hoặc cục bộ Do đó thông thường các nghiên cứu thường chia nhỏ đối tượng để dễ phân tích hơn Cho P= { ,x y z i i, }, = 1,i i N là tập điểm 3D trong không gian của mô hình đối tượng, gọi p q là một điểm

bất kỳ trong tập điểm P, P k = { ,x y z i i, }, = 1,i i k ta có P k được gọi là k số

điểm láng giềng của p q Mặt phẳng tiếp tuyến S được xác định thông qua một điểm x và một vectơ pháp tuyến n x , với các điểm p i , thì khoảng cách từ p i đến

mặt phẳng S được xác định d i=(p i− x n) x Tìm giá trị riêngjRvà vectơ riêngv j, ( = 0,1, 2)j của ma trân hiệp phương sai 3 3x

C  được tạo thành từ một tập các điểm p iP k được xác định:

=1

1' = ( ).( )

2 0

2.3.3 Kết quả thực nghiệm phân tích đường đặc trưng trên ảnh 2D và tập điểm 3D

a) Kết quả thực nghiệm phân tích đường đặc trưng trên ảnh 2D

b) Kết quả thực nghiệm phân tích đường đặc trưng trên tập điểm 3D

Thử nghiệm và đánh giá phương pháp đề xuất, luận án tiến hành thu thập

và tái tạo các mô hình tượng thực tế từ Bảo tàng Điêu khắc Chămpa ở Đà Nẵng để làm dữ liệu mẫu Từ dữ liệu đó luận án tiến hành phân tích các đặc trưng các mô hình Kết quả thu được xem bảng 2.3 miêu tả đặc trưng thu được từ thuật toán

Bảng 2.3: Phân tích đặc trưng từ mô hình các tượng

Mô hình Mô hình

phân tích Mô hình

Mô hình phân tích

Trong đó màu đỏ mô tả các đặc trưng của các mô hình như góc, cạnh các

vị trí mà ở đó chúng có sự thay đổi đột ngột về độ cong của bề mặt tập điểm Hình 2.21, biễu diễn thang đo độ cong bề mặt của tập điểm 3D, chúng được phân bố theo số lượng và được tách bởi độ cong trung bình (đường màu đỏ)

Hình 2.21: Biểu diễn thang đo độ cong của các Tượng và giá trị vị trí trích xuất

2.4 Phương pháp phân mảnh trên mô hình 3D

2.4.1 Phân mảnh đối tượng 3D dựa trên độ cong hình học

Ý tưởng của thuật toán phân đoạn đối tượng 3D là tạo ra các cụm riêng biệt mỗi cụm được tách, đánh dấu hay gán nhãn trên cơ sở nhóm các điểm có cùng thuộc tính, tính chất Đầu ra của thuật toán này là các cụm, mỗi cụm là một tập hợp các điểm được coi là một phần của đối tượng Giả sử để phân

đoạn tập điểm của một mô hình 3D của P thành m cụm gọi số cụm là:

{ } Sc  { } Sc  Pmin;{ } Rc  { } Rc  Pmin

{ } L  { } \ L Pmin

Kết quả sau khi thực hiện thuật toán ta có được tập điểm gom cụm và gán nhãn tương ứng Ở đây mỗi cụm được gán màu đặc trưng choRicụm thu được nhằm phân biệt giữa các cụm khác nhau

2.4.2 Kết quả thực nghiệm phân mảnh đối tượng 3D

Để thử nghiệm với phương pháp đã đề xuất luận án tiến hành khảo sát và chụp ảnh xung quanh các pho tượng thực tế từ Bảo tàng Điêu khắc Chămpa ở

Đà Nẵng và khu di tích Mỹ Sơn ở Quảng Nam Thông tin tập dữ liệu ảnh chụp được như bảng 2.5, từ dữ liệu đó báo cáo tiến hành tái tạo các mô hình tương ứng

Bảng 2.5: Thống kê số điểm 3D và số cụm thu được sau khi phân đoạn

STT Tượng Số ảnh Số điểm 3D Số phân đoạn

Hình 2.25: Kết quả phân đoạn mô hình Phù điêu và tượng với các góc nhìn

Hình 2.28: Một số mô hình phân đoạn của dữ liệu khác

Kết quả phân mảnh cũng phụ thuộc vào hình dạng của đối tượng được lấy mẫu Như kết quả giữa Phù điêu Vishnu và các tượng khác, bề mặt của

tượng mịn ít nhiễu kết quả thu được phân hoạch rõ ràng số cụm thu được nhỏ Tương tự, tượng Phụ nữ Việt Nam được scan để tạo mô hình, kết quả phân mảnh các bộ phận thân hình, đầu, tóc được rõ và chi tiết Nhưng với tượng nữ thần Shiva có nhiều chi tiết nhỏ nên dữ liệu bị nhiễu nhiều và kết quả phân mảnh thu được nhiều mảnh nhỏ, không liên tục

Kết luận chương 2

Trong chương này, luận án đã giới thiệu và đề xuất một giải pháp kết hợp tái tạo mô hình và phân đoạn trên đối tượng 3D Trên cơ sở kết hợp xử lý đồng thời tái tạo mô hình và phân đoạn trên đối tượng 3D Kết quả bước đầu

đã thu thập ảnh và tái tạo thành công một số tượng Chăm cổ tại bảo tàng Đà Nẵng và di tích Mỹ Sơn Đây là cơ sở để phân đoạn, nhận dạng và phân tích từng bộ phận trên các đối tượng phục vụ số hóa lưu trữ và bảo tồn

Chương 3 PHÂN TÍCH VÀ NHẬN DẠNG NGỮ NGHĨA TRÊN ĐỐI

TƯỢNG 2D/3D

Chương này trình bày phương pháp phân tích và nhận dạng ngữ nghĩa trên đối tượng 2D dựa vào kỹ thuật học sâu Từ kết quả phân đoạn trên hình ảnh 2D, luận án đề xuất phương pháp chú thích ngữ nghĩa trên mô hình đối tượng 3D, dựa trên cơ sở tập điểm bất biến thu được từ tập ảnh 2D trong giai đoạn tái tạo mô hình và mối liên hệ giữa ảnh 2D, bản đồ độ sâu của tập điểm 3D tương đồng Kết quả thử nghiệm với bộ dữ liệu hình ảnh thực tế tại các bảo tàng Chăm của Việt Nam

3.1 Nhận dạng đối tượng 2D

3.2 Nhận dạng đối tượng 3D

3.3 Nhận dạng và phân tích đặc trưng ngữ nghĩa trên đối tượng 3D

3.3.1 Tương quan giữa tập điểm bất biến 2D và tập điểm 3D

Ở giai đoạn tái tạo mô hình 3D, mỗi điểm 3D được tạo ra từ những điểm đặc trưng bất biến từ ảnh 2D và chúng được bổ sung thông tin độ sâu Như vậy, mỗi điểm đặc trưng được chọn sẽ liên kết với một điểm 3D Để xác định

và truy vết lại các điểm đặc trưng tương ứng với mỗi ảnh, chúng tôi sử dụng phương pháp truy vết ngược Bởi vì, mỗi điểm 3D của đối tượng đã được liên

kết với một ảnh chính (ảnh chính là ảnh được chọn để thu nhận màu sắc, đặc trưng của đối tượng)

3.3.2 Chú thích ngữ nghĩa trên ảnh 2D và mô hình 3D

Trên cơ sở của tập điểm 3D tương đồng dựa vào thuật toán đánh giá độ cong bề mặt của tập điểm 3D, trích lọc tâp điểm có độ cong cao ánh xạ các giá trị độ cong cao vào một ảnh 2D, mỗi điểm được ánh xạ là một điểm ảnh

Từ đó thu được một ảnh 2D với mỗi điểm ảnh được xem là điểm đặc trưng của ảnh, các tập dữ liệu ảnh nhị phân có nhiều thuộc tính nhưng chứa nhiều thông tin nhiễu Để cải thiện các ảnh nhị phân và khoanh vùng các vùng có giá trị cần quan tâm đến ngữ nghĩa mô hình Trong luận án cũng đề xuất một thuật toán giảm nhiễu trên ảnh 2D, và với mỗi nhóm điểm trắng (đặc trưng) trên ảnh tiến hành thực hiện tạo đường viền và lấp đầy các khoảng trống Với mục đích nâng cao chất lượng điểm trên mặt nạ nhị phân như hình 3.7

Hình 3.7: Giảm nhiểu, tạo và làm mịn đường viền cho ảnh nhị phân Các bước thực hiện tuần tự của thuật toán đề xuất như sau:

Bước 1 Với mỗi nhóm điểm trong tập điểm, loại bỏ các nhóm nhỏ có số lượng pixel (màu trắng) nhỏ Với điều kiện tổng số điểm nhỏ hơn trung bình chung của nhóm.(Gọi tổng số pixel trong mỗi nhóm là s i i,( = 1, )N và trung bình nhóm được xác định

=1

= /

N

p i i

mean s N Với mỗi nhóm si nếu s i<mean p

loại bỏ các pixel thuộc nhóm i ra khỏi ảnh)

Bước 2 Xác định tâm và đường tròn ngoại tiếp từng nhóm của tập điểm, sao cho mỗi nhóm điểm thuộc hoặc lân cận đường tròn

Bước 3 Xác định khoảng cách từ tâm đường tròn đến mỗi nhóm, chọn những nhóm điểm gần tâm của đường tròn nhất và đánh dấu

Bước 4 Lặp và tìm tất các các nhóm gần tâm đường tròn mà chưa được đánh dấu ở bước 2

Bước 5 Nếu bất kỳ nhóm điểm pixel nào không thỏa mãn điều kiện (2),(3) thì loại bỏ chúng ra khỏi ảnh

Giai đoạn kế tiếp, tạo đường biên cho các nhóm điểm sao cho mỗi đường viền bao quanh và khép kín mỗi nhóm, từ các đường biên đó thường có đường “Zigzag” vì vậy cần làm mịn Khi tạo các đường viền bao quanh các nhóm điểm thực hiện tạo mặt nạ nhị phân cho từng vùng Đây là mặt nạ nhị phân cho ảnh 2D, tuy nhiên nó là cơ sở để tạo mặt nạ lọc cho đối tượng 3D ở giai đoạn chú thích ngữ nghĩa cho mô hình

3.4 Kết quả thực nghiệm gán nhãn khuôn mặt trên mô hình 3D

Để thử nghiệm phương pháp đề xuất, chúng tôi tiến hành thu thập ảnh 2D

và tái tạo mô hình 3D có tồn tại đặc trưng là khuôn mặt Các bước thực hiện tái tạo và nhận dạng được mô tả trong lưu đồ hình 3.1 Hình 3.8 mô tả một số ảnh từ thư viện của [2] được sử dụng trong quá trình tái tạo mô hình

Hình 3.8: Ảnh 2D/3D của khuôn mặt Buddha được tái tạo 3D và Độ cong

được trích lọc và ánh xạ sang tập điểm 2D

Thử nghiệm thứ nhất: đề xuất tái tạo mô hình và tự tạo một mặt nạ nhi phân (bằng tay) sau đó trích xuất tập điểm đặc trưng trên mô hình 3D dựa trên mặt nạ nhị phân Với kết quả thử nghiệm dựa trên mặt nạ nhị phân trích lọc tập điểm 3D tương đồng, ở thử nghiệm này một mặt nạ nhị phân được tạo dựa trên một ảnh chính và thủ công

Hình 3.9 Kết quả phép chiếu chú thích từ ảnh sang mô hình

Thử nghiệm thứ hai, Với mô hình sau khi tái tạo thực hiện xác định, trích lọc độ cong bề mặt của tập đám mây điểm Tập điểm 3D sau khi trích lọc được ánh xạ sang tập điểm 2D dựa trên cơ sở tập điểm bất biến của các điểm ảnh mà đã tham gia vào giai đoạn tái tạo Mỗi pixel được đánh dấu là pixel có màu trắng ngược lại màu đen Và được xem như là một mặt nạ nhị phân được

mô tả như hình trái xem hình 3.11 Ảnh nhị phân thu được thực hiện giảm nhiễu, phân hoạch và đánh dấu các khu vực đặc trưng trên ảnh Như phương pháp đã đề xuất sử dụng thuật toán và mô hình đã huấn luyện của Zhu Kết quả gán nhãn xem hình 3.11, trong đó hình bên trái sử dụng mô hình huấn luyện nhận dạng cho khuôn mặt và hình phải mỗi màu được đánh dấu và gán nhãn chú thích ngữ nghĩa

Hình 3.11: Đánh dấu vị trí đặc trưng trên khuôn mặt (hình trái), gán nhãn

cho từng vị trí tương ứng (hình phải)

Trong quá trình tái tạo mô hình, tập điểm đặc trưng đều được lưu trữ và được liên kết với điểm 3D của mô hình Với đặc điểm đó, mặt nạ nhị phân vừa được tạo ra thực hiện trích lọc (truy vết ngược) các điểm 3D tương đồng Tập điểm 3D này được xem là mặt nạ nhị phân của mô hình Hình 3.12 là kết quả của khuôn mặt tượng được chú thích dựa trên mặt nạ 3D