Tái tạo và phân mảnh các bộ phận trên mô hình 3D từ tập ảnh

Bài viết này trình bày một phương pháp tái tạo từ tập dữ liệu ảnh 2D được chụp xung quanh đối tượng. Sau khi tái tạo xong, thực hiện phân mảnh các bộ phận mô hình 3D. Phương pháp đề xuất gồm hai giai đoạn chính, từ tập dữ liệu hình ảnh tiến hành phân tích các đặc trưng tập điểm bất biến, xác định hướng ảnh chụp và tái tạo mô hình 3D; Từ mô hình 3D tái tạo được tiến hành tính toán độ cong bề mặt đối tượng dựa trên cơ sở pháp tuyến tại các điểm bề mặt.

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR), Nha Trang, ngày 8-9/10/2020 DOI: 10.15625/vap.2020.00211 TÁI TẠO VÀ PHÂN MẢNH CÁC BỘ PHẬN TRÊN MƠ HÌNH 3D TỪ TẬP ẢNH Lê Tiến Mẫu1, Nguyễn Tấn Khôi2, Romain Raffin3 Trường Cao đẳng Quảng Ngãi Đại học Bách khoa - Đại học Đà Nẵng Trường Đại học Aix-Marseille & LSIS UMR7296, Pháp tienmauqn@gmail.com; ntkhoi@dut.udn.vn; romain.raffin@univ-amu.fr TĨM TẮT: Bài báo trình bày phương pháp tái tạo từ tập liệu ảnh 2D chụp xung quanh đối tượng Sau tái tạo xong, thực phân mảnh phận mơ hình 3D Phương pháp đề xuất gồm hai giai đoạn chính, từ tập liệu hình ảnh tiến hành phân tích đặc trưng tập điểm bất biến, xác định hướng ảnh chụp tái tạo mơ hình 3D; từ mơ hình 3D tái tạo tiến hành tính tốn độ cong bề mặt đối tượng dựa sở pháp tuyến điểm bề mặt Từ độ cong tính tốn được, thực gom nhóm điểm có độ cong gần để phân tách thành phận mơ hình vật thể 3D Kết sau phân tách phận mơ hình 3D tái tạo dùng phân tích, đánh giá đối tượng 3D, định danh phận đối tượng, nhằm phục vụ lĩnh vực phục hồi các di tích khảo cổ, ứng dụng phân tích hình ảnh y tế, nhận dạng đối tượng, công nghệ in 3D,… Bài báo sử dụng liệu thu thập từ Bảo tàng Điêu khắc Chămpa Đà Nẵng Khu di tích Mỹ Sơn, Quảng Nam, tiến hành thực nghiệm phương pháp đề xuất Từ khóa: Tái tạo, mơ hình 3D, phân đoạn, độ cong, bề mặt, Chămpa, Mỹ Sơn I GIỚI THIỆU Hiện nay, việc ứng dụng sản phẩm cách mạng 4.0 để bảo tồn, phục dựng quảng bá giá trị di sản văn hóa phát triển mạnh mẽ Hướng nghiên cứu tái tạo mơ hình, mẫu vật 3D nhiều nhà nghiên cứu tổ chức quan tâm nghiên cứu Các mơ hình 3D tái tạo ứng dụng rộng rãi nhiều lĩnh vực khác y học, kiến trúc đặc biệt bảo tồn di tích khảo cổ cách số hóa liệu di tích, cổ vật để lưu trữ hay trình diễn,… [6, 14, 17] Mơ hình 3D giúp quan sát đối tượng nhiều góc độ khác nhau, từ tổng thể chi đến chi tiết cho phép phân tích đối tượng theo nhiều tiêu chí khác Đã có nhiều phương pháp, cơng cụ để tái tạo mơ hình, mẫu vật nhiều cách khác sử dụng máy quét, chụp cộng hưởng từ, tái tạo từ hay nhiều ảnh 2D [2, 5, 9] Các kết sử dụng để trình diễn, phân tích, phân đoạn hay nhận dạng lại đối tượng,… Vấn đề đặt nhu cầu số hóa đối tượng cổ nhằm bảo tồn di sản cao Về lĩnh vực bảo tồn, phục dựng di sản văn hóa vật thể, ứng dụng công nghệ 3D coi hướng tiếp cận tốt để phục dựng di vật, cổ vật cơng trình kiến trúc nghệ thuật di tích bị xuống cấp, bị hủy hoại khí hậu thời gian, bảo tồn phát huy giá trị di tích Một số địa di sản tiếng miền Trung Việt Nam Bảo tàng Mỹ thuật Cung đình Huế, Bảo tàng Điêu khắc Chămpa - Đà Nẵng, tượng cổ Tây Nguyên,… Xuất phát từ nhu cầu thiết thực cần tái tạo đối tượng 3D từ di tích khảo cổ, phân tích định danh phận đối tượng tái tạo nhằm phục vụ công tác tu bổ, bảo tồn xây dựng sở liệu phục vụ công tác quản lý, nghiên cứu đề xuất hướng tái tạo mơ hình 3D từ tập ảnh chụp 2D phân đoạn phận đối tượng 3D dựa vào phân tích đặc trưng chúng Kết thu báo bước đầu tái tạo xác định mối quan hệ đặc trưng ảnh mơ hình 3D, đồng thời sở để phân tích trưng ngữ nghĩa mơ hình 3D Kết phục vụ q trình số hóa, lưu trữ bảo tồn di tích Dữ liệu thu thập từ nguồn tượng cổ Bảo tàng Điêu khắc Chămpa Đà Nẵng Di tích Thánh địa Mỹ Sơn phục vụ cho kiểm tra đánh giá phương pháp đề xuất Cấu trúc báo bao gồm phần sau: Phần I giới thiệu tổng quan, phần II giới thiệu số nghiên cứu liên quan đến tái tạo mơ hình 3D phương pháp phân đoạn mơ hình 3D Trong phần III đề xuất phương pháp thu thập liệu 2D để tái tạo mơ hình kết hợp sử dụng phương pháp phân tích đặc trưng tập điểm 3D sơ pháp tuyến độ cong bề mặt để phân đoạn mơ hình Phần IV mơ tả kết thử nghiệm với liệu tượng Chămpa Mỹ Sơn Phần V kết luận thảo luận II CÁC NGHIÊN CỨU LIÊN QUAN Hiện nay, phương pháp phổ biến kết hợp đồng thời việc sử dụng máy quét cảm biến để tái tạo phân tích mơ hình đối tượng 3D Tuy nhiên thiết bị thường có giá thành cao Như [7] đưa máy quét thời gian thực dựa máy quay phim máy chiếu để tái tạo mô hình đối tượng cho di sản văn hóa Và [2, 13] đề xuất phương pháp sở khai thác ảnh chụp Một số tiếp cận khác tái tạo đối tượng 3D sở từ tập ảnh thu thập từ nhiều nguồn khác đối tượng, phương pháp tái tạo phụ thuộc vào máy móc chi phí thường lớn nghiên cứu dừng mơ hình 3D tạo [6, 13] khơng hỗ trợ cho việc phân tích thành phần đối tượng 3D sau tái tạo Phương pháp phân đoạn đối tượng 3D nhiều nghiên cứu quan tâm phương pháp thuật toán, kết ứng dụng rộng rãi việc nhận biết thành phần cấu thành nên đối tượng [11] Trong nghiên cứu [19] sử dụng kỹ thuật gom cụm theo dòng quét để chia chúng vào dòng đường cong tương tự biểu diễn bề Lê Tiến Mẫu, Nguyễn Tấn Khôi, Romain Raffin 541 mặt tập điểm Với phương pháp sử dụng đường cong bề mặt, dòng quét để phân cụm thường có nhược điểm với liệu nhiễu Một số phương pháp tái tạo phân đoạn dựa vào máy quét đo lường kết cấu bề mặt để phân đoạn [19] đề xuất phương pháp phân đoạn tái tạo bề mặt địa hình dựa thuộc tính đặc trưng cục tập điểm láng giềng kết hợp với phương pháp tạo lưới tam giác bề mặt tập điểm Một số phương pháp thu thập liệu chụp ảnh cắt lớp, ảnh từ phương pháp phổ biến tái tạo sử dụng máy scan Những phương pháp thu kết có độ xác cao, nhiên khó khăn phải trang bị phương tiện, máy móc phần mềm tương ứng Các hướng tiếp cận tái tạo số hóa liệu từ thiết bị thương mại thường có chi phí cao, khơng có tính mở để phân tích xử lý đối tượng sau xử lý Phương pháp tái tạo đối tượng 3D từ tập ảnh 2D chụp từ nhiều góc độ khác thực thể đó, sau sử dụng phép biến đổi hình học, phép chiếu,… kỹ thuật tái tạo đối tượng 3D để tạo nên hình ảnh 3D thực thể Để thực điều này, ta cần phải trích chọn tập điểm đặc trưng ảnh 2D so khớp điểm đặc trưng tập ảnh 2D với Điều định độ xác mơ hình 3D tái tạo Trong báo tiếp cận theo hướng sử dụng chụp ảnh 2D cho đối tượng để tái tạo đối tượng 3D, sau tiến hành phân đoạn dựa vào đặc trưng, tính chất hình học đối tượng phân tích đánh giá kết III PHƯƠNG PHÁP ĐỀ XUẤT Trong báo đề xuất phương pháp tái tạo mơ hình 3D từ tập liệu ảnh 2D chụp phân mảnh phận đối tượng dựa theo phân tích đặc trưng hình học Phương pháp đề xuất bao gồm bước chính, mơ tả hình Bước 1: Thu thập tiền xử lý liệu liên quan đến việc tái tạo mơ hình 3D cho đối tượng Giai đoạn liệu thu nhận cách chụp ảnh vòng quanh đối tượng Bước 2: Tiến hành thực phân tích đặc trưng bất biến ảnh, so khớp điểm, thuộc tính bất biến Kế tiếp xác định lại vị trí ảnh chụp để lập đồ độ sâu ảnh tái tạo mơ hình 3D cho đối tượng Bước 3: Phân tích thuộc tính hình học cho đối tượng 3D tái tạo Các thuộc tính bao gồm vectơ pháp tuyến, độ cong điểm ảnh dựa vào phương pháp phân tích thành phần mặt phẳng tiếp tuyến cục Dựa tập liệu hình học đối tượng, báo sử dụng thuật toán mở rộng vùng để gom cụm nhóm điểm có đặc trưng tương tự thành cụm đánh dấu THU THẬP DỮ LIỆU ẢNH TÁI TẠO MƠ HÌNH 3D PHÂN MẢNH ĐỐI TƯỢNG 3D Hình Các giai đoạn xử lý A Bước 1: Thu thập tiền xử lý liệu ảnh 2D Dữ liệu thu thập sử dụng trình thử nghiệm cách chụp ảnh xung quanh tượng, sử dụng máy ảnh thông thường để chụp ảnh Chúng tiến hành khảo sát lựa chọn số tượng tiêu biểu Bảo tàng Điêu khắc Chăm Đà Nẵng Khu Di tích Thánh địa Mỹ Sơn để tiến hành tạo liệu ảnh 2D Hình Vị trí camera chụp ảnh thu thập liệu Yêu cầu kỹ thuật q trình chụp ảnh đóng vai trị quan trọng kết tái tạo Để nâng cao độ xác, cặp ảnh chụp gần phải có chung vùng liệu, máy ảnh cần thiết lập tham số độ sáng, tiêu cự, độ tốc độ hạn chế thay đổi [13] Hình minh họa số ảnh 2D chụp liên tiếp xung quanh tượng đối tượng Bảo tàng Điêu khắc Chămpa Đà Nẵng TÁI TẠO VÀ PHÂN MẢNH CÁC BỘ PHẬN TRÊN MƠ HÌNH 3D TỪ TẬP ẢNH 542 Hình Các ảnh chụp liên tiếp xung quanh Tượng Mỹ Sơn để thu thập liệu B Bước Xử lý tái tạo mơ hình 3D Tái tạo 3D từ nhiều ảnh trình tạo mơ hình 3D dựa thơng tin phân tích từ tập ảnh Đây trình xử lý ngược thu ảnh 2D từ cảnh 3D Bản chất hình ảnh phép chiếu từ cảnh 3D mặt phẳng 2D, suốt trình xử lý độ sâu cảnh loại bỏ Điểm 3D tương ứng với điểm ảnh giới hạn đường thẳng ngắm Từ ảnh đơn lẻ khơng thể xác định điểm đường thẳng tương ứng đến điểm ảnh Nếu có ảnh, vị trí điểm 3D tìm thấy giao điểm hai tia chiếu Việc xử lý đề cập đỉnh hai cạnh tam giác Để tái tạo 3D từ tập ảnh báo sử dụng thư viện [13] kết hợp phương pháp truy vết ngược để xác định mối liên hệ tập điểm đặc trưng bất biến tập ảnh 2D mơ hình 3D tương ứng Xác định tập điểm đặc trưng bất biến: Để phát điểm bất biến tương ứng cho tập ảnh, báo sử dụng thuật toán SIFT (Scale-Invariant Feature Transform) Ý tưởng thuật tốn từ ảnh liệu 2D, tìm điểm ảnh đặc biệt (feature point hay keypoint) [4] Để phân biệt điểm ảnh đặc biệt với nhau, ta sử dụng tham số mô tả (descriptor) cho điểm ảnh, chuỗi số gồm 128 số ứng với vector 128 chiều Các điểm ảnh đặc biệt khác có giá trị tham số mơ tả Sau áp dụng biến đổi SIFT, ứng với keypoint, thu giá trị keypoint, giá trị descriptor giá trị scale orientation keypoint Hình biểu diễn kết xác định tập điểm đặc trưng bất biến hai ảnh Quá trình phát điểm bất biến theo thuật tốn thuật tốn SIFT mơ tả sau: 1) Tìm cực trị khơng gian đo, xác định hàm không gian tỷ lệ ảnh L ( x, y , σ ) xác định tích chập hàm Gaussian ảnh gốc I ( x, y ) L ( x , y , σ ) = G ( x , y , kσ ) * I ( x , y ) đó: G ( x, y , kσ ) = 2πσ e − ( x2 + y ) 2σ (1) ; I (x, y): Ảnh đầu vào; L(x, y, σ): Hàm không gian tỷ lệ ảnh; σ: tham số tỷ lệ Để xác định điểm đặc trưng bất biến, điểm phụ thuộc vào giá trị co giãn xoay ảnh, thuật toán sử dụng hàm DoG (Difference-of-Gaussian) để tính tốn sai khác hai không gian đo, hàm ký hiệu D(x, y, σ) xác định sau: D ( x, y , σ ) = (G( x, y , kσ ) − G( x, y , σ )) * I( x, y ) = L ( x, y , kσ ) − L ( x, y , σ ) (2) 2) Lọc loại bỏ điểm tương phản kém, điểm dư thừa theo biên trích xuất điểm đặc trưng tiềm 3) Gán hướng cho điểm đặc trưng (với mẫu ảnh L(x, y), gọi hai giá trị m( x, y ), θ (x, y) tương ứng độ dốc hướng xác định: m( x, y ) = ( L ( x + 1, y ) − L ( x − 1, y )) + ( L ( x, y + 1) − L ( x, y − 1))  L ( x, y + 1) − L ( x, y − 1)    L ( x + 1, y ) − L ( x − 1, y )  θ ( x, y ) = tan  −1 (3) (4) 4) Mô tả, gán tọa độ kích thước điểm đặc trưng Sau thu thập tập điểm đặc trưng ảnh, sử dụng phương pháp đối sánh cặp điểm để xác định cặp điểm tương đồng cho cặp ảnh Hình minh họa cặp điểm tương đồng ảnh Hình Điểm đặc trưng tương đồng ảnh Lê Tiến Mẫu, Nguyễn Tấn Khôi, Romain Raffin 543 Kết giai đoạn thu tập điểm đặc trưng tương ứng cho ảnh cặp ảnh Đây sở để xác định hướng vị trí tương đối ảnh chụp cung cấp thông tin cho giai đoạn tái tạo đối tượng 3D Xác định hướng ảnh từ tập điểm đặc trưng: Ở giai đoạn ta cần xác định hướng vị trí đặt camera ảnh từ tập điểm đặc trưng bất biến cặp điểm tương đồng cặp ảnh Do tập ảnh thu từ vị trí hướng khác góc chụp, điểm đặc trưng cung cấp thơng tin hữu ích việc xác định vị trí hướng ảnh tương ứng với góc chụp Chúng đề xuất sử dụng phương pháp xác định hướng ảnh với ảnh chính, phương pháp có hai giai đoạn mơ tả [1, 13] sau: 1) Chọn ảnh chính, thực đệ quy ghép cặp ảnh với ảnh chính; hướng ảnh thu tốt xác định ma trận đồng giảm tỉ lệ ảnh thuật toán RANSAC Với bước thực phải điều chỉnh để tránh việc tích lũy lỗi 2) Tính tổng bình phương bé cho tất tham số, điểm đặc trưng ảnh lỗi giải pháp trước Trong đó, ảnh lỗi điểm sai khác tọa độ điểm đặc trưng phép chiếu ngược ảnh Kết trình cho phép rút trích thơng tin hướng vị trí máy ảnh từ ảnh liệu Hình mơ tả vị trí chụp ảnh, tái mơ hình 3D Hình Rút trích thơng tin vị trí ảnh thu trình chụp Tái tạo vật thể 3D từ tập liệu 2D: Tái tạo thu thập liệu 3D trình tạo mơ hình 3D, giai đoạn phục hồi thông tin độ sâu cho tập điểm ảnh đặc trưng Ta cần xây dựng đồ độ sâu ảnh chứa điểm ảnh (pixel) biểu diễn độ sâu tương ứng với điểm nhìn 3D từ điểm nhìn ảnh Từ tập đồ độ sâu chuyển đổi trực tiếp sang tập điểm 3D tương ứng, điểm 3D sau tái tạo liên kết với điểm ảnh ảnh tương ứng Từ ta có đồ hệ số tương quan cặp ảnh để tính tốn độ sâu cho điểm ảnh đồ độ sâu Các bước xử lý q trình tái tạo vật thể 3D từ tập liệu 2D [1, 13, 10] mô tả sau: 1) Chọn hướng vị trí camera thu từ giai đoạn xử lý trước xác định ảnh phù hợp; 2) Tính tốn đo lường cho điểm có khả khơng gian (đó tổng hệ số tương quan cho cặp ảnh); 3) Trích xuất bề mặt đối tượng cách tiếp cận lượng tối thiểu tồn khơng gian làm mịn theo thứ tự để đồng bề mặt đối tượng Kết giai đoạn tập điểm 3D điểm 3D tạo từ tập điểm bất biến SIFT chứa thông tin độ sâu cho điểm ảnh Từ tập điểm cho phép mô tả hình dạng, cấu trúc đối tượng khơng gian C Bước 3: Phân mảnh đối tượng 3D Tính độ cong pháp tuyến tập điểm 3D: Tập điểm mơ hình 3D tái tạo từ đối tượng tập điểm khơng có cấu trúc chúng điểm khơng có mối liên hệ lẫn mặt hình học, giá trị độ cong bề mặt, pháp tuyến điểm tập điểm Từ sở để phân đoạn, phân tích đối tượng 3D Độ cong, pháp tuyến điểm bề mặt tập điểm tính theo phương pháp xấp xỉ bề mặt sử dụng tập điểm láng giềng [12, 16, 18] Giá trị độ cong pháp tuyến điểm thể tích chất, thuộc tính cục điểm bề mặt, vùng cục Dựa kết tính tốn, cho phép phân tích tính chất hình học đối tượng 3D 1, 𝑁 tập điểm 3D khơng gian mơ hình đối tượng, gọi pq điểm Cho 𝑃 = {𝑥𝑖 , 𝑦𝑖 , 𝑧𝑖 }, 𝑖 = ����� 1, 𝑘 gọi k điểm láng giềng pq Sử dụng phương pháp bình tập điểm P, ta có 𝑃𝑘 = {𝑥𝑖 , 𝑦𝑖 , 𝑧𝑖 }, 𝑖 = ����� phương bé để xác định mặt phẳng tiếp tuyến cục [18, 9], nghĩa bề mặt tiếp tuyến k điểm láng giềng Mặt phẳng tiếp tuyến S xác định thông qua điểm x vectơ pháp tuyến 𝑛�⃗𝑥 , với điểm pi∈ Pk, khoảng cách từ pi đến mặt phẳng S xác định theo công thức: 𝑑𝑖 = (𝑝𝑖 − 𝑥) ∙ 𝑛�⃗𝑥 TÁI TẠO VÀ PHÂN MẢNH CÁC BỘ PHẬN TRÊN MƠ HÌNH 3D TỪ TẬP ẢNH 544 Nếu giá trị 𝑑𝑖 = mặt phẳng tiếp tuyến S nhận giá trị khớp so với tập k điểm láng giềng Để xác  định giá trị vectơ 𝑛�⃗𝑥 cần phân tích giá trị riêng λ j ∈  vectơ riêng v j , ( j = 0,1, 2) ma trân hiệp phương sai C   x tạo thành từ tập điểm 𝑝𝑖 ∈ 𝑃𝑘 (6): k C = ∑ (p i − p).(p i − p)T k i =1 đó, p tâm tập điểm láng giềng Pk, k số điểm láng giềng 𝑝𝑖 : p = (5) k ∑p k i i =1 Giá trị vectơ riêng v0 tương ứng với giá trị riêng λ0 = min(λ j ),(j = 0,2) , giá trị vectơ riêng tương ứng với vectơ pháp tuyến 𝑛�⃗ bề mặt Gọi  = {c1 ,c2 , ,cN } với ci độ cong điểm pi tính (6), ci = λ0 ∑λ j =0 j , i = 1, N (6) Kết giai đoạn pháp tuyến độ cong điểm tập điểm 3D xác định, giá trị sử dụng giá trị khởi tạo việc phân đoạn mơ hình giai đoạn Phân đoạn đối tượng 3D: Ý tưởng thuật toán phân đoạn đối tượng 3D tạo cụm riêng biệt cụm tách, đánh dấu hay gán nhãn sở nhóm điểm có thuộc tính, tính chất Để xác định thuộc tính điểm chúng tơi dựa vào đặc trưng chúng, báo cáo dựa vào hai giá trị độ cong vectơ pháp tuyến tương ứng điểm tập điểm Kết quả, đầu thuật toán tập hợp cụm, cụm tập hợp điểm coi phần đối tượng Nếu xét tính tương đối cụm có thuộc tính, tính chất mơ hình đối tượng 3D giá trị chúng không Giả sử để phân đoạn tập điểm mô hình 3D 𝑃 thành 𝑚 cụm 𝑅 = {𝑅1 , 𝑅2 , … , 𝑅𝑚 } cụm thỏa số điều kiện thuật toán phân cụm như: m R = P i (a) i=1 (b) Ri cụm thứ i, i = 1,m R  R j = ,  i  j (c) i (d) P(R )=True i = 1,m i P(Ri  R j ) = False,  i  j (e) Trong đó, tính chất (a) hợp tất các điểm cụm thuộc tập điểm 3D, P(Ri) điểm cụm có thuộc tính, tính chất Chúng sử dụng giá trị pháp tuyến độ cong điểm P để xác định cụm tương ứng cho điểm Ý tưởng thuật toán [9] chọn điểm xem tìm thêm vào hàng đợi Với triển vọng chọn tìm tất điểm láng giềng tương ứng chúng Với điểm láng giềng tìm kiểm tra góc tạo pháp tuyến với pháp tuyến điểm tiềm Nếu góc tạo chúng nhỏ ngưỡng αth thêm vào cụm xét Sau với điểm láng giềng kiểm giá trị độ cong, giá trị độ cong nhỏ ngưỡng cth thêm điểm xét vào hàng đợi tiềm cuối loại bỏ xét khỏi hàng đợi Trong góc tạo vectơ   -1 pháp tuyến bề mặt điểm tiềm xác định theo công thức: cos ( n,nx )  th Các bước thuật tốn phân đoạn đối tượng 3D mơ tả sau: Đầu vào: Tập điểm 3D, tập vectơ pháp tuyến, tập giá trị độ cong, ngưỡng độ cong trung bình, góc ngưỡng αth Đầu ra: Các cụm điểm ảnh tô màu đánh dấu phân đoạn Mô tả thuật toán: 1) Khởi tạo tập cụm rỗng, hàng đợi L gồm tập điểm 3D 2) Chọn điểm Pmin có giá trị độ cong nhỏ tập điểm L, đưa vào cụm xét loại bỏ điểm hàng đợi L 3) Tìm k điểm láng giềng điểm Pmin , tính góc tạo pháp tuyến điểm Pmin vừa chọn với điểm láng giềng Nếu góc tạo pháp tuyến điểm Pmin chọn điểm láng giềng nhỏ ngưỡng αth chọn điểm láng giềng vào cụm xét Nếu giá trị độ cong điểm xét nhỏ ngưỡng cth điểm chọn vào hàng đợi K 4) Lặp lại bước (3) hàng đợi K rỗng 5) Tạo cụm lặp lại bước (2) giá trị tập điểm L rỗng Lê Tiến Mẫu, Nguyễn Tấn Khôi, Romain Raffin 545 Kết sau thực thuật tốn ta có tập điểm gom cụm gán nhãn tương ứng Ở gán màu đặc trưng cho cụm Ri thu nhằm phân biệt cụm khác IV KẾT QUẢ THỬ NGHIỆM Để thử nghiệm với phương pháp đề xuất tiến hành khảo sát chụp ảnh xung quanh tượng thực tế từ Bảo tàng Điêu khắc Chămpa Đà Nẵng Khu Di tích Mỹ Sơn Quảng Nam Thông tin tập liệu ảnh chụp bảng 1, từ liệu báo tiến hành tái tạo mơ hình tương ứng Trong Bảng thống kê số ảnh chụp thu nhận đối tượng số liệu mẫu sử dụng trình tái tạo Bảng Thống kê số điểm 3D số cụm thu sau phân đoạn STT Tượng Nữ thần Shiva Phụ nữ Việt Nam Số ảnh chụp Số điểm 3D Số cụm phân đoạn 20 170601 39 scan 125432 17 Tượng Mỹ Sơn 37 216719 48 Tượng Chămpa 25 244694 30 Phù điêu Vishnu 35 284119 16 Nữ thần Siva 27 204693 37 Dựa vào phương pháp đề xuất, trình thực nghiệm bao gồm hai giai đoạn xử lý Ở giai đoạn thứ nhất, thực tái tạo mơ hình 3D tương ứng với liệu ảnh mẫu Hình 6a hiển thị ảnh chụp với vị trí chụp khác quanh tượng nữ thần Shiva Bảo tàng Điêu khắc Chămpa Đà Nẵng mơ hình 3D tái tạo (Hình 6b) (a) Một số ảnh chụp với vị trí khác tượng Nữ thần Shiva (b) Kết tái tạo 3D tượng Nữ thần Shiva với góc nhìn khác Hình Dữ liệu ảnh chụp mơ hình tái tạo 3D tượng Nữ thần Shiva Hình 7a hiển thị ảnh chụp với vị trí chụp khác quanh tượng Khu Di tích Thánh địa Mỹ Sơn Quảng Nam mơ hình 3D tái tạo (Hình 7b) (a) Dữ liệu ảnh 2D tượng Thần Khu Di tích Thánh địa Mỹ Sơn chụp từ nhiều vị trí khác (b) Kết tái tạo 3D tượng Thần với góc nhìn khác Hình Dữ liệu ảnh chụp mơ hình 3D tái tạo Tượng Mỹ Sơn Ở giai đoạn thứ hai, thực phân mảnh đối tượng 3D tái tạo Với tập điểm 3D đối tượng tiến hành xác định độ cong, vectơ phát tuyến tương ứng cho điểm mơ hình với tham số sử dụng [9], [18], [16] Kết thử nghiệm thu sau phân đoạn tương ứng Bảng 2, mô tả số điểm thu sau tái tạo mơ hình, tượng cô gái Việt nam sử dụng máy quét (scan) để thu nhận mơ hình 3D, cột thứ tư cho biết số cụm thu sau phân đoạn Hình trình bày kết phân đoạn cho đối tượng 3D tái tạo (Bảng 2) Kết phân mảnh cho đối tượng trình bày cột, màu mơ hình cụm nhận dạng TÁI TẠO VÀ PHÂN MẢNH CÁC BỘ PHẬN TRÊN MƠ HÌNH 3D TỪ TẬP ẢNH 546 Tượng Mỹ Sơn Tượng Chămpa Tượng Nữ thần Shiva Phù điêu Vishnu Phụ nữ Việt Nam Tượng nữ Thần Siva Hình Kết phân mảnh cho mơ hình 3D tái tạo Từ kết thực nghiệm hình cho thấy phân mảnh phận đối tượng 3D Mỗi phận đối tượng xác định tập điểm màu có đường viền Từ ta trích xuất mảnh 3D riêng để thực trình diễn, quan sát, lắp ghép,… Tuy nhiên tập điểm thu có giá trị nhiễu nhiều, lý tạo nhiều phân mảnh nhỏ Do cần thêm bước xử lý gộp mảnh nhỏ vào mảnh lớn Kết phân mảnh phụ thuộc vào hình dạng đối tượng lấy mẫu Như kết Phù điêu Vishnu tượng khác, bề mặt tượng mịn nhiễu kết thu phân hoạch rõ ràng số cụm thu nhỏ Tương tự, tượng Phụ nữ Việt Nam scan để tạo mơ hình, kết phân mảnh phận thân hình, đầu, tóc rõ chi tiết Nhưng với tượng nữ thần Shiva có nhiều chi tiết nhỏ nên liệu bị nhiễu nhiều kết phân mảnh thu nhiều mảnh nhỏ, không liên tục V KẾT LUẬN VÀ THẢO LUẬN Kỹ thuật số hóa đối tượng cổ nhằm bảo tồn di sản cao cho phép thu thập hình ảnh cơng trình, vật khơng gian ba chiều với chi tiết tỷ lệ xác cao, ứng dụng rộng rãi phục chế theo kích thước, tỷ lệ, hình thức vốn có Trong báo này, giới thiệu đề xuất giải pháp kết hợp tái tạo mơ hình phân đoạn đối tượng 3D Trên sở kết hợp xử lý đồng thời tái tạo mơ hình phân đoạn đối tượng 3D Kết báo bước đầu thu thập ảnh tái tạo thành công số tượng Chămpa cổ bảo tàng Đà Nẵng di tích Mỹ Sơn Đây sở để phân đoạn, nhận dạng phân tích phận đối tượng phục vụ số hóa lưu trữ bảo tồn Lê Tiến Mẫu, Nguyễn Tấn Khôi, Romain Raffin 547 Hướng phát triển theo cách tiếp cận là xử lý giảm nhiễu làm mịn bề mặt để việc phân mảnh xác, phục vụ số hóa lưu trữ liệu, tiếp tục tái tạo đối tượng 3D từ tập ảnh cho đối tượng khác từ liệu ảnh thu thập từ nhiều nguồn khác tiến hành phân đoạn, nhận dạng phân tích ngữ nghĩa, gán nhãn thích đối tượng 3D Từ xây dựng liệu số hóa cho mơ hình đối tượng cụ thể thích đặc trưng mơ hình 3D tập ảnh thu TÀI LIỆU THAM KHẢO [1] “APERO: International Archives of the Photogrammetry”, Remote Sensing and Spatial Information Sciences, Volume XXXVIII-5/W16, 2011 ISPRS Trento 2011 Workshop, 2-4 March 2011, Trento, Italy [2] Christian Lindequist Larsen, "3D Reconstruction of Buildings From Images with Automatic Fac¸ade Refinement", Master’s Thesis, Vision, Graphics and Interactive Systems, 2010 [3] C Baillard, C Schmid, A Zisserman, and A Fitzgibbon, "Automatic line matching and 3D reconstruction of buildings from multiple views", In ISPRS Conference on Automatic Extraction of GIS Objects from Digital Imagery, Volume 32, pp 69-80, 1999 [4] David G Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, Volume 60 Issue 2, November 2004 [5] Ding-Yun Chen and Ming Ouhyoung, "A 3D Object Retrieval System based on Multi-Resolution Reeb Graph" Proc of Computer Graphics Workshop, 2002 [6] F Windhager et al., "Visualization of Cultural Heritage Collection Data: State of the Art and Future Challenges," in IEEE Transactions on Visualization and Computer Graphics, Vol 25, No 6, pp 2311-2330, June 2019, doi: 10.1109/TVCG.2018.2830759 [7] Ishikawa, Ryoichi & Roxas, Menandro & Sato, Yoshihiro & Oishi, Takeshi & Masuda, Takeshi & Ikeuchi, Katsushi “A 3D Reconstruction with High Density and Accuracy Using Laser Profiler and Camera Fusion System on a Rover” 620-628 10.1109/3DV.2016.70, 2016 [8] JC Torres, G Arroyo, C Romo, "3D Digitization using Structure from Motion", CEIG-Spanish Computer Graphics Conference, 2012 [9] Jovancevic, Igor & Pham, Huy-Hieu & Orteu, Jean-José & Gilblas, Rémi & Harvent, J & Maurice, Xavier & Brèthes, Ludovic “3D Point Cloud Analysis for Detection and Characterization of Defects on Airplane Exterior Surface” Journal of Nondestructive Evaluation 36 10.1007/s10921-017-0453-1, 2017 [10] Jebara, Tony, Ali Azarbayejani, and Alex Pentland "3D structure from 2D motion, Signal Processing Magazine", IEEE 16.3, pp 66-84, 1999 [11] Lin, Xiangguo & Zhang, Jixian “Segmentation-Based Filtering of Airborne LiDAR Point Clouds by Progressive Densification of Terrain Segments” Remote Sensing 1294-1326, 2014 [12] M Le-Tien, K Nguyen-Tan and R Raffin, "A Method to Determine the Characteristic of Object Based on 2D/3D Correspondance", IEEE-RIVF International Conference on Computing and Communication Technologies (RIVF), Danang, Vietnam, 2019 [13] MicMac, Apero, Pastis and Other Beverages in a Nutshell, 2015 [14] SF El-Hakim, JA Beraldin, M Picard, "Detailed 3D reconstruction of large-scale heritage sites with integrated techniques", Computer Graphics and Applications, IEEE Volume 24, Issue 3, pp 21-29, 2004 [15] Park, Hyun Soo, et al, "3D Trajectory Reconstruction under Perspective Projection", International Journal of Computer Vision, pp 1-21, 2015 [16] Pauly, M., Gross, M., Kobbelt, L P.: “Efficient simplification of point-sampled surfaces” In: Proceedings of the conference on Visualization’02, pp 163-170 IEEE Computer Society, 2002 [17] Rodríguez-Gonzálvez, P.; Moz-Nieto, A L.; del Pozo, S.; et al “4D Reconstruction of Cultural Heritage Sites” In Latest Developments in Reality-Based 3D Surveying and Modelling; MDPI: Basel, Switzerland, pp 119-140, 2018 [18] Rusu, R B., Cousins, S.: “3D is here: Point Cloud Library (PCL)” In: IEEE International Conference on Robotics and Automation (ICRA) Shanghai, China, 2011 [19] S Filin, “Surface clustering from airborne laser scanning data” International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, pp.117124, 2001 [20] Y Li, X Wu, Y Chrysathou, A Sharf, D Cohenor, N.J Mitra, “Globfit:Consistently fitting primitives by discovering global relations” ACMTrans Graph, 2013 548 TÁI TẠO VÀ PHÂN MẢNH CÁC BỘ PHẬN TRÊN MƠ HÌNH 3D TỪ TẬP ẢNH 3D RECONSTRUCTION AND SEGMENTATION FROM IMAGES Le Tien Mau, Nguyen Tan Khoi, Romain Raffin ABSTRACT - This paper aims at presenting a method of segmentation of 3D objects This object is reconstructed based on a 2D image dataset that was captured around the 3D object in the real world After the reconstruction phase is complete, we proceed to segmentation into 3D model parts The proposed method is composed of two main steps: analyzing the features of invariant points set from the image data set, calculating image direction and reconstructing 3D model; the next step is reconstruction of 3D model and determine curvature of the 3D object based on the 3D point normal on this object Results after segmentation will be used to analyze and evaluate 3D objects, identify segments on this object in order to use in the field of restoration of archaeological relics, applications in medical image analysis, object identification, 3D printing technology, etc We collected data from the Museum of Cham Sculpture in Da Nang and the My Son relic in Quang Nam to experiment with the proposed method  ... Xử lý tái tạo mơ hình 3D Tái tạo 3D từ nhiều ảnh trình tạo mơ hình 3D dựa thơng tin phân tích từ tập ảnh Đây trình xử lý ngược thu ảnh 2D từ cảnh 3D Bản chất hình ảnh phép chiếu từ cảnh 3D mặt... Siva Hình Kết phân mảnh cho mơ hình 3D tái tạo Từ kết thực nghiệm hình cho thấy phân mảnh phận đối tượng 3D Mỗi phận đối tượng xác định tập điểm màu có đường viền Từ ta trích xuất mảnh 3D riêng... đổi [13] Hình minh họa số ảnh 2D chụp liên tiếp xung quanh tượng đối tượng Bảo tàng Điêu khắc Chămpa Đà Nẵng TÁI TẠO VÀ PHÂN MẢNH CÁC BỘ PHẬN TRÊN MƠ HÌNH 3D TỪ TẬP ẢNH 542 Hình Các ảnh chụp