Nhận dạng các bộ phận trên đối tượng 3D dựa vào kỹ thuật học sâu Mask R-CNN

Bài viết trình bày việc tìm hiểu phương pháp tái tạo mô hình 3D từ tập dữ liệu 2D chụp xung quanh đối tượng. Từ đó phân tích, nhận dạng các thành phần của đối tượng 3D, kết hợp sử dụng phương pháp học sâu và phân đoạn tập hình ảnh 2D tương đồng. Đề xuất dựa trên mối liên hệ giữa tập điểm bất biến trên ảnh 2D và mô hình 3D, tạo các chú thích các thành phần cấu thành nên mô hình 3D và kết quả bước đầu thu nhận để tạo cơ sở dữ liệu phục vụ trong nghiên cứu, phục dựng lại các mô hình đã bị khiếm khuyết.

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR); Huế, ngày 07-08/6/2019 DOI: 10.15625/vap.2019.00045 NHẬN DẠNG CÁC BỘ PHẬN TRÊN ĐỐI TƯỢNG 3D DỰA VÀO KỸ THUẬT HỌC SÂU MASK R-CNN Lê Tiến Mẫu1, Nguyễn Tấn Khôi2, Romain Raffin3 Trường Cao đẳng Quảng Ngãi; tienmauqn@gmail.com Đại học Bách khoa - Đại học Đà Nẵng; ntkhoi@dut.udn.vn Trường Đại học Aix-Marseille & LSIS UMR7296, Pháp; romain.raffin@univ-amu.fr TĨM TẮT: Trong lĩnh vực tái tạo mơ hình 3D mẫu vật nhiều người quan tâm nghiên cứu, kết nghiên cứu tái tạo ứng dụng rộng rãi nhiều lĩnh vực khảo cổ, y tế, sản xuất thiết bị, thực ảo … Việc tái tạo, nhận dạng thành phần cấu thành nên đối tượng 3D trở thành công cụ hiệu để nghiên cứu, bảo tồn quảng bá di tích khảo cổ Trong báo này, chúng tơi tìm hiểu phương pháp tái tạo mơ hình 3D từ tập liệu 2D chụp xung quanh đối tượng Từ phân tích, nhận dạng thành phần đối tượng 3D, kết hợp sử dụng phương pháp học sâu phân đoạn tập hình ảnh 2D tương đồng Đề xuất dựa mối liên hệ tập điểm bất biến ảnh 2D mơ hình 3D, tạo thích thành phần cấu thành nên mơ hình 3D kết bước đầu thu nhận để tạo sở liệu phục vụ nghiên cứu, phục dựng lại mơ hình bị khiếm khuyết Từ khóa: Tái tạo 3D, mơ hình 3D, học sâu, phân đoạn 2D, thích 2D/3D, phân đoạn 3D, Mask R-CNN I GIỚI THIỆU Hiện nay, với phát triển đồ họa máy tính cơng nghệ thực ảo, hướng nghiên cứu tái tạo mô hình, mẫu vật 3D nhiều cơng ty tổ chức quan tâm phát triển thuật tốn phương pháp Các mơ hình 3D tái tạo ứng dụng rộng rãi nhiều lĩnh vực khác y học, kiến trúc đặc biệt bảo tồn di tích khảo cổ cách số hóa liệu di tích, cổ vật để lưu trữ hay làm hướng dẫn viên ảo [1,3] Có nhiều nghiên cứu đề xuất phương pháp tái tạo mơ hình, mẫu vật nhiều cách khác sử dụng máy quét, chụp cộng hưởng từ, laser, hay tái tạo từ hay nhiều ảnh 2D [10, 11, 14, 15] Các kết sử dụng để phân tích, phân đoạn hay nhận dạng đối tượng Tuy nhiên nghiên cứu chủ yếu thu nhận thông tin mơ hình 3D mà chưa có kết hợp xử lý thu nhận thông tin từ liệu ảnh đầu vào, hay kết hợp ảnh để phân tích nhận dạng mơ hình Ngồi ra, lĩnh vực nghiên cứu phổ biến đề xuất kỹ thuật cho phép máy tính tự học để giải vấn đề nhận dạng hình ảnh, nhận đạng đối tượng video “Học máy” (Machine learning) thuộc lĩnh vực trí tuệ nhân tạo Các kết nghiên cứu ứng dụng y tế, phân tích tài hay truy vết đối tượng Các nghiên cứu dựa học máy sử dụng việc phân tích, xử lý phân đoạn hình ảnh, trích xuất thơng tin từ liệu ảnh 2D thu kết cao [7, 21] Hai hướng nghiên cứu theo hai hướng tiếp cận khác nhau, xử lý liệu mơ hình 3D tập ảnh 2D Tuy nhiên bắt nguồn từ liệu đầu vào thực thể ảnh chụp, mơ hình 3D tập liệu 2D tồn mối quan hệ lẫn Xuất phát từ nhận xét đánh giá này, đề xuất hướng tiếp cận kết hợp xử lý trích xuất thơng tin hai chiều từ liệu 2D, 3D ngược lại để phân tích đặc trưng ngữ nghĩa 2D 3D tương ứng Bài báo giới thiệu phương pháp tái tạo 3D từ tập ảnh 2D xác định mối tương quan tập ảnh 2D mơ hình 3D đối tượng Đồng thời với việc tái tạo, sử dụng phương pháp học sâu để nhận dạng phân đoạn tập ảnh 2D Trên hai kết báo bước đầu tái tạo xác định mối quan hệ đặc trưng ảnh mơ hình 3D, đồng thời nhận dạng phân tích đặc trưng ngữ nghĩa mơ hình 3D, kết phục vụ q trình số hóa, lưu trữ bảo tồn di tích Nghiên cứu bước đầu nghiên cứu liệu khảo cổ bảo tàng Chămpa Đà Nẵng tượng di tích Mỹ Sơn, nhằm mục đích số hóa, thích ngữ nghĩa liệu Bài báo tổ chức bao gồm phần sau: phần I giới thiệu tổng quan, phần II giới thiệu số nghiên cứu liên quan đến tái tạo mô hình 3D phương pháp nhận dạng phân tích đặc trưng 2D dựa vào kỹ thuật học sâu Trong phần III, báo đề xuất phương pháp kết hợp xử lý đồng thời từ tập liệu 2D để tái tạo mơ hình nhận dạng thành phần cấu thành đối tượng Phần IV mô tả kết thử nghiệm với liệu tượng Chămpa phần V kết luận thảo luận II NỘI DUNG Đã có nhiều phương pháp tái tạo mơ hình 3D sở ảnh máy quét scan Như [11] đưa máy quét thời gian thực dựa máy quay phim máy chiếu để thị mơ hình đối tượng Và [10, 14] đề xuất phương pháp sở khai thác ảnh chụp Một số tiếp cận khác tái tạo đối tượng 3D sở từ tập ảnh thu thập từ nhiều nguồn khác đối tượng [14] Các phương pháp tái tạo phụ thuộc vào máy móc chi phí thường lớn nghiên cứu dừng mơ hình 3D tạo ra, chưa phân tích mối liên hệ ảnh, mơ hình 3D mối tương quan chúng Việc tái tạo 3D từ nhiều ảnh q trình tạo mơ hình ba chiều từ tập ảnh Đó q trình xử lý ngược thu ảnh 2D từ cảnh 3D Bản chất hình ảnh phép chiếu từ cảnh 3D mặt phẳng 2D 354 NHẬN DẠNG CÁC BỘ PHẬN TRÊN ĐỐI TƯỢNG 3D DỰA VÀO KỸ THUẬT HỌC SÂU MASK R-CNN Trong suốt trình xử lý độ sâu cảnh loại bỏ Điểm 3D tương ứng với điểm ảnh giới hạn đường thẳng ngắm [2] Từ ảnh đơn lẻ khơng thể xác định điểm đường thẳng tương ứng đến điểm ảnh Nếu có ảnh, vị trí điểm 3D tìm thấy giao điểm hai tia chiếu Việc xử lý đề cập đỉnh hai cạnh tam giác [2, 10, 3] Nhằm tăng cường kết phân tích, nhận dạng đối tượng tập ảnh 2D với độ xác cao, phương pháp phổ biến hiệu mạng nơron tích chập (Convolutional Neural Network-CNNs) Phương pháp thường sử dụng chế cửa sổ trượt để phát nhận dạng đối tượng [7, 21, 9] hay sử dụng thuộc tính đặc trưng học q trình huấn luyện Tất ý tưởng giải pháp đến mục đích xây dựng mơ hình để nhận dạng đối tượng có mối liên quan lẫn hay có đặc trưng cố định với độ xác cao Trên sở sử dụng phương pháp học sâu, báo phân tích nhận dạng thành phần cấu thành nên đối tượng như: chân, tay, đầu,… từ tập ảnh 2D Từ kết này, đề xuất phương pháp tái nhận dạng phân đoạn đối tượng 3D để phân tích, thích đặc trưng ngữ nghĩa 2D/3D tương ứng III ĐỀ XUẤT PHƯƠNG PHÁP Trong báo đề xuất phương pháp kết hợp xử lý đồng thời nhiều giai đoạn liệu 2D 3D tương ứng Mục tiêu nhằm từ tập liệu 2D thu nhận từ đối tượng, tiến hành tạo thích ngữ nghĩa cho đối tượng ảnh 2D mơ hình 3D Bài báo có giai đoạn chính, mơ tả hình Ở giai đoạn thu thập liệu giai đoạn tiền xử lý liệu liên quan đến việc huấn luyện để tạo mặt nạ thích 2D liệu để tái tạo mơ hình 3D cho đối tượng Giai đoạn liệu thu nhận cách chụp ảnh vòng quanh đối tượng [2, 14] Kết giai đoạn tiền đề để huấn luyện giai đoạn 2, giai đoạn sử dụng phương pháp học máy [9] để nhận dạng thành phần đối tượng, sở tạo mặt nạ tương ứng với thành phần Đồng thời với giai đoạn phân đoạn hình ảnh sở học máy, với liệu tập ảnh 2D tái tạo mơ hình 3D tương ứng Giai đoạn cuối chúng tơi đề xuất kết hợp kết thích ngữ nghĩa giai đoạn để tạo mặt nạ thích ngữ nghĩa đối tượng 3D Hình Các giai đoạn xử lý Phần báo mơ tả số giai đoạn q trình tái tạo trích lọc điểm đặc trưng như: thu thập liệu ảnh 2D, trích xuất điểm đặc trưng [4], xác định cặp điểm tương đồng, tính hướng chụp máy ảnh [2], tính tốn độ sâu điểm ảnh tái tạo 3D [14] Giai đoạn cuối phân tích mối liên hệ điểm bất biến ảnh 2D 3D để làm sở cho truy vết tập điểm tương ứng 2D/3D Lưu đồ phương pháp tiếp cận biểu diễn Hình A Thu thập liệu Đã có nhiều phương pháp thu thập liệu chụp ảnh cắt lớp, ảnh từ phương pháp phổ biến tái tạo sử dụng máy scan Những phương pháp thu kết có độ xác cao, nhiên chi phí đắt Dữ liệu sử dụng trình thử nghiệm tiến hành thu thập bảo tàng Chăm Đà Nẵng Tượng di tích Mỹ Sơn cách chụp ảnh xung quanh đối tượng Hình Hình Mơ tả vị trí camera chụp ảnh Với liệu sử dụng để thực giai đoạn khác nhau, giai đoạn thứ để huấn luyện nhận dạng, phân đoạn cấu trúc thành phần đối tượng, giai đoạn thứ hai để tái tạo mơ hình 3D Lê Tiến Mẫu, Nguyễn Tấn Khôi, Romain Raffin 355 Để nâng cao hiệu trình thu thập liệu cần phải chụp cặp ảnh giao vùng Và tăng độ xác trình tái tạo máy ảnh cần đảm bảo tham số độ sáng, tiêu cự, độ tốc độ hạn chế thay đổi Hình minh họa số ảnh 2D chụp xung quanh đối tượng Hình Một số ảnh chụp xung quanh đối tượng Nữ thần B Xử lý tái tạo mơ hình 3D Xác định tập điểm đặc trưng bất biến Để phát điểm bất biến tương ứng cho tập ảnh, báo đề xuất sử dụng thuật tốn SIFT (Scale-Invariant Feature Transform) Các bước để phát điểm bất biến mô tả [4]: 1) Tìm cực trị khơng gian đo, định nghĩa hàm không gian tỷ lệ ảnh L( x, y, ) xác định tích chập hàm Gaussian ảnh gốc I ( x, y ) L( x, y, ) Trong đó: G ( x, y , k ) 2 e G( x, y, k ) * I ( x, y) (1) ( x2 y ) 2 I ( x, y ) : Ảnh đầu vào; L( x, y, ) : Hàm không gian tỷ lệ ảnh; : tham số tỷ lệ Để xác định điểm đặc trưng bất biến, điểm phụ thuộc vào giá trị co giãn xoay ảnh, thuật toán sử dụng hàm DoG (Difference-of-Gaussian) để tính tốn sai khác hai không gian đo, hàm ký hiệu D( x, y, ) xác định sau: D( x, y, ) (G( x, y, k ) G( x, y, )) * I( x, y ) (2) L ( x, y , k ) L ( x, y , ) 2) Lọc loại bỏ điểm tương phản kém, điểm dư thừa theo biên trích xuất điểm đặc trưng tiềm 3) Gán hướng cho điểm đặc trưng (với mẫu ảnh L( x, y ) , gọi hai giá trị m( x, y), (x, y) tương ứng độ dốc hướng xác định: m( x, y ) ( L( x 1, y ) L( x 1, y )) ( x, y ) tan ( L( x, y 1) L( x, y 1)) L( x, y 1) L( x, y 1) (3) (4) L( x 1, y ) L( x 1, y ) 4) Mơ tả, gán tọa độ kích thước điểm đặc trưng Sau thu thập tập điểm đặc trưng ảnh, sử dụng phương pháp đối sánh cặp điểm để xác định cặp điểm tương đồng cho cặp ảnh Hình mơ tả cặp điểm tương đồng ảnh Hình Điểm đặc trưng tương đồng ảnh Kết giai đoạn thu tập điểm đặc trưng tương ứng cho ảnh cặp ảnh Nó sở để xác định hướng vị trí tương đối ảnh chụp cung cấp thông tin cho giai đoạn tái tạo 356 NHẬN DẠNG CÁC BỘ PHẬN TRÊN ĐỐI TƯỢNG 3D DỰA VÀO KỸ THUẬT HỌC SÂU MASK R-CNN Xác định hướng ảnh từ tập điểm đặc trưng Ở giai đoạn này, cần xác định hướng vị trí đặt camera ảnh từ tập điểm đặc trưng bất biến cặp điểm tương đồng cặp ảnh Bởi tập ảnh thu từ vị trí hướng khác góc chụp, điểm đặc trưng cung cấp thơng tin hữu ích việc xác định vị trí hướng ảnh tương ứng với góc chụp Bài báo sử dụng phương pháp xác định hướng ảnh với ảnh chia thành giai đoạn mơ tả [2, 14] sau: 1) Chọn ảnh chính, thực đệ quy ghép cặp ảnh với ảnh chính; hướng ảnh thu tốt xác định ma trận đồng giảm tỉ lệ ảnh thuật toán RANSAC [14] Với bước thực phải điều chỉnh để tránh việc tích lũy lỗi 2) Tính tổng bình phương bé cho tất tham số, điểm đặc trưng ảnh lỗi giải pháp trước Trong đó, ảnh lỗi điểm sai khác tọa độ điểm đặc trưng phép chiếu ngược ảnh Đầu giai đoạn cung cấp thông tin hướng vị trí camera chụp ảnh Hình mơ tả vị trí chụp ảnh, tái mơ hình 3D Hình Mơ tả vị trí ảnh thu q trình chụp Tái tạo vật thể 3D từ tập liệu 2D Tái tạo 3D giai đoạn phục hồi thông tin độ sâu cho điểm ảnh đặc trưng Một đồ độ sâu ảnh pixel biểu diễn độ sâu tương ứng với điểm nhìn 3D từ điểm nhìn ảnh Từ tập đồ độ sâu chuyển đổi trực tiếp sang tập điểm 3D tương ứng, điểm 3D sau tái tạo liên kết với pixel ảnh tương ứng Giai đoạn cung cấp đồ hệ số tương quan cặp ảnh để tính toán độ sâu cho điểm ảnh đồ độ sâu Các bước xử lý [14] mơ tả sau: 1) Chọn hướng vị trí camera thu từ giai đoạn xử lý trước xác định ảnh phù hợp; 2) Tính tốn đo lường cho điểm có khả khơng gian (đó tổng hệ số tương quan cho cặp ảnh); 3) Trích xuất bề mặt đối tượng cách tiếp cận lượng tối thiểu toàn không gian làm mịn theo thứ tự để đồng bề mặt đối tượng Kết giai đoạn tập điểm 3D, điểm 3D tạo từ tập điểm bất biến SIFT chúng bổ sung thông tin độ sâu cho điểm ảnh Vì tập điểm 3D 2D ln tồn mối liên hệ lẫn Đây sở quan trọng để xác định mối tương quan tập điểm 2D 3D C Tương quan tập điểm bất biến 2D tập điểm 3D Giai đoạn tái tạo mơ hình 3D (nội dung B), điểm 3D tạo từ điểm đặc trưng bất biến từ ảnh 2D chúng bổ sung thông tin độ sâu Như vậy, điểm đặc trưng chọn liên kết với điểm 3D Trong Hình 5, điểm màu đỏ (Hình 5a) tập điểm đặc trưng bất biến tìm thấy thuật tốn số điểm bật (Hình 5b) chọn để tham gia vào giai đoạn tái tạo (a) Tập điểm bất biến tìm thấy (b) Tập điểm chọn tham gia tái tạo Hình Trích lọc tập điểm đặc trưng Lê Tiến Mẫu, Nguyễn Tấn Khôi, Romain Raffin 357 Để xác định truy lại vết điểm đặc trưng tương ứng với ảnh, báo đề xuất sử dụng phương pháp truy vết ngược Do điểm 3D đối tượng liên kết với ảnh (ảnh ảnh chọn để thu nhận màu sắc, đặc trưng đối tượng (nội dung B)) Từ ảnh trích xuất điểm đặc trưng bất biến đối sánh, so khớp với tập điểm đặc trưng với ảnh khác Nếu cặp điểm tương đồng đánh dấu trích lọc Hình minh họa vị trí giá trị tương đồng cặp điểm đặc trưng cặp ảnh D Phân đoạn đối tượng 2D dựa kỹ thuật học sâu Mask R-CNN Mạng nơron tích chập (Convolutional Neural Network - CNNs) ứng dụng phổ biến kỹ thuật học sâu (Deep learning) Đã có nhiều ứng dụng sử dụng kết nghiên cứu CNNs việc nhận dạng, phân lớp đối tượng ảnh Hình biểu diễn mơ hình đề xuất [21] sử dụng mơ hình mạng CNN để tạo phân vùng xuất đối tượng ảnh gồm giai đoạn 1) Trích xuất khoảng 2000 vùng đề xuất sử dụng thuật toán [13] 2) Tính tốn thuộc tính cho vùng đề xuất sử dụng mạng nơ-ron tích chập 3) Phân lớp cho khu vực sử dụng phương pháp học có giám sát SVM (Support Vector Machine) Hình Kiến trúc mạng R-CNN Tuy nhiên tốc độ xử lý R-CNN Fast R-CNN chậm phải tạo nhiều vùng đặc trưng ảnh Trong kết nghiên cứu [21], tác giả đề xuất bổ sung môđun ROIAlign (Region of Interest) để cải thiện tốc độ xử lý nâng cao tính xác vùng đề xuất vùng màu xanh Hình Kết nghiên cứu [9] tiếp tục mở rộng môđun tích hợp tạo mặt nạ để phân vùng nhận dạng vùng đặc trưng tương ứng Trong giai đoạn này, đề xuất kết hợp tách vùng nhận dạng tạo, đánh dấu giãn nở (khơi phục) kích thước ảnh ban đầu cho vùng, đánh dấu tạo mặt nạ cho phận Mục đích sử dụng giai đoạn ánh xạ vùng mặt nạ tương ứng từ tập điểm 2D sang 3D xác định ngữ nghĩa cho đối tượng Hình Mơ hình phân đoạn ảnh Mask R-CNN IV KẾT QUẢ THỬ NGHIỆM Kết thực nghiệm tái tạo mơ hình 3D nhận dạng vùng cục học máy triển khai thử nghiệm tảng Google colab Nhóm nghiên cứu tiến hành khảo sát chụp ảnh xung quanh tượng Bảo tàng Điêu khắc Chăm Đà Nẵng khu di tích Mỹ Sơn Quảng Nam Trong Bảng thống kê số ảnh chụp thu nhận đối tượng số liệu mẫu sử dụng trình tái tạo huấn luyện upload [22] Bảng Số lượng ảnh thu thập đối tượng Tượng Nữ thần Siva Thần linh – Mỹ sơn Tượng Dvarapala Thần Brahma Số ảnh chụp 70 56 60 65 Trong phương pháp đề xuất, chia thành ba giai đoạn xử lý Giai đoạn thứ nhất, tái tạo mơ hình 3D cho tập ảnh Như kết Hình số ảnh đặc trưng vị trí chụp mơ hình đối tượng 3D thu nhận với ba góc nhìn sau tái tạo NHẬN DẠNG CÁC BỘ PHẬN TRÊN ĐỐI TƯỢNG 3D DỰA VÀO KỸ THUẬT HỌC SÂU MASK R-CNN 358 Dữ liệu tập ảnh Bảng sử dụng trình tái tạo Hình 8, hiển thị ảnh mẫu liệu mơ hình sau tái tạo với vị trí chụp khác quanh tượng Nữ thần Siva Bảo tàng Điêu khắc Chăm Đà Nẵng Tượng vật Di tích Mỹ Sơn - Quảng Nam (a) Một số ảnh chụp với vị trí khác tượng nữ Thần (b) Mơ hình tái tạo 3D với góc nhìn Hình Dữ liệu ảnh chụp mơ hình tái tạo 3D tượng nữ Thần (a) Một số ảnh chụp với vị trí khác Tượng (b) Mơ hình tái tạo 3D với góc nhìn Tượng Hình 10 Dữ liệu ảnh chụp mơ hình 3D tái tạo Tượng Chămpa Như giai đoạn thứ từ liệu ảnh ban đầu thực huấn luyện phân đoạn ngữ nghĩa đối tượng Trong giai đoạn này, truy vết ghi nhận lại vùng phân đoạn từ mơ hình huấn luyện Như Hình 10, cột bên trái ảnh 2D sau phân đoạn nhận dạng sau huấn luyện, cột phải mơ hình 3D thích tương ứng với thành phần từ liệu 2D Bảng Dữ liệu 2D mơ hình 3D sau huấn luyện thích Tượng Di tích Mỹ Sơn – Quảng Nam Tượng nữ thần Siva – Đà Nẵng Dữ liệu sau phân đoạn 2D Chú thích 3D Lê Tiến Mẫu, Nguyễn Tấn Khôi, Romain Raffin 359 V KẾT LUẬN VÀ THẢO LUẬN Trong báo này, giới thiệu đề xuất giải pháp kết hợp phân đoạn ngữ nghĩa đối tượng 2D/3D Trên sở kết hợp xử lý đồng thời tái tạo mô hình 3D sử dụng phương pháp học sâu để phân đoạn hình ảnh để tái phân đoạn đối tượng 3D Kết báo bước đầu thu thập ảnh tái tạo thành công số tượng Chăm cổ bảo tàng Đà Nẵng di tích Mỹ Sơn Kết bước đầu sở để phân đoạn, nhận dạng phân tích phận đối tượng 2D/3D phục vụ số hóa lưu trữ bảo tồn Hướng phát triển theo cách tiếp cận tái tạo đối tượng 3D từ tập ảnh cho đối tượng khác từ liệu ảnh thu thập từ nhiều nguồn khác tiến hành phân đoạn, nhận dạng phân tích ngữ nghĩa 2D 3D Từ xây dựng liệu số hóa cho mơ hình đối tượng cụ thể thích đặc trưng mơ hình 3D tập ảnh thu VI LỜI CẢM ƠN Nhóm nghiên cứu chân thành cảm ơn Phịng thí nghiệm LSIS, Trường Đại học Aix-Marseille - Cộng hòa Pháp; Bảo tàng Điêu khắc Chăm Đà Nẵng tư vấn trao đổi nội dung báo hỗ trợ thu thập liệu phục vụ thử nghiệm phương pháp đề xuất TÀI LIỆU THAM KHẢO [1] Adeline Manuel, Livio De Luca and Philippe Véron, "A Hybrid Approach for the Semantic Annotation of Spatially Oriented Images", International Journal of Heritage in the Digital Era, 2014 [2] APERO: International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XXXVIII-5/W16, 2011 ISPRS Trento 2011 Workshop, 2-4 March 2011, Trento, Italy [3] Christian Lindequist Larsen, "3D Reconstruction of Buildings From Images with Automatic Fac¸ade Refinement", Master’s Thesis, Vision, Graphics and Interactive Systems, 2010 [4] David G Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, Volume 60 Issue 2, November 2004 [5] Ding Yun Chen and Ming Ouhyoung, "A 3D Object Retrieval System based on Multi-Resolution Reeb Graph" Proc of Computer Graphics Workshop, 2002 [6] Dmitriy Bespalov, William C Regli, Ali Shokouf, "Local feature extraction and matching partial objects" Computer-Aided Design 38(9), pp 1020–1037, 2006 [7] Girshick, Ross “Fast R-CNN.” 2015 IEEE International Conference on Computer Vision (ICCV), 2015 [8] G Stavropoulos, P Moschonas, K Moustakas, D Tzovaras and M.G Strintzis, "3D Model Search and Retrieval from Range Images using Salient Features", IEEE Transactions on Multimedia, vol 12, no.7, pp 692-704, November 2010 [9] He, Kaiming et al “Mask R-CNN.” 2017 IEEE International Conference on Computer Vision (ICCV), 2017 [10] JC Torres, G Arroyo, C Romo, "3D Digitization using Structure from Motion", CEIG-Spanish Computer Graphics Conference, 2012 [11] Jebara, Tony, Ali Azarbayejani, and Alex Pentland "3D structure from 2D motion, Signal Processing Magazine", IEEE 16.3, pp 66-84, 1999 [12] J Long, E Shelhamer, and T Darrell Fully convolutional networks for semantic segmentation In CVPR, 2015 [13] J Uijlings, K van de Sande, T Gevers, and A Smeulders Selective search for object recognition IJCV, 2013 [14] MicMac, Apero, Pastis and Other Beverages in a Nutshell, 2015 [15] SF El-Hakim, JA Beraldin, M Picard, "Detailed 3D reconstruction of large-scale heritage sites with integrated techniques", Computer Graphics and Applications, IEEE Volume 24, Issue 3, pp 21-29, 2004 [16] Park, Hyun Soo, et al, "3D Trajectory Reconstruction under Perspective Projection", International Journal of Computer Vision, pp 1-21, 2015 [17] C Baillard, C Schmid, A Zisserman, and A Fitzgibbon, "Automatic line matching and 3D reconstruction of buildings from multiple views", In ISPRS Conference on Automatic Extraction of GIS Objects from Digital Imagery, volume 32, pp 69-80, 1999 [18] R Berthilsson, K Astrom, and A Heyden, "Reconstruction of general curves, using factorization and bundle adjustment", International Journal of Computer Vision, 41(3), pp 171–182, 2001 [19] M Pierrot-Deseilligny, N Paparoditis A multiresolution and optimization-based image matching approach: An application to surface reconstruction from SPOT5-HRS stereo imagery In IAPRS vol XXXVI-1/W41 in ISPRS 360 NHẬN DẠNG CÁC BỘ PHẬN TRÊN ĐỐI TƯỢNG 3D DỰA VÀO KỸ THUẬT HỌC SÂU MASK R-CNN Workshop On Topographic Mapping From Space (With Special Emphasis on Small Satellites), Ankara, Turquie, 02-2006 [20] R Girshick, J Donahue, T Darrell, and J Malik Rich feature hierarchies for accurate object detection and semantic segmentation In CVPR, 2014 [21] S Ren, K He, R Girshick, and J Sun Faster R-CNN: Towards real-time object detection with region proposal networks In NIPS, 2015 [22] Dataset: https://drive.google.com/open?id=11pyGnMIgA9qj3jLfpD4rl-wsVvQEun8v [23] M Le-Tien, K Nguyen-Tan and R Raffin, "A Method to Determine the Characteristic of Object Based on 2D/3D Correspondance," 2019 IEEE-RIVF International Conference on Computing and Communication Technologies (RIVF), Danang, Vietnam, 2019, pp 1-7 3D OBJECT-PARTS RECOGNITION BASED ON MASK-R CNN DEEP NEURAL NETWORK Le Tien Mau, Nguyen Tan Khoi, Romain Raffin ABSTRACT: This paper presents a new method to retrieve semantic of 3D objects by combination of 2D images and the corresponding 3D model reconstructed using photogrammetry Our proposed method for determining the characteristics consists of three major steps: 1) reconstruction of 3D object, 2) recognization characteristics based on the Mask R-CNN method of the image set and 3) determining characteristics of this reconstructed 3D object from both spaces (2D and 3D) and extraction all semantic notation for 2D/3D data set  ... hình 3D cho tập ảnh Như kết Hình số ảnh đặc trưng vị trí chụp mơ hình đối tượng 3D thu nhận với ba góc nhìn sau tái tạo NHẬN DẠNG CÁC BỘ PHẬN TRÊN ĐỐI TƯỢNG 3D DỰA VÀO KỸ THUẬT HỌC SÂU MASK R-CNN. ..354 NHẬN DẠNG CÁC BỘ PHẬN TRÊN ĐỐI TƯỢNG 3D DỰA VÀO KỸ THUẬT HỌC SÂU MASK R-CNN Trong suốt trình xử lý độ sâu cảnh loại bỏ Điểm 3D tương ứng với điểm ảnh giới hạn... để xác định hướng vị trí tương đối ảnh chụp cung cấp thông tin cho giai đoạn tái tạo 356 NHẬN DẠNG CÁC BỘ PHẬN TRÊN ĐỐI TƯỢNG 3D DỰA VÀO KỸ THUẬT HỌC SÂU MASK R-CNN Xác định hướng ảnh từ tập