Tái Tạo Và Phân Tích Đối Tượng 3D Dựa Trên Ngữ Nghĩa Và Phân Tích Hình Học

MỤC LỤC

MÐ †U

Mửc tiảu v  nởi dung nghiản cựu

Nguỗn dỳ liằu l cĂc têp Ênh chửp, mổ hẳnh, mău vêt khÊo cờ tứ cĂc bÊo t ng Chômpa tứ õ tián h nh tĂi tÔo v phƠn tẵch °c trững hẳnh hồc,. ˆ PhƠn tẵch, ành danh cĂc thuởc tẵnh cừa ối tữủng 3D tứ cĂc thổng tin °c trững cừa Ênh 2D tứ õ l m cỡ sð º phƠn tẵch cĂc th nh phƯn cừa ối tữủng 3D;.

Bố cửc cừa luên Ăn

  • TĂi tÔo ối tữủng 3D
    • Phữỡng phĂp nhên dÔng v  phƠn tẵch °c trững trản Ênh
      • Phữỡng phĂp phƠn tẵch °c trững mổ hẳnh 3D
        • Phữỡng phĂp phƠn mÊnh trản mổ hẳnh 3D
          • Nhên dÔng v  phƠn tẵch °c trững ngỳ nghắa trản ối tữủng 3D

            °c iºm khoÊng cĂch giỳa chúng thuêt toĂn thữớng ữủc kát hủp vợi mởt số thuêt toĂn khĂc nhữ k-mean [56] thuêt toĂn phƠn vũng ối tữủng th nh k vũng vợi sỹ giợi hÔn bði khoÊng cĂch trung bẳnh, mean shift [57], DBSCAN [58] phữỡng phĂp n y dỹa trản ỵ tữðng sỹ phƠn bố têp iºm º quyát ành phƠn cửm thuêt toĂn hiằu quÊ vợi mởt số dỳ liằu cõ tẵnh chĐt nhiạu. Mội nhõm iºm trưng (°c trững) trản Ênh tián h nh thỹc hiằn tÔo ữớng viãn v lĐp Ưy cĂc khoÊng trống [67]. Vợi mửc ẵch nƠng cao chĐt lữủng iºm trản m°t nÔ nhà phƠn nhữ hẳnh 3.7. Hẳnh 3.6: GiÊm nhiạu trản Ênh m°t nÔ nhà phƠn CĂc bữợc thỹc hiằn tuƯn tỹ cừa thuêt toĂn ã xuĐt nhữ sau:. Bữợc 1) Vợi mội nhõm iºm trong têp iºm, loÔi bọ cĂc nhõm nhọ cõ số lữủng iºm. Vợi iãu kiằn tờng số iºm nhọ hỡn trung bẳnh số iºm trản mội nhâm. Vợi mội nhõmsi náu si < meanp loÔi bọ cĂc iºm Ênh thuởc nhõmira khọi Ênh). Bữợc 2) XĂc ành tƠm v ữớng trỏn ngoÔi tiáp tứng nhõm cừa têp iºm, sao cho mội nhõm iºm thuởc ho°c lƠn cên ữớng trỏn. Bữợc 3) XĂc ành khoÊng cĂch tứ tƠm ữớng trỏn án mội nhõm, chồn nhỳng nhõm iºm gƯn tƠm cừa ữớng trỏn nhĐt v Ănh dĐu. Phữỡng phĂp chú thẵch ngỳ nghắa (Ănh dĐu) cho tứng phƯn (trĂi mưt, mưt phÊi, mụi v miằng). Hẳnh 3.11, hẳnh bản trĂi sỷ dửng mổ hẳnh huĐn luyằn nhên dÔng cho khuổn m°t v hẳnh phÊi mội m u. ữủc Ănh dĐu bơng cĂc phƯn ngỳ nghắa. Giai oÔn n y vợi mội vũng vứa ữủc nhên dÔng chúng tổi thỹc hiằn tÔo ữớng viãn v l m màn chúng bði cĂc thuêt toĂn xỷ lỵ. Ênh nhà phƠn [68] v tứ õ chuyºn Ênh sang m°t nÔ nhà phƠn mửc ẵch cừa bữợc n y l tÔo m°t nÔ nhà phƠn sau õ tÔo vũng lồc v trẵch lồc cĂc °c trững trản mổ hẳnh ối tữủng 3D. lồc v ữủc tÔo ra bði m°t nÔ nhà phƠn 3.12, trong m°t nÔ nhà phƠn mội iºm Ênh trong vũng m u trưng ữủc trẵch xuĐt v Ănh xÔ sang 3D, bði trong quĂ trẳnh tĂi tÔo mổ hẳnh têp iºm ôch trững ãu ữủc lữu trỳ v ữủc liản kát vợi iºm 3D trong mổ hẳnh 3.3.1. ữủc Ănh xÔ sang 3D, vợi m°t nÔ 3D vợi cĂc hữợng nhẳn, chúng ữủc Ôi diằn cho mởt số bở phên trong khuổn m°t nhữ: mưt, mụi, miằng cừa ối tữủng. Phữỡng phĂp  ã xuĐt sỹ kát hủp cĂc thuêt toĂn nhên dÔng trản 2D tứ õ l m cỡ sð º nhên dÔng cĂc mổ hẳnh 3D tữỡng ỗng, ã xuĐt  cõ sỹ hộ trủ tữỡng quan giỳa têp iºm 2D/3D. Nởi dung thỷ nghiằm tiáp theo cừa phữỡng phĂp l huĐn luyằn nhên dÔng tứng th nh phƯn cĐu th nh nản ối tữủng nhữ tay, chƠn, cừa cĂc ối tữủng khĂc nhau °c biằt trong lắnh vỹc khÊo cờ. Kát quÊ thỹc nghiằm chú thẵch ngỳ nghắa trản mổ hẳnh 3D. º thỷ nghiằm chú thẵch tỹ ởng dỹa v o sỹ kát hủp xỷ lỵ ỗng thới v ởc lêp trản dỳ liằu 2D v 3D. Giai oÔn thự nhĐt, tứ têp dỳ liằu 2D ữủc chửp tứ nhiãu ối tữủng khĂc nhau, tián h nh sỷ dửng phữỡng phĂp hồc mĂy [39] º nhên dÔng v phƠn. oÔn ối tữủng trản têp Ênh 2D. Giai oÔn hai, vợi mội têp dỳ liằu thu ữủc thỹc hiằn tĂi tÔo mổ hẳnh 3D cho tứng nhõm ối tữủng [15]. Tứ hai kát quÊ trản ã xuĐt phữỡng phĂp chú thẵch, phƠn oÔn mổ hẳnh 3D dỹa trản mối liản hằ giỳa Ênh ữủc phƠn oÔn v trản mổ hẳnh 3D cừa cũng mởt nhõm ối tữủng. ã xuĐt dỹa trản cỡ sð tứ viằc xĂc ành têp iºm bĐt bián, têp iºm tữỡng ỗng giỳa cĂc c°p Ênh, xĂc ành hữợng Ênh chửp v giai oÔn thiát lêp bÊn ỗ ở sƠu cừa Ênh trong tián trẳnh tĂi tÔo mổ hẳnh. Lữu ỗ trong phữỡng phĂp tiáp cên ữủc biºu diạn nhữ Hẳnh 3.13:. Hẳnh 3.13: Tờng quan cĂc bữợc thỹc hiằn chú thẵch ngỳ nghắa trản ối tữủng 2D/3D tữỡng ỗng. Mổ hẳnh 3D sau khi tĂi tÔo l têp iºm khổng cõ cĐu trúc cĂc thổng tin cừa chúng rới rÔc. Tuy nhiản cĂc iºm 3D ữủc tÔo ra ãu thu ữủc tứ cĂc têp iºm °c trững, chúng ữủc bờ sung thổng tin ở sƠu cho tứng iºm Ênh. Tứ mối liản hằ õ, phữỡng phĂp thỹc hiằn chú thẵch ối tữủng 3D dỹa v o têp Ênh  ữủc phƠn oÔn, nhên dÔng tữỡng ỗng, bơng cĂch dỹa v o m°t nÔ cừa cĂc Ênh  phƠn oÔn º Ănh dĐu v lồc cĂc têp iºm 3D v thỹc hiằn gĂn nhÂn v lêp ch¿ mửc cho têp iºm 3D. CĂc bữợc tuƯn tỹ ữủc mổ tÊ nhữ sau:. 1) Sỷ dửng mổ hẳnh  ữủc huĐn luyằn, thỹc hiằn gĂn nhÂn tữỡng ựng cho mội. phƠn oÔn trản Ênh 2D;. 3) TÔo m°t nÔ nhà phƠn v gĂn nhÂn tữỡng ựng cho tứng phƠn oÔn;. 5) Mội têp iºm 3D thu ữủc cừa cũng nhÂn thẳ thỹc hiằn hủp chúng lÔi vợi nhau.

            º thỹc hiằn chú thẵch trản 3D dỹa trản cĂc phƠn oÔn tứ 2D, dỹa v o mối liản hằ tẵnh chĐt °c trững bĐt bián  thu ữủc trong giai oÔn tĂi tÔo mổ hẳnh 1.2 v ỹa v o bÊn ỗ ở sƠu (depth map) ữủc sinh ra trong giai oÔn tĂi tÔo mổ hẳnh. Thỹc hiằn truy vát ngữủc v gĂn nhÂn trản bÊn ỗ ở sƠu cho tứng phƠn oÔn Ênh. cĂc phƠn oÔn 3D ữủc chú thẵch v hủp nhĐt trản mởt hẳnh Ênh. Mội nhõm phƠn oÔn ữủc Ănh xÔ sang 3D, bði vẳ ữủc thỹc hiằn trản nhiãu Ênh, nhiãu hữợng khĂc nhau nản cƯn hủp nhĐt lÔi cĂc têp iºm 3D trong cũng mởt phƠn oÔn. Hẳnh 3.17 dỹa trản cĂc Ưu ra tứ cĂc phƠn oÔn 3D thỹc hiằn hủp nhĐt, m°c dũ mội nhõm têp iºm 3D thu ữủc cĂc hữợng chiáu khĂc nhau những trản cỡ sð cũng nhõm nhÂn, cũng hằ quy chiáu trong quĂ trẳnh tĂi tÔo mổ hẳnh chúng iãu thu ữủc nhõm têp iºm 3D nhữ nhau. Thỷ nghiằm ữủc viát trản ngổn ngỳ Matlab kát hủp sỷ dửng thữ viằn cừa [20, 15], bở tham số ữủc sỷ dửng trong nghiản cựu [39] thỷ nghiằm huĐn luyằn trản Google colab. Bở dỳ liằu thỷ nghiằm  ữủc thu thêp tÔi bÊo t ng Chôm Nđng v di tẵch Mÿ Sỡn QuÊng Nam Viằt Nam. Mội têp Ênh ữủc thu thêp bơng cĂch chửp xung quanh ối tữủng, nhữ hẳnh 3.19 l mởt v i Ênh °c trững  ữủc chửp v thu nhên trản mội ối tữủng v BÊng 3.1 mổ tÊ cĂc tham số trong quĂ trẳnh chửp Ênh. BÊng 3.1: Thổng số mĂy Ênh ữủc sỷ dửng khi thu thêp dỳ liằu Thổng số mĂy Ênh GiĂ trà tham số. Kiºu file JPEG. ành dang Image/RGB. LoÔi mĂy Ênh chửp Canon EOS 70D. Hữợng chửp Ngang. Nhữ ð giai oÔn thự 2, tứ bở dỳ liằu Ênh ban Ưu thỹc hiằn huĐn luyằn v phƠn oÔn ngỳ nghắa ối tữủng, bở dỳ liằu mău ữủc cổng khai tÔi [12]. Tứ bở dỳ liằu Ênh ban Ưu chúng tổi thỹc hiằn huĐn luyằn v phƠn oÔn ngỳ nghắa ối tữủng. Trong giai oÔn n y, chúng tổi truy vát v ghi nhên lÔi cĂc vũng  ữủc phƠn oÔn tứ mổ hẳnh huĐn luyằn. Kát quÊ thỹc hiằn trản mở số mổ hẳnh sau khi nhên dÔng, phƠn oÔn tữỡng ựng vợi mội Ênh thỷ nghiằm. Giai oÔn huĐn luyằn v phƠn oÔn, sau khi thỹc hiằn huĐn luyằn mổ hẳnh, kát quÊ phƠn oÔn cừa mởt số tữủng. Mội Ênh phƠn oÔn s³ ữủc gĂn nhÂn tữỡng ựng, cũng mởt loÔi phƠn oÔn thẳ s³ cũng mởt nhÂn. Kát quÊ sau khi nhên dÔng mởt số tữủng nhữ hẳnh 3.21. Hẳnh a)ƒnh ữủc nhên dÔng trản tữủng thƯn Shiva v Mÿ sỡn. Hẳnh b)ƒnh ữủc nhên dÔng trản tữủng thƯn Vishu. Hẳnh c)ƒnh ữủc nhên dÔng trản tữủng thƯn bà khuyát Hẳnh 3.21: Mởt số hẳnh Ênh kát quÊ sau khi phƠn oÔn. (b) Mổ hẳnh 3D tĂi tÔo cừa tữủng thƯn Vishnu vợi ba gõc nhẳn. Kát quÊ cừa BÊng dỳ liằu 3.4, so sĂnh dỳ liằu ữủc phƠn tẵch °c trững tứ Ênh v. BÊng 3.4: So sĂnh giĂ trà gradient trản Ênh v mổ hẳnh. a) ƒnh m°t tữủng Vishu b) ƒnh phƠn tẵch m°t tữủng Vishu c) Mổ hẳnh m°t tữủng Vishu d) Mổ hẳnh phƠn tẵch m°t tữủng Vishu. a) ƒnh tay tữủng Vishu b) ƒnh phƠn tẵch tay tữủng Vishu c) Mổ hẳnh tay tữủng Vishu d) Mổ hẳnh phƠn tẵch tay tữủng Vishu. a) ƒnh 2D tay trĂi tữủng Vishu b) ƒnh phƠn tẵch tay trĂi tữủng Vishu c) Mổ hẳnh 3D tay trĂi tữủng Vishu d) Mổ hẳnh 3D phƠn tẵch tay trĂi tữủng Vishu. mổ hẳnh sau khi phƠn oÔn. Phữỡng phĂp dỹa trản xĂc ành gradient cừa Ênh v mổ hẳnh tữỡng ựng. M u sưc thº hiằn sỷ tữỡng ỗng cừa dỳ liằu v º Ănh giĂ lội khi Ănh xÔ cĂc phƠn oÔn trản Ênh v mổ hẳnh sỷ dửng cổng thực º Ănh giĂ t lằ lội trản mởt số vũng ữủc xĂc ành trữợc. trà lội thĐp thº hiằn ở tữỡng ỗng cừa hai têp iºm c ng cao. Hẳnh a) Mổ hẳnh 3D ữủc chú thẵch tữủng thƯn ThĂnh àa Mÿ Sỡn. Hẳnh b) Mổ hẳnh 3D ữủc chú thẵch tữủng thƯn Vishnu. Hẳnh c) Mổ hẳnh 3D ữủc chú thẵch tữủng thƯn Shiva Hẳnh 3.24: Mổ hẳnh ối tữủng 3D sau khi gĂn nhÂn.