Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học

Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.Tái tạo và phân tích đối tượng 3D dựa trên ngữ nghĩa và hình học.

LÍI CAM OAN

Tæi xin cam oan luªn ¡n: T¡i t¤o v  ph¥n t½ch èi t÷ñng 3D düa tr¶n ngú ngh¾a v h¼nh håc l  cæng tr¼nh nghi¶n cùu do tæi thüc hi»n t¤i Tr÷íng ¤i håc B¡ch khoa, ¤ihåc   N®ng d÷îi sü h÷îng d¨n khoa håc cõa PGS.TS Nguy¹n T§n Khæi v  GS.TS.Romain Raffin C¡c sè li»u, nhúng k¸t luªn nghi¶n cùu ÷ñc tr¼nh b y trong luªn ¡n

n y l  trung thüc v  ch÷a tøng ÷ñc cæng bè ð b§t ký cæng tr¼nh n o cõa c¡c t¡c gi£kh¡c T§t c£ nhúng tham kh£o v  k¸ thøa ·u ÷ñc tr½ch d¨n v  tham chi¸u ¦y õ

  N®ng, ng y 29 th¡ng 06 n«m 2024

Nghi¶n cùu sinh

L¶ Ti¸n M¨u

LÍI CƒM ÌN

Tæi xin b y tä láng bi¸t ìn PGS.TS Nguy¹n T§n Khæi v  GS.TS Romain Raffin

¢ tªn t¼nh h÷îng d¨n, truy·n ¤t ki¸n thùc công nh÷ kinh nghi»m nghi¶n cùu v  ëngvi¶n tæi trong qu¡ tr¼nh håc tªp, nghi¶n cùu

Tæi ch¥n th nh c£m ìn c¡c Th¦y, Cæ trong khoa Cæng ngh» Thæng tin, Pháng Sau

¤i håc - Tr÷íng ¤i håc B¡ch Khoa, Ban Sau ¤i håc - ¤i håc   N®ng ¢ gióp ï

v  quan t¥m ch¥n th nh, t¤o i·u ki»n thuªn lñi v  hé trñ nhi»t t¼nh trong qu¡ tr¼nhhåc tªp, nghi¶n cùu khoa håc, trao êi chuy¶n mæn v  tham gia hëi th£o

Ch¥n th nh c£m ìn c¡c t¡c gi£ cõa nhúng b i gi£ng, t i li»u, b i b¡o v  c¡c cæng

bè nghi¶n cùu khoa håc m  tæi ¢ tham kh£o, tr½ch d¨n trong b¡o c¡o n y

C£m ìn gia ¼nh, b¤n b± v  çng nghi»p ¢ ëng vi¶n v  gâp þ º luªn ¡n ÷ñc

ho n ch¿nh

  N®ng, ng y 10 th¡ng 04 n«m 2024

Nghi¶n cùu sinh,

L¶ Ti¸n M¨u

Möc löc

Trang

Ch÷ìng 1 TI T„O V€ PH…N TCH MÆ HœNH 3D 8

1.1 Mæ h¼nh èi t÷ñng 3D 8

1.2 T¡i t¤o èi t÷ñng 3D 10

1.2.1 T¡i t¤o mæ h¼nh 3D b¬ng c¡ch qu²t èi t÷ñng .10

1.2.2 T¡i t¤o mæ h¼nh 3D tø tªp £nh 2D 12

1.2.2.1 Thu thªp v  ti·n xû lþ dú li»u £nh 2D 12

1.2.2.2 Mæ h¼nh m¡y chöp £nh 14

1.2.2.3 X¡c ành tªp iºm °c tr÷ng b§t bi¸n 17

1.2.2.4 X¡c ành và tr½ camera cõa £nh tø tªp iºm £nh °c tr÷ng b§t bi¸n .18

1.2.2.5 T¡i t¤o mæ h¼nh 3D tø £nh chöp 2D 19

1.3 °c tr÷ng ngú ngh¾a v  h¼nh håc tr¶n mæ h¼nh 3D 22

1.3.1 °c tr÷ng h¼nh håc tr¶n mæ h¼nh 3D 22

1.3.2 °c tr÷ng ngú ngh¾a tr¶n mæ h¼nh 3D 23

1.4 K¸t ch÷ìng 24

Ch÷ìng 2 PH…N TCH C TR×NG HœNH HÅC TR–N ƒNH 2D V€ MÆ HœNH 3D 26

2.1 °t v§n · 26

2.2 Ph÷ìng ph¡p nhªn d¤ng v  ph¥n t½ch °c tr÷ng tr¶n £nh 27

2.2.1 Mët sè kÿ thuªt ph¥n t½ch °c tr÷ng tr¶n £nh 2D 27

2.2.2 Ph÷ìng ph¡p mæ t£ °c tr÷ng HOG 28

2.2.3 Ph÷ìng ph¡p mæ t£ °c tr÷ng SIFT 31

2.2.4 Mët sè ph÷ìng ph¡p nhªn d¤ng èi t÷ñng b¬ng kÿ thuªt håc s¥u 34

2.3 Ph÷ìng ph¡p ph¥n t½ch °c tr÷ng mæ h¼nh 3D 43

2.3.1 Chia nhä b· m°t tr¶n tªp iºm 3D 44

2.3.2 T½nh ë cong cõa b· m°t tr¶n èi t÷ñng 3D 46

2.3.3 K¸t qu£ thüc nghi»m ph¥n t½ch ÷íng °c tr÷ng tr¶n £nh 2D v  tªp iºm 3D 50

2.4 Ph÷ìng ph¡p ph¥n m£nh tr¶n mæ h¼nh 3D 55

2.4.1 Ph¥n m£nh èi t÷ñng 3D düa tr¶n ë cong h¼nh håc .55

2.4.2 K¸t qu£ thüc nghi»m ph¥n m£nh èi t÷ñng 3D 58

2.5 K¸t ch÷ìng 63

Ch÷ìng 3 PH…N TCH V€ NHŠN D„NG NGÚ NGHžA TR–N ÈI T×ÑNG 2D/3D 64

3.1 Nhªn d¤ng èi t÷ñng 2D 64

3.2 Nhªn d¤ng èi t÷ñng 3D 65

3.3 Nhªn d¤ng v  ph¥n t½ch °c tr÷ng ngú ngh¾a tr¶n èi t÷ñng 3D 67

3.3.1 T÷ìng quan giúa tªp iºm b§t bi¸n 2D v  tªp iºm 3D 70

3.3.2 Chó th½ch ngú ngh¾a tr¶n £nh 2D v  mæ h¼nh 3D 73

3.4 K¸t qu£ thüc nghi»m g¡n nh¢n khuæn m°t tr¶n mæ h¼nh 3D 75

3.5 K¸t qu£ thüc nghi»m chó th½ch ngú ngh¾a tr¶n mæ h¼nh 3D 78

3.6 K¸t ch÷ìng 91

Danh möc c¡c cæng tr¼nh khoa håc li¶n quan ¸n luªn ¡n 94

DANH MÖC CC TØ VI˜T TT

Tø vi¸t t­t Ngh¾a ti¸ng anh Ngh¾a ti¸ng vi»t

2D Two Dimensional H¼nh £nh hai chi·u

3D Three Dimensional Khæng gian ba chi·u

CAD Computer-Aided Design Thi¸t k¸ hé trñ tø m¡y t½nhCNN Convolutional Neural Network M¤ng nìron t½ch chªp

CONV Convolution layer T¦ng t½ch chªp

DoG Difference of Gaussians Ph²p bi¸n êi DoG

FC Fully Connected T¦ng k¸t nèi ¦y õ

GIS Geographic Information System H» thèng thæng tin àa lþ

HOG Histogram of Oriented Gradients Mæ t£ °c tr÷ng HOG

MSE Mean Squared Error Sai sè b¼nh ph÷ìng trung b¼nhSIFT Scale-Invariant Feature Trans-

R-CNN Region-based Convolutional

Neural Network

M¤ng nìron t½ch chªp düa tr¶nvòng

RoI Region of Interest Vòng quan t¥m

TIN Triangulated Irregular Network L÷îi tam gi¡c khæng ·u

DANH MÖC CC BƒNG BIšU

1.1 Thæng sè kÿ thuªt mët sè lo¤i m¡y Scan phê bi¸n 11

2.1 Nhúng bi¸n thº kh¡c cõa h m ReLU 37

2.2 Ph¥n t½ch °c tr÷ng £nh c¡c t÷ñng 50

2.3 Ph¥n t½ch °c tr÷ng tø mæ h¼nh c¡c t÷ñng 52

2.4 Thèng k¶ sè iºm 3D ÷ñc tr½ch låc giúa otsu v  2.6 53

2.5 Thèng k¶ sè iºm 3D v  sè cöm thu ÷ñc sau khi ph¥n o¤n 60

3.1 Thæng sè m¡y £nh ÷ñc sû döng khi thu thªp dú li»u 82

3.2 Tr½ch låc tªp iºm 3D v  chó th½ch tø b£n ç ë s¥u 85

3.3 So s¡nh sè iºm mæ h¼nh 3D thu ÷ñc sau khi t¡i t¤o 86

3.4 So s¡nh gi¡ trà gradient tr¶n £nh v  mæ h¼nh 88

3.5 T l» léi khi ¡nh x¤ tø ph¥n o¤n 2D sang tªp iºm 3D cõa c¡c t÷ñng 88

3.6 B£ng dú li»u thèng k¶ sè iºm 3D tr¶n méi ph¥n o¤n 90

DANH MÖC CC HœNH

H¼nh 1.1: Mët sè m¡y qu²t t¡i t¤o mæ h¼nh 3D thæng döng 10

H¼nh 1.2: Mët sè mæ h¼nh 3D t¡i t¤o b¬ng kÿ thuªt qu²t [1] 11

H¼nh 1.3: C¡ch di chuyºn camera khi chöp £nh 12

H¼nh 1.4: C¡c h¼nh £nh t÷ñng cê Ch«mpa khi chöp vîi nhi·u và tr½ camera kh¡c nhau 13

H¼nh 1.5: Mæ h¼nh camera vîi m°t ph¯ng £nh v  m°t ph¯ng èi t÷ñng 14

H¼nh 1.6: Minh håa ph²p chi¸u mët iºm trong khæng gian v o m°t ph¯ng £nh15 H¼nh 1.7: iºm °c tr÷ng t÷ìng çng giúa 2 £nh 17

H¼nh 1.8: Biºu di¹n thæng tin c¡c và tr½ £nh thu ÷ñc trong qu¡ tr¼nh chöp t÷ñng cê Ch«mpa 19

H¼nh 1.9: Ph÷ìng ph¡p phöc hçi thæng tin ë s¥u cõa iºm £nh [2] 20

H¼nh 1.10: Ph¥n t½ch v  chó th½ch ngú ngh¾a mæ h¼nh táa nh  [3] 24

H¼nh 2.1: Mæ t£ c¡c giai o¤n ph¥n t½ch l÷ñc ç histogram trong HOG [4] 29

H¼nh 2.2: Mæ t£ l÷ñc ç Histogram theo 9 h÷îng 30

H¼nh 2.3: ƒnh minh håa k¸t qu£ sau khi ph¥n t½ch °c tr÷ng HOG 31

H¼nh 2.4: Bë mæ t£ h÷îng cõa iºm °c tr÷ng b§t bi¸n 33

H¼nh 2.5: Mæ t£ mèi quan h» v  c¡ch ho¤t ëng cõa håc m¡y v  håc s¥u [5] 35 H¼nh 2.6: Mæ t£ ho¤t ëng cõa t¦ng t½ch chªp hai chi·u 36

H¼nh 2.7: Gi£m m¨u Max Pooling 37

H¼nh 2.8: V½ dö ki¸n tróc m¤ng LeNet-5 nhªn d¤ng chú vi¸t tay [6] 38

H¼nh 2.9: Ki¸n tróc cõa m¤ng VGGNet [7] 39

H¼nh 2.10: Ki¸n tróc cõa m¤ng ResNet [8] 40

H¼nh 2.11: Mæ h¼nh minh håa t¤o lîp mîi trong ResNet [9] 40

H¼nh 2.12: Ki¸n tróc m¤ng cõa R-CNN [10] 41

H¼nh 2.13: Mæ h¼nh ph¥n o¤n £nh tr¶n Mask R-CNN 42

H¼nh 2.14: Sì ç mæ t£ c¡c b÷îc ch½nh trong qu¡ tr¼nh ph¥n t½ch °c tr÷ng 44

H¼nh 2.15: Mæ h¼nh t¤o c¥y octree 45

H¼nh 2.16: Mæ t£ ph¥n chia mæ h¼nh 3D v o c¥y octree 46

H¼nh 2.17: iºm truy v§n (m u ä) v  c¡c iºm l¡ng gi·ng (m u xanh) 47

H¼nh 2.18: Minh håa ph¡p tuy¸n b· m°t cõa tªp iºm 49

H¼nh 2.19: V½ dö ph¥n t½ch °c tr÷ng tr¶n mæ h¼nh fandisk 49

H¼nh 2.20: K¸t qu£ ph¥n t½ch ph¥n bè °c tr÷ng vîi bë låc Sobel 51

H¼nh 2.21: Biºu di¹n thang o ë cong cõa c¡c më h¼nh v  gi¡ trà và tr½ tr½ch xu§t54 H¼nh 2.22: ƒnh v  mæ h¼nh 3D sau khi t¡i t¤o cõa t÷ñng Shiva 59

H¼nh 2.23: ƒnh v  mæ h¼nh 3D sau khi t¡i t¤o cõa t÷ñng Mÿ Sìn 59

H¼nh 2.24: ƒnh v  mæ h¼nh 3D sau khi t¡i t¤o cõa phò i¶u nú th¦n 60

H¼nh 2.25: K¸t qu£ ph¥n o¤n mæ h¼nh Phò i¶u vîi c¡c gâc nh¼n 61

H¼nh 2.26: K¸t qu£ ph¥n o¤n mæ h¼nh t÷ñng Ch«m ð Mÿ Sìn vîi c¡c gâc nh¼n 61 H¼nh 2.27: Mæ h¼nh 3D cõa t÷ñng Vishu sau khi ph¥n m£nh 62

H¼nh 2.28: Mæ h¼nh 3D cõa t÷ñng Shiva v  cæ g¡i sau khi ph¥n m£nh 62

H¼nh 3.1: · xu§t chó th½ch ngú ngh¾a tr¶n 2D/3D t÷ìng çng 68

H¼nh 3.2: Mæ t£ mæ h¼nh c¥y ¡nh d§u mèc v  h÷îng cõa khuæn m°t [11] 69

H¼nh 3.3: C¡c mèc ¡nh d§u khuæn m°t, · xu§t khoanh vòng c¡c bë phªn 70 H¼nh 3.4: C§u tróc cõa tªp tin TIFF v  XYZ 71

H¼nh 3.5: Tr½ch låc iºm 3D tø m°t n¤ nhà ph¥n 72

H¼nh 3.6: Gi£m nhi¹u tr¶n £nh m°t n¤ nhà ph¥n 73

H¼nh 3.7: T¤o v  l m màn ÷íng vi·n cho £nh nhà ph¥n 75

H¼nh 3.8: ƒnh 2D/3D cõa m°t pho t÷ñng Buddha ÷ñc t¡i t¤o 3D 75

H¼nh 3.9: K¸t qu£ ph²p chi¸u chó th½ch tr¶n h¼nh £nh v  mæ h¼nh 76

H¼nh 3.10: ë cong ÷ñc tr½ch låc v  ¡nh x¤ sang tªp iºm 2D 77

H¼nh 3.11: ¡nh d§u và tr½ °c tr÷ng tr¶n khuæn m°t (h¼nh tr¡i), g¡n nh¢n cho tøng và tr½ t÷ìng ùng (h¼nh ph£i) 77

H¼nh 3.12: nh x¤ tø m°t n¤ nhà ph¥n sang m°t n¤ 3D v  chó th½ch tr¶n mæ h¼nh èi t÷ñng 78

H¼nh 3.13: Têng quan c¡c b÷îc thüc hi»n chó th½ch ngú ngh¾a tr¶n èi t÷ñng 2D/3D t÷ìng çng 79

H¼nh 3.14: Sû döng mæ h¼nh ÷ñc hu§n luy»n º nhªn d¤ng 80

H¼nh 3.15: Mæ t£ £nh ph¥n o¤n v  ¡nh x¤ tø 2D sang 3D 80

H¼nh 3.16: nh x¤ v  chó th½ch ngú ngh¾a cho èi t÷ñng 81

H¼nh 3.17: Hñp nh§t c¡c tªp iºm còng ph¥n o¤n 82

H¼nh 3.19: Bë dú li»u m¨u thû nghi»m [12] 83

H¼nh 3.20: K¸t qu£ tr¶n tªp hu§n luy»n (xanh) v  tªp kiºm tra (ä) trong méi chu ký hu§n luy»n 84

H¼nh 3.21: Mët sè h¼nh £nh k¸t qu£ sau khi ph¥n o¤n 85

H¼nh 3.22: H¼nh £nh mæ h¼nh 3D sau khi t¡i t¤o bði SfM 86

H¼nh 3.23: Mæ h¼nh èi t÷ñng 3D sau khi t¡i t¤o vîi ba gâc nh¼n 87

H¼nh 3.24: Mæ h¼nh èi t÷ñng 3D sau khi g¡n nh¢n 89

H¼nh 3.25: Biºu ç mæ t£ tªp iºm 3D khi ph¥n o¤n 90

MÐ †U

1 °t v§n ·

T¤i Vi»t Nam, hi»n nay trong c¡c b£o t ng i¶u kh­c Ch«m tr÷ng b y v  l÷u giúnhúng mæ h¼nh, hi»n vªt kh£o cê, câ r§t nhi·u t¡c ph©m i¶u kh­c cê Ch«mpa ¢ ÷ñcqu£n lþ, c§t giú v  tr÷ng b y C¡c nghi¶n cùu v· l¾nh vüc kh£o cê khæng ch¿ nghi¶ncùu t¼m c¡ch t¡i t¤o, sè hâa m  cán câ k¸ ho¤ch b£o tçn, g¼n giú v  ph¡t huy nhúng

di t½ch công nh÷ c¡c di s£n v«n hâa kh¡c cõa ng÷íi Ch«m H¦u h¸t c¡c hi»n vªt, th¡p

cê ¢ ÷ñc Bë v«n hâa - Thæng tin x¸p h¤ng v  b£o v», nhi·u th¡p cê Ch«mpa ÷ñctròng tu, c¡c sð V«n hâa thæng tin c¡c t¿nh Mi·n Trung ¢ v  ang câ k¸ ho¤ch b£ov» c§t giú v  tr÷ng b y c¡c hi»n vªt v  di s£n v«n hâa Ch«m [13]

Tr¶n suèt d£i §t mi·n Trung cõa Vi»t Nam, tø Qu£ng B¼nh ¸n B¼nh Thuªn hi»nnay câ r§t nhi·u d§u t½ch ki¸n tróc cõa ng÷íi Ch«m Ð â v¨n cán l÷u trú nhi·u ngånth¡p cê, t÷ñng i¶u kh­c nh÷: Th¡p L¥m §p cê ð Qu£ng B¼nh, khu di t½ch Mÿ Sìngçm 71 ngæi th¡p t¤i Qu£ng Nam Th¡p nói æi, th¡p B¼nh L¥m, ð B¼nh ành, th¡pNh¤n Phó Y¶n, th¡p Ppo Nagar t¤i Kh¡nh Ho ; cöm th¡p Háa Lai t¤i Ninh Thuªn,cöm th¡p Po Dìm, th¡p Phó H i t¤i B¼nh Thuªn Ngo i c¡c ngån th¡p tçn t¤i ¸n

ng y nay, cán câ nhúng t÷ñng th¦n, phò i¶u, v¨n cán ÷ñc l÷u trú t¤i c¡c b£o t ngdåc c¡c t¿nh mi·n trung Vi»t Nam °t tr÷ng mët sè àa ch¿ di s£n nêi ti¸ng mi·nTrung Vi»t Nam nh÷ B£o t ng Mÿ thuªt Cung ¼nh Hu¸, B£o t ng i¶u kh­c Ch«mpa

-   N®ng, c¡c t÷ñng cê T¥y nguy¶n, C¡c ki¸n tróc, t÷ñng, cê vªt ang v  s³ c¦n

÷ñc nghi¶n cùu phöc düng v  b£o tçn

Song song vîi nghi¶n cùu giú g¼n v  b£o tçn c¡c hi»n vªt cê cõa n·n v«n hâaCh«mpa â l  vi»c ùng döng c¡c cæng ngh» º b£o tçn, phöc düng v  qu£ng b¡ nhúnggi¡ trà cõa di s£n v«n hâa vªt thº ang ÷ñc ph¡t triºn phê bi¸n H÷îng nghi¶n cùuùng döng c¡c cæng ngh» cao v o vi»c t¡i t¤o v  phöc düng c¡c mæ h¼nh, m¨u vªt l h¸t sùc c¦n thi¸t nh¬m nghi¶n cùu t¡i t¤o, ph¥n t½ch c¡c mæ h¼nh ¢ bà khi¸m khuy¸t.V· l¾nh vüc b£o tçn, phöc düng di s£n v«n hâa vªt thº, ùng döng cæng ngh» 3Dnh¬m phöc düng c¡c di vªt, cê vªt ho°c nhúng cæng tr¼nh ki¸n tróc ngh» thuªt cõa di

t½ch ¢ bà xuèng c§p, bà hõy ho¤i bði kh½ hªu v  thíi gian, ho°c do sü t¡c ëng cõachi¸n tranh v  con ng÷íi H¼nh 1.1 minh håa mët sè h¼nh °c tr÷ng c¡c mæ h¼nh, hi»nvªt cõa c¡c b£o t ng ang ÷ñc tr÷ng b y t¤i B£o t ng Ch«mpa   N®ng.

H¼nh 1.1: Tr÷ng b y hi»n vªt t¤i b£o t ng Ch«m

Ngo i ra, c¡c h÷îng nghi¶n cùu v· t¡i t¤o mæ h¼nh, m¨u vªt 3D ¢ v  ang ÷ñcnhi·u nh  nghi¶n cùu v  tê chùc quan t¥m C¡c mæ h¼nh sè hâa 3D sau khi t¡i t¤o

÷ñc ùng döng rëng r¢i trong nhi·u l¾nh vüc kh¡c nhau nh÷ trong y håc, ki¸n tróc,quèc pháng an ninh °c bi»t trong b£o tçn c¡c di t½ch kh£o cê b¬ng c¡ch sè hâa dúli»u c¡c di t½ch, cê vªt º l÷u trú hay tr¼nh di¹n [14],

Mët sè ph÷ìng ph¡p thu thªp dú li»u nh÷: chöp £nh c­t lîp, m¡y qu²t Nhúngph÷ìng ph¡p tr¶n thu ÷ñc k¸t qu£ câ ë ch½nh x¡c cao v  nhanh châng Tuy nhi¶nc¡c h÷îng ti¸p cªn t¡i t¤o v  sè hâa dú li»u tø thi¸t bà th÷ìng m¤i th÷íng câ chi ph½cao do ph£i trang bà ph÷ìng ti»n, m¡y mâc v  ph¦n m·m t÷ìng ùng, c¡c ph¦n m·mkhæng câ t½nh mð º ph¥n t½ch v  xû lþ èi t÷ñng sau khi xû lþ

M°c dò vªy, k¸t qu£ cõa vi»c nghi¶n cùu t¡i t¤o v  phöc düng c¡c mæ h¼nh 3D giópquan s¡t èi t÷ñng nhi·u gâc ë kh¡c nhau, tø têng thº ¸n chi ti¸t v  cho ph²p ph¥nt½ch èi t÷ñng theo nhi·u ti¶u ch½ kh¡c nhau Nhi·u ph÷ìng ph¡p, cæng cö º t¡i t¤o

mæ h¼nh, m¨u vªt b¬ng nhi·u c¡ch kh¡c nhau nh÷ sû döng m¡y qu²t, chöp cëng h÷ðng

tø, t¡i t¤o tø mët hay nhi·u £nh 2D Trong nghi¶n cùu [15] ¢ sû döng ph÷ìng ph¡pt¡i t¤o mæ h¼nh 3D tø tªp £nh chöp xoay váng èi t÷ñng, c¡c t¡c gi£ trong [16] v c¡c cëng sü sû döng c¡c £nh chöp X-Ray º t¡i t¤o l¤i c¡c mæ h¼nh 3D trong l¾nh vüc

y t¸ Ngo i ra trong l¾nh vüc t¡i t¤o c¡c mæ h¼nh ki¸n tróc, di t½ch làch sû v«n hâa [17]th¼ k¸t qu£ c¡c nghi¶n cùu c¦n ÷ñc sû döng º tr¼nh di¹n, ph¥n t½ch, ph¥n o¤n haynhªn d¤ng l¤i èi t÷ñng

C¡c ph÷ìng ph¡p tr¶n phöc vö trong t¡i t¤o mæ h¼nh èi t÷ñng ba chi·u möc ½ch

º t¡i t¤o v  l÷u trú Tuy nhi¶n c¡c nghi¶n cùu ch÷a i s¥u v o vi»c ph¥n t½ch °ctr÷ng hay nhªn d¤ng chóng

Xu§t ph¡t tø nhu c¦u thi¸t y¸u vi»c t¡i t¤o, sè hâa c¡c èi t÷ñng 3D tø c¡c di t½chkh£o cê v  ph¥n t½ch, ành danh c¡c bë phªn tr¶n èi t÷ñng 3D ÷ñc t¡i t¤o nh¬ml÷u trú v  tr¼nh chi¸u èi t÷ñng phöc vö cæng t¡c qu£n lþ, thüc t¤i £o, v  º phöc vötrong vi»c giîi thi»u v  qu£ng b¡ ¸n cëng çng quèc t¸

Luªn ¡n n y, nghi¶n cùu · xu§t ph÷ìng ph¡p t¡i t¤o mæ h¼nh èi t÷ñng 3D tøtªp £nh 2D chöp v  sû döng mæ h¼nh 3D ¢ ÷ñc t¡i t¤o º ti¸n h nh ph¥n t½ch °ctr÷ng, ành danh c¡c bë phªn cõa èi t÷ñng K¸t qu£ thu ÷ñc l  mæ h¼nh 3D t¡i t¤o

v  ph¥n t½ch c¡c °c tr÷ng tr¶n mæ h¼nh 3D, çng thíi l  cì sð º ph¥n t½ch °c tr÷ngngú ngh¾a tr¶n mæ h¼nh 3D Dú li»u ÷ñc thu thªp v  thû nghi»m tø c¡c nguçn t÷ñng

cê t¤i b£o t ng Ch«mpa   N®ng v  di t½ch Th¡nh àa Mÿ Sìn ð Qu£ng Nam phöc

vö cho kiºm tra ¡nh gi¡ v  tr¼nh b y c¡c ph÷ìng ph¡p · xu§t

2 Möc ti¶u v  nëi dung nghi¶n cùu

Möc ti¶u cõa luªn ¡n nh¬m nghi¶n cùu t¡i t¤o v  ph¥n t½ch mæ h¼nh èi t÷ñng3D tø tªp £nh 2D chöp Nguçn dú li»u l  c¡c tªp £nh chöp, mæ h¼nh, m¨u vªt kh£o

cê tø c¡c b£o t ng Ch«mpa tø â ti¸n h nh t¡i t¤o v  ph¥n t½ch °c tr÷ng h¼nh håc,

°c tr÷ng ngú ngh¾a cõa c¡c mæ h¼nh Theo möc ti¶u nghi¶n cùu · xu§t, luªn ¡n tªptrung v o c¡c nëi dung ch½nh sau:

ˆ T¼m hiºu c¡c ph÷ìng ph¡p thu thªp v  t¡i t¤o mæ h¼nh, èi t÷ñng 3D tø tªp £nh2D chöp;

ˆ T¼m hiºu c¡c ph÷ìng ph¡p ph¥n t½ch °c tr÷ng tr¶n £nh 2D, mæ h¼nh 3D;

ˆ Nghi¶n cùu ph÷ìng ph¡p nhªn d¤ng v  ph¥n t½ch °c tr÷ng tr¶n £nh 2D;

ˆ · xu§t ph÷ìng ph¡p ph¥n ph¥n r¢ v  ph¥n t½ch °c tr÷ng tø tªp iºm 3D düatr¶n cì sð h¼nh håc;

ˆ Ph¥n t½ch, ành danh c¡c thuëc t½nh cõa èi t÷ñng 3D tø c¡c thæng tin °c tr÷ngcõa £nh 2D tø â l m cì sð º ph¥n t½ch c¡c th nh ph¦n cõa èi t÷ñng 3D;

ˆ · xu§t c¡ch chó th½ch ngú ngh¾a tr¶n èi t÷ñng 3D düa v o c¡c °c tr÷ng b§tbi¸n cõa £nh v  mèi li¶n quan giúa tªp iºm 2D/3D t÷ìng çng

3 èi t÷ñng ph¤m vi v  ph÷ìng ph¡p nghi¶n cùu

Xu§t ph¡t tø möc ti¶u nghi¶n cùu °t ra nh÷ tr¶n, c¡c èi t÷ñng nghi¶n cùu ch½nhnh÷ sau:

ˆ T¡i t¤o mæ h¼nh èi t÷ñng 3D tø dú li»u £nh 2D chöp xoay váng;

ˆ Ph¥n t½ch c¡c °c tr÷ng h¼nh håc tr¶n èi t÷ñng 3D ÷ñc t¡i t¤o;

ˆ Ph¥n r¢ b· m°t tªp iºm º thüc hi»n ph¥n t½ch °c tr÷ng h¼nh håc cõa tªp iºm;

ˆ Sû döng ph÷ìng ph¡p håc m¡y thüc hi»n ph¥n t½ch °c tr÷ng ngú ngh¾a èi t÷ñng3D düa tr¶n mèi li¶n h» 2D/3D t÷ìng çng;

ˆ Chó th½ch c¡c th nh ph¦n cõa èi t÷ñng 3D

º gi£i quy¸t c¡c v§n · li¶n quan ¸n t¡i t¤o, ph¥n t½ch °c tr÷ng h¼nh håc luªn

¡n ¢ sû döng c¡c ph÷ìng ph¡p nghi¶n cùu sau:

ˆ Ph÷ìng ph¡p nghi¶n cùu lþ thuy¸t: Nghi¶n cùu, t¼m hiºu c¡c ph÷ìng ph¡p xû lþ,ph¥n t½ch °c tr÷ng nhªn d¤ng h¼nh håc trong £nh 2D; T¼m hiºu ph¥n t½ch ngúngh¾a tr¶n èi t÷ñng 2D, 3D.

ˆ Ph÷ìng ph¡p ph¥n t½ch: Ph¥n t½ch °c tr÷ng, °c iºm h¼nh håc, ngú ngh¾a tr¶n

cì sð mèi li¶n h» tr¶n c¡c °c tr÷ng 2D/3D t÷ìng çng

ˆ Ph÷ìng ph¡p thüc nghi»m: Thu thªp dú li»u thüc t¸ tø c¡c b£o t ng Ch«mpa;t¡i t¤o c¡c mæ h¼nh 3D tø £nh chöp; x¥y düng tªp dú li»u º nhªn d¤ng v  ph¥n

o¤n £nh 2D; thüc nghi»m chó th½ch cho mæ h¼nh 3D

4 âng gâp ch½nh cõa luªn ¡n

Thæng qua t¼m hiºu c¡c ph÷ìng ph¡p t¡i t¤o mæ h¼nh, ph¥n o¤n v  g¡n nh¢n tr¶n

mæ h¼nh èi t÷ñng 3D, luªn ¡n câ nhúng âng gâp ch½nh nh÷ sau:

ˆ Thu thªp tªp dú li»u º t¡i t¤o v  sè hâa c¡c hi»n vªt cê t¤i b£o t ng Ch«mpa

ˆ · xu§t ph÷ìng ph¡p ph¥n m£nh èi t÷ñng 3D tr¶n cì sð thuªt to¡n ph¥n cöm

v  ph¥n t½ch ë cong b· m°t cõa tªp iºm;

ˆ · xu§t ph÷ìng ph¡p chó th½ch ngú ngh¾a èi t÷ñng 3D tr¶n cì sð k¸t hñp giúaph¥n o¤n, chó th½ch tr¶n tªp £nh 2D cõa ph÷ìng ph¡p håc s¥u v  chó th½ch èit÷ñng 3D düa v o b£n ç ë s¥u cõa tªp £nh trong qu¡ tr¼nh t¡i t¤o mæ h¼nh 3Dcõa tªp £nh t÷ìng çng;

ˆ Triºn khai mæ h¼nh hâa 3D èi t÷ñng tr¶n tªp dú li»u thüc t¸ tø c¡c b£o t ngCh«mpa cõa Vi»t Nam;

5 Bè cöc cõa luªn ¡n

Bè cöc cõa luªn ¡n bao gçm ph¦n mð ¦u, 3 ch÷ìng nh÷ sau:

ˆ Ch÷ìng 1: Têng quan v· t¡i t¤o v  ph¥n t½ch mæ h¼nh 3D Ch÷ìng n y giîi thi»umët sè ùng döng cõa mæ h¼nh hâa h¼nh håc, ph÷ìng ph¡p t¡i t¤o mæ h¼nh 3D tønhi·u ph÷ìng ph¡p kh¡c nhau nh÷ sû döng m¡y scan, t¡i t¤o mæ h¼nh tø tªp £nhchöp; mët sè ph÷ìng ph¡p ph¥n t½ch °c tr÷ng h¼nh håc, ph÷ìng ph¡p g¡n nh¢ntr¶n mæ h¼nh èi t÷ñng 3D

ˆ Ch÷ìng 2: Ph¥n t½ch °c tr÷ng tr¶n £nh v  mæ h¼nh 3D Giîi thi»u v  ph¥n t½ch

°c tr÷ng h¼nh håc tr¶n £nh v  tªp iºm 3D; mët sè ph÷ìng ph¡p ph¥n t½ch °ctr÷ng tr¶n £nh nh÷: Sobel, Prewitt, Robert, SIFT, HOG; mæ t£ v  ph¥n t½ch °ctr÷ng tr¶n tªp iºm 3D düa v o °c tr÷ng v· h¼nh håc cõa tªp iºm; Ch÷ìngcông tr¼nh b y k¸t qu£ thüc nghi»m ph¥n t½ch °c tr÷ng tr¶n £nh 2D, ph¥n t½ch

ë cong b· m°t tªp iºm 3D, ph÷ìng ph¡p ph¥n m£nh v  ph¥n t½ch tr¶n tªp ¡mm¥y iºm

ˆ Ch÷ìng 3: Ph¥n t½ch v  nhªn d¤ng ngú ngh¾a tr¶n èi t÷ñng 2D/3D Ch÷ìng n y,tr¼nh b y mët sè ph÷ìng ph¡p nhªn d¤ng v  ph¥n o¤n h¼nh £nh düa tr¶n kÿthuªt håc s¥u; ph÷ìng ph¡p ph¥n t½ch c¡c th nh ph¦n cõa èi t÷ñng 3D · xu§tph÷ìng ph¡p chó th½ch ngú ngh¾a tr¶n èi t÷ñng 3D düa v o mèi li¶n h» b§t bi¸ngiúa tªp £nh v  mæ h¼nh 3D sau khi t¡i t¤o Cuèi ch÷ìng thû nghi»m nhªn d¤ng

ành danh khuæn m°t tø mæ h¼nh ¢ ÷ñc hu§n luy»n s®n, thû nghi»m vîi mæh¼nh tü hu§n luy»n

ˆ K¸t luªn v  h÷îng nghi¶n cùu ti¸p theo

C¡c k¸t qu£ nghi¶n cùu cõa luªn ¡n ÷ñc cæng bè trong 6 cæng tr¼nh khoa håc ¢ ÷ñc

«ng trong c¡c t¤p ch½ v  hëi th£o khoa håc chuy¶n ng nh trong n÷îc v  quèc t¸

Ch÷ìng 1 TI T„O V€ PH…N TCH MÆ HœNH 3D

Ch÷ìng n y, giîi thi»u têng quan v· mët sè ùng döng cõa mæ h¼nh hâa h¼nh håc,mët sè ph÷ìng ph¡p t¡i t¤o mæ h¼nh 3D tø nhi·u ph÷ìng ph¡p kh¡c nhau nh÷ m¡yqu²t, £nh chöp; mët sè ph÷ìng ph¡p ph¥n t½ch °c tr÷ng h¼nh håc, ngú ngh¾a tr¶n mæh¼nh èi t÷ñng 3D Tø â l m cì sð cho · xu§t h÷îng nghi¶n cùu li¶n quan ¸n luªn

¡n

1.1 Mæ h¼nh èi t÷ñng 3D

Mæ h¼nh hâa h¼nh håc trong khæng gian 3D l  mët biºu di¹n sè håc c¡c èi t÷ñngtrong th¸ giîi thüc trong khæng gian ba chi·u Thi¸t k¸ v  t¡i t¤o b· m°t cõa èi t÷ñngvªt lþ tr¶n m¡y t½nh, cho ph²p ng÷íi dòng quan s¡t èi t÷ñng tø nhi·u gâc nh¼n vîikho£ng c¡ch kh¡c nhau [18] C¡c ùng döng mæ h¼nh hâa h¼nh håc ·u ÷ñc thüc hi»ntr¶n m¡y t½nh, mæ h¼nh 3D âng vai trá quan trång trong kÿ thuªt t¤o m¨u chú v  c¡cb£n v³ kÿ thuªt, Trong khi â, c¡c mæ h¼nh 3D ÷ñc sû döng nhi·u trong c¡c l¾nhvüc ç håa m¡y t½nh, thüc t¤i £o, ho¤t h¼nh, trá chìi, Ngo i ra mæ h¼nh hâa công

âng vai trá quan trång trong vi»c mæ t£ b· m°t cõa èi t÷ñng trong nhi·u l¾nh vückh¡c nh÷: kÿ thuªt d¥n sü, cì kh½, ki¸n tróc, h» thèng thæng tin àa lþ, àa ch§t, vªt

lþ, hâa håc, y håc, xû lþ £nh v  nhªn d¤ng Biºu di¹n c¡c èi t÷ñng 3D ÷ñc coi l  c¡cb÷îc khði ¦u trong h» thèng mæ phäng thüc t¤i £o, gâp ph¦n t¤o n¶n mët h» thèng

mæ phäng ho n ch¿nh

ˆ H» thèng thæng tin àa lþ (GIS): Sû döng cæng ngh» v  ph¦n m·m dòng ºthu thªp, qu£n lþ, ph¥n t½ch v  hiºn thà dú li»u li¶n quan ¸n c¡c và tr½ àa lþ GISk¸t hñp thæng tin àa lþ nh÷ b£n ç, £nh v» tinh, dú li»u àa ch½nh v  c£m bi¸n,

º t¤o ra c¡c lîp thæng tin àa lþ kh¡c nhau GIS cho ph²p ng÷íi dòng x¡c ànhmèi quan h» khæng gian, bao gçm àa h¼nh, mæi tr÷íng, cì sð h¤ t¦ng, d¥n c÷ v c¡c y¸u tè kh¡c Cung c§p kh£ n«ng ph¥n t½ch phùc t¤p v  t¤o ra biºu ç, ç thà

v  b£n ç trüc quan º tr¼nh b y thæng tin Ng÷íi dòng câ thº thüc hi»n vi»c ol÷íng, truy v§n, ph¥n t½ch v  dü o¡n dú li»u àa lþ trong nhi·u l¾nh vüc kh¡cnhau nh÷ qu£n lþ æ thà, qu£n lþ t i nguy¶n, qu£n lþ mæi tr÷íng, quy ho¤ch æthà, b£o v» mæi tr÷íng v  nhi·u l¾nh vüc kh¡c.

ˆ L¾nh vüc y t¸: Sû döng c¡c ph¦n m·m y t¸ º mæ h¼nh hâa 3D c¡c bë phªn cìthº con ng÷íi, gióp ph¥n t½ch h¼nh £nh v  ÷a ra ph¡n o¡n c¡c b»nh mët c¡chch½nh x¡c hìn Ngo i ra trong vi»c t¡i t¤o mæ h¼nh gióp s£n xu§t, in c¡c mæ h¼nhm¨u vªt 3D phöc vö trong vi»c håc tªp, nghi¶n cùu

ˆ Gi£i tr½ ngh» thuªt: C¡c ùng döng mæ h¼nh 3D gióp c¡c nh  håa s¾, c¡c nh t¤o m¨u trong vi»c thi¸t k¸ c¡c h¼nh £nh sinh ëng v  ch¥n thüc Ngo i ra cáncung c§p nhi·u cæng cö nh÷ khung v³, gi¡ v³, c¡c hi»u ùng 3D, nh¬m gióp qu¡tr¼nh s¡ng t¡c, thi¸t k¸ ch¸ t¤o trð n¶n d¹ d ng v  thuªn ti»n Nhi·u ùng döng

mæ h¼nh hâa cán gióp t¤o ra c¡c ch÷ìng tr¼nh trá chìi, gi¡i tr½, hé trñ c¡c nh 

l m phim t¤o ra c¡c kÿ x£o i»n £nh

ˆ Gi¡o döc  o t¤o: C¡c ùng döng ç håa m¡y t½nh º t¤o c¡c biºu ç, ç thà,hay tø c¡c dú li»u v· t i ch½nh, thèng k¶, kinh t¸, to¡n håc, câ nhi·u ùng döng

mæ phäng c§u tróc cõa vªt thº ti¸n tr¼nh c¡c ph£n ùng hâa håc, thi¸t k¸ sì çm¤ng, mæ phäng gâi tin tr¶n m¤ng m¡y t½nh, phöc vö håc l¡i xe, hu§n luy»n phicæng, i·u khiºn giao thæng, ÷ñc sû döng r§t nhi·u trong nghi¶n cùu, hé trñgi£ng d¤y

ˆ B£o t ng: C¡c ùng döng 3D cho ph²p sè hâa, mæ phäng t¡i t¤o c¡c hi»n vªttrong b£o t ng nh¬m phöc vö cæng t¡c tr÷ng b y, giîi thi»u, phöc ch¸ hi»n vªt.Ngo i ra, kÿ thuªt thüc t¤i £o cho ph²p x¥y düng c¡c b£o t ng £o t÷ìng t¡c 3Dgióp kh¡ch tham quan câ thº di chuyºn, tham quan, t÷ìng t¡c trong khæng gian3D £o [18]

1.2 T¡i t¤o èi t÷ñng 3D

Ph÷ìng ph¡p t¡i t¤o mæ h¼nh 3D ngh¾a l  biºu di¹n mæ h¼nh, vªt thº tø th¸ giîithüc sang mæ h¼nh m  câ thº hiºn thà tr¼nh chi¸u tr¶n m¡y t½nh C¡c b÷îc chung cõaph÷ìng ph¡p â l  thu thªp dú li»u tø th¸ giîi thüc sau â t¡i t¤o ho°c mæ h¼nh hâacho c¡c èi t÷ñng n y â l  quy tr¼nh câ thº ÷ñc mæ t£ bði ba giai o¤n: Thu thªp

dú li»u, ti·n xû lþ v  t¡i t¤o mæ h¼nh

1.2.1 T¡i t¤o mæ h¼nh 3D b¬ng c¡ch qu²t èi t÷ñng

M¡y qu²t 3D l  mët cæng cö quan trång trong vi»c t¤o ra nhúng mæ h¼nh 3D sè hâach½nh x¡c v  câ ë ph¥n gi£i cao tø c¡c èi t÷ñng trong th¸ giîi thüc Ph÷ìng ph¡p

n y th÷íng thüc hi»n b¬ng c¡ch di chuyºn m¡y qu²t xung quanh èi t÷ñng c¦n qu²t

ð mët kho£ng c¡ch cè ành Khi m¡y qu²t ph¡t ra tia laser v  o ¤c thíi gian m  tias¡ng ph£n hçi sau khi chi¸u v o b· m°t cõa èi t÷ñng º thu nhªn thæng tin t½n hi»u.K¸t qu£ thu ÷ñc tø qu¡ tr¼nh n y l  mët lo¤t c¡c iºm dú li»u ÷ñc ghi nhªn tø c¡c

và tr½ kh¡c nhau tr¶n b· m°t cõa èi t÷ñng Nhúng iºm dú li»u n y ÷ñc têng hñpl¤i, º t¤o th nh mët mæ h¼nh 3D chi ti¸t cõa èi t÷ñng Qu¡ tr¼nh n y cho ph²p t¡it¤o c¡c °c iºm h¼nh håc, c§u tróc v  thªm ch½ m u s­c cõa èi t÷ñng ban ¦u

(a) M¡y Qu²t Artec

H¼nh 1.1: Mët sè m¡y qu²t t¡i t¤o mæ h¼nh 3D thæng döng

Kÿ thuªt qu²t 3D l  mët qu¡ tr¼nh t¡i t¤o h¼nh d¤ng cõa vªt thº trong khæng gian

ba chi·u M¡y qu²t 3D công câ kh£ n«ng chöp b£n ç m u cõa mët vªt thº B¬ng c¡ch

hñp nh§t b£n ç m u v o mæ h¼nh 3D V½ dö B£ng 1.1 mæ t£ thæng sè kÿ thuªt mët

sè m¡y qu²t phê bi¸n

B£ng 1.1: Thæng sè kÿ thuªt mët sè lo¤i m¡y Scan phê bi¸n

(a) Mæ h¼nh 3D b¡nh r«ng (b) Mæ h¼nh 3D thi¸t bà m¡y (c) Mæ h¼nh 3D rçng

(a) Mæ h¼nh 3D ng÷íi (b) Mæ h¼nh 3D hoa (c) Mæ h¼nh 3D x÷ìng ng÷íi

H¼nh 1.2: Mët sè mæ h¼nh 3D t¡i t¤o b¬ng kÿ thuªt qu²t [1]

1.2.2 T¡i t¤o mæ h¼nh 3D tø tªp £nh 2D

Qu¡ tr¼nh n y bao gçm c¡c b÷îc ch½nh: Thu thªp v  xû lþ dú li»u tªp £nh 2D; X¡c

ành tªp iºm °c tr÷ng b§t bi¸n tr¶n tªp £nh; x¡c ành và tr½ camera cõa £nh chöp

tø tªp iºm °c tr÷ng b§t bi¸n; t¡i t¤o mæ h¼nh 3D

1.2.2.1 Thu thªp v  ti·n xû lþ dú li»u £nh 2D

T¡i t¤o mæ h¼nh 3D tø tªp £nh ÷ñc thüc hi»n b¬ng c¡ch thu nhªn h¼nh £nh b¬ngc¡ch chöp £nh xung quanh c¡c èi t÷ñng thüc, câ thº sû döng c¡c m¡y £nh thængth÷íng º chöp £nh Tuy nhi¶n vi»c y¶u c¦u kÿ thuªt trong qu¡ tr¼nh chöp £nh ângvai trá quan trång trong k¸t qu£ t¡i t¤o º n¥ng cao ë ch½nh x¡c, tøng c°p £nh chöpg¦n nhau ph£i câ chung vòng dú li»u, m¡y £nh c¦n ÷ñc thi¸t lªp c¡c tham sè nh÷ ës¡ng, ti¶u cü, kh©u ë v  tèc ë h¤n ch¸ thay êi [20]

H¼nh 1.3: C¡ch di chuyºn camera khi chöp £nh

H¼nh 1.3 mæ t£ và tr½ v  h÷îng cõa m¡y £nh, °t v  chöp h¼nh èi t÷ñng Nh÷H¼nh 1.4 biºu di¹n mët sè £nh 2D ÷ñc chöp li¶n ti¸p xung quanh c¡c pho t÷ñng t¤iB£o t ng v«n hâa Ch«mpa   N®ng H¼nh £nh °c tr÷ng ¢ ÷ñc thu thªp t¤i mët sèb£o t ng, dú li»u ÷ñc sû döng trong vi»c t¡i t¤o v  ph¥n t½ch mæ h¼nh 3D

H¼nh 1.4: C¡c h¼nh £nh t÷ñng cê Ch«mpa khi chöp vîi nhi·u và tr½ camera kh¡c nhau

T¡i t¤o mæ h¼nh 3D tø tªp £nh 2D l  mët quy tr¼nh phùc t¤p, trong â t¡i t¤o 3D

÷ñc düa tr¶n vi»c ph¥n t½ch c¡c °c tr÷ng tø c¡c £nh 2D Trong thüc t¸, h¼nh £nh l k¸t qu£ cõa vi»c chi¸u mët iºm khæng gian 3D xuèng mët m°t ph¯ng 2D Méi iºmtrong khæng gian 3D t÷ìng ùng vîi mët iºm £nh tr¶n m°t ph¯ng 2D thæng qua qu¡tr¼nh chi¸u

Tø mët bùc £nh ìn l´, th¼ vi»c x¡c ành và tr½ cõa iºm 3D t÷ìng ùng tr¶n khænggian khæng thº thüc hi»n ÷ñc, bði v¼ thæng tin v· chi·u s¥u ¢ bà m§t, khi câ ½t nh§t

2 £nh chöp ð c¡c gâc ë kh¡c nhau, th¼ vi»c x¡c ành và tr½ cõa iºm 3D câ thº thüchi»n b¬ng c¡ch xem x²t giao iºm cõa hai tia chi¸u tø c¡c iºm £nh t÷ìng ùng tr¶n

hai £nh Giao iºm n y cho bi¸t và tr½ ÷îc t½nh cõa iºm 3D t÷ìng ùng trong khænggian thüc B¬ng c¡ch ¡p döng nguy¶n t­c cho nhi·u iºm £nh tø nhi·u gâc chöp kh¡cnhau, tø â câ thº t¡i t¤o l¤i mæ h¼nh 3D cõa èi t÷ñng.

1.2.2.2 Mæ h¼nh m¡y chöp £nh

Mæ h¼nh m¡y £nh lé kim (pinhole camera) l  mët m¡y £nh ìn gi£n m  khæng câèng k½nh v  ch¿ c¦n mët lé kim vîi mët kh©u ë nhä duy nh§t vîi m n ch­n v  mëthëp en M¡y £nh pinhlole mæ t£ mèi quan h» to¡n håc giúa tåa ë cõa mët iºmtrong khæng gian ba chi·u v  h¼nh chi¸u cõa iºm l¶n mët m°t ph¯ng Mæ h¼nh m¡y

£nh câ thº sû döng nh÷ mët ph²p chi¸u g¦n óng cõa ¡nh x¤ tø c£nh ba chi·u sang

£nh hai chi·u Trong l¾nh vüc thà gi¡c m¡y t½nh v  ç håa m¡y t½nh mæ h¼nh m¡y £nh

÷ñc sû döng º mæ t£ c¡ch m¡y £nh mæ c£nh 3D trong khæng gian 2 chi·u v  ng÷ñcl¤i Nh÷ h¼nh 1.5 mæ t£ h¼nh £nh mæ h¼nh camera pinhole vîi hai m°t ph¯ng [21]

H¼nh 1.5: Mæ h¼nh camera vîi m°t ph¯ng £nh v  m°t ph¯ng èi t÷ñng

Mæ h¼nh camera pinhole biºu di¹n ph÷ìng ph¡p chi¸u tø mët iºm trong khænggian v o mët m°t ph¯ng

Gåi t¥m cõa h¼nh chi¸u l  gèc cõa h» tåa ë Euclide v  °t £nh l  m°t ph¯ng

Z = f, mët iºm p trong khæng gian p = [X Y Z]T, (p ∈ R3) ÷ñc ¡nh x¤ th nh mët

iºm x trong m°t ph¯ng £nh thæng qua tia X′

v  t¥m chi¸u c­t m°t ph¯ng £nh, nh÷h¼nh mæ t£ ph÷ìng ph¡p chi¸u 1.6

H¼nh 1.6: Minh håa ph²p chi¸u mët iºm trong khæng gian v o m°t ph¯ng £nh

Trong â: C l  t¥m chi¸u (t¥m cõa camera) Tø c¡c c°p tam gi¡c çng d¤ng, mët

iºm p trong khæng gian ÷ñc ¡nh x¤ ¸n x = f X

Z

f Y

Z fT n¬m trong m°t ph¯ng £nh.Mët ¡nh x¤ tø R3 v o R2 ÷ñc x¡c ành nh÷ cæng thùc (1.1)

£nh ÷ñc gåi l  iºm ch½nh B¬ng c¡ch biºu di¹n c¡c iºm trong khæng gian v  c¡c

iºm £nh sû döng vectì çng nh§t, ¡nh x¤ trong ph÷ìng tr¼nh (1.1) trð th nh ¡nh x¤tuy¸n t½nh

÷íng ch²o nh÷ diag (f, f, 1) [I 0] l  mët ma trªn bao gçm mët ma trªn ìn và 3x3 v cët vectì 0 Ta °t

X =hX Y Z 1i

T

l  mët vectì çng nh§t trong khæng gian 4 chi·u biºu di¹n mët iºm b§t ký trong

£nh li¶n k¸t C¡c thæng sè £nh ÷ñc biºu di¹n bði ma trªn 3x4 ÷ñc gåi l  ma trªncamera P3x4 câ thº ÷ñc vi¸t rót gån nh÷ ph÷ìng tr¼nh 1.3:

Trong â: P = diag (f, f, 1) [I 0] l  mæ h¼nh camera pinhole cì b£n èi vîi mæh¼nh camera pinhole cì b£n ÷ñc mð rëng th nh mët mæ h¼nh têng qu¡t °c tr÷ngcho mæ h¼nh, v½ dö nh÷: m¡y £nh kÿ thuªt sè, c¡c h¼nh h¼nh £nh ÷ñc t¤o th nh bðitªp c¡c iºm £nh ÷ñc gåi l  iºm £nh Vîi °c iºm cõa c¡c m¡y £nh kÿ thuªt sè gèctåa ë trong m°t ph¯ng £nh khæng tròng vîi iºm ch½nh nh÷ gi£ thi¸t trong ph÷ìngtr¼nh (1.1), do â câ mët ¡nh x¤

ë h¼nh £nh b¬ng iºm £nh, s³ bê sung th¶m mët t l» câ thº khæng çng nh§t.Trong â:

mx v  my: sè iºm £nh tr¶n mët ìn và kho£ng c¡ch trong tåa ë £nh theo h÷îng

x v  y

αx = f mx, αy = f my: ë d i ti¶u cü cõa camera

x, y: tåa ë h÷îng cõa tia chi¸u

[x0y0]T: tåa ë gèc cõa iºm ch½nh vîi x0 = mxpx v  y0 = mypy

1.2.2.3 X¡c ành tªp iºm °c tr÷ng b§t bi¸n

Thuªt to¡n SIFT ÷ñc sû döng rëng r¢i trong nhi·u l¾nh vüc kh¡c nhau nh÷ thàgi¡c m¡y t½nh v  xû lþ £nh [22] Þ t÷ðng ch½nh cõa thuªt to¡n l  tø h¼nh £nh 2D t¼m

ra c¡c iºm £nh (feature point hay keypoint) °c tr÷ng b§t bi¸n v  sû döng vectì º

mæ t£ c¡c °c tr÷ng, tø â câ thº ph¥n bi»t, so s¡nh c¡c °c tr÷ng vîi nhau Bë tham

sè mæ t£ cho tøng iºm £nh, ¥y l  mët chuéi gçm 128 sè t÷ìng ùng vîi mët vector

128 chi·u H¼nh 1.7 biºu di¹n k¸t qu£ x¡c ành tªp iºm °c tr÷ng b§t bi¸n tr¶n hai

£nh

H¼nh 1.7: iºm °c tr÷ng t÷ìng çng giúa 2 £nh

Sau khi thu thªp c¡c tªp iºm °c tr÷ng cõa méi £nh, sû döng ph÷ìng ph¡p èis¡nh méi c°p iºm º x¡c ành c°p iºm t÷ìng çng cho méi c°p £nh (H¼nh 1.7) K¸tqu£ cõa giai o¤n n y thu ÷ñc tªp iºm °c tr÷ng cho méi £nh v  c°p £nh ¥y l 

cì sð º x¡c ành h÷îng v  và tr½ t÷ìng èi cõa £nh ÷ñc chöp v  cung c§p thæng tincho giai o¤n t¡i t¤o èi t÷ñng 3D ti¸p theo

1.2.2.4 X¡c ành và tr½ camera cõa £nh tø tªp iºm £nh °c tr÷ng b§t

bi¸n

Trong giai o¤n thüc hi»n t¡i t¤o mæ h¼nh 3D cho c¡c mæ h¼nh tø £nh chöp, c¦nph£i x¡c ành l¤i h÷îng v  và tr½ £nh chöp º x¡c ành h÷îng v  và tr½ °t cõa cameracõa c¡c £nh tø tªp iºm °c tr÷ng b§t bi¸n v  c¡c c°p iºm t÷ìng çng cõa méi c°p

£nh Do tªp c¡c £nh thu ÷ñc tø c¡c và tr½ v  h÷îng kh¡c nhau cõa méi gâc chöp, c¡c

iºm °c tr÷ng b§t bi¸n cung c§p c¡c thæng tin húu ½ch trong vi»c x¡c ành và tr½ v h÷îng cõa £nh t÷ìng ùng vîi gâc chöp Þ t÷ðng x¡c ành h÷îng cõa c¡c £nh b¬ngc¡ch chån mët £nh b§t ký l m £nh cì sð (£nh ch½nh) tø â so s¡nh vîi c¡c £nh cánl¤i düa v o tªp iºm °c tr÷ng b§t bi¸n C¡c b÷îc ch½nh cõa ph÷ìng ph¡p x¡c ànhh÷îng cõa £nh nh÷ sau [20]:

1) Thüc hi»n qu¡ tr¼nh » quy gh²p c°p giúa méi £nh v  £nh cì sð; H÷îng cõa méi

£nh ÷ñc x¡c ành b¬ng ma trªn çng nh§t, v  t¿ l» £nh ÷ñc i·u ch¿nh b¬ngthuªt to¡n RANSAC [23]; Méi b÷îc trong qu¡ tr¼nh gh²p c°p c¦n ÷ñc i·u ch¿nh

º tr¡nh t½ch lôy léi

2) T½nh têng b¼nh ph÷ìng b² nh§t cho t§t c£ c¡c tham sè tr¶n c¡c iºm °c tr÷ngcõa £nh Léi cõa mët iºm ÷ñc o b¬ng sü ch¶nh l»ch giúa tåa ë thüc t¸ cõa

iºm °c tr÷ng v  tåa ë ÷ñc chi¸u ng÷ñc cõa nâ l¶n £nh

K¸t qu£ cõa qu¡ tr¼nh n y, cho ph²p rót tr½ch c¡c thæng tin v· h÷îng v  và tr½ cõa m¡y

£nh tø c¡c £nh dú li»u H¼nh 1.8 mæ t£ c¡c và tr½ ¢ ÷ñc chöp £nh, ÷ñc t¡i hi»n tr¶n

mæ h¼nh 3D

H¼nh 1.8: Biºu di¹n thæng tin c¡c và tr½ £nh thu ÷ñc trong qu¡ tr¼nh chöp t÷ñng cêCh«mpa

£nh

Mët b£n ç ë s¥u ÷ñc ¡nh x¤ sang tªp iºm 3D trong khæng gian Qu¡ tr¼nhchuyºn êi n y ÷ñc düa tr¶n ph²p chi¸u méi iºm £nh v o khæng gian Nh÷ trongnghi¶n cùu [2] mæ t£ ph÷ìng ph¡p phöc hçi thæng tin ë s¥u cõa iºm £nh düa tr¶nc¡c iºm t÷ìng çng v  và tr½ h÷îng cõa iºm £nh Möc ti¶u cõa vi»c èi s¡nh l  t¼mmët ¡nh x¤: Fpx: τ ⊗ εpx

Trong â:

τ: khæng gian Euclid;

εpx: ë s¥u theo tia chi¸u ho°c sü ch¶nh l»ch t÷ìng ùng trong khæng gian £nh

H¼nh 1.9: Ph÷ìng ph¡p phöc hçi thæng tin ë s¥u cõa iºm £nh [2]

H¼nh 1.9 bi¹u di¹n kho£ng c¡ch Euclide giúa c¡c tia chi¸u tø c¡c c°p iºm t÷ìng

çng, â l  cì sð trong vi»c x¡c ành ë s¥u cõa tøng iºm £nh v  x¥y düng b£n ç ës¥u cõa mæ h¼nh èi t÷ñng Trong [20], [2] mæ t£ mët cæng thùc phùc t¤p ÷ñc dòngtrong vi»c x¡c ành b£n ç ë s¥u cõa iºm £nh v  x¥y düng h m E(Fpx)¡nh gi¡ gi¡trà phò hñp theo mët sè ti¶u ch½, i·u ki»n thäa m¢n

A(x, y, Fpx(x, y)) h m o l÷íng mùc ë t÷ìng çng cõa c¡c iºm £nh °c tr÷ng,dòng º thi¸t lªp b£n ç h» sè t÷ìng quan

∥∇(Fpx)∥reg ë lîn gi¡ trà bi¸n thi¶n cõa h m Fpx, º mæ h¼nh mong muèn b· m°tmàn th¼ h m Fpx ph£i phò hñp, ·u n y s³ phö thuëc v o c¡c b÷îc nh£y t÷ìng ùng

v  α1, α2, (α1, α2 ∈ R) c¡c h» sè o l÷íng ë ch¶nh l»ch cõa hai tia chi¸u º h¤n ch¸khæng gian t¼m ki¸m tèi ÷u cõa mæ h¼nh v  gi£m nhi¹u, trong [2] ¡p döng ph÷ìng ph¡pkhîp a ë ph¥n gi£i, trong â b£n ç ë s¥u cõa tªp iºm thæ ÷ñc sû döng º dü

o¡n cho c¡c mæ h¼nh câ ë ph¥n gi£i màn hìn düa tr¶n c¡c tªp iºm °c tr÷ng b§tbi¸n

Tªp c¡c iºm °c tr÷ng cõa £nh ÷ñc tr½ch xu§t, ph¥n t½ch v  x¡c ành thæng tin

ë s¥u t¤o th nh b£n ç ë s¥u cho méi £nh Tªp hñp c¡c b£n ç ë s¥u t÷ìng ùngvîi c¡c ë ph¥n gi£i kh¡c nhau ÷ñc ¡nh x¤ sang tªp iºm 3D Méi iºm 3D sau khit¡i t¤o luæn ÷ñc li¶n k¸t vîi mët iºm °c tr÷ng cõa £nh

C¡c b÷îc xû lþ ch½nh trong giai o¤n t¡i t¤o mæ h¼nh ÷ñc mæ t£ trong [20] v 

÷ñc mæ t£ cö thº nh÷ sau:

B÷îc 1) Chöp £nh tø c¡c và tr½ v  h÷îng kh¡c nhau º bao qu¡t (phõ) to n bë èit÷ñng;

B÷îc 2) T½nh c¡c iºm r ng buëc(tie points) v  èi s¡nh giúa t§t c£ c¡c iºm °ctr÷ng tr¶n c¡c c°p h¼nh £nh b¬ng thuªt to¡n SIFT;

B÷îc 3) Sû döng c¡c iºm r ng buëc º x¡c ành h÷îng v  và tr½ cõa c¡c £nh ÷ñcchöp;

B÷îc 4) X¡c ành c¡c mæ h¼nh 3D theo nhi·u ë ph¥n gi£i kh¡c nhau, o l÷íng gi¡ tràméi iºm £nh trong khæng gian;

B÷îc 5) Tr½ch xu§t b· m°t èi t÷ñng b¬ng c¡ch ti¸p cªn n«ng l÷ñng tèi thiºu tr¶n

to n bë khæng gian v  l m màn b· m°t theo mët thù tü º çng nh§t b· m°t èit÷ñng

K¸t qu£ cõa giai o¤n n y l  tªp iºm 3D méi iºm 3D ÷ñc t¤o tø tªp iºm b§t bi¸nSIFT v  chùa thæng tin ë s¥u cho méi iºm £nh Tø c¡c tªp iºm n y cho ph²p mæt£ h¼nh d¤ng, c§u tróc cõa èi t÷ñng trong khæng gian

Ngo i c¡c ph÷ìng ph¡p t¡i t¤o mæ h¼nh 3D düa v o thi¸t bà qu²t èi t÷ñng, hayt¡i t¤o mæ h¼nh 3D tø tªp £nh 2D chöp cán câ mët sè ph÷ìng ph¡p t¡i t¤o mæ h¼nhphê bi¸n nh÷: Quang tr­c(Photogrammetry) ph÷ìng ph¡p sû döng tªp h¼nh £nh ºt¤o ra mæ h¼nh 3D èi t÷ñng trong th¸ giîi thüc Ph÷ìng ph¡p düa tr¶n c¡ch x¡c ành

và tr½ v  ë cao cõa c¡c iºm tr¶n b· m°t tr¶n £nh sû döng thæng tin tø nhi·u h¼nh

£nh ÷ñc chöp vîi nhi·u h÷îng kh¡c nhau Ph÷ìng ph¡p n y y¶u c¦u sè l÷ñng h¼nh

£nh lîn v  phùc t¤p º t¤o ra mæ h¼nh ch½nh x¡c, th÷íng ÷ñc sû döng trong c¡c ùngdöng nh÷ GIS, x¥y düng, b£o tçn c¡c di t½ch, di s£n v«n hâa, Mët sè ph¦n m·mphê bi¸n ÷ñc sû döng nh÷: Agisoft Metashape, RealityCapture v  Pix4D ×u iºmcõa ph÷ìng ph¡p n y l  t¤o ra mæ h¼nh 3D ch½nh x¡c v  chi ti¸t nh÷ng sû döng cæng

cö ph¦n m·m câ s®n, phò hñp vîi vi»c t¤o mæ h¼nh c¡c èi t÷ñng lîn v  phùc t¤p, chiph½ cao phö thuëc v o ph¦n m·m

Công nh÷ ph÷ìng ph¡p quang tr­c ph÷ìng ph¡p t¡i t¤o mæ h¼nh SfM (Structurefrom Motion) c¦n câ mët tªp hñp c¡c h¼nh £nh 2D cõa èi t÷ñng ho°c c£nh C¡c h¼nh

£nh ÷ñc thu thªp tø nhi·u gâc ë kh¡c nhau Sau â, thæng tin tø c¡c iºm °c tr÷ngtr¶n c¡c h¼nh £nh ÷ñc sû döng º ÷îc l÷ñng và tr½ cõa m¡y £nh v  t¡i t¤o mæ h¼nh3D Ph¦n m·m hé trñ nh÷: OpenMVG, VisualSFM C¡c kÿ thuªt bao gçm ph¡t hi»n

iºm °c tr÷ng, khîp h¼nh £nh, v  ph¡t hi»n c§u tróc 3D tø dú li»u h¼nh £nh Ph÷ìngph¡p n y phê bi¸n ÷ñc sû döng trong t¡i t¤o mæ h¼nh, nh÷ng th÷íng ÷ñc xû lþ mëtchi·u [24]

Méi ph÷ìng ph¡p ·u t¡i t¤o mæ h¼nh 3D nh÷ng xû lþ mët chi·u ch÷a i s¥u v oph¥n t½ch chi ti¸t Trong luªn ¡n giîi thi»u v  · xu§t ph÷ìng ph¡p vøa thüc hi»n t¡it¤o mæ h¼nh 3D v  song song vîi t¡i t¤o l  ph¥n o¤n v  chó th½ch mæ h¼nh düa v o

°c tr÷ng giúa £nh 2D v  mæ h¼nh cõa còng mët èi t÷ñng

èi t÷ñng trong khæng gian ba chi·u Bao gçm c¡c thæng tin v· h¼nh d¤ng, và tr½, k½chth÷îc, h÷îng, kho£ng c¡ch v  mèi quan h» khæng gian giúa c¡c èi t÷ñng i·u n yth÷íng ÷ñc thüc hi»n º mæ t£ v  hiºu rã hìn v· c§u tróc, h¼nh d¤ng v  c¡c y¸u tèh¼nh håc kh¡c li¶n quan ¸n èi t÷ñng â

Mæ h¼nh 3D câ thº ÷ñc hiºn thà d÷îi d¤ng nhi·u gâc nh¼n kh¡c nhau nh÷ h¼nh

£nh 2D thæng qua qu¡ tr¼nh gåi l  ph²p chi¸u C¡c mæ h¼nh công câ thº ÷ñc t¤o rab¬ng c¡ch sû döng c¡c thi¸t bà in 3D [25] C¡c mæ h¼nh 3D thº hi»n c¡ch sû döng tªphñp c¡c iºm trong khæng gian 3D, ÷ñc k¸t nèi bði c¡c thüc thº h¼nh håc kh¡c nhaunh÷ h¼nh tam gi¡c, ÷íng th¯ng, b· m°t cong, l  tªp hñp dú li»u (iºm v  thæng

tin kh¡c) Trong l¾nh vüc xû lþ £nh v  ç håa m¡y t½nh, vi»c nhªn d¤ng v  sû döngc¡c °c tr÷ng h¼nh håc cõa mæ h¼nh 3D câ thº gióp ph¥n t½ch v  hiºu rã hìn v· c§utróc khæng gian cõa c¡c èi t÷ñng trong mæ h¼nh, l m cho qu¡ tr¼nh t¤o h¼nh, hiºn thà

v  xû lþ £nh trð n¶n hi»u qu£ v  ch½nh x¡c hìn

Mæ h¼nh 3D ÷ñc sû döng rëng r¢i ð måi nìi trong ç håa 3D v  CAD, vi»c sûdöng c¡c mæ h¼nh n y câ tr÷îc trong ç håa 3D tr¶n m¡y t½nh c¡ nh¥n Hay nhi·u tráchìi m¡y t½nh ¢ sû döng h¼nh £nh ÷ñc k¸t xu§t s®n cõa c¡c mæ h¼nh 3D nh÷ håati¸t tr÷îc khi m¡y t½nh câ thº k¸t xu§t chóng trong thíi gian thüc Khi â, ng÷íi thi¸tk¸ câ thº nh¼n th§y mæ h¼nh theo nhi·u h÷îng v  gâc nh¼n kh¡c nhau, i·u n y câ thºgióp ng÷íi thi¸t k¸ xem li»u èi t÷ñng ÷ñc t¤o ra óng nh÷ y¶u c¦u thi¸t k¸ Thi¸t k¸theo c¡ch n y câ thº gióp nh  thi¸t k¸ t¼m ra nhúng thay êi ho°c c£i ti¸n c¦n thi¸tcho s£n ph©m Ngo i ra, c¡c mæ h¼nh 3D công ÷ñc sû döng trong nhi·u l¾nh vüc nh÷trong y t¸ sû döng c¡c mæ h¼nh chi ti¸t cõa c¡c cì quan; câ thº ÷ñc t¤o b¬ng nhi·u l¡t

£nh 2 chi·u tø qu²t MRI ho°c CT L¾nh vüc hâa håc sû döng c¡c mæ h¼nh chi ti¸t caocõa c¡c hñp ch§t hâa håc Hay l¾nh vüc ki¸n tróc sû döng chóng º tr¼nh di¹n c¡c táa

nh  v  c£nh quan ÷ñc · xu§t thay cho c¡c mæ h¼nh ki¸n tróc vªt lþ truy·n thèng

Nh÷ vªy, °c tr÷ng ngú ngh¾a tr¶n mæ h¼nh 3D li¶n quan ¸n vi»c tr½ch xu§t v x¡c ành nhúng thæng tin quan trång v  câ þ ngh¾a tø c¡c tªp iºm 3D cõa mæ h¼nh,

º hiºu rã hìn v· c§u tróc v  þ ngh¾a cõa èi t÷ñng ÷ñc biºu di¹n trong khæng gian

3D V½ dö º tr£ líi c¥u häi c§u tróc, th nh ph¦n c§u t¤o n¶n mët táa nh  th¼ mët mæh¼nh h¼nh håc khâ câ thº tr£ líi cö thº, v¼ vªy n¸u bi¸t c¡c °c tr÷ng ngú ngh¾a c§ut¤o n¶n táa nh  câ thº tr£ líi trüc ti¸p °c tr÷ng ngú ngh¾a l  mët kh¡i ni»m th÷íng

÷ñc thèng nh§t º ph¥n lo¤i, ph¥n nhâm mët èi t÷ñng còng chung mët t½nh ch§t,

°c iºm v o mët nh¢n mang þ ngh¾a [3]

H¼nh 1.10: Ph¥n t½ch v  chó th½ch ngú ngh¾a mæ h¼nh táa nh  [3]

B i to¡n ph¥n m£nh v  ph¥n t½ch °c tr÷ng tr¶n èi t÷ñng 3D âng mët vai tráquan trång trong vi»c t¡i t¤o l¤i hay nhªn d¤ng mæ h¼nh 3D Do t½ch ch§t, °c iºmcõa ¡m m¥y iºm l  tªp iºm phi c§u tróc, ríi r¤c Nhªn d¤ng v  ph¥n t½ch °c tr÷ngcõa chóng l  mët th¡ch thùc lîn cho c¡c nh  nghi¶n cùu B i to¡n ph¥n o¤n, chóth½ch ngú ngh¾a cho c¡c ¡m m¥y iºm 3D nh¬m möc ½ch ph¥n lo¤i c¡c iºm, tªp

iºm trong khæng gian th nh c¡c vòng, khu vüc câ t½nh ch§t, °c iºm t÷ìng tü nhau

v  g¡n nh¢n ngú ngh¾a [27]

1.4 K¸t ch÷ìng

Trong ch÷ìng n y giîi thi»u v· mæ h¼nh 3D v  c¡c ùng döng trong thüc t¸, giîithi»u mët sè ph÷ìng ph¡p t¡i t¤o mæ h¼nh 3D nh÷ ph÷ìng ph¡p chöp, ph÷ìng ph¡pqu²t Trong nëi dung ch÷ìng giîi thi»u chi ti¸t v· ph÷ìng ph¡p thu nhªn v  t¡i t¤o

mæ h¼nh 3D tø tªp £nh Ngo i ra trong ph¦n n y, luªn ¡n công tr¼nh b y mët sè nëidung v· °c tr÷ng h¼nh håc, ngú ngh¾a tr¶n mæ h¼nh 3D.

Ch֓ng 2

PH…N TCH C TR×NG HœNH HÅC TR–N ƒNH

2D V€ MÆ HœNH 3D

Ch÷ìng n y giîi thi»u mët sè ph÷ìng ph¡p mæ t£ v  ph¥n t½ch °c tr÷ng tr¶n h¼nh

£nh b¬ng mët sè kÿ thuªt ph¥n t½ch °c tr÷ng tr¶n £nh; ph÷ìng ph¡p HOG, SIFT; tr¼nh

b y mët sè kÿ thuªt håc s¥u trong nhªn d¤ng, ph¥n o¤n h¼nh £nh; ph÷ìng ph¡p ph¥nt½ch °c tr÷ng tr¶n tªp iºm 3D v  thû nghi»m v o b i to¡n ph¥n t½ch °c tr÷ng

2.1 °t v§n ·

Hi»n nay l¾nh vüc tr½ tu» nh¥n t¤o, thà gi¡c m¡y t½nh ¢ v  ang ph¡t triºn m¤nhm³, bði kh£ n«ng gi£i quy¸t v  xû lþ h ng tri»u thæng tin trong thíi gian ng­n Trongl¾nh vüc thà gi¡c m¡y t½nh chóng câ thº gióp xû lþ nhanh v  óng müc trong thíi gianthüc, ·u m  ngay ch½nh con ng÷íi nhi·u lóc g°p khâ kh«n V¼ th¸ chóng ¢ câ r§tnhi·u ùng döng trong cuëc sèng nh÷ ph¥n t½ch, nhªn d¤ng h¼nh £nh

Ph¥n t½ch °c tr÷ng h¼nh £nh ÷ñc sû döng nh÷ mët cæng cö cì b£n º nhªn bi¸t,ph¥n bi»t v  ph¥n t½ch c¡c lo¤i h¼nh £nh kh¡c nhau, bao gçm c¡c lo¤i h¼nh £nh nh÷

£nh nhà ph¥n, £nh m u, £nh quang tr­c, C¡c nghi¶n cùu tr÷îc ¥y ¢ gi£i quy¸t

b i to¡n v· ph¥n t½ch h¼nh £nh chõ y¸u giîi h¤n trong l¾nh vüc khoa håc m¡y t½nh v chóng chõ y¸u xû lþ c¡c h¼nh £nh ìn gi£n cho c¡c ùng döng nh÷ ph¡t hi»n léi, ph¥n

o¤n v  ph¥n lo¤i h¼nh £nh B i to¡n ph¥n t½ch h¼nh £nh ng y c ng quan trång v phê bi¸n v¼ câ thº ÷ñc thüc hi»n nhanh châng, thuªn ti»n hìn v  hi»u qu£ hìn ºthüc hi»n ÷ñc v§n · â b i to¡n ph¥n t½ch h¼nh £nh chõ y¸u düa v o cæng ngh» thàgi¡c m¡y t½nh Còng vîi sü ph¡t triºn bòng nê trong n·n t£ng h» thèng ph¦n cùng v ph¦n m·m ¢ d¨n ¸n nhúng ti¸n bë ¡ng kº trong ph¥n t½ch v  xû lþ c¡c h¼nh £nh

kÿ thuªt sè

Ngo i ra, ph¥n t½ch £nh ¢ ÷ñc ùng döng v o nhi·u l¾nh vüc khoa håc v  cængngh» kh¡c nhau V½ dö, ÷ñc sû döng º ¡nh gi¡ ho°c ành l÷ñng c¡c °c iºm b¶n

ngo i (tùc l  m u s­c, k½ch th÷îc, h¼nh d¤ng v  k¸t c§u b· m°t) v  c§u tróc b¶n trong(ki¸n tróc v  / ho°c k¸t nèi cõa c¡c th nh ph¦n nguy¶n li»u) cõa s£n ph©m thüc ph©m[28].

Mët sè nghi¶n cùu nh÷ b i b¡o [29, 30] ¢ ÷a ra mët sè kÿ thuªt ph¡t hi»n °ctr÷ng v  so s¡nh, ¡nh gi¡ mët sè ph÷ìng ph¡p nh÷: Sobel, Canny, Prewitt, trong [30]công nhªn x²t k¸t qu£ cõa ph÷ìng ph¡p ph¥n t½ch °c tr÷ng vîi bë låc ¤o h m bªchai tèt hìn ¤o h m bªc mët, k¸t qu£ b i b¡o công cho th§y r¬ng mët sè ph÷ìng ph¡pnh÷: Sobel, Roberts, Canny, Laplacian, Kirsh v  Edge Maximum Technique (EMT)hi»u qu£ trong mët sè tr÷íng hñp Trong luªn ¡n công sû döng mët sè kÿ thuªt ºnhªn d¤ng v  ph¥n t½ch c¡c ÷íng °c tr÷ng trong £nh nh÷:

1) Bë låc Sobel: Sû döng bë låc 3x3 t½ch chªp vîi £nh (I) º x¡c ành sü thay êitheo hai h÷îng x v  y cõa £nh

H÷îng cõa gradient: θ = atan 2 (Gy, Gx) èi vîi c¡c ph²p to¡n tr¶n º t¼m c¡c

iºm cüc trà, iºm °c tr÷ng º t¼m c¡c vòng bi¶n cõa c¤nh trong £nh sû döng

¤o h m bªc nh§t tr¶n hai chi·u cõa h¼nh £nh

4) To¡n tû LoG (Laplacian of Gaussian): to¡n tû sû döng ¤o h m bªc hai cõa mët

£nh sû döng ph²p t½ch chªp cõa h m Gaussian v  to¡n tû Laplacian ·u n y choph²p x¡c ành c¡c iºm cüc trà tr¶n £nh v  gióp ph¡t hi»n c¡c ÷íng vi·n, c¤nhtrong £nh H m Gaussian ÷ñc x¡c ành b¬ng cæng thùc 2.4:

h¼nh £nh ÷ñc · xu§t bði [4], HOG ¢ t¤o n¶n mët b÷îc ti¸n trong vi»c gi£i quy¸t

b i to¡n nhªn d¤ng èi t÷ñng trong £nh

Ph÷ìng ph¡p ph¥n t½ch v  mæ t£ °c tr÷ng HOG l  mët trong nhúng ph÷ìng ph¡phi»u qu£ th÷íng ÷ñc sû döng trong l¾nh vüc thà gi¡c m¡y t½nh, håc m¡y º nhªn d¤ng

èi t÷ñng [4] Möc ½ch cõa ph÷ìng ph¡p HOG l  trøu t÷ñng hâa èi t÷ñng b¬ng c¡chtr½ch xu§t ra nhúng °c tr÷ng húu ½ch cõa èi t÷ñng v  lo¤i bä i nhúng thæng tinkhæng húu ½ch B£n ch§t cõa ph÷ìng ph¡p HOG l  t½nh to¡n v  sû döng thæng tin v·

sü ph¥n bè düa v o c÷íng ë gradient (intensity gradient) ho°c cõa h÷îng bi¶n (edgedirections) º mæ t£ c¡c èi t÷ñng cöc bë trong £nh

HOG thüc hi»n b¬ng c¡ch chia nhä mët bùc £nh th nh c¡c vòng con, ÷ñc gåi l 

æ (cells) Méi æ câ k½ch th÷îc cè ành, th÷íng l  8x8 ho°c 16x16 iºm £nh Vîi méicell, thuªt to¡n s³ t½nh to¡n histogram c¡c h÷îng cõa gradients cho c¡c iºm n¬m trongcell º t«ng c÷íng hi»u n«ng nhªn d¤ng, c¡c histogram cöc bë câ thº ÷ñc chu©n hâav· mët ng÷ïng c÷íng ë trong mët vòng lîn hìn cell, gåi l  c¡c khèi (blocks) v  sûdöng gi¡ trà ng÷ïng â º chu©n hâa t§t c£ c¡c cell trong khèi Tø c¡c ng÷ïng s³ ÷ñcchu©n hâa th nh vectì °c tr÷ng câ t½nh b§t bi¸n cao hìn

Gièng nh÷ thuªt to¡n SIFT, HOG l  mët bë mæ t£ °c tr÷ng ÷ñc sû döng trong

xû lþ h¼nh £nh v  thà gi¡c m¡y t½nh nh¬m möc ½ch ph¡t hi»n èi t÷ñng, thuªt to¡n

câ thº nhªn ÷ñc sè l÷ñng °c tr÷ng tø sü thay êi h¼nh d¤ng cõa èi t÷ñng düa tr¶nvi»c chia mi·n cöc bë th nh c¡c khèi v  t¤o ra biºu ç ë nghi¶ng º thu ÷ñc vectì

°c tr÷ng tø ph÷ìng ph¡p HOG thæng th÷íng ÷ñc xû lþ qua c¡c b÷îc nh÷ ÷ñc mæt£ h¼nh 2.2

H¼nh 2.1: Mæ t£ c¡c giai o¤n ph¥n t½ch l÷ñc ç histogram trong HOG [4]

HOG l  mët thuªt to¡n câ thº ph¥n t½ch v  thu nhªn ÷ñc sè l÷ñng °c tr÷ng nêibªt düa tr¶n sü thay êi h¼nh d¤ng cõa èi t÷ñng b¬ng c¡ch chia mi·n cöc bë th nhc¡c khèi c¡c b÷îc thuªt to¡n ÷ñc mæ t£ nh÷ sau:

ˆ ƒnh ¦u v o ÷ñc chuyºn v· £nh x¡m º gi£m ë phùc t¤p t½nh to¡n v  t«ng hi»usu§t

ˆ ƒnh ÷ñc chia th nh c¡c æ nhä, th÷íng l  c¡c h¼nh vuæng câ k½ch th÷îc 8x8 iºm

£nh T½nh ë lîn gradient v  h÷îng cho tøng iºm £nh ÷ñc x¡c ành bði c¡ccæng thùc sau:

fx(x, y) = L(x + 1, y) − L(x − 1, y) (2.8)

fy(x, y) = L(x, y + 1) − L(x, y − 1) (2.9)

ˆ X¡c ành biºu ç cõa gradient trong méi æ Gâc cõa gradient ÷ñc ÷îc l÷ñng tø

00 ¸n 1800 V  ph¥n chia kho£ng gâc tø 0 ë ¸n 180 ë th nh 9 kho£ng (ho°c

bins) t÷ìng ùng vîi 9 h÷îng kh¡c nhau

H¼nh 2.2: Mæ t£ l÷ñc ç Histogram theo 9 h÷îng