(Luận Văn Thạc Sĩ Khoa Học Máy Tính) Khôi Phục Depthmap Từ Bản In 2D Mộc Bản

Đ¾I HàC QUàC GIA HÀ NàI

TR¯äNG Đ¾I HàC CÔNG NGHà

TR¯¡NG NGàC KIÊN

LUÂN VN TH¾C S) KHOA HàC MÁY TÍNH

Hà Nái - 2022

Đ¾I HàC QUàC GIA HÀ NàI

LUÂN VN TH¾C S) KHOA HàC MÁY TÍNH

NG¯äI H¯âNG DÀN KHOA HàC: PGS.TS Lê Thanh Hà

Hà Nái - 2022

LäI CÀM ¡N

Em xin chân thành cÁm ¢n các thÁy cô giáo trong tr°áng Đ¿i hác Công nghá - Đ¿i hác Quác gia Hà Nái đã tÁn tình giúp đỡ và truyÃn đ¿t kiÁn thāc cho em trong suát 2 năm hác qua để em có đÿ kiÁn thāc hoàn thành khóa luÁn này

Đặc biát, em xin gąi lái cÁm ¢n sâu sắc tßi thÁy Lê Thanh Hà – ng°ái đã nhiát tình đáng viên, giúp đỡ em trong quá trình đßnh hình, nghiên cāu và hoàn thành luÁn văn này

Xin gąi lái cÁm ¢n thiÁt tha nh¿t tßi những ng°ái thân trong gia đình đã t¿o điÃu kián và đáng viên cho con/em r¿t nhiÃu trong quá trình hoàn thành khóa luÁn này

Mặc dù đã r¿t cá gắng hoàn thành luÁn văn này vßi t¿t cÁ nß lực cÿa bÁn thân, xong luÁn văn s¿ khó tránh khßi những thiÁu sót, kính mong quý thÁy cô tÁn tình chỉ bÁo cho em những sai lÁm cÁn khắc phāc cÿa mình Mát lÁn nữa em xin gąi tßi t¿t cÁ mái ng°ái lái cÁm ¢n chân thành nh¿t

Hà Nội, tháng 06 năm 2022

Học viên

LäI CAM ĐOAN

Tôi xin cam đoan luÁn văn th¿c sĩ khoa hác máy tính: <Khôi phục depthmap từ

bản in 2D mộc bản= là kÁt quÁ cÿa quá trình hác tÁp, nghiên cāu khoa hác đác

lÁp, nghiêm túc

Các sá liáu trong luÁn văn là trung thực, có nguồn gác rõ ràng, đ°ÿc trích d¿n và có tính kÁ thăa, phát triển tă các sách, tài liáu, t¿p chí, các công trình nghiên cāu đã đ°ÿc công bá, và các website, &

Các ph°¢ng pháp nêu trong luÁn văn đ°ÿc rút ra tă những c¢ sã lý luÁn và quá trình nghiên cāu tìm hiểu cÿa tác giÁ

Hà Nái, tháng 06 năm 2022 Hác viên

Tr°¢ng Ngác Kiên

1.1 Tổng quan mác bÁn triÃu Nguyßn 4

1.1.1 Gißi thiáu mác bÁn triÃu Nguyßn 4

1.1.2 Hián tr¿ng cÿa mác bÁn triÃu Nguyßn 4

CH¯¡NG 2 KHÔI PHĀC DEPTHMAP TĂ BÀN IN 2D MàC BÀN 28

2.1 Quy trình chuẩn bß tÁp dữ liáu hu¿n luyán 29

2.1.1 Xą lý dữ liáu thÿ công 31

2.1.2 Xą lý dữ liáu bán tự đáng 32

2.1.3 Sinh Ánh depthmap tă mô hình 3D 37

2.1.4 Sinh thêm dữ liáu hu¿n luyán 38

2.2 Sinh depthmap tă bÁn in 2D mác bÁn 38

2.3 Tổng kÁt ch°¢ng 39

CH¯¡NG 3 THĄ NGHIàM VÀ ĐÁNH GIÁ 40

3.1 Bá dữ liáu 40

3.2 Thą nghiám 40

3.2.1 Thą nghiám CUT, Fast-Cut và pix2pix 40

3.2.2 Thą nghiám pix2pix cho toàn bá tÁp dữ liáu 43

Danh māc các ký hiáu và chữ viÁt tắt

1 cGAN Conditional Generative versarial Network

Ad-M¿ng đái lÁp t¿o sinh có điÃu kián

2 CLUT

Contrastive Learning for Unpaired Image-to-Image Translation

Hác mâu thu¿n đái vßi công viác dßch hình Ánh sang hình Ánh không ghép cặp

3 CNN Convolutional Neural

4 FID Fréchet Inception Distance

Đá đo khoÁng cách đá t°¢ng đồng cÿa Ánh vßi Ánh dựa trên mô hình In-ception V3

5 GAN Generative Adversarial

6 LSGAN Least Squares Generative Adversarial Networks

Mát lo¿i hàm m¿t mát trong mô hình GAN

7 MLP Multi-layer perceptron M¿ng n¢-ron truyÃn thẳng nhiÃu lßp

8 MND Multivariate normal bution

distri-Phân phái chuẩn nhiÃu chiÃu

9 nrmse Normalization Root Mean Square Error

Chuẩn hóa sai sá toàn ph°¢ng trung bình

10 pix2pix

Image-to-Image Translation with Conditional Adversar-ial Networks

Trình dßch tă Ánh sang Ánh vßi m¿ng đái lÁp t¿o sinh có điÃu kián

STT Tă viÁt tắt TiÁng Anh TiÁng Viát

11 rmse Root Mean Square Error Sai sá toàn ph°¢ng trung bình

12 SimCLR

A Simple Framework for Contrastive Learning of Visual

Mát mô hình hác mâu thu¿n

13 stl Standard Triangle Language

Lo¿i táp đ°ÿc są dāng để mô hình sá hóa 3D dữ liáu và mác bÁn

Hình 1.16 Tổng quan mô hình CLUT 22

Hình 1.17 Hàm m¿t mát mâu thu¿n patchwise 23

Hình 1.18 Phân phái chuẩn cho dữ liáu 2-chiÃu 25

Hình 1.19 Phân phái 2-chiÃu cÿa các điểm dữ liáu 3-chiÃu 25

Hình 2.1 Toàn trình khôi phāc Deptmap tă bÁn in 2D mác bÁn 28

Hình 2.2 Quy trình xą lý dữ liáu hu¿n luyán mác bÁn 30

Hình 2.9 KÁt quÁ công cā trích xu¿t ký tự chữ bÁn in 2D 36 Hình 2.10 Chữ 3D và depthmap 38 Hình 2.11 Quy trình khôi phāc deptmap tă bÁn in 39

Danh māc các bÁng

BÁng 1.1 Đặc tr°ng cÿa các kỹ thuÁt sá hóa 3D 8

BÁng 1.2 Thông sá kỹ thuÁt thiÁt bß GOM ATOS III Triple Scan 9

BÁng 1.3 Thông sá kỹ thuÁt thiÁt bß PRINCE335 10

BÁng 1.4 Chi tiÁt kích th°ßc ma trÁn m¿ng Inception-V3 26

BÁng 3.1 Tham sá ch¿y thą nghiám các mô hình GAN 41

BÁng 3.2 KÁt quÁ thą nghiám giữa các mô hình GAN 42

BÁng 3.3 Bá tham sá mô hình pix2pix 43

BÁng 3.4 KÁt quÁ đÁu ra cÿa mô hình pix2pix 44

BÁng 3.5 Chi tiÁt cÿa các thông sá đánh giá 45

BÁng 3.6 Tháng kê kÁt quÁ t¿t cÁ các m¿u kiểm thą 45

MỞ ĐÀU

Mác bÁn TriÃu Nguyßn đ°ÿc Unesco công nhÁn là di sÁn t° liáu thÁ gißi tă năm 2009 Viác bÁo tồn và phát huy giá trß di sÁn t° liáu đóng vai trò quan tráng để

gìn giữ t° liáu quá khā nhằm kÁt nái tßi hián t¿i và t°¢ng lai

Ngày nay chúng ta đã thu thÁp, bÁo tồn và l°u trữ đ°ÿc khoÁng gÁn 35.000 t¿m mác bÁn Tuy nhiên tổng sá l°ÿng thực tÁ các t¿m mác bÁn triÃu Nguyßn theo °ßc l°ÿng vào khoÁng trên 50.000 t¿m Thêm vào đó, có mát sá l°ÿng lßn những t¿m mác bÁn tuy v¿n đ°ÿc l°u trữ, bÁo tồn nh°ng không còn toàn vẹn, thÁm chí có những t¿m mác bÁn chỉ còn l¿i mát nąa hoặc mát phÁn ba cÿa nguyên bÁn Những th° tßch liên quan và những t¿m mác bÁn bß m¿t hoặc không toàn vẹn (là bÁn in đ°ÿc in ra tă t¿m mác bÁn) hián v¿n đang đ°ÿc bÁo tồn Cùng vßi sự phát triển và công nghá hiển thß, sá hóa 3D và máy quét phân giÁi cao chúng ta đã thành công l°u trữ và hiển thß các t¿m mác bÁn và th° tßch cÿa chúng trong môi tr°áng máy vi tính Tă những tiÃn đà trên, nghiên cāu này tÁp trung vào viác khôi phāc l¿i sá hóa cÿa những t¿m mác bÁn bß th¿t l¿c hay không toàn vẹn kể trên

Māc tiêu tổng quan mà nghiên cāu h°ßng tßi là khôi phāc l¿i biểu dißn (mô hình) 3D cÿa các t¿m mác bÁn bß th¿t l¿c hoặc không toàn vẹn dựa trên những th° tßch (bÁn in) đã đ°ÿc sá hóa 2D còn l°u trữ l¿i cÿa các t¿m mác bÁn trên

Có hai h°ßng tiÁp cÁn cho bài toán khôi phāc biểu dißn 3D cÿa mát đái t°ÿng nói chung và cÿa t¿m mác bÁn nói riêng là cách trực tiÁp hoặc cách gián tiÁp Cách trực tiÁp chúng ta s¿ khôi phāc l¿i mô hình 3D tă các điểm trong không gian dữ liáu 3D (point clouds); và cách gián tiÁp là khôi phāc l¿i đái t°ÿng trung gian mà có thể phāc dựng l¿i biểu dißn 3D tă chúng Cách trực tiÁp khôi phāc mát biểu dißn 3D tă mát góc nhìn (single view) 2D là khó và các nghiên cāu hián nay cũng cho th¿y sự h¿n chÁ cÿa ph°¢ng pháp này Do vÁy, nghiên cāu này lựa chán cách tiÁp cÁn gián tiÁp và gißi h¿n l¿i ph¿m vi cÿa bài toán tă viác khôi phāc l¿i bÁn 3D cÿa t¿m mác bÁn sang khôi phāc l¿i Ánh đá sâu (depthmap) cÿa t¿m mác bÁn

Māc đích nghiên cāu

Nghiên cāu này xây dựng ph°¢ng pháp xą lý dữ liáu, đà xu¿t mô hình, quy trình thực hián khôi phāc l¿i mô hình depthmap tă bÁn in 2D mác bÁn Sau khi khôi

phāc l¿i depthmap tă bÁn in 2D, tiÁp tāc nghiên cāu cách đánh giá kÁt quÁ cÿa mô hình đào t¿o và kÁt luÁn kÁt quÁ cÿa nghiên cāu

Ph°¢ng pháp nghiên cāu

Ph°¢ng pháp nghiên cāu khi thực hián luÁn văn là quan sát t¿m mác bÁn, bÁn sá hóa 3D và bÁn in 2D cÿa chúng để hình dung ra các đái t°ÿng, đÁu vào đÁu ra cÿa bài toán KÁ tiÁp, tác giÁ phân tích các đái t°ÿng kể trên tă nhiÃu m¿u đúc rút ra các đặc điểm, đặc tính và phân bá cÿa vÁt thể mà tă đó thu đ°ÿc các thông tin để khÁo sát và tham khÁo các lý thuyÁt liên quan, cùng vßi các công cā hián có trong lĩnh vực để có thể ánh x¿ vào bài toán cÿa luÁn văn Sau khi khÁo sát, tham khÁo tác giÁ tổng hÿp l¿i kiÁn thāc và đà xu¿t các quy trình trong xą lý dữ liáu và quy trình khôi phāc l¿i depthmap cho mác bÁn và thą nghiám chúng Cuái cùng, luÁn văn thực hián đánh giá và đ°a ra nhÁn xét cho kÁt quÁ cÿa bài toán

Đóng góp mãi cÿa luÃn vn

LuÁn văn này đã thiÁt lÁp đ°ÿc quy trình xây dựng tÁp dữ liáu hu¿n luyán là tÁp các ký tự đ°ÿc trích xu¿t tă t¿m mác bÁn 3D và bÁn in t°¢ng āng cÿa chúng Thą nghiám các mô hình hác máy khác nhau và đà xu¿t mô hình hác máy tát nh¿t áp dāng trong bài toán khôi phāc depthmap tă bÁn in 2D mác bÁn Đánh giá đ°ÿc kÁt quÁ cÿa sau khi thực hián khôi phāc depthmap tă bÁn in 2D mác bÁn

KÁt quÁ đ¿t đ°ÿc

Sau khi tÁp trung nghiên cāu đà tài, tôi đã giÁi quyÁt đ°ÿc các v¿n đà mà trong phÁn māc tiêu đã đà ra LuÁn văn đã trình bày mát cách rõ ràng, chi tiÁt tă b°ßc chuẩn bß dữ liáu cho đÁn các mô hình hác máy và khôi phāc l¿i mô hình depthmap tă bÁn in 2D mác bÁn

o Mô hình sinh depthmap tă Ánh 2D

o Đá đo Fréchet Inception Distance dùng để đánh giá mô hình sinh depthmap tă Ánh 2D

- Ch°¢ng 2 Khôi phāc depthmap tă bÁn in 2d mác bÁn o Quy trình chuẩn bß tÁp dữ liáu hu¿n luyán o Sinh depthmap tă bÁn in 2D mác bÁn - Ch°¢ng 3 Thą nghiám và đánh giá

o Bá dữ liáu hu¿n luyán dùng đà khôi phāc depthmap

o Thą nghiám các mô hình khác nhau trên tÁp dữ liáu con và đà xu¿t áp dāng mô hình tát nh¿t trong toàn bá tÁp dữ liáu

o Đánh giá kÁt quÁ

- PhÁn kÁt luÁn, tác giÁ tổng kÁt l¿i những công viác đã hoàn thành, những v¿n đà còn tồn t¿i và đßnh h°ßng t°¢ng lai cÿa bài toán khôi phāc depthmap tă bÁn in 2D mác bÁn

CH¯¡NG 1 KIÀN THĀC NÂN TÀNG

Ch°¢ng 1 trình bày các kiÁn thāc nÃn tÁng và mác bÁn, công nghá sá hóa 3D mác bÁn, tổng quan và depthmap và và các mô hình hác máy, đá đo Fréchet Inception Distance là những kiÁn thāc đ°ÿc tác giÁ są dāng để giÁi quyÁt bài toán khôi phāc depthmap tă bÁn in 2D mác bÁn

1.1 Tổng quan mác bÁn triÃu Nguyßn 1.1.1 Giãi thiáu mác bÁn triÃu Nguyßn

Mác bÁn triÃu Nguyßn là những t¿m gß khắc chữ Hán hoặc chữ Nôm ng°ÿc dùng để in ra các sách, są dāng phổ biÁn ã Viát Nam trong thái kỳ phong kiÁn và đ°ÿc l°u giữ đÁn ngày nay Do nhu cÁu phổ biÁn ráng rãi các chuẩn mực xã hái, các điÃu luÁt, ghi l¿i các sự kián lßch są và l°u truyÃn công danh, sự nghiáp cÿa các vua chúa triÃu đình nhà Nguyßn đã cho biên so¿n, khắc in nhiÃu bá sách są và các tác phẩm văn ch°¢ng Để in đ°ÿc các cuán sách đó đã sÁn sinh ra mát tài liáu đặc biát, đó là mác bÁn triÃu Nguyßn Hình 1.1 Mác bÁn triÃu Nguyßn bên trái là t¿m mác bÁn đ°ÿc làm bằng gß, bên phÁi là nái dāng bÁn in đ°ÿc in tă t¿m mác bÁn

Hình 1.1 Mộc bÁn triều Nguyễn

1.1.2 Hián tr¿ng cÿa mác bÁn triÃu Nguyßn

Hián t¿i, viác bÁo tồn di sÁn mác bÁn triÃu Nguyßn đang gặp phÁi nhiÃu v¿n đà và đái mặt vßi nhiÃu thách thāc Trong đó có hai v¿n đà lßn và nổi bÁt là mác bÁn bß th¿t l¿c trong quá trình bÁo quÁn, vÁn chuyển hoặc do chiÁn tranh; và theo thái

gian, vÁt liáu gß t¿o nên các mác bÁn dÁn bß biÁn d¿ng, h° hßng do các nguyên nhân nh° thái tiÁt, n¿m mác, mái, mát, cháy nổ

Thực tÁ tháng kê cho th¿y, di sÁn mác bÁn TriÃu Nguyßn để l¿i h¢n 50.000 t¿m nh°ng hián nay chỉ còn 34.619 t¿m đang đ°ÿc l°u trữ và bÁo tồn t¿i Trung tâm L°u trữ quác gia IV, trong đó nhiÃu t¿m là chỉ là mát phÁn còn l¿i cÿa mác bÁn và đái mặt vßi hián tr¿ng vÁt lý yÁu, khó bÁo tồn Hình 1.2 Những t¿m mác bÁn bß h° h¿i, chúng ta có thể th¿y có những t¿m mác bÁn đã bß m¿t h¢n mát nąa t¿m hoặc chỉ còn l¿i mát phÁn ba hay thÁm chí còn l¿i mát góc so vßi nguyên bÁn cÿa t¿m mác bÁn

Hình 1.2 Những tấm mộc bÁn bị hư h¿i

Tă những v¿n đà nêu trên, chúng ta cÁn có mát ph°¢ng án, cách thāc l°u trữ bÃn vững và phāc hồi l¿i những t¿m mác bÁn đã bß th¿t l¿c, h° hßng hoặc không toàn vẹn

1.1.3 Khôi phāc mác bÁn tă bÁn in

V¿n đà bÁo tồn và l°u trữ mác bÁn mát cách có hiáu quÁ đã đ°ÿc nghiên cāu và công bá trong mát vài t¿p chí [3,5] Năm 2019, nhóm nghiên cāu cÿa PGS TS Lê Thanh Hà t¿i phòng thí nghiám T°¢ng tác Ng°ái máy, Tr°áng Đ¿i hác Công nghá, đã chÿ trì và thực hián thành công đà tài <Nghiên cāu, lựa chán công nghá

sá hóa và in 3D tài liáu mác bÁn TriÃu Nguyßn – Di sÁn t° liáu thÁ gißi= Nhóm nghiên cāu đã khÁo sát h¢n sáu trăm t¿m mác bÁn, sá hóa 3D thą nghiám m°ái mác bÁn và in 3D thą nghiám năm mác bÁn và kÁt quÁ đ°ÿc đánh giá cao [10] ĐÁu vào cÿa quy trình này là các t¿m mác bÁn vÁt lý đang đ°ÿc l°u trữ t¿i Trung tâm L°u trữ quác gia IV, đÁu ra là mô hình 3D cÿa các t¿m mác bÁn kể trên

Hình 1.3 Mộc bÁn gốc, số hóa 3D và in từ bÁn số

Nh° đã đà cÁp ã Māc 1.1.2 sá l°ÿng mác bÁn thực tÁ h¢n 50.000 t¿m nh°ng hián t¿i còn l°u trữ t¿i Trung tâm L°u trữ quác gia IV chỉ còn 34.619 h¢n thÁ nữa có r¿t nhiÃu t¿m không nguyên vẹn Tuy nhiên, các bÁn in tă những t¿m mác bÁn bß th¿t l¿c h° hßng kể trên chúng ta v¿n đang l°u trữ l¿i Qua đó, v¿n đà cÿa bài toán là tìm đ°ÿc ph°¢ng thāc có thể khôi phāc l¿i các mác bÁn bß th¿t l¿c hoặc không nguyên vẹn tă những bÁn in còn l°u trữ l¿i Hay nói cách khác, chúng ta đi tìm ph°¢ng pháp khôi phāc l¿i mô hình 3D cÿa mác bÁn (những t¿m đã đ°ÿc sá hóa thành mô hình 3D) tă Ánh 2D bÁn in t°¢ng āng cÿa mác bÁn

Có hai h°ßng tiÁp cÁn chính để giÁi quyÁt bài toán khôi phāc mô hình 3D tă bÁn in 2D mác bÁn Cách thā nh¿t là trực tiÁp khôi phāc các điểm dữ liáu trong miÃn dữ liáu 3D cÿa mác bÁn (point clouds), đÁu vào cÿa ph°¢ng pháp này là bāc Ánh 2D bÁn in cÿa mác bÁn và đÁu ra là mô hình 3D mác bÁn vßi các điểm point clouds c¿u thành lên t¿m mác bÁn 3D, tuy nhiên cho tßi nay kÁt quÁ cÿa các nghiên cāu và viác khôi phāc trực tiÁp tă 2D sang 3D còn ch°a đ°ÿc khÁ quan Cách thā hai là thực hián khôi phāc l¿i đái t°ÿng trung gian đ¢n giÁn có thể hián h¢n và có khÁ năng tái t¿o l¿i mô hình 3D cÿa mác bÁn Ành đá sâu depthmap là mát d¿ng trung gian nh° vÁy, nó là mát Ánh 2D nh°ng thể hián chiÃu sâu cÿa Ánh và có khÁ năng thể hián đ°ÿc các đặc trung 3D theo mát góc nhìn cā thể Ph°¢ng pháp tiÁp

cÁn gián tiÁp đ°ÿc tác giÁ áp dāng trong luÁn văn này Gißi h¿n nghiên cāu cÿa

luÁn văn là khôi phāc depthmap tă bÁn in 2D mác bÁn

Hình 1.4 Tổng quát xử lý khôi phục mộc bÁn

Hình 1.4 Tổng quát xą lý khôi phāc mác bÁn khi khôi phāc l¿i mát t¿m mác bÁn đã bß th¿t l¿c hoặc không toàn vẹn (đã m¿t) Trong đó ph°¢ng pháp tiÁp cÁn mà tác giÁ są dāng là khôi phāc l¿i ã māc ký tự cÿa t¿m mác bÁn đã m¿t, do vÁy trong luÁn này s¿ gißi h¿n khôi phāc l¿i t¿m mác bÁn ã māc ký tự depthmap

1.2 Công nghá số hóa 3D mác bÁn

Viác sá hóa 3D mác bÁn là công viác cÁn thiÁt và tiên quyÁt trong quá trình khôi phāc Deptmap cho mác bÁn Nó văa trÿ giúp cho viác bÁo tồn, tr°ng bày, triển lãm tát h¢n khi không Ánh h°ãng đÁn các t¿m mác bÁn gác mà còn là đÁu vào cho quá trình khôi phāc depthmap cÿa mác bÁn

Hián nay có nhiÃu công nghá có thể đ°ÿc są dāng để sá hóa 3D các đái t°ÿng thể khái bao gồm mác bÁn Những công nghá sá hóa phổ biÁn bao gồm: công nghá quét 3D có tiÁp xúc (contact – based); công nghá quét 3D są dāng Ánh chāp tă các góc cÿa vÁt (photogrammetry); công nghá quét 3D są dāng ánh sáng la-de (laser); công nghá quét 3D są dāng ánh sáng có c¿u trúc (structed light); công nghá quét są dāng xung laser (LASER pulse-based) Các đặc tr°ng đ°ÿc mô tÁ trong BÁng 1.1

BÁng 1.1 Đặc trưng của các kỹ thuật số hóa 3D

STT K* thuÃt số hoá 3D VÃt nhỏ

2 Kỹ thuÁt sá hoá 3D

Công nghá cÁn có thiÁt bß máy tính hiáu năng cực m¿nh

3

Kỹ thuÁt sá hoá 3D LASER triangula-tion

Quét đ°ÿc các bà mặt khó nh° bóng, tái màu, &

4

Kỹ thuÁt sá hoá 3D są dāng ánh sáng có c¿u trúc

Đa dāng, có nhiÃu áng kính để quét các chi tiÁt nhß tßi lßn trong cùng vÁt quét

5

Kỹ thuÁt sá hoá 3D LASER pulse-based

X

Đá chi tiÁt không cao, phù hÿp để quét các vÁt thể lßn

Kỹ thuÁt quét 3D dựa trên tiÁp xúc są dāng mát vÁt mÃm nhß hoặc mát đÁu dò để áp vào bà mặt vÁt cÁn quét, kỹ thuÁt są dāng phÁn mÃm hß trÿ để tính toán vß trí vÁt trong môi tr°áng 3D Kỹ thuÁt quét 3D są dāng Ánh chāp s¿ dùng các Ánh chāp tă các góc cÿa vÁt, áp dāng các thuÁt toán tính toán hình hác phāc t¿p và thß giác máy để xác đßnh các điểm cÿa vÁt t°¢ng đ°¢ng trên Ánh, các thông sá đo cÿa vÁt trong Ánh để tính toán và xây dựng mô hình 3D sá cÿa vÁt Kỹ thuÁt quét 3D są dāng xung laser là các kỹ thuÁt quét tÁm xa, phù hÿp cho những vÁt to nh° toà nhà, máy bay, & Các cÁm biÁn và phÁn mÃm hß trÿ có thể dựa vào thái gian phÁn x¿ cÿa tia laser hoặc dựa vào góc thay đổi cÿa tia laser để tính toán và

sá hoá vÁt đ°ÿc quét Kỹ thuÁt quét 3D są dāng ánh sáng có c¿u trúc chiÁu mô hình ánh sáng gồm các hình thanh và khái sáng lên vÁt đ°ÿc quét Kỹ thuÁt bao gồm mát hoặc nhiÃu cÁm biÁn <nhìn= vào góc, c¿nh cÿa thanh/khái sáng để xác đßnh hình d¿ng 3D cÿa vÁt Kỹ thuÁt quét 3D LASER triangulation cũng t°¢ng tự nh° kỹ thuÁt są dāng ánh sáng có c¿u trúc đó là dựa vào góc thay đổi cÿa tia sáng để tính toán hình d¿ng bà mặt cÿa vÁt thể

Qua thÁo luÁn và khÁo sát hián tr¿ng cÿa mác bÁn và kích th°ßc và khái l°ÿng; màu sắc; nái dung t¿m và tình tr¿ng mác bÁn nhằm lựa chán công nghá quét cũng nh° thực hián qui trình quét hÿp lý NhÁn th¿y hai dòng thiÁt bß quét 3D GOM ATOS và PRINCE có kỹ thuÁt quét ánh sáng są dāng c¿u trúc và công nghá quét la-de t°¢ng āng là phù hÿp vßi viác quét mác bÁn, vì yêu cÁu kỹ thuÁt quét các t¿m mác bÁn đßi hßi đá chính xác cao đồng thái cÁn h¿n chÁ tiÁp xúc vßi mác bÁn để tránh tác đáng không mong muán vào mác bÁn Vßi những °u điểm trên, Phòng thí nghiám T°¢ng tác Ng°ái - Máy, Khoa CNTT, Tr°áng ĐHCN, ĐHQG HN đã są dāng 2 máy quét cā thể GOM ATOS III Triple Scan và PRINCE335 vßi thông sá kỹ thuÁt t°¢ng đ°ÿc mô tÁ trong (BÁng 1.2 và BÁng 1.3) để thực hián quét thą nghiám

BÁng 1.2 Thông số kỹ thuật thiết bị GOM ATOS III Triple Scan

Sá l°ÿng điểm Ánh 2 x 8.000.000 pixel

Dián tích vùng đo 38 x 29 - 2000 x 1500 mm Đá phân giÁi (Tùy theo cąa sổ đo

và khoÁng cách tßi vÁt đo) 0.01 - 0.61 mm KhoÁng cách đo 490 – 2.000 mm Bá điÃu khiển sensor Tích hÿp

Đá dài cáp nái Lên tßi 30m

CÁm biÁn đßnh vß CÁm biÁn công nghiáp tự đáng

Nguồn laser 3 cặp tia laser đß chéo

nhau 5 tia laser xanh song song Tác đá quét 265.000 phép đo/giây 320.000 phép đo/giây

1.3 Tổng quan depthmap

Trong đồ háa máy tính 3D và thß giác máy tính, depthmap (bÁn đồ đá sâu) là mát hình Ánh hoặc kênh hình Ánh chāa thông tin liên quan đÁn khoÁng cách bà mặt cÿa các đái t°ÿng cÁnh tă mát điểm nhìn (viewpoint) Có nghĩa là vßi mát depthmap, chúng ta có thể °ßc l°ÿng ra đ°ÿc mát vÁt thể gÁn hay xa so vßi mát điểm nhìn (th°áng là mát áng kính cÿa máy Ánh) theo đá sâu màu cÿa hình Ánh

Hình 1.5 Minh háa mát bāc Ánh depthmap cÿa mát ký tự trong mác bÁn Ta th¿y phÁn chữ nổi gÁn vßi điểm nhìn h¢n thì s¿ có màu đÁm h¢n, ng°ÿc l¿i phÁn đuôi và phÁn rßng trong ký tự xa điểm nhìn h¢n thì màu sáng h¢n Nh° vÁy qua bāc hình ta có thể hình dung đ°ÿc hình dáng (gÁn, xa) cÿa mát ký tự Trong thực tÁ Ánh nhiÃu Ánh depthmap vßi các điểm nhìn khác nhau (multi-viewpoints) cũng đ°ÿc są dāng để tái t¿o l¿i mô hình 3D cÿa đái t°ÿng [6,8,17]

Hình 1.5 Ành depthmap

Bãi depthmap là mát đái t°ÿng 2D có thể biểu dißn mát phÁn đái t°ÿng 3D theo mát điểm nhìn nên h°ßng tiÁp cÁn są dāng dāng depthmap làm đái t°ÿng trung gian nhằm khôi phāc l¿i mô hình 3D cÿa mác bÁn đã đ°ÿc tác giÁ áp dāng trong luÁn văn

1.4 Mô hình sinh depthmap tă Ánh 2D

Vßi những nghiên cāu, āng dāng và kÁt quÁ khÁ quan cÿa m¿ng n¢-ron tích chÁp trong viác xą lý Ánh trong những năm gÁn đây, nh¿t là sự ra đái cÿa m¿ng đái lÁp

t¿o sinh [4] (Generative Adversarial Network - GAN) vào năm 2014 bãi Ian

Goodfellow cùng cáng sự, mô hình GAN đã nhÁn đ°ÿc sự quan tâm, đÁu t°, cÁi

tiÁn liên tāc cÁ và mô hình, āng dāng và kÁt quÁ đ¿t đ°ÿc cÿa gißi khoa hác Tác giÁ đã quyÁt đßnh lựa chán cách tiÁp cÁn są dāng m¿ng GAN để giÁi quyÁt bài toán khôi phāc Deptmap tă Ánh 2D

M¿ng GAN hián nay có khá nhiÃu biÁn thể và tùy vào āng dāng cā thể để áp dāng những biÁn thể đó để giÁi quyÁt bài toán Trong bài toán mà luÁn văn đang giÁi quyÁt là d¿ng dßch thuÁt hình Ánh sang hình Ánh (Image to image trans-lation), trong đó mát hình Ánh 2D s¿ đ°ÿc dßch sang mát Ánh depthmap t°¢ng āng

Trong lĩnh vực dßch thuÁt hình Ánh sang hình Ánh đ°ÿc chia làm hai ph°¢ng pháp tiÁp cÁn là dßch hình Ánh sang hình Ánh có ghép cặp (pair) và dßch hình Ánh sang hình Ánh không ghép cặp (un-pair) Ành ghép cặp có nghĩa chúng ta có thể xây dựng đ°ÿc bá dữ liáu t°¢ng āng mát-mát, vßi mát Ánh đÁu vào s¿ có t°¢ng āng mát Ánh đÁu ra cÿa chính bāc Ánh đó

Hình 1.6 Ành ghép cặp

Hình 1.6 minh háa Ánh ghép cặp, trong đó bên trái là mát bāc Ánh phác thÁo, ch°a đ°ÿc tô màu; bên phÁi là mát bāc Ánh cÿa chính bāc Ánh bên trái nh°ng đ°ÿc tô thêm màu Đa phÁn những bāc Ánh có thể ghép cặp là những dữ liáu không hoặc ít thay đổi và có thể ánh x¿ l¿n nhau trong thực tÁ Mát vài ví dā có thể xây dựng đ°ÿc tÁp dữ liáu ghép cặp nh° Ánh phác thÁo - Ánh tô màu, Ánh đen trắng - Ánh màu, Ánh đßa hình - Ánh vá tinh, &

Ành không ghép cặp là viác chúng ta không thể hoặc khó để có thể xây dựng đ°ÿc bá dữ liáu mát-mát nh° tr°áng hÿp cÿa Ánh ghép cặp Đa phÁn trong

thực tÁ chúng ta khó có thể xây dựng đ°ÿc các cặp Ánh do sự thay đổi hoặc tính duy nh¿t cÿa đái t°ÿng Mát vài dữ liáu không thể hoặc khó có trong thực tÁ để xây dựng Ánh ghép cặp nh° ngựa th°áng – ngựa vằn, mùa đông – mùa hè, Ánh – tranh v¿ (Van Gogh, Monet, Cezanne, &) Hình 1.7 minh háa mát cách rõ ràng sự khác nhau giữa Ánh ghép cặp và không ghép cặp, bên trái là tÁp dữ liáu ghép cặp và bên phÁi và tÁp dữ liáu không ghép cặp

Hián nay có nhiÃu nghiên cāu trong lĩnh vực dßch thuÁt Ánh sang Ánh (đác thêm chi tiÁt trong [18]) Trong sá đó kể đÁn nh° pix2pix, CycleGAN, StarGAN, BicycleGAN là những mô hình đ°ÿc biÁt đÁn nhiÃu trong lĩnh vực này Để giÁi quyÁt bài toán cÿa luÁn văn, tác giÁ đã thą nghiám, đi sâu vào tìm hiểu ba mô hình đã đ°ÿc thą nghiám và áp dāng vào nhiÃu āng dāng thực tißn là pix2pix, CUT và Fast-CUT Pix2pix là mô hình dßch Ánh ghép cặp, tă khi bài báo cÿa Phillip Isola và cáng sự công bá vào năm 2017 đã nhÁn đ°ÿc nhiÃu sự quan tâm cÿa cáng đồng và có r¿t nhiÃu āng dāng khác nhau dựa trên mô hình này [13] T°¢ng tự pix2pix, CycleGAN là mô hình không ghép cặp đ°ÿc cáng đồng quan tâm và są dāng nhiÃu trong khoÁng thái gian 2018 sau khi nó đ°ÿc công bá bãi Jun-Yan Zhu và cáng sự [7] Tác giÁ lựa chán thą nghiám hai mô hình không ghép cặp CUT, Fast-CUT bãi nó chính là mô hình đ°ÿc nhóm tác giÁ cÿa CycleGAN công bá năm 2020 và khuyÁn nghß thay thÁ mát cách có hiáu quÁ cÿa mô hình CycleGAN (xem chi tiÁt trong [19])

Hình 1.7 Ành ghép cặp và không ghép cặp

1.4.1 Mô hình pix2pix

1.4.1.1 Tổng quan mô hình pix2pix

Mô hình pix2pix (chi tiÁt bài báo gác tham khÁo [13]) mát mô hình GAN [4] hay cā thể là GAN có điÃu kiên (conditional GAN- cGAN) [9], nó bao gồm hai thành phÁn Generator (G) để sinh Ánh giÁ và Discriminator (D) để phân biát Ánh thÁt và Ánh giÁ Tuy nhiên, khác vßi m¿ng cGAN bình th°áng khi đÁu vào cÿa Generator là nhißu, trong mô hình pix2pix đÁu vào cÿa Generator là Ánh và đÁu ra cÿa Gen-erator cũng là Ánh

Hình 1.8 minh háa qui trình xą lý cÿa mô hình pix2pix, đÁu vào cÿa criminator là Ánh x (đÁu vào cÿa Generator) và G(x) (ĐÁu ra cÿa Generator) Hai Ánh này cùng kích th°ßc đ°ÿc xÁp lên nhau rồi cho vào Discriminator Discrimi-nator hác bằng cách phân biát x và G(x) là Ánh giÁ (fake) Ng°ÿc l¿i Generator s¿ hác bằng cách cho x và G(x) là Ánh thÁt

Dis-Hình 1.8 Mô hình pix2pix

1.4.1.2 Generator

Tính năng chính cÿa các v¿n đà dßch thuÁt (Translation) tă Ánh sang Ánh là chúng ánh x¿ ma trÁn đÁu vào có đá phân giÁi cao sang ma trÁn đÁu ra có đá phân giÁi cao Ngoài ra, đÁu vào và đÁu ra khác nhau và hình thāc bà mặt, nh°ng cÁ hai đÃu là kÁt xu¿t cÿa cùng mát c¿u trúc c¢ bÁn Do đó, c¿u trúc trong đÁu vào gÁn đúng vßi c¿u trúc trong đÁu ra

NhiÃu giÁi pháp cho các v¿n đà trong lĩnh vực này đã są dāng m¿ng coder-decoder [2] Trong mát m¿ng nh° vÁy, đÁu vào đ°ÿc chuyển qua mát lo¿t các lßp giÁm dÁn, cho đÁn khi mát lßp tắc ngh¿n (bottleneck layer), t¿i đó quá trình đ°ÿc đÁo ng°ÿc Mát m¿ng nh° vÁy đòi hßi t¿t cÁ các luồng thông tin đi qua

en-t¿t cÁ các lßp, bao gồm cÁ nút cổ chai Đái vßi nhiÃu v¿n đà dßch thuÁt Ánh, có r¿t nhiÃu thông tin c¿p th¿p đ°ÿc chia sẻ giữa đÁu vào và đÁu ra, và chúng ta kỳ váng đ°a thông tin này trực tiÁp qua m¿ng Ví dā, trong tr°áng hÿp tô màu hình Ánh, đÁu vào và đÁu ra chia sẻ vß trí cÿa các c¿nh nổi bÁt

Hình 1.9 Encoder-decoder và U-Net

Để cung c¿p cho Generator ph°¢ng tián để v°ÿt qua nút ngh¿n cổ chai cho những thông tin nh° thÁ, pix2pix thêm các kÁt nái bß qua (skip connections), theo hình d¿ng chung cÿa mát U-Net [12] Cā thể, pix2pix thêm các kÁt nái bß qua giữa mßi lßp i và lßp n - i, trong đó n là tổng sá lßp Mßi kÁt nái bß qua chỉ đ¢n giÁn là nái t¿t cÁ các kênh ã lßp i vßi các kênh ã lßp n - i Hình 1.9 bên trái minh háa c¿u trúc encoder-decoder, bên phÁi minh háa c¿u trúc U-Net

1.4.1.3 Discriminator

Discriminator s¿ có đÁu vào là hai Ánh: mát cÿa Generator và còn l¿i là Ánh đÁu ra cÿa Generator hoặc Ánh thÁt, (đÁu vào cÿa Generator, đÁu ra cÿa Generator) hoặc (đÁu vào cÿa generator, Ánh đÁu ra thÁt) Điểm khác ã đây là input cÿa Dis-criminator còn có cÁ Ánh đÁu vào nữa Vì m¿ng GAN thông th°áng đÁu vào là nhißu (noise z), còn pix2pix đÁu vào là Ánh nên còn đ°ÿc gái là condition GAN (cGAN), tāc là Ánh đÁu ra phā thuác vào Ánh đÁu vào Viác cho cÁ Ánh đÁu vào vào giúp Discriminator dß phân biát h¢n Ánh nào là Generator sinh ra và Ánh nào trong dataset

PatchGAN

Ý t°ãng Discriminator truyÃn tháng đÁu ra s¿ là mát node và là bài toán binary classification Còn ý t°ãng patchGAN s¿ thực hián binary classification trên tăng vùng Ánh nhß (70*70) trên Ánh (224*224) thay vì làm toàn bá trên Ánh Hình 1.10 vùng khoanh 7*7 thể hián các PatchGAN, kÁt quÁ là mát ma trÁn 2*2

Hình 1.10 PatchGan

Hình trên ví dā Ánh đÁu vào kích th°ßc 10*10, chúng ta muán thực hián patch trên tăng vùng nhß 7*7 và muán output là 2*2 Ta th¿y các vùng 7*7 s¿ bß chồng lên nhau, nh°ng nó không Ánh h°ãng Māc tiêu là mßi ô ã output t°¢ng āng vßi bài toán binary classification xem patch 7*7 ã đÁu vào là Ánh thÁt hay Ánh giÁ

PatchGAN Discriminator s¿ phân lo¿i tăng patch nhß mát thay vì cÁ Ánh nên kÁt quÁ s¿ tát h¢n Khi train Discriminator vßi Ánh thÁt ta mong muán đÁu ra cÿa t¿t cÁ các patch là 1, còn vßi Ánh giÁ là 0 Ng°ÿc l¿i khi hu¿n luyán Generator ta mong muán vßi Ánh giÁ t¿t cÁ các patch là 1

Hàm m¿t mát có điÃu kián cÿa mô hình pix2pix t°¢ng tự nh° hàm m¿t mát cÿa cGAN bình th°áng Khác biát mát chút so vßi cGAN thông th°áng là cGAN cÿa pix2pix có Discriminator quan sát thêm Ánh đÁu vào x

Chúng ta có thể so sánh vßi hàm m¿t mát mà không quan sát x trong công thāc (2)

(3) KÁt hÿp (1) và (3) chúng ta có hàm māc tiêu cuái cùng cÿa mô hình pix2pix thể hián trong công thāc 4 nh° sau:

(4) Không có z, m¿ng v¿n có thể hác ánh x¿ tă x đÁn y, nh°ng s¿ t¿o ra các đÁu ra xác đßnh và do đó không khßp vßi b¿t kỳ phân phái nào ngoài hàm delta Các GAN có điÃu kián trong quá khā đã thăa nhÁn điÃu này và cung c¿p nhißu Gaussian z làm đÁu vào cho Generator, ngoài x

cÿa khung cÁnh đó vào ban đêm hoặc ng°ÿc l¿i Hình 1.11 mô tÁ mát vài ví dā và āng dāng chuyển đổi ngày-đêm, Ánh đÁu vào là mát khung cÁnh ban ngày và Ánh đÁu ra là khung cÁnh ban đêm, <Ground truth= là bāc Ánh thÁt vào ban đêm cÿa khung cÁnh ban ngày

Hình 1.11 Ành ngày – đêm

Ành phác thÁo - Ánh tô màu, đÁu vào cÿa āng dāng này là những bāc Ánh mà ã đó s¿ chỉ có những bāc hình đ°ÿc phác háa theo mát khung, nó có thể là các đồ vÁt ngoài đái nh° túi xách, ba-lô, đáng vÁt, giày, dép, quÁn áo, & đÁu ra t°¢ng āng là những đồ vÁt s¿ đ°ÿc tô màu Hình 1.12 minh háa āng dāng chuyển đổi Ánh phác thao sang Ánh tô màu ĐÁu vào là các lo¿i túi xách đ°ÿc v¿ phác thÁo và đÁu ra là những chiÁc túi đ°ÿc tô màu, <Ground truth= là những bāc Ánh thÁt t°¢ng āng cÿa các hình phác thÁo

Hình 1.12 Ành phác thÁo - tô màu

Ành đßa hình - Ánh vá tinh, āng dāng này có đÁu vào là những bāc Ánh đßa hình (trên google map hoặc open street map) và đÁu ra t°¢ng āng là những bāc

Ánh vá tinh cÿa bÁn đồ đßa hình hoặc ng°ÿc l¿i Hình 1.13 mô tÁ āng dāng chuyển tă Ánh vá tinh - Ánh đßa hình Ta th¿y nó có thể dßch đ°ÿc vùng màu xanh lá cây ã Ánh đßa thể hián vùng có cây cái, còn vùng chāa hồ hoặc biển thể hián màu xanh d°¢ng trên Ánh đßa hình

Hình 1.13 Ành bÁn đồ - vệ tinh

1.4.2 Mô hình CLUT

Mô hình Contrastive Learning for Unpaired Image-to-Image Translation (CLUT) (chi tiÁt bài báo gác tham khÁo [14]) là mô hình không ghép cặp dßch hình Ánh sang hình Ánh Ý t°ãng chính cÿa mô hinh này là tái đa hóa thông tin l¿n nhau giữa tÁp đÁu vào và tÁp đÁu ra Māc này s¿ trình bày và hác mâu thu¿n (Contras-tive learning), kiÁn trúc và hàm māc tiêu cÿa mô hình

1.4.2.1 Contrastive learning

Hác mâu thu¿n là mát kỹ thuÁt hác máy mà ã đó māc tiêu là tìm những thā t°¢ng tự và khác nhau trong mát tÁp dữ liáu không có nhãn Ví dā, nó có thể đ°ÿc są dāng trên c¢ sã dữ liáu hình Ánh để tìm các hình Ánh giáng nhau Hình 1.14 minh háa kÁt quÁ cÿa hác mâu thu¿n, ta có thể th¿y sự t°¢ng tự vßi hác có giám sát (supervised learning) khi phân lßp các Ánh chó mèo

Hác mâu thu¿n thuác d¿ng tự giám sát (self- supervised learning), tāc tÁp dữ liáu ch°a đ°ÿc gán nhãn, tác vā gán nhãn s¿ đ°ÿc tự hác trong quá trình hu¿n luyán dữ liáu Tác vā gán nhãn này s¿ cá gắng hác những đặc tr°ng b¿t biÁn cÿa Ánh gác tă Ánh đã biÁn đổi trong khi v¿n phân biát đ°ÿc vßi các Ánh khác trong tÁp dữ liáu