Khôi phục depthmap từ bản in 2d mộc bản

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRƯƠNG NGỌC KIÊN KHÔI PHỤC DEPTHMAP TỪ BẢN IN 2D MỘC BẢN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Hà Nội - 2022 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRƯƠNG NGỌC KIÊN KHÔI PHỤC DEPTHMAP TỪ BẢN IN 2D MỘC BẢN Ngành: Khoa học máy tính Chuyên ngành: Khoa học máy tính Mã số: LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Lê Thanh Hà Hà Nội - 2022 i LỜI CẢM ƠN Em xin chân thành cảm ơn thầy cô giáo trường Đại học Công nghệ Đại học Quốc gia Hà Nội tận tình giúp đỡ truyền đạt kiến thức cho em suốt năm học qua để em có đủ kiến thức hồn thành khóa luận Đặc biệt, em xin gửi lời cảm ơn sâu sắc tới thầy Lê Thanh Hà – người nhiệt tình động viên, giúp đỡ em trình định hình, nghiên cứu hoàn thành luận văn Xin gửi lời cảm ơn thiết tha tới người thân gia đình tạo điều kiện động viên cho con/em nhiều q trình hồn thành khóa luận Mặc dù cố gắng hoàn thành luận văn với tất nỗ lực thân, xong luận văn khó tránh khỏi thiếu sót, kính mong q thầy tận tình bảo cho em sai lầm cần khắc phục Một lần em xin gửi tới tất người lời cảm ơn chân thành Hà Nội, tháng 06 năm 2022 Học viên Trương Ngọc Kiên ii LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sĩ khoa học máy tính: “Khơi phục depthmap từ in 2D mộc bản” kết trình học tập, nghiên cứu khoa học độc lập, nghiêm túc Các số liệu luận văn trung thực, có nguồn gốc rõ ràng, trích dẫn có tính kế thừa, phát triển từ sách, tài liệu, tạp chí, cơng trình nghiên cứu công bố, website, … Các phương pháp nêu luận văn rút từ sở lý luận trình nghiên cứu tìm hiểu tác giả Hà Nội, tháng 06 năm 2022 Học viên Trương Ngọc Kiên iii Mục lục LỜI CẢM ƠN i LỜI CAM ĐOAN ii Mục lục iii Danh mục ký hiệu chữ viết tắt v Danh mục hình vẽ vii Danh mục bảng ix MỞ ĐẦU CHƯƠNG 1.KIẾN THỨC NỀN TẢNG 1.1 Tổng quan mộc triều Nguyễn 1.1.1 Giới thiệu mộc triều Nguyễn 1.1.2 Hiện trạng mộc triều Nguyễn 1.1.3 Khôi phục mộc từ in 1.2 Cơng nghệ số hóa 3D mộc 1.3 Tổng quan depthmap 11 1.4 Mơ hình sinh depthmap từ ảnh 2D 11 1.4.1 Mơ hình pix2pix 14 1.4.2 Mô hình CLUT 19 1.5 Độ đo Fréchet Inception Distance 24 1.6 Tổng kết chương 27 CHƯƠNG 2.KHÔI PHỤC DEPTHMAP TỪ BẢN IN 2D MỘC BẢN 28 2.1 Quy trình chuẩn bị tập liệu huấn luyện 29 2.1.1 Xử lý liệu thủ công 31 2.1.2 Xử lý liệu bán tự động 32 2.1.3 Sinh ảnh depthmap từ mơ hình 3D 37 2.1.4 Sinh thêm liệu huấn luyện 38 2.2 Sinh depthmap từ in 2D mộc 38 2.3 Tổng kết chương 39 iv CHƯƠNG 3.THỬ NGHIỆM VÀ ĐÁNH GIÁ 40 3.1 Bộ liệu 40 3.2 Thử nghiệm 40 3.2.1 Thử nghiệm CUT, Fast-Cut pix2pix 40 3.2.2 Thử nghiệm pix2pix cho toàn tập liệu 43 3.3 Đánh giá 44 3.4 Tổng kết chương 46 KẾT LUẬN 47 TÀI LIỆU THAM KHẢO 48 v Danh mục ký hiệu chữ viết tắt STT Từ viết tắt cGAN Tiếng Anh Conditional Generative Ad- Mạng đối lập tạo sinh có versarial Network điều kiện Contrastive Learning for CLUT CNN FID Tiếng Việt Unpaired Image-to-Image Translation Convolutional Neural Network Fréchet Inception Distance Học mâu thuẫn công việc dịch hình ảnh sang hình ảnh khơng ghép cặp Mạng nơ-ron tích chập Độ đo khoảng cách độ tương đồng ảnh với ảnh dựa mơ hình Inception V3 Generative Adversarial Net- Mạng đối lập tạo sinh GAN LSGAN Least Squares Generative Một loại hàm mát Adversarial Networks mơ hình GAN MLP Multi-layer perceptron MND nrmse work Mạng nơ-ron truyền thẳng nhiều lớp Multivariate normal distri- Phân phối chuẩn nhiều bution chiều Normalization Root Mean Chuẩn hóa sai số tồn Square Error phương trung bình Image-to-Image Translation Trình dịch từ ảnh sang 10 pix2pix with Conditional Adversar- ảnh với mạng đối lập tạo ial Networks sinh có điều kiện vi STT Từ viết tắt 11 rmse Tiếng Anh Root Mean Square Error A Simple Framework for 12 SimCLR Contrastive Learning of Visual 13 stl Tiếng Việt Sai số tồn phương trung bình Một mơ hình học mâu thuẫn Loại tệp sử dụng để Standard Triangle Language mơ hình số hóa 3D liệu mộc vii Danh mục hình vẽ Hình 1.1 Mộc triều Nguyễn Hình 1.2 Những mộc bị hư hại Hình 1.3 Mộc gốc, số hóa 3D in từ số Hình 1.4 Tổng qt xử lý khơi phục mộc Hình 1.5 Ảnh depthmap 11 Hình 1.6 Ảnh ghép cặp 12 Hình 1.7 Ảnh ghép cặp không ghép cặp 13 Hình 1.8 Mơ hình pix2pix 14 Hình 1.9 Encoder-decoder U-Net 15 Hình 1.10 PatchGan 16 Hình 1.11 Ảnh ngày – đêm 18 Hình 1.12 Ảnh phác thảo - tơ màu 18 Hình 1.13 Ảnh đồ - vệ tinh 19 Hình 1.14 Mục đích học mâu thuẫn 20 Hình 1.15 Mơ hình SimCLR 20 Hình 1.16 Tổng quan mơ hình CLUT 22 Hình 1.17 Hàm mát mâu thuẫn patchwise 23 Hình 1.18 Phân phối chuẩn cho liệu 2-chiều 25 Hình 1.19 Phân phối 2-chiều điểm liệu 3-chiều 25 Hình 2.1 Tồn trình khơi phục Deptmap từ in 2D mộc 28 Hình 2.2 Quy trình xử lý liệu huấn luyện mộc 30 Hình 2.3 Dữ liệu ký tự mộc ghép cặp 31 Hình 2.4 Depthmap in 32 Hình 2.5 Lề khung sách 33 Hình 2.6 Xoay crop ảnh 34 Hình 2.7 Đường mức 35 Hình 2.8 Ma trận cắt, đường màu trắng thể đường cắt 36 viii Hình 2.9 Kết cơng cụ trích xuất ký tự chữ in 2D 36 Hình 2.10 Chữ 3D depthmap 38 Hình 2.11 Quy trình khôi phục deptmap từ in 39 35 Bước 6, tìm đường dọc, ngang cho tổng giá trị điểm ảnh đường khơng vượt q ngưỡng coi đường chia ảnh thành phần khác Cụ thể theo chiều dọc ngang giá trị ngưỡng w//30 h//60 Bước 6, sau bước thu tập đường dọc ngang chia ảnh thành hình chữ nhật, nhiên đường có độ dày khác cần thực làm mỏng đường chia (lấy đường đường chia đó) Hình 2.7 minh họa cho đường mức một mộc bản, hình ta thấy đường mức chia mộc thành khối lớn nhiên hình thù khác mộc khác đường mức chia tách phần rõ ràng Mơc thành khối lớn Hình 2.7 Đường mức Bước 7, với khối thu mức một, ta tiếp tục thực tìm đường dọc ngang (mức hai, ba, …, n) khối để cắt thành chữ Ở bước ta thực đệ qui để tìm kiếm đường dọc ngang này, việc đệ qui dừng khơng thể tìm đường dọc ngang để cắt khối thành hai vùng khác (tức khối lúc chứa chữ khơng có chữ khối đó) Việc tìm đường dọc ngang tương tự mô tả bước 36 Bước 8, thực ghép đường dọc ngang tất mức thu ma trận cắt theo đường dọc ngang Hình 2.8 minh họa ma trận cắt đường màu đen đường sử dụng để trích xuất khối từ mộc Hình 2.8 Ma trận cắt, đường màu trắng thể đường cắt Bước 9, cắt in depthmap theo ma trận cắt, kết thu vùng in depthmap ánh xạ một-một với Hình 2.9 Kết cơng cụ trích xuất ký tự chữ in 2D Hình 2.9 mơ tả kết cơng cụ trích xuất liệu bán tự động, ta thấy cơng cụ xác định ký tự trường hợp chữ tách biệt 37 không bị chồng lấn với ký tự khác, ngồi có trường hợp ký tự trích xuất bị gộp làm hai ký tự bị chồng lấn, có trường hợp trích xuất phần chữ chữ cấu thành từ nhiều thành phần tách biệt Cơng cụ trích xuất ký tự chữ bán tự động sử dụng Open-CV, ngôn ngữ python Trong phiên cơng cụ trích xuất ký tự chữ áp dụng phương pháp xử lý ảnh để tìm vùng bao (contours) Do sử dụng đơn vùng bao ảnh nên kết nên cơng cụ có nhiều hạn chế thực trích xuất ký tự chữ như: chữ cắt khơng hồn tồn xác mẫu khơng đẹp chữ có khoảng khơng cách xa nhau; xuất tình trạng trích xuất ký tự chữ thành khoảng nhiều chữ chữ bị chồng chéo lên nhau; Không phân biệt đâu chữ đâu vùng có mực khơng phải chữ Tuy nhiên, với cơng cụ trích xuất ký tự chữ hồn tồn sử dụng để chuẩn bị liệu cho toán luận văn Nó giải nhược điểm mà xử lý liệu thủ công gặp phải Để nâng cao độ xác đối tượng chữ, định hướng cải tiến áp dụng thêm tập liệu chữ Hán-Nơm để cơng cụ phát chữ cách xác Hoặc sử dụng công cụ bán tự động, công cụ sinh lưới trích xuất liệu trên, sau cho phép người dùng chỉnh lại lưới cách thủ cơng 2.1.3 Sinh ảnh depthmap từ mơ hình 3D Bước xử lý liệu sinh ảnh depthmap từ tập chữ 3D Mục đích sinh ảnh depthmap từ 3D nhằm mục đích đưa đối tượng 3D đối tượng trung gian có đặc tính 3D tương đồng với ảnh 2D Hay nói cách khác, depthmap dạng ảnh 2D có đặt trưng mơ tả chiều sâu, xa gần ảnh chứa (giữ) phần đặc điểm mơ hình 3D theo chiều chiếu Một cách trực quan, ta thấy tờ giấy in ép lên mộc in coi dạng chiếu 2D mộc lên giấy in Do vậy, chiều chiếu lên mơ hình 3D thực theo chiều z (chiều cao tọa 38 độ Oxyz) Hình 2.10 minh họa cặp liệu 3D depthmap, bên trái chữ 3D trích xuất từ mộc bản, bên phải chữ depthmap trích xuất từ 3D bên trái Hình 2.10 Chữ 3D depthmap 2.1.4 Sinh thêm liệu huấn luyện Sau xử lý liệu, ta có tập ảnh 2D ảnh depthmap vùng mộc Những liệu cho vào mô hình học máy, nhiên để làm phong phú thêm liệu, tác giả thực vài bước để sinh thêm liệu cung cấp cho mơ hình học máy (Data augmentation) Áp dụng nhiều mức threshold (ngưỡng) để sinh thêm liệu Cụ thể, tác giả sử dụng mức threshold 35%, 40%, 45%, 50% 55% Khi áp dụng nhiều mức threshold ta có độ dày mực (chữ) khác nhau, cho vào mô hình học máy kỳ vọng học đặc tính độ dày mực Áp dụng xoay ảnh với độ xoay 0o, 90o, 180o 270o Với ảnh đầu vào, tác giả xoay góc ảnh với bốn độ trên, kỳ vọng cho vào mơ hình học máy nhận biết góc, vùng khác đối tượng Sau quy trình này, ảnh liệu gốc sinh năm (threshold) bốn (độ xoay), tổng cộng ta có hai mươi ảnh liệu đầu 2.2 Sinh depthmap từ in 2D mộc Sau thực huấn luyện mơ hình học máy từ tập liệu huấn luận chuẩn bị theo mơ tả Mục 2.1, có mơ hình phục vụ cho việc sinh ảnh depthmap từ ảnh 2D theo ngữ cảnh tập liệu ký tự chữ Hán-Nơm mộc 39 Hình 2.11 Quy trình khơi phục deptmap từ in Hình 2.11 mơ tả quy trình khơi phục depthmap từ in Bước “trích xuất ký tự” xử lý tương tự bước trích xuất ký tự mơ tả phần 2.1 Mỗi ký tự sau trích xuất đưa vào mơ hình học máy học để sinh hình ảnh depthmap ký tự tương ứng 2.3 Tổng kết chương Chương tác giả trình bày chi tiết quy trình xử lý liệu nhằm phục vụ cho việc xây dựng tập liệu huấn luyện cho mơ hình học máy để khôi phục lại depthmap từ in 2D mộc Trong đó, tác giả đề cập đến hai hướng tiếp cận xử lý liệu thủ công xử lý liệu bán tự động xử lý sinh thêm liệu huấn luyện từ tập liệu ban đầu Cuối cùng, tác giả tổng qt hóa quy trình tồn luồng huấn luyện khơi phục lại depthmap 40 CHƯƠNG THỬ NGHIỆM VÀ ĐÁNH GIÁ Chương trình bày chi tiết trình huấn luyện ba mơ hình học máy tập tồn tập liệu, đánh giá so sánh ba mơ hình Cuối cùng, thực áp dụng mơ hình học máy có kết tốt với tất tập liệu 3.1 Bộ liệu Toàn tập liệu Tập liệu mơ hình bao gồm tám mộc số hóa thành file stl Tương ứng với mộc có từ năm đến bảy in 2D Mỗi in in theo tiêu chí khác độ nghiêng, độ đậm mực Đưa vào mơ hình học máy chọn in có chất lượng tốt khớp với mộc Mỗi mộc có trung bình khoảng ba trăm chữ Như vậy, ước lượng có khoảng 2400 chữ Áp dụng “Data augmentation” ta có tập liệu D = 2400 * 20 = 48000 chữ Tiếp tục chia tập liệu thành training (tập liệu huấn luyện) 30000 chữ, test (tập liệu kiểm thử) 8000 validation (tập liệu kiểm định) 10000 chữ Ghi chú: Các liệu chữ nhất, có nghĩa xuất nhiều thể chữ tập liệu Tập liệu Tập liệu trích xuất chọn lựa từ toàn 48.000 liệu thu thập Cụ thể tập liệu lựa chọn 800 liệu số tiêu chí lựa chọn ký tự rõ ràng, có nhiều nét nhiều tương đồng depthmap-bản in Mục đích thiết lập tập để thử nghiệm cho nhiều mơ hình khác đảm bảo tập liệu, giảm bớt thời gian huấn luyện, thử nghiệm mơ hình đánh giá, so sánh mơ hình 3.2 Thử nghiệm 3.2.1 Thử nghiệm CUT, Fast-Cut pix2pix Do việc thử nghiệm toàn liệu nhiều thời gian nỗ lực tác giả đề xuất thực thử nghiệm ba mơ hình Pix2pix [13]; Contrastive Learning for Unpaired (CUT) [14]; Fast Contrastive Learning for Unpaired (FastCUT) [14] 41 liệu 800 liệu Mục đích thử nghiệm để so sánh chọn mơ hình tốt áp dụng cho toán Trong phần thử nghiệm này, tham số khác sử dụng mặc định mơ hình mà tác giả đề xuất Ngồi ra, phần thử nghiệm này, tác giả sử dụng hàm mục tiêu LSGAN [16] LSGAN có khả tránh tượng “Vanishing gradient” gặp phải “vanilla gan” (hàm mát cross_entroy) cho kết tốt Tập liệu pix2pix khác so với tập liệu hai mơ hình CUT FastCUT Tập liệu pix2pix có ảnh đơn ảnh bên trái ảnh 2D bên phải depthmap mơ hình pix2pix mơ hình ghép cặp Trong đó, CUT FastCUT hai mơ hình khơng cần ghép cặp, tập liệu A, B CUT FastCUT riêng biệt với tập liệu A chứa toàn tập liệu huấn luyện ảnh 2D ký tự tập liệu B chứa toàn tập liệu depthmap ký tự huấn luyện Bảng 3.1 mô tả tham số quan trọng chạy thử nghiệm mơ hình học máy Bảng 3.1 Tham số chạy thử nghiệm mơ hình GAN Pix2pix n_epochs 100 CUT 200 FastCUT Ý nghĩa 150 Số epochs mà mơ hình thực với tham số learning rate cố định n_epochs_de 100 200 50 Số epochs thực với tham số learning rate giảm dần qua cay epochs, dừng lại learning rate = learning_rate 0.0002 loss function LSGAN 0.0002 0.0002 Tham số learning rate khởi tạo LSGAN LSGAN Hàm mát Kết sau thực đánh giá tập ba mơ hình thử nghiệm sau mô tả Bảng 3.2 42 Bảng 3.2 Kết thử nghiệm mơ hình GAN Xấu Tốt Trung bình Sai lệch pixel (%) Pix2pix 28.9 18.6 11.2 CUT 30.4 22.3 17.3 FastCUT 29.1 20.4 11.9 Fréchet Inception Distance Pix2pix 214.1 CUT 240.2 FastCUT 342.2 Gọi w, h chiều rộng chiều cao ảnh (width, height); band dải giá trị ảnh, với ảnh xám giá trị thể pixel nằm khoảng [0, 255] giá trị band ảnh xám 256; ảnh sinh từ mơ hình phơi phục depthmap fake_B; ảnh thật real_B (ground trust) Công thức (8) thể phép tính sai lệch ảnh fake_B real_B Trong đó, | realB– fakeB band | phép trừ hai ảnh thật giả chia cho dải màu cho trọng số sai lệch dải màu pixel; Tính tổng tất sai lệch chia cho kích thước ảnh để tính bình qn sai số ảnh; cuối nhân 100 để tính phần trăm sai số hai ảnh realB– fakeB error = ∑(| band |) * w-1 * h-1 * 100 (8) FID độ đo dùng để đánh giá mức độ phù hợp hai tập liệu ảnh thật ảnh giả mơ hình GAN (xem chi tiết Mục 1.4.2) Giá trị FID nhỏ mức độ phù hợp ảnh thật ảnh giả cao Từ kết Bảng 3.2 Kết thử nghiệm mơ hình GAN, ta thấy mơ hình pix2pix đạt số tốt so với mơ hình CUT, FastCUT Do đó, để giải tốn khơi phục depthmap từ in 2D mộc bản, tác giả định sử dụng mơ hình pix2pix với tồn tập dataset 43 3.2.2 Thử nghiệm pix2pix cho toàn tập liệu Bộ tham số huấn luyện Bảng 3.3 mô tả tham số quan trọng sử dụng mơ hình để huấn luyện Bảng 3.3 Bộ tham số mơ hình pix2pix Tham số STT load_size Giá trị 286 Ý nghĩa Ảnh đầu vào resize kích thước 286*286 Ảnh cho vào mơ hình để huấn luyện crop_size 256 cắt ngẫu nhiên theo kích thước 256*256 Trong epoch duyệt qua ảnh để batch_size cập nhật trọng số mơ hình (gradient descent) gan_mode LSGAN Sử dụng hàm mát lsgan lambda_L1 100.0 Trọng số L1 loss lr 0.0002 Giá trị learning rate khởi tạo n_epochs 200 n_epochs_decay Tổng số epochs chạy learning_rate không đổi giá trị lr khởi tạo Tổng số epochs chạy mà cập nhật learn- 200 ing_rate theo công thức đề cập mục lr_policy ndf 64 10 netD basic Số kênh filters Generator layer cuối conv Discriminator sử dụng 70x70 PatchGAN 44 Tham số STT Giá trị Ý nghĩa Generator sử dụng unet_256 11 netG unet_256 12 ngf 64 13 no_dropout False Bật chế độ Dropout cho Generator 14 no_flip False Bật chế độ Data augmentation lật (flip) ảnh 15 norm batch Batch normalization Số kênh filters Discriminator layer đầu conv 3.3 Đánh giá Sau thực huấn luyện mơ hình xong, đánh giá kết mơ hình cho tốn khơi phục mơ hình depthmap từ in 2D mộc Một vài độ đo đánh giá độ hiệu mơ hình GAN (đọc thêm chi tiết [20]), luận văn dùng độ đo FID làm sở để đánh giá mơ hình Ngồi ra, phần đánh giá tác giả thực đo chênh lệch pixel ảnh minh họa đánh giá kết mơ hình, “real_A” ảnh 2D gốc, “fake_B” ảnh Deptmap giả sinh mơ hình từ ảnh “real_A”, “real_B” ảnh Deptmap thật tương ứng, “diff” so sánh khác tương đối ảnh “fake_B” “real_B”, ba liệu cuối giá trị thể độ sai lệch tương đối theo phần trăm, giá trị sai số trung bình tồn phương theo pixel giá trị chuẩn hóa sai số trung bình tồn phương Bảng 3.6 tổng hợp kết tất mẫu kiểm thử mơ hình Bảng 3.4 Kết đầu mơ hình pix2pix real_A fake_A real_B diff rate RMSE NRMSE 15.37 4.18 0.02 45 Bảng 3.5 Chi tiết thông số đánh giá Cột Mô tả real_A Ảnh 2D mà cần cho qua mơ hình để sinh ảnh depthmap fake_B Ảnh sinh mơ hình pix2pix real_B Ảnh depthmap tương ứng ảnh 2D diff Biểu khác biệt pixel ảnh fake_B real_B, phần màu trắng nhạt biểu khác ảnh nói trên, phần màu đen thể vùng ảnh giống Nếu có nhiều vùng màu đen thể ảnh giống Thể độ chênh lệch ảnh real_B fake_B theo đơn vị phần rate trặm Root Mean Square Error Thể sai lệch ảnh RMSE pixel theo sai số toàn phương trung bình Giá trị sai số nhỏ ảnh giống Giá trị rmse nằm khoảng [0, 255] NRMSE Giá trị tính dựa rmse chia biên độ dải giá trị rmse Giá trị nrmse chuẩn hóa đưa rmse khoảng [0, 1] để đánh giá dễ Bảng 3.6 Thống kê kết tất mẫu kiểm thử Tốt rate rmse 10.5 5.2 Ảnh đầu vào Ảnh thật Ảnh giả Ảnh khác 46 Trun g bình Xấu rate rmse 17.3 9.7 43.3 27.1 Ảnh đầu vào Ảnh thật Ảnh giả Ảnh khác Từ kết trên, trực giác ta có nhận xét sau: Nhận xét 1: Với ảnh mà có đầy đủ nét độ đậm mực tốt pix2pix sinh ảnh với mức độ khớp cao Nhận xét 2: Với ảnh có độ phức tạp cao ảnh đầu vào q dầy mực, mơ hình học theo nét nhiên phần nối, chi tiết bị dầy mực bị sai Nhận xét 3: Với ảnh đầu vào bị thiếu mực, nét mơ hình học khơng xác, đầu phức tạp nhiều Giá trị FID = 129 Ta thấy giá trị FID toàn liệu thấp so với giá trị FID ngữ cảnh thử nghiệm Mục 3.2.1(129 so với 216) điều chứng tỏ mơ hình có cải thiện độ khớp ảnh thật ảnh giả 3.4 Tổng kết chương Trong chương luận văn tác giả trình bày chi tiết việc chạy thử nghiệm tập toàn liệu sử dụng ba mơ hình dịch hình ảnh sang hình ảnh mơ tả Mục 1.4, thực đánh giá kết ba mơ hình từ đề xuất mơ hình tốt để áp dụng cho tồn tập liệu có Tiếp theo, tác giả sử dụng mơ hình pix2pix (mơ hình cho kết tốt thử nghiệm với tập liệu con), chi tiết tham số quan trọng chạy mơ hình Cuối cùng, tác giả thực đánh giá kết mơ hình đưa nhận xét kết sau thử nghiệm khôi phục lại depthmap 47 KẾT LUẬN Kết đạt Đề tài vào tìm hiểu, xây dựng quy trình, xử lý liệu áp dụng học máy cho tốn khơi phục mơ hình depthmap cho mộc (chữ Nôm) Bước đầu luận văn cho kết đánh giá kết Bài tốn khơi phục depthmap từ in 2D mộc toán tốn khơi phục mơ hình 3D mộc từ in 2D mộc Từ kết toán bước đầu cho thấy tính khả thi toán lớn Định hướng tương lai Bài toán mà luận văn xử lý bước đầu tốn tổng thể khơi phục mơ hình 3D mộc Phạm vi luận văn tìm mơ hình cho có khả khơi phục lại đặc trưng 3D (depthmap) chữ mộc Ngồi ra, luận văn chưa có đa dạng phương pháp khác để áp dụng vào toán Do đó, định hướng tương lai tốn - Cải tiến cơng cụ trích xuất ký tự chữ bán tự động cách áp dụng tập liệu chữ Hán-Nơm để nâng cao tính xác cắt ký tự chữ - Xử lý liệu phục vụ cho q trình huấn luyện tốt Khơi phục lại vùng không chứa chữ mộc (vùng nền) Lắp ráp vùng lại thành depthmap 3D hồn chỉnh Khơi phục 3D từ mơ hình depthmap Tìm hiểu thêm phương pháp, quy trình, mơ hình khác cho tốn - so sánh chúng với áp dụng Xây dựng độ đo xác trực quan để đánh giá mơ hình - 48 TÀI LIỆU THAM KHẢO Tiếng Anh D Pathak, P Krahenbuhl, J Donahue, T Darrell, and A A Efros Context encoders: Feature learning by inpainting In CVPR, 2016, pp 2, 3, 13, 17 G E Hinton and R R Salakhutdinov Reducing the dimensionality of data with neural networks Science, 313(5786):504–507, 2006 3 Hongyuan Lei, "The digital protection and inheritance of Chinese woodblock new year prints," 2014 IEEE 3rd International Conference on Cloud Computing and Intelligence Systems, Shenzhen, 2014, pp 277-281 I Goodfellow, J Pouget-Abadie, M Mirza, B Xu, D Warde-Farley, S Ozair, A Courville, and Y Bengio Generative adversarial nets In NIPS 2014, pp 2, 4, 6, J Hong, Zongming Zhang and Jiho Han, "Reconstruction of the woodblock using three-dimensional scanning and computer numerical control machining," 2015 Digital Heritage, Granada, 2015, pp 63-66 doi: 10.1109/DigitalHeritage.2015.7413835 Jaesung Choe, Sunghoon Im, Francois Rameau, Minjun Kang and In So Kweon, VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction, In ICPR, 2021 Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A Efros, Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, In ICPR, 2018 Markus Ylimaki and Janne Heikkila, Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement, In ICPR, 2018 Mehdi Mirza, Simon Osindero Conditional Generative Adversarial Nets In 2014, pp 2-4 10 Ngo Thi Duyen, Phi Hoang Linh, Ma Thi Chau, Nguyen Minh Hoa, Nguyen Xuan Hung, Dang Thanh Tung, Le Thanh Ha, "3D reconstruction and digital quality assessment methods for Nguyen Dynasty's Royal printing woodblocks", submitted to "Journal of computing and cultural heritage" 49 11 Ngo Thi Duyen, Tran Thi Minh, Ma Thi Chau, Nguyen Xuan Hung, Le Thanh Ha “Royal printing woodblocks of Nguyen Dynasty: 3D reconstruction for digital preservation” International Association for Printing Woodblocks (IAPW): Preservation and promotion of Printing Woodblocks in the Digital Era, 2019 12 O Ronneberger, P Fischer, and T Brox U-net: Convolutional networks for biomedical image segmentation In MICCAI, 2015, pp 2, 13 P Isola, J.-Y Zhu, T Zhou, and A A Efros Image-to-image translation with conditional adversarial networks In CVPR 2017, pp 2, 3, 5, 14 Taesung Park, Alexei A Efros, Richard Zhang, and Jun-Yan Zhu, Contrastive Learning for Unpaired Image-to-Image Translation, In CVPR 2020 15 Ting Chen, Simon Kornblith, Mohammad Norouzi and Geoffrey Hinton, A Simple Framework for Contrastive Learning of Visual Representations, In ICPR, 2020 16 Xudong Mao, Qing Li, Haoran Xie, Raymond Y.K Lau, Zhen Wang, and Stephen Paul Smolley, Least Squares Generative Adversarial Networks, In CVPR 2017, pp 7-9 17 Yikang Ding, Wentao Yuan, Qingtian Zhu, Haotian Zhang, Xiangyue Liu, Yuanjiang Wang, Xiao Liu and Megvii Technology, TransMVSNet: Global Context-aware Multi-view Stereo Network with Transformers, In ICPR, 2021 18 Weihao Xia, Awesome image-to-image translation, https://github.com/weihaox/awesome-image-translation, In github 2021 19 Jun-Yan Zhu, CycleGAN and pix2pix in PyTorch, https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix, In github 2017 20 Jason Brownlee, How to Evaluate Generative Adversarial Networks, https://machinelearningmastery.com/how-to-evaluate-generative-adversarialnetworks/, In 2019 21 Adith Narein T Introduction to Inception models, https://iq.opengenus.org/inception-v3-model-architecture/, In 2021 ... xuất từ mộc 3D in tương ứng chúng Thử nghiệm mơ hình học máy khác đề xuất mơ hình học máy tốt áp dụng tốn khơi phục depthmap từ in 2D mộc Đánh giá kết sau thực khôi phục depthmap từ in 2D mộc. .. 2D - Chương Khôi phục depthmap từ in 2d mộc o Quy trình chuẩn bị tập liệu huấn luyện o Sinh depthmap từ in 2D mộc - Chương Thử nghiệm đánh giá o Bộ liệu huấn luyện dùng đề khôi phục depthmap o... máy để sinh ảnh depthmap từ ảnh 2D mộc Hình 2.4 bên trái thể Deptmap, bên phải in chữ trích xuất từ mộc Hình 2.4 Depthmap in Mộc in bị ngược theo chiều ngang giấy in ép lên bề mặt mộc bản, đồng