toan Image Inpainting
Bởi những kết quả ấn tượng DDPM mang lai, DDPM được áp dụng cho nhiều bài toán con của bài toán sinh ảnh. Một trong số đó, Andreas Lugmayr
[10] đã sử dụng mô hình này cho bài toán Image Inpainting với mục tiêu tạo ra
mô hình có thể sinh ảnh tốt với mọi mask. Nhận thấy rằng các mô hình được sử dụng cho bài toán Image Inpainting đều được huấn luyện với một tập mask cụ thể. Điều này khiến cho kết quả sinh ra có thể sẽ không thực sự tốt khi chúng ta
sử dụng một mask không có trong tập mask được huấn luyện bởi trong thực tế
47
3.ÁP DỤNG DENOISING DIFFUSION PROBABILISTIC MODELS CHO BAI
TOAN IMAGE INPAINTING
khi ta muốn vẽ lại một phan nào đó trên bức ảnh sẽ không có hình dạng cu thé nào cho phần được chọn. Vì lý do này, Andreas Lugmayr đã tận dụng mô hình DDPM đã được huấn luyện và chỉ chỉnh sửa quá trình sample ảnh bằng việc giữ
nguyên lại những thông tin không bị mask, và chỉ sample những phần bị mask.
3.1.7.1. Điều kiện hóa những phần không bị mask
Hình 3.8: Tổng quan về cách sử dung mô hình DDPM được huấn luyện trước cho bài toán Image Inpainting (Nguồn: Repaint: Inpainting using denoising diffusion proba-
bilistic models[ 10]).
Mục đích cuối cùng của bài toán image inpainting là việc ảnh sinh ra ở phần
bị mask (phần không biết) sao cho phù hợp với phần còn lại của bức ảnh (phần
đã biết). Do đó ta hoàn toàn có thể điều kiện hóa phần đã biết để sau khi quá trình làm nhiễu kết thúc ta thu dc những thông tin liên quan đến bức ảnh đầu vào
từ đó việc khử nhiễu sẽ cho ra những thông tin phù hợp với thông tin đã biết.
Ta gọi bức ảnh đầu vào là x, những điểm ảnh bị mask là m và những điểm đã biết là 1-m. Như đã trình bày ở trên, ta có thể tính được mức độ nhiễu tại bat kì
48
3.ÁP DỤNG DENOISING DIFFUSION PROBABILISTIC MODELS CHO BAI
TOAN IMAGE INPAINTING
thời điểm t, thêm vào đó mô hình DDPM này đã được huấn luyện trước, do đó
ta có thể sử dụng phần đã biết 1-m thông qua bước làm nhiễu và phần bị mask
m bang cách cho mô hình dự đoán để tạo nên tam ảnh mong muốn.
xpnown ~ N(/G;x0, (1 — ỡ)1)
xynknewn ~ N(449(x0,t),Eo(xo,t)) x,-l=mO© xknown +(1—m)@ xunknown
3.1.7.2 Resampling
Hình 3.9: Ảnh hưởng của số bước resample trên sự hài hoa của bức ảnh (Nguôn: Re-
paint: Inpainting using denoising diffusion probabilistic models[10]).
Một van dé gặp phải khi sử dụng phương pháp điều kiện hóa như trên đó là mặc dù phần bị mask được sinh ra cho những đường nét phù hợp và khớp với phần đã biết tuy nhiên về mặt ngữ nghĩa thì cho kết quả không tốt. Quan sát tại n=1 của hình trên, ta thấy mô hình đã sinh ra được phan lông có màu sắc và đường nét phù hợp với phần viền tuy nhiên về bố cục tổng thể, ngữ nghĩa của
bức ảnh thì chưa chính xác. Nguyên nhân chính của việc ảnh sinh ra chưa có sự
hài hòa về tổng thể bức ảnh là vì ta sử dụng lại phần đã biết được tính toán trong quá trình làm nhiễu trong khi phần được sinh ra lại không "hiểu" được tổng thể bức ảnh. Do đó, cho dù mô hình đã thực hiện khử nhiễu qua từng bước để cải thiện sự hài hòa tuy nhiên nó sẽ không bao giờ đạt được bởi gặp phải van dé như
49
3.ÁP DỤNG DENOISING DIFFUSION PROBABILISTIC MODELS CHO BAI
TOAN IMAGE INPAINTING
trên cho từng bước. Vi vay, mô hình cần nhiều thời gian dé làm hài hòa thông tin được điều kiện hóa xknown với thông tin được sinh ra xunknown trong một bước trước khi chuyển qua bước khử nhiễu tiếp theo. Andreas Lugmayr [10] tận dụng
lại thông tin bằng cách cho đầu ra x;_¡ quay lại làm đầu vào cho x; được biểu
diễn như sau: x; ~ N(v1—-B,x,_ 1, BI). Mặc dù việc quay ngược lại sẽ thêm một
phần nhiễu, nhưng những thông tin đã được kết hợp với nhau trong phần bị mask xunknown vẫn được giữ nguyên trong xt"kn9wn, Điều này dẫn đến x†Pknown vừa
có thể hài hòa với x9" vừa mang thông tin đã được điều kiện hóa.
Ta có thể xem qua thuật toán mô tả quá trình resampling như sau:
Algorithm 1 Inpainting using our RePaint approach.
e~N(0,1) ift > 1,elsee= 0
“on == Jairo + (1 — ã¡}e
6: z ~ W(0, 1) ift > 1, else z = 0
own 8; F
TỔ oo = Ta (x: — Fos eo(re, t)) + orz
8: m1 =mOre"+(1-m)on"
9: ifu < U and £ > 1 then
10: đt (v1 _ tT—1#¿—1; 8:—11)
Ll: end if 12: end for
13: end for
14: return :ro
Hình 3.10: Thuật toán mô phỏng quá trình resampling (Nguồn: Repaint: Inpainting
using denoising diffusion probabilistic models[10]).
50
Chương 4