Mạng sinh dữ liệu đối nghịch GAN: Một trong những phương pháp có hiệu quả để sinh dữ liệu tổng hợp, tăng cường dữ liệu cho các hệ thống học sâu là mạng sinh dữ liệu đối nghịch, viết tắt là GAN (Generative Adversarial Networks)[23]. GAN là mô hình mạng nơ ron có khả năng tạo ra các ảnh tổng hợp bằng cách sử dụng sự cạnh tranh của hai mạng nơ-ron: Bộ sinh (Generator) dùng để sinh ảnh và Bộ phân biệt (Discriminator) để phân biệt ảnh thật (real image) là các ảnh trong bộ dữ liệu thực và ảnh giả là ảnh do bộ Generator tạo ra.
Mạng sinh dữ liệu có điều kiện CGAN: Mạng sinh dữ liệu có điều kiện [47] (CGAN- Conditional GAN) là một dạng GAN trong đó có kiểm soát Generator sinh ảnh theo điều kiện đầu vào nhất định. Hình 1.13 là sơ đồ minh họa cho mạng CGAN. Tương tự như mạng GAN, CGAN cũng có 2 bộ phận đối nghịch là Generator và Discriminator. Tuy nhiên với GAN thì Generator sinh ảnh giả từ một vector đầu vào ngẫu nhiên, còn với CGAN thì Generator
sinh ảnh từ vector ngẫu nhiên z và điều kiện đầu vào y. Mục tiêu của Generator là sinh ảnh Xfakegiống ảnh thực Xrealkhi điều kiện đầu vào yfake trùng với nhãn yreal của ảnh thực Xreal
Mạng Pix2Pix
Pix2pix [29] là một mô hình CGAN dùng để học một hàm ánh xạ từ một ảnh đầu vào (ảnh nguồn) thành một ảnh ở đầu ra (ảnh đích) cùng kích thước nhưng có thay đổi các thuộc tính của ảnh như ảnh đen trắng sang ảnh màu, bản vẽ phác thảo đối tượng sang ảnh đối tượng đầy đủ màu sắc, ảnh phân vùng đường phố sang ảnh đường phố …
Mạng Pix2Pix được tạo thành từ hai phần chính là bộ sinh (Generator) và bộ phân biệt (Discriminator). Bộ sinh có nhiệm vụ biến đổi ảnh đầu vào thành ảnh đầu ra. Kiến trúc Unet [59] được dùng cho bộ sinh của Pix2Pix. Bộ phân biệt tính toán mức độ tương đồng của ảnh đầu vào với một ảnh chưa biết (có thể là ảnh từ tập dữ liệu đích hoặc là ảnh do bộ sinh tạo ra) và dự đoán xem ảnh này có phải được tạo ra bởi bộ sinh hay không. Bộ phân biệt Pix2Pix thực hiện thuật toán PatchGan [29], trong đó ảnh được phân thành các phần nhỏ có cùng kích thước (70x70) gọi là các patch, bộ phân biệt sẽ thực hiện việc phân loại các patch là thật hay giả thay vì phân loại toàn bộ ảnh là thật hay giả.