ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG RỪNG NGẪU NHIÊN TRONG BÀI TOÁN SINH ẢNH

ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG RỪNG NGẪU NHIÊN TRONG BÀI TOÁN SINH ẢNH ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG RỪNG NGẪU NHIÊN TRONG BÀI TOÁN SINH ẢNH Mục đích, nội dung của đồ án Mục đích của đồ án là đề xuất phương pháp ứng dụng rừng ngẫu nhiên trong bài toán sinh ảnh với mô hình GANs nhằm tăng tính ổn định khi huấn luyện, tạo được một rừng các cây với lượng tri thức khác nhau cũng như cải thiện chất lượng ảnh được sinh ra. Nội dung của đồ án đó là phân tích chi tiết về lý thuyết và xem xét, đánh giá sự hiệu quả của phương pháp đề xuất trong thực nghiệm. Các nhiệm vụ cụ thể của đồ án Các nhiệm vụ cụ thể của đồ án bao gồm: Tìm hiểu về mô hình sinh, đặc biệt là mô hình GANs. Đề xuất một phương pháp nhằm cải thiện độ ổn định khi huấn luyện, tạo ra một rừng các cây với lượng tri thức khác nhau và cải thiện chất lượng ảnh sinh ra. Đưa ra chứng minh thực nghiệm về sự hiệu quả của phương pháp đề xuất. Lời cam đoan của sinh viên Em Vũ Trung Nghĩa cam kết đồ án tốt nghiệp là sản phẩm của bản thân dưới sự hướng dẫn của TS. Nguyễn Khiêm Hiếu. Các kết quả có được và được trình bày trong đồ án này là thành quả của việc nghiên cứu, đánh giá, không sao chép, lấy từ bất kỳ một công trình nghiên cứu nào khác. Đối với những kết quả được tham khảo có trong bản báo cáo đồ án này bao gồm các bảng biểu, hình ảnh và các số liệu kèm theo đã được ghi chi tiết và cụ thể các nguồn trích dẫn trong danh mục tài liệu tham khảo. Em xin hoàn toàn chịu trách nhiệm về tính đúng đắn 1trong quá trình thực hiện và tính toán các số liệu, cũng như trách nhiệm về việc trích dẫn hay các hành vi mà vi phạm quy chế của nhà trường. Các kết quả trong đồ án là trung thực, không phải là sao chép toàn văn của bất kì công trình nào khác.

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG RỪNG NGẪU NHIÊN TRONG BÀI TOÁN SINH ẢNH VŨ TRUNG NGHĨA nghia.vt173284@sis.hust.edu.vn Lớp Tài Khoa học máy tính Ngành Cơng nghệ Thơng tin Giảng viên hướng dẫn: TS Nguyễn Khiêm Hiếu Chữ ký GVHD Bộ môn: Hệ thống Thông tin Viện: Công nghệ Thông tin Truyền thông HÀ NỘI, 6/2021 Phiếu giao nhiệm vụ đồ án tốt nghiệp Thơng tin sinh viên • Email: nghia.vt173284@sis.hust edu.vn • Họ tên: Vũ Trung Nghĩa • Số điện thoại: 0384942883 • Lớp: Tài Khoa học máy tính • Hệ đào tạo: KSCLC-TN-TT-VN-ICT • Đồ án tốt nghiệp thực tại: Bộ môn Hệ thống Thông tin - Viện công nghệ thông tin truyền thơng • Thời gian làm đồ án tốt nghiệp: Từ ngày 10/2/2021 đến 18/06/2021 Mục đích, nội dung đồ án Mục đích đồ án đề xuất phương pháp ứng dụng rừng ngẫu nhiên toán sinh ảnh với mơ hình GANs nhằm tăng tính ổn định huấn luyện, tạo rừng với lượng tri thức khác cải thiện chất lượng ảnh sinh Nội dung đồ án phân tích chi tiết lý thuyết xem xét, đánh giá hiệu phương pháp đề xuất thực nghiệm Các nhiệm vụ cụ thể đồ án Các nhiệm vụ cụ thể đồ án bao gồm: Tìm hiểu mơ hình sinh, đặc biệt mơ hình GANs Đề xuất phương pháp nhằm cải thiện độ ổn định huấn luyện, tạo rừng với lượng tri thức khác cải thiện chất lượng ảnh sinh Đưa chứng minh thực nghiệm hiệu phương pháp đề xuất Lời cam đoan sinh viên Em - Vũ Trung Nghĩa - cam kết đồ án tốt nghiệp sản phẩm thân hướng dẫn TS Nguyễn Khiêm Hiếu Các kết có trình bày đồ án thành việc nghiên cứu, đánh giá, không chép, lấy từ cơng trình nghiên cứu khác Đối với kết tham khảo có báo cáo đồ án - bao gồm bảng biểu, hình ảnh số liệu kèm theo - ghi chi tiết cụ thể nguồn trích dẫn danh mục tài liệu tham khảo Em xin hoàn toàn chịu trách nhiệm tính đắn q trình thực tính tốn số liệu, trách nhiệm việc trích dẫn hay hành vi mà vi phạm quy chế nhà trường Các kết đồ án trung thực, chép tồn văn cơng trình khác Hà Nội, ngày 18 tháng 06 năm 2021 Sinh viên Vũ Trung Nghĩa Xác nhận giáo viên hướng dẫn mức độ hoàn thành đồ án cho phép bảo vệ: Hà Nội, ngày 18 tháng 06 năm 2021 Giảng viên hướng dẫn TS Nguyễn Khiêm Hiếu Lời cảm ơn Để hoàn thành đồ án này, em nhận nhiều giúp đỡ bảo tận tình từ người thầy/cơ người bạn Trước tiên em muốn cảm ơn TS Nguyễn Khiêm Hiếu đưa đánh giá nhận xét quan trọng giúp em hoàn thiện đồ án Và em muốn cảm ơn PGS TS Thân Quang Khoát, người đặt móng cho em đường nghiên cứu học máy mà cụ thể toán sinh ảnh Những lời khuyên định hướng thầy giúp em có nhìn sâu rộng lĩnh vực nghiên cứu, biết hướng từ mà đề xuất ý tưởng hay tìm hướng cho riêng Em muốn gửi lời cảm ơn đến người bạn nhóm nghiên cứu DSLab, trải qua năm làm việc với buổi hội thảo hàng tuần giúp em thu không kiến thức chuyên môn mà bên cạnh cịn nhiều kĩ quan trọng khác sống cơng việc Bên cạnh đó, em muốn gửi lời cảm ơn đến người bạn thầy cô Trường Đại học Bách khoa Hà nội tạo dựng cho em tảng tri thức kĩ vững vàng trước bắt đầu đường nghiệp Cuối cùng, em muốn gửi lời cảm ơn đến gia đình người bạn lắng nghe, quan tâm, chia sẻ em giải vấn đề sống Dù em cố gắng cẩn thận q trình làm đồ án, nhiên khơng tránh khỏi sai sói, mong nhận đánh giá góp ý từ thầy/cơ bạn Em xin cảm ơn Tóm tắt Đồ án tập trung nghiên cứu đề xuất phương pháp sử dụng tư tưởng mơ hình rừng ngẫu nhiên [1] vào GANs [2] nhằm làm tăng chất lượng sinh ảnh, ổn định trình huấn luyện tạo rừng tri thức khác Ý tưởng dựa việc sử dụng nhiều Discriminator coi Discriminator rừng ngẫu nhiên, nhìn phần liệu, huấn luyện cách Khi huấn luyện Generator, thông tin truyền đến Generator tổng hợp từ tất rừng đó, cách làm vậy, kết dự đốn rừng Discriminator mang tính tổng qt cao giúp cho việc huấn luyện ổn định Kết thực nghiệm liệu MNIST [3] cho thấy phương pháp đề xuất giúp ổn định việc huấn luyện GANs, đồng thời đạt chất lượng ảnh sinh tốt tương đương phương pháp có Bên cạnh đó, Discriminator mơ hình đề xuất đưa dự đốn tương đối khác tập đánh giá, từ cho thấy tri thức mà Discriminator học sau trình huấn luyện khác tương tự mơ hình rừng ngẫu nhiên Mục lục CHƯƠNG I KIẾN THỨC CƠ SỞ 11 Mạng trí tuệ nhân tạo 11 Mạng tích chập 13 Một số lớp đặc biệt sử dụng 16 3.1 Lớp tích chập tăng kích thước đầu vào 16 3.2 Lớp Self Attention 17 Độ đo Kullback–Leibler divergence Earth mover’s distance 18 Mơ hình Generative Adversarial Network - GANs [2] 19 Mơ hình Wasserstein GANs lớp Spectral Normalization 22 Cây định 23 Mơ hình rừng ngẫu nhiên 24 CHƯƠNG II BÀI TỐN VÀ MƠ HÌNH 26 Bài toán giải 26 Định nghĩa sinh ảnh với GANs với nhiều Discriminators 26 Các nghiên cứu liên quan 27 3.1 Generative Multi-Adversarial Networks [4] 27 3.2 Stabilizing GANs Training with Multiple Random Projections [5] 28 3.3 Multi-objective training of Generative Adversarial Networks with multiple discriminators [6] 28 Phương pháp đề xuất giải toán: RFGan 29 CHƯƠNG III THỬ NGHIỆM VÀ ĐÁNH GIÁ 32 Mục tiêu đánh giá 32 Dữ liệu sử dụng 32 Các số sử dụng 33 3.1 Chỉ số FID 33 3.2 Độ rộng dải dự đoán d Fd 33 4 Kiến trúc mạng G Fd 33 4.1 Kiến trúc Eriklindernoren 33 4.2 Kiến trúc Sagan [7] 34 Các phương pháp sử dụng để so sánh 35 Thông số thực nghiệm 35 Kết đánh giá 7.1 Đánh giá khác d Fd 7.2 Đánh giá ảnh hưởng số D mơ hình RFGan 7.3 Đánh giá tính ổn định 7.4 Đánh giá chất lượng ảnh sinh 36 36 38 39 40 CHƯƠNG IIII KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 42 Kết luận 42 Hướng phát triển 42 Danh mục viết tắt thuật ngữ • ANN: Mạng trí tuệ nhân tọa (Artificial Neural Networks) • CNN: Mạng tích chập (Convolutional Neural Networks) • G: Generator mơ hình GAN • D: Discriminator với mơ hình GANs sử dụng Discriminator • K: Số Discriminators mơ hình sử dụng nhiều Discriminators • ds : Lớp dùng chung Discriminator với mơ hình GANs sử dụng nhiều Discriminators • di , i ∈ {1, 2, , K}: Discriminator mơ hình GANs sử dụng nhiều Discriminators • Fd = {ds , {d1 , d2 , , dK }}: gồm lớp dùng chung ds {d1 , d2 , , dK } Tùy trường hợp dùng hay khơng dùng ds • n: số lượng mẫu liệu thật • Fd (.): hàm nhận đầu vào liệu x, trả Fd (x) xác suất liệu thật K 1X dk (ds (x)) Fd (x) = K k=1 (1) • pd at a : hàm phân phối xác suất liệu • pz : hàm phân phối xác suất nhiễu • θ g : tham số G • θ Fd = {θds , {θd1 , θd2 , , θdK }}: tham số Fd • S(k), k ∈ {1, 2, , K}: tập mẫu liệu thật mà dk sử dụng để học • Augmentation: Kĩ thuật làm tăng liệu • Bagging: kĩ thuật tạo liệu ngẫu nhiên có kích thước tập liệu liệu cho trước theo phương pháp lấy ngẫu nhiên có hồn lại Danh sách hình vẽ 10 11 12 13 14 15 16 17 18 19 20 21 22 23 Ảnh trước (trái) sau tơ màu (phải) sử dụng mơ hình DeOldify [8] Cấu trúc nơ-ron Cấu trúc mạng ANN Hàm sigmoid relu So sánh ANN CNN (Nguồn: [9]) Thơng tin trích xuất từ lọc mạng CNN (Nguồn: [9]) Tăng kích thước đầu vào sử dụng Sub-pixel Convolutional Layer (nguồn: [10]) Tăng kích thước đầu vào với Transpose Convolution Self Attention (Nguồn: [7]) Một số độ đo hai phân phối xác suất (Nguồn: [11]) Minh họa cho mạng GAN Minh họa định Minh họa rừng ngẫu nhiên Tổng quan phương án ứng dụng rừng ngẫu nhiên GAN Quá trình huấn luyện d Fd Một số hình ảnh chữ số viết tay tập liệu MNIST Kiến trúc G dựa theo [12] gồm lớp Linear LeakyRelu Kiến trúc Fd cho mơ hình sử dụng nhiều d Kết đánh giá khác d F D sử dụng kiến trúc Eriklindernoren (K = 10) Kết đánh giá khác d F D sử dụng kiến trúc Sagan (K = 5) Kết thực nghiệm với mơ hình RFGan với kiến trúc Sagan khơng dùng augmetation (K = 5) Kết dự đoán Fd với đầu vào ảnh thật ảnh giả mơ hình khác Một số hình ảnh chữ viết tay sinh với mơ hình đề xuất RFGan kiến trúc Eriklindernoren (trái) Sagan (phải) 11 12 13 14 15 16 17 17 18 19 24 25 29 30 32 34 34 37 38 39 40 41 Danh sách bảng Kết FID tốt toàn trình huấn luyện với số WFd (x) WFd (G(z) ) tương ứng 38 Kết FID tốt toàn trình huấn luyện mơ hình tính 5000 ảnh 41 Lời mở đầu Với phát triển lĩnh vực học sâu nói chung lĩnh vực sinh ảnh nói riêng, mơ hình tạo ảnh tuân theo phân phối ảnh thật cho trước với độ tương đồng độ phân giải cao, mắt người khó phân biệt ảnh ảnh sinh ảnh ảnh thật ban đầu Dựa điều đó, nhiều ứng dụng thực tiễn tạo phục vụ đời sống người ứng dụng cho phép tạo nên đồ vật cụ thể từ hình ảnh phác họa hay ứng dụng cho phép chuyển đổi ảnh từ đen trắng sang anh màu, làm nét ảnh khôi phục lại ảnh bị hỏng Nhờ mà cho phép tự động hóa nhiều cơng việc mà trước người phải làm cách thủ công tốn thời gian Không dừng lại ứng dụng thực tế, mơ hình sinh ảnh cho phép tạo lượng liệu lớn từ tập liệu ban đầu, điểu vô quan trọng với lĩnh vực mà lượng liệu thực tế đắt đỏ, ví dụ y tế Để đạt thành tựu nhờ phát triển khơng ngừng nhiều mơ hình sinh ảnh khác nhau, bật lên số hai mơ hình VAE [13] GANs [2], đồ án tập trung vào mơ hình GANs GANs mơ hình gồm hai mạng Generator (G) Discriminator (D), G tạo ảnh giả giống thật D cố gắng phân biệt ảnh thật ảnh G sinh Quá trình huấn luyện GANs dựa lý thuyết "zero-sum game" [14], G D cố gắng tối ưu hàm mục tiêu hai khơng thể cải thiện nữa, nghiệm tối ưu toán Kể từ ý tưởng GANs đề xuất Goodfellow năm 2014, có nhiều nghiên cứu đưa tập trung vào việc xử lý số vấn đề tồn đọng như: ổn định, ảnh sinh không đa dạng hay ảnh sinh chưa giống thật độ phân giải chưa cao Từ đó, làm cho chất lượng ảnh sinh ngày cải thiện nghiên cứu SOTA cho toán sinh ảnh như: BigGAN [15], StyleGAN [16], StyleGAN2 [17] xuất phát từ mơ hình GANs ban đầu Một đặc điểm chung mơ hình sử dụng kiến trúc có nhiều tham số, huấn luyện tập liệu lớn ImageNet [18] ứng dụng kĩ thuật làm tăng hiệu sinh ảnh ổn định trình huấn luyện Mặc dù GANs mơ hình sinh, nhiên bên cạnh ứng dụng thường thấy, GANs cịn sử dụng công cụ để nghiên cứu lý thuyết Có thể tổng hợp lợi ích GANs gồm: • GANs sinh ảnh từ nhiễu cho trước tuân theo phân phối đó, việc huấn luyện GANs cách tốt để đánh giả khả biểu diễn áp dụng phân phối xác xuất nhiều chiều Phân phối xác suất nhiều chiều khái niệm quan trọng toán học ứng dụng kĩ thuật • Các mơ hình học sâu thường yêu cầu nhiều liệu có nhãn để huấn luyện, nhiên thực tế việc thu thập liệu có nhãn tốn liệu không nhãn lại lớn Do dùng GANs cách để hiểu liệu khơng có nhãn tương tự phương pháp học bán giám sát (semi-supervised learning [19]) Sau đó, tri thức sau học từ liệu khơng có nhãn thơng qua GANs sử dụng để cải thiện nhiều toán khác • Trong thực tế, tốn có nhiều lời giải khác nhau, ví dụ tốn tơ màu cho ảnh đen trắng, có nhiều cách tơ khác mục đích ảnh sau tơ đạt độ hợp lí thật Do sử dụng phương pháp truyền thống sai số toàn phương trung bình (MSE[20]) để tính lỗi ảnh mơ hình tạo ảnh màu cho trước ảnh tạo trường hợp tốt ưu hàm lỗi giới hạn khơng gian tìm kiếm dẫn đến ảnh sinh thường không đẹp chân thật Việc huấn luyện GANs theo phương pháp thi đấu G D khiến cho mơ hình phù hợp cho tốn có nhiều lời giải Hình 1: Ảnh trước (trái) sau tơ màu (phải) sử dụng mơ hình DeOldify [8] • Ngồi việc ứng dụng để tô màu cho ảnh đen trắng, GANs cịn ứng dụng nhiều cơng việc tương tự như: tăng độ phân giải ảnh, tạo ảnh thật chi tiết từ phác thảo ban đầu, tạo phong cảnh cho ảnh ban đầu hay khôi phục lại ảnh bị hịng khơng cịn ngun vẹn Mặc dù ứng dụng nhiều thực tế nhiên huấn luyện mơ hình GANs thường khơng ổn định không gian ảnh sinh có nhiều chiều phân phối ảnh thật phần nhỏ đó, D dễ dàng phân biệt đâu ảnh thật giả, dẫn đến thông tin đạo hàm gửi G huấn luyện khơng có ý nghĩa G khơng học Để giải vấn đề có nhiều phương án đưa thay khoảng cách KL GANs gốc thành khoảng cách Earth move [21] [22] hay sử dụng nhiều d d nhìn liệu thơng qua phép chiếu cố định từ làm giảm độ mạnh d dẫn đến trình huấn luyện ổn định [5] Phương pháp sử dụng nhiều d với phép chiếu [5] làm ổn định trình huấn luyện cải thiện chất lượng ảnh sinh Một phương pháp khác sử dụng ý tưởng có nhiều d [6], [6] đề xuất sử dụng hypervolume-maximization [23] giúp cho giảm thời gian tính tốn đồng thời thu kết ảnh sinh tương đương phương pháp trước Tuy nhiên nói trên, phương pháp sử dụng nhiều d trước cho phép d huấn luyện liệu với cách huấn luyện, từ làm cho có nhiều d tri thức mà chúng học tương đối giống kết tổng hợp để tính đạo hàm huấn luyện G khơng mang tính tổng qt cao K 1X Fd (x) = dk (ds (x)) K k=1 (20) L Fd = −E x∼p x log(Fd (x)) − Ez∼pz log(1 − Fd (G(z))) (21) Quá trình huấn luyện rừng Fd tương tự phương pháp trước huấn luyện d rừng Với d tính hàm lỗi tương ứng L Fd tập liệu ảnh giả G sinh ảnh thật mà d phép sử dụng để học, sau cập nhật số d lớp dùng chung Quá trình diễn tất d Fd học update update gradient d1 x real ds d1 mean fake G(z) d1 Hình 15: Quá trình huấn luyện d Fd Quá trình huấn luyện d Fd mô tả hình 15 Từng huấn luyện với lớp dùng chung, nhìn phần tập liệu thật ban đầu tập ảnh thật đưa vào để huấn luyện khác Hàm lỗi cho hàm lỗi chung cho Fd , nhiên với có liệu thật sử dụng khác nhau, học cập nhật trọng số tương ứng lớp dùng chung Mặc dù huấn luyện cách với nhau, nhiên từ công thức 21 thấy thơng tin đạo hàm cập nhập phụ thuộc vào dự đoán chung tất rừng, lượng tri thức để học nhiều dẫn đến thông tin mà nhận huấn luyện nhiều so với huấn luyện cách độc lập hàm lỗi cho d Hơn việc nhìn phần liệu ban đầu giúp cho lượng tri thức khác làm cho kết tổng hợp toàn rừng mang tính tổng qt ổn định 30 Q trình huấn luyện mạng GANs ứng dụng rừng ngẫu nhiên minh họa phần mã giả đây: Thuật toán 3: Thuật tốn học cho mơ hình GANs ứng dụng rừng ngẫu nhiên for iter=1 to #iterations Lấy mẫu m nhiễu {z1 , z2 , , zm } theo phân phối xác suất pz for k=1 to K Lấy mẫu m1 liệu {x , x , , x m } theo phân phối xác suất pdat a thõa mãn x i ∈ S(k), ∀i ∈ {1, 2, , m1 } Cập nhật {θds , θdk } theo hướng ngược chiều đạo hàm với hàm lỗi: L Fd m1 X K 1X dk (ds (x)) =− log(Fd (x i )) − log(1 − Fd (G(zi ))), với Fd (x) = K k=1 i=1 i=1 m X end for Lấy mẫu m nhiễu {z1 , z2 , , zm } theo phân phối xác suất pz Cập nhật θ g để cực tiểu hóa hàm mục tiêu cách ngược chiều đạo hàm, với hàm mục tiêu cho bởi: ‚ Œ m K X 1X LG = log − dk (ds (G(z))) K i=1 k=1 end for 31 CHƯƠNG III THỬ NGHIỆM VÀ ĐÁNH GIÁ Mục tiêu đánh giá Như đề cập phần trước, mơ hình đưa nhằm làm ổn định trình huấn luyện, tạo rừng d lượng tri thức d học khác nhau, từ mong muốn phương án đề xuất cải thiên chất lượng ảnh sinh so với phương pháp khác lĩnh vực nghiên cứu Vì việc đánh giá gồm mục tiêu sau: • Đánh giá khác d Fd • Đánh giá ảnh hưởng số d Fd với mơ hình RFGan • Đánh giá tính ổn định • Đánh giá chất lượng sinh ảnh Dữ liệu sử dụng Thực nghiệm sử dụng liệu MNIST gồm 70000 chữ số viết tay từ đến 9, 60000 ảnh sử dụng huấn luyện 5000 ảnh sử dụng để đánh giá số Trước đưa vào D, ảnh resize kích thước (28, 28), sau chuyển dạng tensor kích thước (1, 28, 28), scale (0, 1), cuối chuẩn hóa mean = 0.5 st d = 0.5 Với liệu đầu vào G, nhiễu chọn tuân theo phân phối với số chiều 100 Khi đánh giá, khởi tạo 5000 nhiễu ngẫu nhiên khác tất số Hình 16: Một số hình ảnh chữ số viết tay tập liệu MNIST 32 Các số sử dụng 3.1 Chỉ số FID FID số dùng để so sánh độ tượng đồng hai tập liệu ảnh đề xuất [41] chứng minh thực nghiệm phù hợp với cách mắt người nhìn ảnh, có nghĩa số FID tốt ảnh sinh đa dạng, giống thật ngược lại FID khoảng cách Frechet distance [42] hai tập biểu diễn hai tập ảnh ban đầu sau đưa qua mạng Inception [43] huấn luyện Việc đưa hai tập ảnh ban đầu qua mạng Inception nhằm mục đích lấy thơng tin mức cao ngữ nghĩa sau tính khoảng cách Frechet hai tập thay tính trực tiếp hai tập ban đầu Gọi S1 = {x 11 , x 21 , , x n1 } S2 = {x 12 , x 22 , , x n2 } hai tập ảnh ban đầu, I mạng Inception huấn luyện, I(x) biểu diễn ảnh đầu vào x đưa qua mạng Inception (thường 2048 chiều), số FID hai tập S1 S2 khoảng cách Frechet hai tập I(S1 ) = {I(x 11 ), I(x 21 ), , I(x n1 )} I(S2 ) = {I(x 12 ), I(x 22 ), , I(x n2 )} Gọi (m1 , C1 ), (m2 , C2 ) trung bình ma trận hiệp phương sai hai tập I(S1 ) I(S2 ) Khi khoảng cách Frechet hai tập I(S1 ) I(S2 ) định nghĩa: p (22) d = ||m1 − m2 ||22 + Tr(C1 + C2 − C1C2) Hiện tại, FID số sử dụng rộng rãi để đánh giá chất lượng ảnh sinh mô hình sinh 3.2 Độ rộng dải dự đốn d Fd Chỉ số nhằm đánh giá lượng tri thức D học sau trình huấn luyện khác thông qua việc đo khác biệt dự đoán d với ảnh đầu vào tập đánh giá Cụ thể gọi x đầu vào Fd đại diện cho ảnh thật ảnh giả G sinh ra, {x , x , , x m } tập đầu vào F D , m số mẫu, thường chọn 5000 Khi độ rộng dải dự đoán WFd tập {x i }m i=1 định nghĩa sau: Si = {d1 (ds (x i )), d2 (ds (x i )), , dK (ds (x i ))} m 1X WFd (x) = [max(Si ) − min(Si )] m i=1 (23) (24) Kiến trúc mạng G Fd 4.1 Kiến trúc Eriklindernoren Kiến trúc G Fd thiết kế dựa theo [12], tất lớp Linear Fd sử dụng Spectral Normalization [33] Các d Fd sử dụng lớp Mask khác nhằm 33 đảm bảo có khác biệt kiến trúc cách để làm cho tri thức học d khác Để đảm bảo cơng q trình so sánh đánh giá, mơ hình sử dụng nhiều d dùng chung kiến trúc phía G Fd , với mơ hình sử dụng D mạng D gồm (ds , d1 ) lớp Linear d1 không sử dụng thêm Mask Tất lớp LeakyReLU đề có hệ số góc 0.2 Tanh Linear LeakyReLU n=784 BatchNorm1D Linear LeakyReLU n=1024 BatchNorm1D Linear LeakyReLU n=512 BatchNorm1D Linear n=256 LeakyReLU Linear Input Noise n=128 Fake Image Hình 17: Kiến trúc G dựa theo [12] gồm lớp Linear LeakyRelu d1 LeakyReLU Linear n=256 LeakyReLU Linear Fake Image Flatten n=512 Sigmoid ds Dropout MaskedLinear n=1 Mean Real/Fake? dK Sigmoid Dropout MaskedLinear n=1 Hình 18: Kiến trúc Fd cho mơ hình sử dụng nhiều d Kiến trúc Fd mơ tả hình 18 gồm lớp dùng chung ds {d1 , d2 , , dK }, di sử dụng lớp mask khác nhằm đảm bảo khác kiến trúc Với mơ hình sử dụng D kiến trúc d gồm (ds , d1 ) không sử dụng Mask d1 4.2 Kiến trúc Sagan [7] Sử dụng kiến trúc G tương tự [7] sử dụng kiến trúc Fd gồm {d1 , d2 , , dK } di có kiến trúc tương tự [7], lúc Fd khơng có lớp dùng chung 34 Các phương pháp sử dụng để so sánh Mơ hình GANs gốc [2] n LG 1X = [log(1 − D(G(zi )))] n i=1 LD 1X = − [log(D(x i )) + log(1 − D(G(zi )))] n i=1 (25) n (26) Với mơ hình GANs gốc, ngồi việc sử dụng kiến trúc nói phần trước cho mơ hình có D, để đảm bảo tham số mơ hình thực nghiệm, mơ hình GANs gốc huấn luyện thêm mơ hình sử dụng kiến trúc (ds , d10 ) d10 khơng sử dụng Mask có số lượng tham số với số lượng tham số {d1 , d2 , , dK } hình 18 phía Mơ hình HGan [6] n lk 1X log(dk (G(z))) = − n i=1 LG = − L Fd = K X k=1 – K X k=1 (27) log(η − l k ) (28) n 1X − [log(dk (ds (x i ))) + log(1 − dk (ds (G(zi ))))] n i=1 ™ (29) Thông số thực nghiệm Thông số phần cứng: Các thực nghiệm thực Google Colab [44] với thơng số sau: • Hệ điều hành: Ubuntu 18.04.5 LTS • CPU: Intel(R) Xeon(R) CPU @ 2.20GHz • RAM: 12GB • Disk: 68.40 GB • GPU: Tesla T4/P100 35 Thơng số thực nghiệm chung: • Optimizer: Adam với β1 = 0.5, β2 = 0.999 • Nhiễu z: gồm 100 chiều tuân theo phân phối chuẩn N (0, I) • Learning rate: 0.0002 với phương pháp • Batch size: 64 • Số lượng epochs: 450 với kiến trúc Eriklindernoren 120 với kiến trúc Sagan • Các số đo epochs • Kĩ thuật augmentation: thực nghiệm sử dụng phương pháp dịch chuyển ngẫu nhiên (translation), việc có sử dụng augmentation đặc tả rõ thực nghiệm • Số lượng mẫu sử dụng để đánh giá số: 5000 Thông số cho thực nghiệm cụ thể đặc tả thực nghiệm phần sau Kết đánh giá 7.1 Đánh giá khác d Fd Thực thực nghiệm với số lượng d K = 10 với kiến trúc Eriklindernoren K = với kiến trúc Sagan Các mơ hình thực thực nghiệm gồm có: • Mơ hình HGan [6] • Mơ hình RFGan khơng sử dụng bagging • Mơ hình RFGan có sử dụng bagging Có bốn kịch thực nghiệm khác gồm: • Sử dụng kiến trúc Eriklindernoren khơng sử dụng augmentation • Sử dụng kiến trúc Eriklindernoren có sử dụng augmentation • Sử dung kiến trúc Sagan không sử dụng augmentation 36 No augmentation 0.08 0.06 0.06 WFd(x) WFd(G(z)) WFd(x) 0.08 Augmentation Augmentation 0.08 0.08 0.06 0.06 WFd(G(z)) No augmentation 0.04 0.04 0.04 0.02 0.02 200 Epoch 400 200 Epoch 400 RFGan + no bagging 0.04 200 Epoch RFGan + bagging 400 200 Epoch 400 HGan Hình 19: Kết đánh giá khác d F D sử dụng kiến trúc Eriklindernoren (K = 10) • Sử dụng kiến trúc Sagan sử dụng augmentation Với kịch bản, số độ khác d tính tốn tập liệu thật tập liệu giả G sinh Từ kết thực nghiệm hình 19 thấy mơ hình đề xuất RFGan thu d với lượng tri thức khác so với mơ hình HGan, điều thể rõ bốn hình vẽ Xem xét phương pháp đề xuất RFGan, không sử dụng augmentation, độ sai khác đoán sử dụng kĩ thuật bagging lớn so với khơng sử dụng, điều hồn tồn hợp lý sử dụng bagging, d nhìn phần liệu ban đầu, lượng tri thức học khác dẫn đến độ sai khác dự đoán tập đánh giá lớn Hơn nữa, gần kết thúc trình huấn luyện, khác biệt sử dụng bagging không dùng giảm dần, nguyên nhân q trình huấn luyện, thơng tin học d đến từ d khác, hệ huấn luyện lâu d đạt lượng tri thức tương tự nhau, dẫn đến kết dự đoán d dần trở lên giống Khi sử dụng thêm kĩ thuật augmentation khơng có khác biệt nhiều sử dụng khơng sử dụng bagging, điều giải thích augmentation giúp tăng thêm liệu, việc sử dụng augmentation trường hợp làm liệu d tăng lên đồng thời làm cho tập liệu gần giống nhau, từ mà khiến cho d tập liệu gốc ban đầu khác nhiên sau augmentation tập liệu dần trở lên giống Kết thực nghiệm từ hình 20 cho thấy kết tương đồng sử dụng kiến trúc Sagan so với sử dụng kiến trúc Eriklindernoren Hơn nữa, với kiến trúc Sagan sau sử dụng kĩ thuật augmentation lượng khác d sử dụng bagging lớn nhiều so với không sử dụng kĩ thuật bagging Kết cho thấy d Fd sử dụng kiến trúc Sagan có độ khác lớn nhiều so với dùng kiến trúc Eriklindernoren, điều giải thích có lớp dùng chung ds kiến trúc Eriklindernoren dẫn đến có thơng tin chia sẻ dùng chung, từ làm giảm độ khác d 37 0.9 0.7 0.7 0.5 0.5 40 Epoch 80 120 0.9 0.9 0.7 0.7 0.5 40 Epoch 80 120 RFGan + no bagging 0.5 0.3 0.3 0.3 0.3 Augmentation WFd(G(z)) 0.9 Augmentation WFd(x) No augmentation WFd(G(z)) WFd(x) No augmentation 40 Epoch 80 120 RFGan + bagging 40 Epoch 80 120 HGan Hình 20: Kết đánh giá khác d F D sử dụng kiến trúc Sagan (K = 5) 7.2 Đánh giá ảnh hưởng số D mô hình RFGan Các thực nghiệm phần khơng sử dụng augmentation thực với mơ hình RFGan gồm hai trường hợp: khơng sử dụng bagging có sử dụng bagging Với kiến trúc Eriklindernoren, số d thay đổi {3, 5, 10}, với kiến trúc Sagan số d thay đổi {3, 5, 7} Có bốn kích thực nghiệm khác gồm: • Sử dụng kiến trúc Eriklindernoren khơng sử dụng bagging • Sử dụng kiến trúc Eriklindernoren sử dụng bagging • Sử dụng kiến trúc Sagan không sử dụng bagging • Sử dụng kiến trúc Sagan sử dụng bagging K=3 K=5 K=7 K=10 Eriklindernoren Không dùng bagging 13.84 (0.02 - 0.02) 13.05 (0.03 - 0.03) Dùng bagging 14.44 (0.02 - 0.02) 14.10 (0.03 - 0.03) 14.51 (0.05 - 0.05) 14.99 (0.06 - 0.06) Sagan Không dùng bagging 6.87 (0.55 - 0.54) 6.34 (0.73 - 0.71) 6.51 (0.99 - 0.99) Dùng bagging 7.19 (0.56 - 0.57) 6.83 (0.80 - 0.77) 6.80 (0.89 - 0.87) Bảng 1: Kết FID tốt tồn q trình huấn luyện với số WFd (x) WFd (G(z) ) tương ứng Kết từ bảng cho thấy tăng số lượng d độ sai khác d tăng theo, kèm theo chất lượng ảnh sinh tăng theo tăng nhiều số lượng d chất lượng ảnh sinh lại giảm dần cải thiện lên không đáng kể Bên cạnh việc sử dụng bagging làm tăng độ sai khác d nói phần trước kết bảng thể rõ điều này, trường hợp K = với kiến trúc Sagan, dùng bagging không làm tăng độ sai khác khơng dùng bagging có vài d đạt độ xác 38 13 0.85 0.85 11 0.75 0.65 40 Epoch 80 0.75 0.65 120 40 Epoch 80 120 RFGan + no bagging 1.35 LFd 0.95 FID 0.95 WFd(G(z)) WFd(x) cao phân biệt ảnh thật giả làm cho độ rộng dải dự đoán xấp xỉ Như câu hỏi đặt sai khác d Fd tăng đến độ định chất lượng sinh ảnh lại giảm đi? Để giải thích vấn đề xem xét kết thực nghiệm với kiến trúc Sagan, K = với mơ hình RFGan khơng có sử dụng bagging 1.25 1.15 40 80 Epoch 120 40 Epoch 80 120 RFGan + bagging Hình 21: Kết thực nghiệm với mơ hình RFGan với kiến trúc Sagan không dùng augmetation (K = 5) Xét kết thực nghiệm hình 21, thấy sử dụng kĩ thuật bagging khác d Fd lớn hơn, d nhìn phần liệu dẫn đến sức mạnh d bị giảm đi, điều đóng vai trò đại lượng phạt làm giảm sức mạnh Fd , dẫn đến việc lỗi sử dụng bagging cao so với không sử dụng (hình thứ hình 21) Điều dẫn đến hệ làm cân G Fd trình huấn luyện kết hội tụ đến nghiệm khơng phải tối ưu 7.3 Đánh giá tính ổn định Thực nghiệm thực với hai kiến trúc Eriklindernoren Sagan, không sử dụng augmentation Với kiến Eriklindernoren chạy mơ hình sau: • Mơ hình GANs [2] gồm hai phiên nói phần • Mơ hình RFGan khơng sử dụng bagging với K = 10 • Mơ hình RFGan sử dụng bagging với K = 10 • Mơ hình HGan với K = 10 [6] Với kiến trúc Sagan chạy mô hình sau: • Mơ hình RFGan khơng sử dụng bagging với K = • Mơ hình RFGan sử dụng bagging với K = 39 • Mơ hình HGan [6] với K = Có nhiều số khác để đánh giá tính ổn định huấn luyện GANs, số theo dõi giá trị dự đoán đầu D với đầu vào ảnh thật ảnh giả, theo lý thuyết chứng minh mơ hình GANs gốc, hội tụ, giá trị dự đốn D với ảnh giả thật tiến 0.5 Eriklindernoren Eriklindernoren 0.5 0.3 0.1 0.5 200 Epoch 400 RFGan + no bagging Fd(G(z)) 0.7 Sagan 0.50 Fd(x) Fd(G(z)) Fd(x) 0.9 Sagan 0.65 0.55 0.45 200 Epoch 400 0.32 RFGan + bagging 0.41 40 Epoch Vanilla Gan 80 120 Vanilla Gan + Big D 40 Epoch 80 120 HGan Hình 22: Kết dự đốn Fd với đầu vào ảnh thật ảnh giả mô hình khác Kết thực nghiệm cho thấy mơ hình đề xuất RFGan ổn định so với hai mơ hình GANs gốc, so với HGan RFGan có độ ổn định tương đương Bên cạnh kiến trúc Eriklindernoren đạt độ ổn định cao so với kiến trúc Sagan 7.4 Đánh giá chất lượng ảnh sinh Các thực nghiệm phần thực hai kiến trúc Eriklindernoren Sagan Với kiến trúc Eriklindernoren, có hai thực nghiệm trước sau sử dụng augmentation, thực nghiệm chạy mô hình khác gồm: • Mơ hình GANs gốc [2]: Chạy phiên sử dụng kiến trúc nhỏ kiến trúc lớn nói phần • RFGan sử dụng bagging: chạy với K = 10 • RFGan khơng sử dụng bagging: chạy với K = 10 • HGan [6]: chạy với K = 10 Với kiến trúc Sagan, có hai thực nghiệm trước sau sử dụng augmentattion, nhiên thực nghiệm thưc mơ hình khác gồm: • RFGan sử dụng bagging: chạy với K = 40 • RFGan không sử dụng bagging: chạy với K = • HGan [6]: chạy với K = Kiến trúc sử dụng Vanilla GANs Vanilla GANs + Big D RFGan + No bagging RFGan + bagging HGan Eriklindernoren Không dùng Dùng augmentaion augmentation 20.35 11.59 16.94 12.86 14.51 10.62 14.99 11.41 14.75 10.53 Sagan Không dùng augmentaion Dùng augmentation 6.34 6.83 6.51 5.72 5.96 5.90 Bảng 2: Kết FID tốt tồn q trình huấn luyện mơ hình tính 5000 ảnh Kết thực nghiệm từ bảng cho thấy mơ hình đề xuất RFGan đạt kết tốt 3/4 thực nghiệm đạt kết tương đương mơ hình HGan thực nghiệm cịn lại Bên cạnh thấy việc sử dụng thêm kĩ thuật augmentation giúp cải thiện chất lượng ảnh sinh tât mơ hình kiến trúc khác nhau, điều hoàn toàn phù hợp với nghiên cứu trước tính hiệu augmentation huấn luyện mơ hình GAN Nếu xem xét mơ hình đề xuất RFGan, thấy việc sử dụng thêm kĩ thuật bagging giúp cho khác d Fd lớn (hình 21) nhiên lại không làm cải thiện chất lượng ảnh sinh ra, cụ thể bốn thực nghiệm mơ hình RFGan khơng sử dụng kĩ thuật bagging đạt kết tốt so với có sử dụng bagging, điều giải thích thực nghiệm trước FID=10.62 FID=5.72 Hình 23: Một số hình ảnh chữ viết tay sinh với mơ hình đề xuất RFGan kiến trúc Eriklindernoren (trái) Sagan (phải) 41 CHƯƠNG IIII KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Đồ án đề xuất phương án sử dụng ý tưởng rừng ngẫu nhiên toán sinh ảnh GANs Kết thực nghiệm liệu MNIST [3] cho thấy phương pháp đề xuất làm mơ hình ổn định q trình huấn luyện mà cải thiện chất lượng ảnh sinh so với phương pháp khác hướng nghiên cứu Bên cạnh đó, thực nghiệm thu vài kết ảnh hưởng rừng ngẫu nhiên GANs Cụ thể, thông qua so sánh khác dự đoán đầu d so với mơ hình sử dụng nhiều d khác, thực nghiệm cho thấy GANs ứng dụng rừng ngẫu nhiên cho độ khác dự đoán d lớn nhiều, điều hoàn toàn hợp lý với mơ hình rừng ngẫu nhiên chứng minh tư tưởng rừng ngẫu nhiên GANs Hướng phát triển Bên cạnh kết phân tích phía trên, cịn nhiều thực nghiệm đánh đồ án chưa thực giới hạn thời gian tài ngun tính tốn Ví dụ thực nghiệm tập ảnh nhỏ đen trắng MNIST [3], cần đánh giá tập ảnh có màu phổ biến khác CIFAR-10[45] CelebA [46] Số lượng sử dụng nhỏ, tương lai thử với trường hợp số lớn 50, 100 Tập liệu kiến trúc mà đồ án sử dụng tương đối nhỏ, cần đánh giá phương án đề xuất kiến trúc StyleGan [16] hay BigGAN [15] tập liệu lớn ImageNet [18] 42 Tài liệu [1] Leo Breiman Random forests Machine learning, 45(1):5–32, 2001 [2] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio Generative adversarial nets In Z Ghahramani, M Welling, C Cortes, N Lawrence, and K Q Weinberger, editors, Advances in Neural Information Processing Systems, volume 27 Curran Associates, Inc., 2014 [3] Yann LeCun and Corinna Cortes MNIST handwritten digit database 2010 [4] Ishan Durugkar, Ian Gemp, and Sridhar Mahadevan Generative multi-adversarial networks arXiv preprint arXiv:1611.01673, 2016 [5] Behnam Neyshabur, Srinadh Bhojanapalli, and Ayan Chakrabarti Stabilizing gan training with multiple random projections arXiv preprint arXiv:1705.07831, 2017 [6] Isabela Albuquerque, João Monteiro, Thang Doan, Breandan Considine, Tiago Falk, and Ioannis Mitliagkas Multi-objective training of generative adversarial networks with multiple discriminators In International Conference on Machine Learning, pages 202–211 PMLR, 2019 [7] Han Zhang, Ian Goodfellow, Dimitris Metaxas, and Augustus Odena Self-attention generative adversarial networks In International conference on machine learning, pages 7354–7363 PMLR, 2019 [8] https://github.com/jantic/deoldify [9] https://cs231n.github.io/convolutional-networks/ [10] Wenzhe Shi, Jose Caballero, Ferenc Huszár, Johannes Totz, Andrew P Aitken, Rob Bishop, Daniel Rueckert, and Zehan Wang Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1874–1883, 2016 [11] https://images.app.goo.gl/d7fycqpoxo6zcbqy5 [12] https://github.com/eriklindernoren/pytorch-gan [13] Diederik P Kingma and Max Welling Auto-encoding variational bayes arXiv preprint arXiv:1312.6114, 2013 [14] https://www.investopedia.com/terms/z/zero-sumgame.asp [15] Andrew Brock, Jeff Donahue, and Karen Simonyan Large scale gan training for high fidelity natural image synthesis arXiv preprint arXiv:1809.11096, 2018 [16] Tero Karras, Samuli Laine, and Timo Aila A style-based generator architecture for generative adversarial networks In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4401–4410, 2019 [17] Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila Analyzing and improving the image quality of stylegan In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8110–8119, 2020 [18] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei Imagenet: A large-scale hierarchical image database In 2009 IEEE conference on computer vision and pattern recognition, pages 248–255 Ieee, 2009 [19] Xiaojin Zhu and Andrew B Goldberg Introduction to semi-supervised learning Synthesis lectures on artificial intelligence and machine learning, 3(1):1–130, 2009 [20] https://www.statisticshowto.com/probability-and-statistics/statistics-definitions/mean-squared-error/ [21] https://www.cs.cmu.edu/ efros/courses/lbmv07/papers/rubner-jcviu-00.pdf [22] Martin Arjovsky, Soumith Chintala, and Léon Bottou Wasserstein generative adversarial networks In International conference on machine learning, pages 214–223 PMLR, 2017 [23] Mark Fleischer The measure of pareto optima applications to multi-objective metaheuristics In International Conference on Evolutionary Multi-Criterion Optimization, pages 519–533 Springer, 2003 [24] Bayya Yegnanarayana Artificial neural networks PHI Learning Pvt Ltd., 2009 [25] https://mathworld.wolfram.com/sigmoidfunction.html [26] https://deepai.org/machine-learning-glossary-and-terms/relu [27] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton Imagenet classification with deep convolutional neural networks Advances in neural information processing systems, 25:1097–1105, 2012 43 [28] Yann LeCun, Patrick Haffner, Léon Bottou, and Yoshua Bengio Object recognition with gradient-based learning In Shape, contour and grouping in computer vision, pages 319–345 Springer, 1999 [29] https://towardsdatascience.com/transposed-convolution-demystified-84ca81b4baba [30] http://hanj.cs.illinois.edu/cs412/bk3/kl-divergence.pdf [31] https://courses.cs.washington.edu/courses/cse599i/20au/resources/l12_duality.pdf [32] https://www.eee.hku.hk/ msang/numerical_lipschitz.pdf [33] Takeru Miyato, Toshiki Kataoka, Masanori Koyama, and Yuichi Yoshida Spectral normalization for generative adversarial networks arXiv preprint arXiv:1802.05957, 2018 [34] https://www.geeksforgeeks.org/decision-tree/ [35] http://athena.ecs.csus.edu/ mei/177/id3_algorithm.pdf [36] https://deepai.org/machine-learning-glossary-and-terms/softmax-layer [37] Jean-Antoine Désidéri Multiple-gradient descent algorithm (mgda) for multiobjective optimization Comptes Rendus Mathematique, 350(5-6):313–318, 2012 [38] Stefan Schă affler, Reinhart Schultz, and Klaus Weinzierl Stochastic method for the solution of unconstrained vector optimization problems Journal of Optimization Theory and Applications, 114(1):209–222, 2002 [39] Sebastian Peitz and Michael Dellnitz Gradient-based multiobjective optimization with uncertainties In NEO 2016, pages 159–182 Springer, 2018 [40] Victor Adrián Sosa Hernández, Oliver Schă utze, and Michael Emmerich Hypervolume maximization via set based newton’s method In EVOLVE-a bridge between probability, set oriented numerics, and evolutionary computation V, pages 15–28 Springer, 2014 [41] Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, and Sepp Hochreiter Gans trained by a two time-scale update rule converge to a local nash equilibrium arXiv preprint arXiv:1706.08500, 2017 [42] https://sarielhp.org/book/chapters/frechet.pdf [43] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, and Andrew Rabinovich Going deeper with convolutions In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1–9, 2015 [44] Ekaba Bisong Google colaboratory In Building Machine Learning and Deep Learning Models on Google Cloud Platform, pages 59–64 Springer, 2019 [45] Alex Krizhevsky, Geoffrey Hinton, et al Learning multiple layers of features from tiny images 2009 [46] Ziwei Liu, Ping Luo, Xiaogang Wang, and Xiaoou Tang Deep learning face attributes in the wild In Proceedings of International Conference on Computer Vision (ICCV), December 2015 44 ... Dự đoán ( ) Dự đoán K Tổng hợp kết Dự đoán rừng ngẫu nhiên Hình 13: Minh họa rừng ngẫu nhiên Quá trình học rừng ngẫu nhiên mơ tả qua thuật tốn đây: Thuật toán 2: Thuật toán học rừng ngẫu nhiên. .. nghiệm cho thấy GANs ứng dụng rừng ngẫu nhiên cho độ khác dự đoán d lớn nhiều, điều hoàn toàn hợp lý với lý thuyết mơ hình rừng ngẫu nhiên chứng minh tư tưởng rừng ngẫu nhiên GANs 10 CHƯƠNG I... đích đồ án đề xuất phương pháp ứng dụng rừng ngẫu nhiên tốn sinh ảnh với mơ hình GANs nhằm tăng tính ổn định huấn luyện, tạo rừng với lượng tri thức khác cải thiện chất lượng ảnh sinh Nội dung đồ