0894 nghiên cứu mô hình generative adversarial networks và ứng dụng trong chuyển đổi ảnh luận văn tốt nghiệp

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN NGUYỄN DUY NAM ANH NGHIÊN CỨU MƠ HÌNH GENERATIVE ADVERSARIAL NETWORKS VÀ ỨNG DỤNG TRONG CHUYỂN ĐỔI ẢNH Chuyên ngành : Khoa học máy tính Mã số : 8.48.01.01 Ngƣời hƣớng dẫn: TS LÊ XUÂN VINH LỜI CAM ĐOAN Tôi xin cam đoan: Luận văn thạc sỹ chuyên ngành Khoa học máy tính, tên đề tài “Nghiên cứu mơ hình Generative adversarial networks ứng dụng chuyển đổi ảnh” cơng trình nghiên cứu, tìm hiểu trình bày thực hướng dẫn khoa học TS Lê Xuân Vinh, Trường Đại học Quy Nhơn Kết tìm hiểu, nghiên cứu luận văn hồn tồn trung thực, khơng vi phạm điều luật sở hữu trí tuệ pháp luật Việt Nam Nếu sai, tơi hồn tồn chịu trách nhiệm trước pháp luật Tất tài liệu, báo, khóa luận, cơng trình nghiên cứu tác giả khác sử dụng lại luận văn dẫn tường minh tác giả có danh mục tài liệu tham khảo Bình Định, ngày 15 tháng năm 2021 Tác giả luận văn Nguyễn Duy Nam Anh LỜI CẢM Trước tiên, xin gửi lời biết ơn sâu sắc đến người thầy TS Lê Xuân Vinh dành nhiều thời gian tâm huyết hướng dẫn thực luận văn tốt nghiệp Sự tận tình hướng dẫn thầy nguồn động viên lớn suốt thời gian tìm hiểu, nghiên cứu hồn thành luận văn Xin cảm ơn quý thầy, cô giáo khoa Công nghệ thông tin, trường Đại học Quy Nhơn nơi tơi theo học hồn thành chương trình cao học nhiệt tình giảng dạy giúp đỡ Và cuối xin cảm ơn gia đình, bạn bè, đồng nghiệp động viên, ủng hộ suốt thời gian học tập, nghiên cứu hoàn thành luận văn Xin chân thành cảm ơn Bình Định, ngày 15 tháng năm 2021 Tác giả luận văn Nguyễn Duy Nam Anh MỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC HÌNH VẼ vi MỞ ĐẦU CHƢƠNG 1: TỔNG QUAN VỀ HỌC MÁY 1.1 Giới thiệu 1.1.1 Khái niệm 1.1.2 Ứng dụng học máy .6 1.1.3 Phân loại phương pháp học máy 1.1.4 Các bước toán học máy .8 1.2 Mạng Neural 10 1.2.1 Mơ hình nơron nhân tạo 10 1.2.2 Mơ hình mạng nơron nhân tạo 11 1.2.3 Quy tắc delta .12 1.2.4 Thuật toán lan truyền ngược 14 1.3 Deep Learning 20 1.3.1 Khái niệm 20 1.3.2 Cấu trúc mạng CNN 21 1.4 Kết luận chương 25 CHƢƠNG 2: MƠ HÌNH GENERATIVE ADVERSARIAL NETWORKS (GAN) 26 2.1 Giới thiệu chung .26 2.2 Kiến trúc GAN 27 MỤC 2.2.1 Generator 29 2.2.2 Discriminator 30 2.3 Hàm tối ưu 30 2.4 Quá trình huấn luyện 32 2.5 Mơ hình Pix2Pix ứng dụng toán chuyển đổi ảnh 33 2.5.1 Mơ hình Pix2pix 33 2.5.2 Kiến trúc pix2pix 34 2.5.3 Hàm tối ưu 39 2.6 Kết luận chương 41 CHƢƠNG 3: ỨNG DỤNG GAN TRONG BÀI TOÁN CHUYỂN ĐỔI ẢNH 42 3.1 Giới thiệu phân tích toán .42 3.2 Xây dựng chương trình thử nghiệm 43 3.3 Kiểm tra đánh giá kết .54 3.4 Kết luận chương .57 KẾT LUẬN 58 DANH MỤC TÀI LIỆU THAM KHẢO 59 DANH MỤC CÁC TỪ VIẾT TẮT Chữ viết tắt AI Nguyên mẫu Diễn giải Artificial Intelligence Trí tuệ nhân tạo ANN Artificial Neural Network Mạng nơ-ron nhân tạo CNN Convolutional Neural Network Mạng nơ-ron tích chập GAN Generative Adversarial Networks Mạng sinh đối nghịch Machine Learning Học máy ML DANH MỤC HÌNH VẼ Hình 1.1: Sơ đồ kiến trúc mạng CNN 21 Hình 1.2: Ví dụ lọc tích chập sử dụng ma trận điểm ảnh .22 Hình 1.3: Trường hợp thêm/khơng thêm viền trắng vào ảnh tích chập .23 Hình 1.4: Phương thức Avarage Pooling Max Pooling 24 Hình 2.1: Sơ đồ kiến trúc mạng GAN 27 Hình 2.2: Mô tả chức Generator Descriminator .28 Hình 2.3: Sơ đồ kiến trúc generator .29 Hình 2.4: Sơ đồ kiến trúc Discriminator .30 Hình 2.5: Ví dụ mơ hình pix2pix toán chuyển từ ảnh vẽ (draft) sang ảnh màu đầy đủ giày 33 Hình 2.6: Kiến trúc down sampling upsampling 34 Hình 2.7: Generator pix2pix 35 Hình 2.8: Mơ hình generator pix2pix 36 Hình 2.9: Mơ hình discriminator pix2pix 36 Hình 2.10: Giả sử hình ảnh chia thành k×k patches 38 Hình 2.11: Sơ đồ tổng quát kiến trúc lớp CNN áp dụng patch 70x70 PatchGAN 39 Hình 3.1: Hình ảnh mẫu từ tập liệu .43 Hình 3.2: Hình ảnh dịch từ ảnh phác thảo sang thật Pix2Pix sau 50 epochs 52 Hình 3.3: Hình ảnh dịch từ ảnh phác thảo sang thật Pix2Pix tập huấn luyện 54 Hình 3.4: Hình ảnh dịch từ ảnh phác thảo sang ảnh hoàn chỉnh 54 Hình 3.5: Biểu đồ tổn thất phân biệt (disc_loss) 55 Hình 3.6: Biểu đồ tổn thất tạo với hình ảnh nguồn ( gen_gan_loss) .56 Hình 3.7: Biểu đồ tổn thất tạo với hình ảnh tạo (gen_l1_loss) 56 Hình 3.8: Biểu đồ tổng tổn thất tạo phân biệt (gen_total_loss) 56 MỞ ĐẦU Lý chọn đề tài Ngày nay, trí tuệ nhân tạo (AI) ứng dụng ngày nhiều lĩnh vực khác nhau, từ việc phục vụ đời sống hàng ngày người giáo dục, tài ngân hàng, y tế… Ứng dụng thực tế trí tuệ nhân tạo giúp nâng cao hiệu suất lao động, cải thiện chất lượng sống người, đem đến hội tăng trưởng kinh tế, phát triển kinh doanh cho doanh nghiệp Và tảng nhiều ứng dụng dịch vụ tương lai Machine Learning (Học máy) tập AI Machine learning giúp máy tính có khả tự học hỏi dựa liệu đưa vào mà khơng phải lập trình cách rõ ràng Những năm gần đây, mà khả tính tốn máy tính ngày nâng cao lượng liệu khổng lồ thu thập cách dễ dàng, Machine Learning ngày phát triển lĩnh vực đời gọi Deep Learning (Học sâu) Deep Learning giúp máy tính thực thi việc tưởng chừng vào 10 năm trước: phân loại ngàn vật thể khác ảnh, tự tạo thích cho ảnh, bắt chước giọng nói chữ viết người, giao tiếp với người, hay chí sáng tác văn thơ hay âm nhạc, Để giải số toán đặt ra, xuất mơ hình Generative Adversarial Networks (GAN) cung cấp số phương pháp mơ hình giải nhiều toán lĩnh vực học sâu GAN giúp chuyển đổi tự động ảnh đen trắng thành ảnh màu hay từ vẽ thơ sơ thành vẽ hồn chỉnh, GAN sử dụng rộng rãi có nhiều ứng dụng thực tế minh họa cho việc máy tính thay người công việc mang tính sáng tạo tự động vẽ tranh, vẽ phim hoạt hình, sáng tác nhạc, Những ứng dụng hấp dẫn kỹ thuật thơi thúc tơi chọn “Nghiên cứu mơ hình Generative Adversarial Networks ứng dụng chuyển đổi ảnh” làm đề tài luận văn thạc sĩ khoa học máy tính Tổng quan tình hình nghiên cứu đề tài GAN giới thiệu lần Ian Goodfellow đồng nghiệp qua báo cáo khoa học vào năm 2014 [2] Vào thời kì đầu, người tập trung vào chức phát sinh liệu GAN Sau đó, tiềm GAN khai thác nhiều nhờ mà GAN sử dụng nhiều lĩnh vực khác Một số kết nghiên cứu tiêu biểu như: Tero Karras [3] nghiên cứu phương pháp đào tạo GAN cho phép cải tạo chất lượng hình ảnh, phương pháp cho phép tạo hình ảnh khn mặt nhân tạo mà khó phân biệt với người thật ngày cải thiện chất lượng hình ảnh Grigory Antipov [4] đề xuất phương pháp để dự báo lão hóa khn mặt người dựa điều kiện tuổi tác Dựa khuôn mặt tại, mơ hình GAN sinh biến thể theo độ tuổi người Để hỗ trợ người thiết kế nhân vật hoạt hình, Yanghua Jin cộng [5] xây dựng mô hình GAN giúp tạo hình ảnh khn mặt nhân vật hoạt hình cách tự động Phillip Isola [6] nghiên cứu mơ hình GAN có điều kiện giải pháp cho vấn đề dịch từ ảnh sang ảnh Cùng ảnh chụp quang cảnh, GAN tạo bối cảnh khác trời tối/trời sáng, ban ngày/ban đêm, thay đổi theo mùa,… Han Zhang [7] nghiên cứu việc tổng hợp hình ảnh chất lượng cao từ mơ tả văn Trong báo này, tác giả đề xuất mơ hình StackGAN để tạo hình ảnh thực tế 256x256 với điều kiện dựa mô tả văn Rui Huang [8] nghiên cứu việc tổng hợp góc nhìn từ khn mặt có nhiều ứng dụng lĩnh vực nhận dạng khuôn mặt Christian Ledig [9] trình bày SRGAN cho hình ảnh siêu phân giải Việc có khả tạo hình ảnh rõ nét gấp lần ban đầu Mục đích nhiệm vụ nghiên cứu - Nghiên cứu ý tưởng, cấu trúc mơ hình, thuật tốn sử dụng mơ hình GAN - Cài đặt chương trình thử nghiệm chuyển đổi ảnh phác thảo thành ảnh hoàn chỉnh Đối tƣợng phạm vi nghiên cứu 4.1 Đối tƣợng nghiên cứu: Nghiên cứu sở lý thuyết thuật toán GAN 4.2 Phạm vi nghiên cứu: Ứng dụng GAN việc chuyển đổi ảnh Phƣơng pháp nghiên cứu Phương pháp nghiên cứu đề tài lý thuyết kết hợp với thực nghiệm Quá trình tiến hành dựa việc tìm hiểu tài liệu, cài đặt thử nghiệm sau đánh giá kết thực nghiệm 6.Ý nghĩa khoa học thực tiễn - Nghiên cứu làm chủ việc xây dựng mơ hình GAN, áp dụng giải lớp toán, đặc biệt toán chuyển đổi ảnh - Thử nghiệm tập liệu mẫu giày, dép Kết sở cho nghiên cứu lý thuyết kết hợp thực nghiệm trình bày nghiên cứu khác tương lai Bố cục luận văn: Gồm chương: