1. Trang chủ
  2. » Giáo Dục - Đào Tạo

Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả

67 21 0
Tài liệu đã được kiểm tra trùng lặp

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 67
Dung lượng 3,73 MB

Nội dung

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ THÔNG TIN ỨNG DỤNG HỌC MÁY CHO BÀI TOÁN PHÁT SINH ẢNH THỜI TRANG TỪ CÂU MÔ TẢ GVHD: TS NGUYỄN THIÊN BẢO SVTH: NGUYỄN BÁ LÊ AN SVTH: NGUYỄN HỮU KHANG SKL 0 Tp Hồ Chí Minh, tháng 07/2020 Trường Đại Học Sư Phạm Kỹ Thuật Khoa Đào Tạo Chất Lượng Cao Ngành Công Nghệ Thông Tin ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG HỌC MÁY CHO BÀI TOÁN PHÁT SINH ẢNH THỜI TRANG TỪ CÂU MÔ TẢ Sinh Viên Thực Hiện MSSV Sinh Viên Thực Hiện MSSV Khoá Ngành GVHD : : : : : : : NGUYỄN BÁ LÊ AN 15110001 NGUYỄN HỮU KHANG 15110062 K15 CÔNG NGHỆ THƠNG TIN TS NGUYỄN THIÊN BẢO Tp Hồ Chí Minh, tháng 07 năm 2020 Đồ án tốt nghiệp Em xin cam đoan đồ án riêng nhóm em hướng dẫn thầy Nguyễn Thiên Bảo Các nội dung nghiên cứu, kết đề tài trung thực chưa công bố hình thức trước Những số liệu bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá tác giả thu thập từ nguồn khác có ghi rõ phần tài liệu tham khảo Ngồi ra, đồ án cịn sử dụng số nhận xét, đánh số liệu tác giả khác, quan tổ chức khác có trích dẫn thích nguồn gốc Nếu phát có gian lận em xin hoàn toàn chịu trách nhiệm nội dung đồ án mình​ Trường đại học Sư Phạm Kỹ Thuật không liên quan đến vi phạm tác quyền, quyền tơi gây q trình thực (nếu có) TP Hồ Chí Minh, ngày 01 tháng 07 năm 2020 Tác giả Nguyễn Bá Lê An Tác giả Nguyễn Hữu Khang CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ******* Tp Hồ Chí Minh, ngày 01 tháng 07 năm 2020 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Nguyễn Hữu Khang Họ tên sinh viên: Nguyễn Bá Lê An Ngành: Công nghệ thông tin Giảng viên hướng dẫn: TS Nguyễn Thiên Bảo Ngày nhận đề tài: 24/02/2020 MSSV: 15110062 MSSV: 15110001 Khóa: K15 Ngày nộp đề tài: 01/07/2020 Tên đề tài: - Tìm hiểu tốn phát sinh ảnh thời trang từ câu mô tả Các số liệu, tài liệu ban đầu: - Tập liệu Fashion-Gen Nội dung thực đề tài: - Tìm hiểu nghiên cứu tài liệu liên quan đến việc phát sinh ảnh từ mô hình GAN Tìm hiểu mơ hình phát sinh ảnh từ câu mô tả áp dụng AttnGAN (Attention Gan) Hiện thực hóa mơ hình sử dụng AttnGAN để giải tốn Kiểm thử so sánh với mơ hình khác (StackGAN-v2) việc giải toán phát sinh ảnh thời trang từ câu mô tả Sản phẩm: - Source code TRƯỞNG NGÀNH Th.S Nguyễn Đăng Quang GIẢNG VIÊN HƯỚNG DẪN T.S Nguyễn Thiên Bảo i CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN MSSV: 15110062 Họ tên sinh viên: Nguyễn Hữu Khang Họ tên sinh viên: Nguyễn Bá Lê An MSSV: 15110001 Ngành: Công nghệ thông tin Tên đề tài: Tìm hiểu tốn phát sinh ảnh thời trang từ câu mô tả Giảng viên hướng dẫn: T.S Nguyễn Thiên Bảo NHẬN XÉT Về nội dung đề tài khối lượng thực hiện: Nhóm hồn thành mục tiêu đề ban đầu đề tài, khoảng thời gian xác định ● Về lý thuyết: o Nắm kiến thức học máy, học sâu CNN, RNN, chế Attention o Tìm hiểu tốn phát sinh ảnh thời trang từ câu mơ tả o Sinh viên nắm kiến trúc mô hình phát sinh ảnh thời trang từ câu mơ tả ● Về thực hành: o Sinh viên chạy demo tốn phát sinh ảnh từ câu mơ tả dùng GAN với chế Attention Ưu điểm: ● Nắm lý thuyết học sâu, trình bày sở lý thuyết, toán học cách chi tiết mạng nơ-ron nhân tạo ● Tìm hiểu mơ hình phát sinh ảnh từ câu mơ tả ● Xây dựng mơ hình phát sinh ảnh thời trang từ câu mơ tả dựa cơng trình nghiên cứu tìm hiểu với hai phương pháp phổ biến StackGAN-v2 AttnGAN ● Tiến hành thực nghiệm liệu Fashion-Gen từ có so sánh Khuyết điểm: ● Mặc dù hình ảnh tạo với phân giải cao song vài chi tiết chưa tạo rõ ràng, cụ thể tương lai mơ hình cải thiện vấn đề ● Chưa thể tạo hình ảnh cụ thể, hình phức tạp ii Đề nghị cho bảo vệ hay không? …………………………………………………………………………………………………… Đánh giá loại: …………………………………………………………………………………………………… Điểm: (Bằng chữ: ) Tp Hồ Chí Minh, ngày 01 tháng 07 năm 2020 Giảng viên hướng dẫn (Ký & ghi rõ họ tên) T ​ S Nguyễn Thiên Bảo iii CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN MSSV: 15110062 Họ tên Sinh viên: Nguyễn Hữu Khang MSSV: 15110001 Họ tên Sinh viên: Nguyễn Bá Lê An Ngành: Công nghệ thơng tin Tên đề tài: Tìm hiểu tốn phát sinh ảnh thời trang từ câu mô tả Họ tên Giảng viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lượng thực : …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… Ưu điểm : …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… Khuyết điểm : …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… Đề nghị cho bảo vệ hay không ? …………………………………………………………………………………………………… Đánh giá loại : …………………………………………………………………………………………………… iv Điểm: (Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng 07 năm 2020 Giáo viên phản biện (Ký & ghi rõ họ tên) v LỜI CẢM ƠN Nhóm chúng em xin chân thành c​ảm ơn thầy Nguyễn Thiên Bảo tận tình hướng dẫn hỗ trợ nhóm suốt q trình nghiên cứu đồ án Ngồi ra, nhóm em xin cảm ơn Võ Hồng Anh, anh sinh viên khóa hỗ trợ chỉnh sửa, khắc phục lỗi sai để nhóm em hoàn thành đồ án cách tốt Nhóm chúng em xin gửi lời cảm ơn đến tác giả Han Zhang tạo cơng trình mang tính thực tiễn vơ có ích cho nghiên cứu trí tuệ nhân tạo xử lý ảnh số Đây lần đầu chúng em nghiên cứu đề tài nên khơng tránh khỏi cịn nhiều thiếu sót nội dung, kính mong q thầy thơng cảm bỏ qua tận tình góp ý Chân thành cảm ơn! vi TÓM TẮT Ngày nay, với phát triển linh kiện phần cứng máy tính ứng dụng trí tuệ nhân tạo nói chung thị giác máy tính nói riêng phát triển mạnh mẽ Trong đó, phát sinh ảnh số ứng dụng phát triển có tầm ảnh hưởng Tuy nhiên, ứng dụng chưa áp dụng lĩnh vực địi hỏi sáng tạo tính thẩm mỹ cao thiết kế thời trang Vì vậy, nghiên cứu tập trung vào việc ứng dụng trí tuệ nhân tạo để phát sinh ảnh thời trang từ câu mô tả vii ... cho thấy phức tạp toán   1.2 Phát biểu tốn   1.2.1 Mơ tả tốn Từ câu mô tả ảnh thời trang cho trước, mô hình thực xử lý câu mơ tả dựa vào giải thuật Học máy từ phát sinh ảnh thời trang có đặc điểm... Đại Học Sư Phạm Kỹ Thuật Khoa Đào Tạo Chất Lượng Cao Ngành Công Nghệ Thông Tin ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG HỌC MÁY CHO BÀI TOÁN PHÁT SINH ẢNH THỜI TRANG TỪ CÂU MÔ TẢ Sinh Viên Thực Hiện MSSV Sinh. .. với câu mơ tả đầu vào Hình 1.1: Mơ tả tốn phát sinh ảnh trang phục từ câu mơ tả   1.2.2 Phát biểu hình thức yˆ​ ← ​f ​(​t​) (1.2.1) Trong ​yˆ​ ảnh phát sinh tạo từ hàm ​f ​với ​t ​là câu mơ tả ảnh

Ngày đăng: 27/11/2021, 10:31

Nguồn tham khảo

Tài liệu tham khảo Loại Chi tiết
[1] Shane Barratt and Rishi Sharma. A note on the inception score.ArXiv ​ , abs/1801.01973, 2018 Sách, tạp chí
Tiêu đề: ArXiv
[2] Emily L. Denton, Soumith Chintala, Arthur Szlam, and Robert Fergus. Deep generative image models using a laplacian pyramid of adversarial networks. ​CoRR ​ , abs/1506.05751, 2015 Sách, tạp chí
Tiêu đề: CoRR
[3] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Ben- gio.Generative adversarial nets. In Z. Ghahramani, M. Welling,C. Cortes, N. D. Lawrence, and K. Q. Weinberger, editors, ​Ad- vances in Neural Information Processing Systems 27 ​ , pages 2672– 2680.Curran Associates, Inc., 2014 Sách, tạp chí
Tiêu đề: Ad- vancesin Neural Information Processing Systems 27
[4] Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, Gu¨nter Klambauer, and Sepp Hochreiter. Gans trained by a two time-scale update rule converge to a nash equilibrium. ​CoRR ​ , abs/1706.08500, 2017 Sách, tạp chí
Tiêu đề: CoRR
[5]N. Rostam Zadeh, S. Hosseini, T. Bouquet, W. Stokowiec, Y. Zhang, C. Jauvin, and C. Pal. Fashion-Gen: The Generative Fashion Dataset and Challenge. ​ArXiv e-prints ​ , June 2018 Sách, tạp chí
Tiêu đề: ArXiv e-prints
[6] Tim Salimans, Ian J. Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen. Improved techniques for training gans.CoRR ​ , abs/1606.03498, 2016 Sách, tạp chí
Tiêu đề: CoRR

HÌNH ẢNH LIÊN QUAN

Hình 3.1: Mô hình CNN - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.1 Mô hình CNN (Trang 23)
Hình 3.2: Tầng maxpooling - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.2 Tầng maxpooling (Trang 25)
Hình 3.3: Mô hình RNN - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.3 Mô hình RNN (Trang 26)
Hình 3.4: Mô hình one to many - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.4 Mô hình one to many (Trang 28)
Hình 3.5: Mô hình many to one - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.5 Mô hình many to one (Trang 28)
Hình 3.7: Mô hình many to many khác - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.7 Mô hình many to many khác (Trang 29)
Hình 3.6: Mô hình many to many - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.6 Mô hình many to many (Trang 29)
Mặc dù mạng RNN được giới khoa học kỳ vọng là mô hình mạng có thể giải quyết các vấn đề về phụ thuộc xa (long-term dependencies) - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
c dù mạng RNN được giới khoa học kỳ vọng là mô hình mạng có thể giải quyết các vấn đề về phụ thuộc xa (long-term dependencies) (Trang 30)
Hình 3.9: Sigmod cho vanishing/exploding gradients - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.9 Sigmod cho vanishing/exploding gradients (Trang 31)
Hình 3.10: Mô hình mạng RNN - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.10 Mô hình mạng RNN (Trang 32)
Hình 3.11: Kiến trúc mạng LSTM - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.11 Kiến trúc mạng LSTM (Trang 33)
Hình 3.13: Đường truyền trạng thái - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.13 Đường truyền trạng thái (Trang 34)
Hình 3.14: Cổng LSTM - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.14 Cổng LSTM (Trang 35)
Hình 3.15: Thông tin đầu vào của LSTM - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.15 Thông tin đầu vào của LSTM (Trang 36)
Hình 3.16: Xử lý thông tin - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.16 Xử lý thông tin (Trang 36)
Hình 3.17: Cập nhật vào Cell State - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.17 Cập nhật vào Cell State (Trang 37)
Hình 3.18: Thông tin đầu ra - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.18 Thông tin đầu ra (Trang 37)
Hình 3.19: Cấu trúc của Upsampling - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.19 Cấu trúc của Upsampling (Trang 38)
● Đây là một khối giúp giảm độ phân giải của hình ảnh. Đây là một khối chính trong giai đoạn Downsampling - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
y là một khối giúp giảm độ phân giải của hình ảnh. Đây là một khối chính trong giai đoạn Downsampling (Trang 39)
Hình 3.21: Cấu trúc của Residual block - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 3.21 Cấu trúc của Residual block (Trang 40)
Hình 4.1: Mô hình StackGAN-v2 được đồ án sử dụng cho bài toán phát sinh ảnh thời trang - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 4.1 Mô hình StackGAN-v2 được đồ án sử dụng cho bài toán phát sinh ảnh thời trang (Trang 42)
AttnGAN [7] là một mô hình được cải tiến từ StackGAN-v2. Mô hình giải quyết được các vấn đề chỉ phát sinh ra ảnh từ cấp độ câu mà chưa thể phát sinh cả ảnh ở cấp độ từ - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
ttn GAN [7] là một mô hình được cải tiến từ StackGAN-v2. Mô hình giải quyết được các vấn đề chỉ phát sinh ra ảnh từ cấp độ câu mà chưa thể phát sinh cả ảnh ở cấp độ từ (Trang 45)
Hình 4.3: Mô hình của AttnGAN được đồ án sử dụng cho bài toán phát sinh ảnh thời trang - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 4.3 Mô hình của AttnGAN được đồ án sử dụng cho bài toán phát sinh ảnh thời trang (Trang 46)
Trong đó x​ ​i​ là từ phân phối hình ảnh ​p​ data ​o phân giải thứ i, và ​x​ˆ​i ​là từ phân phối mô hình ​p ​G​ở cùng phân giải - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
rong đó x​ ​i​ là từ phân phối hình ảnh ​p​ data ​o phân giải thứ i, và ​x​ˆ​i ​là từ phân phối mô hình ​p ​G​ở cùng phân giải (Trang 48)
Hình 5.2: Thống kê tập dữ liệu theo các loại quần áo - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 5.2 Thống kê tập dữ liệu theo các loại quần áo (Trang 54)
Hình 5.3: Thống kê tập dữ liệu theo tập huấn và kiểm tra. - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 5.3 Thống kê tập dữ liệu theo tập huấn và kiểm tra (Trang 55)
● Mô hình DAMSM được huấn luyện 211 epoch, kích thước mỗi batch dữ liệu là 32. - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
h ình DAMSM được huấn luyện 211 epoch, kích thước mỗi batch dữ liệu là 32. (Trang 57)
Bảng 5.2: Bảng kết quả so sánh giữa StackGAN-v2 và AttnGAN dựa vào phép đo IS, FID trên tập dữ liệu Fashion-Gen - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Bảng 5.2 Bảng kết quả so sánh giữa StackGAN-v2 và AttnGAN dựa vào phép đo IS, FID trên tập dữ liệu Fashion-Gen (Trang 60)
Hình 5.4: Kết quả so sánh giữa ảnh được StackGANv2 và AttnGAN tạo ra với quần và giày. - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 5.4 Kết quả so sánh giữa ảnh được StackGANv2 và AttnGAN tạo ra với quần và giày (Trang 61)
Hình 5.5: Kết quả so sánh giữa ảnh được StackGANv2 và AttnGAN tạo ra với các loại áo thun và áo khoác - Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả
Hình 5.5 Kết quả so sánh giữa ảnh được StackGANv2 và AttnGAN tạo ra với các loại áo thun và áo khoác (Trang 62)

TỪ KHÓA LIÊN QUAN

TRÍCH ĐOẠN

Cách hoạt động của RNN

Phân phối ảnh có điều kiện và không điều kiện Thống kê tập dữ liệu theo các loại quần áo ​ Inception Score (IS )​

Kết quả mô hình phát sinh

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w