Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ THÔNG TIN ỨNG DỤNG HỌC MÁY CHO BÀI TOÁN PHÁT SINH ẢNH THỜI TRANG TỪ CÂU MÔ TẢ GVHD: TS NGUYỄN THIÊN BẢO SVTH: NGUYỄN BÁ LÊ AN SVTH: NGUYỄN HỮU KHANG SKL 0 Tp Hồ Chí Minh, tháng 07/2020 Trường Đại Học Sư Phạm Kỹ Thuật Khoa Đào Tạo Chất Lượng Cao Ngành Công Nghệ Thông Tin ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG HỌC MÁY CHO BÀI TOÁN PHÁT SINH ẢNH THỜI TRANG TỪ CÂU MÔ TẢ Sinh Viên Thực Hiện MSSV Sinh Viên Thực Hiện MSSV Khoá Ngành GVHD : : : : : : : NGUYỄN BÁ LÊ AN 15110001 NGUYỄN HỮU KHANG 15110062 K15 CÔNG NGHỆ THƠNG TIN TS NGUYỄN THIÊN BẢO Tp Hồ Chí Minh, tháng 07 năm 2020 Đồ án tốt nghiệp Em xin cam đoan đồ án riêng nhóm em hướng dẫn thầy Nguyễn Thiên Bảo Các nội dung nghiên cứu, kết đề tài trung thực chưa công bố hình thức trước Những số liệu bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá tác giả thu thập từ nguồn khác có ghi rõ phần tài liệu tham khảo Ngồi ra, đồ án cịn sử dụng số nhận xét, đánh số liệu tác giả khác, quan tổ chức khác có trích dẫn thích nguồn gốc Nếu phát có gian lận em xin hoàn toàn chịu trách nhiệm nội dung đồ án mình​ Trường đại học Sư Phạm Kỹ Thuật không liên quan đến vi phạm tác quyền, quyền tơi gây q trình thực (nếu có) TP Hồ Chí Minh, ngày 01 tháng 07 năm 2020 Tác giả Nguyễn Bá Lê An Tác giả Nguyễn Hữu Khang CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ******* Tp Hồ Chí Minh, ngày 01 tháng 07 năm 2020 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Nguyễn Hữu Khang Họ tên sinh viên: Nguyễn Bá Lê An Ngành: Công nghệ thông tin Giảng viên hướng dẫn: TS Nguyễn Thiên Bảo Ngày nhận đề tài: 24/02/2020 MSSV: 15110062 MSSV: 15110001 Khóa: K15 Ngày nộp đề tài: 01/07/2020 Tên đề tài: - Tìm hiểu tốn phát sinh ảnh thời trang từ câu mô tả Các số liệu, tài liệu ban đầu: - Tập liệu Fashion-Gen Nội dung thực đề tài: - Tìm hiểu nghiên cứu tài liệu liên quan đến việc phát sinh ảnh từ mô hình GAN Tìm hiểu mơ hình phát sinh ảnh từ câu mô tả áp dụng AttnGAN (Attention Gan) Hiện thực hóa mơ hình sử dụng AttnGAN để giải tốn Kiểm thử so sánh với mơ hình khác (StackGAN-v2) việc giải toán phát sinh ảnh thời trang từ câu mô tả Sản phẩm: - Source code TRƯỞNG NGÀNH Th.S Nguyễn Đăng Quang GIẢNG VIÊN HƯỚNG DẪN T.S Nguyễn Thiên Bảo i CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN MSSV: 15110062 Họ tên sinh viên: Nguyễn Hữu Khang Họ tên sinh viên: Nguyễn Bá Lê An MSSV: 15110001 Ngành: Công nghệ thông tin Tên đề tài: Tìm hiểu tốn phát sinh ảnh thời trang từ câu mô tả Giảng viên hướng dẫn: T.S Nguyễn Thiên Bảo NHẬN XÉT Về nội dung đề tài khối lượng thực hiện: Nhóm hồn thành mục tiêu đề ban đầu đề tài, khoảng thời gian xác định ● Về lý thuyết: o Nắm kiến thức học máy, học sâu CNN, RNN, chế Attention o Tìm hiểu tốn phát sinh ảnh thời trang từ câu mơ tả o Sinh viên nắm kiến trúc mô hình phát sinh ảnh thời trang từ câu mơ tả ● Về thực hành: o Sinh viên chạy demo tốn phát sinh ảnh từ câu mơ tả dùng GAN với chế Attention Ưu điểm: ● Nắm lý thuyết học sâu, trình bày sở lý thuyết, toán học cách chi tiết mạng nơ-ron nhân tạo ● Tìm hiểu mơ hình phát sinh ảnh từ câu mơ tả ● Xây dựng mơ hình phát sinh ảnh thời trang từ câu mơ tả dựa cơng trình nghiên cứu tìm hiểu với hai phương pháp phổ biến StackGAN-v2 AttnGAN ● Tiến hành thực nghiệm liệu Fashion-Gen từ có so sánh Khuyết điểm: ● Mặc dù hình ảnh tạo với phân giải cao song vài chi tiết chưa tạo rõ ràng, cụ thể tương lai mơ hình cải thiện vấn đề ● Chưa thể tạo hình ảnh cụ thể, hình phức tạp ii Đề nghị cho bảo vệ hay không? …………………………………………………………………………………………………… Đánh giá loại: …………………………………………………………………………………………………… Điểm: (Bằng chữ: ) Tp Hồ Chí Minh, ngày 01 tháng 07 năm 2020 Giảng viên hướng dẫn (Ký & ghi rõ họ tên) T ​ S Nguyễn Thiên Bảo iii CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN MSSV: 15110062 Họ tên Sinh viên: Nguyễn Hữu Khang MSSV: 15110001 Họ tên Sinh viên: Nguyễn Bá Lê An Ngành: Công nghệ thơng tin Tên đề tài: Tìm hiểu tốn phát sinh ảnh thời trang từ câu mô tả Họ tên Giảng viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lượng thực : …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… Ưu điểm : …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… Khuyết điểm : …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… Đề nghị cho bảo vệ hay không ? …………………………………………………………………………………………………… Đánh giá loại : …………………………………………………………………………………………………… iv Điểm: (Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng 07 năm 2020 Giáo viên phản biện (Ký & ghi rõ họ tên) v LỜI CẢM ƠN Nhóm chúng em xin chân thành c​ảm ơn thầy Nguyễn Thiên Bảo tận tình hướng dẫn hỗ trợ nhóm suốt q trình nghiên cứu đồ án Ngồi ra, nhóm em xin cảm ơn Võ Hồng Anh, anh sinh viên khóa hỗ trợ chỉnh sửa, khắc phục lỗi sai để nhóm em hoàn thành đồ án cách tốt Nhóm chúng em xin gửi lời cảm ơn đến tác giả Han Zhang tạo cơng trình mang tính thực tiễn vơ có ích cho nghiên cứu trí tuệ nhân tạo xử lý ảnh số Đây lần đầu chúng em nghiên cứu đề tài nên khơng tránh khỏi cịn nhiều thiếu sót nội dung, kính mong q thầy thơng cảm bỏ qua tận tình góp ý Chân thành cảm ơn! vi TÓM TẮT Ngày nay, với phát triển linh kiện phần cứng máy tính ứng dụng trí tuệ nhân tạo nói chung thị giác máy tính nói riêng phát triển mạnh mẽ Trong đó, phát sinh ảnh số ứng dụng phát triển có tầm ảnh hưởng Tuy nhiên, ứng dụng chưa áp dụng lĩnh vực địi hỏi sáng tạo tính thẩm mỹ cao thiết kế thời trang Vì vậy, nghiên cứu tập trung vào việc ứng dụng trí tuệ nhân tạo để phát sinh ảnh thời trang từ câu mô tả vii ... cho thấy phức tạp toán   1.2 Phát biểu tốn   1.2.1 Mơ tả tốn Từ câu mô tả ảnh thời trang cho trước, mô hình thực xử lý câu mơ tả dựa vào giải thuật Học máy từ phát sinh ảnh thời trang có đặc điểm... Đại Học Sư Phạm Kỹ Thuật Khoa Đào Tạo Chất Lượng Cao Ngành Công Nghệ Thông Tin ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG HỌC MÁY CHO BÀI TOÁN PHÁT SINH ẢNH THỜI TRANG TỪ CÂU MÔ TẢ Sinh Viên Thực Hiện MSSV Sinh. .. với câu mơ tả đầu vào Hình 1.1: Mơ tả tốn phát sinh ảnh trang phục từ câu mơ tả   1.2.2 Phát biểu hình thức yˆ​ ← ​f ​(​t​) (1.2.1) Trong ​yˆ​ ảnh phát sinh tạo từ hàm ​f ​với ​t ​là câu mơ tả ảnh