(Đồ án hcmute) ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ THÔNG TIN ỨNG DỤNG HỌC MÁY CHO BÀI TOÁN PHÁT SINH ẢNH THỜI TRANG TỪ CÂU MÔ TẢ GVHD: TS NGUYỄN THIÊN BẢO SVTH: NGUYỄN BÁ LÊ AN SVTH: NGUYỄN HỮU KHANG SKL 0 Tp Hồ Chí Minh, tháng 07/2020 an Trường Đại Học Sư Phạm Kỹ Thuật Khoa Đào Tạo Chất Lượng Cao Ngành Công Nghệ Thông Tin ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG HỌC MÁY CHO BÀI TỐN PHÁT SINH ẢNH THỜI TRANG TỪ CÂU MƠ TẢ Sinh Viên Thực Hiện MSSV Sinh Viên Thực Hiện MSSV Khoá Ngành GVHD : : : : : : : NGUYỄN BÁ LÊ AN 15110001 NGUYỄN HỮU KHANG 15110062 K15 CÔNG NGHỆ THÔNG TIN TS NGUYỄN THIÊN BẢO Tp Hồ Chí Minh, tháng 07 năm 2020 an Đồ án tốt nghiệp Em xin cam đoan đồ án riêng nhóm em hướng dẫn thầy Nguyễn Thiên Bảo Các nội dung nghiên cứu, kết đề tài trung thực chưa cơng bố hình thức trước Những số liệu bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá tác giả thu thập từ nguồn khác có ghi rõ phần tài liệu tham khảo Ngoài ra, đồ án sử dụng số nhận xét, đánh số liệu tác giả khác, quan tổ chức khác có trích dẫn thích nguồn gốc Nếu phát có gian lận em xin hoàn toàn chịu trách nhiệm nội dung đồ án mình​ Trường đại học Sư Phạm Kỹ Thuật không liên quan đến vi phạm tác quyền, quyền gây q trình thực (nếu có) TP Hồ Chí Minh, ngày 01 tháng 07 năm 2020 Tác giả Nguyễn Bá Lê An Tác giả Nguyễn Hữu Khang an CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ******* Tp Hồ Chí Minh, ngày 01 tháng 07 năm 2020 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Nguyễn Hữu Khang Họ tên sinh viên: Nguyễn Bá Lê An Ngành: Công nghệ thông tin Giảng viên hướng dẫn: TS Nguyễn Thiên Bảo Ngày nhận đề tài: 24/02/2020 MSSV: 15110062 MSSV: 15110001 Khóa: K15 Ngày nộp đề tài: 01/07/2020 Tên đề tài: - Tìm hiểu tốn phát sinh ảnh thời trang từ câu mô tả Các số liệu, tài liệu ban đầu: - Tập liệu Fashion-Gen Nội dung thực đề tài: - Tìm hiểu nghiên cứu tài liệu liên quan đến việc phát sinh ảnh từ mơ hình GAN Tìm hiểu mơ hình phát sinh ảnh từ câu mơ tả áp dụng AttnGAN (Attention Gan) Hiện thực hóa mơ hình sử dụng AttnGAN để giải toán Kiểm thử so sánh với mơ hình khác (StackGAN-v2) việc giải toán phát sinh ảnh thời trang từ câu mô tả Sản phẩm: - Source code TRƯỞNG NGÀNH GIẢNG VIÊN HƯỚNG DẪN Th.S Nguyễn Đăng Quang T.S Nguyễn Thiên Bảo i an CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN MSSV: 15110062 Họ tên sinh viên: Nguyễn Hữu Khang Họ tên sinh viên: Nguyễn Bá Lê An MSSV: 15110001 Ngành: Công nghệ thông tin Tên đề tài: Tìm hiểu tốn phát sinh ảnh thời trang từ câu mô tả Giảng viên hướng dẫn: T.S Nguyễn Thiên Bảo NHẬN XÉT Về nội dung đề tài khối lượng thực hiện: Nhóm hồn thành mục tiêu đề ban đầu đề tài, khoảng thời gian xác định ● Về lý thuyết: o Nắm kiến thức học máy, học sâu CNN, RNN, chế Attention o Tìm hiểu tốn phát sinh ảnh thời trang từ câu mô tả o Sinh viên nắm kiến trúc mơ hình phát sinh ảnh thời trang từ câu mô tả ● Về thực hành: o Sinh viên chạy demo tốn phát sinh ảnh từ câu mơ tả dùng GAN với chế Attention Ưu điểm: ● Nắm lý thuyết học sâu, trình bày sở lý thuyết, toán học cách chi tiết mạng nơ-ron nhân tạo ● Tìm hiểu mơ hình phát sinh ảnh từ câu mơ tả ● Xây dựng mơ hình phát sinh ảnh thời trang từ câu mơ tả dựa cơng trình nghiên cứu tìm hiểu với hai phương pháp phổ biến StackGAN-v2 AttnGAN ● Tiến hành thực nghiệm liệu Fashion-Gen từ có so sánh Khuyết điểm: ● Mặc dù hình ảnh tạo với phân giải cao song vài chi tiết chưa tạo rõ ràng, cụ thể tương lai mơ hình cải thiện vấn đề ● Chưa thể tạo hình ảnh cụ thể, hình phức tạp ii an Đề nghị cho bảo vệ hay không? …………………………………………………………………………………………………… Đánh giá loại: …………………………………………………………………………………………………… Điểm: (Bằng chữ: ) Tp Hồ Chí Minh, ngày 01 tháng 07 năm 2020 Giảng viên hướng dẫn (Ký & ghi rõ họ tên) T ​ S Nguyễn Thiên Bảo iii an CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN MSSV: 15110062 Họ tên Sinh viên: Nguyễn Hữu Khang MSSV: 15110001 Họ tên Sinh viên: Nguyễn Bá Lê An Ngành: Cơng nghệ thơng tin Tên đề tài: Tìm hiểu tốn phát sinh ảnh thời trang từ câu mơ tả Họ tên Giảng viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lượng thực : …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… Ưu điểm : …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… Khuyết điểm : …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… Đề nghị cho bảo vệ hay không ? …………………………………………………………………………………………………… Đánh giá loại : …………………………………………………………………………………………………… iv an Điểm: (Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng 07 năm 2020 Giáo viên phản biện (Ký & ghi rõ họ tên) v an LỜI CẢM ƠN Nhóm chúng em xin chân thành c​ảm ơn thầy Nguyễn Thiên Bảo tận tình hướng dẫn hỗ trợ nhóm suốt q trình nghiên cứu đồ án Ngồi ra, nhóm em xin cảm ơn Võ Hồng Anh, anh sinh viên khóa hỗ trợ chỉnh sửa, khắc phục lỗi sai để nhóm em hồn thành đồ án cách tốt Nhóm chúng em xin gửi lời cảm ơn đến tác giả Han Zhang tạo cơng trình mang tính thực tiễn vơ có ích cho nghiên cứu trí tuệ nhân tạo xử lý ảnh số Đây lần đầu chúng em nghiên cứu đề tài nên khơng tránh khỏi cịn nhiều thiếu sót nội dung, kính mong q thầy thơng cảm bỏ qua tận tình góp ý Chân thành cảm ơn! vi an TÓM TẮT Ngày nay, với phát triển linh kiện phần cứng máy tính ứng dụng trí tuệ nhân tạo nói chung thị giác máy tính nói riêng phát triển mạnh mẽ Trong đó, phát sinh ảnh số ứng dụng phát triển có tầm ảnh hưởng Tuy nhiên, ứng dụng chưa áp dụng lĩnh vực đòi hỏi sáng tạo tính thẩm mỹ cao thiết kế thời trang Vì vậy, nghiên cứu tập trung vào việc ứng dụng trí tuệ nhân tạo để phát sinh ảnh thời trang từ câu mô tả vii an Chương KẾT QUẢ NGHIÊN CỨU 5.1  Thực nghiệm 5.1.1 Tập liệu sử dụng Đồ án sử dụng liệu Fashion-gen [5] liệu chuẩn sử dụng cho toán phát sinh ảnh thời trang Bộ liệu có số lượng ảnh lớn câu mô tả kèm hình 5.5 Bộ liệu Fashion-gen chia thành nhiều loại quần áo khác nhau, nhiên giới hạn đồ án này, chọn 14 loại quần áo có số lượng ảnh liệu câu mơ tả nhiều 500 mẫu, với góc độ ảnh trực diện Do số lượng liệu sử dụng cho việc huấn luyện đánh giá mơ hình lại bảng 5.1 Các loại quần áo số lượng mẫu tương ứng cho loại quần áo tập huấn luyện kiểm tra mà đồ án sử dụng thể biểu đồ 5.2 5.3 Bảng 5.1: Thống kê số lượng mẫu phân bố tập huấn luyện tập kiểm tra Hình 5.1: Một số mẫu tập liệu Fashion-gen an 37 Hình 5.2: Thống kê tập liệu theo loại quần áo an 38 Hình 5.3: Thống kê tập liệu theo tập huấn kiểm tra 5.1.2 Chi tiết cài đặt Mơ hình DAMSM (Deep Attentional Multimodal Similarity Model) dùng mạng nơ-ron để ánh xạ vùng ảnh từ ngữ câu sang không gian ngữ nghĩa chung, sau đo độ tương tự hình ảnh văn cấp độ từ việc tính hàm mát cho việc sinh ảnh – Bộ mã hóa văn ( text encoder) Là mạng bi-directional Long Short-Term Memory (LSTM) dùng để rút trích vector ngữ nghĩa từ đoạn văn bạn mô tả Trong mảng bi-directional LSTM, từ tương ứng với hai trạng thái ẩn theo hướng Vì vậy, hai trang thái an ghép lại với để biểu diễn ngữ nghĩa từ Ma trận đặc trưng tất từ kí hiệu ​e ​∈ ​RD ​ ​×​T ​ Trong đó, cột thứ ​i e​ i​ l​ vector đặc trưng từ thứ ​i,​ ​D l​ số chiều vector ​T l​ số lượng từ Trong đó, trạng thái ẩn cuối bi-directional LSTM ghép vào vector tồn cục câu, kí hiệu e ∈ ​ ​ ​RD ​ an 39 – Bộ mã hóa hình ảnh (image encoder) ​Bộ mã hóa hình ảnh mạng tích chập (CNN) dùng để ánh xạ hình ảnh thành vector ngữ nghĩa Những lớp trung gian mạng CNN rút trích đặc trưng cục vùng khác ảnh Cụ thể, mã hóa hình ảnh xây dựng dựa mơ hình Inception-v3 huấn luyện ImageNet Đầu tiên, hình ảnh thay đổi kích thước 2​ 99 × 299 ​pixels Sau đó, ma trận đặc trưng cục có ​ kích thước ​f ​∈ ​R768×289 ​ (được chuyển đổi từ ​768 × 17 × 17​) rút trích từ lớp “mixed_6e” mạng Inception-v3 Trong đó, 768 số chiều vector đặc trưng cục bộ, 289 số vùng ​ ảnh Trong đó, vector đặc trưng toàn cục f ​∈ ​R2048 rút ​ trích từ lớp average pooling cuối mạng Inception-v3 Cuối cùng, đặc trưng ảnh chuyển đổi sang không gian ngữ nghĩa chung đặc trưng văn việc thêm vào lớp perceptron sau: v= ​ ​Wf, v = W f , (4.2.5) Trong đó, ​v ∈ ​ ​RD ​ ×​ 289 ​và vector cột thứ ​i l​ vector đặc trưng cho ​ vùng thứ ​i c​ ảnh, v ∈ ​ ​RD ​ vector đặc trưng toàn cục ảnh ​D l​ số chiều vector ảnh văn không gian đặc trưng Để hiệu hơn, trọng số lớp mơ hình Inception-v3 giữ ngun, trọng số lớp thêm vào huấn luyện đồng thời với mảng lại – The attention-driven image-text matching score ​được dùng để đo lường độ khớp cặp ảnh văn dựa vào attention model ảnh văn Bộ mã hóa văn huấn luyện trước mơ hình DAMSM cung cấp vector từ phân biệt trực quan rút trích từ cặp ảnh - văn để sử dụng cho mơ hình attentional generative network.​ Để so sánh, vectơ từ thông thường xử lý trước liệu văn túy thường khơng phân biệt trực quan được, ví dụ: vectơ từ khác màu sắc, chẳng hạn đỏ, xanh, vàng, v.v., thường phân an 40 cụm không gian vectơ, thiếu tảng tín hiệu hình ảnh thực tế Q trình huấn luyện: ● Mơ hình DAMSM huấn luyện 211 epoch, kích thước batch liệu 32 ● Mơ hình AttnGAN huấn luyện theo thời gian, kích thước batch liệu Kết hình ảnh tạo ngày có chất lượng cao chi tiết sau mơ hình huấn luyện nhiều epoch Thể hình sau: Hình 5.1.2: Kết hình ảnh tạo từ câu mơ tả mơ hình huấn luyện 10, 25 43 epoch an 41 5.2  Tiêu chí đánh giá 5.2.1 Inception Score (IS) IS [6] tiêu chí đánh giá tính thực tế ảnh phát sinh Hai tiêu chuẩn đánh giá ảnh phát sinh bao gồm: • Các ảnh phát sinh chứa đối tượng có nghĩa, phân phối nhãn có điều kiện (the conditional class distribution) p(y|x) có giá trị entropy thấp • Các ảnh phát sinh đa dạng, phân phối nhãn cận biên (the 52 marginal class distribution) p(y) = R x p(y|x)pg(x) có giá trị entropy cao, trường hợp lý tưởng phân phối có dạng phân phối Kết hợp hai tiêu chuẩn ta có cơng thức tính IS sau: IS(G) = exp(Ex∼PgDKL(p(y|x)||p(y))) (5.2.1) Trong đó: • y nhãn x ảnh phát sinh • DKL() KL-divergence hàm sử dụng để tính khoảng cách p(y|x) p(y) Việc sử dụng hàm mũ exp giúp giá trị dễ dàng để so sánh, lấy ln(IS(G) mà khơng làm tính tổng qt Nếu hai tiêu chuẩn thỏa mãn giá trị KL-divergence hai phân phối p(y) p(y|x) lớn dẫn đến kết IS lớn Có thể xấp xỉ cơng thức tính IS thực tế từ mẫu x (i) sau: Với N số lượng mẫu thường khuyến khích chọn 5000 [6] Một số giới hạn độ đo IS: • Độ đo bị giới hạn phân loại Inception, phụ thuộc vào liệu huấn luyện ImageNet 2014, mơ hình phát sinh đối tượng khơng thể tập huấn huấn luyện ImageNet 2014 ln ln nhận giá trị IS thấp ảnh phát sinh có chất lượng cao ảnh khơng thể phân loại cách xác • Mạng phân lớp khơng thể phân loại đặc trưng liên quan đến khái niệm chất lượng ảnh CNN chủ yếu tập trung vào thông tin cục thơng tin kết cấu hình dáng, ảnh có chất lượng đạt điểm số IS cao an 42 • Độ đo phụ thuộc vào giá trị trọng số mơ hình huấn luyện, số mơ hình mạng Inception huấn luyện framework khác dù kết phân loại khơng có tác động đáng kể Tuy nhiên, trọng số khác biệt lại dẫn đến đến điểm số khác biệt tập mẫu [1] • Một khuyết điểm IS làm sai lệch hiệu suất mơ hình trường hợp mơ hình phát sinh ảnh lớp, giá trị IS cao độ đo khơng đo đạc đa dạng lớp • Nếu phát sinh ghi nhớ liệu huấn luyện chép điểm số cao 5.2.2 Fréschet Inception Distance (FID) Để khắc phục số hạn chế IS Độ đo FID [4] sử dụng để đo đạc chất lượng mẫu phát sinh dựa vào khoảng cách phân phối ảnh thật phân phối ảnh phát sinh Để tính FID ảnh thật ảnh phát sinh, ta sử dng cụng thc sau: Trong ú: ã à, l giá trị trung bình ma trận hiệp phương sai (covariance) phân phối Gaussian • r, g ảnh thật ảnh phát sinh • T r tổng tất phần tử đường chéo FID nhỏ nghĩa ảnh phát sinh có chất lượng tốt(quality) đa dạng(diversity) có nhiều tương tự ảnh phát sinh ảnh thật Có thể nói FID thể tốt trường hợp nhiễu so với IS Vì FID đo đạt tốt tính đa dạng ảnh Ngồi FID cho thấy giá trị bias cao variance thấp nhạy cảm với tượng mode collapse 5.3 Kết mơ hình phát sinh ● Khi tiến hành huấn luyện đánh giá hai mơ hình StackGAN-v2, AttnGAN tập liệu Fashion-gen đồ án tiến hành so sánh hai mơ hình dựa vào hai độ đo phổ biến cho toán phát sinh ảnh IS FID kết thể bảng 5.2 an 43 Bảng 5.2: Bảng kết so sánh StackGAN-v2 AttnGAN dựa vào phép đo IS, FID tập liệu Fashion-Gen ● Dựa vào bảng kết so sánh, ta thấy xét điểm IS StackGAN-v2 có xu hướng tốt so với AttnGAN đạt điểm số 3.383, điều cho thấy ảnh tạo StackGAN-v2 thỏa mãn tiêu chuẩn chất lượng ảnh tạo nhận dạng đối tượng tạo có khác biệt Tuy nhiên, xét độ đo FID AttnGAN lại có xu hướng tốt so với StackGAN-v2 với FID 30.97 điều cho thấy ảnh tạo AttnGAN có chất lượng tốt gần giống với tập liệu huấn luyện Nếu xét tổng thể, dựa kết thực tế phát sinh ảnh (hình 5.2, 5.3) AttnGAN dường thể cách chi tiết thuộc tính quần áo so với StackGAN-v2, ngồi loại quần áo tạo AttnGAN xác so với StackGAN-v2 Bởi độ đo IS khơng thể tính liên hệ mẫu thuộc loại quần áo nên điểm số IS StackGAN-v2 không bị ảnh hưởng Mặc dù vậy, AttnGAN chưa giải vấn đề mode collapse nhiều mẫu phát sinh trùng lặp an 44 Hình 5.4: Kết so sánh ảnh StackGANv2 AttnGAN tạo với quần giày an 45 Hình 5.5: Kết so sánh ảnh StackGANv2 AttnGAN tạo với loại áo thun áo khoác   an 46 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết Luận Đề tài đồ án thực số công việc sau: ● Tìm hiểu mơ hình phát sinh ảnh từ câu mơ tả ● Xây dựng mơ hình phát sinh ảnh thời trang từ câu mô tả dựa cơng trình nghiên cứu tìm hiểu với hai phương pháp phổ biến StackGAN-v2 AttnGAN ● Tiến hành thực nghiệm liệu Fashion-gen từ có so sánh để thấy độ đo IS StackGAN-v2 cho kết tốt so với AttnGAN xét đa dạng ảnh phát sinh Tuy nhiên, xét độ giống ảnh phát sinh ảnh thật AttnGAN cho kết khả quan so với StackGAN-v2 Tuy nhiên, vấn đề mode collapse chưa khắc phục mơ hình AttnGAN tập liệu Fashion-gen   6.2 Hướng phát triển Một số hạn chế đồ án: ● Mặc dù hình ảnh tạo với phân giải cao song vài chi tiết chưa tạo rõ ràng, cụ thể tương lai mơ hình cải thiện vấn đề ● Mơ hình chưa tạo hình ảnh cụ thể, phức tạp ● Vấn đề mode collapse chưa giải ● Từ hạn chế tại, đồ án hy vọng cải thiện mơ hình phát sinh ảnh thời trang từ câu mơ tả đầu vào tương lai an 47 Tài liệu tham khảo [1] Shane Barratt and Rishi Sharma A note on the inception score ArXiv​, abs/1801.01973, 2018 [2] Emily L Denton, Soumith Chintala, Arthur Szlam, and Robert Fergus Deep generative image models using a laplacian pyramid of adversarial networks ​CoRR,​ abs/1506.05751, 2015 [3] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Ben- gio Generative adversarial nets In Z Ghahramani, M Welling, C Cortes, N D Lawrence, and K Q Weinberger, editors, ​Ad- vances in Neural Information Processing Systems 27,​ pages 2672– 2680 Curran Associates, Inc., 2014 [4] Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, Guănter Klambauer, and Sepp Hochreiter Gans trained by a two time-scale update rule converge to a nash equilibrium ​CoRR​, abs/1706.08500, 2017 [5]N Rostam Zadeh, S Hosseini, T Bouquet, W Stokowiec, Y Zhang, C Jauvin, and C Pal Fashion-Gen: The Generative Fashion Dataset and Challenge ​ArXiv e-prints​, June 2018 [6] Tim Salimans, Ian J Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen Improved techniques for training gans CoRR​, abs/1606.03498, 2016 an 48 [7] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He Attngan: Fine-grained text to image generation with attentional generative adversarial networks ​CoRR​, abs/1711.10485, 2017 [8] Han Zhang, Tao Xu, Hongsheng Li, Shaoting Zhang, Xiaolei Huang, Xiaogang Wang, and Dimitris N Metaxas Stackgan: Text to photorealistic image synthesis with stacked generative adversarial networks ​CoRR​, abs/1612.03242, 2016 [9] Han Zhang, Tao Xu, Hongsheng Li, Shaoting Zhang, Xiaogang Wang, Xiaolei Huang, and Dimitris N Metaxas Stackgan++: Re-alistic image synthesis with stacked generative adversarial networks ​CoRR​, abs/1710.10916, 2017 [10] Fashion-Gen: The Generative Fashion Dataset and Challenge​ by Negar Rostamzadeh, Seyedarian Hosseini, Thomas Boquet, Wojciech Stokowiec, Ying Zhang, Christian Jauvin, Chris Pal an 49 an 50 S an K L 0 ... ảnh thời trang câu mô tả kèm theo tương ứng với ảnh, phương pháp sử dụng dựa vào Học máy với mơ hình GAN, để từ phát sinh ảnh thời trang từ câu mô tả đầu vào Phạm vi đề tài giới hạn tập ảnh thời. .. án sử dụng cho toán phát sinh ảnh thời trang? ??……………………………………………….28 xii an 4.2 4.3 Mơ hình xấp xỉ phân phối hình ảnh? ??……………………………….31 Mơ hình AttnGAN đồ án sử dụng cho toán phát sinh ảnh thời trang? ??……………………………………………………... cho thấy phức tạp toán   1.2 Phát biểu tốn   1.2.1 Mơ tả tốn Từ câu mơ tả ảnh thời trang cho trước, mơ hình thực xử lý câu mơ tả dựa vào giải thuật Học máy từ phát sinh ảnh thời trang có đặc điểm