Thông tin tài liệu
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CƠNG NGHỆ THƠNG TIN TÌM HIỂU BÀI TỐN TẠO CÂU BÌNH LUẬN CHO ẢNH THỜI TRANG GVHD:Nguyễn Thiên Bảo SVTT:Đỗ Quốc Hùng MSSV:16110097 SVTH:Phạm Thanh Trung MSSV:16110232 SKL 0 Tp Hồ Chí Minh, tháng 07/2020 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP TÌM HIỂU BÀI TỐN TẠO CÂU BÌNH LUẬN CHO ẢNH THỜI TRANG Giáo viên hướng dẫn : T.S Nguyễn Thiên Bảo Sinh viên thực : Đỗ Quốc Hùng - 16110097 Phạm Thanh Trung - 16110232 TP.HCM, tháng 07 năm 2020 an CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** Tp Hồ Chí Minh, ngày 01 tháng 07 năm 2020 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Phạm Thanh Trung MSSV: 16110232 – Lớp 16110CLST3 Họ tên sinh viên: Đỗ Quốc Hùng MSSV: 16110097 – Lớp 16110CLST4 Ngành: Công Nghệ Thông Tin Giảng viên hướng dẫn: Nguyễn Thiên Bảo ĐT: 0927613761 Ngày nhận đề tài: 24/02/2020 Ngày nộp đề tài: 01/07/2020 Tên đề tài: Tìm hiểu tốn tạo câu bình luận cho ảnh thời trang Các số liệu, tài liệu ban đầu: - Bài báo: Yujie Lin, Pengjie Ren, Zhumin Chen, Zhaochun Ren, Jun Ma, and Maarten de Rijke, 2018 Explainable Fashion Recommendation with Joint Outfit Matching and Comment Generation (2018) Nội dung thực đề tài: - Tìm hiểu học sâu - Tìm hiểu mạng nơ ron tích chập (CNN) - Tìm hiểu mạng nơ ron hồi quy (RNN) - Tìm hiểu chế Mutual Attention, Cross-modality Attention - Tìm hiểu tốn tạo câu bình luận cho ảnh thời trang dùng CNN RNN Sản phẩm: Source code giải thuật, model cho tốn tạo câu bình luận cho ảnh thời trang TRƯỞNG NGÀNH GIẢNG VIÊN HƯỚNG DẪN Nguyễn Đăng Quang TS Nguyễn Thiên Bảo i an CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên sinh viên: Phạm Thanh Trung MSSV: 16110232 – Lớp 16110CLST3 Họ tên sinh viên: Đỗ Quốc Hùng MSSV: 16110097 – Lớp 16110CLST4 Ngành: Công nghệ thông tin Tên đề tài: Tìm hiểu tốn tạo câu bình luận cho ảnh thời trang Họ tên giáo viên hướng dẫn: Nguyễn Thiên Bảo NHẬN XÉT Về nội dung đề tài & khối lượng thưc hiện: Nhóm hồn thành mục tiêu đề ban đầu đề tài, khoảng thời gian xác định + Về lý thuyết: Nắm đươc kiến thức học máy, học sâu CNN, RNN, chế Attention Tìm hiểu tốn tạo câu bình luận cho ảnh thời trang Sinh viên nắm kiến trúc mơ hình tạo câu bình luận cho ảnh thời trang từ áp dụng vào thực tế + Về thực hành: Sinh viên chạy demo tạo câu bình luận cho ảnh thời trang dùng CNN RNN Ưu điểm: Sinh viên chịu khó tìm hiểu, cố gắng tìm kiếm tài liệu liên quan đề tài Sinh viên thực tốt công việc deadline Thái độ làm việc: làm việc nghiêm túc, chủ động liên hệ với GVHD Khuyết điểm: Hạn chế nguồn lực phần cứng Chưa có kinh nghiệm chạy deep learning môi trường google colab Chưa đưa độ đo đánh giá cuối chạy thực nghiệm ii an Kết mặt trực quan cần cải thiện thêm Đề nghị cho bảo vệ hay không? Đánh giá loại: Khá Điểm: (Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng năm 2020 Giảng viên hướng dẫn (Ký & ghi rõ họ tên) TS NGUYỄN THIÊN BẢO iii an CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên sinh viên: Phạm Thanh Trung MSSV: 16110232 – Lớp 16110CLST3 Họ tên sinh viên: Đỗ Quốc Hùng MSSV: 16110097 – Lớp 16110CLST4 Ngành: Cơng nghệ thơng tin Tên đề tài: Tìm hiểu tốn tạo câu bình luận cho ảnh thời trang Họ tên Giảng viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lượng thưc hiện: Ưu điểm: Khuyết điểm: Đánh giá loại: Điểm: (Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng năm 2020 Giảng viên phản biện (Ký & ghi rõ họ tên) iv an LỜI CẢM ƠN Được sự phân công quý thầy cô khoa Công nghệ thông tin, Trường Đại Học Sư Phạm Kỹ Thuật TP.HCM, sau gần hết học kỳ nhóm em hồn thành mơn học “Đồ án tốt nghiệp” Để hoàn thành nhiệm vụ giao, sự tìm hiểu thân người nhóm cịn có sự hướng dẫn tận tình thầy Em chân thành cảm ơn thầy Nguyễn Thiên Bảo với cộng tác thầy Võ Hồng Anh trực tiếp hướng dẫn, hỗ trợ nhóm em suốt thời gian thực đồ án tốt nghiệp Nhờ kiến thức, kinh nghiệm mà thầy cô chia sẻ giúp chúng em nhiều việc tìm hiểu thực đồ án tốt nghiệp Tuy nhiên kiến thức chun mơn cịn hạn chế thân thiếu nhiều kinh nghiệm thực tiễn nên nội dung báo cáo khơng tránh khỏi thiếu xót, em mong nhận sự góp ý, bảo thêm quý thầy cô hướng dẫn thầy cô phản biện để báo cáo hoàn thiện Một lần nhóm em xin gửi đến thầy lời cảm ơn chân thành chúc thầy cô dồi sức khoẻ! Sinh viên thực Đỗ Quốc Hùng Phạm Thanh Trung v an LỜI NÓI ĐẦU Trong sống đại ngày nay, thời trang ngày người trọng Việc mặc gì đường phần thể tính cách người bạn Nhưng để phối quần áo vừa đẹp vừa hợp thời trang thì vấn đề nhức nhối Để giải quyết vấn đề đó, cần người có kiến thức thời trang đưa nhận xét góp ý trang phục từ cải thiện vấn đề phối đồ hợp thời trang Áp dụng công nghệ để giải quyết vấn đề nói trên, tốn tạo câu bình luận cho ảnh thời trang đời từ Với tốn tạo câu bình luận cho ảnh thời trang, người dùng nhận bình luận phối q̀n với áo Và để nói rõ hơn, tìm hiểu kỹ tốn hạn chế lợi ích mà mang lại vi an MỤC LỤC Chương I Giới thiệu 1 Đặt vấn đề Mục tiêu Phạm vi đề tài Chương II Tổng quan học sâu (Deep Learning) Giới thiệu Deep Learning Mạng tích chập (Convolutional Neural Network) 2.1 Đặc trưng (Feature) 2.2 Tích chập (Convolutional) 2.3 Pooling 2.4 Fully connected layers Mạng hồi quy (Recurrent Neural Network) 3.1 RNN (Recurrent Neural Network) 3.2 GRU (Gated Recurrent Unit) 10 Chương III Phương pháp đề xuất 11 NFR framework 11 Kiến trúc NFR framework 11 Encoder – Decoder Architecture 12 Sequence to Sequence Model 13 Attention Model 14 Transformer Architecture 18 6.1 Mô hình kiến trúc Transformer 18 6.2 Input Embedding Positional Embedding 20 6.3 Giai đoạn Encoder 21 6.3.1 Seft-Attention Transformer 22 6.3.2 Scaled Dot-Product Attention 26 6.3.3 Multi head seft attention 28 vii an 6.3.4 Position-wise Feed Forward Networks 30 6.3.5 Residual connection 30 6.4 Giai đoạn Decoder 31 6.5 Ưu điểm nhược điểm kiến trúc Transformer 32 Chương IV Hiện thực hóa hệ thống 34 Dataset 34 Môi trường 34 Hiện thực hệ thống 34 Kết 35 Chương V Tổng kết hướng phát triển 37 Các công việc làm 37 Hạn chế 37 Hướng phát triển 37 TÀI LIỆU THAM KHẢO 38 viii an 64) Sau chuẩn hóa kết qua hàm Softmax, trọng số nằm khoảng từ đến Cuối cùng, trọng số nhân với value từ, mục đích để giữ nguyên vẹn giá trị từ mà muốn tập trung vào, làm hạ thấp trọng số từ khơng liên quan (ví dụ cách nhân chúng với số nhỏ 0,001) Lúc ta thu vec tơ đại diện (vector representation) ký hiệu 𝑧𝑖 cho từ câu, thể mức độ ý từ vị trí 𝑖 đến vị trí khác chuỗi 6.3.3 Multi head self attention Thay sử dụng lớp Seft attention, Multi head self attention tính tốn vec-tơ đại diện 𝑧ℎ thời điểm ℎ khác với ma trận trọng số (weight matrics) khác Muti-head attention cho phép mơ hình tham gia thông tin từ không gian đại diện khác vị trí khác [27], điều có nghĩa với từ có nhiều không gian đại diện (representation subspaces) thể sự đa dạng ngữ nghĩa từ 𝑀𝑢𝑙𝑡𝑖𝐻𝑒𝑎𝑑(𝑄, 𝐾, 𝑉 ) = 𝐶𝑜𝑛𝑐𝑎𝑡(ℎ𝑒𝑎𝑑1, , ℎ𝑒𝑎𝑑ℎ)𝑊0 𝑄 Với ℎ𝑒𝑎𝑑𝑖 = 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛(𝑄𝑊𝑖 , 𝐾𝑊𝑖𝐾 , 𝑉𝑊𝑖𝑉 ) Hình 25: Multi-Head Attention gồm nhiều lớp h attention chạy song song 28 an Hình 26: Miêu tả chi tiết Multi head Attention xử lý liệu song song qua multihead để thành vector đại diện Với multi-head attention, ma trận trọng số khác tổng hợp vector đại diện khác biểu diễn cho từ Hình 27: Miêu tả mối quan hệ từ “it” với từ lại câu, sau sử dụng multi-head attention [31] 29 an Bởi từ ‘it” mã hóa với multi-head attention nên vector đại diện từ tổng hợp với nhiều không gian vector biểu diễn khác (representation subspaces), dẫn đến attention head ý vào từ “The animal” attention khác trọng vào từ “tire” 6.3.4 Position-wise Feed Forward Networks The pointwise feed-forward layer nhận giá trị (input) từ multi-head attention layer, chuyển đổi giá trị qua phép biến đổi tuyến tính (linear transformation) với hàm kích hoạt (ReLU activation) Lớp feed-forward xem lớp convolution với kernel size =1 6.3.5 Residual connection Giữa sublayer có kết nối gọi residual connection Residual connection giúp tránh tượng bùng nổ đạo hàm (vanishing gradient) mạng sâu (deep networks) Đầu sublayer là: 𝐿𝑎𝑦𝑒𝑟𝑁𝑜𝑟𝑚(𝑥 + 𝑆𝑢𝑏𝑙𝑎𝑦𝑒𝑟(𝑥 )) Với x vector đại diện lieu đầu vào, Sublayer(x) vector đại diện tạo qua sublayer 6.4 Giai đoạn Decoder Giai đoạn decoder gồm có số lượng lớp xếp chông (stack) với encoder Kiến trúc decoder tương tự encoder, sử dụng thêm lớp bổ sung Mask Multi Head Attention Lớp bổ sung giúp ngăn chặn vị trí tham dự vào vị trí tiếp theo [31] 30 an Hình 28: Giai đoạn decoder [27] Đầu mã hóa (top of encoder) sau chuyển thành tập vectơ ý (attention vector) K V, vector sử dụng cho lớp decoder 31 an Hình 29: Sau kết thúc giai đoạn encoder, ma trận K V đưa vào giai đoạn decoder Mỗi bước giai đoạn decoder dự đoán từ chuỗi đầu [31] Đầu bước đưa đến decoder bước tiếp theo decoder tạo kết giải mã giống encoder làm Giống đầu vào encoder, từ dự đoán nhúng thêm mã hóa vị trí (positional encoder) vào đầu vào encoder để vị trí từ Lớp cuối lớp tuyến tính softmax Lớp tuyến tính mạng nơ ron fully connected neural network, biến vectơ tạo lớp chồng giải mã (stack of decoder), thành vectơ lớn hơn, gọi vectơ logits Lớp softmax sau biến điểm số thành phân bố xác suất (từ đến 1) Xác suất cao chọn từ liên kết với tạo [31] 6.5 Ưu điểm nhược điểm kiến trúc Transformer Mơ hình Transformer xử lý đầu vào có kich thước thay đổi cách sử dụng nhiều lớp xếp chồng seft-attention (stacks of seft-attention layer), khiến cho kiến trúc có nhiều ưu điểm: [30] 32 an Nó khơng đưa giả định mối quan hệ thời gian / không gian (temporal/spatial relationship) liệu Điều lý tưởng để xử lý tập hợp đối tượng Các đầu lớp tính song song, thay chuỗi RNN Các liệu khoảng cách xa (distant items) ảnh hưởng đến đầu mà không qua nhiều bước RNN lớp chập Nó học phụ thuộc tầm xa Đây thách thức nhiều nhiệm vụ trình tự Nhìn khía cạnh trực quan kiến trúc có điểm bất lợi: Đối với chuỗi thời gian, đầu cho time-step tính từ tồn lịch sử thay đầu vào trạng thái ẩn Điều hiệu Nếu đầu vào khơng có mối quan hệ thời gian / khơng gian, văn bản, số mã hóa vị trí (positional encoding) phải thêm vào 33 an Chương IV Hiện thực hóa hệ thống Dataset ExpFashion liệu bao gồm: Số lượng ảnh 50.015 ảnh thời trang với 29.113 ảnh thể trang phục (top) 20.902 ảnh thể trang phục (bottom) Mỗi ảnh có kích thước 224x224, ảnh trắng, định dạng JPG Số lượng cặp ảnh trang phục 200.745 Số câu bình luận 1.052.821 Bộ từ vựng gồm 92.295 từ (thực nghiệm 16.519 từ) Môi trường Google Colab Service, ram cung cấp 12GB, dung lượng disk 358.27GB Hiện thực hệ thống - Thực training với tập liệu tách từ tập liệu ban đầu: 1.876 ảnh bao gồm 729 top 1.147 bottom (5 epoch) 6.595 ảnh bao gồm 3.113 top 3.482 bottom (1 epoch) - Bộ mã hóa sử dụng mạng nơ-ron tích chập (CNN) lớp để trích xuất thơng tin từ hình ảnh đầu vào, cụ thể kernel size 3x3, stride = 1, padding = 1, pooling size 16x16 Feature maps lớp convolutional cuối mạng nơ-ron trích xuất phục vụ cho trình decoder - Giai đoạn decoder đầu tiên sử dụng chế Mutual Attention lấy chéo feature top bottom để tìm cặp top-bottom phù hợp - Giai đoạn decoder tiếp theo RNN sử dụng GRU với chế Cross-modality Attention để tính tốn hidden state ban đầu, đọc previous word embedding, context vector hidden state làm liệu đầu vào để tính tốn hidden state current output từ tạo câu bình luận 34 an - Trong trình huấn luyện, tham số mô hình khởi tạo ngẫu nhiên phương pháp Xavier, thuật tốn tối ưu hóa sử dụng Adam với learning rate = 0.001 batch size = 64 Kết Câu bình luận & Đánh giá Cặp trang phục Bottom Top surely you , and this is sweet like cake ! Tốt Stylish fashion such a nice combo for this season Tốt Wow ! this is fabulous dear, love it all very much- well done :)) Tốt 35 an Hey, thanks for following us ! Không tốt Thanks girl Không tốt Đánh giá kết đầu Bleu1: Epoch NFR (Tập liệu 1) Top down Down top 0.054 0.060 0.049 0.060 0.054 0.051 0.034 0.043 0.044 0.068 Epoch NFR (Tập liệu 2) Top down Down top 0.357 0.408 36 an Chương V Tổng kết hướng phát triển Các công việc làm - Nghiên cứu mô hình để xử lý tốn xử lý hình ảnh, văn Deep Learning, Machine Learning - Tìm hiểu ứng dụng giải quyết vấn đề /bài toán gợi ý phát sinh câu bình luận cho trang phục - Nghiên cứu mơ hình, kỹ thuật để ứng dụng vào việc giải qút mơ hình phát sinh câu bình luận từ ảnh tĩnh - Hiện thực lại mô hình “Tự động phát sinh bình luận cho ảnh thời trang” Hạn chế - Cơ sở vật chất chưa đủ tốt - Kinh nghiệm tiến hành thực nghiệm hạn chế - Kết việc thực nghiệm chưa thật sự mong muốn Hướng phát triển - Thu thập tái chỉnh sữa lại toàn liệu huấn luyện - Thực việc huấn luyện lại mơ hình với tập liệu lớn - Áp dụng thực nghiệm kỹ thuật Attribute Recognization, Visual Attention Model,… để phát triển mô hình vào thuộc tính để dựa vào đưa câu bình luận đáng tin hợp lý cho người dùng 37 an TÀI LIỆU THAM KHẢO [1] Tomoharu Iwata, Shinji Watanabe and Hiroshi Sawada (2011), “Fashion coordinates recommender system using photographs from fashion magazines“ International Joint Conference on Artificial Intelligence, pp 2262–2267 [2] Si Liu, Jiashi Feng, Zheng Song, Tianzhu Zhang, Hanqing Lu, Changsheng Xu and Shuicheng Yan, “Hi, magic closet, tell me what to wear!” in ACM Multimedia, 2012, pp 619–628 [3] Yujie Lin (5 Mar 2019), “Explainable Outfit Recommendation with Joint Outfit Matching and Comment Generation”, ” https://arxiv.org/pdf/1806.08977.pdf” [4] Ashish Vaswani et al (6 Dec 2017), “Attention Is All You Need”, “https://arxiv.org/pdf/1706.03762.pdf” [5] Wikipedia, Deep Learning, “https://en.wikipedia.org/wiki/Deep_learning” [6] Wikipedia, A Deep neural network (DNN), “https://en.wikipedia.org/wiki/Deep_learning#Deep_neural_networks” [7] Ilya Sutskever, Oriol Vinyals, Quoc V Le (14 Dec 2014), “Sequence to Sequence Learning with Neural Networks”, “https://arxiv.org/pdf/1409.3215.pdf” [8] Encoder-Decoder Architectures (Mar 7, 2017), “https://www.quora.com/What-isan-Encoder-Decoder-in-Deep-Learning” [9] Kyunghyun Cho Bart van Merrienboer Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares Holger Schwenk, Yoshua Bengio (3 Sep 2014), “Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation”, “https://arxiv.org/pdf/1406.1078.pdf” 38 an [10] Jason Brownlee (October 13, 2017), “How Does Attention Work in EncoderDecoder Recurrent Neural Networks”, “https://machinelearningmastery.com/howdoes-attention-work-in-encoder-decoder-recurrent-neural-networks/” [11] Lilian Weng (Jun 24 2018), “Attention? Attention!” , “https://lilianweng.github.io/lillog/2018/06/24/attention-attention.html#whats-wrong-with-seq2seq-model” [12] Junyoung Chung, Caglar Gulcehre, KyungHyun Cho, Yoshua Bengio (11 Dec 2014), “Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling”, “https://arxiv.org/pdf/1412.3555.pdf” [13] Problem of RNN and understanding LSTM Networks (August 27, 2015), “http://colah.github.io/posts/2015-08-Understanding-LSTMs/” [14] Ta-Chun Su (3 Oct 20118), “Seq2seq pay Attention to Self Attention”, ” https://medium.com/@bgg/seq2seq-pay-attention-to-self-attention-part-1d332e85e9aad” [15] Dzmitry Bahdanau, KyungHyun Cho Yoshua Bengio (19 May 2016), “NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE”, “https://arxiv.org/pdf/1409.0473.pdf” [16] Phan Huy Hoang (16 Jan 2017), “ Attention, Attention, Attention,” “https://viblo.asia/p/machine-learning-attention-attention-attention-eW65GPJYKDO” [17] Alex Graves et…al (10 Dec 2014), “Neural Turing Machines”, “https://arxiv.org/pdf/1410.5401.pdf” [18] Minh-Thang Luong et al (20 Sep 2015), “Effective Approaches to Attentionbased Neural Machine Translation”, “https://arxiv.org/pdf/1508.04025.pdf” 39 an [19] Ashish Vaswani and Anna Huang (2016), “Self-Attention For Generative Models”, “https://web.stanford.edu/class/cs224n/slides/cs224n-2019-lecture14transformers.pdf” [20] Aditya Thiruvengadam (Oct 9, 2018), “Transformer Architecture: Attention Is All You Need” , “https://medium.com/@adityathiruvengadam/transformer-architectureattention-is-all-you-need-aeccd9f50d09” [21] Hojjat Salehinejad et al (22 Feb 2018), “Recent Advances in Recurrent Neural Networks, https://arxiv.org/pdf/1801.01078.pdf [22] Ashish Vaswani et…al (6 Dec 2017), “Attention Is All You Need”, “https://arxiv.org/pdf/1706.03762.pdf” [23] Keitakurita (29 Dec 2017 ), “Explanin Attention Is All You Need”, http://mlexplained.com/2017/12/29/attention-is-all-you-need-explained/ [24] Gongbo Tang1 et…al (11 Nov 2018), “Why Self-Attention? A Targeted Evaluation of Neural Machine Translation Architectures”, “https://arxiv.org/pdf/1808.08946.pdf” [25] Alibaba Cloud (12 Sep 2018 ), “ Self-Attention Mechanisms in Natural Language Processing”, ” https://medium.com/@Alibaba_Cloud/self-attention-mechanisms-innatural-language-processing-9f28315ff905” [26] Zhixing Tan , Mingxuan Wang et…al (5 Dec 2017), ”Deep Semantic Role Labeling with Self-Attention”, “https://arxiv.org/pdf/1712.01586.pdf” [27] (Intra-att)Ankur P Parikh et…al (2016), “A Decomposable Attention Model for Natural Language Inference”, https://aclweb.org/anthology/D16-1244 [28] Peter Shaw et…al (2017), Self-Attention with Relative Position Representations, https://arxiv.org/pdf/1803.02155.pdf 40 an [29] Maxime Allard (Jan 2019), “What is a Transformer?“, “https://medium.com/inside-machine-learning/what-is-a-transformer-d07dd1fbec04“ [30] Tensorflow, “Transformer model for language understanding”, “https://www.tensorflow.org/beta/tutorials/text/transformer” [31] Jay Alammar (June 27 2018,) “The Illustrated Transformer”, “http://jalammar.github.io/illustrated-transformer/“ [32] Giuliano Giacaglia (Mar 11 2018), “How Transformers Work”, “https://towardsdatascience.com/transformers-141e32e69591” [33] Michal Chromiak (Tue, 12 Sep 2017) “The Transformer – Attention is all you need”, “https://mchromiak.github.io/articles/2017/Sep/12/Transformer-Attention-is-allyou-need/#positional-encoding-pe” [34] e2eML “How Convolutional Neural Networks work?”, August 18, 2016, “https://e2eml.school/how_convolutional_neural_networks_work ” [35] (Sep 30 2018) “Understanding of RECURRENT NEURAL NETWORKS (LSTM, GRU)”, “https://mc.ai/understanding-of-recurrent-neural-networks-lstm-gru/” [36] SuperDataScience Team (Aug 23 2018) “Recurrent Neural Networks (RNN) - The Vanishing Gradient Problem”, “https://www.superdatascience.com/blogs/recurrentneural-networks-rnn-the-vanishing-gradient-problem” [37] Simeon Kostadinov (Dec 16 2017), “Understanding GRU Networks”, ”https://towardsdatascience.com/understanding-gru-networks-2ef37df6c9be” 41 an an ... hình tạo câu bình luận cho ảnh thời trang từ áp dụng vào thực tế + Về thực hành: Sinh viên chạy demo tạo câu bình luận cho ảnh thời trang dùng CNN RNN Ưu điểm: Sinh viên chịu khó tìm hiểu, ... gợi ý thời trang tạo câu bình luận trừu tượng cho trang phục phối NFR có nhiệm vụ bao gồm: phối trang phục cho phù hợp từ trang phục phù hợp phát sinh câu bình luận để miêu tả cảm xúc trang phục... thức thời trang đưa nhận xét góp ý trang phục từ cải thiện vấn đề phối đồ hợp thời trang Áp dụng công nghệ để giải qút vấn đề nói trên, tốn tạo câu bình luận cho ảnh thời trang đời từ Với tốn tạo
Ngày đăng: 02/02/2023, 09:31
Xem thêm:
