Báo cáo thực tập xây dựng ứng dụng tạo mô tả cho hình ảnh

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM THỰC TẬP TỐT NGHIỆP ĐỀ TÀI: Xây dựng ứng dụng tạo mơ tả cho hình ảnh Cơng ty thực tập: VCCorp Lớp: SE501.L11.PMCL Sinh viên thực hiện: Nguyễn Trường Khoa Nguyên – 17520827 Giảng viên hướng dẫn: TS.Huỳnh Ngọc Tín TP Hồ Chí Minh, ngày 14 tháng năm 2021 2Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín NHẬN XÉT (Của giảng viên) 22 3Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín MỤC LỤC 33 4Nguyễn Trường Khoa Ngun TS.Huỳnh Ngọc Tín LỜI NĨI ĐẦU Ngày nay, lĩnh vực AI lên với nhu cầu cấp bách đầy thiết yếu Các ứng dụng AI gây nên phần tác động lớn trải nghiệm người dùng tính chất thương mại hóa cơng ty Cùng với xu phát triển giới, Việt Nam có bước phát triển mạnh mẽ, trở thành kinh tế hội nhập, động, hấp dẫn đầu tư khu vực Trong bối cảnh phát triển hội nhập quốc tế, với phát triển mạnh mẽ cách mạng công nghiệp 4.0, Việt Nam xác định tập trung phát triển cơng nghệ trí tuệ nhân tạo (AI) - mũi nhọn, dự báo trở thành ngành công nghệ đột phá tương lai Sau bốn năm học tập trường, muốn tiếp xúc, học hỏi lợi ích mà AI mang lại , nhờ may mắn gặp gỡ thầy Tín tạo hội cho em tiếp xúc truyền cảm hứng cho em lĩnh vực CNTT AI Và qua đó, muốn tiếp cận, tìm hiểu quy trình tạo toán AI để giải vấn đề tại, VCCorp cơng ty lý tưởng em thực dự định có thêm kinh nghiêm để rèn giũa thân thật tốt trước trường 44 5Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín LỜI CẢM ƠN Em xin gửi lời cảm ơn tới anh chị cơng ty VCCorp nói chung thầy Huỳnh Ngọc Tín nói riêng tạo điều kiện cho em có hội thực tập cơng ty Chỉ thời gian ngắn, nhờ dẫn nhiệt tình anh chị cơng ty, buổi seminar hàng tuần Em học hỏi nhiều điều kỹ cứng mềm Đồng thời hòa nhập với văn hóa cơng ty hoạt động ngoại khóa nói riêng Đặc biệt em xin cảm ơn anh Tuyên người hỗ trợ em từ lúc vào cơng ty, anh tận tình hướng dẫn em từ thủ tục cần thiết tới setup môi trường bắt đầu làm việc, anh góp ý thêm điều em cịn sai sót để sửa lại làm việc tốt Cám ơn anh Tùng anh Hiếu giúp đỡ em vấn đề kỹ thuật , cách làm việc, phương pháp tìm hiểu tiếp cận toán cụ thể Và cảm ơn bạn Phạm Huỳnh Tấn Đạt anh Dương Xuân Hiệp làm partners em suốt trình thực tập, hỗ trợ em trao đổi củng cố lại kiến thức, kỹ thuật cịn thiếu sai sót Em cảm ơn thầy cô khoa Công nghệ phần mềm nhiệt tình hỗ trợ, tạo điều kiện cho em làm báo cáo Nguyễn Trường Khoa Nguyên TP Hồ Chí Minh, ngày 14 tháng 01 năm 2021 55 6Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín CHƯƠNG 1: GIỚI THIỆU CƠNG TY THỰC TẬP I Giới thiệu chung cơng ty logo vccorp - Được thành lập vào năm 2006, Công ty CP VCCorp (VCCorp) công ty tiên phong lĩnh vực công nghệ nội dung số Với 10 năm hình thành phát triển, VCCorp xây dựng hệ sinh thái Internet rộng lớn với nhiều sản phẩm sáng tạo, hữu ích nhiều lĩnh vực (quảng cáo trực tuyến, thương mại điện tử, trị chơi trực tuyến ) phủ sóng 90% người sử dụng Internet mobile, có giá trị đóng góp lớn vào phát triển Internet Việt Nam thập kỷ qua - Với việc chia thành nhiều phận, phận mà em thực tập Adtech - VCCorp sở hữu thương hiệu quảng cáo trực tuyến Adtech đơn vị quảng cáo trực tuyến lớn với hệ thống quảng cáo 200 website uy tín hàng đầu, gần 30 website số thuộc sở hữu VCCorp VCCorp đơn vị độc quyền khai thác quảng cáo Với độ phủ tới 50 triệu độc giả, tương đương 90% người dùng Internet mobile Việt Nam, với sức mạnh công nghệ, sáng tạo không ngừng, Adtech vị dẫn đầu thị trường, giúp trang báo 66 7Nguyễn Trường Khoa Ngun TS.Huỳnh Ngọc Tín trang thơng tin điện tử Việt Nam có nguồn thu tốt để cung cấp thông tin cho người dân cạnh tranh website dịch vụ nước II Sản phẩm công ty Được đáng giá Công ty công nghệ hàng đầu Việt Nam, sản phẩm VCCorp có độ phủ mạnh hầu hết lĩnh vực công nghệ internet như: thương mại điện tử, quảng cáo trực tuyến, online media, mobile content, social media… Trên 90% lượng người dùng Internet Việt Nam sử dụng sản phẩm VCCorp ngày khẳng định phong phú đa dạng sản phẩm lĩnh vực mà công ty công nghệ đạt Các sản phẩm công ty: - Adnetwork : Tiếp cận 97.6% người dùng Internet, với nhóm chuyên mục lớn, 1000+ publishers, 30 đối tác độc quyền, 10000+ nhà mua quảng cáo - Mobile Adnetwork : Tiếp cận 95% người dùng Mobile, hệ thống Mobile Adnetwork tiếp cận người dùng mobile web & mobile app - Adtech : Sở hữu 45 tỉ view/tháng, AdTech áp dụng hầu hết công nghệ tân tiến vào Adnetwork - Product Innovation : Dẫn đầu thị trường cung cấp tính đột phá, sở hữu 22 sản phẩm & giải pháp, bật với: quảng cáo hiển thị, truyền thông, mua tự động, mobile 77 8Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín CHƯƠNG 2: NỘI DUNG THỰC TẬP Đợt thực tập vừa qua với chủ đề “Xây dựng ứng dụng tạo mô tả cho hình ảnh” nhằm giúp cho sinh viên tiếp cận phương pháp học máy, nắm quy trình giái quyết, áp dụng tốn AI vào thực tế I Tìm hiểu cơng ty kỹ công ty Thời gian: ngày Nội dung: Giới thiệu công ty, cách tổ chức công ty Được nghe người phụ trách giới thiệu cơng ty, q trình thành lập phát triển (như nhắc đến trên), quy trình làm việc từ cao xuống thấp, cách thức tổ chức công ty Ngồi ra, thực tập sinh cịn giới thiệu cách thức làm việc công ty thời gian làm, quy định cần phải tuân thủ, cách sử dụng email công việc, setup môi trường cần thiết wifi, VPN , git, redmine giới thiệu qua toán mà team giải Kết quả: Hiểu phận Adtech, trình thành lập phát triển Có kỹ việc sử dụng email công việc, làm việc có kế hoạch, có kỷ luật, có trách nhiệm Nghiên cứu kỹ thuật 1.1 Công cụ làm việc Thời gian : ngày Nội dung : Tìm hiểu công cụ sử dụng trình làm việc Trong thời gian anh chị team hướng dẫn thực tập sinh công cụ giúp ích, hỗ trợ cơng việc sau OpenVPN : Sử dụng để làm việc nhóm, server 88 9Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín Hệ điều hành Linux : Setup, cài đặt package cần thiết để setup môi trường bắt đầu làm việc, chạy thử chương trinh Skype : Sử dụng để trao đổi, liên lạc thành viên team VSCode : IDE sử dụng cho việc thực cài đặt đánh giá m, thử nghiệm cho toán Jupyter Notebook : sử dụng để setup code toán chạy thử nghiệm Thực : Thực hành sử dụng phần mềm nêu Kết : Lập trình sử dụng cơng cụ miễn phí, giúp dễ dàng kết hợp cơng cụ với 1.2 Tìm hiểu Machine Learning Thời gian : ngày Nội dung : Được training kiến thức toán thuật tốn máy học ● Tìm hiểu tổng quan thuật toán supervised unsupervised ● Đọc tài liệu thuật toán máy học : Linear Regression, Logistic Regression, … Thực : ● Tham gia đầy đủ buổi training công ty ● Kiểm tra kiến thức học Kết : ● Nắm kiến thức Machine Learning 1.3 Tìm hiểu Deep Learning Thời gian : 15 ngày Nội dung : Tìm hiểu, áp dụng kiến thức deep learning Neural Network, CNN, RNN LSTM gradient descent phục vụ cho trình backprop 99 10Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín - Khái niệm Neural Network: Neural Network (Mạng thần kinh nhân tạo), thể loại giải thuật học máy, lấy cảm hứng từ não người Nó giải thuật phổ biến sử dụng giới học máy Mục đích để giải task cụ thể thông qua việc liên kết nơron mạng neural tương tự cách người thực - Khái niệm CNN: Convolutional Neural Network (CNNs – Mạng nơ-ron tích chập) mơ hình Deep Learning tiên tiến Nó giúp cho xây dựng hệ thống thông minh với độ xác cao Như hệ thống xử lý ảnh lớn Facebook, Google hay Amazon đưa vào sản phẩm chức thông minh nhận diện khuôn mặt người dùng, phát triển xe tự lái hay drone giao ang tự động - Khái niệm RNN Ý tưởng RNN (Recurrent Neural Network) sử dụng chuỗi thông tin Trong mạng nơ-ron truyền thống tất đầu vào đầu độc lập với Tức chúng không liên kết thành chuỗi với Nhưng mơ hình khơng phù hợp nhiều tốn Ví dụ, muốn đốn từ xuất câu ta cần biết từ trước xuất nhỉ? RNN gọi hồi quy (Recurrent) lẽ chúng thực tác vụ cho tất phần tử chuỗi với đầu phụ thuộc vào phép tính trước Nói cách khác, RNN có khả nhớ thơng tin tính tốn trước Trên lý thuyết, RNN sử dụng thông tin văn dài - Khái niệm LSTM LSTM (Long short-term memory), mạng sinh từ RNN, trình học backprop lại RNN liệu xa dẫn tới tình trạng vanishing gradient descent, khiến trọng số cập nhật tiến gần khơng gây cản trở mơ hình q trình học LSTM giới thiệu thêm để giải vấn đề 1010 11Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín nhờ vào xuất cổng forget gate, update gate, output gate trạng thái gọi cell để lưu trữ thông tin quan trọng hỗ trợ cho việc cải thiện việc ghi nhớ học mơ hình Thực : ● Tham gia đầy đủ buổi training công ty ● Kiểm tra kiến thức học Kết : ● Nắm kiến thức Deep Learning vận dụng vào tốn 1.4 Tìm hiểu thư viện hỗ trợ cho toán Thời gian : ngày - Numpy Numpy thư viện lõi phục vụ cho khoa học máy tính Python, hỗ trợ cho việc tính tốn mảng nhiều chiều, có kích thước lớn với hàm tối ưu áp dụng lên mảng nhiều chiều Numpy đặc biệt hữu ích thực hàm liên quan tới Đại Số Tuyến Tính - Pandas Pandas là thư viện mã nguồn mở với hiệu cao cho phân tích liệu Python phát triển Wes McKinney năm 2008 Chỉ với năm phát triển trở thành thư viện chuẩn cho việc phân tích liệu dùng Python, số tính bật pandas: ● Có thể xử lý tập liệu khác định dạng: chuỗi thời gian, bảng không đồng nhất, ma trận liệu ● Khả import liệu từ nhiều nguồn khác CSV, DB/SQL ● Xử lý, phân tích liệu tốt mơ hình hố thống kê ● Tích hợp tốt với thư viện khác python 1111 12Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín - Tensorflow – Keras Tensorflow thư viện mã nguồn mở cung cấp khả xử lí tính tốn số học dựa biểu đồ mô tả thay đổi liệu Tensor sử dụng bạn cần giải toán supervised learning Keras open source cho Neural Network viết ngôn ngữ Python Nó library phát triển vào năm 205 Francois Chollet, kỹ sư nghiên cứu Deep Learning Keras sử dụng chung với thư viện tiếng Tensorflow, CNTK, Theano Thực : ● Tham gia đầy đủ buổi training Kết : ● Sử dụng thư viện hỗ trợ vào tốn tìm hiểu 1.5 Thực project Sau tháng training thực hành, thực tập sinh nắm kiến thức AI, Deep Learning thư viện kèm Trong tháng thứ hai, trainer hướng dẫn thực tập sinh áp dụng kiến thức học để thực project Chi tiết đồ án nói phần sau II Lịch làm việc Tuần Công Việc Người hướng dẫn Mức Nhận độ xét hoàn người thành hướng dẫn 1212 13Nguyễn Trường Khoa Nguyên - Tìm hiểu công ty, cách tổ chức công ty TS.Huỳnh Ngọc Tín Anh Nguyễn Thanh Anh Tuyên - Làm quen với công cụ làm việc công ty - Học cách làm việc, trao đổi qua email - Tìm hiểu Machine Learning Anh Nguyễn Thanh Anh Tuyên Anh Ngơ Trung Hiếu - Tìm hiểu Deep Learning Anh Nguyễn Thanh Anh Tuyên Anh Ngơ Trung Hiếu - Tìm hiểu paper tạo mơ tả cho hình ảnh - Viết Model theo paper 10 - Thực nghiệm đánh giá Thầy Huỳnh Ngọc Tín Anh Trần Văn Tùng Thầy Huỳnh Ngọc Tín Thầy Huỳnh Ngọc Tín Anh Trần Văn Tùng Thầy Huỳnh Ngọc Tín Anh Trần Văn Tùng 11 - So sánh, cài đặt model khác Thầy Huỳnh Ngọc Tín để đánh giá , cải thiện 1313 14Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín CHƯƠNG 3: CHI TIẾT PROJECT I Giới thiệu tốn Hình Model Image Caption Show and Tell Tự động mô tả nội dung ảnh vấn đề AI Bài tốn có nhiều thách thức mang lại tác động tích cực tới sống ngày, điển giúp đỡ người bị khiếm thị hiểu rõ nội dung ảnh… Việc xây dựng mơ hình tạo mơ tả cho ảnh khơng cho có đối tượng hình mà cịn phải cho thấy mối liên hệ đối tượng Để giải vấn đề nhận biết đối tượng cho thấy mối liên hệ chúng, kết hợp mơ hình deep learning CNN RNN 1.1 Paper tham khảo Paper Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge 1.2 Thuật toán 1414 15Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín Mơ tả - Train mạng CNN theo mơ hình phân loại ảnh để rút kết đặc điểm hình - Sau rút kết feature hình tập train, đưa đặc điểm rút kết vào làm input cho mạng LSTM - Mạng LSTM nhận input đầu vào đặc điểm hình tạo từ CNN miêu tả gán nhãn từ trước - Mỗi miêu tả gán nhãn gán token với để network biết vị trí bắt đầu kết thúc câu - Mạng LSTM train để dự đoán với đặc điểm rút kết ảnh tạo mơ tả - Mạng CNN pretrained theo toàn image classification với input đầu vào ảnh output feature vector - Mạng LSTM pretrained theo toán text generation với input đầu vào tạo câu description tới gặp 1.3 Dataset Flickr 8k (8091 ảnh) Mỗi hình có descriptions hỗ trợ việc đánh giá II Thực Nguyễn Trường Khoa Nguyên III Kế hoạch Giai đoạn tìm hiểu paper liên quan: - Paper CNN - Paper LSTM Text generation Giai đoạn training model - Training tập data flickr 8k - Chia thành 6000 liệu train 1000 liệu test 1515 16Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín Giai đoạn thử nghiệm - Sử dụng pretrained kiến trúc CNN khác : Inception, Xception Giai đoạn đánh giá - Sử dụng độ đánh giá bleu Giai đoạn cải tiến - Tham khảo paper giúp khả cải thiện mơ hình o Improving Image Captioning by Leveraging Knowledge Graphs o Image Captioning through Image Transformer IV Kết thu Sử dụng thơng qua mơ hình xception mang lại kết tốt với kết bleu 43% 1616 17Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín DANH MỤC TÀI LIỆU THAM KHẢO [1] Paper Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge [2] Bleu: a method for Automatic Evaluation of Machine Translation [3] https://machinelearningcoban.com/ [4] NLTK 3.5 documentation [5] Tensorflow for image captioning 1717 18Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín Tổng Kết Như vậy, vòng thời gian thực tập, em build base model để hoàn thành mục tiêu cơng việc, đồng thời từ tiếp tục xây dựng phát triển nghiên cứu để cải thiện model tương lai Chân thành cảm ơn giúp đỡ anh cơng ty Cảm ơn thầy Huỳnh Ngọc Tín giúp em hoàn thành báo cáo 1818 ... quảng cáo hiển thị, truyền thông, mua tự động, mobile 77 8Nguyễn Trường Khoa Nguyên TS.Huỳnh Ngọc Tín CHƯƠNG 2: NỘI DUNG THỰC TẬP Đợt thực tập vừa qua với chủ đề ? ?Xây dựng ứng dụng tạo mô tả cho hình. .. ảnh? ?? Việc xây dựng mơ hình tạo mơ tả cho ảnh khơng cho có đối tượng hình mà cịn phải cho thấy mối liên hệ đối tượng Để giải vấn đề nhận biết đối tượng cho thấy mối liên hệ chúng, kết hợp mơ hình. .. Nguyên TS.Huỳnh Ngọc Tín Mơ tả - Train mạng CNN theo mơ hình phân loại ảnh để rút kết đặc điểm hình - Sau rút kết feature hình tập train, đưa đặc điểm rút kết vào làm input cho mạng LSTM - Mạng LSTM