Tìm hiểu chatbot và xây dựng ứng dụng hỗ trợ theo dõi xu hướng mạng xã hội (báo cáo cuối kì đồ án 1)

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM BÁO CÁO ĐỒ ÁN TÌM HIỂU CHATBOT VÀ XÂY DỰNG ỨNG DỤNG HỖ TRỢ THEO DÕI XU HƯỚNG MẠNG XÃ HỘI BUILDING CHATBOT APPLICATION TO SUPPORT FOLLOWING SOCIAL NETWORK TRENDS ĐỖ VĂN BẢO ĐẶNG ANH TÚ GIẢNG VIÊN HƯỚNG DẪN THS HUỲNH HỒ THỊ MỘNG TRINH TP HỒ CHÍ MINH, THÁNG NĂM 2022 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CƠNG NGHỆ THƠNG TIN KHOA CÔNG NGHỆ PHẦN MỀM BÁO CÁO ĐỒ ÁN TÌM HIỂU CHATBOT VÀ XÂY DỰNG ỨNG DỤNG HỖ TRỢ THEO DÕI XU HƯỚNG MẠNG XÃ HỘI BUILDING CHATBOT APPLICATION TO SUPPORT FOLLOWING SOCIAL NETWORK TRENDS ĐỖ VĂN BẢO - 19521238 ĐẶNG ANH TÚ -19520325 GIẢNG VIÊN HƯỚNG DẪN THS HUỲNH HỒ THỊ MỘNG TRINH TP HỒ CHÍ MINH, THÁNG NĂM 2022 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN TP HCM, ngày tháng năm 2022 NHẬN XÉT ĐỒ ÁN (CỦA CÁN BỘ HƯỚNG DẪN) Tên đề tài Đồ án 1: Tìm hiểu Chatbot xây dựng ứng dụng hỗ trợ theo dõi xu hướng mạng xã hội Nhóm sinh viên thực hiện: Cán hướng dẫn: ĐỖ VĂN BẢO 19521238 ThS Huỳnh Hồ Thị Mộng Trinh ĐẶNG ANH TÚ 19520325 Đánh giá Đồ án 1: Về báo cáo: Số trang Số chương Số bảng số liệu Số hình vẽ Số tài liệu tham khảo Sản phẩm Một số nhận xét hình thức báo cáo: ● Về nội dung nghiên cứu: ● ● Về chương trình ứng dụng: ● ● Về thái độ làm việc sinh viên: Đánh giá chung: Điểm sinh viên: Đỗ Văn Bảo: ……… /10 Đặng Anh Tú: ……… /10 Người nhận xét (Ký ghi rõ họ tên) Huỳnh Hồ Thị Mộng Trinh ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập – Tự Do – Hạnh Phúc CÔNG NGHỆ THÔNG TIN TP HCM, ngày tháng năm 2022 NHẬN XÉT ĐỒ ÁN (CỦA CÁN BỘ PHẢN BIỆN) Tên đề tài Đồ án 1: Tìm hiểu Chatbot xây dựng ứng dụng hỗ trợ theo dõi xu hướng mạng xã hội Nhóm sinh viên thực hiện: Cán phản biện: ĐỖ VĂN BẢO 19522138 ThS Huỳnh Hồ Thị Mộng Trinh ĐẶNG ANH TÚ 19520325 Đánh giá Đồ án 1: Về báo cáo: Số trang Số chương Số bảng số liệu Số hình vẽ Số tài liệu tham khảo Sản phẩm Một số nhận xét hình thức báo cáo: ● Về nội dung nghiên cứu: ● ● Về chương trình ứng dụng: ● ● Về thái độ làm việc sinh viên: Đánh giá chung: Điểm sinh viên: ĐỖ VĂN BẢO: ……… /10 ĐẶNG ANH TÚ: ……… /10 Người nhận xét (Ký ghi rõ họ tên) LỜI CẢM ƠN Nhóm chúng em xin gửi lời cảm ơn chân thành tri ân sâu sắc đến cô Huỳnh Hồ Thị Mộng Trinh hướng dẫn, tạo điều kiện cho nhóm chúng em tìm hiểu đề tài Chatbot theo dõi xu hướng mạng xã hội mơn Đồ Án Trong vịng 15 tuần, qua buổi học, nhờ hướng dẫn nhiệt tình cơ, chúng em tiếp thu kiến thức quan trọng, bổ ích Bên cạnh đó, chúng em xin cảm ơn bạn bè lớp động viên, thảo luận góp ý cho nhóm đồng thời khơi thêm nguồn động lực cho nhóm suốt q trình đầy khó khăn Mặc dù cố gắng hoàn thành báo cáo với tất nỗ lực song báo cáo nhóm chúng em chắn khơng tránh khỏi thiếu sót, chúng em mong nhận thơng cảm góp ý chân thành từ Nhóm em xin chân thành cảm ơn Thành phố Hồ Chí Minh, tháng năm 2022 Đỗ Văn Bảo Đặng Anh Tú ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA TRƯỜNG ĐẠI HỌC VIỆT NAM CÔNG NGHỆ THÔNG TIN Độc Lập - Tự Do - Hạnh Phúc TP HCM, ngày… tháng … năm 2022 ĐỀ CƯƠNG CHI TIẾT TÊN ĐỀ TÀI: Tìm hiểu Chatbot Xây dựng ứng dụng hỗ trợ theo dõi xu hướng mạng xã hội TÊN ĐỀ TÀI (TIẾNG ANH): Building Chatbot application to support following social network trends Cán hướng dẫn: ThS Huỳnh Hồ Thị Mộng Trinh Thời gian thực hiện: Từ ngày 06/03/2022 đến ngày 12/06/2022 Sinh viên thực hiện: Đỗ Văn Bảo – 19521238 Đặng Anh Tú – 19520325 Tóm tắt nội dung đề tài Lý chọn đề tài: Hiện tảng mạng xã hội lên thứ thiết yêu sống người Trên tảng có nội dung để giữ chân người sử dụng, nội dung bật xu hướng cập nhật hàng giúp cho người dùng cập nhật tin tức cách nhanh chóng Việc theo dõi xu hướng đem lại nhiều lợi ích tới với người dùng Đồng thời nhu cầu chia sẻ thông tin với tốc độ nhanh chóng, tiện lợi nhu cầu gần tất yếu người Đáp ứng nhu cầu đó, ứng dụng giao tiếp, mạng xã hội xuất ngày nhiều, kéo theo thời lượng sử dụng ứng dụng đốt thời gian ngày cao nhiều mục đích khác học tập, giải trí, giao tiếp, … Chính chúng em định chọn đề tài để giúp người dùng mạng xã hội có cơng cụ để theo dõi xu hướng cách tảng mạng xã hội cách dễ dàng Tình trạng nay: − Chatbot chủ yếu dựa liệu có sẵn mà khơng cập nhật thời gian thực − Một số chatbot trả lời cách spam tin nhắn gây lost focus người dùng − Một số chatbot khác lại lựa chọn trả lời toàn nội dung chủ đề, thực tế người dùng không cần nhiều thông tin đến − Nhiều thông tin bị lỗi thời cập nhật chưa xác − Chưa có cơng cụ hỗ trợ mơ tả trực quan sinh động − Khó khăn thời gian việc tìm kiếm thơng cần thiết − Mất tập trung lý khác ⇒ Vì lý dó nhóm định xây dụng chatbot giúp hỗ trợ việc theo dõi xu hướng mạng xã hội cách dễ dàng Qua đáp ứng nhu tìm kiếm thơng tin người dùng cách nhanh bắt kịp xu hướng Mục tiêu: Xây dựng chatbot: + Giao tiếp hành động + Theo dõi xu hướng tảng TikTok + Theo dõi xu hướng tảng Youtube + Hệ thống khuyến nghị xu hướng + Áp dụng xử lý ngôn ngữ tự nhiên để giao tiếp Phạm vi: Phạm vi môi trường: Facebook Messenger Phạm vi chức năng: − Đối với chatbot: + Có khả trả lời câu hỏi giao tiếp đơn giản + Tìm kiếm cung cấp thơng tin xu hướng + Chatbot hiểu tương đối ngôn ngữ tự nhiên Đối tượng sử dụng: − Những người muốn cập nhật thông tin xu hướng mạng xã hội để giải trí − Nhà sáng tạo nội dung muốn cập nhật thông tin xu hướng để phục vụ cho công việc thân Phương pháp thực hiện: Phương pháp làm việc: − Làm việc nhóm thành viên thơng qua phương thức online offline hướng dẫn giảng viên hướng dẫn Phương pháp nghiên cứu: − Phân tích nhu cầu sử dụng đối tượng người dùng − Nghiên cứu tài liệu công nghệ liên quan Phương pháp cơng nghệ: − Tìm hiểu cách thức xây dựng Messenger Chatbot − Xây dựng Server backend để thao tác với liệu − Tìm hiểu tốn xử lí ngơn ngữ tự nhiên Nền tảng công nghệ: API bên thứ Bao gồm API bên thứ cung cấp cho Chatbot thông tin để xây dựng phản hồi cho người dùng ví dụ Youtube API, TikTok API, … Framework hỗ trợ xử lý ngôn ngữ tự Rasa NLU Rasa Core nhiên điều hướng hành động hệ thống chatbot Bảng 4-1 Mô tả kiến trúc hệ thống 4.2 Thiết kế luồng xử lý 4.2.1 Luồng xử lý chức tương tác với Chatbot Hình 4-2 Luồng xử lý chức tương tác với Chatbot 44 4.2.2 Luồng xử lý truy vấn top xu hướng Youtube Hình 4-3 Luồng xử lý truy vấn top xu hướng tảng Youtube 45 4.2.3 Luồng xử lý truy vấn top xu hướng TikTok Hình 4-4 Luồng xử lý truy vấn top xu hướng tảng TikTok 46 4.2.4 Luồng xử lý truy vấn xu hướng theo thể loại TikTok Hình 4-5 Luồng xử lý truy vấn xu hướng theo thể loại tảng TikTok 47 4.2.5 Luồng xử lý truy vấn xu hướng theo thể loại Youtube Hình 4-6 Luồng xử lý truy vấn xu hướng theo thể loại targ Youtube 48 4.2.6 Luồng xử lý truy vấn xu hướng theo từ khóa Hình 4-7 Luồng xử lý truy vấn xu hướng theo từ khóa 49 4.2.7 Luồng xử lý chức gợi ý xu hướng cho người dùng Hình 4-8 Luồng xử lý chức gợi ý xu hướng người dùng 50 Chương Kết dự án 5.1 Giới thiệu sản phẩm Như vậy, sau tháng thực đồ án, nhóm phát triển hồn thành ứng dụng TrendBot Ứng dụng hệ thống chatbot theo dõi xu hướng mạng xã hội tảng Facebook Messenger Hỗ trợ tính chính: • Giao tiếp chào hỏi, khen, chê • Chức theo dõi xu hướng tảng TikTok • Chức theo dõi xu hướng tảng Youtube • Chức khuyến nghị xu hướng cho người dùng Từ trình làm đồ án, nhóm phát triển rút nhiều kinh nghiệm kiến thức: • Kinh nghiệm làm việc nhóm • Kinh nghiệm tìm hiểu thuật tốn xu hướng, gợi ý người dùng tảng mạng xã hội • Kinh nghiệm tìm hiểu tốn Machine Learning/Deep Learning • Kinh nghiệm sử dụng mạng nơ ron tốn xử lý ngơn ngữ tự nhiên • Kinh nghiệm xây dựng hệ thống Chatbot với Rasa 5.2 Môi trường triển khai 5.2.1 Backend Môi trường Backend viết Python 3.7 kết hợp Rasa framework 5.2.2 Frontend Môi trường Frontend triển khai Facebook Messenger 51 5.3 Chức sản phẩm Chức TrendBot cho phép người dùng giao tiếp với hệ thống chatbot thông qua tảng Facebook Messenger với tính bản: • Giao tiếp • Theo dõi xu hướng tảng TikTok • Theo dõi xu hướng tảng Youtube • Theo dõi xu hướng theo thể loại tảng TikTok • Theo dõi xu hướng theo thể loại tảng Youtube • Theo dõi xu hướng theo từ khóa tảng TikTok • Theo dõi xu hướng theo từ khóa tảng Youtube • Gợi ý xu hướng cho người dùng 5.4 Đánh giá mức độ hoàn thiện UC Tên ca sử dụng Trạng thái Độ ưu tiên Hoàn thành Cao Module 1: Hệ thống xác thực người dùng 1-1 Đọc thông tin user facebook Module 2: Hệ thống Chatbot 2-1 Gửi tin nhắn Hoàn thành Cao 2-2 Gửi tin nhắn chữ Hoàn thành Cao 2-3 Gửi tin nhắn kèm hình ảnh, nút Hồn thành Trung bình nhấn 2-4 Nhận tin nhắn Hồn thành 52 Cao 2-5 Nhận tin nhắn thông qua nút nhấn Hoàn thành Trung binh 2-6 Phản hồi tin nhắn chưa hiểu Hồn thành Cao 2-7 Gợi ý thơng tin xu hướng Hồn thành Trung bình Module 3: Truy vấn thông tin 3-1 Truy vấn thông tin xu hướng Hồn thành Cao tảng TikTok 3-2 Truy vấn thơng tin xu hướng Hoàn thành Cao tảng Youtube 3-3 Truy vấn thơng tin theo từ khóa Hồn thành Cao tảng TikTok 3-4 Truy vấn thông tin theo từ khóa Hồn thành Cao tảng Youtube 3-5 Truy vấn thơng tin theo thể loại Hồn thành Cao tảng TikTok 3-6 Truy vấn thông tin theo thể loại Hoàn thành Cao tảng Youtube Module 4: Hệ thống quản lý thông báo 4-1 Đăng ký thơng báo Hồn thành Trung bình 4-2 Gửi thơng báo Hồn thành Trung bình 4-3 Nhận thơng báo Hồn thành Trung bình 53 4-4 Hủy đăng ký nhận thơng báo Chưa hồn thành Bảng 5-1 Đánh giá mức độ hoàn thiện chức 54 Thấp Chương Kết luận 6.1 Đánh giá kết làm việc Sau trình tháng thực dự án, nhóm phát triển tự tin sản phẩm cuối nhóm đạt mục tiêu đề từ ban đầu việc xây dựng ứng dụng Chatbot trợ lý ảo hỗ trợ xử lý ngôn ngữ tự nhiên mạng nơ-ron truyền thằng Từ mở lối cho hướng phát triển sau để thực đưa sản phẩm vào ứng dụng thực tế Trong trình phát triển dự án Nhóm phát triển nhận định số thuận lợi khó khăn sau 6.1.1 Thuận lợi ● Nhóm phát triển có đam mê với ý tưởng dự án, có hứng thú với giao tiếp người máy nói chung, chatbot nói riêng ● Tài liệu xử lý ngôn ngữ tự nhiên cho tiếng Việt tương đối dồi ● Giảng viên tận tình giúp đỡ, giải đáp thắc mắc trình thực đồ án ● Các cơng nghệ liên quan có cộng đồng phát triển tương đối ổn định, dễ dàng việc tìm kiếm giúp đỡ mặt kỹ thuật ● Vận dụng kiến thức, quy trình phát triển học ● Tài liệu cài đặt Chatbot đa dạng 6.1.2 Khó khăn ● Do lần đầu sử dụng số cơng nghệ, thư viện nên cịn có chút trục trặc ● Tình hình dịch COVID-19 hạn chế khả gặp mặt trực tiếp giảng viên hướng dẫn ● Một số vấn đề khó giải quản lý ngữ cảnh, quản lý nhiều thực thể đặt tên loại văn ● Dữ liệu hội thoại cho tiếng Việt khơng có nhiều 55 6.2 Bảng phân chia công việc STT Mô tả công việc Sinh viên Đỗ Văn Bảo Mức độ hồn thành • Cài đặt code base khởi tạo 100% Chatbot • Thực thi luồng xử lý liên quan tảng TikTok • Chuẩn bị báo cáo Đặng Anh Tú • Cài đặt việc triển khai hệ thống 100% lên tảng Messenger • Thực thi luồng xử lý liên quan tảng Youtube • Chuẩn bị báo cáo Bảng 6-1 Bảng phân chia công việc 6.3 Ưu điểm nhược điểm 6.3.1 Ưu điểm ● Xây dựng hệ thống Chatbot cung cấp thông tin với trung tâm hệ thống Chatbot hỗ trợ Rasa ● Có khả xử lý ngơn ngữ tự nhiên ● Có khả trả lời số câu hỏi liên quan đến xu hướng tảng mạng xã hội ● Hỗ trợ thông báo Push Notification ● Triển khai tảng Messenger dễ tiếp cận với người dùng ● Tốc độ phản hồi tương đối nhanh, chịu số lượng người dùng đáng kể sử dụng hệ thống 56 ● Sinh viên biết cách sử dụng công nghệ tảng (Python) để hoàn thiện hệ thống Chatbot cung cấp thông tin ● Sinh viên biết cách thiết kế Chatbot ý thức trở ngại thiết kế hệ thống Chatbot ● Sinh viên làm việc theo nhóm tương đối hiệu ● Phần mềm có tảng tốt để phát triển tiếp sau (sẽ làm rõ phần 6.4) 6.3.2 Nhược điểm ● Chưa triển khai nhiều tảng ● Phần xử lý ngơn ngữ tự nhiên cịn có lúc gặp trục trặc ● Dữ liệu huấn luyện chưa đủ lớn ● Hệ thống gợi ý câu hỏi ● Lượng thơng tin truy vấn cịn giới hạn 6.4 Hướng phát triển Với tảng tương đối chắn có hứa hẹn, nhóm phát triển đưa hướng phát triển sau cho ứng dụng ● Tối ưu hóa hệ thống để chịu áp lực từ nhiều người dùng ● Tăng cường huấn luyện Chatbot tìm cách để liên tục bổ sung cho Chatbot kiến thức thơng qua hội thoại trước ● Bổ sung thêm vào sở liệu tri thức Chatbot ● Cải thiện tảng triển khai tảng truy vấn thông tin ● Cải thiện chức giao tiếp với người dùng thông qua Push Notification ● Cải thiện hệ thống khuyến nghị ● Các cải thiện hi vọng đưa dự án lên trở thành trợ lý ảo chuyên biệt cho tiếng Việt 57 Chương Tài liệu tham khảo [1] Rasa Docs, "Rasa: Developer Documentaion Portal" [Online] Available: Rasa: Developer Documentation Portal | Rasa [2] Rasa Docs, "Introduction to Rasa Open Source" 11 24 2021 [Online] Available: Introduction to Rasa Open Source [3] Underthesea Docs, "Underthesea – Vietnamese NLP Toolkit" 2018 [Online] Available: Underthesea - Vietnamese NLP Toolkit — Under The Sea 1.1.9 documentation [4] fastText Resouces, "Word vectors for Vietnameses" [Online] Available: Word vectors for 157 languages · fastText [5] Facebook Docs, "Messenger Developer Tools for Business" [Online] Available: Facebook Developer Docs | Facebook APIs, SDKs & Guides [6] Phạm Hữu Quang, "Rasa chatbot: Tăng khả chatbot với custom component custom tokenization" 03 16 2020 [Online] Available: Rasa chatbot: Tăng khả chatbot với custom component custom tokenization(tiếng Việt + tiếng Nhật) (viblo.asia) [7] RasaHQ, "Rasa NLU Examples" [Online] Available: RasaHQ/rasa-nluexamples: This repository contains examples of custom components for educational purposes (github.com) [8] Python Software Foundation, "Python 3.7 Documentation" 03 16 2022 [Online] Available: 3.7.13 Documentation (python.org) 58 ... HCM, ngày tháng năm 2022 NHẬN XÉT ĐỒ ÁN (CỦA CÁN BỘ HƯỚNG DẪN) Tên đề tài Đồ án 1: Tìm hiểu Chatbot xây dựng ứng dụng hỗ trợ theo dõi xu hướng mạng xã hội Nhóm sinh viên thực hiện: Cán hướng dẫn:... CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM BÁO CÁO ĐỒ ÁN TÌM HIỂU CHATBOT VÀ XÂY DỰNG ỨNG DỤNG HỖ TRỢ THEO DÕI XU HƯỚNG MẠNG XÃ HỘI BUILDING CHATBOT APPLICATION TO SUPPORT FOLLOWING SOCIAL NETWORK... TÊN ĐỀ TÀI: Tìm hiểu Chatbot Xây dựng ứng dụng hỗ trợ theo dõi xu hướng mạng xã hội TÊN ĐỀ TÀI (TIẾNG ANH): Building Chatbot application to support following social network trends Cán hướng dẫn: