Phát triển hệ thống trả lời tự động hỗ trợ người dùng học tiếng Anh trên thiết bị di động

Xây dựng một Chatbot dành riêng cho người học tiếng Anh. Hệ thống được cài đặt trên thiết bị di động và tương tác với người dùng thông qua cửa sổ chat. Chatbot cũng có khả năng tự động nhắc nhở người học trong việc ôn bài, gợi ý trả lời câu hỏi trắc nghiệm, học từ vựng, hay học các bài học mới. Nghiên cứu đã triển khai thí điểm trên phần mềm thực hành tiếng Anh sau gần 2 tháng với 3,649 người sử dụng.

NGHIÊN CỨU LÍ LUẬN Phát triển hệ thống trả lời tự động hỗ trợ người dùng học tiếng Anh thiết bị di động Phạm Xuân Lâm1, Trần Thị Mỹ Diệp2, Nguyễn Quỳnh Mai3 Email: lampx@neu.edu.vn Email: diepttm@neu.edu.vn Email: mainq@neu.edu.vn Trường Đại học Kinh tế Quốc dân 207 Giải Phóng, Hai Bà Trưng, Hà Nội, Việt Nam TÓM TẮT: Ứng dụng hệ thống trả lời tự động (Chatbot) học ngoại ngữ vẫn hạn chế Trong nghiên cứu này, xây dựng Chatbot dành riêng cho người học tiếng Anh Hệ thống cài đặt thiết bị di động tương tác với người dùng thơng qua cửa sổ chat Chatbot có khả tự động nhắc nhở người học việc ôn bài, gợi ý trả lời câu hỏi trắc nghiệm, học từ vựng, hay học học Nghiên cứu triển khai thí điểm phần mềm thực hành tiếng Anh sau gần 2 tháng với 3,649 người sử dụng Kết phân tích cho thấy, người dùng sử dụng hầu hết chức hệ thống hứa hẹn nhiều khả ứng dụng rộng rãi tương lai TỪ KHĨA: Hệ thống thơng minh; học tiếng Anh; hội thoại tự động Nhận 22/4/2020 Đặt vấn đề Chatbot phần mềm sử dụng để tương tác máy tính người ngơn ngữ tự nhiên Chatbot đời từ năm 1966, với việc trả lời đoạn hội thoại đơn giản Ngày nay, với kết hợp trí tuệ nhân tạo việc xử lí ngơn ngữ tự nhiên, chatbot ứng dụng vào nhiều lĩnh vực, hệ thống trả lời điện thoại tự động, hỗ trợ giáo dục, kinh doanh thương mại điện tử [1], [2], [3] Nhìn chung, mục tiêu nhà thiết kế chatbot xây dựng công cụ hỗ trợ thay cho số công việc người quản lí Tuy nhiên, với phát triển cơng nghệ, chatbot ngày thơng minh kì vọng ứng dụng thay vai trò người nhiều Gần đây, chatbot nhận nhiều quan tâm nhà nghiên cứu Một số nghiên cứu thực như: Ứng dụng chatbot hệ thống hỗ trợ người dùng trả lời câu hỏi thường gặp [3], [4], ứng dụng chatbot việc học [1], [2], [5], [6], hay nghiên cứu xây dựng tảng đánh giá hệ thống chatbot Tuy nhiên, chưa có nhiều nghiên cứu phát triển chatbot trợ lí ảo hỗ trợ học tập, đặc biệt thiết bị di động Trong nghiên cứu này, phát triển ứng dụng học tiếng Anh Trong ứng dụng này, chatbot tích hợp hoạt động trợ lí hỗ trợ ảo với mục đích hỗ trợ người dùng học tốt hơn, đồng thời đem lại hứng thú học tập cho người học Chúng tơi lưu tồn thông tin, hành vi người dùng lại để phân tích, nhằm cải thiện hệ thống tốt Bố cục viết bao gồm nghiên cứu liên quan đến việc sử dụng di động để học ngoại ngữ, nghiên cứu việc 32 TẠP CHÍ KHOA HỌC GIÁO DỤC VIỆT NAM Nhận chỉnh sửa 25/5/2020 Duyệt đăng 30/9/2020 sử dụng chatbot xây dựng hệ thống hỗ trợ việc học ngoại ngữ, tiếp đến tảng để xây dựng chatbot cách chatbot xây dựng phần mềm học tiếng Anh Cuối kết việc nghiên cứu triển khai thí điểm Nội dung nghiên cứu 2.1 Tổng quan 2.1.2 Chatbot vai trò chatbot hệ thống học tập Một số hệ thống Trí tuệ nhân tạo Chatbot làm thay đổi công nghệ cho giáo dục, điều thể rõ tổng kết Hubert [7] Theo viết này, có nhiều ứng dụng việc kết hợp trí tuệ nhân tạo chatbot giáo dục thấy như: Các hệ thống tự động chấm điểm, hệ thống trợ giúp học lặp để ghi nhớ, đánh giá môn học đánh giá SV, trợ lí giảng dạy, trợ lí học tập trường, hay hệ thống phản hồi cho SV Các thiết bị di động kết hợp với chatbot cung cấp công cụ để học ngôn ngữ cho SV Nó có nhiều lợi hoạt động lúc nơi đâu Một số nghiên cứu lợi ích việc tích hợp chatbot vào hệ thống học tập Từ lâu, L Fryer and R Carpenter [8] tiến hành khảo sát 211 người học sử dụng ứng dụng trả lời tự động lớp học Kết từ phản hồi người học cho thấy, hầu hết thích dùng chatbot Một số SV cho rằng, họ cảm thấy thoải mái nói chuyện với chương trình với bạn bè giáo viên Nghiên cứu Abbasi so sánh việc sử dụng chatbot Google Search việc học ngơn ngữ lập trình Phạm Xn Lâm, Trần Thị Mỹ Diệp, Nguyễn Quỳnh Mai OOP Kết cho thấy, việc sử dụng chatbot khiến người dùng ghi nhớ lâu nội dung học đạt kết học tập tốt [1] 2.1.2 Các tảng xây dựng chatbot Hiện có nhiều tảng giúp xây dựng chatbot cách nhanh chóng dễ dàng Các hãng công nghệ lớn phát triển tảng Chatbot riêng Dialogflow Google, Azure Bot Framework Microsoft, Bots on Messenger Facebook, Amazon Lex Amazon Ngoài ra, nhiều tảng Chatbot khác mạnh mẽ sử dụng nhiều như: ManyChat, Chatfuel, Converable, GupShup Một nghiên cứu tảng Chatbot phổ biến D Dutta [5] đánh giá tảng Dialogflow.com (API.ai), Wit.ai, Luis.ai Pandorabots.com cho nên sử dụng Dialogflow com để phát triển chatbot thơng minh tảng có khả xử lí sub-intent văn nhập và​tham gia vào hội thoại nhỏ với người học​truy cập thông qua trình duyệt web ứng dụng Android Dialogflow tảng phổ biến Nền tảng Google mua lại với tên ban đầu API.ai Để tạo Chatbot với Dialogflow, người dùng tạo Tác tử (Agent) khai báo Luồng chat (Intent) nhận yêu cầu người dùng Ngữ cảnh (Context) cụ thể Dữ liệu thường lưu Đám mây (Cloud) kết nối tới thông qua Hàm đám mây (Cloud function) Để triển khai hệ thống người quản lí sử dụng dịch vụ đám mây Google mà không cần xây dựng Máy chủ (Server) riêng 2.2 Thiết kế hệ thống 2.2.1 Kiến trúc chung hệ thống Hệ thống học ngoại ngữ thiết bị di động ứng dụng học tiếng Anh, lưu trữ toàn liệu nội dung học tiến trình học tập học sinh sở liệu sau hiển thị nội dung học tập module Thực hành (Practice), Ơn tập/kiểm tra (Review/Test) Hội thoại tự động (Chatbot) Chatbot sử dụng tảng Dialogflow việc xử lí ngơn ngữ tự nhiên thu nhận yêu cầu từ người dùng Kiến trúc hệ thống bao gồm liệu lưu trữ máy chủ (Google cloud datastore) gồm có nội dung học tập, tiến độ học tập, việc lưu trữ, truy cập hệ thống thông qua hàm Firebase Ba chức ứng dụng di động Thực hành, Ôn tập/kiểm Hội thoại tự động thông qua Process component tảng DialogFlow Google để hiển thị nội dung học tập Ngoài ra, thiết bị người dùng có thêm sở liệu giúp cho việc học ngoại tuyến Người sử dụng dùng chức để học Trong đó, module Thực hành cho phép người dùng luyện tập với câu hỏi trắc nghiệm, từ vựng Module Ơn tập/kiểm tra cho phép người dùng ơn luyện lại kiến thức học module Thực hành Tồn nội dung học ơn tập lưu trữ sở liệu tính tốn để hiển thị thơng qua Thành phần xử lí (Process component) Chức Hội thoại tự động tính hệ thống Cơng cụ cho phép nhận yêu cầu nội dung học người học hiển thị qua hình hội thoại (xem Hình 1) 2.2.2 Thiết kế hoạt động học tập Mỗi học viên thông thường chức Thực hành, sau học xong nội dung học ơn tập làm kiểm tra thơng qua chức Ơn tập/Kiểm tra Với chức này, phần mềm học tiếng Anh yêu cầu học sinh ôn tập lại nội dung học ngày, đồng thời cung cấp kiểm tra đánh giá trình độ học sinh ngày Chức Hội thoại tự động (chatbot) chức bổ sung cho phép người học thay đổi cách tương tác với hệ thống Bằng công cụ chatbot người học học, luyện tập hay ơn tập cách yêu cầu cho chatbot Chatbot thường xuyên nhắc nhở kiểm tra mức độ tiến người học Với thiết kế đó, chatbot hoạt động trợ lí ảo, nhận lệnh trả lời người học Chi tiết lệnh chatbot trình bày rõ phần sau Chatbot chủ động chat đưa nội dung ôn tập cho người học vào thời điểm cụ thể ngày Việc tính tốn thời gian để ơn tập thực với công thức lặp theo tần suất (Spaced repetition) 2.2.3 Thiết kế chatbot Chatbot thiết kế bao gồm luồng chat sau: - Giao tiếp thông thường: Chatbot huấn luyện để trả lời câu hỏi giao tiếp thông thường chào hỏi, cảm ơn, xin lỗi (xem Hình 1a) - Trả lời yêu cầu nội dung học: Người dùng yêu cầu bot cung cấp nội dung học ôn luyện, từ vựng cần học hay học ngữ pháp, tuỳ vào nội dung liệu sẵn có mà hệ thống đáp ứng yêu cầu người dùng khác Nội dung học đưa theo dạng card (xem Hình 1b) - Hỏi đáp nội dung học chi tiết: Khi người dùng ngữ cảnh học nội dung học bot cung cấp Ví dụ hỏi đáp từ vựng bot cung cấp (xem Hình 1c) - Nhắc người dùng ôn tập bài: Chatbot tự động báo người dùng quay trở lại ứng dụng để ôn tập lại nội dung học (xem Hình 1d) Người dùng trò truyện với bot, hội thoại thuộc ngữ cảnh khai báo trước Các câu Số 34 tháng 10/2020 33 NGHIÊN CỨU LÍ LUẬN (a) (b) (c) (d) Hình 1: Một số giao diện chức Hội thoại tự động nói hay yêu cầu người dùng kết hợp với ngữ cảnh để chatbot hiểu đưa câu trả lời xác Khi giao tiếp, đoạn hội thoại thuộc nhiều ngữ cảnh khác Các ngữ cảnh khai báo mục context tảng Dialogflow Với hệ thống học tiếng Anh di động, ngữ cảnh khai báo bao gồm: - Ngữ cảnh chung: Khi bắt đầu đoạn hội thoại ngữ cảnh kết thúc xem không thuộc ngữ cảnh thuộc ngữ cảnh chung - Ngữ cảnh làm trắc nghiệm: Người dùng yêu cầu bot cung cấp câu trắc nghiệm sau đoạn hội thoại đưa vào ngữ cảnh làm trắc nghiệm, câu nói người dùng bot liên quan đến câu trắc nghiệm đưa - Ngữ cảnh học từ vựng: Khi người dùng yêu cầu học từ vựng, bot đưa từ vựng để người dùng học Trong ngữ cảnh này, người dùng trao đổi với bot từ vựng yêu cầu bot đưa ví dụ sử dụng từ vựng - Ngữ cảnh ơn tập: Mỗi ngày, bot chủ động nhắc lại nội dung học tập cũ trắc nghiệm, đọc ngữ pháp, hay từ vựng để người dùng nhắc lại kiến thức, giúp ghi nhớ lâu Gợi ý chat chức quan trọng sử dụng trợ lí ảo tiếng Siri, Google Assistant, Alexa… Các hệ thống thường gợi ý người dùng câu sử dụng cách đưa danh sách trường hợp người dùng nói Nó giống mẫu câu gợi ý để người dùng dùng hệ thống học thêm mẫu câu trị truyện Điều thấy vào trợ lí ảo Siri, hệ thống hiển thị: “Những thứ bạn hỏi tơi” (Something you can ask me) kèm với loạt câu mẫu (xem Hình 2) trợ lí Google “Xin chào, tơi giúp gì” (Hi, how I can help) 34 TẠP CHÍ KHOA HỌC GIÁO DỤC VIỆT NAM Hình 2: Gợi ý chat Hình 3: Các từ gợi ý trò truyện Siri iOS Việc gợi ý chat quan trọng chức triển khai phần mềm chatbot, hay trợ lí ảo mà hệ thống phân phối trực tuyến Đặc điểm phân phối trực tuyến ứng dụng người dùng khơng đào tạo sử dụng, họ gặp khó khăn bắt đầu Ngoài ra, gợi ý chat giúp người dùng biết hết tính chatbot qua lần sử dụng Các từ gợi ý xuất thay đổi tuỳ theo ngữ cảnh Ví dụ, bắt đầu ứng dụng bot gợi ý từ để đưa người dùng vào ngữ cảnh học khác Trong ngữ cảnh cụ thể, ví dụ người dùng vừa trả lời sai câu hỏi trắc nghiệm (xem Hình 3) bot gợi ý câu cho người dùng chat tiếp như: “Đâu đáp án đúng” (which one is correct), “Giúp trả lời” (please help), hay “Đổi câu hỏi khác” (Change question) Người dùng sử dụng tiếng nói để nhập liệu thay gõ chọn từ Bot ứng dụng thiết kế có chức nhận diện giọng nói chuyển sang dạng chữ viết, giúp cho người dùng nhập liệu nhanh mà không cần sử dụng bàn phím ảo Bot cấu hình để tự phát giọng nói trả lời người dùng Mặc dù, công nghệ chuyển từ văn sang giọng nói cịn chưa thật hồn chỉnh việc Phạm Xuân Lâm, Trần Thị Mỹ Diệp, Nguyễn Quỳnh Mai dùng máy để đọc tự đọc văn cịn chưa thật giống người mạng lại lợi ích định Chức đặc biệt hữu ích người dùng có vấn đề thị giác khơng muốn nhìn vào hình mà muốn nghe nói đối thoại với người bình thường 2.3 Phương pháp nghiên cứu Nghiên cứu thực trực tuyến, người dùng tải ứng dụng với chatbot Phần mềm sử dụng đặt tên Thực hành tiếng Anh (English Practice) Ứng dụng phân phối qua kho ứng dụng Google Play Người dùng tải ứng dụng về, tự làm quen sử dụng Dữ liệu trình người dùng sử dụng lấy cách tự động để phân tích Các mục sau phần nói rõ ứng dụng phương pháp làm nghiên cứu Chatbot tích hợp vào phần mềm học tiếng Anh Phần mềm bao gồm chức cho phép người dùng Làm trắc nghiệm (Quiz), học từ vựng Bộ thẻ học (Flashcard sets), học ngữ pháp tiếng Anh với Bài học (Lessons), thực hành tiếng Anh với Phòng chat (Chatrooms), ghi lại chức Ghi (Notes) Ứng dụng English Practice đưa lên kho ứng dụng từ năm 2012 có triệu người sử dụng Tính English Practice phiên có chatbot tích hợp vào ngày 03 tháng năm 2018 đến ngày 28 tháng năm 2017 có 26,000 lượt người cài đặt cập nhật ứng dụng Có phiên triển khai phiên có chatbot khơng có chatbot Người dùng gán cách ngẫu nhiên vào nhóm khác Dữ liệu từ nhóm phân tích để thực nghiên cứu chuyên sâu sau Trong nghiên cứu, thực số đánh giá với nghiên cứu thí điểm nhóm có sử dụng Chatbot Người dùng tuyển chọn hồn tồn trực tuyến thơng qua ứng dụng di động Do hệ thống thiết kế đơn giản nên người dùng sử dụng mà không cần hướng dẫn Khi người dùng vào chức Hội thoại tự động lần có trang hướng dẫn cách sử dụng lời chào giới thiệu từ chatbot Tổng cộng có khoảng 14,000 người tham gia thí nghiệm, liệu thu thập khoảng thời gian gần tháng Ứng dụng phân phối tự kho ứng dụng nên người dùng đến từ nhiều nơi giới Ứng dụng không giới hạn đối tượng dùng thu thập thông tin cá nhân người dùng Tuy nhiên, theo thống kê từ Google Analytics, hầu hết người dùng đến từ Châu Á (56%), Châu Âu (21%) Thống kê giới tính cho thấy có 56% nam giới, 44% nữ giới Ngồi ra, gần nửa người dùng độ tuổi từ 18-24 25-34 Đa số người dùng sử dụng điện thoại di động (91%), có 9% lượng người dùng sử dụng máy tính bảng Dữ liệu lưu hồn tồn tự động bao gồm thông tin liên quan đến việc sử dụng chatbot người dùng Các thông tin thu thập bao gồm đoạn tin nhắn người dùng gửi cho bot, số lượng tin nhắn bot đáp ứng không đáp ứng Ứng dụng ghi nhận thông tin người dùng sử dụng chức nhập liệu hệ thống dùng văn bản, dùng gợi ý hay dùng tiếng nói 2.4 Kết đánh giá triển khai Nghiên cứu xác định xem với người dùng trực tuyến sử dụng chatbot hệ thống học tiếng Anh thiết bị di động Trong thời gian gần tháng kể từ lúc Chatbot tích hợp, số người dùng cài đặt ứng dụng khoảng 26,000, có khoảng 14,000 cài đặt phiên có chatbot Tuy nhiên, người dùng trực tuyến, có nhiều người dùng khơng sử dụng hết tồn chức hệ thống Chính điều đó, liệu thu thập cho thấy lượng người có vào sử dụng chatbot Cụ thể, số lượng người dùng có sử dụng chatbot 3,649 người, lí chatbot chức năng, người dùng thông thường biết chức chưa sử dụng hết chức hệ thống Ngoài ra, chatbot không chủ động giao tiếp, gửi tin nhắn thông qua thông báo thiết bị nguời dùng chưa vào sử dụng chatbot Số đoạn hội thoại người dùng chatbot 12,492 (M = 3.4 hội thoại/ người, SD = 5.8) Tổng số tin nhắn gửi 29,322 (M = 2.3 tin nhắn/lần sử dụng, SD = 3.4) Như vậy, thấy, đoạn hội thoại diễn ngắn Điều dễ hiểu người sử dụng không đào tạo sử dụng, nhiều người thao tác chức chatbot Mặt khác, phân tích câu chat cho thấy, người dùng thường không tiếp tục sử dụng sau gửi tin nhắn với bot mà không nhận kết mong muốn Thậm chí nhiều người cho chưa hiểu vai trò chatbot chưa sử dụng cơng cụ tương đương Một lí khác chatbot sử dụng ngơn ngữ tiếng Anh nên số người có ngoại ngữ khơng tốt thấy khó khăn giao tiếp Dựa vào thông tin thu thập người dùng sử dung chatbot, đoạn hội thoại 39% liên quan đến ngữ cảnh trắc nghiệm, 12% liên quan đến ngữ cảnh từ vựng, 2% liên quan đến ngữ cảnh học 47% đoạn hội thoại thông thường không thuộc ngữ cảnh thiết kế từ trước Những số dễ hiểu ngữ cảnh người dùng chủ yếu trắc nghiệm điều phối từ từ gợi ý chatbot Điểm thú vị số từ gợi ý dùng trắc nghiệm gấp lần số gợi ý học từ vựng Điều cho thấy người dùng sử dụng bị ảnh hưởng nhiều từ từ gợi ý, thay dùng chức chat Thật vậy, có đến 64% sử dụng từ gợi ý cho trước, 34% sử dụng văn bản, tỉ lệ nhỏ (2%) sử Số 34 tháng 10/2020 35 NGHIÊN CỨU LÍ LUẬN dụng tiếng nói để nhập liệu đa phần hệ thống không bắt ngữ cảnh người dùng nhập liệu theo dạng tiếng nói Kết luận Tương tác người chatbot công nghệ tiềm ứng dụng việc học ngoại ngữ Kết nghiên cứu cho thấy, người dùng tương tác tích cực với chatbot Mặc dù chatbot đánh giá khó sử dụng cần tập luyện hướng dẫn trước sử dụng, nhiên phân phối trực tuyến, chức nhận phản hồi tích cực từ phía người dùng Với 41 mẫu câu khai báo sẵn hệ thống theo ngữ cảnh, người dùng khai thác 80% số mẫu câu trình tương tác với chatbot Khi dùng chatbot, người dùng hầu hết sử dụng mẫu câu gợi ý chat có sẵn, số sử dụng giọng nói gõ để nhập liệu Các đoạn hội thoại người dùng giao tiếp từ đến câu Một số người dùng cho rằng, chatbot cịn thiết kế với độ sâu thấp, khơng bắt hết câu hỏi người dùng khiến họ kết thúc hội thoại sớm sau bot không đáp ứng yêu cầu Các thông tin liệu người dùng nghiên cứu thí điểm tiếp tục cập nhật để tiếp tục đào tạo cho chatbot thông minh thông qua việc khai báo thêm trường hợp sử dụng thêm kĩ thuật học máy Trong tương lai, nhóm nghiên cứu tiếp tục hoàn thiện hệ thống, bổ sung thêm luồng chat, ngữ cảnh loại thẻ học, đồng thời thử nghiệm nhóm người học khác để hệ thống ngày hoàn thiện Tài liệu tham khảo [1] S Abbasi and H Kazi, (2014), Measuring effectiveness of learning chatbot systems on Student’s learning outcome and memory retention, Asian Journal of Applied Science and Engineering, vol 3, no 2, pp 251-260 [2] L Benotti, M C Martínez, and F Schapachnik, (2014), Engaging high school students using chatbots, in Proceedings of the 2014 conference on Innovation & technology in computer science education, ACM, pp 6368 [3] N Thomas, (2016), An e-business chatbot using AIML and LSA, in Advances in Computing, Communications and Informatics (ICACCI), 2016 International Conference on, IEEE, pp 2740-2742 [4] A Shaw, (2012), Using chatbots to easily create interactive and intelligent faq webpages, Journal of Applied Global Research, vol 5, no 15 [5] D Dutta, (2017), Developing an Intelligent Chat-bot Tool to assist high school students for learning general knowledge subjects, Georgia Institute of Technology [6] J Jia, (2004), The study of the application of a web-based chatbot system on the teaching of foreign languages, in Society for Information Technology & Teacher Education International Conference, Association for the Advancement of Computing in Education (AACE), pp.1201-1207 [7] Hubert, Ways Artificial Intelligence and Chatbots Are Changing Education, https://chatbotsmagazine.com/ six-ways-a-i-and-chatbots-are-changing-educationc22e2d319bbf (accessed [8] L Fryer and R Carpenter, (2006), Bots as language learning tools, Language Learning & Technology DEVELOPING THE AUTOMATIC CONVERSATIONAL SYSTEM (CHATBOT) AS AN INTELLIGENT PERSONAL ASSISTANT FOR MOBILE ENGLISH LEARNING Pham Xuan Lam1, Tran Thi My Diep2, Nguyen Quynh Mai3 Email: lampx@neu.edu.vn Email: diepttm@neu.edu.vn Email: mainq@neu.edu.vn National Economics University 207 Giai Phong, Hai Ba Trung, Hanoi, Vietnam ABSTRACT: The application of automatic conversational system (chatbot) in learning foreign language ​​is still limited In this study, we built a chatbot dedicated to English learners The system whose name is English Practice is installed on the mobile devices and interacts with users through a window chat Chatbot is also able to automatically remind learners to study, suggest some answers to multiple choice questions, and help users in learning vocabulary or new lessons The research has been piloted on this software for nearly months with 3,649 users The result shows that most of the basic functions of the system are used by the users and this promises to be applied widely in the future KEYWORDS: Intelligence system; English learning; Automated Conversations 36 TẠP CHÍ KHOA HỌC GIÁO DỤC VIỆT NAM ... (Server) riêng 2.2 Thiết kế hệ thống 2.2.1 Kiến trúc chung hệ thống Hệ thống học ngoại ngữ thiết bị di động ứng dụng học tiếng Anh, lưu trữ tồn liệu nội dung học tiến trình học tập học sinh sở liệu... hệ thống dùng văn bản, dùng gợi ý hay dùng tiếng nói 2.4 Kết đánh giá triển khai Nghiên cứu xác định xem với người dùng trực tuyến sử dụng chatbot hệ thống học tiếng Anh thiết bị di động Trong... Các hệ thống thường gợi ý người dùng câu sử dụng cách đưa danh sách trường hợp người dùng nói Nó giống mẫu câu gợi ý để người dùng dùng hệ thống học thêm mẫu câu trò truyện Điều thấy vào trợ