Trợ lý ảo cho máy tính

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HCM ĐỒ ÁN CHUYÊN NGÀNH TRỢ LÝ ẢO CHO MÁY TÍNH Ngành CÔNG NGHỆ THÔNG TIN Chuyên ngành CÔNG NGHỆ PHẦN MỀM Giảng viên hướng dẫn T.

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HCM ĐỒ ÁN CHUYÊN NGÀNH TRỢ LÝ ẢO CHO MÁY TÍNH Ngành: CƠNG NGHỆ THƠNG TIN Chun ngành: CÔNG NGHỆ PHẦN MỀM Giảng viên hướng dẫn : TS Lê Thị Ngọc Thơ Sinh viên thực : Nguyễn Phước Hậu – 1811062674 Ngô Tấn Đăng – 1811061595 Hồ Sĩ Quỳnh Đức – 1811062104 TP Hồ Chí Minh, 202 LỜI CẢM ƠN Đầu tiên chúng em xin gửi lời cảm ơn chân thành Ban Giám Hiệu trường HUTECH - Khoa Công Nghệ Thông Tin viện công nghệ Việt - Nhật tạo điều kiện giúp đỡ chúng em thực đề tài chuyên ngành lần Tiếp đến chúng em xin chân thành cảm ơn cô Lê Thị Ngọc Thơ tận tâm hướng dẫn chúng em qua buổi meeting để trao đổi, đưa ý kiến, mặt sai sót giúp đỡ chúng em, ngồi giám sát chặt chẽ chúng em tiến độ hoàn thành tuần qua để hoàn thành tốt tiến độ đồ án Mặc dù cố gắng hoàn thiện đồ án mức tốt nhất, nhiên tìm hiểu xây dựng thời gian lượng kiến thức hạn chế đồ án chúng em không tránh khỏi thiếu sót Chúng em mong nhận quan tâm, thơng cảm đóng góp quý báu thầy để đồ án chúng em ngày hoàn thiện Chúng em xin chân thành cảm ơn! Sinh viên thực Nguyễn Thành Hậu Ngô Tấn Đăng Hồ Sĩ Quỳnh Đức LỜI CAM ĐOAN Chúng em xin cam đoan nghiên cứu qua hướng dẫn giảng viên Lê Thị Ngọc Thơ Các nội dung đồ án kết đồ án trung thực chưa cơng bố hình thức trước Trong trình làm đồ án chúng em có tham khảo tài liệu có nguồn gốc rõ ràng minh bạch Chúng em xin cam đoan có vấn đề liên quan đến đồ án chúng em xin chịu tồn trách nhiệm Sinh viên thực Nguyễn Thành Hậu Ngô Tấn Đăng Hồ Sĩ Quỳnh Đức MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC DANH MỤC HÌNH VẼ .6 DANH MỤC BẢNG BIỂU CHƯƠNG TỔNG QUAN 1.1 Lý hình thành đề tài 1.2 Mục tiêu đề tài CHƯƠNG CƠ SỞ LÝ THUYẾT 11 2.1 Ngơn ngữ lập trình 11 2.2 Công cụ hỗ trợ lập trình .12 CHƯƠNG PHÂN TÍCH THIẾT KẾ HỆ THỐNG 14 3.1 Xác định yêu cầu chất lượng 14 3.2 Xác định môi trường cài đặt 14 3.3 Kế hoạch vận hành 14 3.4 Yếu tố người 15 3.5 Các lược đồ .15 3.5.1 Đặc tả Use Case 15 3.5.2 Activity Diagram 16 CHƯƠNG CÀI ĐẶT VÀ KẾT QUẢ THỰC NGHIỆM 23 4.1 Import thư viện cần thiết khai báo biến mặc định cơng cụ lập trình Sublime Text .23 4.2 Chuyển văn thành âm (text – to – speech) 24 4.3 Chuyển âm thành nhận thành văn .24 4.4 Màn hình bắt đầu vào chương trình 24 4.5 Màn hình sau người dùng cho biết tên 25 4.6 Màn hình trợ lý ảo khơng nghe rõ người dùng nói 26 4.7 Màn hình trợ lý kết thúc chương trình với lời tạm biệt người dùng 27 4.8 Màn hình người dùng yêu cầu hiển thị danh sách việc mà trợ lý ảo làm 27 4.9 Màn hình người dùng sử dụng chức hỏi ngày tháng, giấc 28 4.10 Màn hình người dùng sử dụng chức mở ứng dụng 29 4.11 Màn hình người dùng sử dụng chức tìm kiếm google .30 4.12 Màn hình người dùng sử dụng chức xem dự báo thời tiết 31 4.13 Màn hình người dùng sử dụng chức tìm kiếm phát nhạc youtube 31 4.14 Màn hình người dùng sử dụng chức yêu cầu trợ lý giúp thay đổi hình máy tính 32 4.15 Màn hình người sử dụng chức yêu cầu chức mở web theo link url 33 4.16 Màn hình người sử dụng dùng chức chụp ảnh hình .34 4.17 Màn hình người dùng sử dụng chức xem tình hình dịch bệnh 35 4.18 Màn hình người dùng sử dụng chức tạo file .36 4.19 Màn hình người dùng sử dụng chức tạo thư mục 39 CHƯƠNG KẾT LUẬN VÀ KIẾN NGHỊ 40 5.1 Kết luận chung .40 5.1.1 Ưu điểm: .40 5.1.2 Nhược điểm: 40 5.2 Kiến nghị định hướng tương lai 40 TÀI LIỆU THAM KHẢO 42 DANH MỤC HÌNH VẼ Hình 2.1.1 Logo Python Hình 2.2.1 Visual Studio Code Hình 3.5.1.1 Use Case tổng quát Hình 3.5.2.1 Sơ đồ activity chức chào hỏi người dùng Hình 3.5.2.2 Sơ đồ activity chức cho biết ngày tháng giấc Hình 3.5.2.3 Sơ đồ activity chức tìm kiếm thư mục, tập tin Hình 3.5.2.4 Sơ đồ activity chức tìm kiếm google Hình 3.5.2.5 Sơ đồ activity chức tìm kiếm nhạc youtube Hình 3.5.2.6 Sơ đồ activity chức mở ứng dụng Hình 3.5.2.7 Sơ đồ activity chức mở website Hình 3.5.2.8 Sơ đồ activity chức chụp hình Hình 3.5.2.9 Sơ đồ activity chức tắt máy tính Hình 3.5.2.10 Sơ đồ activity chức xem thời tiết Hình 4.1.1 Các thư viện import thực chương trình Hình 4.1.2 Biến mặc định cho trình làm trợ lý ảo Hình 4.4.1 Giao diện bắt đầu vào chương trình Hình 4.5.1 Giao diện trợ lý ảo nhận tên người dùng Hình 4.6.1 Giao diện trợ lý ảo khơng nghe người dùng nói Hình 4.7.1 Giao diện trợ lý ảo kết thúc chương trình với lời tạm biệt Hình 4.8.1 Giao diện người dùng yêu cầu hiển thị danh sách việc làm Hình 4.9.1 Giao diện người sử dụng chức hỏi ngày tháng, giấc Hình 4.10.1 Giao diện người sử dụng chức mở ứng dụng (vd Microsoft Word) Hình 4.10.2 Giao diện người sử dụng yêu cầu mở ứng dụng chưa cài đặt Hình 4.11.1 Giao diện người sử dụng chức tìm kiếm google Hình 4.12.1 Giao diện người sử dụng chức xem dự báo thời tiết Hình 4.13.1 Giao diện người sử dụng chức tìm kiếm phát nhạc youtube Hình 4.14.1 Giao diện trước sử dụng chức thay đổi hình máy tính Hình 4.14.2 Giao diện sau sử dụng chức thay đổi hình máy tính Hình 4.15.1 Giao diện người sử dụng chức yêu cầu mở trang web theo link url Hình 4.16.1 Giao diện trợ lý chụp hình thành cơng Hình 4.16.2 Thư mục mà hình ảnh lưu trữ Hình 4.17.1 Giao diện thơng tin dịch bệnh người dùng sử dụng chức Hình 4.18.1 Giao diện người dùng muốn tạo file txt Hình 4.18.2 Giao diện người dùng muốn tạo file Word Hình 4.18.3 Giao diện người dùng muốn tạo file Exel Hình 4.18.4 Giao diện người dùng muốn tạo file Powerpoint Hình 4.18.5 Giao diện tên file khơng khơng có loại file Hình 4.18.6 Giao diện thư mực chứa file tạo Hình 4.19.1 Giao diện thư mục tạo DANH MỤC BẢNG BIỂU Bảng 3.1 Bảng xác định yêu cầu chất lượng phần mềm CHƯƠNG TỔNG QUAN 1.1 Lý hình thành đề tài Hiện tại, trí tuệ nhân tạo ứng dụng đời sống theo hai hướng: dùng máy tính để bắt chước q trình xử lý người thiết kế máy tính thơng minh độc lập với cách suy nghĩ người Theo thực tế cơng việc viết, đánh máy nói người làm việc tiết kiệm cơng sức nhất? Câu trả lời tất nhiên “Nói” Vì lại vậy? Bởi, người bình thường phút viết trung bình 30 từ, đánh máy 60 từ, nói tới 150 từ Do đó, để tối ưu cơng việc tối ưu việc hoạt động “nói” Sự phát triển nhanh chóng AI học máy giúp phát triển công nghệ nhận dạng giọng nói, cơng nghệ ngày sâu vào lĩnh vực sống Từ điều với việc thành viên nhóm mong muốn thử sức với AI nhóm định xây dựng “Trợ lý ảo cho máy tính” ngơn ngữ Python dành riêng cho nhóm 1.2 Mục tiêu đề tài Qua q trình nghiên cứu thảo luận nhóm đưa yêu cầu chức dự kiến có trợ lý ảo sau: • Ngơn ngữ sử dụng để xây dựng trợ lý ảo Python • Trợ lý ảo nghe hiểu người dùng nói trả lời lại tiếng Việt • Một số chức mà nhóm dự kiến làm với mức độ bản: ✓ Chào hỏi đơn giản với người sử dụng: Người dùng nói lời chào Bot trả lời lại tiếng Việt ✓ Cho biết ngày tại: Người dùng hỏi ngày Bot trả lời xác ngày ✓ Cho biết thời tiết thành phố: Người dùng hỏi thời tiết đưa thành phố muốn xem Bot đưa thông tin thời tiết thành phố cho người dùng ✓ Mở ứng dụng có cài đặt máy người dùng: Người dùng đưa tên ứng dụng, Bot kiểm tra máy có cài đặt ứng dụng mở cho người dùng, chưa cài đặt Bot báo ứng dụng chưa cài đặt để người dùng tiến hành cài đặt ✓ Mở trang web cụ thể người dùng yêu cầu: Người dùng đưa link url trang web Bot mở web với link url mà người dùng đưa ✓ Tìm kiếm google với từ khóa người dùng đưa ra: Người dùng đưa từ khóa để tìm kiếm Bot tiến hành đưa người dùng vào trang tìm kiếm với từ khóa Bot nhập vào tự động ✓ Gửi email cho người dùng: Người dùng yêu cầu Bot gửi email cho người dùng với email người nhận nhập sẵn source ✓ Tìm phát nhạc youtube: Người dùng muốn nghe hát cần đưa tên hát Bot tiến hành mở web youtube lên tiến hành search cho phát hát ✓ Tạo thư mục, file: Người dùng yêu cầu Bot tạo giúp thư mục, file để lưu trữ liệu mà người dùng mong muốn ✓ Thay đổi hình nền: Người dùng muốn thay đổi hình hình có sẵn Bot tiến hành tự động set hình cho máy tính ✓ Một vài chức sẵn có máy tính tắt máy tính, chụp hình, tìm kiếm thư mục, tập tin: Người dùng yêu cầu Bot làm giúp công việc sử dụng ✓ Có thể có thêm vài chức nhóm suy nghĩ thêm • Đối tượng phục vụ: Người sử dụng máy tính • Mơi trường cài đặt: Hầu hết hệ điều hành có cài đặt Python 10 Hình 4.8.1 Giao diện người dùng yêu cầu hiển thị danh sách việc làm 4.9 Màn hình người dùng sử dụng chức hỏi ngày tháng, giấc Chức nhóm sử dụng thư viện datetime để lưu thơng tin thời gian thời điểm ngày lưu vào biến, sau kiểm tra đoạn văn chuyển từ giọng nói người dùng có từ hay từ ngày tiến hành hiển thị lên hình ngày hành Hình 4.9.1 Giao diện người sử dụng chức hỏi ngày tháng, giấc 28 4.10 Màn hình người dùng sử dụng chức mở ứng dụng Khi xuất từ khóa đặc biệt trình duyệt hay văn hay trang tính biến lưu trữ văn nghe từ người dùng dùng hàm os.startfile() thư viện os để mở file ứng dụng từ hệ thống Còn ứng dụng chưa cài đặt hiển thị thơng báo “Ứng dụng chưa cài đặt ngồi hình” Hình 4.10.1 Giao diện người sử dụng chức mở ứng dụng (vd Microsoft Word) 29 Hình 4.10.2 Giao diện người sử dụng yêu cầu mở ứng dụng chưa cài đặt 4.11 Màn hình người dùng sử dụng chức tìm kiếm google Ở chức nhóm dùng biến search để lưu trữ chuỗi từ khóa người dùng muốn tìm kiếm, sau gọi hàm webdrive.Chrome để mở ứng dụng Google Chrome vào trang chủ google.com gắn biến tìm kiếm vào sau link url search khai báo sẵn hàm để thực tìm kiếm Hình 4.11.1 Giao diện người sử dụng chức tìm kiếm google 30 4.12 Màn hình người dùng sử dụng chức xem dự báo thời tiết OpenWeatherMap dịch vụ trực tuyến cung cấp liệu thời tiết Nó cung cấp liệu thời tiết tại, dự báo liệu lịch sử Trước hết nhóm phải đăng ký để lấy api key trang web Nhóm sử dụng biến để lưu trữ đường dẫn đến api web OpenWeatherMap, sau thực kết nối api trang web qua api key lấy sau đăng ký Sau lưu liệu trả cần cho trợ lý đọc file liệu dạng mp3 hiển thị lên hình thơng số thời tiết Hình 4.12.1 Giao diện người sử dụng chức xem dự báo thời tiết 4.13 Màn hình người dùng sử dụng chức tìm kiếm phát nhạc youtube Ở hàm nhóm khai báo biến để lưu trữ tên hát cần tìm kiếm, sau khai báo thêm biến lưu đường dẫn kết tìm kiếm thành cơng sau cần dùng hàm webbroser để mở link kết lưu theo tên biến 31 Hình 4.13.1 Giao diện người sử dụng chức tìm kiếm phát nhạc youtube 4.14 Màn hình người dùng sử dụng chức yêu cầu trợ lý giúp thay đổi hình máy tính Hàm mở file chứa hình ảnh thực việc tìm kiếm hình ảnh dựa theo biến lưu tên hình người dùng đọc, tìm thấy tên hình ảnh file tiến hành đổi cịn khơng trả thơng báo “phát âm sai tên hình ảnh” Hình 4.14.1 Giao diện trước sử dụng chức thay đổi hình máy tính 32 Hình 4.14.2 Giao diện sau sử dụng chức thay đổi hình máy tính 4.15 Màn hình người sử dụng chức yêu cầu chức mở web theo link url Hàm sử dụng hàm re.search() (Hàm tìm kiếm biểu thức quy Regular Expression) để tách phần domain biến khai báo để lưu trữ link người dùng đọc vào ghép với phần tiền tố "https://www." để tạo thành đường dẫn web Sau đó, sử dụng webbroser.open(url) để mở trang web u cầu 33 Hình 4.15.1 Giao diện người sử dụng chức yêu cầu mở trang web theo link url 4.16 Màn hình người sử dụng dùng chức chụp ảnh hình Đối với chức nhóm sử dụng thư viện pyautogui import vào từ bên phép máy giúp bạn tự động chụp lại ảnh hình lưu vào thư mục khai báo đường dẫn sẵn phần thực Hình 4.16.1 Giao diện trợ lý chụp hình thành cơng 34 Hình 4.16.2 Thư mục mà hình ảnh lưu trữ 4.17 Màn hình người dùng sử dụng chức xem tình hình dịch bệnh Hàm nhóm sử dụng web api đơn giản thông tin dịch bệnh covid cập nhật liên tục với thực tế, sau gửi request để lấy json từ web đưa thông tin lên giao diện chức Hình 4.17.1 Giao diện thông tin dịch bệnh người dùng sử dụng chức 35 4.18 Màn hình người dùng sử dụng chức tạo file Hình 4.18.1 Giao diện người dùng muốn tạo file txt Hình 4.18.2 Giao diện người dùng muốn tạo file Word 36 Hình 4.18.3 Giao diện người dùng muốn tạo file Exel Hình 4.18.4 Giao diện người dùng muốn tạo file Powerpoint 37 Hình 4.18.5 Giao diện tên file khơng khơng có loại file Hình 4.18.6 Giao diện thư mực chứa file tạo 38 4.19 Màn hình người dùng sử dụng chức tạo thư mục Hình 4.19.1 Giao diện thư mục tạo 39 CHƯƠNG KẾT LUẬN VÀ KIẾN NGHỊ 5.1 Kết luận chung Hệ thống trợ lý ảo lĩnh vực mà công ty công nghệ tập trung đầu tư nghiên cứu mạnh mẽ ngày phát triển Ứng dụng hệ thống trợ lý ảo dần đưa vào đời sống, tích hợp từ hệ thống chatbot tích hợp vào hệ thống giúp người tiết kiệm sức lực để hành động Qua đồ án này, nhóm chúng em đạt kết định: Đầu tiên chúng em tìm hiểu mơ hình hệ thống trợ lý ảo, cấu trúc hoạt động trợ lý ảo Và từ tìm hiểu cấu trúc, thuật toán ứng dụng sử dụng chức mơ hình trợ lý ảo Từ thực trợ lý ảo cho máy tính phù hợp với mục đích sử dụng nhóm Thứ hai việc làm việc nhóm với Lê Thị Ngọc Thơ giúp chúng em có thêm kiến thức, hiểu biết mảng trợ lý ảo 5.1.1 Ưu điểm: - Trợ lý ảo chạy hồn chỉnh - Chức mà nhóm đề đầu hầu hết chạy ổn định theo mức 5.1.2 Nhược điểm: - Giao diện sơ sài, nhóm build file thành exe chưa hoàn thành theo kiểu giao diện làm bắt mắt người dùng - Đơi có số lỗi xảy trình chức chạy (lỗi đọc file mp3, lỗi chen ngang chức năng) - Các chức hầu hết chức xử lý chưa thật tối ưu hay ho 5.2 Kiến nghị định hướng tương lai Qua kết đạt ban đầu chúng em nhận thấy nhiều việc phải làm muốn tối ưu trợ lý ảo Tuy đem lại kết tích cực tụi em muốn tiếp tục tìm hiểu sâu trợ lý ảo tiếp tục xây 40 dựng, cải tiến thêm chức cho tối ưu, hay để sử dụng cho nhiều mục đích nhóm sau 41 TÀI LIỆU THAM KHẢO [1] (2021) Công nghệ AI Được truy lục từ https://www.most.gov.vn/vn/tintuc/20614/cong-nghe-ai-cua-hien-tai-va-tuong-lai.aspx [2] (2020) Sự phát triển trợ lý ảo Được truy lục từ https://jobs.hybridtechnologies.vn/blog/su-phat-trien-cua-tro-lyao/#:~:text=Tr%E1%BB%A3%20l%C3%BD%20%E1%BA%A3o%20(c%C3 %B3%20th%E1%BB%83,v%C3%A0%20h%C3%A0ng%20tri%E1%BB%87u %20c%E1%BB%A5m%20t%E1%BB%AB [3] (2020) Tìm hiểu trợ lý ảo với Python Được truy lục từ https://viblo.asia/p/xaydung-mot-robot-tro-ly-ao-voi-python-that-don-gian-OeVKBWLQZkW [4] (2020) Tổng quan AI Được truy lục từ https://insights.magestore.com/posts/tong-quan-ai-artificial-intelligence [5] (2021) Tổng quan Python Được truy lục từ https://www.stdio.vn/python/tongquan-ve-python-Gyjcg 42 ... tìm hiểu mơ hình hệ thống trợ lý ảo, cấu trúc hoạt động trợ lý ảo Và từ tìm hiểu cấu trúc, thuật toán ứng dụng sử dụng chức mơ hình trợ lý ảo Từ thực trợ lý ảo cho máy tính phù hợp với mục đích... Giao diện trợ lý ảo kết thúc chương trình với lời tạm biệt 4.8 Màn hình người dùng yêu cầu hiển thị danh sách việc mà trợ lý ảo làm Khi người dùng khơng biết trợ lý làm việc u cầu trợ lý cho người... Python dành riêng cho nhóm 1.2 Mục tiêu đề tài Qua q trình nghiên cứu thảo luận nhóm đưa yêu cầu chức dự kiến có trợ lý ảo sau: • Ngơn ngữ sử dụng để xây dựng trợ lý ảo Python • Trợ lý ảo nghe hiểu