(Đồ án hcmute) xây dựng ứng dụng điều khiển iots bằng giọng nói

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ THÔNG TIN XÂY DỰNG ỨNG DỤNG ĐIỀU KHIỂN IOTS BẰNG GIỌNG NÓI GVHD: NGUYỄN HỮU TRUNG SVTT: HUỲNH VĂN KHEN MSSV: 15110234 SVTT: ĐẶNG TRƯƠNG DUY QUANG MSSV: 15110290 SKL 0 Tp Hồ Chí Minh, tháng 10/2018 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ PHẦN MỀM - - HUỲNH VĂN KHEN: 15110234 ĐẶNG TRƯƠNG DUY QUANG: 15110290 Đề tài: XÂY DỰNG ỨNG DỤNG ĐIỀU KHIỂN IOTS BẰNG GIỌNG NÓI KHÓA LUẬN TỐT NGHIỆP GIÁO VIÊN HƯỚNG DẪN ThS NGUYỄN HỮU TRUNG KHÓA 2015 – 2019 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA CƠNG NGHỆ THƠNG TIN BỘ MÔN CÔNG NGHỆ PHẦN MỀM - - HUỲNH VĂN KHEN: 15110234 ĐẶNG TRƯƠNG DUY QUANG: 15110290 Đề tài: XÂY DỰNG ỨNG DỤNG ĐIỀU KHIỂN IOTS BẰNG GIỌNG NÓI KHÓA LUẬN TỐT NGHIỆP GIÁO VIÊN HƯỚNG DẪN ThS NGUYỄN HỮU TRUNG KHÓA 2015 – 2019 an ĐH SƯ PHẠM KỸ THUẬT TP.HCM KHOA CNTT ****** XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ****** PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên 1: Huỳnh Văn Khen MSSV 1: 15110234 Họ tên Sinh viên 2: Đặng Trương Duy Quang MSSV 2: 15110290 Ngành: Công nghệ Thông tin Tên đề tài: Xây dựng ứng dụng điều khiển thiết bị IoTs giọng nói Giáo viên hướng dẫn: ThS Nguyễn Hữu Trung NHẬN XÉT Về nội dung đề tài khối lượng thực ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… Ưu điểm ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… Khuyết điểm ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… ……………………………………………………………………………………………… Đề nghị cho phản biện hay không? Đánh giá loại: Điểm TP.Hồ Chí Minh, ngày……tháng… năm 2019 Giảng viên hướng dẫn (Ký & ghi rõ họ tên) an ĐH SƯ PHẠM KỸ THUẬT TP.HCM KHOA CNTT ****** XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ****** PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên sinh viên 1: Huỳnh Văn Khen MSSV: 15110234 MSSV: 15110290 Họ tên sinh viên 2: Đặng Trương Duy Quang Ngành: Công nghệ thông tin Tên đề tài: Xây dựng ứng dụng điều khiển thiết bị IoTs giọng nói Giáo viên hướng dẫn: ThS Nguyễn Hữu Trung NHẬN XÉT: Về nội dung đề tài khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: Tp.Hồ Chí Minh, ngày … tháng … năm 2019 Giáo viên phản biện (Ký ghi rõ họ tên) an LỜI CẢM ƠN Trên thực tế khơng có thành cơng mà khơng gắn liền với hỗ trợ, giúp đỡ dù hay nhiều, dù trực tiếp hay gián tiếp người xung quanh Trong suốt thời gian học tập trường, chúng em nhận nhiều quan tâm, giúp đỡ q thầy cơ, gia đình bạn bè Em xin gửi lời cảm ơn chân thành đến Khoa Công Nghệ Thông Tin, trường Đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh tạo điều kiện cho chúng em thực đề tài Em xin kính gửi đến thầy Nguyễn Hữu Trung lời cảm ơn sâu sắc Trong khoảng thời gian vừa qua tận tình hướng dẫn, bảo chúng em suốt trình thực đề tài Chân thành cảm ơn tập thể Giáo viên Khoa Công Nghệ Thông Tin, trường Đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh giảng suốt khóa học kiến thức tảng kiến thức chuyên ngành Điều góp phần giúp cho chúng em hồn thành tốt đề tài Xin chân thành cảm ơn anh chị bạn bè ủng hộ, giúp đỡ, động viên em thời gian học tập nghiên cứu Em xin chúc Thầy Cô thành công nghiệp giảng dạy lĩnh vực sống Với quan tâm, dạy dỗ, bảo tận tình, chu đáo Thầy, đến em hoàn thành “Xây dựng ứng dụng điều khiển IoTs giọng nói” Trong phạm vi khả cho phép, chúng em cố gắng để hồn thành đề tài cách tốt Bên cạnh đó, chắn khơng tránh khỏi thiếu sót Chúng em kính mong nhận cảm thơng ý kiến đóng góp q báu Thầy Cơ để em học hỏi thêm nhiều kinh nghiệm hoàn thành tốt tương lai an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA CNTT ⁎⁎⁎⁎⁎⁎⁎ ĐỀ CƯƠNG ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên thực hiện: Huỳnh Văn Khen MSSV: 15110234 Đặng Trương Duy Quang MSSV: 15110290 Thời gian làm khóa luận từ 07/01/2019 đến 10/07/2019 Chuyên ngành: Công nghệ phần mềm Tên đề tài: Xây dựng ứng dụng điều khiển thiết bị IoTs giọng nói Giáo viên hướng dẫn: ThS Nguyễn Hữu Trung Nội dung thực Lý thuyết: Android Studio, Visual Studio, API, IoT, SQL Server, C#, công tắc cảm ứng, ESP8266, Dialogflow Thực hành: - Sử dụng api.ai google để tạo liệu nhận diện nội dung văn - Dùng RecognizerIntent để nhận diện giọng nói từ người dùng - Xây dựng database công cụ SQL Server - Sử dụng Visual Studio viết restful API - Sử dụng Android Studio để viết ứng dụng Android - Sử dụng thiết bị phần cứng để tương tác với ứng dụng an Kế hoạch thực STT Thời gian Công việc 15/02/2019 đến Phân tích yêu cầu chức cần phải làm 22/02/2019 Mơ hình hóa đặc tả u cầu 23/02/2019 đến Thiết kế sở liệu cho đề tài thiết kế giao diện điện 01/03/2019 thoại 02/03/2019 đến Tìm hiểu Google API, IoT, thiết bị phần cứng, cách 10/03/2019 gọi API 11/03/2019 đến Tìm hiểu mã hoá mật người dùng 18/03/2019 19/03/2019 đến Hệ thống phân luồng xử lý chức 26/03/2019 27/03/2019 đến Bắt đầu viết chương trình 04/04/2019 Hồn thành đăng nhập mã hố mật 05/04/2019 đến Tiến hành tìm hiểu Dialogflow tạo intent 14/04/2019 Dialogflow để tạo sở liệu nhận diện nội dung văn 15/04/2019 đến Tìm hiểu RecognizerIntent thư viện Android 25/04/2019 Dùng RecognizerIntent để nhận diện giọng nói chuyển từ giọng nói sang văn (text) an Lấy nội dung text gửi lên Dialogflow API để làm liệu đầu vào cho api.ai xử lý Dựa vào nội dung viết Dialogflow, trả cho ta file json 26/04/2019 đến Get file json trả từ Dialogflow, rút trích liệu đầu 05/05/2019 , action từ file json Xử lí thơng tin, liệu Test thiết bị phần cứng 10 11 06/05/2019 đến Tiến hành tìm lỗi sửa lỗi giao diện, xử lý, bất đồng 13/05/2019 sở liệu theo yêu cầu phần mềm 15/05/2019 đến Tiến hành viết báo cáo 15/06/2019 12 16/06/2019 đến Hoàn thiện báo cáo hoàn chỉnh phần mềm 23/06/2019 13 24/06/2019 đến Gặp giáo viên hướng dẫn để báo cáo chỉnh sửa lần cuối 01/07/2019 đem in Ý kiến giáo viên hướng dẫn Ngày … Tháng… năm 2019 (Ký ghi rõ họ tên) Người viết đề cương Đặng Trương Duy Quang an TÓM TẮT KHÓA LUẬN Với dự án ứng dụng điều khiển IoTs giọng nói giúp cho người có sống tiện lợi dễ dàng điều khiển thiết bị nhà giọng nói thơng qua ứng dụng điện thoại mà không trực tiếp đến để thực hành động tắt mở Đồng thời, ta kiểm soát thiết bị bật tắt từ dễ dàng tắt khơng cần sử dụng giúp tiết kiệm điện Khoá luận tiến hành theo trình tự tìm hiểu lý thuyết ứng dụng vào thực tế Sau tìm hiểu nội dung lý thuyết, chúng em bắt tay vào viết chương trình thực tế, gọi API Google, thiết kế liệu, giao diện, xử lý chức Sau hoàn thiện tất cả, chúng em tiến hành kiểm thử viết báo cáo an TextView Các nội dung người dùng nhập vào điều kiển giọng nói, sẻ thị danh sách textview , thông tin hệ thống trả  Sơ đồ biến cố: Trở hình Trang chủ Click Back Màn hình Switch Activity Click Switch Cập nhật trạng thái công tắc Click Tất Mở hình xem tất switch có project Click Mic Show dialog Google voice để người dùng điều khiển giọng nói Lấy nội dung edittext để thực yêu cầu edittext Hình 4- 14: : Sơ đồ biến cố hình Switch Activity Click icon ‘Send’ 4.1.2.7 Màn hình Xem tất Switch  Ý nghĩa: Cho phép người dùng xem tất switch có project tại, người dùng điều khiển 49 an  Chi tiết hình: Hình 4- 15: : Màn hình xem tất switch  Các đối tượng hình: Bảng 4-7: Bảng đối tượng Màn hình Xem tất switch STT Loại Ý nghĩa Button Trở hình Trang chủ người dùng chạm vào LinearLayout Khi người dùng chạm vào sẻ cập nhật trạng thái công tắc 50 an  Sơ đồ biến cố Màn hình Xem tất switch Click button Back Trở hình Trang chủ Cập nhật trạng thái cơng tắc Click LinearLayout item switchProject Hình 4- 16: : Sơ đồ biến cố hình xem tất switch 4.2 LƯỢC ĐỒ SEQUENCE DIAGRAM 4.2.1 Sequence Diagram cho Use case hình chờ Hình 4- 17: Sequence Diagram cho Use case hình chờ 51 an 4.2.2 Sequence Diagram cho Use case hình đăng nhập Hình 4- 18: Sequence Diagram cho Use case hình đăng nhập 4.2.3 Sequence Diagram cho Use case hình load device 52 an Hình 4- 19:Sequence Diagram cho Use case hình load device 53 an 4.2.4 Sequence Diagram cho Use case load switch Hình 4- 20: Sequence Diagram cho Use case load switch 4.2.5 Sequence Diagram cho Use case hình điều khiển bật tắt Hình 4- 21: Sequence Diagram cho Use case hình điều khiển bật tắt 4.2.6 Sequence Diagram cho Use case hình điều khiển giọng nói 54 an Hình 4- 22: Sequence Diagram cho Use case hình điều khiển giọng nói 55 an Chương 5: CÀI ĐẶT - KIỂM THỬ 5.1 CÀI ĐẶT PHẦN MỀM Với phầm mềm viết tảng Android, sau sản phảm triển khai CHPlay, người dùng đơn giản cần vào CHPlay tải ứng dụng Tiến thành thao tác thiết lặp hướng dẫn ứng dụng 5.1.1 Cài đặt môi trường Với việc cài đặt ứng dụng, yêu cầu người dùng sử dụng điện thoại android có API 21: Android 5.0 5.1.2 DBMS (Sql Server) Microsoft SQL Server phần mềm giúp bạn quản trị sở liệu tốt sử dụng rộng rãi học tập kể công việc  Yêu cầu hệ thống Để cài đặt Microsoft SQL Server hệ thống cần yêu cầu sau:  Os : Windows (32 bit 64 bit) trở lên  CPU : Pentium IV trở lên  Ram : Ít 1GB  Ổ đĩa trống: Ít 6GB  NET Framework: Phiên 3.5 SP1  Lưu ý trước cài đặt SQL SERVER Trước cài đặt Microsoft SQL Server bạn cần ý: Nên cài SQL Server trước cài Microsoft Visual Studio để tránh xung đột Phải cài Net Framework 3.5 trước mở file cài đặt SQL Server để tránh bị lỗi Phải cài SQL Server 2014 trước cài Red Gate SQL(SQL Toolbelt)  Cài đặt: Hiện trang web hướng dẫn chi tiết cài SQL Server có nhiều internet, sau số trang web tham khảo:  https://longvan.net/sql-server-la-gi.html 56 an  https://www.howkteam.vn/course/huong-dan-cai-dat/huong-dan-cai-dat-sql-server-102  https://youtu.be/pUjOF9-dQCY 5.2 KIỂM THỬ PHẦN MỀM Để kiểm thử phần mềm nhóm đủa số kiểm thử dành cho phần mềm trước đưa đến tay người dùng cuối sau: 5.2.1 Danh sách TestCase cho module Login Bảng 5-1: TestCase cho module Login ID Test Case Procedure Expected Output Inter-test case Result dependence 1 Tại hình login Hiện thị thơng báo tài Passed Nhập UserName không khoản mật nhập mật nhập không bỏ trống mật không nhập username Bấm nút Login Tại hình login - Nếu tài khoản Nhập tài khồn mật mật chưa validate Bấm nút Login thông báo chưa validate - tài khoản mật khơng xác thơng báo khơng xác - tài đăng nhập thành cơng mở hình Trang chủ 5.1.2 Danh sách TestCase cho module Trang Chủ 57 an Pass Bảng 5-2: TestCase cho module Trang Chủ ID Test Case Procedure Expected Output Inter-test case Result dependence Tại hình Trang chủ Mở hình xem tất Bấm nút Scenes device Tại hình Trang chủ Mở hình Switch Passed Passed Bấm vào item danh Activity chứa chi tiết sách device switch điều khiển Tại hình Trang chủ Màn hình sẻ chuyển Bấm vào icon menu hình login để Passed Bấm vào “Đổi người thay đổi tài khoản dùng” khác 5.1.3 Danh sách TestCase cho module Switch Bảng 5-3: TestCase cho module Switch ID Test Case Procedure Expected Output Inter-test case Result dependence Tại hình Switch Trở hình Bấm vào nút “Back” Trang chủ Tại hình Switch Mở hình Danh Bấm vào nút Xem tất sách Switch Tại hình Switch -Nếu switch Bấm vào item danh trạng thái bật sách switch chuyển sang tất, ngược lại - Thông báo switch cập nhật 58 an Passed Passed Passed Tại hình Switch - Hiện dialog cho Bấm vào mic người dùng Passed diều khiển giọng nói - Nội dung văn từ giọng nói thêm vào danh sách - Cập nhật trạng thái switch thông báo lỗi Tại hình Switch - Nội dung văn Bấm nhập nội dung điều thêm vào danh khiển sách Bấm vào icon “Send” -Thực thi yêu cầu nội dung văn - Thông báo thực thi xong 59 an Passed 5.1.4 Danh sách TestCase cho module Xem tất switch Bảng 5-4: TestCase cho module Xem tất switch ID Test Case Procedure Expected Output Inter-test case Result dependence 1 Tại hình Xem tất - Switch cập switch Passed nhật trạng thái Bấm vào item danh sách switch Tại hình Xem tất - Switch cập switch nhật hình Bấm vào item danh Trang Chủ sách switch Bấm nút “Back” 60 an Passed Phần 3: KẾT LUẬN KẾT QUẢ ĐẠT ĐƯỢC  Hoàn thành yêu cầu mục tiêu đề  Ứng dụng đáp ứng nhu cầu người sử dụng  Thời gian thực tương đối so với tiến độ dự kiến ban đầu  Xây dựng ứng dụng chạy tảng Android với chức điều khiển thiết bị điện tử việc nhập văn sử dụng giọng nói Giao diện đơn giản, dễ sử dụng thân thiện với người dùng  Nắm vững hiểu thêm kiến thức lập trình Android, nhúng, cách gọi API để nhận diện giọng nói CHƯA LÀM ĐƯỢC  Có từ nói, Google khơng thể nhận dạng để chuyển thành văn  Giao chưa bắt mắt đơn giản, chưa thu hút  Vẫn cịn thiếu sót mặt vật chất thiết bị để kiểm thử HƯỚNG PHÁT TRIỂN ĐỀ TÀI  Khắc phục hạn chế Google API khơng thể chuyển giọng nói thành văn  Sửa thiết kế lại giao diện cho đẹp thu hút  Tiếp tục phát triển ứng dụng chạy tảng IOS với liệu có sẵn 61 an DANH MỤC TÀI LIỆU THAM KHẢO [1] Adi Cucolaș, Dialogflow Restaurant Chatbot Tutorial | 1,Medium, https://chatbotslife.com/dialogflow-restaurant-bot-tutorial-1-45ce1d3c0ab5 , 2/5/2019 [2] Mr Hải, Lập Trình Ứng Dụng Android Là Gì ?, solutions giải pháp chúng tơi doanh thu bạn, http://www.hoanvusolutions.com.vn/lap-trinh-ung-dung-android-la-gi , 20/4/2019 [3] Intents, https://cloud.google.com/dialogflow/docs/intents-overview, 4/6/2019 [4] Internet of things gì?, http://iot.dtt.vn/InternetofThings.html , 20/5/2019 [5] TuanPM, Lập trình ESP8266 Arduino, https://arduino.esp8266.vn, 10/5/2019 [6] RecognizerIntent, https://developer.android.com/reference/android/speech/RecognizerIntent?fbclid= IwAR2lI10j1IOyrjeTyLcjmfFMhOsDh4nbN1qOudlsFcOg8egHEnmPYXWzD40, 25/5/2019 [7] nhóm thiết bị điện thông minh Lumi muốn sở hữu, https://lumi.net.vn/4-nhom-thiet-bi-dien-thong-minh-lumi-ai-cung-muon-so-huu , 11/5/2019 62 an an ... Tháng… năm 2019 (Ký ghi rõ họ tên) Người viết đề cương Đặng Trương Duy Quang an TÓM TẮT KHÓA LUẬN Với dự án ứng dụng điều khiển IoTs giọng nói giúp cho người có sống tiện lợi dễ dàng điều khiển. .. - - HUỲNH VĂN KHEN: 15110234 ĐẶNG TRƯƠNG DUY QUANG: 15110290 Đề tài: XÂY DỰNG ỨNG DỤNG ĐIỀU KHIỂN IOTS BẰNG GIỌNG NÓI KHÓA LUẬN TỐT NGHIỆP GIÁO VIÊN HƯỚNG DẪN ThS NGUYỄN HỮU TRUNG KHÓA 2015... Thầy, đến em hồn thành ? ?Xây dựng ứng dụng điều khiển IoTs giọng nói? ?? Trong phạm vi khả cho phép, chúng em cố gắng để hồn thành đề tài cách tốt Bên cạnh đó, chắn khơng tránh khỏi thiếu sót Chúng