Xây dựng hệ thống nhận dạng lệnh tiếng việt điều khiển nhà thông minh

TĨM TẮT Đề tài khóa luận tốt nghiệp mà nhóm thực hệ thống nhận dạng lệnh giọng nói tiếng Việt để điều khiển nhà thơng minh Thay người dùng phải thực thao tác tay để điều khiển thiết bị IoT lắp đặt nhà người dùng cần lệnh giọng nói để thực cơng việc cách đơn giản Hệ thống nhận dạng lệnh nhận câu lệnh từ giọng nói tiếng Việt người dùng phát thông qua chức điều khiển thiết bị giọng nói từ ứng dụng chạy điện thoại thông minh (IOS Android) thực lệnh cách xác nhanh chóng Hiện hệ thống nhận lệnh như: bật, tắt, tăng, giảm thiết bị riêng biệt Ngoài ứng dụng điều khiển nhà thơng minh có đầy đủ chức hệ thống quản lý toàn diện : trang web admin để nhà phát triển quản lý thiết bị người dùng, trang web hay mobile app cho user thao tác thêm thiết bị , khu vực , quản lý thông tin , chia sẻ quyền sử dụng , hẹn hay xem lịch sử thiết bị Tp.Hồ Chí Minh, ngày tháng năm 2020 Nhóm thực ii MỤC LỤC LỜI CẢM ƠN i TÓM TẮT ii MỤC LỤC iii DANH MỤC HÌNH VẼ vi DANH MỤC BẢNG BIỂU viii DANH MỤC CÁC TỪ VIẾT TẮT ix PHẦN MỞ ĐẦU 1.Lý chọn đề tài 2.Mục tiêu đề tài 3.Phạm vi nghiên cứu 4.Phương pháp nghiên cứu PHẦN NỘI DUNG CHƯƠNG 1: TỐNG QUAN 1.1 Hệ thống nhận dạng giọng nói 1.1.1 Cơ sở lý thuyết 1.1.2 Mạng tích chập (CNN) 1.1.3 Kiến trúc chung mạng tích chập 1.1.4 Xử lý liệu train model 1.2 Hệ thống ứng dụng điều khiển 10 1.2.1 Cơ sở lý thuyết 10 1.2.2 REST API 10 1.2.3 Cơ chế truyền nhận liệu API hệ thống 11 1.3 Tổng quan Socket.io 11 1.3.1 Khái niệm socket 11 1.3.2 Cơ chế hoạt động Socket 12 1.3.3 Ứng dụng Socket đề tài 13 1.4 Tổng quan hệ thống IOT 13 1.4.1 Cơ sở lý thuyết 13 1.4.2 Thiết bị IoT hệ thống 13 1.4.3 Hoạt động thiết bị IoT 14 1.5 Tổng quan NodeJs 15 1.5.1 Cơ sở lý thuyết 15 1.5.2 Cơ chế hoạt động 16 1.6 Tổng quan MongoDB 17 iii 1.6.1 Ưu điểm mongoDB 18 1.6.2 Nhược điểm MongoDB 18 1.6.3 Sử dụng mongoDB 18 CHƯƠNG KHẢO SÁT VÀ PHÂN TÍCH 20 2.1 Khảo sát trạng 20 2.1.1 Trang web smarthome.com 20 2.1.2 Bkav Smart Home 21 2.1.3 Gen Smart Home 22 2.2 Xác định yêu cầu 22 2.2.1 Giới thiệu ứng dụng 22 2.2.2 Mô tả chức 23 2.3 Các UseCase Diagram 24 2.3.1 UseCase tổng quan 24 2.3.2 UserCase điều khiển thiết bị 24 2.3.3 UserCase thêm thiết bị 25 2.3.4 UserCase thêm khu vực 26 2.3.5 UserCase hẹn thiết bị 27 2.3.6 UserCase chia sẻ thiết bị 28 CHƯƠNG THIẾT KẾ HẾ THỐNG 30 3.1 Quy trình xử lý 30 3.2 Lược đồ sequence 31 3.3 Thiết kế liệu 31 3.3.1 User Model 32 3.3.2 Devices Model 33 3.3.3 Areas Model 33 3.3.4 History Model 34 3.3.5 Time Model 34 3.3.6 System Device Model 35 3.4 Thiết kế UI/UX 35 CHƯƠNG CÀI ĐĂT, THỰC NGHIỆM VÀ TỔNG HỢP 37 4.1 Cài đặt ứng dụng 37 4.3 Ứng dụng mobile 38 4.3.1 Màn hình đăng nhập dashboard 38 4.3.2 Màn hình quản lý cài đặt thiết bị 39 4.3.3 Màn hình hẹn chia sẻ thiết bị 40 4.3.4 Màn hình lịch sử thiết bị 41 iv 4.3.5 Màn hình thêm thiết bị 42 4.4 Trang web admin 43 4.4.1 Trang đăng nhập 43 4.4.2 Màn hình quản lý user 44 4.4.3 Màn hình quản lý thiết bị 45 4.5 Trang web user 46 4.5.1 Trang đăng nhập 46 4.5.2 Trang đăng kí 47 4.5.3 Màn hình trang chủ 48 4.5.4 Màn hình quản lý 49 4.5.5 Màn hình cài đặt thiết bị 50 4.6 Mơ hình nhà thơng minh 51 PHẦN KẾT LUẬN 52 Những kết đạt 52 Ưu điểm đề tài 52 Hạn chế đề tài 52 Hướng phát triển 53 TÀI LIỆU THAM KHẢO 54 PHỤ LỤC 55 v DANH MỤC HÌNH VẼ Hình 1.1 : Quang phổ spectrogram file âm Hình 1.2 : Cấu trúc layer model CNN Hình 1.3 : Ma trận độ xác Hình 1.4 : Biểu đồ đánh giá kết train model nhận diện 10 Hình 1.5 : Sơ đồ hoạt động REST API [2] 11 Hình 1.6 : Cơ chế hoạt động Socket 12 Hình 1.7 : Mạch thiết bị điều khiển 14 Hình 1.8 : Các thành phần NodeJs 15 Hình 1.9 : Cơ chế non- blocking 16 Hình 1.10 : Event loop NodeJs 17 Hình 1.11 : Biểu đồ so sánh hiệu suất 19 Hình 2.1 : Giao diện smarthome.com 20 Hình 2.2 : Giao diện Bkav SmartHome 21 Hình 2.3 : Giao diện Gen SmartHome 22 Hình 2.4 : Usecase tổng quan hệ thống 24 Hình 2.5 : UserCase điều khiển thiết bị 24 Hình 2.6 : UserCase thêm thiết bị 25 Hình 2.7 : UserCase thêm khu vực 26 Hình 2.8 : UserCase hẹn thiết bị 27 Hình 2.9 : UserCase chia sẻ thiết bị 28 Hình 3.1 : Sơ đồ xử lý liệu 30 Hình 3.2 : Sequence Diagram điều khiển 31 Hình 3.3 : Sơ đồ hình ứng dụng mobile 36 Hình 4.1: Màn hình đăng nhập 38 Hình 4.2 : Màn hình dashboard 38 Hình 4.3 : Màn hình khu vực 39 Hình 4.4 : Màn hình cài đặt 39 Hình 4.5 : Màn hình hẹn 40 Hình 4.6 : Màn hình chia sẻ 40 Hình 4.7 : Màn hình lịch sử 41 Hình 4.8 : Màn hình lệnh giọng nói 41 Hình 4.9 : Màn hình thêm thiết bị 42 Hình 4.10 : Màn hình tài khoản 42 Hình 4.11 : Màn hình đăn nhập admin 43 Hình 4.12 : Màn hình quản lý người dùng 44 vi Hình 4.13 : Màn hình quản lý thiết bị 45 Hình 4.14 : Màn hình đăng nhập user 46 Hình 4.15 : Màn hình đăng kí user 47 Hình 4.16 : Màn hình dashboard 48 Hình 4.17 : Màn hình quản lý 49 Hình 4.18 : Màn hình cài đặt 50 Hình 4.19 : Mơ hình nhà thơng minh 51 vii DANH MỤC BẢNG BIỂU Bảng 2.1 : Bảng mô tả UserCase 25 Bảng 2.2 : Bảng mô tả UserCase 26 Bảng 2.3 : Bảng mô tả UserCase 27 Bảng 2.4 : Bảng mô tả UserCase 28 Bảng 2.5 : Bảng mô tả UserCase 29 Bảng 3.1 : Bảng mô tả user model 32 Bảng 3.2 : Bảng mô tả Device Model 33 Bảng 3.3 : Bảng mô tả Area Model 33 Bảng 3.4 : Bảng mô tả History Model 34 Bảng 3.5 : Bảng mô tả Time Model 34 Bảng 3.6 : Bảng mô tả System Device Model 35 viii DANH MỤC CÁC TỪ VIẾT TẮT API : Application Program Interface CNN : Convolution Neural Network HTML : Hypertext Markup Language HTTP : Hyper Text Transfer Protocol IoT : Internet of Things REST : Representational State Transfer Application Programming Interface RNN : Recurrent Neural Network UC : Use Case ix PHẦN MỞ ĐẦU 1.Lý chọn đề tài Hiện nay, với phát triển mạnh mẽ cơng nghệ ứng dụng giải pháp thông minh với công nghệ ngày sử dụng rộng rãi không công ty, xí nghiệp lớn mà gia đình sử dụng Cuộc cách mạng cơng nghệ 4.0 mang đến gió cách giao tiếp người với vạn vật xung quanh trí tuệ nhân tạo (AI) Internet of things (IoT) Có thể nói hệ thống IoT hay smarthome đơn giản hóa sống người việc sử dụng thiết bị tích hợp hệ thống, thiết bị tự động trao đổi thông tin thực công việc giúp nâng cao chất lượng sống người Tuy nhiên, hệ thống IoT hay nhà thông minh dừng lại việc điều khiển thiết bị thông qua ứng dụng mà nhà cung cấp thiết bị phát triển chưa có phần điều khiển giọng nói tiếng Việt hay điều khiển có tích hợp API Google Home Vì vậy, nhóm thực định sử dụng kiến thức học trường với công nghệ đươc sử dụng lĩnh vực IoT để xây dựng hệ thống nhận dạng lệnh tiếng Việt điều khiển nhà thông minh 2.Mục tiêu đề tài Thông qua đề tài “Xây dựng hệ thống nhận dạng lệnh tiếng Việt điều khiển nhà thông minh”, nhóm thực mong muốn đạt mục tiêu sau: - Xây dựng hệ thống nhận dạng giọng nói tiếng Việt Phân tích thiết kế, quản lý ứng dụng theo quy trình phát triển phần mềm học - Tìm hiểu xây dựng ứng dụng đa tảng web, mobile (IOS Android) - Áp dụng công nghệ mới, mạnh mẽ sử dụng rộng rãi Đặc biệt đóng góp ứng dụng việc giải vấn đề tối ưu hóa việc sử dụng thiết bị IoT nay: tiêu thụ lượng, tăng tuổi thọ thiết bị, … 3.Phạm vi nghiên cứu - Hệ thống nhận dạng giọng nói tiếng Việt - Tìm hiểu nguyên lý hoạt động cách xây dựng hệ thống IoT - Tìm hiểu cơng nghệ sử dụng đề tài: - Nodejs - Socket.io - ReactJs - MongoDB - RESTful API - Python -Tìm hiểu triển khai nghiệp vụ quy trình phát triển phần mềm thực tế 4.Phương pháp nghiên cứu - Phương pháp điều tra: Nhóm thực khảo sát hệ thống ứng dụng có mục đích tương tự thị trường để phân tích xác định phù hợp với hệ thống - Phương pháp chuyên gia: Nhóm thực tham khảo ý kiến giảng viên hướng dẫn giảng viên giảng dạy khoa chuyên gia làm việc lĩnh vực nhà thông minh, hệ thống IoT, trí tuệ nhân tạo nhằm có giải pháp tối ưu thực -Phương pháp mơ hình hóa: Sau nghiên cứu phân tích ưu điểm nhược điểm hệ thống khác sau mơ hình hóa xây dựng lại chức quan trọng 4.5.4 Màn hình quản lý Hình 4.17 : Màn hình quản lý Màn hình quản lý thiết bị gồm chứng năng: thêm thiết bị, chia sẻ thiết bị, xoá thiết bị Tuy nhiên phiên web người dùng khơng hỗ trợ tính qt mã QR để them thiết bị vào khu vực hay hệ thống mà đòi hỏi người dùng phải nhập mã thiết bị để kiểm tra thêm Chức chia sẻ thiết bị yêu cầu người dùng phải nhập tên tài khoản tồn hệ thống, sau chia sẻ cho người dùng khác người dùng xố người dùng chía sẻ khỏi nhóm điều khiển thiết bị Người dùng xố thiết bị sở hữu khơng cịn nhu cầu sử dụng thiết bị hay thiết bị hư hỏng khơng cịn sử dụng 49 4.5.5 Màn hình cài đặt thiết bị Hình 4.18 : Màn hình cài đặt Những tính nâng cao thiết bị có hình cài đặt chi tiết cài đặt hẹn giờ, xem lịch sử hay thay đổi khu vực thiết bị Người dùng chọn hình thức lên lịch cho thiết bị lần lặp lại cách chọn thời gian, thao tác ngày lặp lại tuần Chức hỗ trợ cho người dùng thực công việc lặp lại có quy luật, tiết kiệm thời gian cho dùng hệ thống Lịch sử thiết bị hiển thị thao tác tất người dùng nhóm có quyền điều khiển thiết bị Vì vậy, người chủ sở hữu phát hành vi người dùng khác có ý đồ xấu thống kê lại thời gian sử dụng thiết bị phụ vụ cho mục đích tiết kiệm sử dụng hợp lý Khi người dùng muốn di chuyển thiết bị cài đặt khu vực sang khu vực khác, người dùng cần thay đổi khu vực trước thiết bị khu vực để tính tắt khu vực diễn xác 50 4.6 Mơ hình nhà thơng minh Hình 4.19 : Mơ hình nhà thơng minh Mơ hình nhà thơng minh gồm khuc vực phịng khách, phịng ngủ, phòng bếp, nhà vệ sinh, gara gắn thiết bị IoT giống nhà thông minh thực tế Nguồn cấp điện cho nhà 220V , thiết bị điện đèn quạt dùng điện 220V Nhóm thực cố gắng mơ lại cách thực tế hệ thống smart home tồn diện áp dụng thực tế 51 PHẦN KẾT LUẬN Những kết đạt Theo yêu cầu đề tài đặt ban đầu nhóm thực hoàn thành xong phần sau: - Hệ thống nhận dạng lệnh giọng nói tiếng Việt: hệ thống nhận dạng lệnh : “bật”, “tắt”, “tăng”, “gỉam” tên thiết bị riêng biệt khác - Ứng dụng mobile : Có thể chạy tảng Android IOS gồm chức : thêm khu vực, thiết bị cách quét mã QR nhập tay, điều khiển thiết bị thao tác tay lệnh giọng nói, chia sẻ quyền điều khiển cho người dùng khác hệ thống, đặt lịch hẹn cho thiết bị, xem lịch sử sử dụng thiết bị - Trang web cho user: trang web để user đăng kí , đăng nhập tài khoản sử dụng chức tương tự mobile.Tuy nhiên web khơng hỗ trợ tính lệnh giọng nói - Trang web Admin: Nhà phát triển sản phẩm thiết bị tạo thiết bị mới, định nghĩa thông số cho thiết bị, quản lý người dùng thiết bị - Mơ hình nhà thơng minh: Mơ hình nhà thơng minh gắn thiết bị IoT đèn bật tắt, đèn tăng giảm độ sáng , cảm biến nhiệt độ, độ ẩm Ưu điểm đề tài Hệ thống nhận dạng giọng nói bước đầu thực lệnh xử lý lệnh với độ xác cao Nhóm dùng phương thức truyền tải socket.io để tăng hiệu xử lý so với phương thức MQTT sản phẩm trước Đây giải pháp toàn diện để kết nối người dùng, nhà phát triển thiết bị kết nối dễ dàng thao tác nhà thông minh Hệ thống chạy đa tảng, giao diện đồng nhất, thao tác dễ dàng thực hiện, có mơ hình nhà thơng minh Hạn chế đề tài Ngồi tính mà nhóm làm cịn số hạn chế yếu tố khách quan server cịn chậm nhóm dùng miễn phí Amazon thiết bị IoT cịn đơn giản chưa thể điều khiển sâu 52 Dataset giọng nói nhóm tự ghi âm nên chưa nhiều đa dạng, lệnh train đơn giản Thiết bị IoT đơn giản chức Hướng phát triển Nhóm tiếp tục nghiên cứu cải thiện tốc độ xử lý trải nghiệm người dùng hệ thống Nhóm tìm hiểu mua thêm số linh kiện để làm thiết bị có hiệu cao đa dạng Dataset bổ sung nhiều lệnh, tăng số lượng độ khó Ứng dụng mobile nhóm cố gắng tăng tốc độ cải thiện giao diện để submit AppStore CH play Các tính mà nhóm dự định làm tiếp theo: camera chống trộn, ghi nhớ thói quen sử dụng để có số chức tự động, hệ thống gửi sms, email có cố Trang web admin dành cho nhà phát triển sẻ public cho sinh viên tồn trường có đam mê muốn tìm hiểu smarthome hệ thống IoT vào tạo tài khoản phát triển thiết bị riêng hỗ trợ hệ thống mà nhóm xây dựng 53 TÀI LIỆU THAM KHẢO [1] Phạm Đình Khánh (2019) , Blog Khoa học liệu , : Mạng tích chập https://phamdinhkhanh.github.io/2019/08/22/convolutional-neural-network.html (20/06/2020) [2] ItZone, chuyên mục lập trình, https://itzone.com.vn/vi/article/restful-api-la-gi/ (26/6/2020) [3] Wiki tiếng Việt, https://vi.wikipedia.org/wiki/Internet_V%E1%BA%A1n_V%E1%BA%ADt (26/02/2020) [4] https://kipalog.com/posts/Co-che-hoat-dong-cua-javascript-va-nodejs 54 PHỤ LỤC Kết chạy thực nghiệm trình train model: 55 Class diagram user 56 Luồn xử lý nhận dạng 57 Giao thức http truyền nhận liệu 58 Giao diện them thiết bị 59 Màn hình liên hệ đóng góp ý kiến 60 Mail forgot password 61 Mail xác thực tài khoản 62 Ý kiến đóng góp trang admin 63 ... nghệ đươc sử dụng lĩnh vực IoT để xây dựng hệ thống nhận dạng lệnh tiếng Việt điều khiển nhà thông minh 2.Mục tiêu đề tài Thông qua đề tài ? ?Xây dựng hệ thống nhận dạng lệnh tiếng Việt điều khiển. .. Hệ thống nhận dạng lệnh tiếng Việt điều khiển nhà thông minh bao gồm ứng dụng điều khiển , hệ thống nhận dạng lệnh mơ hình nhà thơng minh Người dùng 22 dùng ứng dụng điều khiển để thao tác với... nhiên, hệ thống IoT hay nhà thông minh dừng lại việc điều khiển thiết bị thông qua ứng dụng mà nhà cung cấp thiết bị phát triển chưa có phần điều khiển giọng nói tiếng Việt hay điều khiển có tích