Nghiên cứu thiết kế và thi công trợ lý ảo giao tiếp bằng giọng nói

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ VÕ THÀNH NHÂN NGHIÊN CỨU THIẾT KẾ VÀ THI CƠNG TRỢ LÝ ẢO GIAO TIẾP BẰNG GIỌNG NĨI NGÀNH: KỸ THUẬT ĐIỆN TỬ Tp Hồ Chí Minh, tháng 11/2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ VÕ THÀNH NHÂN NGHIÊN CỨU THIẾT KẾ VÀ THI CÔNG TRỢ LÝ ẢO GIAO TIẾP BẰNG GIỌNG NÓI NGÀNH: KỸ THUẬT ĐIỆN TỬ Hướng dẫn khoa học: PGS TS TRƯƠNG NGỌC SƠN Tp Hồ Chí Minh, tháng 9/2022 LÝ LỊCH KHOA HỌC (Dùng cho nghiên cứu sinh & học viên cao học) I LÝ LỊCH SƠ LƯỢC: Họ & tên: Võ Thành Nhân Giới tính: Nam Ngày, tháng, năm sinh: 14/03/1995 Nơi sinh: Đồng Nai Quê quán: Phú Hưng, TP Bến Tre, Bến Tre Dân tộc: Kinh Chức vụ, đơn vị công tác trước học tập, nghiên cứu: Chỗ riêng địa liên lạc: 60 Tô Vĩnh Diện, KP5, phường Linh Chiểu, TP Thủ Đức, TP Hồ Chí Minh Điện thoại quan: Điện thoại nhà riêng: 0967619672 Fax: E-mail: thanhnhan140395@gmail.com II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ ……/…… đến ……/ …… Nơi học (trường, thành phố): Ngành học: Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ 10/2013 đến 07/2018 Nơi học (trường, thành phố): Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh Ngành học: Công nghệ Kỹ thuật Điện tử - Truyền thông Tên đồ án, luận án môn thi tốt nghiệp: Thiết kế thi cơng mơ hình xe điện di chuyển điều khiển từ xa cảm biến điện đeo tay Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh Người hướng dẫn: PGS TS Nguyễn Thanh Hải Thạc sĩ: Hệ đào tạo: Chính quy Thời gian đào tạo từ 04/2019 đến 09/2022 i Nơi học (trường, thành phố): Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh Ngành học: Kỹ thuật Điện tử Tên luận văn: Nghiên cứu thiết kế thi công trợ lý ảo giao tiếp giọng nói Ngày & nơi bảo vệ luận văn: 08/05/2021, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh Người hướng dẫn: PGS TS Trương Ngọc Sơn Tiến sĩ: Hệ đào tạo: Thời gian đào tạo từ ……/…… đến ……/ …… Tại (trường, viện, nước): Tên luận án: Người hướng dẫn: Ngày & nơi bảo vệ: Trình độ ngoại ngữ (biết ngoại ngữ gì, mức độ): Tiếng Anh trình độ B1 Học vị, học hàm, chức vụ kỹ thuật thức cấp; số bằng, ngày & nơi cấp: III QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian 12/2020 đến Nơi công tác Công việc đảm nhiệm Trường Đại học Sư phạm Kỹ thuật TP Hồ Chí Minh Chun viên kỹ thuật phịng Truyền thơng IV CÁC CƠNG TRÌNH KHOA HỌC ĐÃ CƠNG BỐ: XÁC NHẬN CỦA CƠ QUAN ĐỊA PHƯƠNG (Ký tên, đóng dấu) Ngày tháng năm 20…… Người khai ký tên ii LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu tơi Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tp Hồ Chí Minh, ngày … tháng … năm 20… (Ký tên ghi rõ họ tên) Võ Thành Nhân iii LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành đến Ban giám hiệu trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, quý thầy/cơ Khoa Điện – Điện tử tận tình dạy, truyền đạt kiến thức tạo điền kiện thuận lợi cho em suốt trình học tập vừa qua Đặc biệt em xin chân thành gửi đến Phó giáo sư Tiến sĩ Trương Ngọc Sơn lời cảm ơn sâu sắc Trong suốt thời gian thực luận văn, Thầy tận tình quan tâm, hướng dẫn động viên để em hoàn thành tốt luật văn Em xin gửi lời cảm ơn đến ba mẹ, gia đình bạn học viên lớp Kỹ thuật điện tử khóa 2019A nhiệt tình hỗ trợ, góp ý động viên để em hoàn thành luận văn Tp Hồ Chí Minh, ngày … tháng … năm 20… (Ký tên ghi rõ họ tên) Võ Thành Nhân iv TÓM TẮT Trong bối cảnh mạng xã hội ngày phát triển trở nên phổ biến người, người kết nối với qua mạng xã hội, thời gian nơi đâu Và nhu cầu có hệ thống thơng minh ngày lớn để hỗ trợ người cách trị chuyện, có khả nhắc nhở, làm trợ lý cơng việc… Mơ hình đối thoại nhiệm vụ quan trọng toán xử lý ngơn ngữ tự nhiên nói riêng máy học nói chung Các phương pháp tiếp cận trước thường bị giới hạn lĩnh vực đề tài cụ thể, ví dụ tư vấn ghi danh trực tuyến, trả lời câu hỏi sản phẩm hay đặt vé trực tuyến, tìm kiếm thơng tin… u cầu phải thiết kế luật học tay, nhiều thời gian công sức mà hiệu không cao, khó mở rộng mơ hình cho ứng dụng có liên quan Đề tài nghiên cứu xây dựng mơ hình trợ lý ảo, dựa mơ hình Sequence to Sequence, để giao tiếp cách tạo câu trả lời thích hợp dựa chuỗi đầu vào tương ứng Phương pháp có ưu điểm mơ hình huấn luyện end to end tập liệu có sẵn, có yêu cầu luật học thiết kế tay Kết luận văn đạt mơ hình trợ lý ảo ứng dụng mạng học sâu để sinh câu trả lời dựa câu hỏi đầu vào tương ứng Mơ hình cho kết tốt giải vấn đề ngữ nghĩa, ngữ cảnh hệ thống đối thoại v ABSTRACT In the context of social networking growing and becoming popular with everyone, people connect through social networks, anytime and anywhere And the need for an intelligent system is growing to be able to support people by chatting, having the ability to remind, support work The dialogue model is an important task in the problem of natural language processing in particular and machine learning in general Previous approaches are often limited to a specific subject area, such as consulting online enrollment, answering questions about a product or booking online, searching for information and requires the design of the rules by hand, takes a lot of time and effort but the efficiency is not too high, it is difficult to expand the model for relevant applications This topic will study to build a virtual assistant model, based on Sequence to Sequence model, to be able to communicate by generating the appropriate answer based on the corresponding input sequence This method has the advantage that the model can end to end trainable on existing datasets, and has fewer requirements than hand-designed rules The main result of the thesis is a virtual assistant model applying a deep learning network to generate answers based on the corresponding input questions The model gives good results when it can solve the basic problems of semantics and context in the dialogue system vi MỤC LỤC LÝ LỊCH KHOA HỌC i LỜI CAM ĐOAN iii LỜI CẢM ƠN iv TÓM TẮT v ABSTRACT vi MỤC LỤC vii DANH SÁCH HÌNH ẢNH xi DANH SÁCH BẢNG xiii DANH SÁCH TỪ VIẾT TẮT VÀ THUẬT NGỮ ANH – VIỆT xiv CHƯƠNG 1: TỔNG QUAN 1.1 Đặt vấn đề 1.2 Các nghiên cứu công bố 1.3 Mục tiêu 1.4 Nhiệm vụ giới hạn 1.4.1 Nhiệm vụ 1.4.2 Giới hạn 1.5 Phương pháp nghiên cứu 1.6 Tóm tắt chương CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Trợ lý ảo 2.1.1 Khái niệm trợ lý ảo 2.1.2 Các loại trợ lý ảo vii 2.1.3 Ứng dụng trợ lý ảo 2.1.4 Những ưu điểm trợ lý ảo 2.1.5 Các công nghệ sử dụng cho trợ lý ảo 2.2 Kiến trúc mạng nơ ron nhân tạo 2.2.1 Mạng RNN 2.2.2 Mạng Long Short-Term Memory 2.2.3 Ý tưởng mạng LSTM 2.2.4 Chi tiết mơ hình mạng LSTM 10 2.3 Các thuật toán thường sử dụng cho việc nhận diện giọng nói 13 2.3.1 Hidden Markov Model 13 2.3.2 Convolutional Neural Network 14 2.3.3 Mạng Long Short-Term Memory 15 2.4 Một số thuật toán tối ưu dùng huấn luyện mạng nơ-ron 15 2.4.1 Giảm độ dốc 15 2.4.2 Giảm độ dốc ngẫu nhiên 16 2.4.3 Độ dốc thích ứng 16 CHƯƠNG 3: TIỀN XỬ LÝ NGÔN NGỮ TỰ NHIÊN 18 3.1 Làm câu 18 3.2 Tách từ câu 19 3.3 Chuẩn hóa từ 19 3.4 Loại bỏ stop words 20 3.5 Vector hóa từ 21 3.5.1 Bag of Words (BoW) 21 3.5.2 TF-IDF (term frequency–inverse document frequency) 22 viii