2020 httt nguyenminhtri ttlv 2659

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG NGUYỄN MINH TRÍ ỨNG DỤNG MÁY HỌC TRONG TẠO SINH CÂU TRẢ LỜI CHO HỆ THỐNG HỎI - ĐÁP Chuyên ngành: HỆ THỐNG THƠNG TIN Mã số: 8.48.01.04 TĨM TẮT LUẬN VĂN THẠC SĨ (Theo định hướng ứng dụng) TP HỒ CHÍ MINH – NĂM 2022 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS NGUYỄN TUẤN ĐĂNG Phản biện 1: Phản biện 2: Luận văn bảo vệ trước Hội đồng chấm luận văn Học viện Cơng nghệ Bưu Viễn Thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Chính Viễn Thơng 1 MỞ ĐẦU Các hệ thống trả lời câu hỏi (Question-Answering System - QAS) hệ thống tự phân tích câu hỏi tự đưa câu trả lời Các hệ thống QAS ứng dụng kinh doanh thương mại điện tử hỗ trợ khách hàng mua sản phẩm giúp doanh nghiệp tăng doanh thu Ví dụ, mua sắm mạng, người dùng truy cập vào trang web doanh nghiệp đặt câu hỏi để hiểu rõ sản phẩm Yêu cầu người mua hàng chatbot website phân tích đưa câu trả lời với thơng tin có ích cho người mua hàng Các chatbot hệ thống trả lời tự động, giúp cải thiện doanh thu bán hàng đáng kể thành phần thiếu website bán hàng ngày Đề tài luận văn nhằm mục tiêu nghiên cứu sử dụng mô hình máy học học sâu để xây dựng hệ thống trả lời tự động (chatbot) có chức tạo sinh câu trả lời tiếng Việt lĩnh vực ứng dụng cụ thể Phân luồng câu hỏi (phân tích câu hỏi) pha kiến trúc chung hệ thống hỏi đáp, có nhiệm vụ tìm thơng tin cần thiết làm đầu vào cho q trình xử lý pha sau (trích chọn tài liệu, trích xuất câu trả lời, …) Vì phân tích câu hỏi có vai trị quan trọng, ảnh hưởng trực tiếp đến hoạt động tồn hệ thống Bài tốn đặt nhiều thách thức để phát câu trả lời phù hợp nhất, thơng tin hữu ích Luận văn gồm chương với nội dung sau: Chương 1: Giới thiệu tổng quan hệ thống trả lời tự động, mơ hình trả lời tự động sở lý thuyết cần thiết nghiên cứu đề tài Chương 2: Trình bày cơng trình nghiên cứu nước liên quan mật thiết tới đề tài Chương 3: Giới thiệu cách xây dựng nên liệu đầu vào để làm liệu training cho mơ hình từ chuỗi văn Bên cạnh nêu lên đề xuất phương pháp thực xây dựng mơ hình tốn cách áp dụng thư viện Keras, Tensorflow Machine Learning Cuối đánh giá kết thử nghiệm thực tế Chương 4: Trình bày chi tiết việc xây dựng liệu huấn luyện trình cụ thể cài đặt mơ hình cho thuật tốn 2 Chương 5: Kết luận nội dung đề tài, nêu khó khăn, hạn chế q trình nghiên cứu gặp phải đề xuất hướng phát triển 3 Đề tài: ỨNG DỤNG MÁY HỌC TRONG TẠO SINH CÂU TRẢ LỜI CHO HỆ THỐNG HỎI ĐÁP Tóm tắt luận văn CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 Giới thiệu chung Bài toán xây dựng hệ thống hỏi đáp tốn khó thuộc lĩnh vực xử lý ngôn ngữ tự nhiên Chúng ta biết ngôn ngữ tự nhiên vốn nhập nhằng, đa nghĩa, việc xác định ngữ nghĩa câu hỏi phát câu trả lời thách thức không nhỏ Không vậy, câu hỏi câu trả lời tồn quan hệ “ngầm” hay phụ thuộc vào ngữ cảnh Bài toán đặt nhiều thách thức để phát câu trả lời phù hợp nhất, thơng tin hữu ích 1.2 Hệ thống trả lời tự động Hệ thống trả lời tự động (QA) [1] phạm vi ngành khoa học máy tính lĩnh vực truy xuất thơng tin xử lí ngơn ngữ tự nhiên (Natural Language Processing - NLP) – hệ thống xử lí trả lời câu hỏi người đặt dạng ngôn ngữ tự nhiên QA thường vận hành chương trình máy tính, xây dựng câu trả lời cách truy vấn đến sở liệu có cấu trúc chứa thơng tin kiến thức liên quan, thường dựa kiến thức ELIZA – hệ thống trả lời tự động phát triển vào năm 1964 có thành cơng vượt trội cơng nhận ứng dụng hữu ích lĩnh vực y tế ELIZA xem bác sĩ lĩnh vực y tế, có nhiệm vụ tương tác với người dùng qua giao diện tin nhắn, trả lời câu hỏi phản hồi đến hộp thoại tin nhắn người dùng theo cách “bắt chước” liệu pháp tâm lí khách hàng trung tâm khách hàng (người dùng) bác sĩ họ (chương trình máy tính chạy ứng dụng bác sĩ) QA [1] [2] thiết kế để tìm câu trả lời cho phạm vi câu hỏi tập tài liệu tạo câu trả lời từ nguồn liệu [3] Hệ thống cho phép người dùng hỏi câu hỏi ngôn ngữ tự nhiên (Natural Language - NL), sau trích xuất câu trả lời liên quan, phản hồi lại câu hỏi người dùng cách xác, gần theo ngơn ngữ tự nhiên tức thời thay gửi tập tài liệu liên quan loại cơng cụ tìm kiếm [4] [5] [6] QA [1] ngày thu hút nhiều nhà khoa học nghiên cứu phát triển nhiều người dùng mong muốn hệ thống trả lời câu hỏi cách nhanh chóng xác Đồng thời, việc phát triển mở rộng hệ thống QA giúp cho q trình xử lí tác vụ hệ thống trở nên tốt hiệu Hệ thống bao gồm ba module bản: module trình xử lí câu hỏi, module q trình xử lí tài liệu module hình thành cơng thức trích xuất câu trả lời Để hệ thống QA ngày cải tiến phát triển độ xác, số hướng tiếp cận với trí tuệ nhận tạo (Artificial Intelligence – AI) thuật toán áp dụng mơ hình học có giám sát khơng giám sát [7] Bên cạnh đó, hệ thống QA cịn gặp nhiều thử thách trình NLP [8] Tuy nhiên năm gần đây, lĩnh vực NLP phát triển mạnh nhanh chóng mạnh mẽ vấn đề xử lí thuật ngữ máy tính AI [9] nhằm cải thiện độ xác câu trả lời thể ngôn ngữ cách tự nhiên 1.3 Phân loại mơ hình trả lời tự động 1.3.1 Phân loại theo miền ứng dụng Miền mở (Open Domain): Hệ thống trả lời tự động miền mở có nhiệm vụ xác định câu trả lời cho kiểu câu hỏi mang ngôn ngữ tự nhiên từ kho tài liệu khổng lồ Hệ thống QA miền mở điển hình bắt đầu với việc truy xuất thông tin để chọn tập hợp tài liệu từ kho tài liệu, sau xử lý đọc máy để chọn khoảng câu trả lời [10] [11] Ngoài ra, hệ thống trả lời câu hỏi miền mở có khả giải đa dạng loại câu hỏi dựa thể học chung (ontology) kiến thức giới Mặt khác, hệ thống thường có sẵn nhiều liệu để trích xuất câu trả lời phù hợp [5] Miền đóng (Close Domain): Hệ thống trả lời câu hỏi miền đóng xử lí câu hỏi theo miền cụ thể [12] xem nhiệm vụ dễ dàng trình xử lí ngơn ngữ tự nhiên (NLP) khai thác kiến thức miền cụ thể, có nội dung tin tưởng thường thức hóa thể học Trong số trường hợp, hệ thống QA miền đóng đáp ứng số câu hỏi hạn chế, ví dụ câu hỏi yêu cầu thông tin mô tả thay thủ tục [5] 1.3.2 Phân loại theo hướng tiếp cận Tiếp cận dựa vào trích chọn thơng tin (Retrieval-based): Các kỹ thuật thường sử dụng kho định nghĩa trước câu trả lời kết hợp với vài phương pháp trích chọn Heuristic để nhặt đáp án thích hợp dự vào mẫu hỏi input ngữ cảnh Kỹ thuật heuristic sử dụng đơn giản so khớp biểu thức dựa vào luật (rule-based), phức tạp việc kết hợp học máy (Machine Learning) để phân lớp câu hỏi đáp án trả Những hệ thống kiểu không sinh văn mới, chúng nhặt đáp án từ tập liệu cố định sẵn có Tiếp cận dựa vào mơ hình sinh (Generative-based): Mơ hình khơng dựa tập trả lời định nghĩa trước Chúng có khả tự sản sinh đáp án từ đầu Các mơ hình sinh thường dựa vào kỹ thuật Máy Dịch (Machine Translation), thay dịch từ ngơn ngữ sang ngơn ngữ khác, “dịch” từ input sang output Nhờ vào kho liệu với luật thiết kế tay, mơ hình dựa trích chọn thơng tin (retrieval-based) khơng mắc phải lỗi ngữ pháp Tuy nhiên, chúng xử lý trường hợp mẫu chưa quan sát, khơng có luật Vì lý đó, mơ hình khơng thể nhớ thơng tin ngữ cảnh trước “tên người” đề cập đoạn hội thoại Mơ hình sinh “thơng minh hơn” Chúng nhớ lại thực thể nhắc đến mẫu hỏi tạo cảm giác bạn nói chuyện với người Tuy nhiên, mơ hình khó để huấn luyện, bị mắc lỗi ngữ pháp (đặc biệt câu dài) mơ hình u cầu lượng lớn liệu để huấn luyện Các kỹ thuật học sâu Deep Learning sử dụng cho hai mơ hình Retrieval-based Generative-based, nhà nghiên cứu thường tập trung hướng vào mơ hình Generative Tuy nhiên, giai đoạn đầu việc tiếp cận với mơ hình sinh có kết khả quan Song thời điểm tại, hệ thống thương mại phù hợp với mơ hình Retrieval-based 6 1.4 Kiến trúc mạng nơ-ron nhân tạo Lấy cảm hứng từ mạng nơ-ron sinh học, mạng nơ-ron nhân tạo (Artificial Neural Network – ANN) hình thành từ tầng nơ-ron nhân tạo Mạng NN gồm kiểu tầng tầng vào (input layer) biểu diễn cho đầu vào, tầng (output layer) biểu diễn cho kết đầu tầng ẩn (hidden layer) thể cho bước suy luận trung gian Mỗi nơ-ron nhận tất đầu vào từ nơ-ron tầng trước sử dụng hàm kích hoạt dạng (activation function) phi tuyến sigmoid, ReLU, để tính tốn đầu Hình Error! No text of specified style in document 1: Mạng nơ-ron nhân tạo Trong ANN, nút mạng sigmoid nơ-ron hàm kích hoạt chúng khác Tuy nhiên thực tế người ta thường để chúng dạng với để tính tốn cho thuận lợi Lợi lớn mạng ANN khả sử dụng chế xấp xỉ hàm tùy ý mà “học” từ liệu quan sát Tuy nhiên, sử dụng chúng không đơn giản vậy, số đặc tính kinh nghiệm thiết kế mạng nơ-ron ANN 1.5 Hoạt động mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo sử dụng lớp xử lý toán học khác để hiểu thơng tin mà cung cấp Thơng thường, mạng nơ-ron nhân tạo có từ hàng chục đến hàng triệu nơ-ron nhân tạo - gọi đơn vị - xếp thành loạt lớp Lớp đầu vào nhận dạng thông tin khác từ giới bên Đây liệu mà mạng nhắm đến để xử lý tìm hiểu Từ đơn vị đầu vào, liệu qua nhiều đơn vị ẩn Công việc đơn vị ẩn biến đầu vào thành thứ mà đơn vị đầu sử dụng Phần lớn mạng nơ-ron kết nối đầy đủ từ lớp sang lớp khác Các kết nối có trọng số; Con số cao đơn vị có ảnh hưởng lớn đến đơn vị khác, tương tự não người Khi liệu qua đơn vị, mạng tìm hiểu thêm liệu Ở phía bên mạng đơn vị đầu nơi mạng phản hồi liệu mà cung cấp xử lý 1.6 Mạng nơ-ron RNN (Recurrent Neural Network) ứng dụng 1.6.1 Mạng nơ-ron RNN Mạng nơ-ron RNN: Mạng nơ-ron tuần hoàn (RNN) loại mạng nơ-ron, sử dụng rộng rãi để thực q trình phân tích trình RNN thiết kế để trích xuất thơng tin ngữ cảnh cách xác định phụ thuộc tem thời gian khác RNN bao gồm nhiều lớp lặp lại liên tiếp lớp lập mơ hình để ánh xạ trình tự với trình tự khác RNN có khả mạnh mẽ để thu thập liệu theo ngữ cảnh từ chuỗi Tuy nhiên, dấu hiệu ngữ cảnh cấu trúc mạng ổn định sử dụng hiệu để đạt trình phân loại liệu RNN vận hành chuỗi với độ dài tùy ý Hình Error! No text of specified style in document 2: Kiến trúc mạng RNN RNN phần mở rộng neural network cấp tiếp với diện vòng lặp lớp ẩn RNN lấy đầu vào chuỗi mẫu xác định mối quan hệ thời gian mẫu Bộ nhớ ngắn hạn dài (LSTM) giải vấn đề phân loại cách thêm tham số mạng với nút ẩn giải phóng trạng thái dựa giá trị đầu vào RNN đạt hiệu suất tốt LSTM cách kích hoạt trạng thái dựa kiện mạng Nút RNN thông thường bao gồm thiên vị trọng số RNN đánh giá cách sử dụng đơn vị định kỳ định kỳ LSTM Cấu hình mạng đối hình thành cách sử dụng tham số mạng, bước thời gian liệu đầu vào tạo kết đầu với bước thời gian cụ thể Nút RNN thông thường bao gồm thiên vị trọng số nhất, LSTM bao gồm bốn thiên vị trọng số định bên dưới:  Lớp cổng quên  Lớp cổng đầu vào  Lớp cổng đầu  Lớp cổng trạng thái Đầu vào cổng qn kiểm sốt trạng thái ẩn trước trạng thái đầu vào góp phần vào trạng thái Tuy nhiên, đầu vào, đầu kích hoạt cổng quên chia tỷ lệ cách sử dụng hàm sigmoid đầu trạng thái ẩn lọc cách sử dụng hàm hyperbol Việc tối ưu hóa tham số mạng cách sử dụng gradient ngẫu nhiên thực dựa chuỗi liệu đầu vào Tuy nhiên, siêu tham số cấu trúc mạng (kích thước lớp), độ dài chuỗi, kích thước lơ, động lượng tốc độ học Các siêu tham số thiết lập thơng qua tìm kiếm ngẫu nhiên thủ cơng Đầu vào RNN chuỗi vectơ {y1, y2,… yM}, chuỗi trạng thái ẩn {z1, z2,… zM} đơn vị đầu tương ứng {v1, v2,… vM} Lớp hồi quy bao gồm hàm tái quy d, lấy vectơ đầu vào yx đơn vị ẩn trạng thái trước zx làm đầu vào tạo trạng thái ẩn dạng: Hơn nữa, đơn vị đầu tính sau: Ở đây, P, Q R đại diện cho ma trận trọng số hàm kích hoạt biểu thị hàm tiếp tuyến hyperbol RNN sử dụng chức phức tạp để tìm hiểu kiểm sốt luồng thơng tin lớp lặp lại để nắm bắt phụ thuộc dài hạn 1.6.2 Các ứng dụng RNN  Phát sinh mô tả cho ảnh (Generating Image Descriptions)  RNN kết hợp với Convolution Neural Networks phát sinh  đoạn mơ tả cho ảnh Mơ hình hoạt động cách tạo câu mô  tả từ đặc trưng rút trích ảnh  Dự đoán chuỗi thời gian (Time Series Prediction): Bất kỳ vấn đề chuỗi thời gian nào, dự đoán giá cổ phiếu tháng cụ thể, giải cách sử dụng RNN  Xử lí ngơn ngữ tự nhiên (Natural Language Processing): Lấy chuỗi từ làm đầu vào, RNN tiến hành dự đoán khả xuất từ Đây coi cách tiếp cận hữu ích để phiên dịch loại ngơn ngữ câu có nhiều khả câu Trong phương pháp này, xác suất đầu “time-step” cụ thể sử dụng để làm mẫu để xác định từ lần lặp Hình Error! No text of specified style in document 3: Ứng dụng RNN phát sinh mô tả cho ảnh 1.6.3 Huấn luyện mạng 10 Huấn luyện RNN tương tự huấn luyện Neural Network truyền thống Chúng ta sử dụng đến thuật toán backpropagation (lan truyền ngược) có chút tinh chỉnh Gradient output không phụ thuộc vào kết tính tốn bước mà cịn phụ thuộc vào kết tính tốn bước trước Ví dụ, để tính gradient thời điểm t = 4, ta cần backpropagation bước trước cộng dồn gradient lại với Kĩ thuật gọi Backpropagation Through Time (BPPTT) Điểm hạn chế hidden layer khơng có trí nhớ dài hạn Vấn đề gọi vanishing/exploding gradient problem vậy, LSTM sinh để giải vấn đề 1.6.4 Các phiên mở rộng RNN Mạng nơ-ron tái phát hai chiều (Bidirectional recurrent neural networks BRNN): Đây kiến trúc mạng biến thể RNN Trong RNN chiều lấy từ đầu vào trước để đưa dự đoán trạng thái tại, RNN hai chiều lấy liệu tương lai để cải thiện độ xác Ví dụ cụm từ “feeling under the weather”, mơ hình dự đoán tốt từ thứ hai cụm từ “under” biết từ cuối chuỗi “weather” Bộ nhớ ngắn hạn dài (LSTM): Đây kiến trúc RNN phổ biến, giới thiệu Sepp Hochreiter Juergen Schmidhuber giải pháp cho vấn đề biến gradient Có nghĩa là, trạng thái trước ảnh hưởng đến dự đốn khơng phải q khứ gần đây, mơ hình RNN khơng thể dự đốn xác trạng thái Ví dụ: giả sử muốn dự đoán từ in nghiêng sau đây, “Alice bị dị ứng với loại hạt Cô ăn bơ đậu phộng " Bối cảnh dị ứng hạt giúp biết trước thực phẩm khơng thể ăn có chứa loại hạt Tuy nhiên, bối cảnh vài câu trước đó, RNN khó chí khơng thể kết nối thơng tin Để khắc phục điều này, LSTM có "ơ" lớp ẩn mạng nơ-ron, có ba cổng - cổng input, cổng output cổng forget Các cổng kiểm sốt luồng thơng tin cần thiết để dự đốn đầu mạng Ví dụ: đại từ giới tính, chẳng hạn “Cơ ấy”, lặp lại nhiều lần câu trước, bạn loại trừ đại từ khỏi trạng thái Gated recurrent units (GRUs): Biến thể RNN tương tự LSTM hoạt động để giải vấn đề nhớ ngắn hạn mơ hình RNN Thay 11 sử dụng thơng tin điều chỉnh “trạng thái ơ” (cell state), sử dụng trạng thái ẩn thay ba cổng, có hai - cổng đặt lại cổng cập nhật Tương tự cổng LSTM, cổng đặt lại cập nhật kiểm sốt lượng thơng tin cần giữ lại 1.7 Mơ hình trả lời tự động Bản thân mơ hình seq2seq [10] bao gồm hai mạng RNN: Một cho mã hóa, cho giải mã Bộ mã hóa nhận chuỗi (câu) đầu vào xử lý phần tử (từ câu) bước Mục tiêu chuyển đổi chuỗi phần tử vào vectơ đặc trưng có kích thước cố định mà mã hóa thơng tin quan trọng chuỗi bỏ qua thơng tin khơng cần thiết Có thể hình dung luồng liệu mã hóa dọc theo trục thời gian, giống dịng chảy thơng tin cục từ phần tử kết thúc chuỗi sang chuỗi khác Mỗi trạng thái ẩn ảnh hưởng đến trạng thái ẩn trạng thái ẩn cuối xem tích lũy tóm tắt chuỗi Trạng thái gọi bối cảnh hay vevtơ suy diễn, đại diện cho ý định chuỗi Từ bối cảnh đó, giải mã tạo chuỗi, phần tử (word) thời điểm Ở đây, bước, giải mã bị ảnh hưởng bối cảnh phần tử sinh trước 1.8 Embedding Keras Embedding Layer Embedding kỹ thuật đưa vector có số chiều lớn, thường dạng thưa, vector có số chiều nhỏ, thường dạng dày đặc Phương pháp đặc biệt hữu ích với đặc trưng hạng mục có số phần tử lớn phương pháp chủ yếu để biểu diễn giá trị thường vector dạng one-hot Một cách lý tưởng, giá trị có ý nghĩa tương tự nằm gần không gian embedding Keras cung cấp Embedding layer để sử dụng cho mạng nơ-ron tập liệu văn Đầu vào yêu cầu số nguyên mã hóa, cho từ biểu điễn số nguyên Bước chuẩn bị thực cách sử dụng Tokenizer API có sẵn Keras Embedding layer khởi tạo với trọng số (weight) ngẫu nhiên tìm hiểu cách nhúng cho tất từ tập liệu training Các thông số để khởi tạo embedding layer sau: 12  input_dim: kích thước từ điển liệu đầu vào, liệu đầu vào có giá trị n kích thước n+1 từ  output_dim: độ dài vec-tơ tương ứng cho từ  input_length: Độ dài chuỗi đầu vào 13 CHƯƠNG CÁC CƠNG TRÌNH LIÊN QUAN 2.1 Giới thiệu chương Chương trình bày cơng trình nghiên cứu nước liên quan mật thiết tới đề tài Những cơng trình tảng cho nghiên cứu sở để giúp luận văn xác định hướng phát triển cho đề tài 2.2 Các cơng trình liên quan ngồi nước 2.2.1 Các nghiên cứu nước - “Building Filters for Vietnamese Chatbot Responses” - “A Vietnamese Question Answering System” - “BERT+vnKG:Using Deep Learning and Knowledge Graph to Improve Vietnamese Question Answering System” 2.2.2 Các nghiên cứu nước - “A Technical Question Answering System with Transfer Learning” - “The Implementation of Question Answer System Using Deep Learning” - “Evaluating the Performance of Recurrent Neural Network based Question Answering System with Easy and Complex bAbI QA Tasks” - “Deep learning based question answering system in Bengali” - “Code Mixed Question Answering Challenge using Deep Learning Methods” 14 CHƯƠNG ĐỀ XUẤT PHƯƠNG PHÁP XÂY DỰNG BỘ DỮ LIỆU VÀ MÔ HÌNH CHO BÀI TỐN 3.1 Giới thiệu chương Chương tác giả tập trung giới thiệu cách xây dựng nên liệu đầu vào để làm liệu training cho mơ hình từ chuỗi văn Bên cạnh nêu lên đề xuất phương pháp thực xây dựng mơ hình tốn cách áp dụng thư viện Keras, Tensorflow Machine Learning Cuối đánh giá kết thử nghiệm thực tế 3.2 Đề xuất phương pháp thuật toán xử lý Quy trình phương pháp đề xuất sau: Dữ liệu đầu vào Giai đoạn Xây dựng xử lý liệu Giai đoạn Xây dựng mơ hình Input Giai đoạn Đánh giá mơ hình Processing Chatbot tư vấn sinh sản Ouput Hình Error! No text of specified style in document 4: Quy trình tốn 3.2.1 Input: liệu sinh sản Để huấn luyện cho mơ hình, luận văn sử dụng liệu khía cạnh tư vấn sinh sản Đầu tiên, tiến hành nghiên cứu xu hướng hỏi đáp chị em phụ nữ việc tư vấn trước, sau thời kỳ mang thai Các định nghĩa, lý thuyết bệnh hay triệu chứng gặp phải xuyên suốt khoảng thời gian Thông tin cần thiết liệu khái niệm, nguyên nhân, triệu chứng, dấu hiệu, yếu tố nguy cơ, phương pháp xử lý, phòng ngừa số vấn đề sinh sản 15 cung cấp từ bệnh viện Hồng Hưng Nội dung làm rõ chương luận văn 3.2.2 Processing Bao gồm giai đoạn: ‑ Giai đoạn 1: Từ văn thô đầu vào, xây dựng liệu trả lời tự động với cấu trúc gồm phần: tags (chứa nhãn hội thoại), input (chứa câu hỏi mà người dùng đặt ra), responses (chứa phản hồi từ hệ thống) Ba phần tạo thành nhóm câu hỏi – đáp, liệu gồm nhiều nhóm kết hợp lại với Sau xây dựng thành công liệu tiến hành xử lý liệu cách làm mã hóa chúng với phương thức cung cấp Keras Tensorflow trước đưa vào mơ hình làm liệu đào tạo ‑ Giai đoạn 2: Xây dựng mơ hình dự đốn cho tốn Mơ hình LTSM giới thiệu chương sử dụng để giúp học câu hỏi từ đầu vào giai đoạn đưa dự đốn xác Kèm theo LTSM, luận văn sử dụng thêm lớp Embedding Keras để xử lý chuỗi văn lớp Flatten để làm phẳng đầu liệu sau qua lớp LTSM ‑ Giai đoạn 3: Đánh giá độ xác mơ hình Luận văn sử dụng số đánh giá độ xác (accuracy) để tiến hành đánh giá mơ hình Độ xác cao cho thấy mơ hình xác 3.2.3 Output Từ mơ hình xây dựng, áp dụng vào chatbot tiến hành kiểm thử để quan sát kết dự đốn Mơ hình hoạt động hiệu đưa câu trả lời gần với câu hỏi nhập từ người dùng 16 CHƯƠNG CÀI ĐẶT VÀ THỰC NGHIỆM 4.1 Giới thiệu chương Chương trình bày chi tiết việc xây dựng liệu huấn luyện q trình cụ thể cài đặt mơ hình cho thuật tốn Mơ hình cài đặt thực nghiệm luận văn thực ngôn ngữ Python Google Colaboratory 4.2 Đề xuất phương pháp thuật toán xử lý 4.2.1 Cơ sở lý thuyết liệu Tập trung nghiên cứu câu hỏi xoay quanh việc tư vấn sinh sản cụ thể với thông tin nghiên cứu từ bệnh viện Hồng Hưng:  Các thông tin khoa Sản bệnh viện, dịch vụ, kỹ thuật mà khoa cung cấp  Khám thai: tập trung nghiên cứu mốc giai đoạn quan trọng cần khám thai  Dinh dưỡng thai kỳ: nghiên cứu nhu cầu dinh dưỡng thai phụ thời gian mang thai, thực phẩm nên tránh mang thai  Ốm nghén: thời gian thai phụ gặp tình trạng ốm nghén, biểu hiện, lời khuyên  Chi phí gói sanh bệnh viện  Động thai (dọa sảy thai): nghiên cứu khái niệm, nguyên nhân, dấu hiệu, cách xử lý, lưu ý, tư nằm, ăn cần thiết, biện pháp chăm sóc phịng ngừa  Sảy thai: nghiên cứu khái niệm, triệu chứng, chuẩn đốn điều trị đồng thời tìm hiểu cách phòng ngừa làm giảm nguy sảy thai cho lần mang thai sau  Mang thai tử cung: nghiên cứu khái niệm, nguyên nhân, triệu chứng, dấu hiệu, yếu tố nguy cơ, phương pháp điều trị  Nạo phá thai: điều cần lưu ý, phương pháp phá thai, hậu  Hậu sản: bệnh hậu sản thường gặp  Các trường hợp đặc biệt sinh như: sinh non, sinh già tháng, sinh bọc, sinh mổ Nghiên cứu tập trung vào nguyên nhân, nguy hiểm, biến chứng câu hỏi liên quan 17  Chăm sóc mẹ sau sinh: chứng bệnh trầm cảm sau sinh với nguyên nhân, dấu hiệu nguy hiểm bệnh mang lại  Và nhiều nội dung khác 4.2.2 Xây dựng liệu Tiến hành xây dựng liệu đào tạo Bộ liệu xây dựng thành file json chứa đoạn đối thoại Mỗi đoạn đối thoại gồm thành phần: tag, input, response Trong đó: o Tag: nhãn sử dụng để phân loại đầu vào ánh xạ chúng tới loại phản hồi cụ thể o Input: thông điệp mà người dùng gửi đến bot (chứa nội dung cần tư vấn) o Response: sau ánh xạ đầu vào cho thẻ thích hợp, ta chọn phản hồi để trả lại cho người dùng Với cấu trúc luận văn xây dựng 103 đề tài, 232 input từ người dùng, 103 response Ta dễ dàng hình dung liệu xây dựng thơng qua hình ảnh Mỗi input từ người dùng gắn với nhãn tương ứng để phân loại 4.2.3 Tiền xử lý liệu Tiền xử lý liệu bước quan trọng giải tốn lĩnh vực học máy Để mơ hình đưa kết có độ xác cao liệu ln cần xử lý, làm biến đổi trước trở thành liệu huấn luyện cho mơ hình học máy Đối với luận văn này, ta quan tâm đến input người dùng nhập vào liệu xây dựng trước Để tránh việc liệu input người dùng không đạt chuẩn, ta tiến hành làm bước sau Loại bỏ dấu câu, ký hiệu đặc biệt khỏi input ! "# $% & '() * +, -./:;?@[\][_`{|}~ Chuyển giá trị thành chữ thường (lowercase) Tiếp theo, ta tiến hành xử lý liệu tư vấn sinh sản Ở ta áp dụng thuật toán Tokenziner [25] nhánh tập xử lý ngôn ngữ tự nhiên 18 Tokenziner cho phép ta vectơ hóa kho ngữ liệu văn bản, cách biến văn thành chuỗi số nguyên (mỗi số nguyên mục mã thông báo từ điển) thành vectơ hệ số cho mã thơng báo nhị phân, dựa số từ, dựa tf-idf Với liệu này, luận văn định tối đa 5000 từ giữ lại, dựa tần suất từ Chỉ num_words-1 từ phổ biến giữ lại Sau tiến hành cập nhật từ vựng dựa danh sách input Tiếp theo vec-tơ hóa input danh sách input thành chuỗi số nguyên (sequences) Tiếp với chuỗi số nguyên với độ dài ngắn khác ảnh hưởng số lượng từ câu chuyển độ dài vởi hàm pad_sequences [26] Keras để tạo nên quán liệu Bước cuối ta tiến hành mã hóa nhãn cách sử dụng LabelEncoder [27] thư viện scikitlearn, tags Sau bước xử lý liệu, ta nhận số chiều liệu 14, với 275 từ độc nhất, đầu 103 4.3 Xây dựng mơ hình Mơ hình với đầu vào – lớp Input với số chiều tính toán bước trên, bao gồm thêm lớp Embedding để tạo véc tơ nhúng cho từ câu, đầu lớp đầu vào lớp reccurent với cổng LSTM Sau đó, đầu tiếp tục trở thành đầu vào lớp Flatten với mục làm phẳng đầu lớp LSTM: chuyển đổi mảng nhiều chiều thành chiều Và cuối lớp Dense sử dụng làm đầu cho mô hình với hàm kích hoạt softmax 19 Biên dịch mơ hình với thiết lập thơng số như: hàm mát sparse_categorical_crossentropy, sử dụng thuật toán adam để tối ưu hóa mơ hình kèm theo số độ xác accuracy để quan sát Sau thiết lập, chạy huấn luyện cho mơ hình với epochs = 300 Ta kết sau: Hình Error! No text of specified style in document 5: Huấn luyện cho mơ hình Sau chạy huấn luyện cho mơ hình, ta quan sát thấy độ xác cao đạt tới 100% độ mát nhỏ giảm dần đạt 1.8% Đây kết khả quan thể mơ hình có tỉ lệ trả lời cao trường hợp trả lời sai Tuy nhiên để xác định xác liệu mơ hình có hoạt động hiệu hay không, ta tiến hành xây dựng chatbot đơn giản áp dụng dự đoán từ mơ hình để đưa kết trả lời cách tự động với đầu vào ngẫu nhiên người dùng vấn đề tư vấn sinh sản 4.4 Đánh giá mơ hình áp dụng vào chatbot Đánh giá độ xác mơ hình liệu đào tạo 20 Từ biểu đồ ta quan sát thấy độ xác ban đầu mơ hình cao, gần với ngưỡng 100% có độ mát giảm dần từ 40% 0% Để đảm bảo giá trị hợp lý ta ứng dụng vào chatbot để đưa phản hồi từ hệ thống Áp dụng vào Chatbot để tiến hành kiểm thử  Tư vấn bị động thai  Tư vấn việc khám thai  Tư vấn vấn đề trầm cảm sau sinh 21 Sau chạy thử chatbot với trường hợp nêu trên, với từ khóa hợp lý, mơ hình đưa dự đốn trả lời xác câu hỏi từ phía người dùng Nhưng khơng loại trừ khả mơ hình đưa dự đốn sai với từ khóa chưa có liệu Tuy nhiên, với kết này, nhận thấy mơ hình có hoạt động hiệu xác, ứng dụng vào thực tế 4.5 Nhận xét Từ kết chạy mơ hình thực nghiệm nhận thấy mơ hình xây dựng có độ xác cao Có thể đưa tư vấn xác với câu hỏi từ phía người dùng Bên cạnh đó, mơ hình học nhiều trường hợp đưa vào liệu đào tạo Dù vậy, nhận xét thấy liệu sử dụng huấn luyện tương đối nhỏ cần phải nghiên cứu, bổ sung nhiều hơn, tìm hiểu thơng tin xác để mang lại câu trả lời tốt đáp ứng nhu cầu người dùng 22 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết nghiên cứu đề tài Xây dựng liệu tư vấn sinh sản mơ hình trả lời tự động kỹ thuật hỗ trợ Tensorflow Với độ xác mơ hình đạt tới 100% với độ mát nhỏ 1.8%, nhận thấy áp dụng mơ hình vào sử dụng thực tế, tự động hóa cơng tác tư vấn cho người dùng Tuy nhiên, liệu tương đối nhỏ cần cải thiện bổ sung nhiều 5.2 Đề xuất phương pháp thuật toán xử lý Trong trình thực luận văn khơng tránh khỏi thiếu sót:  Bộ liệu tương đối nhỏ, cần bổ sung nhiều liệu  Cách xử lý ngơn ngữ tiếng Việt cịn nhiều thiếu sót 5.3 Hướng phát triển đề tài Vấn đề kiến nghị hướng nghiên cứu:  Đưa mô hình đề xuất vào ứng dụng thực tế, xây dựng sở liệu to lớn xác  Tìm thêm cách xử lý tối ưu liệu, xử lý ngôn ngữ tiếng Việt, tối ưu hóa mơ hình, hiệu chỉnh độ xác mơ hình, giảm mát