Giải pháp chuyển đổi số nhằm tối ưu công việc tại vnpt quảng trị thạc sĩ

Trong giai đoạn cạnh tranh hiện nay, ngành công nghệ thông tin đang là một trong những lĩnh vực then chốt, quan trọng trong chiến lược phát triển của một đất nước. Thành quả của nó mang lại cho nền kinh tế đã được chứng minh trong khoảng 10 năm trở lại đây. Đến năm 2021, sự phát triển của công nghệ thông tin đã được xác định đây là một giai đoạn mới và giới công nghệ cũng như các phương tiên thông tin đại chúng đã đặt tên cho nó là thời đại công nghiệp 4.0. Cùng với sự phát triển của các lĩnh vực thương mại điện tử, các công nghệ ứng dụng dữ liệu đa phương tiện đang ngày càng phổ biến, các loại hình như âm thanh, hình ảnh ngày càng trở thành công cụ truyền thông, giải trí cũng như làm việc chủ yếu trên môi trường mạng, hoặc nội bộ hiện nay. Theo thống kế của các chuyên gia thì hiện nay các nguồn dữ liệu này chiếm từ 8090% là dữ liệu không có cấu trúc và khối lượng dữ liệu này ngày càng tăng lên một cách nhanh chóng và đáng kể. Vậy để các dữ liệu này có thể được tận dụng, sử dụng có hiệu quả trong những mục đích khác nhau và việc ứng dụng của nó cụ thể ở những đâu, hoàn cảnh nào là những bài toán không hề đơn giản, chủ đề này luôn là những vấn đề mà các nhà công nghệ luôn luôn đặt ra và nghiên cứu hướng, giải pháp ngày càng tốt hơn, hiệu quả hơn trong việc xử lý những dữ liệu này. Một trong những hướng đi mà các hãng công nghệ lớn đang hướng tới trong việc ứng dụng, sử dụng những dữ liệu khổng lồ này một cách có hiệu quả đó là ứng dụng vào trí tuệ nhân tạo (Artificial Intelligent, gọi tắt là AI) và các hệ thống học máy (Machine Learning, gọi tắt là ML). Nói đến trí tuệ nhân tạo hay học máy, chúng ta có thể nghĩ ngay đến các phần mềm ứng dụng trí tuệ nhân tạo đang rất đình đám hiện nay đó là các hệ thống trả lời tự động, trợ lý ảo, nhận diện khuôn mặt ứng dụng trên các thế hệ điện thoại thông minh, trên các mạng xã hội (facebook, twitter…), và đặc biệt là sự kiện nổi tiếng gần đây khi mà một hệ thống học máy đã chiến thắng được trí tuệ con người ở một khía cạnh nào đó, đó là Alphago, một hệ thống học sâu đã chiến thắng kiện tướng cờ vây người Hàn Quốc Lee Sedol thông qua các cơ chế tự học. Từ những ứng dụng thiết thực và hướng đi rất mới của công nghệ trí tuệ nhân tạo, học máy thì hãng công nghệ lớn hoạt động trong lĩnh vực này đã và đang đầu tư phát triển công nghệ AI và ML dựa trên những dữ liệu khổng lồ được cập nhật hàng giây từ người dùng. Sản phẩm của AI và ML như nhận diện khuôn mặt, các hệ dự đoán, chatbot, hệ thống trả lời tự động (questionanswering). Vậy để ứng dụng công nghệ để xử lý các khối dữ liệu phi cấu trúc trên thì các kỹ thuật có thể xử lý dữ liệu phi cấu trúc văn bản cần được phát triển. Trong luận văn này, tác giá sẽ tập trung nghiên cứu các kỹ thuật có thể xử lý văn bản bằng cách phát triển một chatbot và ứng dụng chatbot trong bối cảnh giao tiếp giữa hệ thống tư vấn Viễn thông và khách hàng sử dụng dịch vụ của VNPT. Chatbot là một tác nhân đàm thoại có thể tương tác với con người một cách tuần tự bằng ngôn ngữ tự nhiên. Mục tiêu chính của luận văn tốt nghiệp này là xây dựng một chatbot để trả lời các câu hỏi phức tạp, thường đòi hỏi câu trả lời thậm chí phức tạp hơn trong một miền được xác định rõ. Trọng tâm là chỉ trả lời các câu hỏi mà câu trả lời chất lượng được đưa ra. Có thể dễ dàng nhận thấy chatbot hiện nay đã xuất hiện trên nhiều hệ thống đa phương tiên khác nhau. Tuy nhiên, một trong những hoạt động dịch vụ hiện nay đang vẫn còn bỏ ngỏ đó là ứng dụng chatbot trong hoạt động tư vấn dịch vụ VNPT và công tác CSKH của VNPT. Những năm gần đây số lượng khách hàng sử dụng các dịch vụ online ngày càng tăng từ thoại truyền thống sang thoại data, các trang mạng xã hội với Viber, Zalo, Messenger … là con số người dùng vô cùng lớn, việc đáp ứng nhu cầu khách hàng ngày càng cao, ứng dụng chatbot trong giao tiếp với khách hàng sẽ giúp cho hoạt động kinh doanh của Viễn thông về tư vấn và chăm sóc khách hàng hiệu quả hơn rất nhiều. Đặc biệt, các hoạt động về tư vấn, hậu kiểm, trong các hoạt động tiếp cận khách hàng là những hoạt động mang tính chất khuôn khổ phục vụ khách hàng tốt hơn hài lòng hơn về dịch vụ được cung cấp, trong khi hiện nay các VNPT tỉnh thành vẫn đang phải duy trì một số lượng lớn nhân viên, bộ phận hổ trợ để thực hiện các nghiệp vu tư vấn với khách hàng. Những nghiệp vụ này hoàn toàn có thể thực hiện nghiên cứu tự động hóa, có thể giải đáp, tư vấn cho khách hàng những nội dung cơ bản của các sản phẩm hay những chương trình ưu đãi dành cho cá nhân và khách hàng doanh nghiệp, hay hậu kiểm dịch vụ CSKH. Trong một vài năm gần đây, các công ty tư vấn đã ứng dụng nhiều tiến bộ và phát triển của lĩnh vực học máy phục vụ hỗ trợ khách hàng trong quá trình ra quyết định. Đặc biệt trong lĩnh vực Marketing và IoT, đây là các lĩnh vực có nhiều thách thức với khối lượng dữ liệu lớn, dữ liệu không cấu trúc. Trong nghiên cứu này, tác giả xây dựng một chatbot để trả lời những câu hỏi phức tạp và cả những câu trả lời tương ứng cũng phức tạp hơn, cụ thể là trên lĩnh vực khiếu nại. Tại nghiên cứu này tác giả chỉ tập trung vào việc trả lời các câu hỏi để làm sao có được một câu trả lời với chất lượng cao nhất. Tất nhiên trong đó có những câu hỏi không nằm trong phạm vi của chatbot sẽ được gửi thẳng trực tiếp đến con người để xử lý. Ví dụ hệ thống có thể rất hữu dụng cho các công ty khi họ nhận được các câu hỏi tương đối phức tạp thì hệ thống của họ sẽ phải thực hiện đưa ra những câu trả lời với chất lượng cao nhất sát nhất với mong muốn giải đáp của khách hàng, trong khi đó cũng phải làm sao để giảm thiểu được tối đa sự can thiệp của con người trong quá trình thực hiện dịch vụ hỏi đáp này, điều này cũng sẽ đồng nghĩa với việc giảm chi phí cho tổ chức đang ứng dụng chatbot này. Một chatbot có thể thay thế cho các bộ phận như helpdesk (quầy hổ trợ), trả lời tin nhắn tự động, trả lời các phản hồi trên mạng xã hội hoặc tư vấn về các sản phẩm dịch vụ cung cấp. Việc xử lý để xây dựng nên một chatbot trong nghiên cứu này tập trung vào hai kỹ thuật quan trọng và chủ yếu đó là xử lý ngôn ngữ tự nhiên và đưa ra các phản hồi đến người dùng với độ tin cậy và chính xác cao.

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DUY TÂN NGUYỄN THANH TÙNG GIẢI PHÁP CHUYỂN ĐỔI SỐ NHẰM TỐI ƯU CÔNG VIỆC TẠI VNPT QUẢNG TRỊ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH ĐÀ NẴNG – 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DUY TÂN NGUYỄN THANH TÙNG GIẢI PHÁP CHUYỂN ĐỔI SỐ NHẰM TỐI ƯU CÔNG VIỆC TẠI VNPT QUẢNG TRỊ Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS TS Nguyễn Gia Như ĐÀ NẴNG – 2022 i LỜI CAM ĐOAN Tôi xin cam đoan luận văn cơng trình nghiên cứu tơi Được dẫn dắt hướng dẫn PGS TS Nguyễn Gia Như Các nhận định nêu luận văn kết nghiên cứu nghiêm túc, độc lập thân tơi tạo nên luận văn sở tìm hiểu, nghiên cứu tài liệu khoa học dịch tác phẩm công bố Luận văn đảm bảo tính khách quan, trung thực khoa học Lĩnh vực nghiên cứu ChatBot, chuyển ứng dụng VNPT Samrtbot giải vấn đề chuyển đổi số nhằm tối ưu công việc VNPT Quảng trị, tối ưu nhân lực, chăm sóc khách hàng tốt hơn, tìm kiếm nhiều đối tượng khách hàng, ứng dụng hướng đến hài lòng khách hàng thước đo thương hiệu Luận văn mang tính khoa học để giải tốn ngơn ngữ, kết hợp tìm thơng tin diện rộng cách thông minh Việc giao tiếp người – máy trở nên dể dàng hết Các tốn tự học máy, trí tuệ nhân tạo ứng dụng triệt để giúp việc tương quan người – máy thân thiện với đời sống người Mang đến cho người dùng giải pháp kinh tế số thời đại ii LỜI CẢM ƠN Để hoàn thành luận văn, với nỗ lực thân, Tôi nhận động viên, giúp đỡ nhiều người Tôi xin chân thành bày tỏ lòng biết ơn sâu sắc đến PGS-TS Nguyễn Gia Như Trường Đại học Duy Tân Thầy tận tình bảo hướng dẫn Tơi suốt q trình học tập, nghiên cứu hoàn thành luận văn tốt nghiệp Xin chân thành cảm ơn thầy cô giáo Ban chủ nhiệm nhà Trường, Khoa sau Đại học, hướng dẫn tạo điều kiện thuận lợi để Tôi hồn thành luận văn thời hạn Đặc biệt, tơi xin trân trọng cảm ơn Lãnh đạo, đồng nghiệp công tác VNPT - Quảng Trị nhiệt tình ủng hộ, động viên, giúp đỡ tơi q trình học tập cung cấp thơng tin, số liệu cần thiết để thực luận văn Xin gửi lời cảm ơn đến gia đình, anh chị em, bạn bè động viên, giúp đỡ suốt q trình hồn thành luận văn Tơi xin chân thành cảm ơn! Tác giả luận văn Nguyễn Thanh Tùng iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC KÝ HIỆU, CÁC CHỮ VIẾT TẮT .iv DANH MỤC CÁC BẢNG .v DANH MỤC HÌNH VẼ vi MỞ ĐẦU 1 Đặt vấn đề Phương pháp đề xuất 3 Mục tiêu nghiên cứu Bố cục luận văn Chương 1: KIẾN THỨC TỔNG QUAN 1.1 Tổng quan Chatbot 1.1.1 Giới thiệu về chatbot .7 1.1.2 Sự phát triển chatbot 1.1.3 Phân loại chatbot 10 1.1.4 Cấu trúc chương trình chatbot 14 1.1.5 Các tính chatbot 15 1.2 Các kỹ thuật ứng dụng chatbot .18 1.2.1 Xử lý ngôn ngữ tự nhiên (NLP/NLU) 18 1.2.2 Sinh ngôn ngữ tự nhiên (NLG) 27 1.2.3 Các kỹ thuật học máy (Machine learning) 29 1.2.4 Mạng nơ ron nhân tạo (Neural network) 31 1.3 Các dịch vụ tư vấn bán hàng trực tiếp 33 1.3.1 Tổng quan dịch vụ ineternet, Mytv, Vinaphone VNPT 33 1.3.2 Marketing lĩnh vực Data .35 1.3.3 Ứng dụng công nghệ lĩnh vực dịch vụ công nghệ 35 iv 1.4 Một số công việc liên quan đến đề tài 36 Chương 2: XÂY DỰNG CHATBOT TƯ VẤN DỊCH VỤ VNPT THEO TIẾP CẬN HỌC MÁY 38 2.1 Mơ tả tốn 38 2.2 Thiết kế VNPT Smartbot 39 2.2.1 Phương thức hoạt động Chatbot – Chatterbot .39 2.2.2 Long Short Term Memory (LSTM) trí nhớ ngắn/dài hạn .40 2.2.3 Recurrent Neural Network (RNN) mạng thần kinh tái diễn giải mỏ/đóng cuộn ngữ cảnh phù hợp (LSTM) .43 2.2.4 Sơ lược về Artificial Neural Network (ANN) .44 2.3 Mơ hình hệ thống .49 2.3.1 Tiền xử lý liệu 51 2.3.2 Trích xuất đặc trưng 52 2.3.3 H́n luyện mơ hình .53 2.3.4 Quản lý hội thoại 55 Chương 3: KẾT QUẢ VÀ THỰC NGHIỆM 58 3.1 Công nghệ tảng sử dụng .58 3.1.1 Ngôn ngữ lập trình 58 3.1.2 Thư viện môi trường sử dụng 58 3.1.3 Độ đo mơ hình 59 3.2 Các tiêu chí đánh giá 62 3.3 Cài đặt kết thử nghiệm 62 3.3.1 Xây dựng liệu 62 3.3.2 Cài đặt thử nghiệm trích chọn đặc trưng 66 3.3.3 Cài đặt thử nghiệm h́n luyện mơ hình 68 3.3.4 Ảo hóa quản lý hội thoại .74 3.3.5 Tích hợp lên mơi trường website VNPT 76 3.4 Nhận xét chung 79 KẾT LUẬN 81 v Tổng kết 81 Hướng phát triển 82 TÀI LIỆU THAM KHẢO PHỤ LỤC vi DANH MỤC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt NLP Natural Language Process Xử lý ngôn ngữ tự nhiên NLU Natural language understanding Hiểu ngôn ngữ tự nhiên NLG Natural language generation Sinh ngôn ngữ tự nhiên FSM Finite state machine Máy trạng thái hữu hạn SVM Support vector machine Véc tơ máy hỗ trợ AI Artifficial Inteligence Trí truệ nhân tạo ML Machine Learning Máy học IoT Internet of Things Internet vạn vật Term frequency - Inverse Tần suất- Tần suất đảo nghịch document frequency từ BoW Bag of Word Nhóm từ LSTM Long short term memory Bộ nhớ ngắn dài TF - IDF vii DANH MỤC CÁC BẢNG Bảng 1.1 Mô tả cải tiến kỹ thuật sử dụng hệ chatbot 10 Bảng 1.2 Chatbot hỏi thông tin khách hàng truy vấn dịch vụ mở sổ tiết kiệm 23 Bảng 2.1 Ví dụ đoạn hội thoại hỏi thông tin dịch vụ Vinaphone .50 Bảng 3.1 Kết tính tốn thủ công giá trị TF-IDF .67 Bảng 3.2 Kết tính tốn giá trị TF-IDF từ hàm cài đặt 67 Bảng 3.3 Thử độ đo theo mơ hình phân lớp với liệu riêng biệt 71 Bảng 3.4 Thời gian thử nghiệm mơ hình 73 Bảng 3.5 Tỷ lệ trả lời mơ hình sau huấn luyện 73 Bảng 3.6 Một đoạn hội thoại thử nghiệm mơ hình sau huấn luyện .73 viii DANH MỤC HÌNH VẼ Hình 1.1 Các mốc thời gian phát triển chatbot Hình 1.2 Mơ tả phép thử Turing .9 Hình 1.3 Biếu đồ loại chatbot [2] 11 Hình 1.4 Artificial General Intelligence - AGI) [3] .12 Hình 1.5 Cấu trúc chương trình chatbot [4] .14 Hình 1.6 Các dịch vụ đáp ứng yêu cầu người dùng 15 Hình 1.7 Gán nhãn từ theo mơ hình B-I-O trích xuất thơng tin 20 Hình 1.8 Mơ tả quản lý hội thoại theo mơ hình máy trạng thái hữu hạn FSM 22 Hình 1.9 Phương pháp Top-Down 26 Hình 1.10 Nhiệm vụ kiến trúc Pipeline NLG [7] .28 Hình 1.11 Kiến trúc phân lớp intent theo phương pháp học có giám sát 30 Hình 1.12 Mơ tả neural đơn 31 Hình 1.13 Mơ tả Neural network 32 Hình 1.14 Logo VNPT bật .33 Hình 2.1 Mơ hình hoạt động Chatterbot 39 Hình 2.2 Học chun sâu có sử dụng vecter điều hướng (LSTM – Vecter) 40 Hình 2.3 Mạng lưới thần kinh nhân tạo Artificial Neural Network (ANN) 44 Hình 2.4 Mơ hình thiết kế tổng quan hệ thống chatbot 49 Hình 2.5 Tổ chức liệu intents theo định dạng markdown 51 Hình 2.6 Tổ chức liệu theo định dạng json 51 Hình 2.7 Những từ đặc trưng nhóm vào nhóm đánh trọng số 53 Hình 2.8 Mơ hình BoW sử dụng NLP 53 Hình 2.9 Class SVM .54 Hình 2.10 Multi-Class SVM (9) 55 Hình 2.11 LSTM luồng xử lý chatbot 56 Hình 2.12 Kiến trúc mơ hình hóa đoạn hội thoại 56