Nhận dạng ngôn ngữ bằng kỹ thuật long short term memory đồ án tốt nghiệp

ĐẠI HỌC BÌNH DƯƠNG KHOA CƠNG NGHỆ THƠNG TIN, ROBOT VÀ TRÍ TUỆ NHÂN TẠO  NHẬN DẠNG NGƠN NGỮ BẰNG KỸ THUẬT LONG SHORT TERM MEMORY Giảng viên hướng dẫn: ThS Huỳnh Quang Đức Sinh viên thực hiện: Trần Khánh Duy Mã số sinh viên: 17050028 Bình Dương, ngày 01 tháng 07 năm 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÌNH DƯƠNG Độc lập – Tự – Hạnh phúc NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN Sinh viên thực hiện: Trần Khánh Duy: 17050028 Lớp: 20TH01 Ngành: Công nghệ thông tin Tên đề tài: Nhận dạng ngôn ngữ kỹ thuật Long Short Term Memory (LSTM) Người hướng dẫn (tên đầy đủ): ThS Huỳnh Quang Đức Nội dung đồ án a Nhận xét hình thức báo cáo : Số trang Số chương _ Số bảng số liệu Số hình vẽ _ Sản phẩm _ Số tài liệu tham khảo b Nhận xét nội dung (kiến thức, phương pháp mà sinh viên tìm hiểu, nghiên cứu nhận xét ưu điểm hạn chế) Ý nghĩa đồ án i Nhận xét đồ án (nhận xét kiến thức, phương pháp mà sinh viên tìm hiểu, nghiên cứu, việc xây dựng ứng dụng demo, thái độ, ưu điểm, hạn chế sinh viên tham gia) a Ưu điểm: b Hạn chế: Đề xuất, đánh giá Đủ tiêu chuẩn bảo vệ Chưa đủ tiêu chuẩn bảo vệ Đánh giá chung: Điểm tối đa NỘI DUNG Điểm 10 Hướng nghiên cứu (cách tiếp cận đề tài, phương pháp nghiên cứu điều tra, khảo sát) 1.5 Nội dung trình bày từ hướng nghiên cứu (đặt vấn đề, giải vấn đề) 1.0 Sự phù hợp phương pháp (giá trị khoa học, thực tiển kết nghiên cứu) 2.0 Phạm vi phân tích (tính mới, tính sáng tạo, độc đáo đề tài) 3.0 Kết đạt kiến nghị (kết nghiên cứu, tóm tắt, kiến nghị đề tài) 1.0 Hình thức (định dạng, cấu trúc, nội dung, mục lục tài liệu tham khảo) 1.5 GIẢNG VIÊN HƯỚNG DẪN ii LỜI CÁM ƠN Công nghệ thông tin giai đoạn có bước phát triển vũ bão lĩnh vực hoạt động khắp nơi giới, điều xảy vóng vài năm vừa qua Việt Nam đầu tư ạt vào công nghệ Tin học lĩnh vực thiếu tổ chức, công ty, trường học Đặc biệt tin học ngày có vai trị quan trọng vấn đề quản lý quan, trường học, tổ chức đặc biệt lĩnh vực thu nhập thông tin Việt Nam Tuy công nghệ thông tin phát triển vài năm trở lại bước phát triển cho thấy Việt Nam nước có tiềm phát triển cơng nghệ thơng tin, phát triển thị giác máy tính giúp việc quản lý trở nên dễ dàng hơn, nâng cao hiệu quả, tiết kiệm thời gian công sức Qua thời gian tìm hiểu đề tài em xin chân thành cảm ơn thầy Ths,Huỳnh Quang Đức truyền đạt kiến thức chuyên môn, luôn giúp đỡ, định hướng, kỹ tốt trình học tập để chúng em hồn thành báo cáo SINH VIÊN THỰC HIỆN Trần Khánh Duy iii BỘ GIÁO DỤC VÀ ĐÀO TẠO CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÌNH DƯƠNG Độc lập – Tự – Hạnh phúc ĐỀ CƯƠNG CHI TIẾT Tên đề tài: Nhận dạng ngôn ngữ kỹ thuật LSTM (Long Short Term Memory) Giảng viên hướng dẫn: Huỳnh Quang Đức Thời gian thực hiện: Từ ngày 29 tháng 03 năm 2022 đến ngày 29 tháng 06 năm 2022 Sinh viên thực hiện: Trần Khánh Duy: 17050028 Nội dung đề tài: ❖ Lý chọn đề tài: Do trình hội nhập với giới, Việt Nam tiếp xúc với nhiều Quốc gia với nhiều ngôn ngữ mà người Việt biết hết tất ngôn ngữ đó, ứng dụng dịch thuật chưa có khả nhận diện ngôn ngữ Để giải hai vấn đề em chọn đề tài: Xây dựng ứng dụng nhận dạng ngôn ngữ kỹ thuật Long Short Term Memory ❖ Mục tiêu đề tài: Nhận dạng ngôn ngữ thông dụng: - Xác định xác ngơn ngữ trang web, thư điện tử giao tiếp với người chưa xác định ngôn ngữ - Giúp người dùng không cần phải lựa chọn ngôn ngữ đầu vào kết hợp với ứng dụng, công cụ dịch thuật, để trả kết cách thuận tiện, nhanh chóng xác ❖ Phạm vi đề tài: - Tìm hiểu nghiên cứu kỹ thuật Long Short Term Memory, Natural Language Processing, Machine Learning, Flask Framework số thư viện Python - Áp dụng vào việc nhận dạng ngôn ngữ làm sở cho dịch thuật mà không cần biết trước ngôn ngữ đầu vào ❖ Ý nghĩa thực tiễn:: - Hỗ trợ hệ thống dịch thuật iv - Xác định ngơn ngữ gốc câu nói - Biết cách sử dụng kỹ thuật Long Short Term Memory, xử lí ngơn ngữ tự nhiên, máy học sở trí tuệ nhân tạo… ❖ Phương pháp thực hiện: - Nghiên cứu word embedding Padding embedding vector - Tìm kiếm, thu thập liệu ngơn ngữ để huấn luyện mơ hình - Thiết kế giao diện người dùng - Xây dựng mơ hình sử dụng kỹ thuật LSTM để huấn luyện cho hệ thống nhận dạng ngôn ngữ: tiếng Anh, tiếng Việt, tiếng Trung Hoa tiếng Pháp - Tiến hành huấn luyện mơ hình - Cài đặt chạy ứng dụng làm sở điều chỉnh mơ hình phù hợp ❖ Kết mong đợi: - Giao diện người dùng Web, kết nối sở liệu xuất liệu - Hệ thống nhận dạng ngôn ngữ đầu vào: Tiếng Anh (English), tiếng Pháp (France), tiếng Trung (Chinese), tiếng Việt (Vietnamese) - Giao diện đơn giản, dễ sử dụng Kế hoạch thực hiện: Sinh viên thực Thời gian Trần Khánh Duy - Xác định phân tích yêu cầu - Tìm kiếm thu thập liệu cần thiết để huấn luyện mơ hình: từ, câu đoạn văn theo ngôn ngữ yêu cầu nhận diện - Tìm hiểu xử lý: mạng LSTM, NLP, máy học, - Tìm hiểu lập trình web ngơn ngữ Python với Flask Framework Từ 15/04/2022 đến 15/05/2022 - Phân tích thiết kế thành phần liệu thành phần xử lý Từ 29/03/2022 đến 15/04/2022 Chọn môi trường phát triển công nghệ sử dụng để xây dựng ứng dụng v Từ 15/05/2022 đến 30/05/2022 - Cài đặt số công cụ, thư viện cần thiết để xây dựng ứng dụng - Thiết kế thành phần giao diện Từ 30/05/2022 đến 15/05/2022 - Thực viết báo cáo Từ 15/05/2022 đến 30/06/2022 - Kiểm thử ứng dụng Cài đặt ứng dụng Hoàn thiện báo cáo Bình Dương, ngày … tháng … năm … TRƯỞNG KHOA CB HƯỚNG DẪN (Ký tên ghi rõ họ tên) (Ký tên ghi rõ họ tên) vi MỤC LỤC NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN i LỜI CÁM ƠN iii ĐỀ CƯƠNG CHI TIẾT .iv MỤC LỤC vii DANH MỤC CÁC CHỮ VIẾT TẮT ix DANH MỤC HÌNH ẢNH x LỜI NÓI ĐẦU xii CHƯƠNG TỔNG QUAN VỀ ĐỀ TÀI 1.1 TÊN ĐỀ TÀI .1 1.2 LÝ DO CHỌN ĐỀ TÀI 1.3 MỤC ĐÍCH CỦA ĐỀ TÀI .1 1.4 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU CỦA ĐỀ TÀI 1.5 PHÂN TÍCH ĐÁNH GIÁ HƯỚNG NGHIÊN CỨU .2 CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 NGHIÊN CỨU TỔNG QUAN 2.1.1 Trí tuệ nhân tạo (AI) 2.1.2 Máy học (ML) 2.1.3 Học sâu (DL) 2.1.4 Xử lí ngơn ngữ tự nhiên (NLP) 2.1.5 Python 2.1.6 Công cụ thực Visual Studio Code 10 2.1.7 File liệu CSV .12 2.1.8 HTML .14 2.2 MÔI TRƯỜNG PHÁT TRIỂN 16 2.2.1 Hệ điều hành Windows 10 .16 2.2.2 Flask Framework 19 2.3 CÔNG NGHỆ SỬ DỤNG 20 vii 2.3.1 Mạng LSTM .20 2.3.2 TensorFlow .25 2.3.3 Keras 26 2.3.4 TextBlob 27 2.3.5 Word Embedding .27 CHƯƠNG XÂY DỰNG ỨNG DỤNG 30 3.1 DỮ LIỆU VÀ HUẤN LUYỆN MƠ HÌNH 30 3.1.1 Dữ liệu cho mơ hình 30 3.1.2 Huấn luyện mơ hình 31 3.2 CHỨC NĂNG ỨNG DỤNG 32 3.3 GIAO DIỆN ỨNG DỤNG .33 3.3.1 Giao diện 33 3.3.2 Giao diện kết 33 CHƯƠNG KẾT LUẬN 40 4.1 KẾT QUẢ ĐẠT ĐƯỢC 40 4.2 HẠN CHẾ .40 4.3 HƯỚNG PHÁT TRIỂN 40 DANH MỤC TÀI LIỆU THAM KHẢO xii viii DANH MỤC CÁC CHỮ VIẾT TẮT STT Viết tắt Thuật ngữ Tiếng Việt AI Artificial Intelligence CNN Covolutional Neural Network CSV Comma Separated Values DL Deep Learning LSTM Long Short Term Memory ML Machine Learning NLP Natural Language Processing NLTK Natural Language Toolkit RNN Recurrent Neural Network 10 TF - IDF Term Frequence - Inverse Document Frequence ix Đồ án tốt nghiệp Chương Cơ sở lý thuyết giải thích, biểu diễn rõ ràng thuật ngữ bối cảnh từ xuất Các word embedding cụm từ, sử dụng làm biểu diễn đầu vào bản, hiển thị để tăng hiệu suất tác vụ NLP phân tích cú pháp phân tích tình cảm Trong ngôn ngữ học, word embedding thảo luận lĩnh vực nghiên cứu ngữ nghĩa phân phối Nó nhằm mục đích định lượng phân loại tương đồng ngữ nghĩa mục ngôn ngữ dựa thuộc tính phân phối chúng mẫu liệu ngôn ngữ lớn Ý tưởng "một từ đặc trưng công ty mà giữ" phổ biến Firth Kỹ thuật biểu diễn từ vectơ có nguồn gốc từ năm 1960 với phát triển mơ hình khơng gian vectơ để lấy thơng tin Việc giảm số lượng kích thước cách sử dụng phân tách giá trị số sau dẫn đến việc đưa phân tích ngữ nghĩa tiềm ẩn vào cuối năm 1980 Năm 2000, Bengio et al cung cấp loạt báo "Các mơ hình ngơn ngữ xác suất thần kinh" để giảm tính chiều cao từ biểu thị ngữ cảnh cách "học cách biểu diễn phân tán cho từ" Các word embedding có hai kiểu khác nhau, từ biểu thị dạng vectơ từ xuất từ khác từ biểu thị dạng vectơ ngữ cảnh ngơn ngữ từ xuất hiện, phong cách khác nghiên cứu (Lavelli et al., 2004) Roweis Saul xuất Science cách sử dụng "nhúng tuyến tính cục bộ" (LLE) để khám phá biểu diễn cấu trúc liệu chiều cao Khu vực phát triển thực cất cánh sau năm 2010, phần tiến quan trọng thực kể từ chất lượng vectơ tốc độ đào tạo mơ hình Có nhiều chi nhánh nhiều nhóm nghiên cứu làm việc word embedding Vào năm 2013, nhóm Google Tomas Mikolov dẫn đầu tạo word2vec, công cụ nhúng từ đào tạo mơ hình khơng gian vectơ nhanh phương pháp trước Hầu hết kỹ thuật nhúng từ dựa vào kiến trúc mạng thần kinh thay mơ hình n-gram truyền thống học tập không giám sát Một hạn chế nhúng từ ( mơ hình khơng gian vectơ từ nói chung) từ có nhiều nghĩa tập hợp thành biểu diễn (một vectơ khơng gian ngữ nghĩa) Nói cách khác, đa nghĩa đồng âm không xử lý cách Hầu hết cách tiếp cận tạo nhúng đa nghĩa chia thành hai loại để biểu diễn ý nghĩa từ chúng, nghĩa không giám sát dựa kiến thức Dựa word2vec Skip-gram, Multi-Sense SkipGram (MSSG) thực phân biệt cảm giác từ nhúng đồng thời, cải thiện thời gian luyện tập nó, giả định số giác quan cụ thể cho từ 28 Đồ án tốt nghiệp Chương Cơ sở lý thuyết Kết hợp kiến thức trước sở liệu từ vựng, nhúng từ phân biệt ý nghĩa từ, thích ý nghĩa phù hợp (MSSA) gắn nhãn giác quan thông qua cách tiếp cận khơng có giám sát dựa kiến thức xem xét ngữ cảnh từ cửa sổ trượt xác định trước Một từ định hướng, chúng sử dụng kỹ thuật nhúng từ tiêu chuẩn, word embedding đa nghĩa tạo Kiến trúc MSSA cho phép q trình định hướng thích thực thường xuyên theo cách tự cải thiện Việc sử dụng nhúng đa nghĩa biết để cải thiện hiệu suất số nhiệm vụ NLP, chẳng hạn gắn thẻ phần lời nói, xác định quan hệ ngữ nghĩa liên quan đến ngữ nghĩa Tuy nhiên, nhiệm vụ liên quan đến nhận dạng thực thể phân tích tình cảm có tên khơng hưởng lợi từ biểu diễn nhiều vectơ 29 Đò án tốt nghiệp Chương Xây dựng ứng dụng CHƯƠNG XÂY DỰNG ỨNG DỤNG 3.1 DỮ LIỆU VÀ HUẤN LUYỆN MƠ HÌNH 3.1.1 Dữ liệu cho mơ hình Tồn liệu chúng em tìm kiếm, thu thập từ nhiều nguồn khác như: tìm kiếm sách thư viện, tra từ điển, hỏi bạn bè, người thân qua việc trao đỏi ý kiến, tìm kiếm công cụ Internet, Một số liệu bốn ngơn ngữ: Hình 3.1 Dữ liệu tiếng Anh Hình 3.2 Dữ liệu tiếng Việt 30 Đị án tốt nghiệp Chương Xây dựng ứng dụng Hình 3.3 Dữ liệu tiếng Pháp Hình 3.4 Dữ liệu tiếng Trung 3.1.2 Huấn luyện mơ hình Huấn luyện mơ hình nhận dạng ngôn ngữ tiến hành theo bước: - Trước tiên lấy liệu ngôn ngữ từ file data.csv - Tạo tập huấn luyện, kiểm tra lớp phân tầng cân bằng; - Làm câu cách loại bỏ kí tự đặc biệt, chuyển câu chữ thường dùng hàm lower - Chia liệu thành câu chia liệu để huấn luyện, kiểm tra 31 Đò án tốt nghiệp Chương Xây dựng ứng dụng - Lấy danh sách ngôn ngữ, thêm từ “UNK” vào từ khơng có vocab sau chuyển vocab thành vector số lưu lại vào file data.pkl - Mã hóa liệu X, Y, tạo mã hóa onehotencoded, chuyển liệu Y thành mã hóa đệm dấu cho đủ dộ dài - Tạo mơ hình Hình 3.5 Mơ hình huấn luyện - Cuối huấn luyện, đánh giá mơ hình lưu lại vào file datatrain.h5 Hình 3.6 Mơ hình huấn luyện lưu lại 3.2 CHỨC NĂNG ỨNG DỤNG Ứng dụng có chức nhận diện ngơn ngữ ngơn ngữ đầu vào từ nguồn văn đa ngôn ngữ mà người dùng chưa xác định ngôn ngữ Ví dụ 32 Đị án tốt nghiệp Chương Xây dựng ứng dụng nhận thư điện tử với ngơn ngữ lạ ứng dụng trả kết ngơn ngữ ngơn ngữ Ngơn ngữ đầu vào gồm ngơn ngữ: Tiếng Việt, tiếng Anh, tiếng Pháp, tiếng Trung Nếu liệu đầu vào khác với ngôn ngữ nêu trên, hệ thống se trả chưa nhận dạng ngôn ngữ đầu vào Giao viện web đươc thể phần 3.3 Người sử dụng nhập vào đoạn văn với ngôn ngữ đầu xác định ngôn ngữ đầu vào xuất kết Người sử dụng chép đoạn văn vào tiến hành kiểm tra… 3.3 GIAO DIỆN ỨNG DỤNG 3.3.1 Giao diện Hình 3.7 Giao diện 3.3.2 Giao diện kết 33 Đò án tốt nghiệp Chương Xây dựng ứng dụng Hình 3.8 Giao diện kết Một số kết test mơ hình việc nhận dạng ngôn ngữ Các câu nhập vào gồm thứ tiếng: Tiếng Việt, tiếng Anh, tiếng Pháp, tiếng Nhật, tiếng Trung Kết đạt hình Câu nhập vào: Nếu hôm trời mưa câu cá Test câu nhập vào tiếng Việt Kết nhận dạng hình bên 34 Đị án tốt nghiệp Chương Xây dựng ứng dụng Kết nhận dạng: tiếng Việt Kết nhận dạng câu nhập vào tiếng Việt Thực kiểm tra tương tự cho ngơn ngữ cịn lại, thực thông qua kết bên dưới: Câu tiếng Anh: Please tell me the weather today 35 Đò án tốt nghiệp Chương Xây dựng ứng dụng Kết nhân dạng: tiếng Anh Nhập vào câu tiếng Nhật 36 Đò án tốt nghiệp Chương Xây dựng ứng dụng Kết nhạn dạng: tiếng Nhật Nhập vào câu tiếng Pháp 37 Đò án tốt nghiệp Chương Xây dựng ứng dụng Kết nhận dạng: tiếng Pháp Nhập vào câu tiếng Trung 38 Đò án tốt nghiệp Chương Xây dựng ứng dụng Kết nhận dạng: tiếng Trung 39 Đồ án tốt nghiệp Chương Kết luận CHƯƠNG KẾT LUẬN 4.1 KẾT QUẢ ĐẠT ĐƯỢC Hoàn thiện chức nhận diện ngôn ngữ nhập vào ngôn ngữ chưa xác định Giao diện WEB thân thiện, dễ sử dụng Nhận dạng ngôn ngữ đầu vào Dữ liệu huấn luyện gồm 4.787 dòng liệu, với 10.987 câu ngôn ngữ Anh, Pháp, Việt, Trung Hiệu suất đạt hệ thống 80% câu đầu vào Giao diện liệu huấn luyện hệ thống nhận dạng lưu trữ offline localhost máy đơn Kết bước đầu áp dụng cho ứng dụng dịch thuật nhận biết ngôn ngữ đầu vào 4.2 HẠN CHẾ Dữ liệu ngơn ngữ cịn có vài ngàn dịng liệu bốn loại ngơn ngữ cần nhận diện nên mơ hình nhận diện để nâng cao hiệu suất nhận dạng Chưa đưa ứng dụng chạy website trực tuyến mà chạy localhost nên chưa áp dụng rộng rãi Nhận dạng ngôn ngữ thật chưa đáp ứng nhu cầu thực tế đa dạng người đại kết nối ngôn ngữ 4.3 HƯỚNG PHÁT TRIỂN Bổ sung thêm liệu huấn luyện vào file huấn luyện để nâng cao hiệu suất tăng số lượng ngôn ngữ nhận dạng 10 ngơn ngữ đầu vào Tiếp tục tìm kiếm, thu thập số lượng lớn liệu phát triển, hồn thiện tính nhận diện tự động tương lai gần Đưa ứng dụng lên website có phiên dành cho smartphone để sử dụng nơi mà khơng cần đến máy tính Liên kết với ứng dụng, cơng cụ dịch thuật với tự động nhận diện mà khơng cần phải chọn ngơn ngữ đầu vào để có kết thuận tiện, nhanh chóng Áp dụng ứng dụng vào trợ lý ảo, chatboot, với số lĩnh vực: kinh doanh dịch vụ ẩm thực ăn uống, kinh doanh thời trang, giáo dục đào tạo (trung tâm ngoại ngữ, trung tâm dạy kỹ năm mềm, ), dịch vụ hỗ trợ chăm sóc khách hàng, cơng ty đa quốc tế với số lượng khách hàng từ nhiều nước,… 40 DANH MỤC TÀI LIỆU THAM KHẢO [1] Giasutinhoc, "Form html", http://giasutinhoc.vn/website/giao-trinhthiet-ke-web/form-trong-html-bai-3-2 [2] VietJack, "Học python nâng cao - học ngơn ngữ lập trình python hay nhất", http://vietjack.com/python/index.jsp [3] OverIQ, "Flask tutorial", https://overiq.com/flask-101 [4] Pythonprogramming, "Introduction to Practical Flask", https://pythonprogramming.net/practical-flask-introduction [5] Analytics Vidhya, "Xử lý ngôn ngữ tự nhiên cho người bắt đầu: Sử dụng TextBlob", https://www.analyticsvidhya.com/blog/2018/02/natural-languageprocessing-for-beginners-using-textblob [6] Kipalog, "Bắt đầu với Machine Learning thông qua Tensorflow", https://kipalog.com/posts/Bat-dau-voi-Machine-Learning-thong-quaTensorflow Phan-I-2 [7] Ereka, "Giới thiệu thư viện KERAS lập trình Machine Learning", https://ereka.vn/post/gioi-thieu-ve-thu-vien-keras-trong-lap-trinh-machinelearning-527902506116150633 [8] Toidicode, "Bài 17: Các hàm xử lý chuỗi Python", https://toidicode.com/cac-ham-xu-ly-chuoi-trong-python-368.html [9] Kaggle, "10 article topics Viet Nam NLP", https://www.kaggle.com/phamdinhkhanh/10-article-topics-viet-namnlp?fbclid=IwAR3cQ98hYTKvLv6huiLz0Ur0aojeyOIeudaSgTWB6CjeUsDVAmDSi053V4#1.Gi%E1%BB%9Bi-thi%E1%BB%87u [10] Javier Gonzalez-Dominguez, Ignacio Lopez-Moreno, Has¸im Sak, Joaquin Gonzalez-Rodriguez, Pedro J Moreno , Automatic Language Identification using Long Short-Term Memory Recurrent Neural Networks,Google Inc, New York, USA ATVS-Biometric Recognition Group, Universidad Autonoma de Madrid, Madrid, Spain xii [11] Research Gate, "Automatic Language Identification in Texts: A Survey", https://www.researchgate.net/publication/324717246_Automatic_Language_I dentification_in_Texts_A_Survey xiii