ỨNG DỤNG DEEP LEARNING VÀO BÀI TOÁN PHÂN TÍCH NGỮ NGHĨA

ỨNG DỤNG DEEP LEARNING VÀO BÀI TOÁN PHÂN TÍCH NGỮ NGHĨA1. Mở đầuNhư đã trình bày đồ án này nghiên cứu ứng dụng và đánh giá hiệu quả mô hình Recurrent Neural Network vào bài toán Phân tích ngữ nghĩa trong Xử lý ngôn ngữ tự nhiên. Đồ án được thực hiện với hai nhiệm vụ chính là:• Thử nghiệm, ứng dụng, đánh giá mô hình SEQ2SEQ cho bài toán Phân tích ngữ nghĩa với bộ dữ liệu đã được tái tổ hợp các thực thể về dạng typeid.• Đề xuất mô hình SEQ2SEQBRNN và thực hiện các thử nghiệm cho bài toán Phân tích ngữ nghĩa với bộ dữ liệu thô, chưa được tái tổ hợp các thực thể.Mô hình SEQ2SEQ (Kyunghyun Cho và cộng sự, năm 2014) 2 ra đời với mục đích dịch máy và đạt được độ chính xác khá cao. Mô hình này nhanh chóng trở nên nổi tiếng khi tiếp tục ứng dụng trong bài toán chatbot (đề xuất bởi Sutskever và cộng sự, năm 2014) 11. Với các đoạn hội giữa máy và người gần đạt đến được sự tự nhiên trong ngôn ngữ giao tiếp, mô hình SEQ2SEQ một lần nữa cho thấy ứng dụng to lớn trong lĩnh vực xử lý ngôn ngữ tự nhiên. Mới đây, các kết quả công bố trong công việc ứng dụng mô hình này vào bài toán Phân tích ngữ nghĩa như kết quả của Robin Jia và cộng sự, năm 2016 6, hay của Li Dong và cộng sự, năm 2016 3, cho thấy việc sử dụng SEQ2SEQ là một hướng đi đúng đắn và đầy hứa hẹn.Các kết quả thử nghiệm trên 2 bộ dữ liệu Geo và Atis cho thấy mô hình SEQ2SEQ thực sự có khả năng ứng dụng vào giải quyết bài toán Phân tích ngữ nghĩa với độ chính xác cao: đạt 82.72% trên tập Geo và 83.4% trên tập Atis. Đối với nhiệm vụ thứ 2 kết quả mô hình đề xuất SEQ2SEQBRNN cũng cải thiện kết quả đáng kể so với mô hình gốc SEQ2SEQ: cụ thể đạt 78.8% (tăng ∼ 10%) trên tập Geo và đạt 79.4% trên tập Atis (tăng ∼ 7%). Nội dung của Báo cáo này bao gồm 6 chương:Chương 1 Mở đầu: Trình bày tóm tắt nhiệm vụ, bố cục của đồ án tốt nghiệp.Chương 2 Kiến thức cơ sở: Hệ thống hóa các kiến thức nền tảng về Neural Network. Đưa ra tổng quan, ý tưởng và cách cài đặt của các mô hình mạng RNN cơ sở đã sử dụng để xây dựng nên mô hình mạng cho bài toán Phân tích ngữ nghĩa.Chương 3 Bài toán Phân tích ngữ nghĩa và mô hình mạng SEQ2SEQBRNN:Mô tả chi tiết bài toán Phân tích ngữ nghĩa. Ứng dụng của bài toán này vào giải quyết các vấn đề trong thực tế và các kết quả nghiên cứu cho đến thời điểm hiện tại trên thế giới. Phân tích nhược điểm của mô hình SEQ2SEQ và đề xuất mô hình mới SEQ2SEQ BRNN.11Chương 4 Dữ liệu: Mô tả bộ dữ liệu cho mô hình SEQ2SEQ và mô hình đề xuất SEQ2SEQBRNN, và luồng xử lý của bộ dữ liệu đối với từng mô hình.Chương 5 Thực nghiệm và hiệu quả: Trình bày kết quả cài đặt, thử nghiệm các mô hình mạng cho các nhiệm vụ của đồ án. Phân tích, đánh giá, so sánh và giải thích các kết quả thu được.Chương 6 Kết luận: Trình bày kết luận chung của Đồ án tốt nghiệp, các công việc đã làm được và chưa làm được trong khuôn khổ thực hiện đồ án tốt nghiệp. Định hướng cải tiến mô hình mạng để phát triển và hoàn thiện các kết quả đạt được.Chương 7 Tài liệu tham khảo: Danh sách các tài liệu, bài viết đã tham khảo.

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ——————– * ——————— ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CÔNG NGHỆ THÔNG TIN ỨNG DỤNG DEEP LEARNING VÀO BÀI TỐN PHÂN TÍCH NGỮ NGHĨA Nguyễn Minh Phương Lớp CNTT-TT 2.01 - K57 Giáo viên hướng dẫn: TS Thân Quang Khoát Sinh viên thực : HÀ NỘI 05-2017 PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Thông tin sinh viên Họ tên sinh viên: Nguyễn Minh Phương Điện thoại liên lạc: 01695269189 Email: nguyenphuong.cnbt@gmail.com Lớp: CNTT-TT 2.01 - K57 Hệ đào tạo: Đại học quy Đồ án tốt nghiệp thực tại: Data Science Lab - Đại học Bách Khoa Hà Nội Thời gian làm ĐATN: Từ ngày 15/01/2017 đến 26/05/2017 Mục đích nội dung ĐATN Nghiên cứu ứng dụng đánh giá hiệu mơ hình Recurrent Neural Network vào tốn Phân tích ngữ nghĩa Xử lý ngôn ngữ tự nhiên Các nhiệm vụ cụ thể ĐATN • Thử nghiệm, ứng dụng, đánh giá mơ hình SEQ2SEQ cho tốn Phân tích ngữ nghĩa với liệu tái tổ hợp thực thể dạng typeid • Đề xuất mơ hình thực thử nghiệm với mơ hình cho tốn Phân tích ngữ nghĩa với liệu thô, chưa tái tổ hợp thực thể Lời cam đoan sinh viên: Tôi - Nguyễn Minh Phương - cam kết ĐATN cơng trình nghiên cứu thân tơi hướng dẫn TS Thân Quang Khoát Các kết nêu ĐATN trung thực, chép tồn văn cơng trình khác Hà Nội, ngày tháng năm Tác giả ĐATN Nguyễn Minh Phương Xác nhận giáo viên hướng dẫn mức độ hoàn thành ĐATN cho phép bảo vệ: Hà Nội, ngày tháng năm Giáo viên hướng dẫn TS Thân Quang Khoát Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 Lời cảm ơn Đầu tiên, em xin gửi lời cảm ơn chân thành đến thầy giáo, cô giáo thuộc trường đại học Bách Khoa Hà Nội Đặc biệt thầy giáo, cô giáo thuộc Viện Công nghệ Thông tin Truyền Thông Chính thầy giáo trang bị cho em kiến thức quý báu thời gian em học tập nghiên cứu trường Đồng thời em xin gửi lời cảm ơn đặc biệt đến TS Thân Quang Khốt, ThS Ngơ Văn Linh Các thầy người dẫn tận tình, cho em kinh nghiệm q báu để em hồn thành đồ án tốt nghiệp Thầy cô động viên, giúp đỡ em thời điểm khó khăn Em xin gửi lời cảm ơn chân thành tới thầy cô thuộc Data Science Lab thuộc viện Công Nghệ Thông Tin Truyền Thông tạo điều kiện cho em thực hành thử nghiệm máy tính lab Em xin gửi lời cảm ơn tới gia đình bạn bè (đặc biệt anh Nguyễn Đức Tuấn, anh Lương Xuân Bách) Gia đình, bạn bè động viên tinh thần động lực để em tiến lên phía trước Sinh viên: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 Tóm tắt nội dung Hiện nay, máy tính đóng vai trò vơ quan trọng sống hàng ngày, từ giải trí đến công việc, từ đơn giản đến phức tạp Máy tính góp phần lớn việc giảm cơng sức thời làm việc Việc tạo chương trình giúp máy tính hiểu ngơn ngữ tự nhiên người ngày trở nên cần thiết tảng ứng dụng thông minh sau Bài tốn Phân tích ngữ nghĩa (Semantic Parsing) Xử lý ngôn ngữ tự nhiên (XLNNTN) tốn hay khó, thu hút nhiều quan tâm từ chuyên gia xử lý ngôn ngữ tự nhiên Vấn đề tốn chuyển đổi câu nói thường ngày thành dạng form logic mà máy tính trích rút thơng tin từ Xử lý vấn đề giới hạn giao tiếp người máy tính gần bị xóa nhòa Học sâu (Deep learning) chi ngành máy học (Machine learning) dựa tập hợp thuật tốn để mơ hình liệu trừu tượng hóa mức cao cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp, cách khác bao gồm nhiều biến đổi phi tuyến [12] Mơ hình Recurrent Neural Network mơ hình Neural Network đặc biệt Deep learning hiệu nhiệm vụ xử lý ngôn ngữ tự nhiên Đồ án nghiên cứu ứng dụng đánh giá hiệu mơ hình Recurrent Neural Network vào tốn Phân tích ngữ nghĩa Xử lý ngơn ngữ tự nhiên Đồng thời đề xuất mơ hình kết hợp SEQ2SEQ-BRNN để giải toán với liệu thô mà không cần tiền xử lý liệu tái tổ hợp dạng typeid thực thể Các kết thử nghiệm liệu Geo Atis cho thấy mơ hình đề xuất thực nâng cao chất lượng dự đoán Mục lục Lời cảm ơn Tóm tắt nội dung Mở đầu 11 Kiến thức sở 2.1 Deep learning 2.2 Kiến trúc ANN 2.2.1 Neuron 2.2.2 Tầng Neuron 2.2.3 Phương pháp học 2.2.4 Đặc trưng: 2.2.5 Hàm đánh giá lỗi 2.2.6 Giải thuật học - Backpropagation 2.3 Mơ hình Recurrent Neural Network 2.3.1 Mơ hình RNN 2.3.2 Mơ hình Bidirectional RNN 2.3.3 Mơ hình Deep RNN 2.3.4 Mơ hình RNN kết hợp Long Short-Term Memory 2.3.5 Mơ hình Sequence to Sequence - attention 13 13 14 14 14 15 16 17 18 19 21 23 24 25 28 30 30 31 32 33 33 34 34 Dữ liệu 4.1 Dữ liệu gốc 4.2 Dữ liệu cho mơ hình đề xuất 38 38 39 Bài tốn Phân tích ngữ nghĩa mơ hình mạng SEQ2SEQ-BRNN 3.1 Xử lý ngôn ngữ tự nhiên 3.2 Bài tốn Phân tích ngữ nghĩa 3.3 Ứng dụng 3.4 Kết nghiên cứu 3.4.1 Kết 3.4.2 Kết sử dụng mơ hình mạng đề xuất 3.5 Mơ hình đề xuất SEQ2SEQ-BRNN Thực nghiệm hiệu 5.1 Các mơ hình thử nghiệm 5.2 Độ đo 5.3 Thông tin cài đặt 5.4 Chi tiết kết 5.4.1 Mơ hình SEQ2SEQ 5.4.2 Mơ hình đề xuất SEQ2SEQ-BRNN 41 41 41 42 42 42 46 Kết luận 6.1 Tổng kết kết đạt đồ án: 6.2 Các hướng tìm hiểu tương lai 51 51 51 Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 Danh sách hình vẽ 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13 2.14 2.15 2.16 3.1 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10 Cấu trúc Neuron Cấu trúc ANN đơn giản Mô hình mạng trước sau học tham số Mơ hình mạng trước sau học cấu trúc liên kết ANN lan truyền tiến ANN phản hồi ANN hồi quy Kiến trúc mạng RNN Mạng lan truyền tiến layer Mạng RNN Mạng BRNN Mạng Deep RNN sử dụng RNN Cấu trúc state Mạng RNN sử dụng LSTM Mạng SEQ2SEQ Mơ hình SEQ2SEQ-attention Mơ hình SEQ2SEQ-BRNN Kết mạng SEQ2SEQ tập Geo Kết mạng SEQ2SEQ tập Atis Kết mơ hình SEQ2SEQ liệu Geo trước sau tiền xử lý Kết mô hình SEQ2SEQ liệu Atis trước sau tiền xử lý Kết tái tổ hợp liệu tập Geo Kết tái tổ hợp liệu tập Atis Kết tổng hợp tập Geo Kết tổng hợp tập Atis Kết thay đổi tham số Learning rate tập Geo Kết random thứ tự minibatch train tập Geo 14 15 16 16 16 17 17 19 20 22 23 25 27 27 28 29 35 43 44 45 45 46 47 48 48 49 50 Danh sách bảng 3.1 3.2 4.1 4.2 4.3 4.4 4.5 Kết tập Geo Kết tập Atis Tiền xử lý liệu với Argument Identical Thông tin liệu Bộ liệu cho mơ hình BRNN tái tổ hợp liệu Chuyển tiếp liệu Phân tích ngữ nghĩa 34 34 38 39 39 40 40 Danh sách từ viết tắt ANN Artificial Neural Network BP Backpropagation BPTT Backpropagation Through Time BRNN Bidirectional Recurrent Neural Network DRNN Deep Recurrent Neural Network LSTM Long Short-Term Memory NER Named Entity Recognition RNN Recurrent Neural Network RNN-LSTM Recurrent Neural Network sử dụng Long Short-Term Memory SEQ2SEQ Sequence to Sequence XLNN Xử lý ngôn ngữ XLNNTN Xử lý ngôn ngữ tự nhiên Danh sách kí hiệu m n k L D Et xt yt ot b U W V ∆U ∆W ∆V Phép nhân thành phần (element-wise multiplication) Số chiều vector input Kích thước tầng ẩn Số chiều vector ouput Số tầng RNN mạng Deep RNN Tập liệu Hàm lỗi tương ứng với input xt Vector input thứ t chuỗi input Vector kì vọng tương ứng xt Vector output thứ ứng với đầu vào xt Ma trận thành phần bias tầng Ma trận trọng số liên kết tầng input tầng ẩn Ma trận trọng số liên kết tầng ẩn Ma trận trọng số liên kết tầng ẩn tầng output Ma trận cập nhật cho trọng số U Ma trận cập nhật cho trọng số V Ma trận cập nhật cho trọng số W 10 Dữ liệu Tổng quan: Chương cung cấp cho ta nhìn chi tiết liệu thử nghiệm cho tốn Phân tích ngữ nghĩa Đồng thời giúp hiểu rõ cách xử lý liệu, biến đổi liệu qua mơ hình BRNN SEQ2SEQ 4.1 Dữ liệu gốc Dữ liệu tốn phân tích ngữ nghĩa thử nghiệm đồ án gồm có liệu Geo Atis (đây liệu mẫu thường dùng cho toán Semantic parsing) Hai liệu tiền xử lý sử dụng giống liệu viết Language to Logical Form with Neural Attention (Li Dong cộng sự, năm 2016) • GEO: Bộ liệu gồm có 880 câu truy vấn chuyển hóa dạng form logic sử dụng cú pháp lambda-calculus Bộ liệu chứa nội dung câu hỏi thông tin địa lý thành phố, bang, sơng, nước Mỹ • ATIS: Bộ liệu gồm có 5410 câu truy vấn thơng tin chuyến bay sân bay Tương tự Geo, câu truy vấn chuyển dạng form logic sử dụng cú pháp lambda-calculus Nội dung liệu chứa thông tin chuyến bay bao gồm ngày, tháng năm, thời gian, thành phố, mã chuyến bay, Do câu hỏi ngơn ngữ nói thơng thường nên có nhiều từ tên thực thể, số thời gian, địa danh, Điều gây nhiễu nhiều cho mơ hình học nên tiền xử lý, từ dạng tái tổ hợp chuyển hóa dạng chung theo loại Ví dụ: Dataset Ví dụ GEO where is portland => where is c0 ATIS list all flights departing from seattle => list all flight depart from ci0 Bảng 4.1: Tiền xử lý liệu với Argument Identical Mục đích phát triển người phát triển hai liệu Geo Atis cho hệ thống hỏi đáp tự động, hệ thống sử dụng form logic truy vấn vào hệ sở liệu xây dựng để đưa thông tin phù hợp với câu hỏi dạng ngôn ngữ tự nhiên 38 Dataset GEO ATIS Độ dài TB Ví dụ 7.6 which state has the highest elev 19.1 argmax $1 ( state:t $1 ) ( elevation:i $1 ) 11.1 list all flight depart from ci0 28.1 lambda $0 e ( and ( flight $0 ) ( from $0 ci0 ) ) Bảng 4.2: Thông tin liệu 4.2 Dữ liệu cho mơ hình đề xuất Mơ hình đề xuất (SEQ2SEQ + BRNN) xây dựng dựa ý tưởng cách thức tiền xử lý liệu thực với mơ hình gốc dataset Geo Atis, tái tổ hợp tên địa danh, số, thời gian, thành dạng Id tương ứng với loại Thay phần tái tổ hợp nằm tiền xử lý liệu chuyển thành nhiệm vụ mơ hình BRNN, sau kết mơ hình BRNN thu chuyển tiếp làm đầu vào cho mơ hình phân tích ngữ nghĩa thông thường (SEQ2SEQ) Do ngôn ngữ giao tiếp người thường đa dạng, nên kỳ vọng mơ hình cải tiến thể hiệu đặt hệ thống hỏi đáp Giai đoạn chuyển hóa liệu: • Tái tổ hợp: Mơ hình tái tổ hợp (BRNN) với nhiệm vụ học phân loại từ (word) danh từ, số, thời gian, chuyển hóa dạng typeid tương ứng với loại Các từ khác giữ với nhãn nhãn hiểu từ thông thường Ví dụ: Input Output Input Output what flights go from dallas to phoenix ci0 ci1 list the alaska airlines flights arriving in burbank al0 al0 ci0 Bảng 4.3: Bộ liệu cho mơ hình BRNN tái tổ hợp liệu • Chuyển tiếp: Được thực module tích hợp giúp ta chuyển tiếp từ ouput mơ hình tái tổ hợp thành input mơ hình phân tích ngữ nghĩa Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 39 Input what flight go from dallas to phoenix ci0 ci1 Output what flight go from ci0 to ci1 Input list the alaska airlines flights arriving in burbank al0 al0 ci0 Output list the al0 flights arriving in ci0 Bảng 4.4: Chuyển tiếp liệu • Phân tích ngữ nghĩa: Mơ hình SEQ2SEQ học đưa dạng form logic cuối câu với liệu input nhận từ module tích hợp Input Output Input Output what flight go from ci0 to ci1 lambda $0 e ( and ( flight $0 ) ( from $0 ci0 ) ( to $0 ci1 ) ) list the al0 flights arriving in ci0 lambda $0 e ( and ( flight $0 ) ( airline $0 al0 ) ( to $0 ci0 ) ) Bảng 4.5: Phân tích ngữ nghĩa Bộ liệu phân tích ngữ nghĩa Atis Geo công khai viết Language to Logical Form with Neural Attention (Li Dong cộng sự, năm 2016) dạng liệu gốc liệu dạng tái tổ hợp Ta cần xây dựng liệu cho mơ hình tái tổ hợp Cách xây dựng đơn giản, cần so khớp câu trước sau từ chuyển hóa dạng typeid, từ giống gán nhãn từ khác nhãn từ typeid Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 40 Thực nghiệm hiệu Chương đưa mục tiêu công việc thực đồ án Đồng thời trình bày chi tiết kết thử nghiệm, phân tích đánh giá kết để làm rõ mục tiêu đặt 5.1 Các mơ hình thử nghiệm Đồ án thực tiếp cận giải tốn phân tích ngữ nghĩa xử lý ngôn ngữ tự nhiên với hướng tiếp cận sử dụng mơ hình SEQ2SEQ Neuron Network Mơ hình SEQ2SEQ cài đặt với kỹ thuật nâng cao mô hình RNN (đã trình bày phần 2.3) sử dụng LSTM, mơ hình DRNN, Đồng thời sử dụng chế Attention để cải thiện chất lượng dự đốn Bên cạnh đó, đồ án đề xuất mơ hình SEQ2SEQ kết hợp BRNN để cải thiện nhược điểm mơ hình SEQ2SEQ gốc làm việc với liệu chưa tiền xử lý tái tổ hợp Các thực nghiệm thực để phục vụ hai đánh giá là: • Đánh giá mơ hình SEQ2SEQ: Mục tiêu để kiểm chứng khả ứng dụng mơ hình SEQ2SEQ tốn Phân tích ngữ nghĩa Xử lý ngơn ngữ tự nhiên Đồng thời xác định nhược điểm mô hình SEQ2SEQ chạy liệu chưa tiền xử lý tái tổ hợp loại thực thể dạng typeid • Đánh giá mơ hình đề xuất SEQ2SEQ + BRNN: Mục tiêu để kiểm chứng chất lượng mơ hình đề xuất SEQ2SEQ + BRNN có thực phát huy hiệu quả, khắc phục nhược điểm mơ hình SEQ2SEQ gốc liệu chưa tiền xử lý hay không 5.2 Độ đo Độ đo sử dụng tất đánh giá đểu độ xác Trong dự đoán đầu vào chuỗi từ câu, đầu tập hợp tất nhãn từ (với mơ hình BRNN) chuỗi ouput dạng form logic (với mơ hình SEQ2SEQ) Nếu tất đầu xác ta coi dự đốn độ xác tính theo công thức: Accuracy = tổng số câu tổng số câu dự đốn 41 5.3 Thơng tin cài đặt Các thông số cài đặt áp dụng chung cho hai hai mơ hình SEQ2SEQ mơ hình đề xuất • Giải thuật Phân tích hình thái từ: sử dụng Porter Stemming Algorithm viết Martin Porter (2006) • Tốc độ học (Learning rate): thử nghiệm giá trị {0.001, 0.002} • Số chiều vector từ: thử nghiệm giá trị {200, 300} • Momentum: sử dụng giá trị 0.95 • Mini batch size: cài đặt 30 với liệu Atis, 10 với liệu Geo • Gradient clipped: giới hạn vấn đề exploding gradient với giá trị tối đa • Đảo ngược chuỗi input Chuỗi input đảo ngược thứ tự trước đưa vào mơ hình SEQ2SEQ (được đề xuất Sutskever cộng sự, năm 2014) • Tỉ lệ dropout: Dropout tỉ lệ 0.5 lớp LSTM DRNN • Thay đổi tốc độ học: Tốc độ học giảm dần qua epoch từ giá trị khởi tạo đến giá trị tối thiểu 1e−5 • Điều kiện dừng: sử dụng giới hạn số lượng epoch lặp tối đa Với mơ hình BRNN lặp tối đa giá trị {50, 80} Mơ hình SEQ2SEQ lặp tối đa giá trị {150, 200} • Khởi tạo trọng số: sử dụng random với phân phối rời rạc (uniform distribution) • Số tầng RNN DRNN: sử dụng tầng 5.4 5.4.1 Chi tiết kết Mơ hình SEQ2SEQ Các thử nghiệm mơ hình SEQ2SEQ để kiểm tra khả ứng dụng vào tốn Phân tích ngữ nghĩa Xử lý ngôn ngữ tự nhiên làm rõ nhược điểm Thử nghiệm mơ hình SEQ2SEQ liệu tiền xử lý Mơ hình thực chuyển câu nói dạng ngơn ngữ form logic liệu tiền xử lý tái tổ hợp từ dạng typeid Đổi với liệu tiền xử lý, kết thu khả quan, tập liệu Atis (Hình 5.2) Geo (Hình 5.1) Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 42 • Trên tập Geo: Ở vòng lặp (Epoch) thứ 80 kết trung bình thu đạt 80% đạt gần đến mức độ hội tụ Tuy nhiên fold biên độ dao động độ xác lớn (đặc biệt fold 2) Sự bất ổn bắt nguồn từ lượng liệu tập Geo khơng dồi Vì ta cần lượng liệu đủ lớn để mơ hình tổng quát hoá học luật ẩn chung • Trên tập Atis: Độ xác tăng chậm dần vòng lặp cuối, Biên độ dao động sau vòng lặp chênh lệch không nhiều tất fold Bộ liệu Atis với số lượng gần gấp lần tập Geo, lần cho thấy số lượng liệu nhiều mơ hình tổng qt hóa luật ẩn tốt Kết trung bình vòng lặp cuối đạt vào khoảng 83% thấp chút so với kết qủa mà mơ hình SEQ2SEQ công bố (Geo 84.6%, Atis 84.2%) Kết khác biệt thơng số cài đặt train mơ hình chưa thực tham số tối ưu Tuy kết cho thấy mơ hình SEQ2SEQ thực phát huy hiệu tốn phân tích ngữ nghĩa Hình 5.1: Kết mạng SEQ2SEQ tập Geo Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 43 Hình 5.2: Kết mạng SEQ2SEQ tập Atis Thử nghiệm mơ hình SEQ2SEQ liệu trước tiền xử lý: Tiến hành thử nghiệm độ xác mô SEQ2SEQ liệu Atis Geo trạng thái trước sau tiền xử lý tái tổ hợp liệu (Hình 5.3 Hình 5.4) Kết thu thực nghiệm cho thấy liệu sau tiền xử lý tái tổ hợp từ hiếm, cải thiện độ xác mơ hình SEQ2SEQ lên đáng kể ( tăng > 15% tập Atis Geo) Như trình bày phần 3.4.1, từ thường xuất khó để học qui luật tiềm ẩn Việc chuyển tất từ dạng typeid chung giúp mơ hình học ý nghĩa thực từ Đây nhược điểm mơ hình SEQ2SEQ liệu chưa tái tổ hợp, mơ hình SEQ2SEQ-BRNN đề xuất với kì vọng khắc phục nhược điểm Tăng độ xác tập liệu chưa qua tiền xử lý thực phát huy hiệu áp dụng vào toán thực tế Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 44 Hình 5.3: Kết mơ hình SEQ2SEQ liệu Geo trước sau tiền xử lý Hình 5.4: Kết mơ hình SEQ2SEQ liệu Atis trước sau tiền xử lý Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 45 5.4.2 Mơ hình đề xuất SEQ2SEQ-BRNN Với liệu chưa qua tiền xử lý, kết tốn phân tích ngữ nghĩa phụ thuộc vào mơ hình: • Mơ hình BRNN thực tái tổ hợp liệu Mơ hình thực gán nhãn typeid cho từ danh từ riêng, số, thời gian, Mô hình đứng độc lập đem lại kết cao, trung bình fold rơi vào khoảng 93% tập liệu Geo Atis • Mơ hình SEQ2SEQ chuyển câu nói thành form logic Kết mơ hình kết thu phần 5.4.1 Thử nghiệm mơ hình BRNN thực tái tổ hợp liệu Trên Hình 5.5 Hình 5.6 kết mơ hình BRNN thực việc tái tổ hợp liệu Dễ dàng thấy kết tập Geo bất ổn nhiều so với tập Atis Điều đa phần tập Geo có kích thước bé so với tập Atis (880 so với 5410), vòng lặp từ 30 đến 80, độ xác tập Geo dường khơng tăng nữa, nhiên độ xác tập Atis có xu hướng tiếp tục nâng cao Kết mơ hình BRNN với độ xác ∼ 93% hai liệu Geo Atis bước đầu cho ta thấy việc chọn sử dụng BRNN để tái tổ hợp liệu đắn Với kết mơ hình BRNN kì vọng phát huy tác dụng làm giảm tác động tiêu cực từ ghép mơ hình với SEQ2SEQ Hình 5.5: Kết tái tổ hợp liệu tập Geo Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 46 Hình 5.6: Kết tái tổ hợp liệu tập Atis Thử nghiệm mơ hình SEQ2SEQ-BRNN thực chuyển câu nói dạng form logic Mục tiêu ta cần quan tâm đến độ xác mơ hình kết hợp SEQ2SEQ BRNN Dữ liệu mơ hình kết hợp thực sau: câu chưa tiền xử lý, cần tái tổ hợp lại mơ hình BRNN, chuyển thành dạng form ngữ nghĩa mơ hình SEQ2SEQ Kết phân tích ngữ nghĩa câu đạt hai giai đoạn phải xác Kết tổng hợp Hình 5.8 Hình 5.7 cho thấy mơ hình đề xuất (SEQ2SEQ-BRNN) cho kết cải thiện ∼ 10% so với mơ hình SEQ2SEQ chạy liệu chưa qua tiền xử lý liệu Geo Atis Kết minh chứng cho việc mô hình SEQ2SEQ-BRNN thực phát huy hiệu quả, giảm ảnh hưởng tiêu cực từ đến kết phân tích form ngữ nghĩa câu Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 47 Hình 5.7: Kết tổng hợp tập Geo Hình 5.8: Kết tổng hợp tập Atis Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 48 Thay đổi tham số mơ hình - tốc độ học: Tiến hành thử nghiệm ảnh hưởng tốc độ học đến kết đầu mơ hình SEQ2SEQ-BRNN (Hình 5.9) Kết tốt thu thực nghiệm đạt learning rate (lr) có giá trị lr = 0.002, cao lr = 0.001 lr = 0.0005 Tuy nhiên tăng tốc độ học khiến mơ hình học tốt hơn, ta thấy ứng với tốc độ học lr = 0.005 kết thu tồi so với giá trị lr nhỏ 0.0005, 0.001, 0.002 Khi để lr q cao mơ hình dễ bị quẩn quanh điểm hội tụ mà đạt đến điểm hội tụ Nhìn vào option (0.0005, 0.001, 0.002) với lr khác ta thấy kể từ epoch 100 trở đi, chất lượng dự đoán mơ hình khơng tăng lên nhiều Có thể lý giải điều tốc độ học cài đặt giảm dần theo chiều tăng số epoch Giá trị nhỏ lr giảm xuống 1e−5 , điều giúp cho lr không bị giảm hồn tồn 0, để mơ hình dần đạt hội tụ tốt Nhìn chung kết tăng tốc độ học giới hạn hợp lý độ xác mơ hình tăng lên Giới hạn coi hợp lý lr với mơ hình khác khác Để tìm giá trị tốt lr ta cần phải thực thử nghiệm với lr đánh giá kết qủa thu Hình 5.9: Kết thay đổi tham số Learning rate tập Geo Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 49 Đảo trộn tập train theo minibatch: Tiến hành thử nghiệm ảnh hưởng việc đảo trộn thứ tự train minibatch mơ hình SEQ2SEQ-BRNN (Hình 5.10) Thực option: (1) Giữ thứ tự train minibatch không đổi qua epoch (2) Sinh random thứ tự train minibatch qua epoch Kết thu thực nghiệm cho thấy với epoch < 130 kết dự đoán option (2) nhỏ so với option(1) Tuy nhiên epoch sau từ 130 cho ta thấy option (2) có xu hướng tiếp tục tăng khả dự đoán tập test Trong với option (1) kết dự đốn khơng tăng thêm Ta rút việc thực random thứ tự train minibatch giúp tránh đáng kể vấn đề overfit tập data train, đặc biệt thực với liệu nhỏ Hình 5.10: Kết random thứ tự minibatch train tập Geo Sinh viên thực hiện: Nguyễn Minh Phương, 20122250, K57, Lớp CNTT-TT 2.01 50 Kết luận 6.1 Tổng kết kết đạt đồ án: Đồ án thực việc sau: Ứng dụng Deep Learning với mơ hình SEQ2SEQ vào giải tốn Phân tích ngữ nghĩa xử lý ngơn ngữ tự nhiên Đề xuất mơ hình SEQ2SEQ-BRNN kết hợp cải thiện kết phân tích ngữ nghĩa với liệu chưa qua tiền xử lý (tái tổ hợp thực thể dạng typeid) Thực thử nghiệm đánh giá chất lượng mơ hình SEQ2SEQ mơ hình đề xuất SEQ2SEQ-BRNN cho tốn phân tích ngữ nghĩa Kết cho thấy mơ hình đề xuất cải thiện kết phân tích ngữ nghĩa liệu ngôn ngữ giao tiếp 6.2 Các hướng tìm hiểu tương lai Các hướng nghiên cứu phát triển tiếp từ đây: Ứng dụng mơ hình đề xuất vào tốn thực tế, điển hệ thống giao tiếp tự động (chat-bot) Cải tiến mơ hình đề xuất theo hướng thay đổi cách thức kết hợp hai mơ hình, đưa thơng tin từ mơ hình tái tổ hợp phần thơng tin bổ sung q trình học mơ hình SEQ2SEQ Cải tiến mơ hình phân tích ngữ nghĩa theo số mơ hình SEQ2TREE, hay SEQ2SEQ-CopyNet, 51 Tài liệu tham khảo [1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio Neural machine translation by jointly learning to align and translate CoRR, abs/1409.0473, 2014 [2] Kyunghyun Cho, Bart van Merrienboer, Cáaglar Găulcáehre, Fethi Bougares, Holger Schwenk, and Yoshua Bengio Learning phrase representations using RNN encoderdecoder for statistical machine translation CoRR, abs/1406.1078, 2014 [3] Li Dong and Mirella Lapata Language to logical form with neural attention CoRR, abs/1601.01280, 2016 [4] Alex Graves, Abdel-rahman Mohamed, and Geoffrey E Hinton Speech recognition with deep recurrent neural networks CoRR, abs/1303.5778, 2013 [5] Sepp Hochreiter and Jăurgen Schmidhuber Long short-term memory Neural Comput., 9(8):1735–1780, November 1997 [6] Robin Jia and Percy Liang Data recombination for neural semantic parsing CoRR, abs/1606.03622, 2016 [7] Thân Quang Khoát Slide học máy Học phần Học Máy, 2015 [8] Thân Quang Khoát Slide trí tuệ nhân tạo Học phần Trí tuệ nhân tạo, 2015 [9] Minh-Thang Luong, Hieu Pham, and Christopher D Manning Effective approaches to attention-based neural machine translation CoRR, abs/1508.04025, 2015 [10] M Schuster and K.K Paliwal Bidirectional recurrent neural networks Trans Sig Proc., 45(11):2673–2681, November 1997 [11] Ilya Sutskever, Oriol Vinyals, and Quoc V Le Sequence to sequence learning with neural networks In Proceedings of the 27th International Conference on Neural Information Processing Systems, NIPS’14, pages 3104–3112, Cambridge, MA, USA, 2014 MIT Press [12] Wikipedia Học sâu https://vi.wikipedia.org/wiki/H%E1%BB%8Dc_s%C3% A2u Accessed: 21-05-2017 [13] Wikipedia Xử lý ngôn ngữ tự nhiên https://vi.wikipedia.org/wiki/X%E1% BB%AD_l%C3%BD_ng%C3%B4n_ng%E1%BB%AF_t%E1%BB%B1_nhi%C3%AAn Accessed: 23-05-2017 52 ... RNN sở sử dụng để xây dựng nên mơ hình mạng cho tốn Phân tích ngữ nghĩa Chương Bài tốn Phân tích ngữ nghĩa mơ hình mạng SEQ2SEQ-BRNN: Mơ tả chi tiết tốn Phân tích ngữ nghĩa Ứng dụng tốn vào giải... Bài tốn Phân tích ngữ nghĩa mơ hình mạng SEQ2SEQ-BRNN 3.1 Xử lý ngơn ngữ tự nhiên 3.2 Bài tốn Phân tích ngữ nghĩa 3.3 Ứng dụng ... • Phân tích cú pháp - Dãy từ biến đổi thành cấu trúc thể liên kết từ Sẽ có dãy từ bị loại vi phạm luật văn phạm • Phân tích ngữ nghĩa - Thêm ngữ nghĩa vào cấu trúc tạo phân tích 30 cú pháp • Tích