Nghiên cứu mô hình ngôn ngữ n gram cho tiếng việt và ứng dụng sửa lỗi dấu thanh trong tiếng việt

i     ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG         VŨ CHÍ HIẾU       NGHIÊN CỨU MƠ HÌNH NGƠN NGỮ N-GRAM CHO TIẾNG VIỆT VÀ ỨNG DỤNG SỬA LỖI DẤU THANH TRONG TIẾNG VIỆT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2016 ii       ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG                   VŨ CHÍ HIẾU              NGHIÊN CỨU MƠ HÌNH NGƠN NGỮ N-GRAM CHO   TIẾNG VIỆT VÀ ỨNG DỤNG SỬA LỖI DẤU THANH TRONG TIẾNG VIỆT         Chuyên ngành: Khoa học máy tính Mã số:60 48 0101           LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Giáo viên hướng dẫn: TS VŨ TẤT THẮNG         Thái Nguyên – 2016 iii   i LỜI CAM ĐOAN Tơi  xin  cam  đoan,  tồn  bộ  nội  dung  liên  quan  tới  đề  tài  được  trình  bày  trong luận văn là bản thân tơi tự tìm hiểu và nghiên cứu, dưới sự hướng dẫn  khoa học của TS Vũ Tất Thắng Viện cơng nghệ thơng tin thuộc Viện Khoa  học và Cơng nghệ Việt Nam Các tài liệu, số liệu tham khảo được trích dẫn đầy đủ nguồn gốc.   Thái Nguyên, ngày 20 tháng năm 2016   Học viên Vũ Chí Hiếu   ii LỜI CẢM ƠN Tơi xin gửi lời cảm ơn tới trường Đại học CNTT&TT – Đại học Thái Nguyên tạo điều kiện tổ chức khóa học để tơi có điều kiện tiếp thu kiến thức có thời gian để hồn thành Luận văn Cao học Tơi xin cảm ơn TS.Vũ Tất Thắng, người tận tình dẫn tơi suốt q trình xây dựng đề cương hồn thành luận văn Tơi xin chân thành cảm ơn thày cô truyền đạt cho em kiến thức quý báu trình học Cao học làm Luận văn Tôi chân thành cảm ơn bạn bè, anhchị em lớp cao học K13 giúp đỡ, đóng góp ý kiến chia kinh nghiệm học tập, nghiên cứu suốt khóa học Cuối tơi kính gửi thành đến gia đình người thân tơi, người hết lịng chăm sóc, dạy bảo động viên tơi để tơi có kết ngày hơm Mặc dù tơi cố gắng hoàn thành Luận văn phạm vi khả cho phép chắn không tránh khỏi thiếu sót Xin kính mong nhận cảm thơng tận tình bảo q Thầy Cô bạn     Thái Nguyên, ngày 20 tháng năm 2016 Học viên Vũ Chí Hiếu iii MỤC LỤC LỜI CAM ĐOAN   i LỜI CẢM ƠN   ii LỜI NÓI ĐẦU  . 1 CHƯƠNG I: MƠ HÌNH NGƠN NGỮ N-GRAM   3 1.1 Giới thiệu chung:   3 1.2 Cơng thức tính “xác suất thơ”:   5 1.3 Vấn đề khó khăn khi xây dựng mơ hình ngơn ngữ N-gram:   5 1.3.1 Phân bố không đều:  . 5 1.3.2 Kích thước bộ nhớ của mơ hình ngơn ngữ:   6 1.4 Các phương pháp làm mịn:  . 6 1.4.1 Các thuật toán chiết khấu  (discounting):  . 7 1.4.1.1 Phương pháp làm mịn Add-One:   7 1.4.1.2 Phương pháp làm mịn Witten - Bell:   9 1.4.1.3 Phương pháp làm mịn Good - Turing:  . 10 1.4.2 Phương pháp truy hồi:   11 1.4.3 Phương pháp nội suy:   12 1.4.4 Phương pháp làm mịn Kneser - Ney:   13 1.4.5 Phương pháp làm mịn Chen - GoodMan:   15 1.5 Kỹ thuật làm giảm kích thước dữ liệu:   15 1.5.1 Đồng hóa (Quantization):   16 1.5.2 Loại bỏ (pruning):  . 16 1.5.2.1 Cắt bỏ (cut-off):  17 1.5.2.2 Sự khác biệt trọng số (Weighted difference):   18 1.5.3 Nén (Compression):   19 1.6 Độ đo trong đánh giá mơ hình:  . 20 1.6.1 Entropy - Độ đo thông tin:   20 1.6.2 Perplexity - Độ hỗn loạn thông tin:   21 1.6.3 Error rate - Tỉ lệ lỗi:   22 CHƯƠNG II: XÂY DỰNG N-GRAM CHO TIẾNG VIỆT  . 24 2.1. Giới thiệu:   24 iv 2.2. Công cụ tách từ cho tiếng Việt - vnTokenizer:   24 2.3. Bộ công cụ SRILM:   28 2.3.1. N-gram-count:  . 28 2.3.2. N-gram:   30 2.4. Bộ công cụ trợ giúp xây dựng tập văn bản huấn luyện:   31 2.5. Phương pháp tách câu, tách từ, gán nhãn từ loại và phân tích cú pháp:   32 2.5.1. Tách câu:  . 32 2.5.2. Tách từ:   35 2.5.3. Gán nhãn từ loại:   37 2.5.4. Phân tích cú pháp:  39 2.6. Dữ liệu huấn luyện:   40 2.7. Kết quả xây dựng mơ hình:   40 2.7.1. Số lượng các cụm N-gram với tiếng Việt dựa trên âm tiết:  . 40 2.7.2. Số lượng các cụm N-gram với tiếng Việt dựa trên từ:   41 2.8. Phân bố thống kê của tần số các cụm N-gram:   42 2.8.1. Với âm tiết.   42 2.8.2. Với từ:   43 2.9. Phương pháp loại bỏ (Cut-off ):   46 2.9.1. Với âm tiết  . 46 2.9.2.Với từ:   46 2.10. Các phương pháp làm mịn:   47 2.10.1. Với âm tiết:   47 2.10.2. Với từ:   47 CHƯƠNG  III:  ỨNG  DỤNG  N-GRAM  TRONG  BÀI  TOÁN  BÀI  TOÁN  SỬA LỖI DẤU THANH TRONG TIẾNG VIỆT  . 49 3.1. Tổng quan:   49 3.2. Bài toán sửa lỗi dấu thanh trong tiếng Việt:  . 50 3.2.1. Phát biểu bài toán:   50 3.2.2. Đặc điểm:  . 50 3.2.3 Hướng giải quyết:   51 3.3. Các hệ thống thêm dấu ứng dụng về N-gram đã có:   51 3.3.1. Cơng cụ AMPad:   51 v 3.3.2. VietPad:   52 3.4. Đề xuất hệ thống:   53 3.5. Cài đặt thử nghiệm và đánh giá hệ thống   56 KẾT LUẬN   60 HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI   61       vi DANH MỤC ẢNH Hình 2 - 1: Quy trình tách từ   24 Hình 2 - 2: Số lượng các cụm N-gram với âm tiết khi tăng kích thước dữ liệu   41 Hình 2 - 3: số lượng các cụm N-gram với từ khi tăng kích thước dữ liệu  42 Hình 2 - 4: Số lượng các cụm N-gram (âm tiết) có tần số từ 1 đến 10   43 Hình 2 - 5:Số lượng các cụm Ngram (từ) có tần số từ 1 đến 10   44  Hình 3 - 1: Thêm dấu tiếng Việt tự động bằng AMPad   52 Hình 3 - 2: Gõ tiếng Việt khơng dấu trên VietPad  . 53 Hình 3 - 3: Lưu đồ thực hiện của mơ hình đề xuất  . 54 Hình 3 - 4: Giao diện chương trình   57 Hình 3 - 5: Chương trình thực hiện khi văn bản đầu vào hồn tồn khơng có dấu   57 Hình 3 - 6: Chương trình thực hiện khi văn bản đầu vào có các từ có dấu xen kẽ   58       vii DANH MỤC BẢNG BIỂU   Bảng 2- 1: Số lượng các cụm N-gram trong văn bản huấn luyện với âm tiết   41 Bảng 2- 2: Số lượng các cụm N-gram trong văn bản huấn luyện với từ  . 42 Bảng 2- 3: Tần số của tần số các cụm N-gram áp dụng cho âm tiết   43 Bảng 2- 4: Tần số của tần số các cụm Ngram với từ   44 Bảng 2- 5: Bộ nhớ và độ hỗn loạn thông tin khi áp dụng loại bỏ trong âm tiết   46 Bảng 2- 6:Bộnhớvàđộhỗnloạnthôngtinkhiápdụngloạibỏvớitừ   47 Bảng 2- 7: Độ hỗn loạn thông tin của các phương pháp làm mịn cho âm tiết   47 Bảng 2- 8: Độ hỗn loạn thông tin của các phương pháp làm mịn cho từ   48     48 Bảng 2- 8: Độ hỗn loạn thông tin phương pháp làm mịn cho từ Từ kết quả tại bảng 2.7 và bảng 2.8 rút ra hai nhận xét như sau:  - Trong  các  phương  pháp  làm  mịn  thì  phương  pháp  Good-Turing  (so  sánh với Add-One , Witten-Bell) cho kết quả tốt nhất trên cả 2 loại Uni-gram,  Bi-gram, trong đó Witten-Bell, Good-Turing cho kết quả gần tương tự nhau.  Khi thực nghiệm trên N-gram với N tăng dần từ 1 đến 3 chúng ta thấy khoảng  cách  Perplexity  đo  được  bằng  Witten-Bell,  Good-Turing  càng  xa  so  với  phương pháp Add-One. Điều  đó  chứng  tỏ  rằng khi dùng  N-gram  vớii N  lớn  hơn 1 thì dùng phương pháp chiết khấu Add-One sẽ kém hiệu quả hơn nhiều  so với các phương pháp cịn lại.  - Phương pháp Kneser-Ney đối với hai cách tiếp cận truy hồi và nội suy  cho giá trị Perplexity thấp hơn Good-Turing và Witten-Bell. Trong đó Nội suy  Kneser-Ney  cho  kết  quả  tốt  hơn  Truy  hồi  Kneser-Ney.  So  sánh  các  kết  quả  trên  2-gram  chúng  ta  có  thể  thấy  khi  các  N-gram  có  độ  dài  càng  lớn  thì  sự  cách  biệt  giữa  các  kết  quả  này  càng  cao.  Tức  là  khi  N  càng  lớn  thì  phương  pháp Nội suy Kneser-Ney càng chứng tỏ ra hiệu quả.      49 CHƯƠNG III: ỨNG DỤNG N-GRAM TRONG BÀI TOÁN BÀI TOÁN SỬA LỖI DẤU THANH TRONG TIẾNG VIỆT 3.1 Đặt vấn đề: Hiện  tại,  chúng  ta  có  thể  dễ  dàng  tìm  thấy  ngày  càng  nhiều  những  hệ  thống  dịch  tự  động  miễn  phí  trên  mạng  như:  Systran,  Reverso,  WorldLingo,  IBM translator… Những hệ thống này cho phép dịch tự động các văn bản với  một cặp ngơn ngữ chọn trước (ví dụ: dịch một văn bản giữa tiếng Anh và tiếng  Pháp, hoặc tiếng Anh và tiếng Việt). Tuy nhiên, chất lượng dịch là vấn đề mà  người sử dụng quan tâm vì đa số các hệ thống dịch tự động hiện nay có chất  lượng khá thấp. Ví dụ, để dịch văn bản giữa tiếng Việt và tiếng Anh chúng ta  có  thể  chọn  sử  dụng  hệ  thống  dịch  của  Google  nhưng  chất  lượng  dịch  theo  chiều Việt-Anh là thấp so với chiều dịch Anh-Việt, và đặt biệt thấp cho dịch  Việt-Anh  với  văn  bản  đầu  vào  là  tiếng  Việt  không  dấu  hoặc  dấu  chưa  được  chuẩn  hóa.  Vấn  đề  đặt  ra  là,  làm  sao  để  chuẩn  hóa  văn  bản  đầu  vào  cho  hệ  thống  dịch?  Ở  đó  thêm  dấu,  hay  chuẩn  hóa  dấu  văn  bản  là  một  vấn  đề  rất  quantrọng.  Dấu  là  một  thành  phần  không  thể  thiếu  và  mang  những  thông  tin,  nội  dung  quan  trọng  của  văn  bản  tiếng  Việt.  Chúng  không  là  mẫu  tự  mà  là  một  phần của mẫu tự. Tuy nhiên có rất nhiều trường hợp mà người sử dụng đã loại  bỏ  hoặc  sử  dụng  không  đầy  đủ  các  thành  phần  này,  chẳng  hạn  trong  các  tin  nhắn SMS qua điện thoại, các liên lạc kiểu thư điện tử, chat, …  Khái niệm dấu ở đây không chỉ giới hạn với 5 ký hiệu về dấu thanh điệu  được  thể hiện  trong chữ  Việt  để  thể  hiện cho sáu loại  thanh  điệu  khác  nhau:  ngang,  huyền,  ngã,  hỏi,  sắc,  và  nặng.  Mà  hơn  thế  nữa,  nó  cịn  bao  gồm  các  nhiều dấu phụ trợ cho 5 ngun âm khơng dấu: a, i, u, e, o để tạo lập các ký tự  đủ đa dạng cho việc ký âm các ngun âm tiếng Việt, a ă â e ê i o ơ ơ u ư y.  50 Ngồi ra chữ Việt có thêm dấu gạch trên đầu d để ký âm cho một phụ âm khác  là đ.  Trong đa số trường hợp, người đọc văn bản phải nội suy được dấu tương  ứng của các  đoạn văn khơng  dấu, cố gắng hiểu được  ý  nghĩa  chuyển  tải của  mỗi đoạn văn dựa theo ngữ cảnh của cả văn bản. Đối với các hệ thống xử lí văn  bản tự động thì đây chính là một nhập nhằng rất khó giải quyết, đặc biệt là các  hệ thống phân tích cú pháp, hệ thống tìm kiếm, hệ thống dịch tự động, … Để  giải quyết bài tốn đặt ra sử dụng các phương pháp đã nghiên cứu ở chương 2  để xây dựng ứng dụng thử nghiệm sử dụng mơ hình ngơn ngữ N-gram để tính  tốn các khả năng thêm và sửa lỗi dấu với xác suất cao nhất, giúp máy tính tự  động thêm và sửa lỗi dấu cho các văn bản khơng dấu hoặc lỗi dấu tiếng Việt.    3.2 Bài tốn sửa lỗi dấu tiếng Việt: 3.2.1 Phát biểu tốn: Bài tốn được phát biểu như sau:   Input: Cho một văn bản tiếng Việt khơng dấu, sử dụng từ điển từ và kho  dữ liệu thơ làm đầu vào. Các văn bản tiếng Việt có mã Unicode.  Output: Chuyển văn bản khơng dấu thành có dấu với độ chính xác cao.  3.2.2 Đặc điểm: Chữ viết tiếng Việt có một đặc điểm đặc biệt là sự xuất hiện của các dấu  thanh  cũng  như  dấu  của  các  ký  tự  trong  các  từ.  Tiếng  Việt  có  thanh  điệu  và  trong văn bản dấu của ký tự này làm phong phú thêm cho ngơn ngữ tiếng Việt,  và tăng độ biểu cảm của tiếng Việt.  Dấu thanh là một thành phần khơng thể thiếu trong âm tiết tiếng Việt. Khi  loại bỏ dấu thanh, việc hiểu nghĩa của từ, gồm một hay nhiều âm tiết kết hợp  với nhau trở nên khó khăn và dễ hiểu nhầm nghĩa của tiếng Việt.  Để thêm dấu, trước tiên ta cần phải xác định ranh giới của từ. Bài tốn xác  định ranh giới từ đối với văn bản tiếng Việt có dấu đó là vấn đề khó, chính điều  51 đó  khi  khơng  có  dấu  thì  việc  nhận  ranh  giới  từ  càng  trở  nên  khó  khăn  hơn.Trong  tiếng  Việt,  các  tiếng  hay  còn  gọi  là  âm  tiết  được  phân  cách  bởi  khoảng trắng chứ khơng phải từ.  Sau khi nhận được ranh giới từ, ta cần phải xác định cho đúng từ có dấu  nào có dạng thể hiện khơng dấu như vậy. Việc xác định này cũng khơng ít khó  khăn khi một từ khơng dấu có thể có nhiều từ có dấu tương ứng với nó.  Ví dụ: Từ khơng dấu “toi” có nhiều từ có dấu tương ứng như “tơi”, “tối”,  “tới”  Do đó, sau khi đã giải quyết xong bài tốn về tách từ tiếng Việt khơng dấu,  ta cần phải giải quyết thêm bài tốn xác định từ có dấu thích hợp với từ khơng  dấu đó. Đây chính là hướng giải quyết bài tốn đặt ra cho luận văn.  3.2.3 Hướng giải quyết: Đối với tách từ có dấu, có nhiều mơ hình được sử dụng và đạt kết quả tốt  như  MM  (Maximum  Mactching:  forward/backward  hay  cịn  gọi  là  LRMM  (Left Right Maximum Matching) mạng chuyển dịch trạng thái hữu hạn có trọng  số  WFST  (Weighted  finite-state  Transducer);  giải  thuật  dựa  trên  nén  (compression). Hướng giải quyết được đề xuất là sử dụng phương pháp tách từ  LRMM kết hợp với mơ hình Bi-gram đã giải quyết khá hiệu quả 2 vấn đề của  bài tốn này.  3.3 Các hệ thống thêm dấu ứng dụng N-gram có: 3.3.1 Cơng cụ AMPad: AMPad là chương trình chuyển đổi loại tiếng Việt khơng dấu sang tiếng  Việt có dấu thuộc dạng khá chun nghiệp. Thực chất nó là bản nâng cấp của  chương trình “AutoMark” đã được tác giả Trần Triết Tâm ở Cục thống kê Đà  Nẵng tung ra trước đây.  AMPad có thể có thể chuyển đổi chính xác đến khoảng 80% hoặc hơn các  đoạn văn dạng chính luận xã hội, hoặc khoa học thường thức… trên các sách  52 báo hiện nay và nó chỉ “chào thua”, tức đốn sai đến hơn 50% ở các câu văn  thuộc dạng chun ngành sâu, hoặc ở các lĩnh vực văn học, thơ ca… với cấu  trúc câu vốn q phức tạp và lắm ngữ nghĩa.    Hình - 1: Thêm dấu tiếng Việt tự động AMPad 3.3.2 VietPad: VietPad là  trình  soạn thảo hỗ trợ tiếng Việt  Unicode, được phát triển  bởi  Qn  Nguyễn  và  nhóm  phát  triển  trên  http://www.VietPad.sourceforge.net.  Ngoài  chức  năng  thêm  dấu  tự  động  online  mà  văn  bản  đang  nghiên  cứu,  VietPad  còn  là  một  trình  soạn  thảo  tiếng Việt hỗ trợ rất tốt Unicode và mã nguồn mở.  a) Tiền xử lý  Chuẩn hóa văn bản theo định dạng mà VietPad quy định  b) Tách token:  VietPad  không  tách  từng  câu  mà  tách  ra  từng  token  mơ  token  có  thể  gồm 1 chuỗi các ký tự khơng phải là ký tự (:,.;”@#$ ) hay một chuỗi các  ký tự hay là “chữ” tiếng Việt.  c) Lấy từ khơng dấu, chuyển thành có dấu:   Với phương pháp  tách token đơn giản trên, thêm phương pháp tách từ LRMM(từ có tối đa 3  tiếng),VietPad lấy ra các từ khơng dấu, sau đó thơng qua 1 từ điển ánh xạ  1-1  giữa  từ  khơng  dấu  và  từ  có  dấu  (từ  điển  chuyển  đổi)  để  chuyển  từ  khơng dấu sang có dấu.  53   Hình - 2: Gõ tiếng Việt không dấu VietPad   Hình 3.3 Văn sau thực chức thêm dấu VietPad 3.4 Đề xuất hệ thống: Căn cứ vào mơ hình N-gram, cụ thể là Bigram và dựa vào ý tưởng của  việc thống kê các cụm tiếng, luận văn đề xuất mơ hình thêm dấu tự động như  sau:          54     Bắt đầu  Tiền xử lý  Tách câu  Tách từ  Tập các từ có khả năng thêm dấu  Từ điển chuyển đổi  Chọn từ thích hợp  Xuất ra màn hình  Hình - 3:Lưu đồ thực mơ hình đề xuất * Tiền xử lý:Chuẩn hóa văn bản theo quy định.  * Tách câu:  Sử dụng phương pháp  tách câu  Heuristic  đã  nêu trong  chương  2, phần  2.5 mục 2.5.1. Qua phương pháp tách câu trên, ta có thể phân biệt được một  số trường hợp đặc biệt của dấu chấm câu “.” như từ viết tắt (Mr, Mrs, ), địa  chỉ email (hieuvuhb@gmail.com), địa chỉ URL (https://www.google.com.vn),  các số (1.000.000),  đầu ra của bước này sẽ cho ra một tập các câu là đầu vào  của các bước sau.  * Tách từ bằng phương pháp LRMM:  Ta  dùng  phương  pháp  tách  từ  LRMM  tách  các  từ  không  dấu  từng  câu  một.Theo phương pháp này, ta sẽ duyệt một câu từ trái sang phải và chọn từ  55 có nhiều âm tiết nhất có mặt trong từ điển, rồi cứ thể tiếp tục cho từ kế tiếp  đến hết câu.  Dạng đơn giản được dùng giải quyết nhập nhằng từ đơn. Giả sử có một  chuỗi kí tự (tương đương với chuỗi tiếng trong tiếng Việt) C1, C2,   Ta bắt  đầu từ đầu chuỗi, đầu tiên ta kiểm tra xem C1 có phải là từ hay khơng sau đó  kiểm tra xem C1C2 có phải từ hay khơng. Tiếp tục tìm cho đến khi tìm được  từ dài nhất. Từ dài nhất là từ có vẻ hợp lí nhất. Chọn từ đó, sau đó tìm tiếp  như trên cho những từ cịn lại cho đến khi xác định được tồn bộ chuỗi từ.  Dạng phức tạp: Quy tắc của dạng này là phân đoạn, có vẻ hợp lí nhất là  đoạn 3 từ với  chiều dài  tối đa. Thuật tốn ban đầu  như dạng đơn giản. Nếu  phát hiện ra những cách tách từ gây nhập nhằng (ví dụ, C1 là từ và C1C2 cũng  là từ), ta xem các chữ kế tiếp để tìm ra tất cả các đoạn 3 từ có thể có ban đầu  với C1 hoặc C1C2 Ví dụ, ta được những đoạn sau:   C1   C2   C3C4  C1C2   C3C4C5  C1C2 C3C4C5C6  Chuỗi dài nhất là chuỗi thứ 3, vậy từ đầu tiên của chuỗi thứ 3 (C1C2) sẽ  được chọn. Thực hiện lại các bước cho đến khi được chuỗi từ hồn chỉnh.  Ưu điểm: - Với phương pháp này, ta dễ dàng tách được chính xác các ngữ/câu như  “hợp tác xã||mua bán”, “thành lập||nước||Việt Nam||dân chủ||cộng hịa”.  - Cách tách từ đơn giản, nhanh, chỉ cần dựa vào từ điển.  Hạn chế: - Độ chính xác của phương pháp phụ thuộc hồn tồn vào tính đủ, tính  chính xác của từ điển.  -  Phương  pháp  này  sẽ  tách  từ sai  trong  các  trường  hợp  “học  sinh  ||học  sinh||học”; “một||ông||quan tài||giỏi”; “trước||bàn là||một||ly||nước”.  56   * Lý do chọn phương pháp này là:  -  Cài  đặt  phương  pháp  đơn  giản,  thời  gian  và  khơng  gian  xử  lí  ít,  lại  khơng địi hỏi kho ngữ liệu huấn luyện đã được gán nhãn ranh giới từ, trong  khi đó độ chính xác của LRMM cũng khơng q thấp, sai số khi tách sai từ có  thể chấp nhận được khi tách từ khơng dấu.  * Chọn từ thích hợp  Với  từ  điển  chuyển  đổi  Map.txt,  ta  có  ánh  xạ  1-1  để  chuyển  một  từ  khơng dấu thành có dấu.   Mơ hình huấn luyện   Như đã trình bày ở trên, cốt lõi của vấn đề là tập tin từ điển huấn luyện  N_gramDict.txt.  Tập  tin  này  sẽ  chứa  tần  suất  các  nhóm  âm  tiết  có  thể  xuất  hiện trong văn bản tiếng  việt.    Ngồi ra mơ hình huấn luyện sử dụng các phương pháp làm mịn khác  nhau  trong  mơ  hình  ngơn  ngữ  N-gram  như:  Add-one,  Witten-Bell,  GoodTuring   với  phương  pháp  làm  trơn  hóa  mơ  hình  giúp  việc  thêm  dấu  được  chính xác.  3.5 Cài đặt thử nghiệm đánh giá hệ thống Chương trình được xây dựng bằng ngơ ngữ Java, tâp dữ liệu là các tập  văn bản (.txt). được thử nghiệm trên hệ điều hành Windows 10, máy tính PC  core i7 tốc độ 3.40GHz, bộ nhớ 8GB RAM.  57   Hình - 4: Giao diện chương trình   Hình - 5: Chương trình thực văn đầu vào hồn tồn khơng có dấu 58   Hình - 6: Chương trình thực văn đầu vào có từ có dấu xen kẽ Hình - 7: Mở tệp văn để thêm dấu 59 Hình - 8: Chương trình sửa dấu tập văn Với bộ dữ liệu thử nghiệm là các văn bản ngẫu nhiên mới nhất lấy từ trang báo  http://dantri.com.vn,  em so sánh  kết quả  thêm dấu của  chương  trình với các phần  mềm VietPad, AMPad và thu được kết quả như sau:    Tổng số tiếng Tổng số tiếng Tỉ lệ CT đề xuất 6.828  5.685  83,26%  VietPad 6.828  5.810  85,09%  AMPad 6.828  5.798  84,92%      60 KẾT LUẬN Các bài tốn xử lý văn bản tiếng Việt ln là các bài tốn khó nhưng hay  và  hữu  ích,  đang  được  quan  tâm  và  nghiên  cứu  nhiều  ở  nước  ta  hiện  nay.  Trong luận văn này, em đã trình bày về những vấn đề cơ bản, những khó khăn  thách thức, bối cảnh của bài tốn thêm dấu vào văn bản tiếng Việt khơng dấu.  Đây là một bài tốn hay trong lĩnh vực Xử lý ngơn ngữ tự nhiên.  Các kết đạt luận văn:  Hiểu được những vấn đề tổng quan của Xử lý ngơn ngữ tự nhiên. Tìm  hiểu những đặc trưng ngơn ngữ cơ bản của tiếng Việt, đặc biệt là những đặc  điểm của từ tiếng Việt, từ đó làm tiền đề cho những nghiên cứu định hướng  về bài tốn tách từ tiếng Việt.   Tìm hiểu cụ thể về bài tốn thêm dấu vào văn bản tiếng Việt khơng dấu,  nắm  được  các khó  khăn  của việc  nhận  dạng  từ tiếng  Việt,  bối  cảnh  của bài  tốn sửa lỗi dấu thanh. Tìm hiểu được một số phương pháp tách từ tiếng Việt  để có thể áp dụng vào bài tốn sửa lỗi dấu thanh cho văn bản tiếng Việt.   Xây dựng thành cơng ứng dụng sửa lỗi dấu thanh cho văn bản tiếng Việt.      61 HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Bài tốn thêm dấu cho tiếng Việt khơng dấu dựa trên mơ hình ngơn ngữ  là bài tốn mới. Vì thế, hiện nay bài tốn này cũng như cách giải quyết nó cịn  đang trong giai đoạn hồn thiện.  Trong q trình xây dựng mơ hình ngơn ngữ, đặc biệt là mơ hình ngơn  ngữ  N-gram  cịn  nhiều  khó  khăn,  địi  hỏi  người  lập  trình  phải  đầu  tư  nhiều  thời gian và cơng sức hơn. Đây là một mơ hình ngơn ngữ, thứ nhất, nó đem  lại nhiều ứng dụng thiết thực trong thực tế, thứ hai, nó tiếp cận phương pháp  phổ biến là phương pháp thống kê tần số xuất hiện của từ, nên nó thu hút sự  quan tâm của nhiều người.  Trong q trinh tách từ, một thực tế khơng tránh khỏi là việc xuất hiện  các từ mới (các từ khơng được định nghĩa trong từ điển). Đây là một vấn đề  khơng thể bỏ qua khi ngơn ngữ tự nhiên là ln ln thay đổi và sinh ra các từ  mới,  trong  khi từ  điển  (để  xử  lí  ngơn ngữ  tự  nhiên) khơng thể  cập  nhật  hết  được. Các nghiên cứu đối với tiếng Nhật và tiếng Trung đã xử lí vấn đề này  khá  tốt.  Với  sự  gần  gũi  về  ngữ  pháp  và  đặc  điểm  ngơn  ngữ,  ta  có  thể  ứng  dụng những nghiên cứu đó đối với tiếng Việt. Như thế chúng ta vẫn cịn nhiều  việc phải làm.  Trong tương lai, khi nhiều người cùng khai thác lĩnh vực này thì sẽ có  được những mơ hình ngơn ngữ hồn hảo hơn, sử dụng dữ liệu lớn hơn để tăng  độ chính xác cho chương trình, đóng góp vào kho tàng tri thức của nhân loại.  Tác giả mong muốn có thể tiếp tục nghiên cứu, phát triển để đưa các kết  quả được ứng dụng vào thực tế…      62 TÀI LIỆU THAM KHẢO Tiếng Việt [1] TS. Đinh Điền.Giáo trình xử lý ngôn ngữ tự nhiên, Khoa Công nghệ Thông tin.  Đại  học  Khoa  học  Tự  nhiên  Thành  phố  Hồ  Chí  Minh,  Tháng 12-2004 [2] Lưu  Tuấn  Anh  (2015).  Vietnamese Natural Language Processing.  http://viet.jnlp.org/  [3] GS.  Hoàng  Phê  (2003).Từ điển tiếng Việt.  Trung  tâm  từ  điển  học,  NXB Đà Nẵng Tiếng Anh [4] Entropy-based Pruning of Backoff Language Models,  Andreas  Stolcke,SpeechTechnology  And  Research  Laboratory  SRI  International. By   http://www.itl.nist.gov/  [5]  Daniel Jurafsky &James H. Martin(2006). N-gram  [6] William  A.  Gale Good-Turing Smoothing Without Tears.AT&T  BellLaboratories  ... THÁI NGUY? ?N TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUY? ?N THÔNG                   VŨ CHÍ HIẾU              NGHI? ?N CỨU MƠ HÌNH NG? ?N NGỮ N- GRAM CHO   TIẾNG VIỆT VÀ ỨNG DỤNG SỬA LỖI DẤU THANH TRONG TIẾNG... hóa): thay đổi cấu trúc thơng tin của mỗi cụm Ngram? ?trong? ?mơ? ?hình? ?ng? ?n? ?ngữ.    Compression (n? ?n) :? ?n? ?n? ?cấu trúc dữ liệu sử? ?dụng? ?trong? ?việc lưu trữ các  cụm? ?N- gram? ?trong? ?mơ? ?hình? ?ng? ?n? ?ngữ? ?   1.5.1 Đồng hóa (Quantization):... cơng thức cuối cùng sẽ l? ?n? ?h? ?n? ?giá trị H(L) gốc. Do vậy, khi tính H(L) của  các mơ? ?hình? ?ng? ?n? ?ngữ? ?khác nhau tr? ?n? ?ng? ?n? ?ngữ? ?L, mơ? ?hình? ?n? ?o? ?cho? ?H(L) nhỏ  h? ?n? ?thì mơ? ?hình? ?ng? ?n? ?ngữ? ?đó thể hi? ?n? ?chính xác ng? ?n? ?ngữ? ?L h? ?n.