So sánh một số phương pháp phân lớp dùng cho định danh tiếng Việt – Anh – Pháp

Bài viết trình bày kết quả thử nghiệm nhận dạng ba ngôn ngữ Việt, Anh, Pháp sử dụng các bộ phân lớp SMO (Sequential Minimal Optimization), iBK, Multilayer Perceptron của Weka với các đặc trưng được OpenSMILE trích chọn.

ISSN 2354-0575 SO SÁNH MỘT SỐ PHƯƠNG PHÁP PHÂN LỚP DÙNG CHO ĐỊNH DANH TIẾNG VIỆT – ANH – PHÁP Lê Trung Hiếu, Phạm Quốc Hùng, Nguyễn Vinh Quy, Chu Bá Thành Trường Đại học Sư phạm Kỹ thuật Hưng Yên Ngày tòa soạn nhận báo: 20/05/2017 Ngày phản biện đánh giá sửa chữa: 03/09/2017 Ngày báo duyệt đăng: 06/09/2017 Tóm tắt: Có nhiều phương pháp mơ hình khác nghiên cứu áp dụng cho nhận dạng ngôn ngữ mô hình GMM, HMM, SVM, ANN Bài báo trình bày kết thử nghiệm nhận dạng ba ngôn ngữ Việt, Anh, Pháp sử dụng phân lớp SMO (Sequential Minimal Optimization), iBK, Multilayer Perceptron Weka với đặc trưng OpenSMILE trích chọn Số lượng đặc trưng gồm 384 hệ số Kết thử nghiệm cho thấy tỷ lệ nhận dạng tiếng Việt cao đạt 98.75 % với phân lớp SMO, tiếng Pháp đạt cao 93,5% với phân lớp SMO Multilayer Perceptron tiếng Anh đạt cao 94,75% với phân lớp Multilayer Perceptron Từ khóa: Định danh ngơn ngữ; tiếng Việt; tiếng Anh; tiếng Pháp; SVM; SMO; iBK, Multilayer Perceptron; Weka I GIỚI THIỆU Định danh ngơn ngữ đóng vai trò quan trọng hệ thống dịch, nhận dạng tự động Bài báo trình bày thử nghiệm sử dụng SVM (Support-Vector Machines) có so sánh với số phương pháp phân lớp khác để định danh ngôn ngữ Việt, Anh, Pháp theo phương thức phát âm mà không phụ thuộc vào nội dung SVM phương pháp máy học tiên tiến áp dụng phổ biến không lĩnh vực khai phá liệu mà lĩnh vực nhận dạng cho phép hệ thống đạt hiệu cao [1], [2], [3], [4], [5] Các phần báo tổ chức sau: phần II giới thiệu tổng quan định danh ngơn ngữ, phần III trình bày thử nghiệm nhận dạng với công cụ Weka cho ba ngôn ngữ Việt, Anh, Pháp Cuối phần IV kết luận hướng phát triển II TỔNG QUAN VỀ ĐỊNH DANH NGƠN NGỮ Các ngơn ngữ khác giới có đặc trưng phân biệt nhờ đặc trưng tiến hành định danh ngơn ngữ A Đặc trưng ngơn ngữ Con người hệ thống định danh ngôn ngữ hồn thiện [6] Trên thực tế, có loạt thơng tin mà người máy móc sử dụng để phân biệt ngôn ngữ khác Ở mức thấp, đặc trưng tiếng nói thông tin âm học (acoustic), ngữ âm (phonetic), ràng buộc âm vị (phonotactic) ngôn điệu (prosodic) sử dụng rộng rãi hệ thống nhận dạng ngôn ngữ tự động Ở mức cao hơn, khác biệt ngơn ngữ khai thác dựa hình vị học (morphology) Khoa học & Cơng nghệ - Số 15/Tháng - 2017 cú pháp câu (sentence syntax) Hình [6] mơ tả mức khác biệt đặc trưng khác tiếng nói từ đặc trưng mức thấp đến đặc trưng mức cao để nhận dạng ngôn ngữ Về mặt âm học, sử dụng đặc trưng MFCC (Mel-Frequency Cepstral Coefficients), PLP (Perceptual Linear Prediction), SDC (Shifted Delta Cepstrum) Cú pháp: Từ n-gram Từ vựng: Từ Điệu tính: Thời hạn, tần số bản,trọng âm Ràng buộc âm vị: mơ hình ngơn ngữ n-gram Âm học: MFCC, PLP, SDC,… Hình Các mức đặc trưng ngơn ngữ Về mặt ràng buộc âm vị sử dụng mơ hình ngơn ngữ n-gram [7] với n-gram dãy gồm n phần tử với văn tiếng nói, phần tử âm vị, âm tiết, chữ từ Với n = ta có unigram, n = có bigram, n = trigram B Mơ hình định danh ngơn ngữ Các mơ hình định danh ngơn ngữ phân loại theo hai trường hợp: mơ hình định danh ngơn ngữ tường minh mơ hình định danh Journal of Science and Technology 43 ISSN 2354-0575 ngôn ngữ ẩn 1) Mơ hình định danh ngơn ngơn ngữ tường minh Mơ hình định danh ngơn ngữ tường minh thể Hình [6] Nguyên tắc hoạt động mơ hình liệu tiếng nói ban đầu đưa qua tiền xử lý, sau liệu ngơn ngữ khác xác định đưa vào nhận dạng cụ thể Bộ nhận dạng ngơn ngữ Tiếng nói Tiền xử lý Bộ nhận dạng ngôn ngữ Tiếng nói Tiền xử lý Ngơn ngữ nhận dạng Hình Mơ hình định danh ngơn ngữ tường minh Tại nhận dạng ngôn ngữ, thông tin xử lý đưa phân loại Cuối hệ thống đưa kết ngôn ngữ nhận dạng Đã có nhiều kết nghiên cứu ứng dụng mơ hình định danh ngơn ngữ tường minh công bố [8], [9], [10], [11], [12] 2) Mơ hình định danh ngơn ngữ ẩn Mơ hình định danh ngơn ngữ ẩn trình bày Hình [6] Với mơ hình này, liệu tiếng nói ban đầu đưa qua tiền xử lý đưa vào trích chọn đặc trưng để lấy đặc trưng ngơn ngữ Sau đó, mơ hình ngơn ngữ khác nhận dạng để đưa kết ngôn ngữ định danh Các kết nghiên cứu ứng dụng mơ hình định danh ngôn ngữ ẩn công bố [13], [14], [15], [16] Khác biệt hai mơ hình là: với mơ hình định danh ngơn ngữ tường minh, việc trích chọn đặc trưng thực riêng cho ngôn ngữ, đó, mơ hình định danh ngơn ngữ ẩn lại thực trích chọn đặc trưng chung cho ngơn ngữ Trích lọc đặc trưng Mơ hình ngơn ngữ Ngơn ngữ nhận dạng Phân loại Mơ hình ngơn ngữ n Phân loại Bộ nhận dạng ngôn ngữ n 44 Mơ hình ngơn ngữ Hình Mơ hình định danh ngôn ngữ ẩn C Một số đặc trưng mặt ngữ âm tiếng Việt, Anh, Pháp Các ngơn ngữ nói chung, ngơn ngữ Việt, Anh, Pháp nói riêng có đặc trưng khác âm học, ràng buộc âm vị, từ vựng, ngữ pháp… để nhận biết phân biệt ngơn ngữ Có thể đưa số đặc trưng khác bật ba ngôn ngữ tiếng Việt, tiếng Anh tiếng Pháp sau: • Tiếng Anh tiếng Pháp ngơn ngữ đa âm tiết tiếng Việt ngơn ngữ đơn âm tiết • Tiếng Việt ngơn ngữ có điệu cịn tiếng Anh tiếng Pháp ngơn ngữ khơng có điệu Vì vậy, đặc tính biến thiên tần số khác tiếng Việt với tiếng Anh tiếng Pháp Đây đặc trưng quan trọng để nhận biết tiếng Việt so với hai thứ tiếng cịn lại • Tiếng Pháp có bốn ngun âm mũi tiếng Anh khơng có ngun âm mũi mà có ba phụ âm hữu phụ âm mũi [13] Tiếng Việt nguyên âm mũi lại có bốn phụ âm hữu phụ âm mũi [14] • Về mặt đặc trưng âm vị, số cụm âm vị phổ biến ngôn ngữ lại không sử dụng ngơn ngữ khác Ví dụ, tiếng Anh, cụm âm vị /st/ phổ biến, âm vị /i/ đối lập với /i:/, với tiếng Việt tiếng Pháp hai âm hai cách phát âm khác âm vị /i/ D Tổng quan định danh ba ngôn ngữ Việt, Anh, Pháp Đã có nhiều nghiên cứu định danh ngôn Khoa học & Công nghệ - Số 15/Tháng - 2017 Journal of Science and Technology ISSN 2354-0575 ngữ nói chung Tuy nhiên, nghiên cứu định danh ngơn ngữ có tiếng Việt, Anh, Pháp nói riêng mức khiêm tốn Zissman [15] dùng mơ hình HMM GMM để định danh ngơn ngữ Bộ ngữ liệu sử dụng ngữ liệu OGI (Oregon Graduate Institute) [16] thu qua điện thoại cho 11 thứ tiếng: Anh, Pháp, Việt, Đức, Ấn Độ, Nhật, Hàn Quốc, Tây Ban Nha, Hindi, Tamil, Farsi Kết định danh với tiếng Việt trung bình đạt 77,7% số câu nhận dạng tổng số câu, tiếng Pháp trung bình đạt 74,37%, tiếng Anh trung bình đạt 71,25% Cùng với ngữ liệu OGI, Manchala cộng [17] sử dụng GMM với MFCC formant để nhận dạng Kết trung bình đạt dùng thành phần Gauss: tiếng Việt đạt 81,67%, tiếng Anh đạt 77,33%, tiếng Pháp đạt 76,67%; dùng 16 thành phần Gauss: tiếng Việt đạt 83%, tiếng Anh đạt 78,33%, tiếng Pháp đạt 78%; sử dụng 32 thành phần Gauss tỷ lệ nhận dạng tiếng Việt cao (83%) so với tiếng Anh (79,67%) tiếng Pháp (80%) Bằng cách dùng DNNs (Deep Neural Networks) với ngữ liệu NIST [18] lấy từ VOV cho 23 thứ tiếng có tiếng Việt, Anh, Pháp, Luciana Ferrer cộng [19] cải thiện kết nhận dạng từ 40% đến 70% so với GMM Trong [20], Ana Montalvo cộng tiến hành nhận dạng thứ tiếng: Anh, Pháp, Trung Quốc, Nga Tây Ban Nha cách dùng spectrogram, phổ Fourier thuộc tính phổ để phát tính tuần hồn Tỷ lệ lỗi trung bình lớn đạt 16,8% Để định danh tiếng Việt tiếng Pháp, tác giả [21] dùng mạng nơ-ron lan truyền ngược để phân lớp với tham số đặc trưng gồm thông tin tần số Kết nhận dạng đạt 90% Có thể nói, phần lớn nghiên cứu định danh ngơn ngữ có tiếng Việt, tiếng Anh, tiếng Pháp nêu chủ yếu tác giả người nước thực Trong đó, nghiên cứu định danh tự động tiếng Việt, tiếng Anh, tiếng Pháp cịn tác giả người Việt Nam thực công bố kết III THỬ NGHIỆM NHẬN DẠNG VỚI BỘ CÔNG CỤ WEKA Trong báo này, Weka công cụ dùng thử nghiệm để nhận dạng ba ngôn ngữ Việt, Anh, Pháp Bộ công cụ gồm tập hợp thuật giải học máy dùng cho khai phá liệu Đại học Waikato, New Zealand phát triển [22] Weka hỗ trợ nhiều định dạng liệu đầu vào dùng cho huấn luyện thử nghiệm có file tham số đặc trưng theo định dạng ARFF (AttributeRelation File Format) [22] CSV xuất OpenSMILE Với Weka, sử dụng SVM để nhận dạng lựa chọn phương pháp phân lớp Khoa học & Công nghệ - Số 15/Tháng - 2017 khác SMO, iBK, Multilayer Perceptron A Bộ ngữ liệu dùng cho định danh ba ngôn ngữ Việt, Anh, Pháp Bộ ngữ liệu dùng để định danh ba ngôn ngữ Việt, Anh, Pháp thu thập từ người nói khác gồm 50 giọng nam, 50 giọng nữ cho ngôn ngữ với tần số lấy mẫu 16000 Hz, 16 bit cho mẫu Tổng thời lượng cho ngôn ngữ 30 phút Số liệu thống kê ngữ liệu trình bày Bảng I BẢNG I SỐ LIỆU THƠNG KÊ NGỮ LIỆU Ngơn ngữ Số người nói 25 nam Việt 25 nữ 25 nam Anh 25 nữ 25 nam Pháp 25 nữ Số file (wav) 200 200 200 200 200 200 Tổng thời gian (phút) 30 30 30 B Bộ công cụ thử nghiệm Như nói, tiếng Việt, tiếng Anh, tiếng Pháp có đặc trưng khác biệt mặt ngữ âm Về mặt tín hiệu, đặc trưng mặt ngữ âm thể thông qua thuộc tính tín hiệu phổ, tần số bản, xác suất âm hữu thanh… Để thử nghiệm, đặc trưng thông dụng quan trọng mang thông tin ngôn điệu, phổ chất lượng âm hữu theo đề xuất [23] sử dụng Các đặc trưng bao gồm 12 hệ số MFCC, tỷ lệ biến thiên qua trục không, cao độ, tỷ lệ hài nhiễu Tiếp theo, đặc trưng kể lại bổ sung thêm hệ số delta 12 đại lượng sau: trung bình, độ lệch chuẩn, mơ men bậc 3, mô men bậc 4, giá trị cực đại cực tiểu, vị trí tương đối, dải giá trị hệ số hồi quy tuyến tính với sai số trung bình bình phương tương ứng Tổng cộng gồm có 384 hệ số Thử nghiệm nhận dạng ba ngôn ngữ Việt, Anh, Pháp sử dụng phương pháp đánh giá chéo với tỷ lệ liệu huấn luyện thử nghiệm 90% 10% Người nói ngữ liệu huấn luyện khác với người nói ngữ liệu dùng cho nhận dạng Bài báo trình bày kết thử nghiệm định danh ba ngôn ngữ Việt, Anh, Pháp cách sử dụng SVM với thuật giải SMO, phân lớp iBK MultilayerPerceptron Đây phân lớp mà nghiên cứu khác nêu mục II.D chưa sử dụng để định danh ngơn ngữ có tiếng Anh, tiếng Pháp tiếng Việt Mặt khác, phân lớp dùng mạng nơ-ron nói chung tỏ có hiệu kết [19] so sánh với phân lớp dùng GMM Journal of Science and Technology 45 ISSN 2354-0575 1) Thử nghiệm định danh ba ngôn ngữ Việt, Anh, Pháp sử dụng SMO SMO thuật giải tối thiểu Đây thuật giải cải tiến SVM tác giả John Platt đưa vào năm 1998, chạy nhanh dễ dàng mở rộng so với thuật giải huấn luyện chuẩn SVM [24] a) Thử nghiệm sử dụng SMO với tham số đặc trưng đầu vào đầy đủ 384 hệ số Kết thử nghiệm với số file tiếng nói nhận dạng ngơn ngữ nhận dạng nhầm ngôn ngữ thể ma trận sai nhầm Bảng II BẢNG II MA TRẬN SAI NHẦM VỚI THỬ NGHIỆM DÙNG SMO ĐỊNH DANH NGÔN NGỮ BAO GỒM ĐẦY ĐỦ CÁC HỆ SỐ Ngôn ngữ Việt Anh Pháp Việt 395 Anh 371 24 Pháp 19 374 Bảng II Bảng III, IV, V, VI sau cho kết quả thử nghiệm nhận dạng cho ngôn ngữ với tổng cộng 10 lần thử nghiệm, lần có 40 file Với Bảng II, tỷ lệ nhận dạng với tiếng Việt đạt 98,75%, tiếng Anh đạt 92,75%, tiếng Pháp đạt 93,5% Tỷ lệ nhận dạng trung bình phương pháp 95% b) Thử nghiệm sử dụng SMO với trường hợp khơng có thơng tin liên quan tới tần số (F0) Với thử nghiệm này, tập tham số đặc trưng ban đầu ta loại bỏ toàn hệ số liên quan trực tiếp tới F0 Kết thử nghiệm với file tiếng nói nhận dạng ngôn ngữ nhầm ngôn ngữ thể Bảng III BẢNG III MA TRẬN SAI NHẦM VỚI THỬ NGHIỆM DÙNG SMO ĐỊNH DANH NGÔN NGỮ KHÔNG SỬ DỤNG F0 Ngôn ngữ Việt Anh Pháp Việt 390 Anh 371 24 Pháp 18 373 Với Bảng III, tỷ lệ nhận dạng tiếng Việt đạt 97,5%, tiếng Anh đạt 92,75% tiếng Pháp đạt 93,25% So với trường hợp trên, tỷ lệ nhận dạng tiếng Việt giảm nhiều 1,25%, với tiếng Pháp giảm 0,25% với tiếng Anh tỷ lệ không thay đổi c) Thử nghiệm sử dụng SMO với trường hợp có F0 Trong thử nghiệm để lại hệ số liên quan trực tiếp tới F0, hệ số khác loại bỏ Kết nhận dạng sai ngôn ngữ thể Bảng IV 46 BẢNG IV MA TRẬN SAI NHẦM VỚI THỬ NGHIỆM DÙNG SMO ĐỊNH DANH NGƠN NGỮ CHỈ SỬ DỤNG F0 Ngơn ngữ Việt Anh Pháp Việt 309 42 49 Anh 55 223 112 Pháp 63 124 213 Bảng IV cho thấy kết nhận dạng ba ngôn ngữ giảm mạnh, đặc biệt tiếng Anh tiếng Pháp Tỷ lệ nhận dạng tiếng Việt 77,25%, tiếng Anh 55,75%, tiếng Pháp 53,25% 2) Thử nghiệm định danh ba ngôn ngữ sử dụng iBK với tham số đặc trưng đầu vào đầy đủ 384 hệ số iBK là phân lớp k láng giềng gần (Lazy k-nearest-neighbor classifier) [22] Kết thử nghiệm với phương pháp cho ma trận sai nhầm Bảng V BẢNG V MA TRẬN SAI NHẦM VỚI THỬ NGHIỆM DÙNG iBK ĐỊNH DANH NGÔN NGỮ BAO GỒM ĐẦY ĐỦ CÁC HỆ SỐ Ngôn ngữ Việt Anh Pháp Việt 371 25 Anh 349 46 Pháp 10 23 367 Bảng V cho thấy kết thử nghiệm nhận dạng cao tiếng Việt 92,75%, thấp tiếng Anh với 87,25% tiếng Pháp 91,75% Trung bình tỷ lệ nhận dạng cho ba ngôn ngữ 90,58, giảm 4,42% so với phương pháp SMO (sử dụng đầy 384 hệ số) nêu Thử nghiệm định danh ba ngôn ngữ sử dụng Multilayer Perceptron Multilayer Perceptron mạng nơ-ron nạp trước (feed forward artificial neural network) sử dụng thuật giải lan truyền ngược (backpropagation) để phân lớp Với thử nghiệm dùng phân lớp này, tồn đặc trưng trích chọn sử dụng, kết trình bày Bảng VI BẢNG VI MA TRẬN SAI NHẦM VỚI THỬ NGHIỆM DÙNG MULTILAYER PERCEPTRON Ngôn ngữ Việt Anh Pháp Việt 393 Anh 379 19 Pháp 23 374 Bảng VI cho thấy kết thử nghiệm nhận dạng tiếng Việt đạt 98,25%, tiếng Anh 94,75% tiếng Pháp đạt 93,5% Trung bình tỷ Khoa học & Công nghệ - Số 15/Tháng - 2017 Journal of Science and Technology ISSN 2354-0575 lệ nhận dạng cho ba ngôn ngữ cao so với phương pháp thử nghiệm trên, tỷ lệ đạt 95,5% tăng 0,5% so với phương pháp SMO tăng 4,92% so với phương pháp iBK C Tổng hợp kết thử nghiệm Bảng VII kết nhận dạng tiếng Việt, Anh, Pháp với phương pháp khác nêu BẢNG VII MA TRẬN SAI NHẦM TỔNG HỢP KẾT QUẢ THỬ NGHIỆM Phương pháp Tỷ lệ nhận dạng cho ngôn ngữ Việt Anh Multilayer 98,25% 94,75% Perceptron SMO iBK 98,75% 92,75% 92,75 87,25 Pháp Tỷ lệ nhận dạng trung bình 93,5% 95,5% 93,5% 95% 91,75% 90,58% • Nhận xét: Bảng VII bảng tổng hợp kết định danh cho ba ngôn ngữ Việt, Anh, Pháp theo ba phương pháp với tỷ lệ nhận dạng trung bình từ cao xuống thấp Nhìn chung ba phương pháp thử nghiệm cho định danh đạt kết trung bình nhận dạng 90% cao phương pháp MultilayerPerceptron (đạt 95,5%) Điều cho thấy phương pháp thử nghiệm khả quan cho định danh ngơn ngữ • Xét riêng ngơn ngữ: tiếng Việt nhận dạng với tỷ lệ cao dùng phương pháp SM0 (98,75%), phương pháp MultilayerPeceptron cho tỷ lệ nhận dạng cao tiếng Anh (94,75%) Trong đó, tiếng Pháp, hai phương pháp SM0 MultilayerPeceptron cho tỷ lệ nhận dạng tương đương (93,5%) Thử nghiệm vai trò tần số tiếng Việt Bảng III cho thấy, khơng sử dụng F0 tỷ lệ nhận dạng tiếng Việt bị giảm xuống 97,5% với tiếng Anh tiếng Pháp tỷ lệ nhận dang không thay đổi Việc sử dụng F0 vào nhận dạng với kết Bảng IV cho thấy tiếng Việt đạt tỷ lệ nhận dạng cao (77,25%) tiếng Anh tiếng Pháp đạt mức 55,75% 53,25% IV KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Bài báo trình bày kết thử nghiệm định danh tiếng Việt, tiếng Anh, tiếng Pháp cách sử dụng công cụ Weka với phương pháp phân lớp khác Tỷ lệ trung bình định danh ba ngôn ngữ đạt cao sử dụng phân lớp Multilayer Perceptron thấp phương pháp iBK Ảnh hưởng tần số đến kết định danh ba ngôn ngữ khảo sát Khi loại bỏ tham số liên quan trực tiếp đến tần số bản, kết định danh tiếng Việt giảm nhiều Trong trường hợp sử dụng tham số liên quan đến tần số bản, tiếng Việt lại định danh với tỷ lệ cao Điều cho thấy, ngơn ngữ có điệu có tiếng Việt, cần lưu ý đến vai trò tần số hệ thống nhận dạng tiếng nói nói chung định danh ngơn ngữ nói riêng Hướng nghiên cứu sử dụng mơ hình định danh khác GMM học sâu (Deep Learning) có kết hợp với phân lớp có hiệu nhằm nâng cao hiệu định danh ngôn ngữ V LỜI CẢM ƠN Nghiên cứu hỗ trợ trung tâm Nghiên cứu Khoa học Ứng dụng Công nghệ, trường ĐH Sư phạm Kỹ thuật Hưng Yên, theo dự án SKH1718_27 Tài liệu tham khảo [1] William M Campbell, Joseph P Campbell, Douglas A Reynolds, and Pedro Torres-Carrasquillo, “Support Vector Machines for Speaker and Language Recognition,”  Computer Speech & Language, vol 20, no 2, pp 210-229, Apr 2006 [2] Shigeo Abe, Support Vector Machines for Pattern Classification, 2nd ed London: Springer, 2010 [3] Shady Y EL-Mashed, Mohammed I Sharway, and Hala H Zayed, “Speaker Independent Arabic Speech Recognition using Support Vector Machine,” in Department of Electrical Engineering, Shoubra Faculty of Engineering, Benha University, Cairo, Egypt, 2009 [4] Jue Hou, Yi Liu, Thomas Fang Zheng, Jesper Olsen, and Jilei Tian, “Multi-layered Features with SVM for Chinese Accent Identification,” in Audio Language and Image Processing, 2010, pp 25-30 [5] Fred Richardson and William M Campbell, “Discriminative Keyword Selection using Support Vector Machines,” in Advances in Neural Information Processing Systems 20, 2007, pp 209-216 [6] K Sreenivasa Rao, V Ramu Reddy, and Sudhamay Maity, Language Identification Using Spectral and Prosodic Features, Springer International Publishing, 2015, ch 1, pp 2-7 [7] Peter F Brown, Peter V deSouza, Robert L Mercer, Vincent J Della Pietra, and Jenifer C Lai, “Class-Based n-gram Models of Natural,” Computational Linguistics, vol 18, no 4, pp 467-479, Dec 1992 Khoa học & Công nghệ - Số 15/Tháng - 2017 Journal of Science and Technology 47 ISSN 2354-0575 [8] Haizhou Li, Bin Ma, and Chin Hui Lee, “A Vector Space Modeling Approach to Spoken Language Identification,” IEEE Transactions on Audio, Speech, and Language Processing, vol 15, no 1, pp 271-284, Jan 2007 [9] Khe Chai Sim and Haizhou Li, “On Acoustic Diversification Front-End for Spoken Language Identification,” IEEE Transactions on Audio, Speech, and Language Processing, vol 16, no 5, pp 1029 - 1037, July 2008 [10] Rong Tong, Bin Ma, Haizhou Li, and Eng Siong Chng, “Target-Oriented Phone Selection from Universal Phone Set for Spoken Language Recognition,” in Interspeech , 2008 [11] Jia Li You, Yi Ning Chen, Min Chu, Frank K Soong, and Jin Lin Wang, “Identifying Language Origin of Named Entity with Multiple Information Sources,” in IEEE Transactions on Audio, Speech, and Language Processing, 2008, pp 1077 - 1086 [12] Gerrit Reinier Botha and Etienne Barnard, “Factors that Affect the Accuracy of Text-based Language Identification,” Computer Speech & Language, vol 26, no 5, pp 307-320, Oct 2012 [13] Marc Picard, An Introduction to the Comparative Phonetics, John Benjamins Publishing Company, Amsterdam/Philadelphia, 1987 [14] Nguyễn Hữu Quỳnh, Tiếng Việt đại (Ngữ âm, ngữ pháp, phong cách), Trung tâm biên soạn từ điển bách khoa Việt Nam, Hà Nội, 1994 [15] Zissman, “Automatic Language Identification using Gaussian Mixture and Hidden Markov Models,” in Acoustics, Speech, and Signal Processing, 1993 ICASSP-93 1993 IEEE International Conference on, 1993, pp 399-402 [16] Muthusamy, Yeshwant K , Ronald A , Cole, and Beatrice T Oshika, “The OGI Multi-language Telephone Speech Corpus,” ICSLP, vol 92, pp 895-898, Oct 1992 [17] Manchala, V Kamakshi Prasad, and V Janaki, “GMM based Language Identification System using Robust Features,” International Journal of Speech Technology, vol 17, no 2, pp 99–105, June 2014 [18] Martin , Alvin F, and Craig S Greenberg, “The 2009 NIST Language Recognition Evaluation,” in Odyssey, 2010 [19] Luciana Ferrer, Yun Lei, Mitchell McLaren, and Nicolas Scheffer, “Study of Senone-Based Deep Neural Network Approaches for Spoken Language Recognition,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol 24, no 1, pp 105 - 116, Jan 2016 [20] Ana Montalvo, Yandre M G Costa, and José Ramón Calvo, “Language Identification Using Spectrogram Texture,” in Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications.: Springer International Publishing, 2015, pp 543-550 [21] Hà Hải Nam, Trịnh Văn Loan, “Một hướng tiếp cận dựa tần số để định danh tự động ngơn ngữ có điệu khơng có điệu,” Kỷ yếu Hội thảo khoa học Quốc gia lần thứ hai nghiên cứu, phát triển ứng dụng Công nghệ Thông tin truyền thông ICT.rda, Hà Nội, 2004, pp 211-215 [22] Lan H.Witten, Eibe Frank, and Mark A Hall, Data Mining: Practical Machine Learning Tools and Techniques, Korean : Morgan Kaufmann, 2011 [23] Schuller , Björn , Stefan Steidl, and Anton Batliner, “The InterSpeech 2009 Emotion Challenge,” in INTERSPEECH, 2009, pp 312-315 [24] John Platt, “Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines,” technical report msr-tr-98-14, Microsoft Research, vol 112, Apr 1998 COMPARATIVE STUDY OF CLASSIFICATION METHODS USED FOR IDENTIFYING VIETNAMESE – ENGLISH – FRENCH Abstract: There are many different methods and models which researched and applied for identification of languages such as GMM, HMM, SVM, ANN models, etc The article presents test results identify three languages Vietnamese, English, French which use SMO (Sequential Minimal Optimization), iBK, Multilayer Perceptron classifier of Weka with features was extracted by OpenSMILE, the number of features are 384 coefficient The test results with SMO classifiers show out the highest Vietnamese recognition rate was 98.75%, the highest French recognition was 93,5% when used Multilayer Perceptron classifier and SMO classifier and the highest English recognition was 94,75% with Multilayer Perceptron classifier Keywords: Language Identification; Vietnamese; English; French; SVM; SMO; Weka 48 Khoa học & Công nghệ - Số 15/Tháng - 2017 Journal of Science and Technology ... cứu định danh ngơn ngữ có tiếng Việt, tiếng Anh, tiếng Pháp nêu chủ yếu tác giả người nước thực Trong đó, nghiên cứu định danh tự động tiếng Việt, tiếng Anh, tiếng Pháp tác giả người Việt Nam... liệu dùng cho định danh ba ngôn ngữ Việt, Anh, Pháp Bộ ngữ liệu dùng để định danh ba ngôn ngữ Việt, Anh, Pháp thu thập từ người nói khác gồm 50 giọng nam, 50 giọng nữ cho ngôn ngữ với tần số lấy... mục II.D chưa sử dụng để định danh ngôn ngữ có tiếng Anh, tiếng Pháp tiếng Việt Mặt khác, phân lớp dùng mạng nơ-ron nói chung tỏ có hiệu kết [19] so sánh với phân lớp dùng GMM Journal of Science