Tổng hợp tiếng nói tiếng việt

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐỖ PHẠM HỒNG ĐỀ TÀI: TỔNG HỢP TIẾNG NĨI TIẾNG VIỆT LUẬN VĂN CAO HỌC CHUYÊN NGÀNH: TỰ ĐỘNG HÓA NĂM 2003 LỜI CẢM TẠ Trên hết, em xin chân thành cảm thầy giáo hướng dẫn, thầy TS Nguyễn Đức Thành, nhiệt tình hướng dẫn, cung cấp tài liệu đặc biệt khuyến khích em nhiều làm luận án tốt nghiệp Em xin chân thành cám ơn cô TS Nguyễn Thị Phương Hà toàn thể quý thầy cô giáo môn Tự Động tạo điều kiện môi trường học tập tốt cho em suốt thời gian học đại học cao học Em xin chân thành cám ơn quý thầy cô giáo Ban Giám Hiệu Khoa Cơ tin trường ĐHDL kỹ thuật công nghệ Tp HCM tạo điều kiện tốt giúp em hoàn thành chương trình cao học luận văn tốt nghiệp Con xin tỏ lòng biết ơn sâu sắc tất thành viên gia đình, nơi gíup đỡ, nuôi dưỡng dạy dỗ ngày hôm Cháu xin cảm ơn bác Lê Văn Doanh động viên, giúp đỡ gửi liệu cho cháu Tôi xin chân thành cảm ơn Dr Thierry Dutoit, Dr Baris Bozkurt , Dr Jacques TOEN, Dr S Prahallad Kishore, Pr Peter Ladefoged, Pr Arry A Arman Mr Christer Ahlstrữm không quản thời gianø giúp đỡ nhiều tổng hợp tiếng nói Cuối cùng, xin chân thành cảm ơn người thân, bè bạn giúp đỡ, động viên suốt trình làm luận án sống Tp Hồ Chí Minh, tháng 01 năm 2003 Đỗ Phạm Hoàng TÓM TẮT Trong khoảng trăm trang báo cáo, cố gắng giải thích hệ thống tổng hợp tiếng nói (Text-To-Speech), trở ngại thường gặp phải hạn chế vấn đề ngôn từ kỹ thuật Ở không dám dùng từ "Giải pháp" Tổng hợp tiếng nói, biết, vấn đề rối rắm phức tạp thực giải phát trọn vẹn để giải tất vấn đề Mỗi tổng hợp có ưu khuyết điểm khác kết hợp Xử lý tín hiệu số DPS (Digital Signal Processing) Xử lý ngôn ngữ tự nhiên NLP ( Natural Language Processing) Bài báo cáo gồm có chương Chương I ( Giới thiệu) định nghóa hệ thống tổng hợp tiếng nói, tiếp sơ đồ khối giúp có nhìn sơ khởi hệ thống tổng hợp tiếng nói chương I nêu bật ngắn gọn lịch sử phát triển tổng hợp tiếng nói giới nước ta Cuối chương la số ứng dụng hệ thống tổng hợp tiếng nói Đầu chương II( Tiếng nói mô hình tổng hợp tiếng nói) nêu lên đặc tính tiếng nói người để từ đưa mô hình tổng hợp tiếng nói thích hợp Cuối chương trình bày mô hình tổng hợp tiếng nói Các mô hình trình bày : Mô hình tổng hợp dựa sở sinh lý học, mô hình tổng hợp dựa đặc trưng tiếng nói ( LPC, tổng hợp sóng hài) mô hình tổng hợp theo kiểu xâu chuỗi đơn vị tiếng nói trực tiếp Phần A chương III ( Dẫn luận ngôn ngữ học cấu ngữ âm tiếng Việt) giới thiệu số kiến thức ngôn ngữ học ( âm vị, âm tiết, nguyên âm, phụ âm, vô thanh, hữu tính đoạn tính siêu đoạn tính …) Phần B chương III trình bày đặc tính tiếng Việt Qua chương phần hiểu rõ đặc tính âm tiết tính tiếng Việt để từ tìm thức tổng hợp tối ưu Chương IV (Mô hình tổng hợp tiếng nói tổng quát) trình bày cho cách hoạt động hệ thống tổng hợp tiếng nói tồng quát Các khó khăn thường gặp phải khối xử lý ngôn ngữ tự nhiên NLP Sau tìm hiểu mô hình tổng hợp tiếng nói, đặc tính ngữ âm tiếng Việt hoạt động hệ thống tổng hợp tiếng nói tổng quát, chương V đưa chứng minh cách thức tổng hợp hiệu tiếng Việt Kết thúc luận án chương VI kết luận hướng mở rộng đề tài ABSTRACT In a hundred of pages that follow, I have tried to explain what Text-To-Speech Synthesis is about, what the problems involved were, and how we went through them, in the actual state of the engineering art I not use the word solution, on purpose : TTS synthesis, as we shall see, is a very intricate problem; no complete solution emerges Each and every synthesizer is a subtle, and more or less successful, combination of Digital Signal (DSP) and NaturalLanguage Processing (NLP) This thesis is divided into six parts Chapter I (Introduction) tell us what Text-To-Speech Synthesis is about, brief description of a general TTS system This chapter progressively introduces History and Development of speech synthesis all over the World and in Viet Nam The usefulness of Speech Synthesis is illustrated at the end of this chapter The first part of chapter II (Speech Characteristic and models for Speech Synthesis) describes the characteristic of human speech to search for suitable models This chapter present some speech synthesis models of human reading mechanism They are Đầu chương II( Tiếng nói mô hình tổng hợp tiếng nói) nêu lên đặc tính tiếng nói người để từ đưa mô hình tổng hợp tiếng nói thích hợp Cuối chương trình bày mô hình tổng hợp tiếng nói Các mô hình trình bày : Mô hình tổng hợp dựa sở sinh lý học, mô hình tổng hợp dựa đặc trưng tiếng nói ( LPC, tổng hợp sóng hài) mô hình tổng hợp theo kiểu xâu chuỗi đơn vị tiếng nói trực tiếp Phần A chương III ( Dẫn luận ngôn ngữ học cấu ngữ âm tiếng Việt) giới thiệu số kiến thức ngôn ngữ học ( âm vị, âm tiết, nguyên âm, phụ âm, vô thanh, hữu tính đoạn tính siêu đoạn tính …) Phần B chương III trình bày đặc tính tiếng Việt Qua chương phần hiểu rõ đặc tính âm tiết tính tiếng Việt để từ tìm thức tổng hợp tối ưu Chương IV (Mô hình tổng hợp tiếng nói tổng quát) trình bày cho cách hoạt động hệ thống tổng hợp tiếng nói tồng quát Các khó khăn thường gặp phải khối xử lý ngôn ngữ tự nhiên NLP Sau tìm hiểu mô hình tổng hợp tiếng nói, đặc tính ngữ âm tiếng Việt hoạt động hệ thống tổng hợp tiếng nói tổng quát, chương V đưa chứng minh cách thức tổng hợp hiệu tiếng Việt Kết thúc luận án chương VI kết luận hướng mở rộng đề tài Tổng hợp tiếng nói tiếng Việt Chương I Giới thiệu MỤC LỤC Mục tiêu đề tài Thế hệ thống tổng hợp tiếng nói ? Lịch sử phát triển hệ thống tổng hợp tiếng nói giới việt nam 3.1 Các hệ thống tổng hợp học 3.2 Các hệ thống tổng hợp điện điện tử 3.3 Tổng hợp tiếng nói tiếng việt Ứng dụng hệ thống tổng hợp tiếng nói Chương II 01 01 02 02 03 05 06 Tiếng nói mô hình máy phát âm Cơ sở ngữ âm học tiếng nói 1.1 Cơ sở ngữ âm 1.2 Cơ sở sinh lý học 1.3 Cơ sở xã hội Các mô hình máy phát âm 2.1 Tổng hợp tiếng nói dựa sở sinh lý học 2.1.1 Mô hình tổng hợp tiếng nói theo phòng thí nghiệm haskins a) Tâm thân lưỡi b) Xương hyoid c) Hàm d) Môi e) Đầu lưỡi f) Vòm miệng g) Vận hành mô hình 2.1.2 Các mô hình khác a) Mô hình ishizaka-flanagan b) Mô hình morten olesen 2.2 Tổng hợp tiếng nói dựa đặc trưng tiếng nói 2.2.1 Tổng hợp mã hóa dự báo tuyến tính a) Mô hình phát âm người b) Mô hình toán học máy phát âm người c/ Lpc-10e FS-1015 2.2.2 Tổng hợp sóng hài 2.2.3 Tổng hợp tiếng nói theo mô hình sin 2.3 Tổng hợp tiếng nói cách xâu chuỗi đơn vị 2.3.1 Đơn vị lưu trữ từ 2.3.2 Đơn vị lưu trữ âm tiết 2.3.3 Đơn vị lưu trữ bán âm tiết 2.3.4 Bán âm vị (diphone) 2.3.5 Tha âm vị ( allophone) 2.3.6 Đơn vị lưu trữ âm vị GVHD : Nguyễn Đức Thành 08 08 12 13 13 13 14 14 14 15 15 16 16 16 19 19 19 21 21 21 22 22 28 32 33 33 33 34 34 34 34 HVTH : Đỗ Phạm Hoàng Tổng hợp tiếng nói tiếng Việt Chương III Dẫn luận ngôn ngữ học cấu ngữ âm tiếng Việt A Dẫn luận ngôn ngữ học 35 Lý thuyết âm vị 1.1 Định nghóa âm vị 1.2 Chức âm vị 1.3 Sự phân xuất xác định âm vị 1.4 Phân xuất âm vị dựa giống mặt cấu âm 1.5 Phụ âm nguyên âm 1.5.1 Phụ âm a) Mối quan hệ tiếng tiếng ồn b) Phương thức cấu tạo tiếng ồn c) Theo khí quan chủ động d) Các cấu âm bổ sung 1.5.2 Các nguyên âm a) Phân loại theo vị trí lưỡi b) Theo độ nâng lưỡi c) Theo hình dáng môi 1.6 Sự qui nạp âm vị âm vị biến thể 1.6.1 Khái niệm biến thể 1.6.2 Sự phân bố âm vị biến thể chúng 1.6.3 Các kiểu biến thể âm vị a) Biến thể tự b Biến thể bắt buộc 1.7 Các nét khu biệt âm vị đối lập âm vị 1.7.1 Các nét khu biệt 1.7.2 Sự đối lập âm vị Lý thuyết âm tiết 2.1 Cơ chế cấu tạo âm tiết 2.2 Chức âm tiết ngôn ngữ 2.3 Cấu trúc âm tiết ngôn ngữ 35 35 35 35 36 36 36 36 37 37 38 38 38 38 39 39 39 39 40 40 40 40 40 41 42 42 44 45 B Đặc điểm ngữ âm tiếng Việt Đặc điểm âm tiết tiếng Việt Cấu trúc âm tiết tiếng Việt Các loại hình âm tiết tiếng Việt Một số tượng ngữ âm có liên quan đến âm tiết 4.1 Nguyên âm đôi 4.2 Sự biến hóa ngữ âm 4.2.1 Sự thích nghi 4.2.2 Sự đồng hóa GVHD : Nguyễn Đức Thành 46 47 48 49 49 49 50 50 HVTH : Đỗ Phạm Hoàng Tổng hợp tiếng nói tiếng Việt 4.2.3 Sự dị hóa 4.2.4 Sự bớt âm Các thành tố âm tiết tiếng Việt 5.1 Phụ âm đầu 5.1.1 Các tiêu chí khu biệt phụ âm đầu 5.1.1.1 Về cấu âm a) Về phương thức cấu âm b) Về tính c) Về vị trí cấu âm 5.1.1.2 tính chất âm học 5.2 Vần yếu tố 5.2.1 Âm đệm /-u-/ a) Các đặc trưng ngữ âm b) Sự phân bố c) Tính chất nước đôi âm đệm /-u-/ 5.2.2 Âm a) Nguyên âm đơn b) Nguyên âm đôi 5.2.3 Âm cuối a) Hệ thống âm cuối b) Qui luật phân bố âm cuối sau âm c) Quy luật biến dạng âm âm cuối 5.3 Thanh điệu 5.3.1 Những nét khu biệt điệu a) Âm điệu b) Âm vực c) Phân loại điệu theo tiêu chí khu biệt điệu tính d) Các đặc trưng phi điệu tính e) Phân loại điệu theo nét khu biệt hỗn hợp 5.3.2 Sự thể điệu âm tiết rời 5.3.3 Sự thể điệu điệu ngữ lưu a) Sự biến đổi phụ thuộc vào vị trí điệu ngữ đoạn b) Sự biến đổi điệu phụ thuộc vào bối cảnh c) Sự phân bố điệu loại hình âm tiết Trọng âm ngữ điệu 6.1Trọng âm 6.1.1 Khái niệm trọng âm kiểu trọng âm 6.1.2 Sự khác biệt điệu trọng âm từ 6.1.3 Trọng âm tiếng Việt a) Trọng âm câu tiếng Việt b) Trọng âm tổ hợp gồm hai tiếng thực từ 6.2 Ngữ điệu 6.2.1 Nhận xét chung 6.2.2 Những thành tố ngữ điệu GVHD : Nguyễn Đức Thành 50 50 50 50 51 51 51 51 52 52 53 54 54 54 54 55 55 56 57 57 57 58 59 59 60 60 60 61 62 63 64 64 66 66 68 68 68 68 69 70 71 72 72 73 HVTH : Đỗ Phạm Hoàng Tổng hợp tiếng nói tiếng Việt a) Âm điệu b) Cường độ c) Trường độ d) Chỗ ngừng e) Âm sắc 6.2.3 Ngữ điệu tiếng Việt 6.2.4 Ngữ điệu tình thái tiếng Việt Chương IV 73 73 73 73 74 74 75 Hệ thống tổng hợp tiếng nói tổng quát Khối xử lý ngôn ngữ tự nhiên 1.1 Khối tự động chuyển từ hình vị sang âm vị GTP 1.2 Khối tạo ngôn điệu PG 1.3 Khối phân tích ký tự 78 Khối Xử Lý Tín Hiệu Số 79 2.1 Khối xử lý tín hiệu số tổng hợp tiếng nói dựa sinh lý người 2.2 Khối xử lý tín hiệu số tổng hợp LPC 2.3 Khối xử lý tín hiệu số tổng hợp sóng hài 2.4 Khối xử lý tín hiệu số tổng hợp sóng hài Xử lý tiếng nói tổng hợp Chương V 77 77 78 79 80 80 82 83 Tổng hợp tiếng nói tiếng Việt Khối xử lý ngôn ngữ tự nhiên NLP tiếng Việt 1.1 Đặc tính chữ viết tiếng Việt 1.1.1 Sự đời chữ quốc ngữ 1.1.2 Đặc điểm chữ quốc ngữ 1.1.3 Những bất hợp lý chữ quốc ngữ nguồn gốc 1.2 Các khó khăn gặp phải khối xử lý ngôn ngữ tự nhiên 1.2.1 Phông chữ xử lý tiếng Việt máy tính 1.2.3 Cách nhận dạng từ tiếng việt 1.2.4 Trọng âm từ câu 1.2.5 Ngữ điệu tiếng Việt Đặc tính khối xử lý tín hiệu số tiếng nói tiếng Việt 2.1 Nhận xét đơn vị tổng hợp tiếng nói tiếng Việt 2.2 Khối xử lý tín hiệu số dựa mô hình sinh lý học 2.3 Khối xử lý tín hiệu số dựa tổng hợp sóng hài 2.4 Khối xử lý tín hiệu số dựa mô hình LPC 2.5 Khối xử lý tín hiệu số dựa xâu chuỗi tiếng nói lưu trữ t Mô hình tổng hợp tiếng nói tiếng việt GVHD : Nguyễn Đức Thành 86 86 86 86 87 88 88 92 93 94 95 95 96 96 96 97 102 HVTH : Đỗ Phạm Hoàng Tổng hợp tiếng nói tiếng Việt Chương VI Kết luận Kết luận 1.1 Chữ viết tiếng nói tiếng Việt 1.2 Cách thức tổng hợp tiếng nói Hướng mở rộng đề tài 2.1 Giảm thiểu số âm tiết tiếng Việt 2.2 Tìm phân tích tiếng Việt âm vị 2.3 Xây dựng hệ tổng hợp tiếng Việt audiovisual GVHD : Nguyễn Đức Thành 103 103 103 104 104 105 105 HVTH : Đỗ Phạm Hoàng Tổng hợp tiếng nói tiếng Việt CHƯƠNG I Chng I : Giới thiệu GIỚI THIỆU MỤC TIÊU CỦA ĐỀ TÀI Mục tiêu đề tài nêu lên kỹ thuật tổng hợp tiếng nói đưa phương pháp tiềm cho hệ thống tổng hợp tiếng Việt tương lai Đề tài cần thiết cho người bắt đầu tham gia vào lónh vực nghiên cứu tổng hợp tiếng nói rất nhiều người lầm lẫn hệ thống tổng hợp tiếng nói hệ thống tự động trả lời, tổng hợp tiếng nói dùng từ dùng "tiếng" (tổng hợp tiếng Việt), kỹ thuật tổng hợp tiếng nói ngôn ngữ Ấn Âu ngôn ngữ âm tiết tính ( tiếng Việt, tiếng Hoa, tiếng Miến Điện ) Việc nhầm lẫn bình thường tiếng Việt thứ tiếng nói trẻ chưa nhiều người nghiên cứu nhiều chỗ nhà ngôn ngữ học chưa đến thống với Các vấn đề phức tạp tổng hợp tiếng nói nêu Qua ta nhận thấy rõ ràng tổng hợp tiếng nói công việc dễ dàng Việt Nam dù có nhiều thành công khoa học tự nhiên xã hội chưa có hệ thống tổng hợp tiếng Việt thực hệ thống tổng hợp tiếng nói THẾ NÀO LÀ MỘT HỆ THỐNG TỔNG HP TIẾNG NÓI ? Có khác hệ thống tổng hợp tiếng nói bàn với "hệ thống tổng hợp tiếng nói" mà gặp hàng ngày (Hệ thống điện tử thông báo sức khỏe chiều cao, cân nặng, huyết áp; hệ thống thông báo cước phí điện thoại di động trả trước; hệ thống nhắc nợ bưu điện; hệ thống thông báo tàu, bay ) Các hệ thống mà đơn giản xâu chuỗi phần riêng biệt câu thích hợp số lượng từ giới hạn (khoảng 100 từ chẳng hạn) câu phát âm cấu trúc hạn chế Các hệ thống gọi hệ thống tự động trả lời tổng hợp tiếng nói Trong ngữ cảnh tổng hợp tiếng nói, điều ta lưu trữ tất từ ngôn ngữ Do rõ ràng người ta định nghóa tổng hợp tiếng nói hệ thống tự động phát tiếng nói thông qua trình biến đổi từ hình vị sang âm vị(automatic production of speech, through a grapheme-to-phoneme transcription of the sentences to utter) Ở thay phải lưu từ nhóm từ, ta cần lưu đơn vị tiếng nói mà cho kết tiếng nói tốt Việc chia chuỗi tiếng nói thành đơn vị nhỏ giúp dễ dàng thay đổi ngữ điệu lời nói Hệ thống tổng hợp tiếng nói phát âm xác văn nhập vào Các văn nhập vào trực tiếp từ bàn phím người dùng hay quyét vào máy tính thiết bị Nhận dạng ký tự quang học OCR( Optical Character Recognition) Điều đặc biệt hệ thống tổng hợp tiếng nói lưu trữ tiếng nói dạng "đơn vị tiếng nói" phát âm từ từ thực nhờ vào phương pháp dự báo dựa sở âm vị học ngữ âm học Sơ đồ khối tổng quát hệ thống tổng hợp tiếng nói gồm có hai khối hình vẽ đây: GVHD : Nguyễn Đức Thành HVTH : Đỗ Phạm Hoàng ... Tổng hợp tiếng nói tiếng Việt Chương II : Tiếng nói mô hình máy phát âm 2.2 Tổng hợp tiếng nói dựa đặc trưng tiếng nói Có hai phương pháp tổng hợp tiếng nói dựa đặc trưng tiếng nói : ƒ Tổng hợp. .. thống tổng hợp tiếng nói Đầu chương II( Tiếng nói mô hình tổng hợp tiếng nói) nêu lên đặc tính tiếng nói người để từ đưa mô hình tổng hợp tiếng nói thích hợp Cuối chương trình bày mô hình tổng hợp. .. Qua phân tích tiếng nói người ta đưa ba mô hình tạo tiếng nói tổng hợp sau : ƒ Tổng hợp dựa sở sinh lý học ƒ Tổng hợp tiếng nói dựa sở âm học sinh lý học tiếng nói ƒ Tổng hợp tiếng nói dựa việc