Nghiên cứu các đặc trưng tiếng Việt áp dụng vào nhận dạng tiếng nói tiếng Việt

Nghiên cứu các đặc trưng tiếng Việt áp dụng vào nhận dạng tiếng nói tiếng Việt

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN BỘ MÔN CÔNG NGHỆ TRI THỨC hóóóg LUẬN VĂN TỐT N GHIỆP CỬ NHÂN CÔNG NGHỆ THÔNG TIN NGHIÊN CỨU CÁC ĐẶC TRƯNG CỦA TIẾNG VIỆT ÁP DỤNG VÀO NHẬN DẠNG TIẾNG NÓI TIẾNG VIỆT Giáo viênhướng dẫn: Th.S Thái Hùng Văn Sinh viên thực hiện: Đỗ Xuân Đạt –9912540 Võ Văn Tuấn –9912737 Thành phố Hồ Chí Minh, tháng 7 năm 2003 i LờiCảmƠn Hoàn thành luận văn này, chúng em xin chân thành cảm ơn thầy Thái Hùng Văn đã trực tiếp hướng dẫn và tạo điều kiện cho chúng em tiếp cận với lĩnh vực nhận dạng tiếng nói, một lĩnh vực vô cùng lý thú. Chúng em xin gởi lời cảm ơn đến các thầy cô trong trường, đặc biệt là các thầy cô bộ môn Công N ghệ Tri Thức, và thầy Trần Tiến Đức trường ĐH Sư Phạm Kỹ Thuật đã truyền đạt cho chúng em nhiều kiến thức bổ ích. Chúng tôi cũng không thể không nhắc đến sự động viên chăm sóc của gia đình, sự cộng tác giúp đỡ và ủng hộ tinh thần của bạn bè, đặc biệt là bạn N guyễn Tấn Dũng và anh Đặng Hoàng Vũ. Chúng tôi xin ghi ơn tất cả. Thành phố Hồ Chí Minh, tháng 7 năm 2003. Đỗ Xuân Đạt-Võ Văn Tuấn ii LờiGiớiThiệu Trong quá trính tiến hoá, con người đã trở thành động vật mạnh nhất, cao cấp nhất nhờ vào hai thứ: lao động và tiếng nói. Lao động tạo ra tư duyvà tiếng nói giúp con người kết hợp với nhau. Cùng với thời gian, các phương tiện giao tiếp-thông tin của con người đã phát triển rất phong phú đa dạng. Tuy nhiên, dù đa dạng đến đâu cũng không thể thay thế được vai trò của tiếng nói. Tiếng nói là một phương tiện giao tiếp đặc biệt hiệu quả và cực kỳ phổ dụng, là một chức năng vô cùng quý giá của con người [L.V.Lợi-99]. Sự phát triển vượt bậc của con người chính là nhờ ở tốc độ và khả năng giao tiếp phong phú của tiếng nói. Ngày nay, nhờ sự phát triển củakhoa học kỹ thuật, máy móc dần dần thay thế các lao động tay chân. Tuy nhiên để điều khiển máy móc, con người phải làm khá nhiều thao tác tốn nhiều thời gian và cần phải được đào tạo. Điều này gây trở ngại không ít đối với việc sử dụng các máy móc, thànhtựu khoa học kỹ thuật. Chúng ta hãy tưởng tượng trong nhà có một người máy giúp việc. Khi ta muốn người máy làm việc, ta phải lục tìm đĩa chương trình tương ứng, phải nạp chương trình, … phải chạy lăng xăng làm một danh sách các công việc trong khi lúc đóta đang ngồi bên bàn làm việc, đang phải tập trung suy nghĩ vào một vấn đề cần giải quyết. Và ta hãy tưởng tượng xem nếu người máy đó “nghe hiểu” được những gì ta nói. Lúc đó ta chỉ cần “nhờ vả” một câu, mọi việc sẽ trở nên dễ dàng! Đi tìm giải pháp giúpcho máy có thể “nghe hiểu” được, con người đã bước vào lĩnh vực nhận dạng tiếng nói. Hơn nửa thế kỷ trôi qua, con người đã thu được những thành tựu đáng kể, có những ứng dụng khá hữu ích vào đời sống. Nhưng dù sao, khả năng “nghe hiểu” của máy vẫn còn mộtkhoảng cách khá xa so với thực tế. Mặt khác, các hệ thống nhân dạng hiện nay cũng chỉ được phát triển tương đối tốt đối với một số ngôn ngữ như tiếng Anh, tiếng Pháp, tiếng Hoa,… Còn đối với nước ta, nhận dạng tiếng nói vẫn còn là một lĩnh vực khá mới mẻ. Đến nay tuy cũng đã đạt được một số thành tựu và đã có những ứng dụng nhất định, nhưng nhìn chung, nhận dạng tiếng Việt vẫn chưa đạt được kết quả cần thiết để có thể tạo ra một sản phẩm thực tế hoàn chỉnh. Khó khăn nằm ở tính phức tạp của vấn đề và mức độđầu tư cũng như kế thừa chưa cao. Các nghiên cứu chủ yếu vẫn là nhận iii dạng tiếng nói chung chung chứ chưa có nhiều phân tích kỹ các đặc tính riêng của tiếng Việt. Các hệ nhận dạng trước đây hầu hết không phân biệt được từ đồng âm như: a, á, à, ả,ã, ạ… Hơnnữa kích thước từ điển (số từ nhận biết được) còn nhỏ, thời gian học mẫu khá lâu, và nhận dạng mang tính phụ thuộc người nói khá cao. Vấn đề còn khó khăn ở chỗ nhận dạng tiếng nói mang tính liên ngành [T.H.Văn- 00]. Nghiên cứu nhận dạng tiếng nói bằng máy tính là nghiên cứu cả một hệ thống các ngành khoa học có liên quan như: ngôn ngữ học, thống kê học, sinh lý học, vật lý học, toán học, âm học, tâm lý học, lý thuyết thông tin và truyền tin… và dĩ nhiên có cả công nghệ thông tin. Luận văn này xây dựng với mong muốn góp phần khắc phục những hạn chế trên, nâng cao hiệu quả nhận dạng tiếng Việt; bằng cách rút trích và sử dụng nhiều đặc trưng âm học tiếng Việt hơn, từ đó dùng nhiều đặc trưng hơn để nhận dạng giúp nâng cao độ chính xác và phân biệt được các từ đồng âm góp phần nâng kích thước từ điển lên lớn hơn. Nội dung luận văn được trình bày thành các chương như sau: Chương 1: Tiếng nói và ngữ âm tiếng Việt. Chương thứ nhất tóm tắt về tiếng nói và trình bày một số đặc điểm ngữ âm tiếng Việt. Trong số đó, luận văn quan tâm nhiều đến thanh điệu, là đặc điểm khác biệt của tiếng Việt so với nhiều ngôn ngữ khác. Chương 2: Xử lý tín hiệu số -phân tích tiếng nói: Trình bày một số kiến thức cơ bản về xử lý tín hiệu số và một số phương pháp tiếp cận tín hiệu tiếng nói. Chương 3: N hận dạng tiếng nói. Chương này mô tả một hệ nhận dạng tiếng nói tổng quát, và đi cụ thể vào hệ nhận dạng tiếng nói sử dụng mô hình Markov ẩn liên tục. Chương 4: Một số khảo sát về thanh điệu tiếng Việt. Đây là các khảo sát của người viết về thanh điệu tiếng Việt. Kết quả khảo sát sẽ được kết hợp, so sánh với các nghiên cứu về ngữ âm tiếng Việt trước đây để rút ra các đặc điểm ngữ âm tiếng Việt, làm cơ sở cho việc xây dựng một hệ nhận dạng tiếng Việt theo mô tả của luận văn. Chương 5: Xây dựng môhình nhận dạng thanh điệu tiếng Việt. Nhận dạng thanh điệu là bước đầu tiên ứng dụng các nghiên cứu nói trên vào một hệ iv nhận dạng tiếng Việt của luận văn. Bắt đầu từ đặc tính đặc trưng của tiếng Việt là thanh điệu. Chương 6: Thiết kế mô hình nhận dạng tiếng Việt. Phần này là thiết kế của luận văn về một hệ nhận dạng tiếng Việt hoàn chỉnh. Ứng dụng mô đun nhận dạng thanh điệu vào một hệ nhận dạng tiếng Việt hoàn chỉnh. Chương 7: Hiện thực hoá mô hình nhận dạng tiếng Việt. Chương cuối cùng là các cài đặt cụ thể của luận văn về một hệ nhận dạng tiếng Việt. Phần phụ lục 1: giới thiệu về một số đặc điểm ngữ âm tiếng Việt. Trong đó, luận văn chú ý nhiều đến đặc điểm thanh điệu được dùng để ứng dụng trong phân lớp tiếng Việt. Phần phụ lục 2: Giới thiệu vai trò củatần số cơ bản trong tiếng nói và một số phương pháp rút trích tần số cơ bản. v Mục Lục Lời Cảm Ơn i Lời Giới Thiệu .ii Mục Lục .v Chương 1.Tiếng nói và ngữ âm tiếng Việt 1 1.1.Giới thiệu tiếng nói .1 1.1.1.Sự phân bố về biên độ .1 1.1.2.Sự phân bố về tần số .2 1.1.3.Sự biến đổicác tần số cơ bản .2 1.1.4.Tỷ số tiếng nói 2 1.2.Ngữ âm tiếng Việt (Tham khảo phụ lục 1) .2 1.2.1.Thanh điệu 2 1.2.2.Âm vị 3 1.2.3.Trường độ .3 Chương 2.Xử lý tín hiệu số -phân tích tín hiệu tiếng nói .7 2.1.Xử lý tín hiệu số .7 2.1.1.Lấy mẫu tín hiệu .7 Hàm lấy mẫu: 7 2.1.1.1.Phổ của các tín hiệu được lấy mẫu 8 2.1.1.2.Mối quan hệ giữa phổ của tín hiệu rời rạc và phổ của tín hiệu liên tục theo thời gian thời gian 9 2.1.2.Dãy xung .10 2.1.3.Biến đổi Fourier rời rạc 11 2.1.3.1.Biến đổi Fourier rời rạc .12 vi 2.1.3.2.Biến đổi Fourier nhanh 13 2.1.4.Biến đổi cosin rời rạc 13 2.1.5.Các bộ lọc .14 2.1.6.Cửa sổ tín hiệu 15 2.2.Phân tích tín hiệu tiếng nói .20 2.2.1.Phương pháp dãy bộ lọc .20 2.2.2.Trích đặc trưng MFCC .28 2.2.3.Phương pháp mã hóa dự báo tuyến tính (LPC) 32 2.2.3.1.Làm rõ tín hiệu .34 2.2.3.2.Phân đoạn thành các frame 34 2.2.3.3.Lấy cửa sổ 35 2.2.3.4.Phân tích tự tương quan .36 2.2.3.5.Phân tích LPC 36 2.2.3.6.Chuyển các hệ số LPC thành các hệ số cepstral 37 2.2.3.7. Đặt trọng số cho các hệ số cepstral 37 2.3.Phát hiện chu kỳ tiếng nói–phương pháp tìm tần số cơ bản (Tham khảo phụ lục 2) .38 2.3.1.Các kỹ thuật theo miền thời gian 39 2.3.2.Các kỹ thuật phân tích phổ hữu hạn .39 2.3.3.Mô tả tín hiệu 40 2.3.3.1.Tiếng nói thô 40 2.3.3.2.Lỗi dự báo tuyến tính .40 2.3.4.Một số phương pháp cài đặt các kỹ thuậttrích F0: 41 2.3.4.1.Phương pháp dùng cepstral: 41 2.3.4.2.Phương pháp tự tương quan: .41 2.3.4.3.Phương pháp CLIP (center clipping pitch detector) 42 vii 2.3.4.4.Phương pháp SIFT (Simplified Inverse Filter Tracking)43 2.3.4.5.Hàm AMDF (Average Magnitude Difference Function)43 2.3.4.6.Phương pháp so khớp biên độ .43 Chương 3.Nhận dạng tiếng nói 46 3.1.Tổng quan một hệ nhận dạng: 46 3.2.Tổng quan một hệ nhận dạng tiếng nói: .46 3.3.Những thuận lợi và khó khăn của nhận dạng tiếng nói: .49 3.4.Nhận dạng tiếng nói sử dụng mô hình Markov ẩn .50 3.4.1.Mô hình Markov ẩn và các bài toán cần giải quyết: .50 3.4.1.1.Giải quyết bài toán thứ nhất: .51 3.4.1.2.Giải quyết bài toán thứ hai: .52 3.4.1.3.Giải quyết bài toán thứ ba: .52 3.4.2.Mô hình Markov ẩn liên tục (CDHMM-Continuous Densities Hidden Markov Model) 55 Chương 4.Một số khảo sát về thanh điệu tiếng Việt .59 4.1.Thanh 1 (Thanh ngang) 59 4.2.Thanh 2 (Thanh huyền) .60 4.3.Thanh 3 (Thanh ngã) 61 4.4.Thanh 4 (Thanh hỏi) .63 4.5.Thanh 5 (Thanh sắc) .64 4.6.Thanh 6 (Thanh nặng) 66 Chương 5.Xây dựng môhình nhận dạng thanh điệu tiếng Việt 66 5.1.Tiền xử lý 66 5.2.Trích F0 từ tín hiệu tiếng nói (pitch extraction) .69 5.3.Tạo vector đặc trưng từ vector V(F0) .71 5.4.Huấn luyện cho mô hình .72 viii 5.5.Nhậndạng .73 5.6.Một số kết quả nhận dạng thanh điệu tiếng Việt 74 Chương 6.Thiết kế mô hình nhận dạng tiếng nói tiếng Việt .77 6.1.Công đoạn huấn luyện 77 6.2.Công đoạn nhận dạng .79 Chương 7.Hiện thựchoá mô hình nhận dạng tiếng Việt .80 7.1.Nhận dạng tiếng đơn .80 7.2.Nhận dạng câu 82 Chương 8.Kết luận .84 8.1.Kết luận .84 8.2.Hướng phát triển: 85 Tài liệu tham khảo .86 Phụ lục 1: Ngữ âm tiếng Việt 87 Phụ lục 2: Vai trò của tần số cơ bản và một số kỹ thuật xử lý tầnsố cơ.100 1 Chương 1. Tiếng nói và ngữ âm tiếng Việt 1.1.Giới thiệu tiếng nói Tiếng nói là một loại sóng âm. Khi ta nói, tiếng nói được truyền đi mang theo thông tin dưới dạng các dao động cùng phương truyền đến tai người nhận. Mức độ truyền tin của tiếng nói được xem là nhanh nhất trong các khả năng tự nhiên của con người. Khác với sách báo, thư tín… chỉ tryền tin một chiều, tiếng nói giúp ta truyền tin cả hai chiều. Sách báo giúp ta ghi lại thông tin để sau này đọc lại, nhưng tiếng nói giúp ta thể hiện bản thân hơn. Thông qua cách nói chuyện, khả năng ứng xử, ta có thể đánh giá được trình độ và nhân cách của môt người. Tiếng nói là phương tiện truyền tin nhanh nhất và hiệu quả nhất của con người. Tiếng nói có rất nhiều đặc tính: Đặc tínhcủa sóng âm gồm các đặc tính sinh lý, vật lý như: cường độ, tần số, biên độ, năng lượng, âm sắc, độ cao, độ to… Đặc tính xã hội như: ngữ điệu, sắc thái tình cảm, địa phương… Số từ được sử dụng thường xuyên trong giao tiếp hằng ngày của một người dao độngtrong khoảng từ 2000 đến 3000 từ. Số từ người ta sử dụng trung bình khoảng 5000 đến 10000 từ. [5] Nghiên cứu về nhận dạng tiếng nói trên máy tính, ta sẽ xem xét chủ yếu đến tần số, biên độ (hay năng lượng). Tiếng nói có miền tần số cơ bản nằm trong khoảng80–8000 Hz. [11] 1.1.1.Sự phân bố về biên độ Khi thống kê với khoảng 80 người (4 người/ ngôn ngữ), người ta nhận thấy rằng biên độ tối đa đạt được của một tiếng nói có thể lớn hơn 50dB [5]. Trong một chuỗi tiếng nói, biên độ tiếng nói sẽ phân bố liên tục theodạng hình sin. . N GHIỆP CỬ NHÂN CÔNG NGHỆ THÔNG TIN NGHIÊN CỨU CÁC ĐẶC TRƯNG CỦA TIẾNG VIỆT ÁP DỤNG VÀO NHẬN DẠNG TIẾNG NÓI TIẾNG VIỆT Giáo viênhướng dẫn: Th.S Thái Hùng. dựng môhình nhận dạng thanh điệu tiếng Việt. Nhận dạng thanh điệu là bước đầu tiên ứng dụng các nghiên cứu nói trên vào một hệ iv nhận dạng tiếng Việt của