Nhan dang tieng noi va ung dung tich hop voi cac 211542

Nhận dạng tiếng nói và… Lời nói đầu LỜI NĨI ĐẦU Nhằm rèn luyện kỹ tổng hợp kiến thức học, tính tự chủ, tinh thần trách nhiệm công việc, khả làm việc độc lập tạo thiết kế cho đề tài hoàn chỉnh, sinh viên trước tốt nghiệp nhận đề tài tốt nghiệp giáo viên hướng dẫn giao cho tự lựa chọn Tham gia thực đồ án cách nghiêm túc giúp sinh viên tiếp cận với phương pháp giải tốn thực tế Tơi chọn đề tài: “Nhận dạng tiếng nói ứng dụng tích hợp với phần mềm máy tính” làm đồ án nhằm đạt mục tiêu sau:  Tìm hiểu lĩnh vực xử lý tiếng nói;  Nghiên cứu tìm hiểu ứng dụng nhận dạng tiếng nói;  Xây dựng chương trình nhận dạng tiếng nói theo thời gian thực;  Xây dựng chương trình tích hợp với phần mềm máy tính Xử lí tiếng nói lĩnh vực rộng bước nghiên cứu thử nghiệm thực tế Nhờ nỗ lực thân giúp đỡ gia đình, thầy cô bạn bè thực nội dung đồ án theo yêu cầu Sau thời gian nghiên cứu, tìm hiểu thực hiện, tơi xin trình bày báo cáo tổng hợp lý thuyết liên quan chương trình Demo nhận dạng tiếng nói chương trình tích hợp với Excel Trước tiên tơi xin gửi lời cảm ơn tới cha mẹ người thân động viên tạo điều kiện tốt cho học tập Tôi xin gửi lời cảm ơn tới thầy cô giáo khoa Cơng nghệ thơng tin I nói riêng Học viện Cơng nghệ Bưu Viễn thơng nói chung giúp đỡ, dìu dắt tơi năm tháng học tập trường Đặc biệt, xin chân thành cảm ơn thầy giáo Ts.Nguyễn Quang Hoan người trực tiếp hướng dẫn thời gian thực đồ án tốt nghiệp Hà Nội, ngày10 tháng 10 năm 2005 Nguyễn Thị Huyền Ngọc Nguyễn Thị Huyền Ngọc HVCNBCVT Nhận dạng tiếng nói và… Mục lục MỤC LỤC Trang Lời nói đầu Mục lục Danh mục hình vẽ .4 Các thuật ngữ viết tắt Mở đầu CHƯƠNG : TỔNG QUAN VỀ NHẬN DẠNG TIẾNG NÓI 1.1 Giới thiệu xử lý tiếng nói 1.2 Nhận dạng tiếng nói .9 1.2.1 Khái niệm nhận dạng tiếng nói 1.2.2 Phân loại hệ thống nhận dạng tiếng nói 11 1.2.3 Các phương pháp nhận dạng tiếng nói 12 CHƯƠNG : Q TRÌNH TIỀN XỬ LÝ TIẾNG NĨI 18 2.1 Phát tiếng nói .18 2.1.1 Năng lượng ngắn hạn 18 2.1.2 Tốc độ qua điểm không .19 2.1.3 Lượng thông tin .19 2.1.4 Giải thuật phát tiếng nói 20 2.2 Phân tích mã hóa dự đốn tuyến tính (LPC) 21 2.2.1 Mơ hình LPC 21 2.2.2 Các công thức phân tích LPC 22 2.2.3 Phân tích tự tương quan 24 2.2.4 Bộ xử lý LPC hệ thống nhận dạng tiếng nói 26 2.3 Phân tích cepstral thơng qua thang độ MEL (MFCC) 30 2.3.1 Mơ hình tính tốn hệ số MFCC 31 2.3.2 Q trình tiền xử lý tín hiệu 31 2.4 Lượng tử hóa vector 34 2.4.1 Tập vector huấn luyện 35 2.4.2 Khoảng cách hai vector 35 2.4.3 Nhân tập vector 36 2.4.4 Phân cụm vector 36 Nguyễn Thị Huyền Ngọc HVCNBCVT Nhận dạng tiếng nói và… Mục lục CHƯƠNG : MƠ HÌNH MARKOV ẨN 38 3.1 Các trình Markov rời rạc .39 3.2 Mơ hình Markov ẩn 41 3.2.1 Khái niệm 41 3.2.2 Thành phần mơ hình Markov ẩn .43 3.2.3 Ba toán mơ hình Markov ẩn 44 3.2.4 Các loại mơ hình Markov ẩn 52 3.2.5 Những vấn đề cần thực mơ hình Markov ẩn .54 CHƯƠNG : TÍCH HỢP VỚI PHẦN MỀM MÁY TÍNH 61 4.1 Giới thiệu 61 4.2 Trao đổi liệu với Office XP 61 4.2.1 Kết nối theo hướng Add-in .61 4.2.2 Kết nối theo hướng Automation 63 4.3 Mơ hình đối tượng Excel .64 4.4 Đọc ghi liệu vào bảng tính Excel .66 CHƯƠNG : THIẾT KẾ CHƯƠNG TRÌNH 68 5.2 Xây dựng chương trình nhận dạng tiếng nói 68 5.2.1 Thu âm 68 5.2.2 Phát tiếng nói 74 5.2.3 Trích chọn đặc trưng .78 5.2.4 Tạo codebook 80 5.2.5 Lượng tử hóa Vector .83 5.2.6 Huấn luyện mơ hình 84 5.2.7 Tính xác suất định 87 5.2.8 Tích hợp với Excel 88 CHƯƠNG : XÂY DỰNG CHƯƠNG TRÌNH VÀ THỬ NGHIỆM 90 6.1 Giới thiệu chương trình 90 6.1.1 Giao diện chương trình ứng dụng 90 6.1.2 Một số chức chương trình 91 6.2 Kết thử nghiệm 94 6.2.1 Kiểm tra lần thứ .94 6.2.2 Kiểm tra lần thứ hai .95 6.2.3 Kiểm tra lần thứ ba 96 Kết luận .98 Tài liệu tham khảo 99 Nguyễn Thị Huyền Ngọc HVCNBCVT Nhận dạng tiếng nói và… Danh mục hình vẽ DANH MỤC HÌNH VẼ Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình 1-1 1-2 1-3 1-4 1-5 2-1 2-2 2-3 2-4 3-1 3-2 Mơ hình tốn xử lý tiếng nói Các phần tử hệ thống nhận dạng tiếng nói 10 Sơ đồ phân loại hệ thống nhận dạng tiếng nói 11 Hệ thống nhận dạng tiếng nói theo phương pháp âm học-ngữ âm học 12 Tích hợp tri thức nhận dạng tiếng nói theo hướng từ lên 17 Mơ hình dự đốn tuyến tính tiếng nói 22 Sơ đồ khối tiền xử lý LPC hệ thống nhận dạng tiếng nói .26 Sơ đồ khối tiền xử lý MFCC 31 Sơ đồ khối thuật toán tách nhị phân 38 Ba mơ hình Markov ẩn cho thí nghiệm tung đồng xu 43 Chuỗi thao tác tính tốn biến trạng thái 47 3-3 Thao tác tính  t (i) 48 3-4 Các loại mơ hình Markov ẩn 53 5-1 Sơ đồ khối chương trình 68 5-2 Giải thuật thu âm luồng nhận dạng tiếng nói .73 5-3 Giải thuật phát tiếng nói 76 5-4 Sơ đồ khối phân tích Cepstral thơng qua mã hóa dự đốn tuyến tính 79 5-5 Giải thuật tạo Codebook 81 5-6 Giải thuật lượng tử hóa vector 84 5-7 Thuật toán huấn luyện mơ hình 85 5-8 Sơ đồ khối giải thuật nhận dạng 88 6-1 Giao diện tiếng Anh .90 6-2 Giao diện tiếng Việt .91 6-3 Hộp thoại tạo codebook 91 6-4 Huấn luyện mơ hình .92 Nguyễn Thị Huyền Ngọc HVCNBCVT Nhận dạng tiếng nói và… Các thuật ngữ viết tắt CÁC THUẬT NGỮ VIẾT TẮT Viết tắt ASR CWT DCT DFT FFT FIR HMM IDFT LCT LPC MCI MFCC PC ROT TTS STE STFS WFT ZCR Viết đầy đủ Automatic Speech Recognition Continuos Wavelet Transform Discrete Cosin Transform Discrete Fourier Transform Fast Fourier Transform Finite Impulse Response Hide Markov Model Inverse Discrete Fourier Transform Local Cosin Transform Linear Prediction Coding Media Control Interface Mel Frequency Cepstral Coefficients Personal Computer Running Object Table Text To Speech Short Time Energy Short Time Fourier Transform Windowed Fourier Transform Zero Crossing Rate Nguyễn Thị Huyền Ngọc Dịch nghĩa Nhận dạng tiếng nói tự động Biến đổi Wavelet liên tục Biến đổi Cosin rời rạc Biến đổi Fourier rời rạc Biến đổi Fourier nhanh Bộ lọc đáp ứng xung hữu hạn Mô hình Markov ẩn Biến đổi Fourier rời rạc ngược Biến đổi Cosin cục Mã dự đốn tuyến tính Giao diện điều khiển truyền thơng Hệ số phân tích phổ tần Mel Máy tính cá nhân Bảng chương trình chạy Chuyển văn thành tiếng nói Năng lượng ngắn hạn Biến đổi Fourier ngắn hạn Biến đổi Fourier cửa sổ Tỉ lệ vượt điểm không HVCNBCVT Nhận dạng tiếng nói và… Mở đầu MỞ ĐẦU Trong thời đại công nghệ thông tin nay, việc giao tiếp người với máy, máy với máy… luôn vấn đề quan tâm việc trao đổi thơng tin tiếng nói có vai trị quan trọng Máy tính đời giúp người giải công việc nhanh gọn hiệu Tuy nhiên, máy tính ngày nhận thơng tin từ người qua thiết bị như: bàn phím, chuột, bút, Mặc dù tốc độ xử lý máy tính ngày cải thiện đáng kể song tốc độ tạo lập thông tin thiết bị cịn thấp Con người mong muốn máy tính ngày mạnh hơn, thông minh số u cầu máy tính tương lai phải tương tác với người sử dụng tiếng nói tự nhiên Đây bước tiến lớn nhằm nâng cao sức mạnh máy tính, đồng thời tăng tốc độ truyền đạt thơng tin máy tính người Xử lý tiếng nói trở thành lĩnh vực quan trọng xu hướng phát triển công nghệ xã hội Đặc biệt, cơng nghệ thơng tin ngày phát triển ứng dụng xử lý tiếng nói ngày trở lên cấp thiết Mục đích nghiên cứu lĩnh vực xử lý tiếng nói làm cho việc tương tác người máy ngày hiệu tự nhiên Hiện giới cơng nghệ xử lý tiếng nói phát triển, hệ thống ứng dụng xử lý tiếng nói sử dụng nhiều nơi, độ xác hệ thống ngày cải thiện Các ứng dụng lĩnh vực xử lý tiếng nói phổ biến: nhận dạng tiếng nói, tổng hợp tiếng nói, xác thực người nói qua giọng nói thành tựu chúng áp dụng vào nhiều lĩnh vực thực tế Ở Việt Nam nhiều lí khác nên xử lý tiếng nói cịn chưa phát triển, chưa có nhiều kết cơng bố, đồng thời ứng dụng xử lý tiếng nói chưa nhiều, tài liệu xử lý tiếng nói viết tiếng Việt chưa phổ biến Lĩnh vực xử lý tiếng nói tiếp tục nghiên cứu, phát triển ứng dụng ngày trở nên phổ biến quan trọng Vì xử lý tiếng nói ứng dụng trở thành đề tài nhiều nhà nghiên cứu học sinh, sinh viên nghiên cứu phát triển Đồ án tốt nghiệp tập trung nghiên cứu ứng dụng nhận dạng tiếng nói thực tế, từ xây dựng ứng dụng nhận dạng cụ thể (nhận dạng Nguyễn Thị Huyền Ngọc HVCNBCVT Nhận dạng tiếng nói và… Mở đầu số) ứng dụng nhận dạng tiếng nói vào số phần mềm máy tính (ban đầu nhập liệu vào bảng tính Excel) Nội dung đồ án gồm chương sau: Chương 1: Tổng quan nhận dạng tiếng nói Chương giới thiệu tổng quan xử lý tiếng nói, tập trung giới thiệu tổng quan nhận dạng tiếng nói phương pháp nhận dạng áp dụng thực tế Chương 2: Quá trình tiền xử lý tiếng nói Chương tập trung trình bày sở lý thuyết thuật toán khâu tiền xử lý tiếng nói bao gồm: giải thuật phát tiếng nói, hai phương pháp trích chọn đặc trưng LPC MFCC; lý thuyết lượng tử hóa vector, thành phần cần thiết để thực lượng tử hóa vector Chương 3: Mơ hình Markov ẩn (HMM) Chương tập trung nói lý thuyết mơ hình Markov ẩn, vấn đề cần phải thực cài đặt mơ hình Markov ẩn ứng dụng nhận dạng tiếng nói Chương 4: Tích hợp với phần mềm máy tính Nội dung chương tập chung giới thiệu phương pháp kết nối với Office XP Giới thiệu mơ hình đối tượng Excel việc trao đổi liệu với Excel Chương 5: Thiết kế chương trình Chương tập trung vào công việc thiết kế đồ án bao gồm bước thiết kế thuật toán cài đặt chương trình Chương 6: Xây dựng chương trình thử nghiệm Nội dung chương giới thiệu chương trình xây dựng với số kết thống kê chạy thử nghiệm chương trình Nội dung cụ thể chương trình bày phần đồ án Nguyễn Thị Huyền Ngọc HVCNBCVT Nhận dạng tiếng nói và… CHƯƠNG : 1.1 Chương 1: Tổng quan nhận dạng tiếng nói TỔNG QUAN VỀ NHẬN DẠNG TIẾNG NÓI GIỚI THIỆU VỀ XỬ LÝ TIẾNG NÓI Xử lý tiếng nói ngày vấn đề quan tâm nghiên cứu nhiều khả ứng dụng nhiều lĩnh vực như: Công nghệ thông tin, Viễn thơng, tự động hóa (chế tạo người máy có khả tương tác với người) qua giúp trình tương tác người với máy trở nên hiệu tự nhiên Quá trình xử lý tín hiệu tiếng nói q trình thu nhận, lưu trữ truyền tín hiệu Q trình nhận dạng, tổng hợp tiếng nói hay xác thực người nói thơng qua giọng nói ví dụ điển hình q trình xử lý tín hiệu tiếng nói Mục đích xử lý tiếng nói:  Thực xử lý, mã hố cách có hiệu tín hiệu tiếng nói để truyền lưu trữ tiếng nói  Tổng hợp nhận dạng tiếng nói tới giao tiếp người-máy tiếng nói dựa vào thơng tin q trình tiền xử lý… Chúng ta mơ hình hóa cho tốn xử lý tiếng nói sau: Hình 1-1 Mơ hình tốn xử lý tiếng nói Thơng tin đầu vào tín hiệu tiếng nói người phát dạng tương tự, sau tín hiệu số hóa (rời rạc, lượng tử mã hóa dạng nhị phân) Q trình tiền xử lý tiếng nói tiến hành xử lý tín hiệu tiếng nói cho kết tham số tín hiệu tiếng nói (Các hệ số MFCC LPC) Các tham số trở thành đầu vào tất ứng dụng xử lý tiếng nói Nguyễn Thị Huyền Ngọc HVCNBCVT Nhận dạng tiếng nói và… Chương 1: Tổng quan nhận dạng tiếng nói Như tất ứng dụng xử lý tiếng nói cần phải dựa kết trình tiền xử lý Kết trình góp phần định tính xác hiệu ứng dụng 1.2 NHẬN DẠNG TIẾNG NÓI 1.2.1 Khái niệm nhận dạng tiếng nói Nhận dạng tiếng nói tự động kỹ thuật nhằm làm cho máy “hiểu” tiếng nói người Thực chất q trình biến tín hiệu tiếng nói người phát thành tín hiệu số sau sử dụng số giải thuật để đối chiếu tín hiệu thu với liệu tham chiếu để xác định xem tín hiệu thu tương ứng với liệu tham chiếu tham chiếu (từ điển nhận dạng) Kết việc nhận dạng sau sử dụng ứng dụng khác nhập số liệu, soạn thảo văn lời nói, điều khiển tự động… Mục tiêu hầu hết chương trình nhận dạng tiếng nói kết nhận dạng đạt đến độ xác 100% mà không phụ thuộc vào điều kiện Tuy nhiên tất nghiên cứu gần cho độ xác đến khoảng 90% số điều kiện cụ thể cịn chương trình nhận dạng mà khơng có điều kiện giới hạn độ xác đạt khơng q 87% Các chương trình nhận dạng tiếng nói tự động nhiều đa dạng Tuy nhiên dựa vào số đặc điểm để phân chúng thành số dạng chủ yếu như: Nhận dạng từ phát âm rời rạc/liên tục: Trong chương trình nhận dạng từ phát âm rời rạc yêu cầu người nói phải dừng khoảng trước nói từ Cịn hệ thống nhận dạng từ phát âm liên tục không yêu cầu điều kiện này: Nhận dạng tiếng nói độc lập/phụ thuộc người nói Đối với hệ thống nhận dạng phụ thuộc người nói địi hỏi tiếng người nói phải có sở liệu hệ thống cịn hệ thống nhận dạng khơng phụ thuộc người nói người nói khơng thiết phải có mẫu trước nhận dạng sở liệu Nhận dạng với tử điển cỡ nhỏ/vừa/lớn: Hiệu hệ thống nhận dạng với từ điển cỡ nhỏ thường cao hiệu hệ thống nhận dạng có từ điển cỡ vừa lớn Nguyễn Thị Huyền Ngọc HVCNBCVT Nhận dạng tiếng nói và… Chương 1: Tổng quan nhận dạng tiếng nói Nhận dạng môi trường nhiễu cao/thấp: Hiệu hệ thống nhận dạng không nhiễu cao hiệu hệ thống nhận dạng có nhiễu Dưới hình biểu diễn phần tử mt h thng nhn dng ting núi Cơ sở liệu tiếng nói Mô hình âm Mô hình từ vựng Mô hình ngôn ngữ Từ đợc nhận dạng Tín hiệu vào Phân tích xác định đặc tính Mô hình hóa / Phân lớp Tìm kiếm Hỡnh 1-2 Cỏc phn tử hệ thống nhận dạng tiếng nói Tín hiệu tiếng nói sau số hóa phân thành khung có độ dài khoảng từ 10 đến 45ms qua bước phân tích xác định đặc tính cho ta dãy vector đặc tính tiếng nói Các vector sau sử dụng để tìm kiếm từ giống từ điển dựa số điều kiện ràng buộc mặt âm thanh, ngữ nghĩa, từ vựng… Do tính chất tiếng nói phụ thuộc vào nhiều yếu tố nên việc thu nhận, phân tích đặc trưng tiếng nói việc khơng dễ dàng Ở đây, nêu số yếu tố khó khăn cho tốn nhận dạng tiếng nói:  Khi phát âm, người nói thường nói nhanh chậm khác  Các từ nói thường dài ngắn khác  Một người nói từ hai lần phát âm khác cho kết phân tích khác  Mỗi người có chất giọng riêng thể thơng qua độ cao âm, độ to âm, cường độ âm âm sắc  Những yếu tố nhiễu môi trường, nhiễu thiết bị thu… Nguyễn Thị Huyền Ngọc 10 HVCNBCVT