Nhận dạng lệnh điều khiển bằng giọng nói với tập lệnh từ đơn hữu hạn

ĐẠI HỌC ĐÀ NẴNG TRƢỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN VĂN TIN NHẬN DẠNG LỆNH ĐIỀU KHIỂN BẰNG GIỌNG NÓI VỚI TẬP LỆNH TỪ ĐƠN HỮU HẠN TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng - 2018 Cơng trình đƣợc hồn thành TRƢỜNG ĐẠI HỌC BÁCH KHOA Ngƣời hƣớng dẫn khoa học: TS Ninh Khánh Duy Phản biện 1: TS Lê Thị Mỹ Hạnh Phản biện 2: TS Trần Thiên Thành Luận văn đƣợc bảo vệ trƣớc Hội đồng chấm Luận văn tốt nghiệp thạc sĩ ngành Khoa học máy tính họp Trƣờng Đại học Bách khoa vào ngày 16 tháng năm 2018 Có thể tìm hiểu luận văn tại: - Trung tâm Học liệu, Đại học Đà Nẵng Trƣờng Đại học Bách khoa - Thƣ viện Khoa Công nghệ thông tin, Trƣờng Đại học Bách khoa MỞ ĐẦU Lý chọn đề tài Trong giao tiếp ngƣời với ngƣời, tiếng nói phƣơng pháp trao đổi thông tin tự nhiên hiệu Mục tiêu kỹ thuật nhận dạng tiếng nói theo nghĩa rộng tạo máy có khả nhận biết đƣợc thơng tin tiếng nói hành động theo tiếng nói Nhận dạng tiếng nói phần q trình tìm kiếm thơng tin để máy “nghe”, “hiểu” “hành động” theo thông tin đồng thời “nói lại” để hồn tất việc trao đổi thơng tin Cho đến nay, vấn đề giao tiếp ngƣời máy tính đƣợc cải thiện nhiều nhƣng chủ yếu thủ cơng thơng qua thiết bị nhập, xuất Giao tiếp với thiết bị máy tiếng nói phƣơng thức giao tiếp văn minh tự nhiên Dấu ấn giao tiếp ngƣời - máy mà thay vào cảm nhận giao tiếp ngƣời với ngƣời, hồn thiện phƣơng thức giao tiếp tiện lợi hiệu công việc Mặc dù nhận dạng ngôn ngữ tiếng Anh đƣợc nghiên cứu hồn thiện nhƣng có khác biệt ngữ âm, ngữ nghĩa với tiếng Việt nên khó áp dụng chƣơng trình nhận dạng khác hành để nhận dạng tiếng Việt Một hệ thống nhận dạng tiếng nói nƣớc ta phải đƣợc xây dựng tảng tiếng nói tiếng Việt Một ứng dụng phổ biến nhận dạng tiếng nói lĩnh vực điều khiển thiết bị giọng nói Lớp ứng dụng hữu ích ngƣời khiếm thị vốn khơng thể nhìn thấy thiết bị để điều khiển chúng, ngƣời bình thƣờng tình bận tay mắt (nhƣ nấu ăn lái xe) điều khiển thiết bị cách dễ dàng Nhằm đáp ứng nhu cầu cập nhật thông tin, giải trí cho ngƣời khiếm thị tạo điều kiện cho họ hồ nhập tốt với cộng đồng, tơi chọn đề tài nghiên cứu là: “Nhận dạng lệnh điều khiển giọng nói với tập lệnh từ đơn hữu hạn” Mục đích ý nghĩa đề tài a Mục đích - Nghiên cứu đề xuất phƣơng pháp nhận dạng tiếng Việt rời rạc (isolated speech recognition) - Xây dựng cài đặt hệ thống nhận dạng tiếng Việt rời rạc với tập lệnh hữu hạn để nhận dạng lệnh (voice command) điều khiển thiết bị đọc báo điện tử cho ngƣời khiếm thị b Ý nghĩa khoa học thực tiễn đề tài - Đóng góp vào lĩnh vực nghiên cứu ứng dụng điều khiển thiết bị giọng nói cho ngƣời Việt - Làm cho ngƣời với máy tính ngày gần gũi hơn, giúp cho sống ngƣời hoà nhập với cộng đồng tốt hơn, bắt kịp với xã hội phát triển công nghệ nhƣ nay, giúp họ bớt tự ti, phụ thuộc nhiều vào ngƣời khác Mục tiêu nhiệm vụ a Mục tiêu - Nghiên cứu, thử nghiệm nhận dạng tiếng Việt rời rạc mơ hình Markov ẩn (Hidden Markov Model - HMM) - Xây dựng chƣơng trình nhận dạng tiếng nói tiếng Việt cho tập lệnh điều khiển máy tính, thiết bị, cụ thể đọc báo điện tử cho ngƣời khiếm thị, có khả nhận dạng khơng phụ thuộc ngƣời nói b Nhiệm vụ Để đạt đƣợc mục tiêu đề nhiệm vụ cần thiết phải làm là: - Nghiên cứu lý thuyết mơ hình Markov ẩn (HMM) ứng dụng HMM nhận dạng tiếng nói rời rạc - Tìm hiểu HTK toolkit cho nhận dạng tiếng nói - Thiết kế tập lệnh điều khiển thiết bị - Thu âm liệu tiếng nói nhiều ngƣời với chất giọng khác (từ 30 ngƣời trở lên) - Cài đặt chƣơng trình huấn luyện HMM từ liệu thu âm - Cài đặt chƣơng trình nhận dạng tiếng nói dùng HMM - Đánh giá độ xác chƣơng trình nhận dạng Đối tƣợng phạm vi nghiên cứu - Đề tài giới hạn việc tìm hiểu tiếng nói, phƣơng pháp xử lý tiếng nói, rút trích đặc trƣng tiếng nói; mơ hình Markov ẩn, mơ hình âm học, âm vị áp dụng cho tiếng Việt; kiến trúc hệ thống nhận dạng tiếng nói rời rạc (isolated speech recognition) Chƣơng trình demo dừng mức nhận dạng đƣợc câu lệnh điều khiển máy tính Khi ngƣời đọc lệnh điều khiển, máy tính hiểu xuất dòng lệnh hình chƣơng trình - Chƣơng trình nhận dạng lệnh (voice command) để điều khiển thiết bị đọc báo điện tử cho ngƣời khiếm thị Phƣơng pháp nghiên cứu a Phƣơng pháp lý thuyết - Nghiên cứu mơ hình Markov ẩn (Hidden Markov Model HMM) - Nghiên cứu ứng dụng HMM nhận dạng tiếng nói rời rạc (isolated speech recognition) - Tìm hiểu phƣơng pháp nhận dạng tiếng Việt HMM - Tìm hiểu phƣơng pháp xử lý tiếng nói - So sánh phƣơng pháp để đƣa giải pháp tối ƣu b Phƣơng pháp thực nghiệm - Thu mẫu âm tiếng Việt rời rạc với tập lệnh hữu hạn - Tìm hiểu cơng cụ hỗ trợ nghiên cứu, thực nghiệm - Cài đặt thuật toán, xây dựng hệ thống - Triển khai, đánh giá kết đạt đƣợc Kết luận a Kết đề tài - Tập lệnh điều khiển thiết bị đọc báo điện tử cho ngƣời khiếm thị - Dữ liệu tiếng nói 42 ngƣời với chất giọng khác - Mô hình hệ thống nhận dạng tiếng nói rời rạc qua cơng cụ HTK toolkit - Mơ hình âm học theo từ đƣợc huấn luyện, áp dụng cho tiếng Việt - Chƣơng trình nhận dạng lệnh có độ xác cao để điều khiển thiết bị b Hƣớng phát triển đề tài Tối ƣu hoá thuật toán huấn luyện HMM thuật toán nhận dạng tiếng Việt để có kết nhận dạng xác nhanh Cấu trúc luận văn Chƣơng 1: CƠ SỞ LÝ THUYẾT XỬ LÝ TIẾNG NÓI Chƣơng 2: NHẬN DẠNG TIẾNG NĨI DÙNG MƠ HÌNH MARKOV ẨN Chƣơng 3: XÂY DỰNG HỆ THỐNG NHẬN DẠNG LỆNH ĐIỀU KHIỂN BẰNG GIỌNG NÓI Chƣơng 4: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN CHƢƠNG - CƠ SỞ LÝ THUYẾT XỬ LÝ TIẾNG NÓI 1.1 Tổng quan xử lý tiếng nói Kể từ xuất hiện, máy tính ngày chứng tỏ cơng cụ vơ hữu ích trợ giúp ngƣời xử lý thông tin Cùng với phát triển xã hội, khối lƣợng thơng tin mà máy tính cần xử lý tăng nhanh thời gian dành cho cơng việc lại giảm Vì vậy, việc tăng tốc độ xử lý thơng tin, có tốc độ trao đổi thông tin ngƣời máy tính, trở thành yêu cầu cấp thiết Hiện tại, giao tiếp ngƣời - máy đƣợc thực thiết bị nhƣ bàn phím, chuột, hình, với tốc độ tƣơng đối chậm nên cần có phƣơng pháp trao đổi thông tin giúp ngƣời làm việc hiệu với máy tính Một hƣớng nghiên cứu sử dụng tiếng nói trao đổi thông tin ngƣời - máy Những nghiên cứu liên quan trực tiếp tới kết chuyên ngành xử lý tiếng nói, có nhận dạng tiếng nói 1.2 Nhận dạng tiếng nói tự động Nhận dạng tiếng nói q trình nhận dạng mẫu [2] , với mục đích phân lớp (classify) thơng tin đầu vào tín hiệu tiếng nói thành dãy mẫu đƣơc học trƣớc lƣu trữ nhớ Các mẫu đơn vị nhận dạng, chúng từ, âm vị Nếu mẫu bất biến khơng thay đổi cơng việc nhận dạng tiếng nói trở nên đơn giản cách so sánh liệu tiếng nói cần nhận dạng với mẫu đƣơc học lƣu trữ nhớ Khó khăn nhận dạng tiếng nói tiếng nói ln biến thiên theo thời gian có khác biệt lớn tiếng nói ngƣời nói khác nhau, tốc độ nói, ngữ cảnh môi trƣờng âm học khác Các nghiên cứu nhận dạng tiếng nói dựa ba nguyên tắc [1]: - Tín hiệu tiếng nói đƣơc biểu diễn xác giá trị phổ khung thời gian ngắn (short-term amplitude spectrum) Nhờ ta trích đặc điểm tiếng nói từ khoảng thời gian ngắn dùng đặc điểm làm liệu để nhận dạng tiếng nói - Nội dung tiếng nói đƣơc biểu diễn dƣới dạng chữ viết, dãy ký hiệu ngữ âm Do ý nghĩa phát âm đƣơc bảo toàn phiên âm phát âm thành dãy ký hiệu ngữ âm - Nhận dạng tiếng nói q trình nhận thức Thơng tin ngữ nghĩa (semantics) suy đốn (pragmatics) có giá trị q trình nhận dạng tiếng nói, thơng tin âm học không rõ ràng 1.3 Ngữ âm tiếng Việt Âm vị: Về mặt ngôn ngữ học [1], xem tiếng nói chuỗi âm đƣợc gọi âm vị Âm vị đơn vị ngôn ngữ trừu tƣợng quan sát trực tiếp tín hiệu tiếng nói Nhiều âm vị khác kết hợp với cách để tạo âm khác Nguyên âm: Nguyên âm đƣợc xác định hốc cộng hƣởng khoang miệng hốc yết hầu-nguồn gốc Formant Khoang miệng khoang yết hầu đƣợc tách biệt lƣỡi Do đó, thay đổi khoang đồng nghĩa với thay đổi khoang Việc xác định thể tích, hình dáng, lối khơng khí hốc cộng hƣởng này, tức xác định khả cộng hƣởng chúng, mơ tả độ mở miệng, vị trí lƣỡi hình dáng mơi Phụ âm: Đặc điểm phụ âm cấu tạo luồng không khí bị cản trở, cản trở diễn với mức độ khác nhau, cách thức khác phận khác quan phát âm Phụ âm đuợc chia phụ âm tắc (nhƣ „p‟, „t‟, „đ‟, „b‟) phụ âm xát (nhƣ „v‟, „s‟, „x‟) Phụ âm tắc: Đặc trƣng tiếng nổ, luồng khơng khí bị cản trở hồn tồn, phải phá vỡ cản trở để Phụ âm tắc đƣợc chia làm phụ âm bật (nhƣ „th‟)và phụ âm mũi (nhƣ „m‟, „n‟, „ng‟, „nh‟) Phụ âm xát: Đặc trƣng tiếng cọ xát, phát sinh luồng không bị cản trở khơng hồn tồn(chỉ bị khó khăn) phải lách qua khe hở nhỏ ngồi cọ xát vào thành phận phát âm 1.4 Thanh điệu Thanh điệu nâng cao hay hạ thấp “giọng nói” âm tiết Âm tiết đơn vị phát âm nhỏ nhất, tiếng Việt âm tiết từ Thanh điệu thay đổi cao độ giọng nói, điều có nghĩa thay đổi biên độ tần số âm hữu Thanh điệu đƣợc xác định tần số 10 - Cao độ (pitch f0): - Trƣờng độ: - Cƣờng độ: 1.6.2 Mơ hình ngữ điệu Trong trƣờng hợp khác nhau, tham số ngữ điệu biến đổi theo quy luật đƣợc xác định cho trƣờng hợp Các mơ hình ngơn điệu phục vụ mục đích: Giải thích cách giao tiếp tiếng nói Xây dựng tảng cho hệ thống phần mềm phần hệ thống giao tiếp hệ tổng hợp tiếng nói Xây dựng tảng cho hệ thống nhận dạng ngơn điệu giọng nói ngƣời 1.7 Phân tích tiếng nói 1.7.1 Mơ hình phân tích tiếng nói 1.7.2 Phân tích tiếng nói ngắn hạn 1.8 Các đặc tính tiếng nói 1.8.1 Tần số Thơng lƣợng: thể tích khơng khí vận chuyển qua mơn đơn vị thời gian (khoảng 1cm3/s) Chu kỳ T0: dây rung với chu kỳ T0 thơng lƣợng biến đổi tuần hoàn theo chu kỳ ta gọi T0 chu kỳ Giá trị nghịch đảo T0 F0=1/T0 đƣợc gọi tần số tiếng nói F0 phụ thuộc vào giới tính lứa tuổi ngƣời 11 phát âm; F0 thay đổi theo điệu F0 ảnh hƣởng đến ngữ điệu câu nói 1.8.2 Biểu diễn tín hiệu tiếng nói Có phƣơng pháp biểu diễn tín hiệu tiếng nói [2]: - Biểu diễn dƣới dạng sóng theo thời gian - Biểu diễn miền tần số: phổ tín hiệu tiếng nói - Biểu diễn không gian chiều (spectrogram) 12 CHƢƠNG NHẬN DẠNG TIẾNG NĨI RỜI RẠC DÙNG MƠ HÌNH MARKOV ẨN 2.1 Mơ hình Markov ẩn 2.1.1 Chuỗi Markov Xét hệ thống có tính chất nhƣ sau: thời điểm bất kỳ, hệ thống N trạng thái nhƣ hình vẽ dƣới Cứ sau khoảng thời gian đặn, hệ thống chuyển sang trạng thái giữ nguyên trạng thái trƣớc Ta ký hiệu khoảng thời gian chuyển trạng thái t =1, 2, … trạng thái thời điểm t hệ thống qt, qt có giá trị 1, 2, …, N Một trạng thái tƣơng ứng với kiện Quá trình đƣợc gọi q trình Markov 2.1.2 Mơ hình Markov ẩn: 2.1.2.1 Định Nghĩa Mơ hình Markov ẩn (Hidden Markov Model – HMM) mơ hình xác xuất phổ biến dùng để mơ hình hóa chuỗi vector đặc trƣng tiếng nói Một mơ hình Markov ẩn biểu diễn cho đơn vị âm (nhƣ từ hay âm vị) Trong nhận dạng tiếng nói, HMM giải việc phân lớp tín hiệu tiếng nói cách hiệu Mơ hình Markov ẩn gồm chuỗi trạng thái (state), đƣợc nối với dây cung hay gọi xác suất chuyển đổi trạng thái Mỗi trạng thái sinh quan sát (observation) theo xác suất định (Hình 2.2) Ta gọi mơ hình Markov ẩn trạng thái bị ẩn đi, chuỗi quan sát không cho biết cụ thể quan sát đƣợc sinh từ trạng thái 2.1.2.2 Các thành phần mơ hình Markov ẩn: 13 Một mơ hình HMM   ( A, B,  ) có thành phần sau [6, 9] : - Tập hợp trạng thái: S = (s1, s2, sN) - Tập hợp giá trị quan sát đƣợc trạng thái: V = (v1,v2, vM) - Ma trận xác suất chuyển đổi trạng thái (từ trạng thái i sáng trạng thái j), độc lập với thời gian: aij  P  qt 1  S j qt  Si  ,  i, j  N aij  0i, j với điều kiện trạng thái Sj đến đƣợc N từ trạng thái Si thỏa ràng buộc a j 1 ij 1 - Bảng xác suất quan sát (xác suất sinh quan sát k từ trạng thái i), độc lập với thời gian: B = [bi(k)] với bi(k) = P(xt = vk| qt = si) - Tập hợp xác suất ban đầu (xác suất gặp trạng thái i đầu tiên):   [ i ] với  i  P(q1  si ) N  i 1 i  i  N thoả điều kiện 1 Trong thành phần trên, giá trị M N đƣợc chọn không thay đổi, chúng đƣợc sử dụng để tính thành phần lại Các bƣớc tạo liệu chuỗi quan sát O = O1O2 OT với Ot quan sát thời điểm t T độ dài chuỗi quan sát: - Chọn trạng thái ban đầu với xác suất π - Đặt t = 14 - Chọn Ot  vk , với B  {b j (k)} - Chuyển sang trạng thái mới, sử dụng ma trận A  {a ij} - Đặt t = t+1, quay lại bƣớc ba tcd htk >sudo /configure prefix=/tmp >sudo make all >sudo make install >ls /tmp/bin Kiểm tra đƣờng dẫn lƣu modules /bin: > PATH="$PATH:/tmp/bin:." > export PATH Chạy demo với liệu có sẵn nhà phát triển: > cd samples > cd HTKDemo > mkdir -p hmms/{tmp,hmm.{0,1,2,3}} proto acc test > perl runDemo configs/monPlainM1S1.dcf 3.5 Cấu hình hệ thống nhận dạng Các cấu hình cố định gồm: o Loại tham số phổ: đặc trƣng MFCC o Kích thƣớc véc tơ tham số: 39 chiều (gồm 13 hệ số tĩnh, 13 hệ số delta, 13 hệ số delta-delta) o Ma trận phƣơng sai: đƣờng chéo (giả sử chiều độc lập thống kê với nhau) 21 o Ngữ cảnh: không phụ thuộc ngữ cảnh (vì hệ thống nhận dạng từ phát âm rời rạc) Các cấu hình thay đổi để so sánh hiệu suất hoạt động hệ thống: o Số trạng thái HMM (nStates): từ đến o Số phân bố Gauss mơ hình hỗn hợp Gauss cho trạng thái HMM (nMixes): từ đến Việc thay đổi tham số liên quan đến độ phức tạp mơ hình HMM: số trạng thái HMM số phân bố Gauss tăng mơ hình phức tạp (càng có nhiều tham số) 3.6 Kết thực nghiệm Bảng 3.2 3.3 cho thấy hiệu suất nhận dạng hệ thống thay đổi cấu hình Các trƣờng hợp khơng có kết nhận dạng hệ thống bị lỗi (-) huấn luyện mơ hình liệu huấn luyện không đủ để huấn luyện mơ hình có độ phức tạp cao Bảng 3.2 thể độ xác nhận dạng phụ thuộc ngƣời nói thay đổi số trạng thái HMM số phân bố Gauss Có thể thấy với số trạng thái HMM số phân bố Gauss hệ thống có hiệu suất nhận dạng cao đạt 99.28% 22 Bảng 3.2: Thống kê kết nhận dạng phụ thuộc ngƣời nói nStates 98.38% 98.74% 98.92% 99.28% 98.92% 98.92% - - 98.74% 99.28% 98.92% - 98.74% 99.10% - 98.56% 98.20% 98.20% 99.10% 98.74% - 98.56% 98.02% 98.38% 98.74% nMixes Bảng 3.3: Thống kê kết nhận dạng độc lập ngƣời nói nStates 88.82% 89.07% 90.54% 91.69% 91.73% 91.07% 91.44% - - - 92.06% - - - - 92.38% - - - - 92.45% - - - - nMixes Bảng 3.3 hệ thống độc lập ngƣời nói đạt kết cao 92.45% số trạng thái số mixture Một số ô kết nhận dạng độc lập ngƣời nói khơng có liệu (-) huấn luyện khơng đủ để huấn luyện mơ hình phức tạp (mơ hình có số tham số lớn) 23 CHƢƠNG - KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 4.1 Kết luận Đề tài thử nghiệm nhận dạng tiếng nói với 37 tập lệnh đơn hữu hạn tiếng Việt theo hƣớng kết hợp MFCC HMM nhiều hạn chế nhƣng đáp ứng đƣợc mục tiêu đề tài Nếu điều kiện cho phép, tơi tối ƣu hóa chƣơng trình nhận dạng, đƣa thêm nhiều liệu huấn luyện để đạt đƣợc kết cao tăng tốc độ xử lý Tơi trình bày khái qt mơ hình Markov ẩn ứng dụng điều khiển máy tính tiếng nói rời rạc đặc biệt mơ tả tập lệnh giúp ngƣời khiếm thị dùng ứng dụng Mục đích chúng tơi tập trung vào thu âm liệu độc lập ngƣời nói, sau tiến hành thực nghiệm huấn luyện nhận dạng liệu nhằm đánh giá phụ thuộc hệ thống vào tham số khác mô hình Hạn chế đề tài liệu huấn luyện tiếng nói chủ yếu đƣợc ghi âm với chất giọng Quảng Nam Đà Nẵng nên cho hiệu suất nhận dạng không cao cho nhận dạng với chất giọng vùng miền khác Đề tài dừng việc thử nghiệm nhận dạng chế độ offline (tín hiệu tiếng nói đƣợc thu âm lƣu vào file trƣớc thực nhận dạng) chƣa thử nghiệm nhận dạng online (tín hiệu tiếng nói đƣợc thu vào micro thực nhận dạng) 4.2 Hƣớng phát triển Cùng với chiều hƣớng phát triển hệ thống nhận dạng tiếng nói tiếng Việt phát âm rời rạc nƣớc, tiếp tục 24 nghiên cứu số tham số khác có khả ảnh hƣởng đến hiệu suất hệ thống nhận dạng phù hợp với đặc điểm phát âm tiếng Việt nhƣ: tham số tiền nhấn, chiều dài khung tín hiệu (kích thƣớc cửa sổ), kiểu tham số đầu đặc trƣng MFCC… mở rộng giới hạn liệu huấn luyện (về kích thƣớc, phong phú chất giọng) để mang lại hiệu suất nhận dạng cao Bên cạnh đó, việc thực nghiên cứu hệ thống nhận dạng tiếng nói phát âm liên tục để nâng cao tính ứng dụng lĩnh vực điều khiển thiết bị giọng nói, phƣơng pháp chống nhiễu môi trƣờng, nhận dạng theo thời gian thực (online) hƣớng triển khai cần xem xét tƣơng lai ... nhập tốt với cộng đồng, chọn đề tài nghiên cứu là: Nhận dạng lệnh điều khiển giọng nói với tập lệnh từ đơn hữu hạn Mục đích ý nghĩa đề tài a Mục đích - Nghiên cứu đề xuất phƣơng pháp nhận dạng. .. cơng nghệ nhận dạng tiếng nói mà tơi sử dụng nhận dạng tiếng nói đƣợc phát âm theo từ rời rạc nên lệnh điều khiển gồm từ đơn (ví dụ nhƣ “mở”, “đọc”,…) Do cần thiết kế tập lệnh cho với từ đơn nhƣng... dùng lệnh điều khiển giọng nói Trong luận văn này, tơi chọn hệ thống đọc báo điện tử cho ngƣời khiếm thị để triển khai ứng dụng nhận dạng lệnh điều khiển giọng nói Tập lệnh đƣợc thiết kế nhằm điều