ĐỒ ÁN CƠ SỞ NGHIÊN CỨU VỀ MẠNG NEURON NHÂN TẠO ĐỂ ĐIỀU KHIỂN THIẾT BỊ BẰNG GIỌNG NÓI TIẾNG VIỆT

TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN CƠ SỞ Nghiên cứu về mạng Neuron nhân tạo để điều khiển thiết bị bằng giọng nói tiếng việt Giảng viên hướng dẫn THS VƯƠNG XUÂN CHÍ Sinh vi. LỜI CẢM ƠN Trước tiên với tình cảm sâu sắc và chân thành nhất, cho phép em được bày tỏ lòng biết ơn đến tất cả các cá nhân và tổ chức đã tạo điều kiện hỗ trợ, giúp đỡ em trong suốt quá trình học tập và nghiên cứu đề tài này. Trong suốt thời gian học tập vừa qua, em đã nhận được rất nhiều sự quan tâm, giúp đỡ của quý Thầy Cô và bạn bè. Với lòng biết ơn sâu sắc, em xin gửi đến quý Thầy Cô ở Khoa CNTT đặc biệt là thầy Vương Xuân Chí đã truyền đạt vốn kiến thức quý báu cho chúng em trong suốt thời gian học tập tại trường. Nhờ có những lời hướng dẫn, dạy bảo của các thầy cô nên đề tài nghiên cứu của em mới có thể hoàn thiện tốt đẹp. Một lần nữa, em xin chân thành cảm ơn thầy Chí – người đã trực tiếp giúp đỡ, quan tâm, hướng dẫn em hoàn thành tốt bài báo cáo này trong thời gian qua. Bước đầu đi vào thực tế của em còn hạn chế và còn nhiều bỡ ngỡ nên không tránh khỏi những thiếu sót trong quá trình làm đồ án , em rất mong nhận được những ý kiến đóng góp quý báu của Thầy để kiến thức của em được hoàn thiện hơn đồng thời có điều kiện bổ sung, nâng cao ý thức của mình. Em xin chân thành cảm ơn CHƯƠNG 1. SƠ LƯỢC VỀ MẠNG NEURAL 1.1. Mạng Neural sinh học Mạng neural sinh học là một mạng lưới (plexus) các neural có kết nối hoặc có liên quan về mặt chức năng trực thuộc hệ thần kinh ngoại biên (peripheral nervous system) hay hệ thần kinh trung ương (central nervous system). Trong ngành thần kinh học (neuroscience), nó thường được dùng để chỉ một nhóm neural thuộc hệ thần kinh là đối tượng của một nghiên cứu khoa học nhất định. 1.2. Cấu trúc của một Neural Thân tế bào: là chỗ phình to của neural. Bao gồm nhân tế bào, lưới nội sinh chất, ty thể, ribosom, lysosom, bộ máy Golgi, tơ thần kinh, ống siêu vi và các bào quan khác. Thân tế bào cung cấp dinh dưỡng cho neural, có thể phát sinh xung động thần kinh và có thể tiếp nhận xung động thần kinh từ nơi khác truyền tới neural. Sợi nhánh, còn gọi là đuôi gai: là các tua ngắn mỏng manh mọc ra từ thân tế bào. Mỗi neural đều có nhiều đuôi gai, mỗi đuôi gai được chia thành nhiều nhánh. Chúng có chức năng tiếp nhận các xung thần kinh từ tế bào khác, truyền chúng tới thân tế bào. Đây là tín hiệu hướng tâm. Tác động của các xung này có thể là kích thích hoặc ức chế. Sợi trục: sợi đơn dài mang thông tin từ thân tế bào và chuyển đến các tế bào khác. Đường kính của các sợi trục thường có kích thước khác nhau, dao động từ từ 0,5 μm – 22 μm. Dọc sợi trục được bao bọc bởi một lớp vỏ myelin, tạo thành bởi các tế bào Schwann. Bao myelin không liền mạch mà được chia thành từng đoạn. Giữa các bao myelin là các eo Ranvier. Khoảng cách giữa 2 eo Ranvier khoảng 1,5 – 2 mm. Diện tích tiếp xúc giữa các nhánh nhỏ phân từ cuối sợi trục của nơron này với sợi nhánh của nơron khác hoặc các cơ quan thụ cảm được gọi là Synapse (khớp thần kinh).

TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN CƠ SỞ NGHIÊN CỨU VỀ MẠNG NEURON NHÂN TẠO ĐỂ ĐIỀU KHIỂN THIẾT BỊ BẰNG GIỌNG NÓI TIẾNG VIỆT Giảng viên hướng dẫn: THS VƯƠNG XUÂN CHÍ Sinh viên thực hiện: NGUYỄN HOÀNG PHÚC MSSV: 2000004337 Chuyên ngành: KHOA HỌC DỮ LIỆU Môn học: ĐỒ ÁN CƠ SỞ KHOA HỌC DỮ LIỆU Khoá: 2020 Tp HCM, tháng năm 2022 Trường Đại học Nguyễn Tất Thành CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Khoa Cơng Nghệ Thông Tin Độc lập – Tự – Hạnh phúc NHIỆM VỤ ĐỒ ÁN CƠ SỞ Họ tên: Nguyễn Hoàng Phúc MSSV: 2000004337 Chuyên ngành: Khoa học liệu Lớp: 20DTH2A Email: nguyenhoangphuc991617@gmail.com SĐT: 034 6277 342 Tên đề tài:Nghiên cứu mạng Neuron nhân tạo để điều khiển thiết bị giọng nói tiếng việt Gíao viên hướng dẫn: Vương Xuân Chí Thời gian thực hiện: 20 /6 /2022 đến 20 /9 /2022 MÔ TẢ ĐỀ TÀI: Phép biến đổi Fourier thời gian ngắn - STFT (Short time Fourier Transform) áp dụng để trích đặc trưng tín hiệu tiếng nói Một mạng neural nhân tạo huấn luyện để nhận dạng giọng nói tiếng Việt người NỘI DUNG VÀ PHƯƠNG PHÁP: - Nghiên cứu khái niệm, thức tạo mạng Neural nhận tạo - Tìm hiểu đặc trưng mạng Neural nhân tạo, bước thiết kế mô hình mạng Neural - Sử dụng mơ hình ANNs- STFT (Short time Fourier Transform) - Kết luận YÊU CẦU: - Có kiến thức, đam mê, hiểu biết cơng nghệ Mạng neural, Machine Learning, Deep Learning… Đọc hiểu tài liệu tiếng Anh, kỹ trình bày văn máy tính tốt - Có tác phong làm việc chăm chỉ, tinh thần trách nhiệm cao, có khả làm việc độc lập làm việc nhóm tốt Nội dung yêu cầu thông qua Bộ môn TP.HCM, ngày 26 tháng 06 năm 2022 TRƯỞNG BỘ MÔN GIÁO VIÊN HƯỚNG DẪN (Ký ghi rõ họ tên) (Ký ghi rõ họ tên) ThS Vương Xuân Chí ThS Vương Xn Chí LỜI NĨI ĐẦU Hiện nay, người bước vào thời đại 4.0, thời đại mà cơng nghệ điện tử-máy móc phát triển ngày mạnh mẽ Con người văn minh-hiện đại thói “lười” người ngày nhiều Nhưng “lười” không hẳn mang nghĩa tiêu cực, lười, thân muốn làm hộ ta việc tất nhiên khơng thể nhờ vả Từ đấy, đầu ta hình thành lên í tưởng chế tạo cơng cụ, máy móc để làm thay ta công việc Và vậy, suy nghĩ chế tạo cỗ máy làm thay người lóe lên Chế tạo robot khơng cịn q khó khăn, để hoạt động cách tự động mà khơng có điều khiển người thật vấn đề Thật tuyệt vời thay, giới có nhiều sản phẩm công nghệ tự động đời xe điện tự động, robot giúp việc, v.v… Không dừng lại với mục đích thỏa mãn thói lười thân mà chế tạo công nghệ phục vụ cho mình, ln phát triển để hướng tới người thực cần trợ giúp máy móc Đấy khơng phải họ lười ai, mà nhiều lúc hồn cảnh hay cơng việc họ cần đồng hành mà khơng có q nhiều mát tổn hại Điển hình quân đội, trường hợp làm nhiệm vụ có rủi ro cao họ dùng robot điều khiển từ xa để tiến hành rà soát thực thi nhiệm vụ thay người lính Qua đó, ta thấy cần thiết robot trường hợp định quan trọng Tuy nhiên, với số tình huống, hồn cảnh mà ta khơng thể dùng tay hay chân để điều khiển nên đời hệ thống điều khiển giọng nói đời Và tìm hiểu đơi chút cách điều khiển giọng nói LỜI CẢM ƠN Trước tiên với tình cảm sâu sắc chân thành nhất, cho phép em bày tỏ lòng biết ơn đến tất cá nhân tổ chức tạo điều kiện hỗ trợ, giúp đỡ em suốt trình học tập nghiên cứu đề tài Trong suốt thời gian học tập vừa qua, em nhận nhiều quan tâm, giúp đỡ quý Thầy Cô bạn bè Với lòng biết ơn sâu sắc, em xin gửi đến quý Thầy Cô Khoa CNTT đặc biệt thầy Vương Xuân Chí truyền đạt vốn kiến thức quý báu cho chúng em suốt thời gian học tập trường Nhờ có lời hướng dẫn, dạy bảo thầy cô nên đề tài nghiên cứu em hồn thiện tốt đẹp Một lần nữa, em xin chân thành cảm ơn thầy Chí – người trực tiếp giúp đỡ, quan tâm, hướng dẫn em hoàn thành tốt báo cáo thời gian qua Bước đầu vào thực tế em hạn chế cịn nhiều bỡ ngỡ nên khơng tránh khỏi thiếu sót q trình làm đồ án , em mong nhận ý kiến đóng góp quý báu Thầy để kiến thức em hồn thiện đồng thời có điều kiện bổ sung, nâng cao ý thức Em xin chân thành cảm ơn! Sinh viên thực NGUYỄN HOÀNG PHÚC BM-ChTTRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH KỲ THI KẾT THÚC HỌC 11 PHẦN TRUNG TÂM KHẢO THÍ HỌC KỲ III NĂM HỌC 2021 - 2022 PHIẾU CHẤM THI ĐỒ ÁN Môn thi: Đồ án sở Khoa học liệu Lớp học phần: 20DTH2A Nhóm sinh viên thực : 1.Nguyễn Hồng Phúc Tham gia đóng góp: 2.Châu Thanh Quốc Tham gia đóng góp: Ngày thi: Phịng thi: Đề tài tiểu luận/báo cáo sinh viên :Nghiên cứu mạng Neuron nhân tạo để điều khiển thiết bị giọng nói tiếng việt Phần đánh giá giảng viên (căn thang rubrics mơn học): Tiêu chí (theo CĐR HP) Đánh giá GV Điểm tối đa Điểm đạt Cấu trúc báo cáo Nội dung - Các nội dung thành phần - Lập luận - Kết luận Trình bày TỔNG ĐIỂM Giảng viên chấm thi (ký, ghi rõ họ tên) MỤC LỤC DANH MỤC HÌNH Hình 1.1.Hình minh họa lớp ANN Hình 1.2 Lịch sử ANN Hình 1.3 Lenet 5, Yan Lecun, 1998 Hình 1.4 Google lenet (2014) Hình 1.5 VGGNet(2014) Hình 1.6 Resnet (2015) .6 Hình 1.7 Densenet(2016) Hình 2.1 Đặc trưng AN N Hình 2.2 Thành phần mạng neural Hình 2.3 Neural đầu vào Hình 2.4.Hard limit transfer function Hình 2.5.Single-input hardlim neuron .9 Hình 2.6.Linear transfer function Hình 2.7.Single-input purelin neuron Hình 2.8.Log-sigmoid transfer function Hình 2.9.Single-input logsig neuron Hình 2.10.Hàm logsig 10 Hình 2.11 Neural đa đầu vào 10 Hình 2.12 Abreviated Notation 10 Hình 2.13 Các lớp neural 11 Hình 2.14 Các ký pháp viết gọn .11 Hình 2.15 Mạng neural đa lớp 11 Hình 2.16 Mạng neural đa lớp-biểu diễn gọn 11 Hình 3.1.Short-time Fourier Transform .13 Hình 3.2 Sơ đồ khối 14 Hình 3.3 Ngun tắc tiền xử lí liệu tiếng nói 15 Hình 3.4 Kết xử lí(1 từ tín hiệu)-(a) trước xử lí-(b)sau xử lí 15 Hình 3.5.Ngun tắc trích formant tín hiệu tiếng nói 16 Hình 3.6 Lưu đồ thao tác huấn luyện .18 Hình 3.7 Nguyên tắc giao tiếp nối tiếp RS232 19 Hình 3.8 Giao tiếp thiết bị máy tính 19 KÍ HIỆU CÁC CỤM TỪ VIẾT TẮT Từ viết tắt ANN(s) STFT Ý nghĩa Artificial neural network(s) Short time Fourier Transform CHƯƠNG SƠ LƯỢC VỀ MẠNG NEURAL 1.1 Mạng Neural sinh học Mạng neural sinh học mạng lưới (plexus) neural có kết nối có liên quan mặt chức trực thuộc hệ thần kinh ngoại biên (peripheral nervous system) hay hệ thần kinh trung ương (central nervous system) Trong ngành thần kinh học (neuroscience), thường dùng để nhóm neural thuộc hệ thần kinh đối tượng nghiên cứu khoa học định 1.2 Cấu trúc Neural Thân tế bào: chỗ phình to neural Bao gồm nhân tế bào, lưới nội sinh chất, ty thể, ribosom, lysosom, máy Golgi, tơ thần kinh, ống siêu vi bào quan khác Thân tế bào cung cấp dinh dưỡng cho neural, phát sinh xung động thần kinh tiếp nhận xung động thần kinh từ nơi khác truyền tới neural Sợi nhánh, gọi đuôi gai: tua ngắn mỏng manh mọc từ thân tế bào Mỗi neural có nhiều đuôi gai, đuôi gai chia thành nhiều nhánh Chúng có chức tiếp nhận xung thần kinh từ tế bào khác, truyền chúng tới thân tế bào Đây tín hiệu hướng tâm Tác động xung kích thích ức chế Sợi trục: sợi đơn dài mang thông tin từ thân tế bào chuyển đến tế bào khác Đường kính sợi trục thường có kích thước khác nhau, dao động từ từ 0,5 μm – 22 μm Dọc sợi trục bao bọc lớp vỏ myelin, tạo thành tế bào Schwann Bao myelin không liền mạch mà chia thành đoạn Giữa bao myelin eo Ranvier Khoảng cách eo Ranvier khoảng 1,5 – mm Diện tích tiếp xúc nhánh nhỏ phân từ cuối sợi trục nơ-ron với sợi nhánh nơ-ron khác quan thụ cảm gọi Synapse (khớp thần kinh) 10 CHƯƠNG ĐẶC TRƯNG CỦA MẠNG NEURAL NHÂN TẠO VÀ XÂY DỰNG MƠ HÌNH NEURAL 2.1 Đặc trưng ANN Gồm tập đơn vị xử lí Trạng thái kích hoạt hay đầu đơn vị xử lý Liên kết đơn vị Xét tổng quát, liên kết định nghĩa trọng số Wjk cho ta biết hiệu ứng mà tín hiệu đơn vị j có đơn vị k Một luật lan truyền định cách tính tín hiệu đơn vị từ đầu vào Một hàm kích hoạt, hay hàm chuyển (activation function, transfer function), xác định mức độ kích hoạt khác dựa mức độ kích hoạt Một đơn vị điều chỉnh (độ lệch) (bias, offset) đơn vị Phương pháp thu thập thông tin (luật học – learning rule) Mơi trường hệ thống hoạt động Hình 2.1 Đặc trưng ANN 2.2 Thành phần Mơ hình mạng neural gồm thành phần:  Hệ thống ghép nối thần kinh (synapse)  Bộ cộng  Hàm kích hoạt 16 Hình 2.2 Thành phần mạng neural 2.3 Neural đầu vào a Các thành phần Đầu vào số p Trọng số w Bias b  b w tham số thay đổi theo luật học để quan hệ đầu vào đầu đạt mục đích Hàm truyền đạt f  Được lựa chọn người thiết kế mạng Hình 2.3 Neural đầu vào b Hàm truyền đạt  Có thể hàm tuyến tính phi tuyến  Được lựa chọn để thỏa mãn số đặc tính tốn  Một số dạng hàm truyền đạt: 17 Hình 2.4.Hard limit transfer function Hình 2.5.Single-input hardlim neuron Hình 2.6.Linear transfer function Hình 2.7.Single-input purelin neuron Hình 2.8.Log-sigmoid transfer function Hình 2.9.Single-input logsig neuron  Hàm logsig sigmoid hàm truyền đạt sử dụng nhiều  Hàm có dạng đồng biến, coi trung gian hàm tuyến tính hàm ngưỡng o a: hệ số dốc o Khi a => vô cùng, f(u) tiến đến hàm ngưỡng ν  Có ưu điểm so với hàm ngưỡng tồn đạo hàm 18 Hình 2.10.Hàm logsig 2.4 Neural nhiều đầu vào a Mơ hình chung  Thơng thường neural có nhiều đầu vào  Một neural có R đầu vào biểu diễn sau: o Kích thích: p1 , p2 ,…pR o Các trọng số: W1,1 , W1,2 ,…W1,R o Bias: b o Đầu vào neural : n = Wp + b Hình 2.11 Neural đa đầu vào b Cách biểu diễn gọn Hình 2.12 Abreviated Notation 19 2.5 Kiến trúc mạng Neural Hình 2.13 Các lớp neural Hình 2.14 Các ký pháp viết gọn Hình 2.15 Mạng neural đa lớp Hình 2.16 Mạng neural đa lớp-biểu diễn gọn 20 CHƯƠNG SỬ DỤNG MƠ HÌNH ARTIFICIAL NEURAL NETWORKS - SHORT TIME FOURIER TRANSFORM 3.1 STFT- Short time Fourier Transform a Sơ lược STFT-Short time Fourier Transform Xa(jω) = ∞ʃ-∞xa(t)e-jωt dt Xa(t) = (1/2π) ∞ʃ-∞Xa(jω)ejωτdω Biến đổi Fourier tín hiệu F(ω) cho ta đầy đủ thơng tin miền tần số, hồn tồn khơng có thơng tin miền thời gian tích phân từ -∞ tới +∞ Do biến đổi Fourier khơng phù hợp với tín hiệu có tần số thay đổi theo thời gian Điều có nghĩa biến đổi Fourier cho biết có hay không tồn thành phần tần số đó, nhiên thơng tin độc lập với thời điểm xuất thành phần phổ Như sau biến đổi Fourier, ta có thơng tin miền tần số hồn tồn thơng tin miền thời gian Đây lúc STFT xuất Ý tưởng STFT ‘hi sinh’ thông tin tần số thấp miền tần số để có thêm thơng tin miền thời gian STFT biểu diễn hàm G(ω,t) theo biến tần số ω thời gian t Như nhìn vào kết STFT, ta biết tần số ω xuất vào thời điểm miền thời gian Trong biến đổi STFT, tín hiệu chia thành đoạn đủ nhỏ, tín hiệu đoạn phân chia coi dừng Với mục đích này, hàm cửa sổ lựa chọn Độ rộng cửa sổ phải với đoạn tín hiệu mà giả thiết dừng tín hiệu phù hợp b Nguyên tắc STFT Là phân chia tín hiệu thành đoạn đủ nhỏ cho xem tín hiệu đoạn tín hiệu ổn định, sau thực biến đổi Fourier đoạn tín hiệu 21 Hình 3.1.Short-time Fourier Transform c Các tính chất  STFT đo giống tín hiệu với phiên dịch biến điệu hàm cửa sổ W(t)  STFT có tính định vị thời gian – tần số  Thao tác dịch vụ biến điệu hàm cửa sổ khơng làm thay đổi kích thước hàm cửa sổ mà tịnh tiến theo trục thời gian – tần số  STFT thể mối quan hệ thời gian tần số tín hiệu, cung cấp thông tin thời gian tần số xuất kiện  Độ phân giải theo thời gian phụ thuộc vào kích thước cửa sổ d Ứng dụng STFT biến đổi Fourier chuẩn thường sử dụng để phân tích âm e Hạn chế Phép biến đổi Fourier thời gian ngắn có ưu điểm cho hịa hợp mơ tả tín hiệu hai miền thời gian – tần số Tuy nhiên, gặp phải hạn chế :  Kích thước cửa sổ phân tích chọn khơng thay đổi tồn mặt phẳng thời gian – tần số  STFT đạt độ phân giải tốt miền thời gian miền tần số tín hiệu khơng ổn định 3.2 Dùng mơ hình ANNs-STFT để điều khiển thiết bị giọng nói tiếng Việt Với mục tiêu mong muốn người sử dụng vận hành tốt thiết bị cách đọc lệnh từ : ‘Tới’, ’Lui’, ’Trái’, ‘Phải’ vào micro 22 máy tính Mạng Nơ-ron nhận dạng từ điều khiển vừa đọc, gởi đến mạch giao tiếp thiết bị byte điều khiển tương ứng Hình 3.2 Sơ đồ khối Trước tiên, cần xây dựng sở liệu để huấn luyện mạng(tập mẫu) Tập mẫu có thơng qua việc thu thập liệu nhiều giọng đọc khác xử lí để giữ lại đặc trưng Sau đó, q trình huấn luyện mạng thực Kết thúc trình này, mạng nơ-ron phân loại từ khác nhau, từ nhận dạng từ học mà không cần đến không gian liệu mẫu Tương ứng với từ lệnh dùng để điều khiển robot, “tới”, “lui”, “trái” “phải”, liệu đặc trưng đánh dấu phân tích thành nhóm Quá trình nhận dạng, thực chất phân loại từ cần kiểm tra thuộc nhóm nhóm liệu Trước xử lí liệu, file ghi âm cần xử lí để giảm bớt độ nhiễu âm Ðồng thời, giải thuật tách từ áp dụng để xác định thời điểm bắt đầu kết thúc tín hiệu Hình 3.3 Ngun tắc tiền xử lí liệu tiếng nói 23 Hình 3.4 Kết xử lí(1 từ tín hiệu)-(a) trước xử lí-(b)sau xử lí Tách đặc trưng tín hiệu tiếng nói có ý nghĩa quan trọng sở để nhận dạng Các nghiên cứu cho thấy, hai thành phần đặc trưng quan trọng nhất, chu kì cao độ formant Chu kì cao độ dạng sóng chu kì phần gần tuần hồn tiếng nói, thường xử lý miền thời gian Trong formant liên quan đến phổ tần số tín hiệu Ðối với tiếng nói, formant không cố định mà thay đổi chậm theo thời gian Do thu formant cách phân tích biểu diễn tín hiệu tiếng nói miền thời gian-tần số Qua thực nghiệm, người đọc từ khác formant tương ứng khác Nếu nhiều người đọc từ, formant tương ứng có khác biệt khơng nhiều Do vậy, formant trích xuất dùng làm liệu huấn luyện mạng nơ-ron Hình 3.5.Ngun tắc trích formant tín hiệu tiếng nói 24 Do tín hiệu tiếng nói tín hiệu khơng dừng, nên khơng thể áp dụng phép phân tích Fourier thơng thường Nhưng chia tín hiệu tiếng nói thành đoạn đủ nhỏ theo thời gian, tín hiệu tiếng nói đoạn xem tín hiệu dừng, lấy biến đổi Fourier đoạn tín hiệu Lúc này, ta áp dụng STFT để chia nhỏ đoạn tín hiệu tiếng nói Trong STFT, tín hiệu cần phân tích f(t) nhân với hàm cửa sổ w(t-τ) để lấy tín hiệu khoảng thời gian ngắn xung quanh thời điểm τ Sau phép biến đổi Fourier bình thường tính đoạn tín hiệu Kết ta hàm theo tần số thời gian STFT f(ω,τ) xác định (dấu (*) ký hiệu cho thành phần liên hợp phức): STFT⨏(ω,τ) = ∞ʃ-∞w*(t-τ)⨏(t)e-jωtdt (1) STFT thời điểm τ xem phổ cục f(t) xung quanh thời điểm τ, cửa sổ tương đối ngắn làm triệt tiêu tín hiệu ngồi vùng lân cận Vì STFT có tính định vị theo thời gian Cửa sổ phân tích hẹp định vị tốt Ðể thấy rõ STFT định vị miền tần số, ta áp dụng định lý Parserval: ∞ ʃ-∞f(t)g*(t)dt=(1/2π) ∞ʃ-∞F(ω)G*(ω)dω (2) Biểu thức (1) viết lại sau : STFT⨏(ω,τ) =(e-ωτ/2π) ∞ʃ-∞W*(ω’ – ω)F(ω’)ejω’τdω’ (3) Với W(ω') F(ω') phổ cửa sổ w(t) tín hiệu f(t) Trong biểu thức (3), W(ω'-ω) có tác dụng lọc dãy thơng tập trung quanh tần số phân tích ω có băng thơng với băng thơng w(t), làm giới hạn phổ tín hiệu F(ω') xung quanh ω Rõ ràng STFT có tính định vị theo tần số Tính định vị (cịn gọi độ phân giải tần số) tốt băng thông cửa sổ phân tích hẹp Hàm cửa sổ thường dùng STFT cửa sổ Kaiser, hàm định nghĩa từ hàm Bessel bậc (4) 25 Với α=M/2 I0(β) hàm cải biên hàm Bessel bậc (modified zeroorder Bessel function), định nghĩa là: (5) Hàm Kaiser thay đổi linh hoạt nhờ vào thơng số hình dạng β Với giá trị β khác nhau, cửa sổ Kaiser có hình dạng khác 3.3 Huấn luyện mạng Việc huấn luyện mạng nơ-ron tương đối phức tạp Nhờ vào công cụ Matlab giải thuật huấn luyện Levenberg-Marquardt áp dụng.Đây giải thuật có độ hội tụ bậc hai giải thuật nhanh Matlab Để đánh giá khả ‘nhớ’ mạng, liệu người khơng có giọng đọc tập mẫu dùng trình huấn luyện mạng 26 Hình 3.6 Lưu đồ thao tác huấn luyện 3.4 Mạch giao tiếp thiết bị Hoạt động thiết bị tóm tắt đơn giản: Sau mạng nơ-ron nhận dạng từ lệnh người điều khiển (bằng giọng nói), byte điều khiển gửi cổng RS232; thông qua vi điều khiển 89C2051, byte điều khiển gửi tới mạch phát sóng vơ tuyến; thiết bị chấp hành mệnh lệnh thu sóng giải mã đuợc từ điều khiển Cơ chế cho phép vận hành thiết bị từ xa thông qua việc đọc lệnh vào máy tính 27 Hình 3.7 Ngun tắc giao tiếp nối tiếp RS232 Hình 3.8 Giao tiếp thiết bị máy tính 28 CHƯƠNG KẾT LUẬN Hiện tại, số lượng từ nhận dạng cịn (4 từ) Trong trình huấn luyện, mạng phân loại lần tín hiệu đầu vào chia thành nhóm, đặc trưng cho từ: ‘Tới’, ‘Lui’, ‘Trái’ ‘Phải’ Tuy nhiên, kết nghiên cứu cho thấy khả tăng số lượng từ nhận dạng khả thi Vậy nên cho phân lớp liệu trước nhận dạng; cho lớp chứa từ có đặc trưng gần giống Ngồi ra, kiểm tra nhóm người có giọng đọc sử dụng để huấn luyện, mạng nơ-ron làm việc hiệu Vì thế,việc ứng dụng vào thực tế để trợ giúp cho người không lành lặn có thể, người khơng cịn tay chân phải di chuyển xe lăn Bởi lúc này, giải pháp huấn luyện đơn giản cho mạng nơ-ron nhận diện giọng nói chủ xe lăn mà thơi 29 TÀI LIỆU THAM KHẢO [1] Thầy Vương Xuân Chí, Slide giảng môn Mạng Neural giải thuật di truyền, Khoa Công nghệ thông tin, Trường Đại học Nguyễn Tất Thành, bạn lớp [2] Một số tham khảo mạng từ trang web : https://trituenhantao.io/ https://plcschneider.com/ https://123docz.net/trang-chu.htm https://www.scribd.com/home 30 ... luận/báo cáo sinh viên :Nghiên cứu mạng Neuron nhân tạo để điều khiển thiết bị giọng nói tiếng việt Phần đánh giá giảng viên (căn thang rubrics môn học): Tiêu chí (theo CĐR HP) Đánh giá GV Điểm tối... dụng để trích đặc trưng tín hiệu tiếng nói Một mạng neural nhân tạo huấn luyện để nhận dạng giọng nói tiếng Việt người NỘI DUNG VÀ PHƯƠNG PHÁP: - Nghiên cứu khái niệm, thức tạo mạng Neural nhận tạo. .. nhận dạng từ lệnh người điều khiển (bằng giọng nói) , byte điều khiển gửi cổng RS232; thông qua vi điều khiển 89C2051, byte điều khiển gửi tới mạch phát sóng vơ tuyến; thiết bị chấp hành mệnh lệnh