1. Trang chủ
  2. » Luận Văn - Báo Cáo

Ứng dụng kỹ thuật nhận dạng tiếng nói tự động để hỗ trợ hoạt động kiểm soát không lưu

61 34 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 61
Dung lượng 1,74 MB

Nội dung

Kiểm soát không lưu là một hoạt động mang ý nghĩa cực kỳ quan trọng nhằm đảm bảo sự an toàn và duy trì sự thông suốt của các chuyến bay. Một số các nhiệm vụ của kiểm soát viên không lưu là hiệp đồng với phi công để hướng dẫn phi công tuân thủ lộ trình bay và tránh xung đột giữa các máy bay. Nhằm hỗ trợ cho kiểm soát viên không lưu, bài báo đề xuất ứng dụng kỹ thuật nhận dạng tiếng nói tự động trong việc phát hiện lỗi do thông tin sai lệch giữa kiểm soát viên và phi công. Trong giai đoạn nghiên cứu ban đầu, hệ thống hỗ trợ tập trung vào khai thác dịch vụ điện toán đám mây Azure thuộc tập đoàn Microsoft. Hệ thống đề xuất gồm có hai phần: trước tiên, tiếng nói của phi công và kiểm soát viên được chuyển đổi thành văn bản dựa trên nền tảng học sâu LSTM (Long Short Term Memory); sau đó tiếng nói của hai đối tượng này được so sánh với nhau dựa vào so sánh hai văn bản tương ứng, từ đó phát hiện ra lỗi lặp lại và lỗi nghe lại. Các thí nghiệm được tiến hành với 10 mực bay trong vùng trời điều hành từ độ cao 15.000 feet đến 25.000 feet, trong môi trường bay giả lập và thực tế. Kết quả thí nghiệm bước đầu đã cho tỷ lệ nhận dạng chấp nhận được và tỷ lệ phát hiện lỗi rất khả quan.

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA - LÊ VĂN VŨ ỨNG DỤNG KỸ THUẬT NHẬN DẠNG TIẾNG NÓI TỰ ĐỘNG HỖ TRỢ HOẠT ĐỘNG KIỂM SỐT KHƠNG LƯU C C R L T U D Chuyên ngành : KỸ THUẬT ĐIỆN TỬ Mã số: 8520203 NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Hoàng Lê Uyên Thục Đà Nẵng – Năm 2020 LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Tác giả luận văn ký ghi rõ họ tên C C U D R L T MỤC LỤC TRANG PHỤ BÌA LỜI CAM ĐOAN MỤC LỤC TÓM TẮT LUẬN VĂN DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC CHỮ DANH MỤC CÁC HÌNH MỞ ĐẦU Chương - TỔNG QUAN HOẠT ĐỘNG KIỂM SỐT KHƠNG LƯU C C 1.1 Giới thiệu chương 1.2 Cơ hoạt động kiểm sốt khơng lưu 1.3 Yếu tố người hoạt động không lưu R L T 1.3.1 Yếu tố người 1.3.2 Ý nghĩa yếu tố người 1.3.3 Lỗi lặp lại nghe lại U D 1.4 Tình hình nghiên cứu ứng dụng nhận dạng tiếng nói hoạt động khơng lưu 1.5 Các ứng dụng nhận dạng tiếng nói tự động điều khiển khơng lưu 1.6 Giới thiệu hệ thống hỗ trợ hoạt động kiểm sốt khơng lưu 10 Chương - LÝ THUYẾT ỨNG DỤNG TRONG NHẬN DẠNG TIẾNG NÓI TỰ ĐỘNG 12 2.1 Giới thiệu chương 12 2.2 Quá trình hình thành phát triển mơ hình LSTM 12 2.3 Mơ hình LSTM kết hợp phương pháp học sâu .14 2.4 Các ứng dụng nhận dạng tiếng nói tự động sử dụng kỹ thuật học sâu .16 2.5 Kết luận chương .17 Chương - HỆ THỐNG NHẬN DẠNG TIẾNG NÓI TỰ ĐỘNG 18 3.1 Giới thiệu chương 18 3.2 Nguyên lý chuyển đổi tiếng nói thành văn .18 3.3 Nhận dạng tiếng nói tự động tảng điện toán đám mây 19 3.4 Dịch vụ điện toán đám mây Azure 21 3.4.1 Nhận thức thị giác 23 3.4.2 Nhận thức tiếng nói 23 3.4.3 Nhận thức ngôn ngữ………… 24 3.4.4 Nhận thức tìm kiếm……………… 24 3.4.5 Nhận thức định…………… 25 3.5 Kết luận chương 25 Chương - THÍ NGHIỆM VÀ ĐÁNH GIÁ HỆ THỐNG PHÁT HIỆN LỖI TIẾNG NÓI 26 4.1 Giới thiệu chương 26 4.2 Cơ sở liệu tiếng nói 26 4.3 Tiêu chí đánh giá hệ thống 29 4.4 Phương pháp đánh giá hệ thống 27 4.5 Tiến hành thí nghiệm 30 C C R L T 4.5.1 Chuyển đổi tiếng nói thành văn 30 4.5.2 So khớp văn 31 4.6 4.6.1 U D Kết thí nghiệm 33 Thí nghiệm 1: đánh giá tỉ lệ nhận dạng mơ hình có sẵn 33 4.6.2 Thí nghiệm 2: huấn luyện thêm cho mơ hình có sẵn đánh giá tỉ lệ nhận dạng mơ hình 34 4.6.3 4.7 Thí nghiệm 3: mơ ứng dụng so khớp mực bay 37 Kết luận chương 37 KẾT LUẬN VÀ KIẾN NGHỊ 39 DANH MỤC TÀI LIỆU THAM KHẢO 40 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN PHỤ LỤC PHỤ LỤC PHỤ LỤC TÓM TẮT LUẬN VĂN ỨNG DỤNG KỸ THUẬT NHẬN DẠNG TIẾNG NÓI TỰ ĐỘNG ĐỂ HỖ TRỢ HOẠT ĐỘNG KIỂM SỐT KHƠNG LƯU Học viên: Lê Văn Vũ Chun ngành: Kỹ thuật điện tử Mã số: 8520203 Khóa: 37 Trường Đại học Bách khoa - ĐHĐN Tóm tắt – Kiểm sốt khơng lưu hoạt động mang ý nghĩa quan trọng nhằm đảm bảo an tồn trì thơng suốt chuyến bay Một số nhiệm vụ kiểm soát viên không lưu hiệp đồng với phi công để hướng dẫn phi cơng tn thủ lộ trình bay tránh xung đột máy bay Nhằm hỗ trợ cho kiểm sốt viên khơng lưu, báo đề xuất ứng dụng kỹ thuật nhận dạng tiếng nói tự động việc phát lỗi thông tin sai lệch kiểm sốt viên phi cơng Trong giai đoạn nghiên cứu ban đầu, hệ thống hỗ trợ tập trung vào khai thác dịch vụ điện toán đám mây Azure thuộc tập đồn Microsoft Hệ thống đề xuất gồm có hai phần: trước tiên, tiếng nói phi cơng kiểm soát viên chuyển đổi thành văn dựa tảng học sâu LSTM (Long Short Term Memory); sau tiếng nói hai đối tượng so sánh với dựa vào so sánh hai văn tương ứng, từ phát lỗi lặp lại lỗi nghe lại Các thí nghiệm tiến hành với 10 mực bay vùng trời điều hành từ độ cao 15.000 feet đến 25.000 feet, môi trường bay giả lập thực tế Kết thí nghiệm bước đầu cho tỷ lệ nhận dạng chấp nhận tỷ lệ phát lỗi khả quan C C R L T U D Từ khóa – Kiểm sốt khơng lưu, nhận dạng tiếng nói tự động, chuyển đổi tiếng nói sang văn bản, mạng LSTM (Long Short Term Memory), lỗi nghe lại lỗi lặp lại APPLICATION OF AUTOMATIC SPEECH RECOGNITION TO SUPPORT AIR TRAFFIC CONTROL Abstract – Air traffic control activity plays a critical important role in accomplishing the safety and maintaining the orderly flow of air flights Among other responsibilities, the controller cooperates with the pilot by instructing the pilot to follow the planned flight route and to resolve aircraft conflicts In order to decrease the workload of air traffic controllers we propose the application of the automatic speech recognition to detect controller-pilot voice miscommunication errors In the very beginning stage, the support system focuses on using Azure, a cloud computing service created by Microsoft group The system consists of two phases: firstly, pieces of speech of the pilot and the controller are converted into texts based on long short term memory (LSTM) network; secondly, these speech pieces are compared to each other based on comparing the two corresponding texts; then read back and hear back errors are detected The conducted experiments are implemented on 10 flight levels in the airspace between 15,000 feet and 24,500 feet, via simulated and realistic air environments Initially experimental results give the acceptable recognition rate and promissing error detection rate Key words – Air traffic control, automatic speech recognition, speech-to-text, LSTM network (Long Short Term Memory), hearback error and readback error DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT ADS-B Automatic Dependent Surveillance AI Artificial Intelligence ATC Air Traffic Control ASR Automatic Speech Recognition ASRS Aviation Safety Report System AWS Amazon Web Service BLSTM Bidirectional -Long Short Term Memory CNN Convolution Neural Network CNN-BLSTM Convolution Neural Network – Bi-Long Short Term Memory CNN-LSTM Convolution Neural Network - Long Short Term Memory DBM Deep Boltzmann Machines DBN Deep Belief Network DNN Deep Neural Network DS2 Deep Speech EPO European Patent Office ERS Ergonomic Research Society FAA Federal Aviation Administration FAIR Facebook AI Research FL Flight Level GAN Generative adverarial network GMM Gausian Makov model GNSS Global Navigation Satellite System GPU Graphics Processing Unit HMM Hidden Makov Model ICAO International Civil Aviation Organization IEA International Ergonomi Association C C R L T U D KSVKL Kiểm soát viên không lưu LACE Layer-wise Context Expansion with Attention LAS Listen, Attent and Spell LSTM Long Short Term Memory L-LSTM Layer - Long Short Term Memory CAASD Center for Advanced Aviation System Developement NASA National Aeronautics and Space Administration NLP Natural Language Processing SAE Stack Auto-Encoder SSR Secondary Surveillance Radar T-LSTM Time - Long Short Term Memory TRACON Terminal Radar Approach Control WER Word Error Rate ResNet Residual Network RNN Recurent Neural Network PCM Pulse Code Modulation VAE Variational Autoencoder VHF Very High Frequency R L T C C U D DANH MỤC CÁC BẢNG Số hiệu bảng Tên bảng Trang 2.1 Các mơ hình nhận dạng tiếng nói 13 2.2 Tỷ lệ WER (%) mơ hình LSTM, lt LSTM với tập kiểm tra Cortana Conversation 14 3.1 Các loại dịch vụ nhận thức 22 3.2 Nhận thức thị giác 23 3.3 Nhận thức tiếng nói 23 3.4 Nhận thức ngơn ngữ 24 3.5 Nhận thức tìm kiếm 3.6 Nhận thức định 4.1 Thành phần tập liệu 4.2 Tên mẫu liệu tiếng nói 4.3 So sánh tỷ lệ nhận dạng mơ hình có sẵn mơ hình R L UT D C C 24 25 27 28 35 DANH MỤC CÁC HÌNH Số hiệu hình vẽ Tên hình vẽ Trang 1.1 Hệ thống kiểm sốt khơng lưu 1.2 Sơ đồ khối chức hệ thống hỗ trợ hoạt động kiểm sốt khơng lưu 2.1 Mơ hình LSTM nhiều lớp ẩn 14 2.2 Mơ hình ltLSTM nhiều lớp ẩn 15 3.1 Sơ đồ nguyên lý nhận dạng tiếng nói 19 3.2 Các sản phẩm dịch vụ Azure 21 4.1 Sơ đồ bước huấn luyện đánh giá mơ hình tảng Azure 31 4.2 Lưu đồ thuật toán so khớp 32 4.3 Chọn mơ hình có sẵn để đánh giá FL220 4.4 Biểu đồ tỷ lệ nhận dạng mơ hình có sẵn mơ hình 36 4.5 Một số kết mô phát lỗi lặp lại 37 C C R L T U D 33 10 MỞ ĐẦU Ngày với phát triển kinh tế, du lịch, dịch vụ nhu cầu vận tải hàng hóa, lại người đường hàng khơng mang tính phổ thơng an tồn nhanh chóng Cùng với gia tăng số chuyến bay năm áp lực khối lượng công việc việc quản lý điều khiển luồng không lưu tăng lên, bảo đảm tiêu chí “an tồn, điều hịa, hiệu quả” Vì kiểm sốt khơng lưu hoạt động mang ý nghĩa quan trọng nhằm đảm bảo an toàn trì thơng suốt chuyến bay Một số nhiệm vụ kiểm sốt viên khơng lưu hiệp đồng với phi công để hướng dẫn phi cơng tn thủ lộ trình bay tránh xung đột máy bay Tuy nhiên, để chuyến bay an tồn người hướng dẫn tàu bay kiểm sốt viên khơng lưu (KSVKL) mặt đất phải nói hiệp đồng liên tục với phi cơng tàu bay sóng VHF Cường độ cơng việc cao dẫn đến việc nghe lặp lại huấn lệnh KSVKL phi công bị nhầm lẫn, đặc biệt hiệp đồng với nhiều tàu bay lúc với số lượng tàu bay ngày tăng Bên cạnh đó, chất lượng tiếng nói hoạt động kiểm sốt khơng lưu phụ thuộc vào nhiều yếu tố khác tai người nghe, phát âm người nói, chất lượng kênh truyền VHF khơng – địa, thiết bị thu phát sóng Tất yếu tố phân tích nguyên nhân chủ quan khách quan gây lỗi nghe lại (hear back error) lỗi lặp lại (read back error) lỗi xảy hoạt động kiểm sốt khơng lưu, gây nguy hiểm đến an toàn bay Như vậy, với hoạt động kiểm sốt khơng lưu làm việc phương tiện tiếng nói việc ứng dụng kỹ thuật nhận dạng tiếng nói tự động vấn đề cấp thiết, nhằm hỗ trợ cho kiểm sốt viên khơng lưu lỗi thơng tin sai lệch kiểm sốt viên phi cơng Trên sở đó, đề tài luận văn: “Ứng dụng kỹ thuật nhận dạng tiếng nói tự động để hỗ trợ hoạt động kiểm sốt khơng lưu” thực với hai mục tiêu chính: Thứ nhất, nghiên cứu ứng dụng nhận dạng tiếng nói tự động vào việc so sánh hai câu nói để phát trùng khớp hay sai khác nội dung Thứ hai, đề xuất hệ thống phần mềm phát cảnh báo lỗi nghe lại lặp lại hoạt động kiểm sốt khơng lưu với độ xác khoảng 80% Đối tượng nghiên cứu luận văn nhận dạng tiếng nói, nhánh trí tuệ nhân tạo, tảng để hướng đến nghiên cứu xử lý ngôn ngữ tự nhiên NLP (Natural Language Processing) phát triển Cấu trúc luận văn gồm có chương sau: Chương 1- Tổng quan hoạt động kiểm sốt khơng lưu Chương 2- Lý thuyết ứng dụng nhận dạng tiếng nói tự động Chương 3- Hệ thống nhận dạng tiếng nói tự động Chương 4- Thí nghiệm đánh giá hệ thống phát lỗi tiếng nói C C U D R L T 47 thí nghiệm từ tập liệu giả lập đến liệu thực tế, mở rộng đối tượng nhận dạng từ giá trị mực bay ban đầu đến mười giá trị mực bay vùng trời Đà nẵng Control Thí nghiệm trước sở để thực thí nghiệm sau, thí nghiệm sử dụng kết nhận dạng Speech-to-text đạt thí nghiệm để tiếp tục so khớp phát có lỗi lặp lại nghe lại mục tiêu đề tài luận văn C C U D R L T 48 KẾT LUẬN VÀ KIẾN NGHỊ Luận văn thực nhận dạng mực bay hoạt động điều hành bay, thông qua huấn luyện thêm cho mơ hình nhận dạng tiếng nói dịch vụ điện tốn đám mây Azure liệu thực tế thu thập Đài kiểm soát không lưu Đà Nẵng Hệ thống nghiên cứu ban đầu đảm bảo khả phát lỗi lặp lại tốt, thể qua tỷ số precision 81,25 % chấp nhận tỷ số recall cao tuyệt đối Ngoài ra, dựa nội dung kết đạt luận văn, học viên có báo trình bày hội nghị khoa học FAIR “Nghiên cứu ứng dụng công nghệ thông tin” lần thứ XIII tổ chức vào ngày ngày 9/10/2020 trường Đại Học Nha Trang (phụ lục 3) Các điểm hạn chế cịn tồn thí nghiệm (1) nhận dạng số đầu vào cụm ngắn từ, đầu vào đoạn hội thoại PC khơng lưu thực tế 2,3 câu khả nhận dạng số mực bay thấp kết đạt luận văn (2) Số lượng liệu thực tế dùng để huấn luyện mơ hình q ít, dẫn đến tỉ lệ nhận dạng chưa thực tốt (3) Luận văn đặc điểm tiếng nói KSKL phi cơng thực tế có nhiễu cao, ảnh hưởng đến tỉ lệ nhận dạng nhiên luận văn chưa xử lý lọc nhiễu để nâng cao tỉ lệ nhận dạng C C U D R L T Từ thí nghiệm hạn chế, luận văn rút số đề xuất để ứng dụng nhận dạng tiếng nói tự động vào điều khiển không lưu sau: (1) chuẩn hóa phát âm hoạt động điều hành bay, (2) nâng cao chất lượng thiết bị thu phát âm tần, chuyển mạch thoại, thu phát tín hiệu cao tần, giảm tiếng ồn nơi làm việc KSVKL, (3) huấn luyện lại mơ hình nhận dạng tiếng nói với liệu đảm bảo số lượng chất lượng dùng thuật toán học sâu phù hợp Đây sở để tiếp tục phát triển nghiên cứu tương lai quy mô rộng rãi để xây dựng hệ thống hỗ trợ điều hành bay cho ngành hàng không Việt Nam 49 DANH MỤC TÀI LIỆU THAM KHẢO [1] E Mazareanu, “Global air traffic - annual growth of passenger demand”, Statista, 2020, URL:https://www.statista.com/statistics/193533/growth-of-global-air-trafficpassenger-demand/, [truy cập 20/09/2020] [2] Hunter D Kopald, Ari Chanen, Shuo Chen, Elida C Smith, and Robert M Tarakan, "Applying automatic speech recognition technology to Air Traffic Management," 2013 IEEE/AIAA 32nd Digital Avionics Systems Conference (DASC), East Syracuse, 2013 [3] Federal Aviation Administration, “Air traffic control: chapter 5, session 2”, Handbook, 2018 [4] Vietnam Air Trafic Management Corporation, “Human Factors in ATC”, Vol 1, 29.Nov, 2013 C C [5] Công ty Quản lý bay miền Trung, “Quy định hiệp đồng điều hành bay vị trí kiểm soát tiếp cận tầng cao Đà Nẵng vị trí kiểm sốt tiếp cận Đà Nẵng”, Quy định 2/2018 R L T [6] Aviation Safety Report System, “Human factor”, URL: https://akama.arc.nasa.gov/ASRSDBOnline/QueryWizard_Results.aspx, [truy cập 20/09/2020] U D [7] Shuo Chen, Hunter Kopald, Dr Ronald S Chong, Dr Yuan-Jun Wei, and Zachary Levonian, “Read back error detection using automatic speech recognition”, 12th USA/Europe Air Traffic Management Research and Development Seminar, 2017 [8] Timothy W Ran , Sethu R Rathinam, “System And Method For Reducing Aviation Voice Communication Confusion”, U.S Patent 7,809,805 B1, Oct.5, 2010 [9] Mohideen, Mohammed Ibrahim Morristown, “Aircraft systems and methods for reducing and detecting read-back and hear-back errors”, E.P Patent, EP 2,874,133 A1, 20/5/ 2015 [10] Timothy W.Ran, Sethu R Rathinam “System and method for Aircraft voice - totext communication message validation” E.P Patent, EP 3,109,857 A1, 28/12/ 2016 [11] Microsoft Acedemic, “Air traffic control”, URL: https://academic.microsoft.com, [truy cập 20/09/2020] [12] Thomas Pellegrini, Jerome Farinas, Estelle Delpech, and Francois Lancelot, “The Airbus Air Traffic Control speech recognition 2018 challenge: towards ATC automatic transcription and call sign detection”, Airbus, 2018 50 [13] Interspeech, “Overview”, https://www.interspeech2019.org/program/overview/, [truy cập 20/09/2020] URL: [14] Van Nhan Nguyen and Harald Holone, “Possibilities, challenges and the state of the art of automatic speech recognition in air traffic control”, International Journal of Soft Computing and Engineering, 2015 [15] J.-T Chien and A Misbullah, "Deep long short-term memory networks for speech recognition," in Chinese Spoken Language Processing (ISCSLP), 2016 [16] M.Alam, M.D Samad, L Vidyaratne, A Glandon and K.M Iftekharuddin, “Survey on Deep Neural Networks in Speech and Vision Systems”, Tech Survey [17] W Xiong, L Wu, F Alleva, J Droppo, X Huang, and A Stolcke, "The Microsoft 2017 conversational speech recognition system,", ICASSP , 2018 C C [18] Chung-Cheng Chiu, Tara N Sainath, Yonghui Wu, Rohit Prabhavalkar, Patrick Nguyen,Zhifeng Chen, Anjuli Kannan, Ron J Weiss, Kanishka Rao, Ekaterina Gonina, Navdeep Jaitly, Bo Li, Jan Chorowsk and Michiel Bacchiani "State-of-the-art speech recognition with sequence-to-sequence models", ICASSP, 2018 R L T U D [19] A Zeyer, K Irie, R Schlüter, and H Ney, "Improved training of end-to-end attention models for speech recognition", 2018 [20] K S Tai, R Socher, and C D Manning, "Improved semantic representations from tree-structured long short-term memory networks," [21] Jinyu Li, Changliang Liu and Yifan Gong, “Layer Trajectory LSTM”, Microsoft AI and Reseach,2019 [22] Facebook."Facebook AI Research (FAIR).",URL: https://research.fb.com/category/facebook-ai-research-fair/, [truy cập 20/09 2020] [23] W Xiong, J Droppo, X Huang, F Seide, M Seltzer, A Stolcke, D Yu and G Zweig, "Achiveing Human Parity In Conversation Speech Recognition", Technical Report MSR-TR-2016-71, Feb 2017 [24] Samudravijaya K, “Automatic speech recognition”, Tata Institute of Fundamental Research [chưa xuất bản] [25] Microsoft Corporation, “Speech service documentation”, documentation, 2019 [26] Microsoft Corporation, “Azure Cognitive Service documentation”, documentation, 2019 51 [27] Microsoft Corporation, “Azure”, URL: https://azure.microsoft.com., [truy cập 2/2029] [28] Microsoft Corporation, “Speech studio”, URL: https://speech.microsoft.com/portal/, [truy cập 12/2019] C C U D R L T PHỤ LỤC Code Python thí nghiệm import azure.cognitiveservices.speech as speechsdk import time import wave import re import winsound from azure.cognitiveservices.speech import SpeechConfig from numba.cuda import stream C C R L T speech_key, service_region = "c690049b9bce464fb410045c4b71c307", "eastus" speech_config = speechsdk.SpeechConfig(subscription=speech_key, region=service_region) U D speech_config.endpoint_id = "c03d91bf-815f-4bb5-8a1c-10699ee7bde6 " for x in range(1, 101): filename = str(x)+".wav" phicongfile = f = open("phicong/"+filename, "r") khongluufile = f = open("khongluu/" + filename, "r") audio_config = speechsdk.audio.AudioConfig(filename=khongluufile.name) speech_recognizer = speechsdk.SpeechRecognizer(speech_config=speech_config, audio_config=audio_config) result = speech_recognizer.recognize_once() ketquakl = re.findall('\d+', result.text) ketquakl= '' join(ketquakl) pattern = " " ketquakl = re.findall(pattern,ketquakl) print("Không lưu %d:" %(x) + result.text ) audio_config = speechsdk.audio.AudioConfig(filename=phicongfile.name) speech_recognizer = speechsdk.SpeechRecognizer(speech_config=speech_config, audio_config=audio_config) result = speech_recognizer.recognize_once() ketquapc = re.findall('\d+', result.text) ketquapc= '' join(ketquapc) pattern = " " ketquapc = re.findall(pattern,ketquapc) C C print("Phi công %d:" %(x) + result.text ) if ketquakl == []: R L T U D print("!!! Cảnh báo: Nghi ngờ có lỗi lặp lại beep beep beep !!!") for i in range (1,4): winsound.Beep(3000, 1000) print(" ") continue if ketquapc == []: print("!!! Cảnh báo: Nghi ngờ có lỗi lặp lại beep beep beep !!!") for i in range (1,4): winsound.Beep(3000, 1000) print(" ") continue print("Kết phi công %d với kết không lưu %d: "%(x,x), ketquapc == ketquakl) if str(ketquakl == ketquapc) == str(False) : print("!!! Cảnh báo: Xảy lỗi lặp lại beep beep beep beep beep beep !!!") for i in range (1,6): winsound.Beep(5000, 1000) print(" ") C C U D R L T PHỤ LỤC Không lưu 1:Flight level 160 Phi công 1:Flight level 160 Kết phi công với kết không lưu 1: True -Không lưu 2:Flight level 160 Phi công 2:160 Kết phi công với kết không lưu 2: True C C Không lưu 3:Flight level 160 R L T Phi công 3:I level 160 Kết phi công với kết không lưu 3: True -Không lưu 4:140 U D Phi công 4:150 Kết phi công với kết không lưu 4: False !!! Cảnh báo: Xảy lỗi lặp lại beep beep beep beep beep beep !!! -Không lưu 5:Level 150 Phi công 5:Flight level 150 Kết phi công với kết không lưu 5: True -Không lưu 6:Flight level 250 Phi công 6:Level 250 Kết phi công với kết không lưu 6: True -Không lưu 7:250 Phi công 7:Flight level 250 Kết phi công với kết không lưu 7: True -Không lưu 8:Level 250 Phi công 8:Flight level 250 Kết phi công với kết không lưu 8: True -Không lưu 9:Flight level 250 Phi công 9:Level 250 Kết phi công với kết không lưu 9: True -Không lưu 10:Hello 250 R L T Phi công 10:250 U D Kết phi công 10 với kết không lưu 10: True -Không lưu 11:250 Phi công 11:Level 250 Kết phi công 11 với kết không lưu 11: True -Không lưu 12:250 Phi công 12:250 Kết phi công 12 với kết không lưu 12: True -Không lưu 13:250 Phi công 13:Hello 250 Kết phi công 13 với kết không lưu 13: True C C Không lưu 14:Flight 0250 Phi công 14:Hello 250 Kết phi công 14 với kết không lưu 14: False !!! Cảnh báo: Xảy lỗi lặp lại beep beep beep beep beep beep !!! -Không lưu 15:250 Phi công 15:Flight level 250 Kết phi công 15 với kết không lưu 15: True -Không lưu 16:240 Phi công 16:240 R L T Kết phi công 16 với kết không lưu 16: True -Không lưu 17:240 Phi công 17:240 C C U D Kết phi công 17 với kết không lưu 17: True -Không lưu 18:Cool Phi công 18: !!! Cảnh báo: Nghi ngờ có lỗi lặp lại beep beep beep !!! -Không lưu 19:40 Phi công 19:Level 250 Kết phi công 19 với kết không lưu 19: False !!! Cảnh báo: Xảy lỗi lặp lại beep beep beep beep beep beep !!! -Không lưu 20:240 Phi công 20:Flight level 240 Kết phi công 20 với kết không lưu 20: True -Không lưu 21:Level 240 Phi công 21:240 Kết phi công 21 với kết không lưu 21: True -Không lưu 22:Flight about 240 Phi công 22:Level 240 Kết phi công 22 với kết không lưu 22: True R L T Không lưu 23:240 Phi công 23:Flight level 250 C C U D Kết phi công 23 với kết không lưu 23: False !!! Cảnh báo: Xảy lỗi lặp lại beep beep beep beep beep beep !!! -Không lưu 24:240 Phi công 24:240 Kết phi công 24 với kết không lưu 24: True -Không lưu 25:Flight level 240 Phi công 25:Flushable 240 Kết phi công 25 với kết không lưu 25: True PHỤC LỤC C C DU R L T C C DU R L T ... đợi có báo ứng dụng nhận dạng tiếng nói tự động ngành hàng không 1.5 Các ứng dụng nhận dạng tiếng nói tự động điều khiển khơng lưu Nhận dạng tiếng nói tự động ứng dụng điều khiển khơng lưu có đặc... cứu ứng dụng nhận dạng tiếng nói hoạt động khơng lưu 1.5 Các ứng dụng nhận dạng tiếng nói tự động điều khiển khơng lưu 1.6 Giới thiệu hệ thống hỗ trợ hoạt động kiểm soát không lưu. .. hình ứng dụng kỹ thuật nhận dạng tiếng nói vào hoạt động kiểm sốt khơng lưu giới hướng ứng dụng ASR tương lai Chương luận văn giới thiệu lý thuyết ứng dụng kỹ thuật nhận dạng tiếng nói tự động,

Ngày đăng: 29/04/2021, 16:12

TỪ KHÓA LIÊN QUAN

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w