Điều khiển thiết bị bằng giọng nói sử dụng thiết bị Raspberry Pi

1.1 GIỚI THIỆU 1.1.1 Lý do chọn đề tài, lĩnh vực nghiên cứu Với tình hình phát triển mạnh mẽ của khoa học kỹ thuật, công nghệ thông tin đang trở nên nóng hơn bao giờ hết. Công nghệ hiện đại, tự động hóa trở thành một điểm nóng của các nhà khoa học nghiên cứu và phát triển. Để mọi thứ trở nên tiện lợi hơn các nhà khoa học đã không ngừng miệt mài phát triển các phần mềm, ứng dụng, phần cứng để phục vụ cho nhu cầu sống hằng ngày để trở nên tiện lợi hơn. Ngày nay, vấn đề đảm bảo an toàn và tự động hoá ngày càng được các doanh nghiệp, cơ quan đánh giá cao về ích lợi mà hệ thống đem lại. Một số công ty ở Việt Nam cũng đã không ngừng đầu tư và phát triển có nhiều hệ thống và điều khiển bằng giọng nói như: Switch air, BKAV (dự án Smart home),… ngoài ra Sự phát triển của khoa học kỹ thuật ngày càng nhanh góp phần nâng cao năng suất lao động. Đặc biệt sự ra đời và phát triển các công nghệ mới nhằm tạo ra sự tự động hóa, sự tiện lợi trong xã hội cũng như trong công nghiệp. Đối với các nước ngoài thì việc điều khiển bằng giọng nói đã được nghiên cứu và chế tạo để ứng dụng vào đời sống và sản suất cũng chỉ mới ra đời vài năm trở lại đây. Như ở MỸ đã được ứng dụng để điều khiển robotcam trong y khoa. Riêng ở nước ta lĩnh vực này còn khá mới. Do đó chúng ta cần có sự đầu tư để nghiên cứu theo kịp công nghệ mới này để phục vụ cho nhu cầu xã hội. Từ những lý do trên, thấy được khả năng phát triển và nhu cầu tìm hiểu về điều khiển bằng giọng nói của chính bản thân và của những người yêu thích mong muốn được sử dụng công nghệ này, tôi đã bắt tay vào thực hiện nghiên cứu đề tài tôi đã quyết định thực hiện đề tài: “ĐIỀU KHIỂN THIẾT BỊ BẰNG GIỌNG NÓI THÔNG QUA MÁY TÍNH NHÚNG RASPBERRY PI”

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUỐC TẾ HỒNG BÀNG PHẠM KIM PHƯỢNG Tên đề tài luận văn: ĐIỀU KHIỂN THIẾT BỊ BẰNG GIỌNG NÓI VỚI RASPBERRY PI Chuyên ngành Mã số học viên : : Khoa học máy tính 126011019 LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC : TS BÙI VĂN MINH TP HỒ CHÍ MINH – NĂM 2016 CHƯƠNG 5: KẾT QUẢ ĐẠT ĐƯỢC VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Trình bày tổng kết lại kết đạt luận văn, mặt hạn chế hướng phát triển đề tài tương lai để tạo sản phẩm hoàn chỉnh ứng dụng rộng rãi với mơ hình điều khiển thiết bị điện thơng qua giọng nói MỤC LỤC CHƯƠNG 1: TỔNG QUAN 14 1.1 GIỚI THIỆU 14 1.1.1 Lý chọn đề tài, lĩnh vực nghiên cứu 14 1.1.2 Những nghiên cứu thực máy tính nhúng Raspberry Pi câu hỏi, giả thiết nghiên cứu đề tài 15 1.1.3 Mục tiêu nghiên cứu đối tượng nghiên cứu, giới hạn phạm vi nghiên cứu: 19 1.1.4 Những nội dung yếu cần nghiên cứu 19 1.2 TỔNG QUAN TÀI LIỆU 20 1.2.1 Raspberry Pi ? 20 1.2.2 Các phiên Raspberry Pi [23] 20 1.2.3 Các hệ điều hành cho máy tính nhúng Raspberry Pi 27 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 31 2.1 KHÁI NIỆM VỀ ÂM THANH 31 2.1.1 Khái niệm âm thanh: 31 2.1.2 Các hiệu ứng âm thanh: 32 2.1.3 Nguyên lý chuyển đổi A/D: 33 2.1.4 Điều chế xung biên: 34 2.1.5 Lấy mẫu lý tưởng: 35 2.1.6 Định lý Nyquist tượng chồng phổ: 37 2.1.7 Lấy mẫu thực tế: 38 2.1.8 Lượng tử hoá: 40 2.1.9 Mã hoá: 45 2.1.10 Dither: 46 2.1.11 Các tần số lấy mẫu chuẩn: 49 2.1.12 Chức tiền nhấn: 50 2.2 TỔNG QUAN VỀ XỬ LÝ TIẾNG NÓI 51 2.2.1.Tổng quan xử lý tiếng nói 51 2.2.2 Cấu trúc ngơn ngữ nói 55 2.3 XỬ LÝ TÍN HIỆU SỐ TRONG XỬ LÝ TIẾNG NĨI 59 2.3.1 Xử lý tín hiệu số 59 2.3.2 Phép biến đổi Fourier 60 2.3.3 Phép biến đổi Fourier rời rạc 60 2.3.4 Các lọc số cửa sổ 62 2.3.5 Biểu diễn tín hiệu tiếng nói: 62 2.3.6 Mã hóa tiếng nói 66 2.4 NHẬN DẠNG TIẾNG NÓI 70 2.4.1 Các hệ thống nhận dạng tiếng nói 70 2.4.2 Mạng Neuron nhân tạo (Artificial Neural Network- ANN) 77 CHƯƠNG 3: TỔNG QUAN, THIẾT KẾ VÀ THỰC HIỆN ĐIỀU KHIỂN THIẾT BỊ ĐIỆN BẰNG GIỌNG NÓI 83 3.1 Nhận dạng giọng nói ? 83 3.2 Tổng hợp âm ? 84 3.3 Nền tảng thực 84 3.4 Giới thiệu Jasper 84 CHƯƠNG 4: ĐIỀU KHIỂN VÀ LẮP ĐẶT THIẾT BỊ 86 4.1 Thiết kế điều khiển 86 4.2 Lắp đặt thiết bị điện 86 4.3 Cơ chế hoạt động: 89 4.4 Sử dụng thư viện 90 4.5 Thiết kế điều khiển 91 4.6 Sơ đồ kết nối 92 CHƯƠNG 5: KẾT QUẢ ĐẠT ĐƯỢC VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI 97 5.1 Kết đạt 97 5.2 Thuận lợi: 97 5.3 Khó khăn 97 5.4 Hạn chế 97 5.5 Hướng phát triển đề tài 97 10 DANH MỤC HÌNH VẼ Hình 1.1 Q trình lắp ráp xe ô tô điều khiển từ xa sử dụng Raspberry Pi Hình 1.2 Bộ RasPiLapse Rick Adam Hình 1.3 Hệ thống máy tính Raspberry Pi xe ô tô Suzuki Swift Hình 1.4 Máy pha cafe Hình 1.5 Quang phổ kế Hình 1.6 Thiết bị đo nhiệt độ ẩm Hình 2.1 Raspberry Pi Zero Hình 2.2 Raspberry Pi Model B Hình 2.3 Raspberry Pi Hình 2.4 RaspberryPi Hình 2.5 Chi tiết Board RaspberryHình 2.6 40 chân GPIO Hình 2.7 Giao diện hệ điều hành Raspbian Hình 2.8 Hệ điều hành Noobs Hình3.1: Nguyên lý chuyển đổi A/D: Hình3.2 : Điều chế xung biên Hình 3.3 Quá trình lấy mẫu (PAM) miền thời gian (sau điều chế biên độ xung) Hình 3.4 Phổ điều chế với biên phụ (fs∀fmax) xung quanh tần số lấy mẫu miền tần số Hình 3.5 Khơi phục tín hiệu audio tương tư Hình 3.6 Hiện tượng chồng phổ Hình 3.7 Lấy mẫu thực tế tượng chồng phổ Hình 3.8 Quá trình lấy mẫu giữ miền tần số 11 Hình 3.9 a) thời gian lấy mẫu giá trị lượng tử hố bit Hình 3.9 b) giá trị giư Hình 3.9 c) sai số lượng tử hoa Hình 3.10 Mức lượng tử lỗi lượng tư Hình 3.11 Xác suất trung bình nằm hai giá trị +Q/2 – Q/2: Hình 4.1: Các thành phần hệ thống chuyển đổi văn thành tiếng nói Hình 4.2 : Chuyển đổi từ chuẩn hóa sang âm vị tương ứng Hình 4.3 : Bộ máy phát âm Hình 5.1 : Mơ hình hóa nguồn âm âm hưu Hình 5.2 Cách biểu diễn lý học tốn học a Mơ hình lý học đoạn ống m m + b Mơ hình tốn học đoạn ống thứ m Hình 5.3 số ứng dụng lĩnh vực xử lý tiếng nói Hình 6.1 tần số khơng thay đổi khơng dấu Hình 6.2 tần số giảm dần dấu huyền Hình 6.3 Tần số tăng dần dấu sắc Hình 6.4 Tần số dấu nặng Hình 6.5 Tần số dấu hỏi Hình 6.6 Tần số dấu ngã Hình 6.7 Biên độ tần số giảm dần phía cuối câu.của từ câu trần thuật Hình 6.8 Hình ảnh dạng sóng tần số câu khơng có ngữ điệu câu có từ để hỏi Hình 6.9 Các chuyển tiếp trạng thái mơ hình Markov Hình 6.10 Sự tiến hóa mơ hình Markov Hình 6.11: Kiến trúc tổng quát ANN Hình 6.12: Quá trình xử lý thơng tin ANN 12 Hình 6.13: Mối quan hệ Internal Activation kết (output) Hình 8.1 Relay Hình 8.2 : Cơ chế hoạt động phần mềm Hình 8.3: Mơ hình thiết kế điều khiển Hình 8.4 Sơ đồ kết nối Hình 8.5 Relay Hình 8.6 Sản phẩm DANH MỤC BẢNG Bảng 4.1 Ngữ âm học âm vị học Bảng 5.1 Công thức cho biến đổi ZT Bảng 5.2 Các dãy DFT tương ứng chúng Bảng 9.1 Kết nhận dạng 10 DANH MỤC CÁC CHỮ VIẾT TẮT DSP: Diagital Signal Processor – Xử lý tín hiệu số PCM: Pulse Code Modulation – Kỹ thuật điều chế xung mã PAM: Pulse Amplitude Modulation - Phương pháp điều chế xung biên PAM TTS: Text-to-Speech - Hệ thống chuyển văn thành tiếng nói NTSC (National Teltevision System Committee) - hệ video sử dụng hầu hết Bắc Mỹ Nam Mỹ PAL (Phase Alternating Line) - hệ Video dùng phần lớn Châu Âu, châu Á FT (Fourier Transform) - biến đổi Fourier FFT (Fast Fourier Transform) - biến đổi Fourier nhanh HMM (Hidden Markov Model) - Mơ hình Markov ẩn 13 CHƯƠNG 1: TỔNG QUAN 1.1 GIỚI THIỆU 1.1.1 Lý chọn đề tài, lĩnh vực nghiên cứu Với tình hình phát triển mạnh mẽ khoa học kỹ thuật, cơng nghệ thơng tin trở nên nóng hết Công nghệ đại, tự động hóa trở thành điểm nóng nhà khoa học nghiên cứu phát triển Để thứ trở nên tiện lợi nhà khoa học không ngừng miệt mài phát triển phần mềm, ứng dụng, phần cứng để phục vụ cho nhu cầu sống ngày để trở nên tiện lợi Ngày nay, vấn đề đảm bảo an tồn tự động hố ngày doanh nghiệp, quan đánh giá cao ích lợi mà hệ thống đem lại Một số công ty Việt Nam không ngừng đầu tư phát triển có nhiều hệ thống điều khiển giọng nói như: Switch air, BKAV (dự án Smart home),… Sự phát triển khoa học kỹ thuật ngày nhanh góp phần nâng cao suất lao động Đặc biệt đời phát triển công nghệ nhằm tạo tự động hóa, tiện lợi xã hội cơng nghiệp Đối với nước ngồi việc điều khiển giọng nói nghiên cứu chế tạo để ứng dụng vào đời sống sản suất đời vài năm trở lại Như MỸ ứng dụng để điều khiển robotcam y khoa Riêng nước ta lĩnh vực Do cần có đầu tư để nghiên cứu theo kịp cơng nghệ để phục vụ cho nhu cầu xã hội Từ lý trên, thấy khả phát triển nhu cầu tìm hiểu điều khiển giọng nói thân người u thích mong muốn sử dụng cơng nghệ này, bắt tay vào thực nghiên cứu đề tài định thực đề tài: “ĐIỀU KHIỂN THIẾT BỊ BẰNG GIỌNG NĨI THƠNG QUA MÁY TÍNH NHÚNG RASPBERRY PI” - Tình hình nghiên cứu đề tài (Giới thiệu đánh giá sơ công trình nghiên cứu có tác giả nước liên quan đến đề tài luận văn): Những ứng dụng tuyệt vời từ Raspberry Pi: 14 Raspberry Pi máy tính Linux phục vụ cho cơng việc thơng thường có kích thước thẻ tín dụng sản xuất Raspberry Pi Foundation, tổ chức phi lợi nhuận với tiêu chí xây dựng hệ thống mà nhiều người sử dụng công việc tùy biến khác Nhiệm vụ ban đầu dự án Raspberry Pi tạo máy tính rẻ tiền có khả lập trình cho sinh viên, Pi quan tầm từ nhiều đối tượng khác Tuy nhiên, với sức sáng tạo vô biên người, biến Raspberry Pi thành nhiều sản phẩm khác với khả ứng dụng tuyệt vời 1.1.2 Những nghiên cứu thực máy tính nhúng Raspberry Pi câu hỏi, giả thiết nghiên cứu đề tài 1.1.2.1 Làm xe ô tô điều khiển từ xa [23] Trang CMProgrammers đưa lên clip giới thiệu cách làm ô tô điều khiển từ xa với việc lặp đặt lên máy tính Raspberry Pi Hình 1.1 Q trình lắp ráp xe tô điều khiển từ xa sử dụng Raspberry Pi 15 1.1.2.2 Thiết bị hỗ trợ chụp time – lapse: [23] RasPiLapse thiết bị Rick Adam chế tạo dựa tảng thiết bị Raspberry Pi Một thiết bị hỗ trợ chụp ảnh time-lapse chuyên nghiệp lấy đến 650 USD (khoảng 13,6 triệu đồng), nhưng, với sản phẩm điều khiển Pi nhà phát triển Rick Adam, giá giảm xuống vài chục USD Hình 1.2 Bộ RasPiLapse Rick Adam 1.1.2.3 Raspberry Car – Hệ thống máy tính cho tơ [23] [24] Nếu lái xe hệ cũ, chưa trang bị thiết bị giải trí tối tân, để Raspberry Pi giúp ta Tính đến thời điểm này, có vài hệ thống máy tính cho xe phát triển từ Pi, chí chúng kèm với hình cảm ứng Có thể kể đến ví dụ điển hình suzukiswift Hình 1.3 Hệ thống máy tính Raspberry Pi xe ô tô Suzuki Swift 16 Thẻ nhớ 16gb class 10 ổ cứng Raspi Case nhựa Đựng Raspi LCD 5inch Màn hình Kích vật hdmi Relay 5v dụng điện cao áp Usb sound 2.0 Chuyển jack 3.5 sang usb Mic jack 3.5 Loa jack 3.5 Đèn led siêu sáng Dây cắm điện Dây chuyền tín hiệu/điện 87 Breadboard Điện trở Dây HDMI Cáp mạng Kết nối RJ45 mạng mạng lan Bảng vật liệu cần có 88 4.3 Cơ chế hoạt động: Hình 8.2 : Cơ chế hoạt động phần mềm (1): Micro (2): Google Voi API nhận nhiệm vụ chuyển giọng nói sang văn (3): So sánh nội dung đưa vào với thư viện từ khóa lập trình trước (4): Thực thi lệnh nội dung đưa vào giống với từ khóa lập trình (5): Google Speech API chuyển văn thực thi thành lời nói Phần mềm mô tả sử dụng Google Voice speech APIs: - B1: Các lệnh giọng nói từ người dùng nhận microphone - B2: Sau chuyển đổi sang văn cách sử dụng Google voice API - B3: Văn so sánh với lệnh xác định trước thư viện từ khóa lập trình trước - B4: Nếu văn phù hợp với từ khóa thư viện lệnh liên kết với thực thi 89 Ta sử dụng hệ thống hệ thống tương tác giọng nói với thiết bị cách làm cho Raspberry Pi đáp ứng với lệnh ta thông qua speech Điều thể đạt cách sử dụng Google speech API, chuyển đổi văn thành lời nói Hình 8.2 sơ đồ khối hiển thị cho hoạt động phần mềm nhận dạng giọng nói Raspberry Pi Giới thiệu Google Voice API (STT - Speech To Text) Google Voice API cho phép chuyển đổi âm sang văn cách áp dụng mơ hình mạng thần kinh (Neural Network) mạnh mẽ Có thể ghi lại văn người sử dụng thông qua microphone, cho phép lệnh điều khiển thông qua giọng nói, chép tập tin âm Để sử dụng Google Voice API, ta cần có tài khoản Google Voice cài đặt pygooglevoice để dùng Python giao tiếp với Google Voice 4.4 Sử dụng thư viện Sử dụng thư viện Jasper 90 4.5 Thiết kế điều khiển  Quy trình xử lý giọng nói phát âm luận văn  Tạo đối tượng nhận dạng giọng nói tổng hợp giọng nói  Sử dụng thư viện nhận dạng giọng nói, Tổng hợp giọng nói Hình 8.3: Mơ hình thiết kế điều khiển (1): Quạt (2): Đèn (3): Cấp nguồn cho Raspberry Pi (5V) (4): Cấp nguồn cho thiết bị điện (220V) Bước 1: Cắm đèn, quạt vào Port (Port Port 2) Bước 2: Cấp nguồn cho Raspberry Pi 5V Bước 3: Cấp nguồn cho đèn, quạt 220V Bước 4: Sử dụng giọng nói điều khiển qua Microphone 91 4.6 Sơ đồ kết nối (2) (1) (4) (3) Hình 8.4 Sơ đồ kết nối (1): Đèn (220v) (2): Phích cấm điện (cấp nguồn 220V) (3): Relay (4): Raspbery Pi Cách thức hoạt động relay ( rờ le ) Relay (Rờ le) ? Relay (rờ le) cơng tắc điện tử tự động có hai trạng thái đóng mở (1) (2) (5) (3) (4) (5) Hình 8.5 Relay (1) 10A - 250VAC: Cường độ dòng điện tối đa qua tiếp điểm rơ-le với hiệu điện