ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT KHOA ĐIỆN-ĐIỆN TỬ BÁO CÁO ĐỒ ÁN CHUYÊN NGÀNH ĐIỆN TỬ VIỄN THƠNG ĐỀ TÀI THIẾT KẾ MƠ HÌNH TRỢ LÝ GIỌNG NÓI ỨNG DỤNG EDGE AI ĐIỀU KHIỂN THIẾT BỊ ĐIỆN TRONG GIA ĐÌNH Sinh viên thực hiện:Nguyễn Quang Tuấn 1811505410243 Nguyễn Quang Vinh 1811505410244 Giảng viên hướng dẫn: TS Nguyễn Thị Khánh Hồng Tháng 5/2022 TÓM TẮT Đề tài: THIẾT KẾ MƠ HÌNH TRỢ LÝ GIỌNG NĨI ỨNG DỤNG EDGE AI ĐIỀU KHIỂN THIẾT BỊ ĐIỆN TRONG GIA ĐÌNH Sinh viên thực hiện: Nguyễn Quang Tuấn Mã SV: 1811505410243 Lớp: 18DT2 Sinh viên thực hiện: Nguyễn Quang Vinh Mã SV: 1811505410244 Lớp: 18DT2 Tài liệu báo cáo: bao gồm tất tài liệu báo cáo suốt trình thực đề tài - Báo cáo đồ án - Slide Final project - Poster workshop - Report báo cáo giai đoạn - Qcom.zip () - … (Tham khảo thêm tài liệu SmartSensor) Data: Đây tập liệu xây dựng Trần Duy Điền Mai Chiếm An nhằm mục đích thực đề tài Dữ liệu dự án bao gồm tất các đoạn audio dùng để huấn luyện mơ hình học máy cho dự án Các file âm lưu định dạng wav với kích thước > 1s file, thu thập trực tiếp gần ~50 người, tỷ lệ Nam/nữ = 70/30, chủ yếu người miền Trung, độ tuổi từ 18-35 tuổi Mô tả tập liệu: - Số lượng class: 10 class, số lượng file cụ thể - Trợ lý: 260 - Bật đèn: 230 - Tắt đèn: 225 - Bật tivi: 240 - Tắt tivi: 236 - Bật điều hòa: 250 - Tắt điều hòa: 247 - Bật máy chiếu: 240 - Tắt máy chiếu: 242 - Background Noise file với tổng thời lượng ~7 phút (cái bạn tự xây dựng được) (Chú ý: liệu Version1 nên cần phải convert sang dạng file wav thêm lần nữa.) en.fp-ai-sensing1_v4.0.3.zip: Thư viện xây dựng cho cảm biến có Audio hãng ST cung cấp Ở có thư viện xử lý âm vi điều khiển (Log mel spectrograms, MFCC, ) xây dựng ngôn ngữ C nằm ở: STM32CubeFunctionPack_SENSING1_V4.0.3\Middlewares\ST\STM32_AI_AudioPrepr ocessing Library\Src\feature_extraction.c Source Code: Toàn source code cuối project a Model AI on STM32: Source code xây dựng mơ hình CNN cho âm sử dụng để triển khai lên VĐK (Python) - model: chứa model training (model_1_3_21.h5 sử dụng để triển khai xuống vđk) - data: data dạng dataframe - x_test_mel.csv/y_test_mel.csv: data validation VĐK - preprocesing_mel.py : code trích xuất đặc trưng log Mel - model_mel: Model CNN b CNN for Audio: Source code hướng dẫn xây dựng mơ hình CNN (Python) - audio_processing.py: trích xuất đặc trưng - train.py: train model CNN - Prepare_dataset.py: xây dựng dataframe - convert TF-TFlite: convert model tensorflow sang dạng TF lite c AI on STM32: Source code implement CNN model lên STM32 © - Demo: Hình ảnh, video demo project Video demo Hình ảnh sản phẩm TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT KHOA ĐIỆN- ĐIỆN TỬ CỘNG HỊA XÃ HƠI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Giảng viên hướng dẫn: T.S Nguyễn Thị Khánh Hồng Sinh viên thực hiện: Nguyễn Quang Tuấn Mã SV: 1811505410243 Nguyễn Quang Vinh Mã SV: 1811505410244 Tên đề tài: THIẾT KẾ MƠ HÌNH TRỢ LÝ GIỌNG NÓI ỨNG DỤNG EDGE AI ĐIỀU KHIỂN THIẾT BỊ ĐIỆN TRONG GIA ĐÌNH Các số liệu, tài liệu ban đầu: Các số liệu: Chíp vi điều khiển: STM32Fxx Microphone Speaker Tài liệu ban đầu: Datasheet STM32F746: https://html.alldatasheet.com/htmlpdf/795865/STMICROELECTRONICS/STM32F746BE/144590/74/STM32F746BE.html Các phương pháp đánh giá mơ hình phân loại: https://tapit.vn/cac-phuong-phap-danhgia-mot-mo-hinh-phanloai/?fbclid=IwAR2FVgwGdMbbclCfPBLa_o27A0Ss7ME4x7y2uUfBQtKPeH6qkQIS8s k6318 Nội dung đồ án: Chương1.Tởng quan đề tài Trình bày đặt vấn đề dẫn nhập lý chọn đề tài, mục tiêu, nôi dung ̣ nghiên cứu Chương 2: Xây dựng hệ thống Trình bày lý thuyết có liên quan đến vấn đề mà đề tài dùng để thực thiết kế, thi công cho đề tài Chương 3: Thiết lập mơ hình nhận dạng âm Giới thiệu tổng quan yêu cầu đề tài thiết kế tính tốn liên quan đến đề tài Chương 4: Triển khai mô hình nhận dạng âm lên thiết bị nhúng STM32 Thi cơng phần cứng, viết code nộp chương trình cho vi điều khiển Đánh giá kết Hướng Phát Triển Chương trình bày ngắn gọn kết thu dựa vào phương pháp, thuật toán kiến nghị ban đầu Các sản phẩm dự kiến Hồn thành sản phẩm mơ hình nhà thơng minh điều khiển giọng nói Ngày giao đồ án: 14/2/2022 Ngày nộp đồ án: 27/5/2022 Đà Nẵng, ngày tháng năm 2022 Trưởng Bộ môn Người hướng dẫn LỜI MỞ ĐẦU Hiện nay, cơng nghệ đại đóng vai trị qua trọng trọng sống người, Những thành tựu cách mạng khoa học kỹ thuật áp dụng rộng rãi vào kinh tế sống sinh hoạt người, đưa đến đổi thay chưa có lịch sử lồi người Là sinh viên chuyên ngành Điện Tử Viễn Thông, sau thời gian học tập rèn luyện Trường Đại học Sư Phạm Kỹ Thuật, giảng dạy tận tình thầy với cố gắng nỗ lực thân, em giao đề tài tốt nghiệp “ Trợ lí ảo giọng nói văn phòng ứng dụng EDGE điều khiển thiết bị điện gia đình”.Khi giao đồ án tốt nghiệp, xác định công việc quan trọng nhằm đánh giá lại tồn kiến thức mà tiếp thu trình học tập trường, em có nhiều cố gắng Đề tài chuyên ngành mẻ Việt Nam, đồ án em tập trung sâu vào cơng việc , nghiên cứu huấn luyện mơ hình AI chuẩn giao tiếp với Đồ án gồm phần : Chương 1: Tổng quan đề tài Chương 2: Xây dựng hệ thống Chương 3: Thiết lập mơ hình nhận dạng âm Chương 4: Mơ hình nhận dạng tích hợp thiết bị nhúng STM32 Sau tháng tìm hiểu tham khảo, với ý thức nỗ lực thân với giúp đỡ tận tình thầy, đặc biệt TS Nguyễn Thị Khánh Hồng giúp em tận tình trình làm đồ án Qua đồ án cho em xin bày tỏ lời cảm ơn chân thành tới TS Nguyễn Thị Khánh Hồng ThS Nguyễn Huỳnh Nhật Thương-GD công ty TNHH TAPIS Trong q trình hồn thành đồ án, với trình độ kiến thức chun mơn chưa nhiều, kinh nghiệm thực tế cịn thời gian có hạn nên đồ án em tránh thiếu sót Do đó, em kính mong bảo thêm thầy, đóng góp bạn để em hoàn thiện Em xin chân thành cảm ơn! Đà Nẵng, ngày tháng năm 2022 LỜI CAM ĐOAN Đồ án cơng trình nghiên cứu nhóm Tất đoạn văn, ý kiến, quan điểm người khác sử dụng dẫn nguồn lập danh mục tham khảo cuối đồ án Đồ án nộp với mục đích thực đồ án tốt nghiệp Tơi thực đề tài khơng chép từ viết công bố mà không trích dẫn nguồn gốc Nếu có vi phạm nào, tơi thực chịu hồn tồn trách nhiệm Đã bổ sung, cập nhật theo yêu cầu Giảng viên phản biện Hội đồng chấm Đồ án tốt nghiệp họp 17, 18/6/2022 Sinh viên thực MỤC LỤC Danh mục hình CHƯƠNG TỔNG QUAN ĐỀ TÀI 1.1 Tính cấp thiết đề tài 1.2 Các giải pháp 1.3 Đề xuất giải pháp 1.4 Kết luận chương CHƯƠNG XÂY DỰNG HỆ THỐNG 2.1 Giới thiệu chương 2.2 Khối cảm biến 2.2.1 Microphone 2.3 Led thông báo trạng thái 2.4 Khối điều khiển trung tâm 2.5 Sơ đồ khối tổng thể hệ thống 10 2.6 Tổng kết chương 10 CHƯƠNG THIẾT LẬP MƠ HÌNH NHẬN DẠNG ÂM THANH 11 3.1 Tổng quan mạng nơ-ron tích chập 11 3.2 Cơng cụ xây dựng mơ hình 12 3.2.1 TensorFlow 13 3.2.2 Keras 14 3.3 Xây dựng mơ hình 15 3.3.1 Chuẩn bị liệu 16 3.3.2 Trích xuất đặc trưng Log-Mel Spectrogram 17 3.3.3 Cấu trúc mơ hình 21 3.3.4 Kết mô hình 23 3.4 Kết luận chương 25 CHƯƠNG TRIỂN KHAI MƠ HÌNH NHẬN DẠNG LÊN THIẾT BỊ NHÚNG STM32 26 4.1 Giới thiệu chương 26 4.2 Nhận dạng âm mơ hình AI Vi điều khiển STM32 26 4.2.1 Nhúng mơ hình xuống vi điều khiển 26 4.2.2 Dữ liệu âm thực tế 30 4.2.3 Trích đặc trưng Log-Mel Spectrogram vi điều khiển 32 4.2.4 Thực thi mô hình vi điều khiển để nhận dạng âm 32 4.3 Kết luận chương 33 ĐÁNH GIÁ KẾT QUẢ, HƯỚNG PHÁT TRIỂN 34 Đánh giá kết 34 1.1 Kết 34 1.2 Đánh giá 35 Kết luận hướng phát triển 36 2.1 Kết luận 36 2.2 Hướng phát triển 36 Tài liệu tham khảo 37 Danh mục hình Hình 1.1 Trợ lý ảo GoogleHome Amazon Alexa Echo Dot3 Hình 1.2 Các cơng cụ cơng nghệ sử dụng hệ thống Hình 1.3 Sơ đồ khối tổng quát hệ thống Hình 2.1 Microphone MAX9814 Hình 2.2 Led đơn Hình 2.4 Các dịng vi điều khiển STM32 Hình 2.5 Các dịng vi điều khiển STM32 hỗ trợ AI Hình 2.6 Sơ đồ tổng quát ARM Cortext-M7 Hình 2.7 Vi điều khiển STM32F746NG Hình 2.8 Sơ đồ khối tổng thể hệ thống 10 Hình 3.1 Cấu trúc mạng CNN 11 Hình 3.2 TensorFlow 13 Hình 3.3 High-level APIs TensorFlow 14 Hình 3.4 Các bước thực nhận dạng âm 15 Hình 3.5 Các âm tập liệu 17 Hình 3.6 Q trình trích đặc trưng Log-Mel Spectrogram 17 Hình 3.7 Quá trình biến đổi STFT 18 Hình 3.8 Chuyển phổ STFT qua Mel scale 19 Từ Confusion matrix tập test ta lập bảng tính precision recall bảng sau: Precisio n Recall F1score Background_Nois e Batden 100% 100% 100% 92% 88% 90% Batdieuhoa 90% 78% 84% Batmaychieu 94% 91% 92% Battivi 88% 100% 94% Tatden 94% 94% 94% Tatdieuhoa 82% 89% 85% Tatmaychieu 90% 86% 88% Tattivi 100% 88% 94% Troly 97% 100% 98% Bảng Bảng tính precision, recall F1-score class tập test 3.4 Kết luận chương Qua chương Ⅲ, tìm hiểu tổng quan mạng nơ-ron tích chập (convolutional neural network) bao gồm lớp Convolution Layers, Pooling Layers, Global Max-Pooling Layers, Fully-Connected Layers, Tìm hiểu tổng quan cơng cụ để xây dựng mơ hình trí tuệ nhận tạo TensorFlow, Keras Tìm hiểu cách xây dựng mơ hình trí tuệ nhân tạo phục vụ cho việc nhận dạng âm với chi tiết bước sau: Thu thập xây dựng sở liệu Trích xuất đặc trưng Log-Mel Spectrogram Xây dựng mơ hình mạng nơ-ron tích chập Huấn luyện mơ hình, kiểm thử hiệu chỉnh mơ hình Đánh giá kết mơ hình Qua nhiều lần thử nghiệm hiệu chỉnh mơ hình, nhóm có mơ hình nhận dạng với tỉ lệ nhận dạng xác cao Đạt kết 96% đáp ứng yêu cầu đặt ban đầu 25 | P a g e CHƯƠNG MƠ HÌNH NHẬN DẠNG TÍCH HỢP THIẾT BỊ NHÚNG TRÊN STM32 4.1 Giới thiệu chương Chương trình bày cách thực thi mơ hình AI thiết bị vi điều khiển phục vụ cho việc nhận dạng từ khóa điều khiển cơng cụ STM32 Cube.AI để chuyển đổi mơ hình huấn luyện từ máy tính xuống thiết bị vi điều khiển Quy trình việc lấy liệu từ Microphone đến bước trích đặc trưng vi điều khiển STM32 cuối thực thi nhận dạng âm mơ hình vi điều khiển Ngoài để đồng với cấu trúc có sẵn, điều khiển hồng ngoại nhóm sử dụng phương thức điều khiển không dây hệ thống với thiết bị có hỗ trợ điều khiển hồng ngoại Phương thức bao gồm phần là: Giải mã hồng ngoại phần điều khiển hồng ngoại 4.2 Nhận dạng âm mơ hình AI Vi điều khiển STM32 4.2.1 Nhúng mơ hình xuống vi điều khiển Sau huấn luyện mơ hình thành cơng, nhóm tiến hành triển khai mơ hình lên vi điều khiển STM32 Thường mơ hình AI chạy sever hệ thống máy tính với tài nguyên nhớ lớn tốc độ xử lý cao Tuy nhiên đây, cơng nghệ mà nhóm thực Edge AI cho phép triển khai thực thi mơ hình AI thiết bị vi điều khiển Tuy nhiên, tính chất mơ hình AI u cầu lớn tài nguyên tốc độ xử lý, việc triển khai lên thiết bị vi điều khiển khó khăn so với triển khai máy tính 26 | P a g e Tuy nhiên hãng STMicroelectronics (ST) đưa công cụ STM32 Cube.AI, cơng cụ cho phép triển khai mơ hình AI huấn luyện thành công xuống vi điều khiển STM32 cách dễ dàng [13] Hình 4.1 Cơng cụ STM32 Cube.AI Sau sử dụng cơng cụ nhóm triển khai thành cơng mơ hình nhận dạng từ khóa điều khiển lên vi điều khiển STM32F746 mà nhóm lựa chọn Sau mơ hình phân tích cơng cụ STM32 Cube.AI tài ngun phần cứng mà mơ hình chiếm dụng vi điều khiển là: 58.1 Kb RAM 65.6 Kb Flash Thư viện AI cơng cụ STM32 Cube.AI sinh ra: Hình 4.2 Thư viện AI vi điều khiển STM32 27 | P a g e Với vi điều khiển STM32F746NG mà nhóm lựa chọn tài ngun phần cứng là: Mb Flash 320Kb RAM Tần số hoạt động tối đa 216MHz Với thông số vi điều khiển mà nhóm lựa chọn đáp ứng tiêu chí để triển khai mơ hình AI mà nhóm xây dựng Cấu trúc mơ hình sau phân tích cơng cụ STM32 Cube.AI thông qua lệnh Analyze Show Graph [14]: Hình 4.3 Cấu trúc mơ hình phân tích công cụ STM32 Cube.AI 28 | P a g e Đồng thời cơng cụ cịn độ phức tạp phép tính tốn thơng qua thông số MACC= 3.376.694 Đối với vi điều khiển sử dụng hệ thống STM32F746 lõi ARM Cortex M7 số cycles MACC xấp xỉ n=6 cycles/1MACC Với độ phức tạp tần số hoạt động vi điều khiển cấu hình = 200MHz thời gian kể từ đầu vào lúc nhận đầu mơ hình là: Với n số cycles MACC tần số hoạt động vi điều khiển Đây thời gian nhanh nên xem hệ thống hoạt động real time, có tín hiệu đầu vào cho kết Hình 4.4 STM32 Cube.AI sau phân tích mơ hình thành cơng 29 | P a g e 4.2.2 Cơ sở liệu âm thực tế Sau nhúng mơ hình lên vi điều khiển thành cơng, nhóm tiến hành thu thập liệu âm thực tế từ môi trường để tiến hành trình nhận dạng cục Âm thu thập thơng qua Mem Microphone MAX9841 mà nhóm lựa chọn Quá trình lấy âm bao gồm bước: Cấu hình ngoại vi ADC vi điều khiển STM32 để giao tiếp vi điều khiển STM32 với Microphone để thực việc lấy mẫu âm với tần số lấy mẫu fs = 16KHz [15] Cấu hình ADC chế độ DMA để thu liệu cách liên tục [16] Độ phân giải 12 bit số bit cần thiết để chứa hết mức giá trị số (digital) sau trình chuyển đổi ngõ (ngõ có 4096 giá trị khác nhau), 12 bit độ phân giải lớn MCU STM32F746 để đáp ứng tốt cho việc lấy mẫu Sử dụng chế độ chuyển đổi liên tục để thực việc chuyển đổi kênh liên tục Hình 4.5 Cấu hình ADC vi điều khiển STM32 Để thực việc lấy liệu âm từ Microphone ta phải cấu hình xung clock vi điều khiển cho tần số lấy mẫu âm phải lớn tần số lấy mẫu mà ta thực máy tính 30 | P a g e Hình 4.6 Cấu hình xung clock Vi điều khiển STM32F746 Để hệ thống ln có liệu ADC lấy liệu liên tục dùng DMA để chuyển liệu từ ngoại vi ADC liên tục vào nhớ Việc sử dụng DMA giúp chuyển liệu từ ngoại vi đến nhớ mà không cần đến thực thi CPU làm cho CPU hoàn toàn độc lập với ngoại vi hỗ trợ DMA mà đảm bảo ngoại vi thực cơng việc giao đồng thời CPU thực công việc khác DMA hoạt động hai chế độ Normal Circular, chế độ Normal DMA bắt đầu truyền truyền hết tất dừng lại Đối với chế độ Circular DMA bắt đầu truyền liệu truyền hết tất dừng lại, liệu nhận lưu tiếp vào liệu trước đệm nhận liệu đầy quay lại từ đầu Ở để phù hợp nhóm cấu hình DMA hoạt động chế độ Circular Hình 4.7 Cấu hình DMA vi điều khiển STM32 31 | P a g e 4.2.3 Trích đặc trưng Log-Mel Spectrogram vi điều khiển Sau tiến hành thu thập liệu từ microphone xong ta tiến hành trích xuất đặc trưng Log MelSpectrogram cục vi điều khiển để làm đầu vào cho mơ hình nhận dạng Điều đặc biệt ở máy tính, đặc trưng Log MelSpectrogram trích xuất ngơn ngữ Python vi điều khiển, hồn tồn thực ngơn ngữ C Có thư viện hỗ trợ cho việc trích đặc trưng vi điều khiển thư viện CMSIS Hình 4.8 Trích đặc trưng Log MelSpectrogram thư viện CMSIS Sau trích xuất đặc trưng Log MelSpectrogram thư viện CMSIS xong ta thu vector đặc trưng có kích thước 30x32=960 giá trị tương đồng với đặc trưng ta trích xuất máy tính 4.2.4 Thực thi mơ hình vi điều khiển để nhận dạng âm Sau lấy tín hiệu âm thực tế từ môi trường thông qua microphone, trích đặc trưng tín hiệu âm bước thực việc nhận dạng âm mơ hình nhúng vi điều khiển với đầu vào vector đặc trưng 32 | P a g e trích từ tín hiệu âm thu Như trình bày mục (2.1) sau xử dụng cơng cụ STM32 Cube.AI cơng cụ sinh thơng tin liên quan đến mơ hình thư viện AI phục vụ cho việc nhận dạng âm vi điều khiển Trong hàm ai_run(aSpectrogram,data_out) với đầu vào vector đặc trưng trích xuất thư viện CMSIS data_out mảng chứa xác suất xuất loại âm sau lần mơ hình tiến hành nhận dạng, tổng giá trị tất phần tử mảng Sau ta tiến hành tìm giá trị lớn mảng lưu vào biến max_output, vị trí phần tử lưu vào biến max_output_ind Giá trị biến Max_output_ind nhãn loại âm mà mơ hình nhận dạng Hình 4.9 Q trình debug xem giá trị kết thành phần aSpectrogram, data out, max output, max output ind,… 4.3 Kết luận chương Trong chương Ⅳ nhóm trình bày cách triển khai mơ hình trí tuệ nhân tạo lên thiết bị nhúng STM32 công cụ STM32 Cube AI, cách hệ thống lấy liệu âm thực tế thông qua ngoại vi ADC chế độ Circular tiến hành trích đặc trưng Log-Mel Spectrogram thư viện CMSIS Trên tất mà nhóm thực xuất q trình làm đồ án Cuối phần đánh giá kết hướng phát triển mà nhóm đề 33 | P a g e ĐÁNH GIÁ KẾT QUẢ, HƯỚNG PHÁT TRIỂN Đánh giá kết 1.1 Kết Nhóm xây dựng mơ hình hệ thống điều khiển thiết bị gia đình giọng nói đáp ứng tất tiêu chí đặt ban đầu như: Độ xác nhận dạng từ khóa điều khiển 90% Là hệ thống xây dựng tảng Edge AI, hoạt động độc lập, khơng cần phải có kết nối internet Hệ thống đồng điều khiển với relay đáp ứng mục tiêu không phá vỡ kết cấu gia đình lắp đặt 34 | P a g e 1.2 Đánh giá Hệ thống mức độ mơ hình cho thấy tính đơn giản nhỏ gọn, kết với hệ thống nhúng khác cách dễ dàng Edge AI xem công nghệ xu hướng nay, hệ thống xử lý biên tốt giảm tải lớn khối lượng cơng việc local Vì đề tài phát triển lĩnh vực xử lý âm hay hình ảnh, tạo nhiều ứng dụng thực tế 35 | P a g e Kết luận hướng phát triển 2.1 Kết luận Đây hệ thống mà nhóm tâm đắc trình thực đồ án Hệ thống đáp ứng tồn yêu cầu ban đầu mà nhóm đặt Kết nhiều điểm chưa thực đánh giá rõ ràng, nhiên tiếp tục phát triển, nhóm hồn thiện thành hệ thống hồn chỉnh, Hướng phát triển Nâng cao khả đáp ứng hệ thống, tối ưu, tăng độ xác nhận dạng Trong thời gian tới, nhóm có hướng phát triển, xây dựng thêm mơ hình nhận dạng khác khơng âm hình ảnh nhận dạng chữ số viết tay, nhận dạng, phân loại vật, người,… Xây dựng, tích hợp nhiều mơ hình khác thiết bị vi điều khiển (multi model) để đa dạng hóa chức Xây dựng hệ thống dòng vi điều khiển dual core (STM32H7xx) để tối ưu tốc độ tính tốn, tăng khả đáp ứng hệ thống, đáp ứng mục đích real time 36 | P a g e Tài liệu tham khảo [1] C LINDER, "Amazon Echo vs Google Nest: Which Smart Home Hub Is Better?," https://www.popularmechanics.com/technology/gear/a28929913/google-home-vsalexa/ [2] https://hshop.vn/products/cam-bien-am-thanh-tich-hop-max9814 [3] https://www.dientu360.com/module-relay-4-kenh-5v-220vac-10a [4] "High-performance and DSP with FPU, Arm Cortex-M7 MCU with Mbyte of Flash memory, 216 MHz CPU, Art Accelerator, L1 cache, SDRAM, TFT," https://www.st.com/en/microcontrollers-microprocessors/stm32f746ng.html [5] "An introduction to Convolutional Neural Networks," https://towardsdatascience.com/an- introduction-to-convolutional-neural-networkseb0b60b58fd7 [6] "An Introduction to Recurrent Neural Networks for Beginners," https://urlgo.cc/od2m3 [7] J Dennis, H D Tran, and H Li, "Spectrogram image feature for sound event classification in mismatched conditions," IEEE signal processing letters, vol 18, no 2, pp 130–133, 2010 [8] "Short-time fourier transform (STFT) Week_5_Lecture_Material," https://nptel.ac.in/content/storage2/courses/117105145/pdf/Week_5_Lecture_Materi al.pdf [9] S Ioffe and C Szegedy, "Batch normalization: Accelerating deep network training by reducing internal covariate shift," arXiv preprint arXiv:1502.03167, 2015 37 | P a g e [10] Y Gal and Z Ghahramani, "Dropout as a bayesian approximation: Representing model," international conference on machine learning, 2016 [11] "Loss function and Optimization, Lecture | Loss Functions and Optimization," http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture3.pdf [12] STMicroelectronics, "Save to mySTAI expansion pack for STM32CubeMX" [13] Deeplearningedge, "Validate Keras Model on STM32" [14] "RM0385Reference manualSTM32F75xxx and STM32F74xxx advanced Arm®-based" [15] STMicroelectronics, "STM32 solutions for Artificial Neural Networks" [16] "Timer Input Capture," https://www.youtube.com/watch?v=2FoZ7kHOdT0 [17] IntroductiontoSTM32Cube.AI-STMicroelectronics, https://www.st.com/content/st_com/en/support/learning/stm32-education/stm32moocs/Introduction_to_STM32CubeAI_MOOC.html [18] Y Gal and Z Ghahramani, "Dropout as a bayesian approximation: Representing model uncertainty in deep learning," international conference on machine learning, pp 1050–, 2016 38 | P a g e 39 | P a g e ... 1811505410244 Tên đề tài: THIẾT KẾ MÔ HÌNH TRỢ LÝ GIỌNG NĨI ỨNG DỤNG EDGE AI ĐIỀU KHIỂN THIẾT BỊ ĐIỆN TRONG GIA ĐÌNH Các số liệu, tài liệu ban đầu: Các số liệu: Chíp vi điều khiển: STM32Fxx Microphone...TĨM TẮT Đề tài: THIẾT KẾ MƠ HÌNH TRỢ LÝ GIỌNG NÓI ỨNG DỤNG EDGE AI ĐIỀU KHIỂN THIẾT BỊ ĐIỆN TRONG GIA ĐÌNH Sinh viên thực hiện: Nguyễn Quang Tuấn Mã SV: 1811505410243... khiển điều kiện khơng có kết nối internet Để thực mục tiêu trên, nhóm đề xuất thực đề tài THIẾT KẾ MƠ HÌNH TRỢ LÝ GIỌNG NĨI ỨNG DỤNG EDGE AI ĐIỀU KHIỂN THIẾT BỊ ĐIỆN TRONG GIA ĐÌNH Đây công nghệ quan