THIẾT kế mô HÌNH GIÁM sát văn PHÒNG BẰNG ỨNG DỤNG EDGE AI

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT KHOA ĐIỆN – ĐIỆN TỬ - - ĐỒ ÁN TỐT NGHIỆP Tên đề tài: THIẾT KẾ MƠ HÌNH GIÁM SÁT VĂN PHỊNG BẰNG ỨNG DỤNG EDGE AI Giáo viên hướng dẫn: T.s Nguyễn Thị Khánh Hồng Sinh viên thực hiện: Nguyễn Hoàng Long Tạ Anh Nhân Đà Nẵng, 5/2022 TÓM TẮT Tên đề tài: Thiết kế mơ hình giám sát mơi trường văn phịng ứng dụng Edge AI Sinh viên thực hiện: Nguyễn Hoàng Long Mã SV: 1811505410120 Lớp: 18DT1 Sinh viên thực hiện: Tạ Anh Nhân Mã SV: 1811505410226 Lớp: 18DT2 Chương 1: TỔNG QUAN VỀ ĐỀ TÀI Chương trình bày tính cấp thiết đề tài nêu giải pháp đề xuất hướng giải đề tài Chương 2: TÌM HIỂU VỀ PHẦN CỨNG VÀ PHẦN MỀN Chương tìm hiểu tất linh kiện thông số kỹ thuật, sơ đồ chân, phần mền sử dụng đề tài Chương 3: XÂY DỰNG MƠ HÌNH NHẬN DẠNG ÂM THANH Chương tìm hiểu mạng nơ-ron tích chập, cơng cụ xây dựng mơ hình, chuẩn bị liệu âm thanh, xây dựng mơ hình Chương 4: HỆ THỐNG NHÚNG VÀ IOT Chương bắt đầu nhận diện âm mô hình AI vi điều khiển STM32, nhúng mơ hình xuống vi điều khiển, lấy liệu âm thực tế i NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Giảng viên hướng dẫn: T.S Nguyễn Thị Khánh Hồng Sinh viên thực hiện: Nguyễn Hoàng Long Tạ Anh Nhân Mã SV: 1811505410120 Mã SV: 1811505410226 Tên đề tài: Thiết kế mô hình giám sát mơi trường văn phịng ứng dụng Edge AI Các số liệu, tài liệu ban đầu:  Các số liệu: o Chíp vi điều khiển: STM32Fxx o Màng hình hiển thị: Màng hình NEXTION editor o Sensor : DHT11 o Các loại module : Module WiFi ESP  Tài liệu ban đầu: o Datasheet STM32F746: https://html.alldatasheet.com/html-pdf/795865/STMICROELECTR ONICS/STM32F746BE/144590/74/STM32F746BE.html o Giải pháp triển khai mạng nơron stm32: https://tapit.vn/giaiphap-cua-st-giup-trien-khai-mang-no-ron-nhan-tao-tren-stm32/ Nội dung đồ án: Chương 1: TỔNG QUAN VỀ ĐỀ TÀI - Tính cấp thiết đề tài Các giải pháp Đề xuất giải pháp Chương 2: TÌM HIỂU VỀ PHẦN CỨNG VÀ PHẦN MỀN - Tìm hiểu phần cứng sử dụng đề tài Tìm hiểu phần mền sử dụng đề tài Chương 3: XÂY DỰNG MƠ HÌNH NHẬN DẠNG ÂM THANH - Tổng quan mạng nơ-ron tích chập Cơng cụ xây dựng mơ hình Xây dựng mơ hình Chương 4: NHÚNG MƠ HÌNH NHẬN DẠNG LÊN MCU VÀ HIỂN THỊ LÊN MÀN HÌNH ii - Nhận dạng âm mơ hình AI vi điều khiển STM32 Nhiệt độ, độ ẩm khơng khí Hiển thị thơng số lên hình Lưu trữ hiển thị thống số lên Web server Kết Luận Hướng Phát Triển Phần trình bày ngắn gọn kết thu dựa vào phương pháp, thuật toán kiến nghị ban đầu Các sản phẩm dự kiến - Hồn thành mơ hình giám sát văn phịng đọc nhận dạng âm hiển thị lên hình - Báo cáo tổng kết đồ án tốt nghiệp Ngày giao đồ án: 14/2/2022 Ngày nộp đồ án: 27/5/2022 Đà Nẵng, ngày 17 tháng năm 2022 Người hướng dẫn Trưởng Bộ mơn iii LỜI NĨI ĐẦU Hiện nhu cầu giám sát địa điểm văn phòng làm việc, phòng học, ngày trở nên phổ biến Người giám sát ln muốn biết hoạt động xảy nơi mà họ quản lí, muốn giám sát hoạt động liên quan đến an ninh Để giải nhu cầu có giải pháp lắp camera để giám sát Tuy nhiên việc lắp camera thường gây khó chịu cho người sử dụng văn phòng hay phòng học đồng thời giải pháp khơng khả quan khu vực cần riêng tư tế nhị mặt hình ảnh, ngồi sử dụng camera khơng thể giám sát hết góc khuất hay khu vực có tường chắn Để giải vấn đề ta giám sát hoạt động văn phòng âm Bên cạnh chất lượng mơi trường bao gồm yếu tố như: Nhiệt độ, độ ẩm, ảnh hướng lớn đến tinh thần, hành vi suất làm việc người làm việc trường văn phịng Nên nhóm tiến hành xây dựng hệ thống “Giám sát văn phịng” có khả giám sát hoạt động văn phịng thơng qua việc nhận dạng âm thanh, đồng thời hệ thống có khả giám sát thơng số mơi trường Tất việc giám sát giúp cho người giám sát có điều chỉnh kịp thời phù hợp để mang đến điều kiện, môi trường làm việc tốt cho nhân viên Một lần chúng em xin gửi lời cảm ơn chân thành đến cô TS Nguyễn Thị Khánh Hồng anh Nguyễn Huỳnh Nhật Thương giúp đỡ nhóm suốt trình thực đề tài Đồng thời nhóm xin cảm ơn thầy cô giáo môn Khoa Điện – Điện tử, giảng dạy cung cấp kiến thức cho chúng em năm tháng học tập trường Đại Học Sư Phạm Kỹ Thuật – Đà Nẵng Do thời gian nghiên cứu thực đề tài giới hạn khoảng thời gian định, vốn kiến thức việc tìm hiểu sâu hệ thống hạn chế nên đề tài có nhiều thiếu sót, mong q thầy người đọc đóng góp ý kiến để đề tài hồn thiện Em xin chân thành cảm ơn! iv LỜI CAM ĐOAN Nhóm em xin cam đoan đồ án tốt nghiệp “Hệ thống giám sát văn phịng ứng dụng trí tuệ nhân tạo Edge AI” trình nghiên cứu chúng em Những phần sử dụng tài liệu tham khảo đồ án nêu rõ phần tài liệu tham khảo Các số liệu, kết trình bày đồ án hoàn toàn trung thực, sai tơi xin chịu hồn tồn trách nhiệm chịu hình thức kỷ luật mơn, khoa nhà trường đề Sinh viên thực Nguyễn Hoàng Long Tạ Anh Nhân v MỤC LỤC TÓM TẮT .i NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP ii LỜI NÓI ĐẦU iv LỜI CAM ĐOAN v MỤC LỤC vi DANH SÁCH CÁC BẢNG, HÌNH VẼ viii DANH SÁCH CÁC KÝ HIỆU, CHỮ VIẾT TẮT .x MỞ ĐẦU Chương 1: TỔNG QUAN VỀ ĐỀ TÀI 1.1 Tính cấp thiết đề tài: .3 1.2 Các giải pháp tại: 1.3 Đề xuất giải pháp: .5 Chương 2: TÌM HIỂU VỀ PHẦN CỨNG VÀ PHẦN MỀN 2.1 Vi điều khiển STM32 2.1.1 Thông số kỹ thuật : .10 2.2 Module ESP8266: .10 2.2.1 Đặc tính bật Module Wifi ESP8266: .11 2.2.2 Thông số kỹ thuật: .11 2.2.3 Sơ đồ chân: 11 2.3 Màng hình NEXTION: 12 2.3.1 Tính sản phẩm: 12 2.3.2 Thông số kỹ thuật: .13 2.4 Cảm biến nhiệt độ, độ ẩm DHT11: 14 2.4.1 Thông số kỹ thuật: 14 2.4.2 Sơ đồ chân DHT11: 15 2.4.3 Cách sử dụng DHT11: .15 2.5 Cảm biến âm thanh: 16 2.5.1 Thông số: 17 2.6 Các phần mền sử dụng: 17 2.6.1 Phần mền Arduino IDE: .17 2.6.2 Phần mền STM32 CubeIDE: 18 vi 2.6.3 Phần mền NEXTION Editor: .18 Chương 3: XÂY DỰNG MƠ HÌNH NHẬN DẠNG ÂM THANH 20 3.1 Tổng quan mạng nơ-ron tích chập 20 3.1.1 Lớp tích chập: .22 3.1.2 Lớp pooling: 23 3.1.3 Lớp global max-pooling: .24 3.1.4 Lớp fully-connected: 26 3.2 Công cụ xây dựng mơ hình: 27 3.2.1 Tensorflow 27 3.2.2 Keras 28 3.3 Xây dựng mơ hình: 29 3.3.1 Chuẩn bị liệu: 30 3.3.2 Trích xuất đặc trương Log-Mel-Spectrogram: 30 3.3.3 Cấu trúc mô hình: .35 3.3.4 Kết mơ hình 36 Chương 4: HỆ THỐNG NHÚNG VÀ IOT .39 4.1 Nhận dạng âm mơ hình AI vi điều khiển STM32: 39 4.1.1 Nhúng mô hình xuống vi điều khiển: 39 4.1.2 Lấy liệu âm thực tế: .43 4.2 Nhiệt độ, độ ẩm khơng khí: 47 4.3 Hiển thị thông số lên hình: 48 4.4 Lưu trữ hiển thị thống số lên Web server: 50 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 51 TÀI LIỆU THAM KHẢO 53 vii DANH SÁCH CÁC BẢNG, HÌNH VẼ Bảng 1: Sơ đồ chân DHT11 15 Bảng 1:Bảng tính precision recall class tập valid 38 Hình 1: Ô nhiễm tiếng ồn văn phòng làm việc Hình 2: Thơng số mơi trường văn phịng làm việc Hình 3: Các cơng cụ cơng nghệ sử dụng hệ thống Hình 4: Sơ đồ khối tổng quát hệ thống .7 Hình 1: Các dòng vi điều khiển STM32 Hình 2: Các dịng vi điều khiển STM32 hỗ trợ AI Hình 3: Vi điều khiển STM32F746NG .9 Hình 4: Module ESP8266 .10 Hình 5: Sơ đồ chân ESP8266 12 Hình 6: Kích thức màng hình 13 Hình 7: Cảm biến nhiệt độ, độ ẩm DHT11 .14 Hình 8: sơ đồ chân DHT11 .15 Hình 9: Sơ đồ khối DHT11 .16 Hình 10: cảm biến âm 17 Hình 11: sơ đồ khối hệ thống 19 Hình 1: cấu trúc mạng CNN 21 Hình 2: Ví dụ đơn giản tích chập .22 Hình 3: Một lớp tích chập với lọc 23 Hình 4:Max-Pooling với kernel_size = (3, 3), S = 1, P = 23 Hình 5: Pooling Layer 24 Hình 6: Max pooling average pooling .24 Hình 7: Global max-pooling 25 Hình 8: Giảm số chiều ten-xơ global max-pooling 25 Hình 9: Các lớp fully-connected .26 Hình 10: Tensorflow 27 Hình 11: Keras 28 Hình 12: bước nhận dạng âm 29 viii Hình 13: âm tập liệu 30 Hình 14: q trình trích xuất đặc trưng 31 Hình 15: Lấy frame tín hiệu âm 31 Hình 16: Quá trình biến đổi thành Spectrogram .33 Hình 17: Quá trình biến đổi thành Log-Mel Spectrogram 34 Hình 18: Cấu trúc mơ hình .35 Hình 19: Cấu trúc mơ hình nhận dạng âm tổng 36 Hình 20: Accuracy mơ hình .36 Hình 21: Loss mơ hình .37 Hình 22:Confusion matrix tập valid 38 Hình 1: Cơng cụ STM32Cube.AI 40 Hình 2:Cấu trúc mơ hình phân tích cơng cụ STM32 Cube.AI 41 Hình 3:Kết Validation STM32 thực công cụ STM32 Cube.AI .42 Hình 4: Yêu cầu phần cứng tối thiểu vi điều khiển STM32 để thực thi mơ hình AI 43 Hình 5: Cấu hình xung clock Vi điều khiển STM32F746 .45 Hình 6:Cấu hình ADC vi điều khiển STM32 45 Hình 7: Cấu hình DMA vi điều khiển STM32 46 Hình 8:Double bufering 47 Hình 9: Giao tiếp One wire cảm biến DHT11 vi điều khiển 47 Hình 10: Giao diện phần mền NEXTION Editor 49 Hình 11: Thiết kế giao diện hình .49 Hình 12: Các icon âm cần nhận dạng .50 Hình 13: Giao diện Web server 50 ix Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc Hình 1: Cơng cụ STM32Cube.AI Cơng cụ giúp phân tích mơ hình mà nhóm tiến hành xây dựng thành cơng máy tính nhúng xuống vi điều khiển để đưa yêu cầu tài nguyên phần cứng tối thiểu cho việc thực thi mơ hình vi điều khiển STM32 Đối với mơ hình mà nhóm chọn u cầu phần cứng tối thiểu là:  64.83 KB Flash  58.8 KB RAM Điều vi điều khiển mà nhóm chọn đáp ứng u cầu tối thiểu để thực thi mơ hình Cơng cụ cịn hỗ trợ việc phân tích để ta hình dung cách trực quan cấu trúc mơ hình mà xây dựng thơng qua lệnh Analyze Show Graph 40 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc Hình 2: Cấu trúc mơ hình phân tích công cụ STM32 Cube.AI Để tiến hành kiểm thử mơ hình có hoạt động hiệu vi điều khiển hay khơng cơng cụ cịn hỗ trợ chức Validation Testing mơ hình vi điều khiển liệu có sẵn Khi tiến hành phân tích kiểm thử mơ hình vi điều khiển, chọn tập Validation Input Validation Output từ tập liệu mà tiến hành kiểm thử PC Kết cho ma trận nhầm lẫn giống với ma trận nhầm lẫn thực giống với mục (3.3.4) đồng thời cho cấu trúc lớp mơ hình tỉ lệ nhận dạng xác ma trận nhầm lẫn giống ta thực Validation Testing máy tính 41 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc Hình 3:Kết Validation STM32 thực công cụ STM32 Cube.AI Đồng thời cơng cụ cịn độ phức tạp phép tính tốn thơng qua thơng số MACC= 3.376.412 Đối với vi điều khiển sử dụng hệ thống STM32F746 lõi ARM Cortex M7 số cycles MACC xấp xỉ n=6 cycles/1MACC Với độ phức tạp tần số hoạt động vi điều khiển cấu hình f clock = 125MHz thời gian kể từ đầu vào lúc nhận đầu mơ hình là: t= ã ã n ì MACC ì3.376 412 0.1s f clock = 125 ×106 (4.1) n số cycles MACC fclock tần số hoạt động vi điều khiển 42 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc Đây thời gian nhanh nên xem hệ thống hoạt động real time, có tín hiệu đầu vào cho kết Hình 4: Yêu cầu phần cứng tối thiểu vi điều khiển STM32 để thực thi mơ hình AI 4.1.2 Lấy liệu âm thực tế: Sau tiến hành phân tích kiểm thử mơ hình vi điều khiển cơng cụ STM32 Cube.AI để kiểm chứng mơ hình hoạt động hiệu MCU việc cần thực lấy liệu âm thực tế từ 43 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc mơi trường Âm thu thông qua microphone MAX 9841 Để lấy liệu âm microphone ta tiến hành bước câu hình sau: • Cấu hình ngoại vi ADC vi điều khiển STM32 để ngoại vi ADC STM32 giao tiếp với microphone để lấy liệu âm với tần số lấy mẫu 16KHz • Cấu hình DMA để chuyển liệu từ ngoại vi ADC liên tục vào nhớ Trong phần cấu hình ADC xung đồng hồ ADC cấp từ APB2 nên để có tần số lấy mẫu âm 16KHz ta phải tiến hành cấu hình tần số hoạt động vi điều khiển, phải chọn hệ số chia APB2, hệ số chia xung đồng hồ cấp cho ADC, thời gian chuyển đồi ADC tần số ADC tần số hoạt động vi điều khiển chia cho hệ số chia APB2 hệ số chia xung đồng hồ cấp cho ADC Giả sử ta gọi: • fclock tần số hoạt động vi điều khiển • 2a hệ số chia APB2 (vì có hệ số chia APB2 mà ta cấu hình 2,4,6,8, nên đặt tổng quát 2a) • 2b hệ số chia xung đồng đồ cấp cho ADC (vì có hệ số chia xung đồng đồ cấp cho ADC mà ta cấu hình 2,4,6,8, nên đặt tổng quát 2b) • fs tần số lấy mẫu âm Với thời gian lấy mẫu ADC 480 cycles, tần số lấy mẫu âm 16KHz ta có phương trình: Với thời gian lấy mẫu ADC 480 cycles, tần số lấy mẫu âm 16KHz ta có phương trình (4.2): fs = f clock =16000 a× b× 480 (4.2) Để có thỏa mãn phương trình (4.2) có tần số hoạt động cao vi điều khiển đồng thời thỏa mãn yêu cầu tần số lấy mẫu âm 16KHz thì: • Vi điều khiển phải cấu hình hoạt động tần số fclock=125MHz • Hệ số chia khối APB2 phải cấu hình 2a = hình (4.5) • Hệ số chia ADC clock 2b = hình (4.6) 44 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc • fs tần số lấy mẫu âm Hình 5: Cấu hình xung clock Vi điều khiển STM32F746 Độ phân giải 12 bit số bit cần thiết để chứa hết mức giá trị số (digital) sau trình chuyển đổi ngõ (ngõ có 4096 giá trị khác nhau), 12 bit độ phân giải lớn MCU STM32F746 để đáp ứng tốt cho việc lấy mẫu Sử dụng chế độ chuyển đổi liên tục để thực việc chuyển đổi kênh liên tục 45 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc Hình 6:Cấu hình ADC vi điều khiển STM32 Để hệ thống ln có liệu ADC lấy liệu liên tục dùng DMA để chuyển liệu từ ngoại vi ADC liên tục vào nhớ Việc sử dụng DMA giúp chuyển liệu từ ngoại vi đến nhớ mà không cần đến thực thi CPU làm cho CPU hoàn toàn độc lập với ngoại vi hỗ trợ DMA mà đảm bảo ngoại vi thực cơng việc giao đồng thời CPU thực công việc khác DMA hoạt động hai chế độ Normal Circular, chế độ Normal DMA bắt đầu truyền truyền hết tất dừng lại Đối với chế độ Circular DMA bắt đầu truyền liệu truyền hết tất dừng lại, liệu nhận liệu trước đầy đệm nhận liệu đầy quay lại từ đầu Ở để phù hợp nhóm cấu hình DMA hoạt động chế độ Circular 46 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc Hình 7: Cấu hình DMA vi điều khiển STM32 ADC hoạt động kết hợp với DMA chế độ Circular nên ta xét đến Bộ đệm kép hay gọi Double Buffer Ring Double Buffer Ring đệm có kích thước cố định, đọc liệu mà khơng làm di liệu cũ trước kể nhớ đầy quay lại từ đầu ghi vòng lên liệu cũ giúp ta không làm liệu có liệu Hình 8:Double bufering 47 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phòng làm việc Double Buffer sử dụng nhờ ngắt Half-transfer transfer complete lượng liệu DMA 4.2 Nhiệt độ, độ ẩm khơng khí: Sử dụng cảm biến DHT11 để thu giá trị nhiệt độ độ ẩm khơng khí Vi điều khiển STM32 giao tiếp với cảm biến thông qua chuẩn giao tiếp One wire để lấy liệu, cảm biến có tiền xử lí nội nên giá trị trả giá trị trực tiếp One wire chuẩn giao 50 Hệ thống nhúng IoTs tiếp thiết kế Dallas Semiconductor, dùng dây để truyền nhận nên có tốc độ thấp Chủ yếu sử dụng cho việc thu thập liệu, truyền nhận liệu thời tiết, nhiệt độ, công việc không yêu cầu tốc độ cao Hình 9: Giao tiếp One wire cảm biến DHT11 vi điều khiển Cơ sở truyền nhận : Các tín hiệu sử dụng Restart , write , write , Read Write : truyền bit : Master kéo xuống khoảng A(us) mức khoảng B • Write : truyền bit : Master kéo xuống khoảng C trả khoảng D Read : Đọc Bit : Master kéo xuống khoảng A trả Delay khoảng E đọc giá trị slave gửi Delay F Restart : Chuẩn bị giao tiếp Master kéo xuống khoảng H nhả lên mức sau cấu hình Master chân In delay I (us) đọc giá trị slave trả Nếu cho phép giao tiếp, đường truyền lỗi slave bận 48 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phòng làm việc Dữ liệu lấy từ cảm biển DHT11 gồm 40 bits, cụ thể 40 bits = 8bit integral RH data + 8bit decimal RH data + 8bit integral T data + 8bit decimal T data + 8bit check sum Sau nhận liệu ta dựa vào bits check sum để kiểm tra liệu truyền nhận hay chưa, tiến hành tách bit để lấy giá trị nhiệt độ độ ẩm 4.3 Hiển thị thơng số lên hình: Vi điều khiển STM32 giao tiếp với cảm biến thông qua chuẩn giao tiếp khác để thu thập thông số môi trường nhiệt độ, độ ẩm, nồng độ bụi mịn, cường độ ánh sáng Tất thông số với kết việc nhận dạng âm hiển thị lên hình NEXTION để phục vụ cho việc giám sát chỗ Đây hình giao tiếp với vi điều khiển thơng qua chuẩn giao tiếp UART Có thể thiết kế giao diện điều khiển hiển thị (GUI) hình cách dễ dàng trực quan thơng qua phần mềm NEXTION EDITOR Hình 10: Giao diện phần mền NEXTION Editor 49 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc Hình 11: Thiết kế giao diện hình Hình (4.11) thiết kế giao diện hình dùng cho việc giám sát chỗ, phía bên phải chứa kết nhận dạng âm giúp giám sát hoạt động diễn văn phịng thơng qua việc hiển thị dịng chữ hình (4.12) năm loại âm cần nhận dạng tiếng gõ bàn phím, tiếng gõ của, tiếng chng điện thoại Hình 12: Các chữ âm cần nhận dạng 4.4 Lưu trữ hiển thị thống số lên Web server: Để phục vụ cho việc giám sát từ xa tất thơng số tiến hành lưu trữ hiển thị lên Web server Dữ liệu sau thu thập vi điều khiển STM32 giao tiếp với mô-đun ESP8266 thông qua giao thức UART để định kỳ gửi liệu lên Web server để tiến hành hiển thị lưu trữ giúp người giám sát giám sát thay đổi thơng số văn phịng để đưa điều chỉnh phù hợp mang đến điều kiện môi trường làm viêc tốt cho nhân viên giúp tăng suất lao động hiệu công việc Tất thông số tiến hành chuyển từ kiểu số sang kiểu kí tự ghép thành chuỗi, hai thông số liên tiếp chuỗi phân cách dấu phẩy, sau vi điều khiển gửi chuỗi cho ESP8266 thông 50 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc qua 54 Hệ thống nhúng IoTs chuẩn giao tiếp UART ESP8266 nhận liệu gửi từ STM32 sau dựa vào dấu phẩy để tách lấy thông số khác từ chuỗi nhận được, ESP8266 tiến hành kết nỗi WiFi định kỳ gửi liệu lên Web server Hình 13: Giao diện Web server KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Hệ thống giải phần nhu cầu thực tế đặt ra, giúp cho người giám sát văn phòng mang đến cho nhân viên mơi trường, điều kiện làm việc tốt thông qua việc giám sát số tiếng ồn văn phòng làm khả tập trung, giảm hiệu cơng việc như: • Tiếng chng điện thoại • Tiếng gõ cửa • Tiếng gõ bàn phím Tỉ lệ nhận dạng âm đạt kết 97% tính Accuracy (trang 38) đáp ứng yêu cầu đặt ban đầu 90% Thông qua việc nhân dạng âm giúp cho người giám sát đưa điều chỉnh nhắc nhở kịp thời nhân viên để có mơi trường văn phịng thân thiện Đồng thời hệ thống giúp cho người giám sát mang đến cho nhân viên chất lượng mơi trường đạt chuẩn, đảm bảo vấn đề sức khỏe Hệ thống 51 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc cập nhật thơng số mơi trường cách liên tục xác Vì chất lượng môi trường làm việc ảnh hưởng lớn đến tinh thần hành vi suất lao động nên người giám sát vào tình trạng thơng số mơi trường để đưa giải pháp để cải thiện chất lượng môi trường việc Các thơng số mơi trường là: • Nhiệt độ • Độ ẩm Người giám sát giám sát chổ thơng qua hình giám sát từ xa thơng qua Web server Hệ thống xây đáp ứng yêu cầu đề ban đầu Tuy nhiên để xây dựng hệ thống hoàn thiện, tối ưu, đầy đủ chức hướng phát triển đề tài mà nhóm đặt là: • Thực trích đặc trưng phương pháp khác cụ thể đặc trưng MFCC, tiến hành training lại mơ hình test để đánh giá hiệu suất, đưa so sánh hai phương pháp, từ đưa kết luận nên sử dụng phương pháp cho phù hợp • • • • • Thử cấu trúc mơ hình khác ngồi mạng CNN nhóm sử dụng Sử dụng phương pháp lọc nhiễu để loại bỏ nhiễu tín hiệu âm thu từ microphone Cải tiến thêm phần thông số môi trường như: Cường độ ánh sáng, nồng độ bụi mịn Thêm sở liệu âm đầu vào như: Tiếng vỡ kính, tiếng nói chuyện Tối ưu hóa thuật toán để tăng thời gian đáp ứng hệ thống 52 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phòng làm việc TÀI LIỆU THAM KHẢO [1] Ô nhiễm tiếng ồn nơi làm việc https://jobsgo.vn/blog/cai-thien-tinh-trang-o-nhiem-tieng-on-noi-lam-viec/ [2] M Jung and S Chi, “Human activity classification based on sound recognition and residual convolutional neural network,” Automation in Construction, vol 114, p 103177, 2020 https://aip.scitation.org/doi/abs/10.1063/5.0083321 [3] K J Piczak, “Environmental sound classification with convolutional neural networks,” in 2015 IEEE 25th International Workshop on Machine Learning for Signal Processing (MLSP), pp 1–6, IEEE, 2015 https://www.karolpiczak.com/papers/Piczak2015-ESC-ConvNet.pdf [4] STMicroelectronics, “Introduction to STM32Cube.AI: A MOOC about Machine Learning on Embedded Systems.” https://blog.st.com/introduction-to-stm32cube-ai/ [5] Trí tuệ nhân tạo: Các phương pháp đánh giá mô hình phân loại https://tapit.vn/cac-phuong-phap-danh-gia-mot-mo-hinh-phan-loai/?amp=1 [6] STM32U5-System-DMA Circular buffering & double buffering (DMACBDB) https://www.st.com/content/ccc/resource/training/technical/product_training/ group1/75/12/e2/f7/f3/72/46/df/STM32U5-System-DMA-Circular-bufferingdouble_buffering_DMACBDB/files/STM32U5-System-DMA-Circular-bufferingdouble_buffering_DMACBDB.pdf/_jcr_content/translations/en.STM32U5System-DMA-Circular-buffering-double_buffering_DMACBDB.pdf [7] D Key, “Working with ADC and DMA - Maker.io.” https://www.digikey.com/en/maker/projects/getting-started-with-stm32-workingwith-adc-and-dma/f5009db3a3ed4370acaf545a3370c30c [8] Hướng dẫn triển khai mạng nơ-ron vi điều khiểu stm32 53 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc https://tapit.vn/huong-dan-trien-khai-mang-no-ron-nhan-tao-tren-vi-dieu-khienstm32/ [9] “RM0385Reference manualSTM32F75xxx and STM32F74xxx advanced Arm®-based 32-bit MCUs.” https://www.st.com/resource/en/reference_manual/dm00124865-stm32f75xxxand-stm32f74xxx-advanced-arm-based-32-bit-mcus-stmicroelectronics.pdf [10] STMicroelectronics, “STM32 solutions for Artificial Neural Networks.” https://www.st.com/content/ccc/resource/sales_and_marketing/presentation/ product_presentation/group0/69/82/bf/ae/5a/8b/40/91/ STM32CubeAI_press_pres/files/STM32CubeAI_press_pres.pdf/jcr:content/ translations/en.STM32CubeAI_press_pres.pdf [11] Deeplearningedge, “Validate Keras Model on STM32.” https://wiki.st.com/stm32mcu/wiki/AI:X-CUBE-AI_documentation 54 Sinh viên thực hiện: Người hướng dẫn : Nguyễn Hoàng Long Tạ Anh Nhân TS.Nguyễn Thị Khánh Hồng ... TS.Nguyễn Thị Khánh Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc Hình 1: Các dịng vi điều khiển STM32 Vì đề tài nhóm ứng dụng Edge AI, cụ thể mơ hình AI chạy vi điều khiển... Tên đề tài: Thiết kế mơ hình giám sát mơi trường văn phịng ứng dụng Edge AI Các số liệu, tài liệu ban đầu:  Các số liệu: o Chíp vi điều khiển: STM32Fxx o Màng hình hiển thị: Màng hình NEXTION... Hồng Thiết kế xây dựng mơ hình giám sát mơi trường văn phịng làm việc Hình 21: Loss mơ hình Mơ hình sau huấn luyện có độ xác cao tăng dần theo epochs, loss mô hình thấp giảm dần theo epochs Kết