Bài viết Chẩn đoán thời gian thực không xâm lấn lỗi động cơ điện ba pha được nghiên cứu với mục tiêu là ứng dụng mạng học sâu chạy trên nền tảng hệ thống nhúng để chẩn đoán thời gian thực lỗi động cơ điện ba pha bằng phương pháp không tiếp xúc dựa trên tiếng ồn phát ra.
JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/index.php/jte/index Email: jte@hcmute.edu.vn ISSN: 1859-1272 Realtime Non-invasive Fault Diagnosis of Three-phase Induction Motor Nguyen Van Khanh1*, Tran Vy Khang2, Nguyen Minh Khai2, Thach Van To Em2, Pham Tran Lam Hai1, Nguyen Chi Ngon1 2Automation * ARTICLE INFO Received: 20/06/2022 Revised: 14/08/2022 Accepted: 06/10/2022 Published: 28/10/2022 KEYWORDS Non-invasive fault diagnosis; Spectrogram; esp32; deep learning network; embedded system 1Can Tho University, Vietnam and Control Engineering, Can Tho University, Vietnam Corresponding author Email: vankhanh@ctu.edu.vn ABSTRACT The objective of this paper is to apply deep learning network running on an embedded system platform to diagnose faults of a three-phase electric motor by a non-contact method based on operating motor noise To accomplish this, at first, deep learning network should be designed and trained on a computer, and then converted to an equivalent network to run on the embedded system The network input data is a two-dimension spectrogram image of the noise emitted by the motor in four main cases, including normal operation, phase shift, phase loss and bearing failure The execution time and accuracy of these deep learning network structures will be deployed on three microcontrollers including ESP32, ESP32-C3 and nRF52840 to determine the suitable embedded platform and network structure for real-time running Experimental results show that the proposed deep learning network models could diagnose the faults well on both computer and embedded platform with the highest accuracies are 99,7% and 99,3%, respectively In particular, the preliminary results are remarkable with the recognition time and accuracy at 1,7 seconds and 72%, respectively associated with the proposed deep learning network on realtime embedded system performance Chẩn Đoán Thời Gian Thực Không Xâm Lấn Lỗi Động Cơ Điện Ba Pha Nguyễn Văn Khanh1*, Trần Vỹ Khang2, Nguyễn Minh Khải2, Thạch Văn Tố Em2, Phạm Trần Lam Hải1, Nguyễn Chí Ngơn1 1Đại 2Kỹ THÔNG TIN BÀI BÁO Ngày nhận bài: 20/06/2022 Ngày hoàn thiện: 14/08/2022 Ngày chấp nhận đăng: 06/10/2022 Ngày đăng: 28/10/2022 TỪ KHĨA Chẩn đốn lỗi khơng tiếp xúc; ảnh phổ tần số; esp32; mạng học sâu; hệ thống nhúng học Cần Thơ, Việt Nam thuật điều khiển Tự động hóa, Đại học Cần Thơ, Việt Nam * Tác giả liên hệ Email: vankhanh@ctu.edu.vn TÓM TẮT Mục tiêu báo ứng dụng mạng học sâu chạy tảng hệ thống nhúng để chẩn đoán thời gian thực lỗi động điện ba pha phương pháp không tiếp xúc dựa tiếng ồn phát Để thực điều này, trước tiên, mạng học sâu cần thiết kế huấn luyện máy tính trước chuyển đổi thành mạng tương đương phù hợp với hệ thống nhúng Ngõ vào mạng ảnh phổ hai chiều tiếng ồn phát từ động bốn trường hợp: bình thường, lệch pha, pha vỡ bạc đạn Thời gian thực thi độ xác cấu trúc mạng học sâu khảo sát ba vi điều khiển ESP32, ESP32-C3 nRF52840 để chọn vi điều khiển kiến trúc mạng phù hợp để chạy thời gian thực Kết thực nghiệm cho thấy kiến trúc mạng học sâu đề nghị chẩn đoán tốt lỗi động hai tảng máy tính hệ thống nhúng với độ xác cao tương ứng 99,7% 99,3% Đặc biệt chạy thời gian thực kiến trúc mạng chọn hệ thống nhúng cho kết ban đầu ấn tượng với thời gian nhận dạng độ xác tương ứng 1,7 giây 72% Doi: https://doi.org/10.54644/jte.72B.2022.1231 This is an open access article distributed under the terms and conditions of the Creative Commons Attribution-NonCommercial 4.0 International License which permits unrestricted use, distribution, and reproduction in any medium for non-commercial purpose, provided the original work is properly cited Copyright © JTE JTE, Issue 72B, October 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE ISSN: 1859-1272 Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/index.php/jte/index Email: jte@hcmute.edu.vn Giới thiệu Trong năm gần đây, nhiều nghiên cứu tập trung vào giải pháp để chẩn đoán lỗi động điện vận hành dựa phân tích tín hiệu âm thanh, rung động hay dòng điện để dự báo sớm hư hỏng xảy nhằm giảm thiểu rủi ro vận hành hệ thống [1] Bên cạnh đó, mạng nơ-ron nhân tạo (AI – Artificial intelligence) áp dụng vào lĩnh vực để tạo phương pháp chẩn đốn thơng minh nhằm nâng cao độ tin cậy đảm bảo hệ thống kỹ thuật hoạt động an toàn liên tục [2, 3] Việc dự đoán hoạt động bảo dưỡng sửa chữa dựa kết chẩn đoán áp dụng phổ biến đem lại lợi ích kinh tế, tính MathWorks tích hợp thành Toolbox phần mềm Matlabs tiếng họ [4] Thực thi mạng học sâu hệ thống nhúng hay thiết bị di động bước cần thiết để triển khai chúng vào ứng dụng thực tiễn Việc nghiên cứu ứng dụng mơ hình máy học quy mơ nhỏ (hay cịn gọi TinyML) nhiều nhà nghiên cứu quan tâm TinyML đề cập đến hướng nghiên cứu học máy để tối ưu, nén mơ hình AI cho chạy MCU (Microcontroller unit) hạn chế tài ngun tính tốn lưu trữ [5] Trong viết tác giả Ray trình bày chi tiết khả TinyML đánh giá cách trực quan [6] Một số dự án áp dụng TinyML triển khai nhiều lĩnh vực, điển thiết bị đeo theo dõi sức khỏe giải pháp hiệu để biết tình trạng người sử dụng nhằm đưa cảnh báo lời khuyên phù hợp [7] Mơ hình lái xe tự hành tác giả Prado cho thấy thách thức khả tính tốn lưu trữ mạng học sâu chạy hệ thống nhúng [8] Các nghiên cứu cho thấy khả ứng dụng TinyML chẩn đoán thời gian thực lỗi động hoàn toàn khả thi Tuy nhiên, câu hỏi lớn đặt cấu trúc mạng học sâu MCU phù hợp để thực ứng dụng chạy thời gian thực Mục tiêu báo đề xuất kiến trúc mạng học sâu TinyML phù hợp để chẩn đoán lỗi động điện ba pha dựa tiếng ồn phát vận hành Một số kiến trúc mạng học sâu chẩn đoán lỗi động đề xuất, huấn luyện thử nghiệm để chọn kiến trúc phù hợp Khả thực thi mạng thử nghiệm số dòng MCU thông dụng để giúp người sử dụng đánh giá lựa chọn MCU hợp lý cho ứng dụng họ Mơ hình mạng tối ưu cài đặt thực nghiệm thời gian thực MCU chọn Thành công nghiên cứu mở nhiều hướng nghiên cứu liên quan đến nhận dạng tín hiệu thời gian thực Dữ liệu phương pháp 2.1 Dữ liệu Dữ liệu huấn luyện ảnh phổ tần số 2D (Two-dimension) bốn loại âm phát từ động điện xoay chiều ba pha tương ứng với trường hợp động hoạt động bình thường, bị lệch pha, pha vỡ bạc đạn Thông tin thông số động cơ, bố trí thí nghiệm thu âm trình bày nghiên cứu [3], công bố khác chuỗi nghiên cứu nhóm tác giả Nghiên cứu sử dụng lại tập liệu âm thanh, nhiên trình xử lý tín hiệu, tạo ảnh phổ viết ngơn ngữ Python thực hồn tồn cơng cụ Colab [9] hãng Google thay sử dụng ngơn ngữ Matlabs Dữ liệu âm nhóm chuyển đổi thành ảnh phổ gán nhãn, phân chia thành ba tập liệu bao gồm Train, Validation Test theo tỉ lệ tương ứng 60%, 20% 20% để sử dụng cho huấn luyện kiểm tra mạng học sâu 2.2 Phương pháp Hình trình bày tổng quan phương pháp thực nghiên cứu bao gồm hai giai đoạn thực máy tính MCU Trên máy tính, mơ hình mạng học sâu sau thiết kế xây dựng huấn luyện công cụ Colab sử dụng tập ảnh phổ tần số 2D tiếng ồn thu từ động Sau trình huấn luyện kết thúc, mạng học sâu kiểm tra lại với tập liệu Test để đánh giá xem có đạt u cầu khơng, không, thông số hay cấu trúc mạng hiệu chỉnh để huấn luyện lại đạt yêu cầu Mạng học sâu sau huấn luyện thành công chuyển đổi thành mơ hình mạng hoạt động tảng MCU JTE, Issue 72B, October 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/index.php/jte/index Email: jte@hcmute.edu.vn ISSN: 1859-1272 Giai đoạn MCU thực hai tác vụ quan trọng Thứ nhất, kiểm tra tốc độ thực thi mạng nhận dạng ảnh phổ tập liệu Test máy tính để chọn kiến trúc mạng MCU phù hợp Thứ hai, mạng học sâu tối ưu chạy nhận dạng thời gian thực với nguồn âm thu trực tiếp từ micro tích hợp Để thực điều này, MCU thu đoạn âm có thời lượng giây, lọc nhiễu, chuẩn hóa biên độ chạy thuật toán tạo ảnh phổ tần số 2D trước đưa vào mạng học sâu để nhận dạng hay để đánh giá tình trạng động Hình Tổng quan phương pháp thực 2.2.1 Thuật toán xử lý tín hiệu âm Trong báo này, lọc Wavelet lọc trung bình dịch chuyển (MAF – Moving average filter) áp dụng để lọc nhiễu tín hiệu âm Trên máy tính, liệu âm sau thu thập chuẩn hóa biên độ khoảng [-1; 1], loại bỏ khoảng lặng có đầu cuối đoạn âm thu (xuất thủ tục thu liệu thủ công) lọc nhiễu lọc Wavelet Bộ lọc Wavelet áp dụng hai trường hợp xử lý tín hiệu máy tính MCU Bộ lọc có thuật tốn trình bày chi tiết [10] Tín hiệu âm xử lý qua ba bước bao gồm 1) phân giải tín hiệu thành hệ số Wavelet wi sử dụng DWT (Discrete wavelet transform), 2) xác định ngưỡng để loại bỏ nhiễu 3) phục hồi tín hiệu sau loại bỏ nhiễu biến đổi IDWT (Inverse DWT) Nghiên cứu sử dụng ngưỡng Wavelet mềm (Soft threshold) minh họa tốn học cơng thức (1) 𝑠𝑔𝑛(𝑤)(|𝑤| − 𝑇) 𝐷𝑠 = { 𝑛ế𝑢 |𝑤| ≥ 𝑇 𝑛ế𝑢 |𝑤| < 𝑇 (1) Trong đó, Ds hệ số Wavelet sau áp dụng ngưỡng mềm, w hệ số Wavelet tín hiệu gốc T giá trị ngưỡng Bên cạnh lọc Wavelet lọc MAF áp dụng để lọc tín hiệu âm chạy thời gian thực MCU để tăng tốc độ thực thi MAF lọc đơn giản có biểu diễn tốn học cơng thức (2) [11] Tham số MAF số phần tử hay kích thước M cửa sổ trượt Cửa sổ trượt từ đầu đến cuối tín hiệu lần dịch chuyển mẫu, vị trí cửa sổ tính tốn giá trị tín hiệu ngõ trung bình phần tử cửa sổ MAF hiệu làm trơn tín hiệu, loại nhiễu tần số cao, tín hiệu bị lệch pha so với tín hiệu vào JTE, Issue 72B, October 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/index.php/jte/index Email: jte@hcmute.edu.vn ISSN: 1859-1272 𝑀−1 y(n) = ∑ 𝑥(𝑛 + 𝑖) 𝑀 (2) 𝑖=0 Trong đó, y(n) tín hiệu ngõ sau lọc, x tín hiệu ngõ vào M kích thước cửa sổ Trong báo này, tín hiệu ngõ vào âm mà vi điều khiển thu từ micro, ngõ sử dụng để tạo ảnh phổ tần số Hình Ngun lí tạo ảnh phổ tần 2D từ tín hiệu âm 2.2.2 Thuật tốn tạo ảnh phổ Tín hiệu sau lọc phân chia thành đoạn nhỏ có thời lượng giây để chuyển đổi thành ảnh phổ 2D sử dụng thuật tốn trình bày Hình Ngun lý tổng qt cửa sổ có kích thước window size trượt từ đầu đến cuối tín hiệu Các cửa sổ chồng lên khoảng window stride Tại vị trí cửa sổ tín hiệu lấy mẫu cửa sổ Hann [12] chuyển đổi FFT (Fast Fourier Transform) thuật toán Kiss-FFT [13] để thu n=256 giá trị biên độ thành phần tần số Tùy thuộc vào kích thước ảnh phổ cần tạo, 256 giá trị nhóm lại lấy trung bình hàm Mel [14], số lượng nhóm tần số với số cột ảnh phổ tần số ngõ Trong nghiên cứu có ba kích thước ảnh phổ sử dụng 48x48, 64x64 96x96 pixel Các ảnh phổ sử dụng làm liệu để huấn luyện kiểm tra mạng học sâu 2.2.3 Cấu trúc mạng học sâu đề nghị Mạng học sâu đề nghị nghiên cứu có kiến trúc tổng quát trình bày Hình 3, hiệu chỉnh dựa kiến trúc áp dụng [15, 16] Tổng quát mạng học sâu bao gồm hai phần trích xuất đặc trưng ngõ vào (Feature extraction) phân loại ảnh ngõ vào (Classification) Lớp trích đặc trưng tạo nên từ lớp Tích chập 2D để trích xuất đặc trưng ảnh ngõ vào thành đồ đặc trưng (Feature map), sau lớp tích chập lớp Max-pooling để giảm kích thước Feature map tăng tốc trình huấn luyện giảm tham số mạng Hình Kiến trúc mạng học sâu đề nghị JTE, Issue 72B, October 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/index.php/jte/index Email: jte@hcmute.edu.vn ISSN: 1859-1272 Cấu trúc áp dụng [16] để phân loại âm động điện cho kết khả quan Lớp phân loại gồm có lớp Flatten để làm phẳng feature map từ hai chiều sang chiều Lớp Dropout sử dụng để loại bỏ ngẫu nhiên số nút mạng trình huấn luyện nhằm giảm thiểu tượng overfiting [17] Tiếp theo lớp Hiden layer gồm 128 nơ-ron sử dụng hàm kích hoạt ReLU kết nối với ngõ sử dụng hàm kích hoạt Softmax cho nơ-ron trả giá trị đoán bốn loại âm dạng xác xuất khoảng [0;1] Bảng Thông số cấu trúc mơ hình học sâu đề nghị Kiến trúc Convolutio n layer Feature maps Convolutio n layer Feature maps Convolutio n layer Feature maps Convolutio n layer Feature maps Convolutio n layer Kernel size Convolutio n layer 2, 3, Kernel size Global MaxPooling Kernel size 32 64 128 128 5x5 3x3 2x2 16 32 64 128 5x5 3x3 2x2 16 32 64 5x5 3x3 2x2 Số feature map lớp tích chập 2D thay đổi để tạo ba kiến trúc mạng học sâu khác nhau, Bảng trình bày tóm tắt tham số chúng Kiến trúc có số feature map lớn lớp tích chập 2D giảm dần đến kiến trúc 3, thơng số cịn lại tương tự kiến trúc Mỗi kiến trúc có ba kích thước ngõ vào khác 48x48, 64x64 96x96 tạo nên tổng cộng kiến trúc khác tương ứng với số lượng tham số huấn luyện trình bày Bảng Bảng Số lượng tham số huấn luyện kiến trúc mạng học sâu đề nghị Kiến trúc Kích thức ảnh ngõ vào 48x48 64x64 96x96 257796 306948 503556 114436 163588 360196 33348 57924 156228 2.2.4 Huấn luyện chuyển đổi mạng học sâu để thực thi MCU Các mơ hình mạng học sâu sau thiết kế cài đặt huấn luyện ngôn ngữ Python công cụ Colab hãng Google Quá trình trình bày lưu đồ thuật tốn Hình gồm hai cơng đoạn Thứ chuẩn bị, gán nhãn phân loại liệu sẵn sàng cho huấn luyện Thứ hai cài đặt mơ hình mạng dựa tảng Tensorflow [18], sau thực thi vịng lập huấn luyện với liệu chuẩn bị Mạng học sâu sau huấn luyện kiểm tra với tập liệu Test, chưa đạt yêu cầu, tham số cấu trúc mạng hiệu chỉnh huấn luyện lại Ngược lại, mạng đạt yêu cầu lập lại tồn q trình với mạng lại Đối với mạng sử dụng chung kích thước ảnh ngõ vào cần thay đổi tham số mạng trước huấn luyện lại Tổng cộng có mạng học sâu liệt kê Bảng huấn luyện nghiên cứu Các mạng học sâu cài đặt Tensorflow sau huấn luyện biểu diễn dạng nhị phân số dấu chấm động dạng xác đơn Binary32 theo tiêu chuẩn IEEE 754 Với biểu diễn này, mạng học sâu sau huấn luyện có kích thước lớn khơng phù hợp để thực thi MCU có tài ngun hạn chế Vì vậy, chúng cần lượng tử hóa thành biểu diễn khác để triển khai MCU Nghiên cứu sử dụng phương pháp lượng tử hóa sau huấn luyện dựa cơng cụ Tensorflow Lite [19] dễ thực hiện, kích thước mơ hình sau lượng tử giảm đáng kể độ xác khơng chênh lệch lớn [20, 21] JTE, Issue 72B, October 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/index.php/jte/index Email: jte@hcmute.edu.vn ISSN: 1859-1272 Hình Thuật tốn q trình huấn luyện mạng học sâu máy tính 2.2.5 Đánh giá tốc độ thực thi mạng MCU Vấn đề đặt sau lượng tử hóa mạng học sâu sau huấn luyện MCU kiến trúc mạng phù hợp để chạy thời gian thực với tốc độ nhận dạng độ xác tối ưu nhất? Để giải đáp câu hỏi này, ba dòng MCU phổ biến nRF52840 tích hợp kit Arduino Nano 33 BLE Sense, ESP32 tích hợp kit Dev-Kit V1 ESP32-C3 tích hợp Kit NodeMCUC3-32S Ai-Thinker sử dụng để chạy thử nghiệm tất mạng học sâu sau lượng tử Trong kit hỗ Arduino Nano 33 BLE Sense phù hợp để chạy thời gian thực mạng học sâu kit tích hợp sẵn micro thu âm Tốc độ độ xác mạng học sâu chạy MCU kiểm tra cách áp dụng chúng để nhận diện ảnh phổ tập liệu Test Các ảnh cần chuyển đổi thành mảng hai chiều kiểu bit (int8) để phù hợp với mạng sau lượng tử Mỗi MCU kiểm tra với 400 ảnh phổ cho loại âm thu từ động Độ xác F1-score tương ứng mạng học sâu sử dụng để làm sở đánh giá chọn MCU mạng phù hợp để chạy nhận dạng thời gian thực 2.2.6 Các tiêu đánh giá kết Sau huấn luyện, giá trị độ xác (Accuaracy) số F1-score sử dụng để đánh so sánh cấu trúc mạng với Độ xác tính cơng thức (3) sau: Accuracy = ∑ 𝑇𝑃 + 𝑇𝑁 ∑ 𝑇𝑃 + 𝐹𝑃 + 𝐹𝑁 + 𝑇𝑁 (3) Trong đó, Accuracy độ xác mạng cần đánh giá, TP (True Positive) số lượng dự đốn xác, TN (True Negative) số lương dự đốn xác cách gián tiếp, FP (False Positive) số lượng dự đoán sai lệch, FN (False Negative) số lượng dự đoán sai lệch cách gián tiếp F1-score tính cơng thức (4) sau: 𝐹1 − 𝑠𝑐𝑜𝑟𝑒 = ∗ 𝑅𝑒𝑐𝑎𝑙𝑙 ∗ 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑅𝑒𝑐𝑎𝑙𝑙 + 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 (4) 𝑇𝑃 , 𝑇𝑃 + 𝐹𝑃 (5) Với: 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑅𝑒𝑐𝑎𝑙𝑙 = JTE, Issue 72B, October 2022 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 (6) JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/index.php/jte/index Email: jte@hcmute.edu.vn ISSN: 1859-1272 Một cấu trúc mạng có số F1-score cao hai số Precision Recall cao F1-score thấp hai số có giá trị thấp Trường hợp xấu hai số Precison Recall F1-score Để F1-score hai giá trị phải Do số F1-score thước đo đáng tin cậy hiệu mạng học sâu toán phân loại Kết thảo luận 3.1 Khả nhận dạng lỗi động mạng học sâu đề xuất Kết huấn luyện mạng học sâu máy tính thể Bảng Kết cho thấy độ xác tổng thể mạng học sâu sử dụng kiến trúc cao giảm dần đến kiến trúc Điều dễ hiểu kiến trúc có quy mơ lớn giảm dần đến trúc Tương tự, kích thước ảnh phổ ảnh hưởng đến độ xác huấn luyện, ảnh 96x96 pixel cho mạng có độ xác cao giảm dần đến ảnh có kích thước 48x48 Bảng Kết huấn luyện mạng học sâu máy tính Kiến trúc Kích thước ảnh Độ xác F1-score bình thường F1-score lệch pha F1-score pha F1-score vỡ bạc đạn Thời gian huấn luyện 48x48 97,59% 97,27% 95,67% 97,68% 99,75% 75 phút 64x64 99,63% 99,75% 99,30% 99,45% 100% 68 phút 96x96 99,66% 99,69% 99,37% 99,56% 100% 58 phút 48x48 96,97% 97,13% 94,44% 96,64% 99,69% 75 phút 64x64 99,09% 99,31% 98,19% 98,95% 99,94% 68 phút 96x96 99,57% 99,75% 99,12% 99,38% 100% 63 phút 48x48 94,96% 95,39% 90,70% 91,34% 99,43% 92 phút 64x64 98,78% 99,06% 97,63% 98,49% 99,94% 78 phút 96x96 98,94% 98,95% 97,86% 98,93% 100% 69 phút Bên cạnh độ xác, F1-score sử dụng để đo độ xác mạng loại âm riêng lẻ Điểm chung kiến trúc mạng học sâu nhận dạng âm phát tượng vỡ bạc đạn có độ xác cao Hai trường hợp âm tượng pha lệch pha dễ xảy nhằm lẫn tất kiến trúc mạng Đối với âm phát động hoạt động bình thường mạng nhận dạng xác thấp nhận dạng âm vỡ bạc đạn Tóm lại, mạng học sâu sử dụng kiến trúc với ảnh ngõ vào 96x96 pixel cho độ xác nhận dạng tổng thể loại âm cao với thời gian huấn luyện thấp Ngược lại, mạng học sâu sử dụng kiến trúc với ảnh ngõ vào 48x48 pixel cho có độ xác nhận dạng tổng thể loại âm thấp với thời gian huấn luyện dài Tất mạng học sâu sau huấn luyện lượng tử hóa thực thi MCU để tìm kiến trúc mạng phù hợp nhất, vừa có thời gian thực thi nhanh vừa đạt độ xác cao 3.2 Khả thực thi mạng học sâu MCU Tất mạng học sâu sau lượng tử hóa cài đặt MCU ngôn ngữ C dựa tảng Tensorflow Lite MCU biên dịch trình biên dịch ngơn ngữ C mã nguồn mở tích hợp Arduino IDE Tất ảnh phổ với kích thước khác chuyển đổi thành mảng hai chiều kiểu bit cho phù hợp với mạng học sâu lượng tử hóa nhận dạng Thời gian thực thi độ xác tất trường hợp ghi nhận lại để phân tích kết Tổng cộng có 1600 ảnh phổ kiểm tra ba MCU chọn JTE, Issue 72B, October 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/index.php/jte/index Email: jte@hcmute.edu.vn ISSN: 1859-1272 Kết thực nghiệm cho thấy MCU không đủ nhớ để thực thi kiến trúc mạng với tất kích thước ảnh ngõ vào Đối với mạng học sâu sử dụng kiến trúc 2, MCU thực thi mạng hai kích thước ảnh 48x48 64x64 pixel Riêng mạng sử dụng kiến trúc thực thi với ba cỡ ảnh Kết kiểm tra tốc độ độ xác thực thi mạng học sâu sử dụng kiến trúc MCU tóm tắt Hình Hình Độ xác thời gian nhận dạng dòng vi điều khiển của: a) mơ hình sử dụng kiến trúc với ba kích cỡ ảnh, b) mơ hình sử dụng kiến trúc với ba kích cỡ ảnh Kết chứng minh mạng học sâu áp dụng kiến trúc với ngõ vào ảnh 64x64 pixel kiến trúc với ngõ vào 64x64 96x96 pixel cho độ xác nhận dạng cao, đạt 98% ngoại trừ trường hợp vi điều khiển nRF52840 thực thi kiến trúc với kích thước ngõ vào 96x96 đạt 95,5% Như vậy, mạng học sâu dựa kiến trúc với kích thước ngõ vào 64x64 cho kết tối ưu khơng có tổng thời gian thực thi thấp từ 0,33 đến 0,39 giây mà có độ xác ấn tượng từ 97,75% đến 99% Do kết luận kiến trúc mạng phù hợp để thực thi thời gian thực dịng MCU chọn Bên cạnh đó, có thời gian thực thi mạng dài nhất, nRF52840 lại cho độ xác bậc 99% Hơn nữa, kit Arduino Nano 33 BLE Sense, hỗ trợ MCU này, tích hợp sẵn micro thuận cho việc thu âm Chính thế, nRF52840 chọn đánh giá khả chạy thời gian thực mạng học sâu thay hai MCU cịn lại 3.3 Nhận dạng lỗi động thời gian thực Hình trình bày sơ đồ khối hệ thống nhận dạng thời gian thực dựa kit Arduino Nano 33 BLE Sense Âm thu trực tiếp từ micro tích hợp, nRF52840 thực thi bốn tác vụ bao gồm thu đoạn âm thành có thời lượng giây với tần số lấy mẫu 16kHz, sau xử lý lọc nhiễu hai lọc Wavelet MAF Âm sau lọc chuẩn hóa biên độ trước chạy thuật tốn tạo ảnh phổ 2D minh họa Hình Cuối mạng học sâu gọi để nhận dạng ảnh phổ vừa tạo cập nhật xác suất dự đốn ngõ Hình Sơ đồ mơ hình hệ thống nhận diện thời gian thực JTE, Issue 72B, October 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/index.php/jte/index Email: jte@hcmute.edu.vn ISSN: 1859-1272 Do điều kiện thực tế, nghiên cứu chưa thực trực tiếp với âm phát từ động thật Giải pháp nhóm nghiên cứu phát đoạn âm loa hệ thống nhúng thu nhận dạng chúng Loa phát cần lựa chọn cho âm tái tạo gần với âm thực tế Thí nghiệm nhận dạng thời gian thực thực với loại âm Mỗi loại âm MCU nhận dạng 400 lần Thí nghiệm thực ba trường hợp bao gồm không lọc âm sau thu, lọc lọc Wavelet MAF Bộ lọc Wavelet sử dụng hệ số Wavelet, ngưỡng mềm T = 1; MAF sử dụng cửa sổ trược 16 phần tử Tất liệu thí nghiệm phân tích để tính tốn độ xác, F1-score vẽ confusion matrix để so sánh kết trường hợp thí nghiệm Hình Kết thực nghiệm nhận dạng âm động phát từ loa: a) khơng lọc tín hiệu âm thanh, b) lọc wavelet c) lọc trung bình Hình trình bày confusion matrix ba trường hợp thí nghiệm Kết cho thấy tượng vỡ bạc đạn mạng học sâu nhận dạng tốt tất trường hợp Âm hai tượng pha lệch pha dễ bị nhầm lẫn trường hợp lọc MAF cho kết tốt Khi âm khơng qua lọc (Hình 7a) âm động hoạt động bình thường nhận dạng tốt dễ bị nhầm lẫn âm lệch pha (68/400 lần) pha (36/400 lần) Âm động pha lệch pha dễ bị nhầm lẫn qua lại, đặc biệt lệch pha bị nhầm thành pha 236/400 lần Khi âm lọc Wavelet, kết nhận dạng có cải thiện nhầm lẫn tăng ba nhóm âm (Hình 7b); thời gian nhận dạng tăng lên lọc Wavelet phức tạp, xử lý chủ yếu số thực nên cần nhiều thời gian tính tốn Bảng Độ xác nhận dạng thời gian thực Thuật tốn lọc Độ xác tổng quát F1-score bình thường F1-score lệch pha F1-score pha F1-score vỡ bạc đạn Không lọc 71,31% 81,86% 32,36% 64,57% 94,33% Wavelet 62,13% 47,88% 45,79% 66,68% 78% MAF 72% 70,68% 53,64% 66,04% 97,78% Bộ lọc MAF tỏ hiệu không cải thiện độ xác nhận dạng mà cịn giảm nhầm lần loại âm (Hình 7c) Bên cạnh đó, tốc độ nhận dạng nhanh lọc đơn giản Tuy nhiên, nhầm lẫn âm lệch pha pha chưa cải thiện Từ confusion matrix, độ xác tổng quát F1-score trường hợp thực nghiệm minh họa Bảng Bảng lần khẳng định lọc MAF phù hợp để nhận dạng thời gian thực loại âm phát từ động hay phù hợp để nhận dạng lỗi động dựa tiếng ồn phát với độ xác tổng quát cao 72%, cải thiện F1-score ba trường hợp lệch pha, pha vỡ bạc đạn so với trường hợp lọc Wavelet không lọc JTE, Issue 72B, October 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE ISSN: 1859-1272 Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/index.php/jte/index Email: jte@hcmute.edu.vn 3.4 Thảo luận Nghiên cứu đề xuất kiến trúc mạng học sâu nhận dạng thời gian thực số lỗi thông dụng động điện ba pha Mặc dù dựa kiến trúc mạng CNN (Convolutional Neural Network), kiến trúc đề nghị cho kết nhận ấn tượng thực thi máy tính Độ xác mạng có kiến trúc ngõ vào lớn nghiên cứu (99,7%) chí cao mạng GoogleNet áp dụng nghiên cứu [3] (98,8%) Nghiên cứu [3] bỏ ngỏ khả ứng dụng hệ thống nhúng thiết bị di động Hạn chế nghiên cứu dừng lại thu thập liệu thử nghiệm kết với động chưa đánh giá tác động nhiễu từ nguồn âm khác Do đó, cách lý tưởng hệ thống áp dụng với động hoạt động độc lập cách xa nguồn nhiễu âm Trong thời gian tới, nhóm nghiên cứu thu thập liệu thử nghiệm với nhiều động khác tập trung tìm giải pháp khắc phục nhiễu tạp âm mơi trường thực tế để mở rộng khả phạm vi ứng dụng nghiên cứu Kết luận Nghiên cứu đề xuất thủ tục để thiết kế thực mạng học sâu hệ thống nhúng để nhận dạng lỗi động điện ba pha dựa tiếng ồn mà tạo hoạt động Kết thực ngiệm tìm hai kiến trúc mạng hoạt động tốt với dịng MCU đề xuất Kích thước ảnh phổ 64x64 pixel phù hợp cho kiến trúc mạng học sâu đề nghị, cho thời gian thực nhanh 0,33 giây độ xác cao 99% với ảnh phổ từ tập liệu tạo từ âm thu thập sẵn máy tính Song song đó, kết thử nghiệm thời gian thực cho kết ấn tượng, trường hợp tín hiệu âm lọc lọc MAF để loại bỏ nhiễu độ xác nhận dạng đạt 72% Ngồi đạt mục tiêu đặt ra, nghiên cứu đưa tranh tổng quan kiến trúc điển hình mạng học sâu có khả thực số MCU tầm trung để làm sở thiết kế mạng lựa chọn MCU cho ứng dụng tương tự tương lai Lời cảm ơn Nhóm tác giả xin gửi lời cảm ơn chân thành đến ThS Hoàng Văn Tùng, giảng viên trường Cao đẳng nghề Bạc Liêu, trực tiếp thực tạo cố động điện, thu âm chia sẻ tập liệu để nhóm hoàn thành nghiên cứu TÀI LIỆU THAM KHẢO H Henao et al., “Trends in fault diagnosis for electrical machines: A review of diagnostic techniques,” IEEE Industrial Electronics Magazine, (2), pp 31-42, 2014, doi: 10.1109/MIE.2013.2287651 [2] W Gong et al., “A novel deep learning method for intelligent fault diagnosis of rotating machinery based on improved CNN-SVM and multichannel data fusion” Sensors, 19, 1693, 2019, doi: 10.3390/s19071693 [3] H V Tung, N V Khanh, N C Ngon, “Proposal of noninvasive failure diagnosis of electrical motor using googlenet,” The Journal of Technical Education Science, no 66, pp 3-6, Oct 2021, doi: 10.54644/jte.66.2021.1070 [4] Mathworks, “Predictive Maintenance Toolbox.” mathworks.com https://www.mathworks.com/products/predictive-maintenance.html (accessed Jun 17, 2022) [5] A Géron, “The Machine Learning Landscape,” in The Fundamentals of Machine Learning,” in Hands-on Machine Learning with ScikitLearn, Keras and TensorFlow, R Roumeliotis and N Tache, 2nd ed, CA, USA: O’Reilly Media, 2019, ch 1, pp 22-66 [6] P R Partha, “A review on TinyML: State-of-the-art and prospects,” Journal of King Saud University – Computer and Information Sciences, vol 34, no 1, pp.1595-1623, Nov 2021, doi: 10.1016/j.jksuci.2021.11.019 [7] S I Ramon, “LPWAN and embedded machine learning as enablers for the next generation of wearable devices,” Sensors, vol.21 , no 1, pp 4-8, July 2021, doi: 10.3390/s21155218 [8] M D Prado et al., “Robustifying the Deployment of tinyML Models for Autonomous Mini-Vehicles,” Sensors, vol 21, no 1, pp 4-10, Feb 2021, doi: 10.3390/s21041339 [9] Google, “Welcome To Colaboratory.” colab.research.google.com https://colab.research.google.com/notebooks/welcome.ipynb?hl=en (accessed Jun 17, 2022) [10] A A Jaber and R.Bicker, “Real-Time Wavelet Analysis of a Vibration Signal Based on Arduino-UNO and LabVIEW,” International Journal of Materials Science and Engineering, vol 3, no 1, pp 1-5, March 2015, doi: 10.12720/ijmse.3.1.66-70 [11] S W Smith, " Moving average filters,” in The scientist and engineer's guide to digital signal processing, 2nd ed, CA, USA: California Technical Publishing, 1999, pp 277-284 [12] V Giurgiutiu, “Wave propagation SHM with PWAS transducers,” in Structural Health Monitoring with Piezoelectric Wafer Active Sensors, V Giurgiutiu, 2nd ed, Academic Press, 2014, pp 639-706 [13] Borgerding, “mborgerding/kissfft.” github.com https://github.com/mborgerding/kissfft (accessed Jun 13, 2022) [14] P Warden and D Situnayake “Wake-Word Detection: Training a Model,” in TinyML Machine Learning with TensorFlow Lite on Arduino and Ultra-Low-Power Microcontrollers, 1st ed, CA, USA: O’Reilly Media, 2019, ch 8, pp 182-219 [1] JTE, Issue 72B, October 2022 10 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/index.php/jte/index Email: jte@hcmute.edu.vn ISSN: 1859-1272 [15] [16] [17] [18] [19] [20] [21] T Wang et al., “Automatic ECG Classification Using Continuous Wavelet Transform and Convolutional Neural Network,” Entropy, vol 23, pp 4-12, Jan 2021, 10.3390/e23010119 A Faysal, W K Ngui, M H Lim, M H Lim and M S Leong ,“Noise Eliminated Ensemble Empirical Mode Decomposition Scalogram Analysis for Rotating Machinery Fault Diagnosis,” Sensors, vol 21, no 1, pp 6-18, Dec 2021, doi: 10.3390/s21238114 R Simon, M D Radmacher, K Dobbin and L M McShane, “Pitfalls in the Use of DNA Microarray Data for Diagnostic and Prognostic Classification,” Journal of the National Cancer Institute, vol 95, no 1, pp 14–18, Jan 2003, doi: 10.1093/jnci/95.1.14 S Abrahams, A Scarpinelli, D Hafner, E Erwitt, “TensorFlow Fundamentals.” in TensorFlow for Machine Intelligence, Bleeding Edge Press, Santa Rosa, CA 95404, ch 3, pp 60-116 “TensorFlow Lite,” tensorflow.org https://www.tensorflow.org/lite/ (accessed Jun 17, 2022) P E Novac, G B Hacene, A Pegatoquet, B Miramond and V Gripon, “Quantization and Deployment of Deep Neural Networks on Microcontrollers,” Sensors, vol.21, no1, pp 5-6, April 2021, doi: 10.3390/s21092984 “Post-training quantization,” tensorflow.org https://www.tensorflow.org/lite/performance/post_training_quantization (accessed Jun 17, 2022) Nguyen Van Khanh received his master degree from Ho Chi Minh University of Technology, Vietnam in 2014 and Doctor of Engineering degree from Tokyo University of Marine Science and Technology, Japan in 2020 Since 2007, he has been a lecturer at Department of Automation Technology, College of Engineering Technology, Can Tho University His research interests concentrate on embedded systems, AIoT- and IoT-based applications in environmental and agricultural control Tran Vy Khang is a B.S degree student in Automation and Control Engineering of the Department of Automation Technology, College of Engineering, Can Tho University, Vietnam He will graduate his B.S degree at the end of December 2022 Email tranvykhang1906@gmail.com, Contact phone 0706950015 Nguyen Minh Khai is a B.S degree student in Automation and Control Engineering of the Department of Automation Technology, College of Engineering, Can Tho University, Vietnam He will graduate his B.S degree at the end of December 2022 Email nguyenminhkhai.070500@gmail.com, Contact phone 03698463651 Thach Van To Em is a B.S degree student in Automation and Control Engineering of the Department of Automation Technology, College of Engineering, Can Tho University, Vietnam He will graduate his B.S degree at the end of September 2022 Email toem2704@gmail.com, Contact phone 0868080442 Pham Tran Lam Hai received his master degree from University of South Australia (UniSA) in 2010 Since 2012, he has been a lecturer at Department of Automation Technology, College of Engineering Technology, Can Tho University His research interests focus on Bistatic LIDAR system for gas measurement in environmental and agricultural applications Chi-Ngon Nguyen received B.S and M.S degrees in Electronic Engineering from Can Tho Universityand the National University, Ho Chi Minh City University of Technology, Vietnam, in 1996 and 2001, respectively The degree of Ph.D in Control Engineering was awarded by the University of Rostock, Germany, in 2007 Since 1996, he has worked at the Can Tho University He is an associate professor in automation at Department of Automation Technology, and former dean of the College of Engineering at the Can Tho University Currently, he is a Vice Chairman of the Board of Trustee of Can Tho University His research interests are intelligent control, medical control, pattern recognition, classifications, speech recognition, computer vision and agricultural automation JTE, Issue 72B, October 2022 11 ... phù hợp để chẩn đoán lỗi động điện ba pha dựa tiếng ồn phát vận hành Một số kiến trúc mạng học sâu chẩn đoán lỗi động đề xuất, huấn luyện thử nghiệm để chọn kiến trúc phù hợp Khả thực thi mạng... thấy khả ứng dụng TinyML chẩn đoán thời gian thực lỗi động hoàn toàn khả thi Tuy nhiên, câu hỏi lớn đặt cấu trúc mạng học sâu MCU phù hợp để thực ứng dụng chạy thời gian thực Mục tiêu báo đề xuất... nRF52840 chọn đánh giá khả chạy thời gian thực mạng học sâu thay hai MCU cịn lại 3.3 Nhận dạng lỗi động thời gian thực Hình trình bày sơ đồ khối hệ thống nhận dạng thời gian thực dựa kit Arduino Nano