52 Số lượng ảnh thu được cho mỗi lỗi động cơ là 247 ảnh, tổng số mẫu ảnh là 2223 ảnh. Sau đó tập dữ liệu được phân loại ngẫu nhiên thành tập dữ liệu đào tạo vào tập dữ liệu kiểm tra theo tỷ lệ 8:2. Trong đó, số lượng ảnh được dùng để huấn luyện là 1778 ảnh và số ảnh được dùng để kiểm tra là 445 ảnh.
3.5 Áp dụng phương pháp học sâu để chẩn đoán lỗi vịng bi
Sau khi đã tìm hiểu về mạng Nơron tích chập, tác giả đề xuất mơ hình mạng Nơron để phục vụ cho việc xử lý dữ liệu. Mơ hình được xây dựng dự trên phép tính Depthwise Separable Convolution mơ hình Mobile Net và kiến trúc mạng Lenet 5 để giảm kích thước và độ phức tạp của thuật tốn.
A. Phép tính Depthwise Separable Convolution
Trước khi hiểu về DSC chúng ta cùng nhắc lại một chút về Convolution. Convolution ta có thể đơn giản nó là một cữa sổ trượt trên một ma trận, các lớp Convolution có các parameter (Kernel Matrix) sẽ tiến hành tính tốn và đưa ra các giá trị đặc trưng nhờ đó có thể trích suất các điểm đặc trưng và giảm chiều tính tốn.
Hình 3-14: Hình ảnh phép tích chập thơng thường
Trên là hình ảnh của mơt kernel. Ta thấy một hình ảnh bình thường (2D) có 3 chiều tương ứng với các thông số (h,w,c), h là chiều cao, w là chiều dài, c là chiều sâu. Một kernel bình thường gồm (k,k,c) (k là độ lớn, c là chiều sâu ảnh).
Xét trên một kernel, độ phức tạp tính tốn sẽ (h′×w′) × (k×k×c) (Với h′,w′ là chiều của feature map sau khi quét qua tất cả h và w). Vì thực tế chúng ta có nhiều kernel nên độ phức tạp sẽ là:
(h′×w′×c′) ×(k×k×c) (với c′ là số kernel)
Như chúng ta thấy độ phực tạp tính tốn trên khá lớn, khó có thể áp dụng vào những dự án trên các thiết bị nhỏ gọn như Smartphone hay máy tính nhúng.
Do đó, ta hay sử dụng kỹ thuật Separable Convolutions, một kỹ thuật mới vô cùng mạnh mẽ giúp giảm lượng tham số mơ hình trong mạng CNN mà vẫn đáp ứng đẩy đủ các yêu cầu trong việc học các features của ảnh. Với separable convolutions, chúng ta có thể hướng đến việc giải quyết các bài toán realtime khả thi hơn rất nhiều so với các mơ hình mạng CNN truyền thống.
Kỹ thuật Separable Convolutions được chia thành 2 loại chính là Spatial Separable Convolutionsvà Depthwise Separable Convolution.
53 Đầu tiên, ta sẽ nói về phép tính Spatial Separable Convolutions.Ý tưởng của phép tính là chia 1 convolution thành 2 bước thay vì một như trước, giúp giảm lượng phép tính cần phải thực hiện. Trong tích chập thơng thường, nếu chúng ta có sử dụng kernel 3 x 3 cho 1 lớp tích chập thì trong phép tính Spatial Separable Convolutions,ta có thể chia kernel 3 x 3 thành 2 kernel 3 x 1 và kernel 1 x 3. Sau đó, trong Spatial Separable Convolutions, đầu tiên chúng ta thực hiện phép tích chập với kernel 3 x 1 rồi đến kernel 1 x 3. Điều này yêu cầu 6 thay vì 9 tham số so với tích chập thơng thường, và do đó, tham số hiệu quả hơn (yêu cầu thêm ít phép nhân ma trận hơn).
Hình 3-15: Hình ảnh minh họa phép tính Spatial Separable Convolutions
Tuy nhiên, vấn đề chính đối với Spatial Separable Convolutions đó là khơng phải tất cả kernel đều có thể chia thành 2 kernel nhỏ hơn, dẫn đến khó khăn trong q trình chúng ta huấn luyện. Đó là lý do vì sao nó khơng được sử dụng nhiều trong Deep Learning.Từ đó người ta đã xây dựng, phát triển lên phép tính Depthwise Separable Convolution dựa trên cơ sở của Spatial Separable Convolutions
Không giống Spatial Separable Convolutions, Depthwise Separable Convolution hoạt động được với các kernel không thể chia thành các kernel nhỏ hơn.Ý tưởng của Depthwise Separable Convolution [15] là chia phép convolution làm 2 phần: Depthwise Convolution và Pointwise convolution.
Depthwise convolution là một loại tích chập trong đó chúng ta áp dụng một bộ lọc tích chập duy nhất cho mỗi kênh đầu vào. Trong phép tích chập 2D thông thường được thực hiện trên nhiều kênh đầu vào, bộ lọc cũng sâu như đầu vào và cho phép chúng ta tự do trộn các kênh để tạo ra từng phần tử trong đầu ra. Ngược lại, sự biến đổi theo chiều sâu giữ cho mỗi kênh riêng biệt. Các bước thực hiện:
- Tách đầu vào và lọc thành các kênh.
- Chuyển đổi từng đầu vào với bộ lọc tương ứng. - Xếp chồng các kết quả đầu ra được biến đổi với nhau.
54
Hình 3-16: Hình ảnh tích chập chiều sâu Depthwise convolution
Mỗi một kênh sẽ áp dụng một bộ lọc khác nhau và hồn tồn khơng chia sẻ tham số. Điều này có ba tác dụng chính cho mơ hình:
- Nhận diện đặc trưng: Quá trình học và nhận diện đặc trưng sẽ được tách biệt theo từng bộ lọc. Nếu đặc trưng trên các channels là khác xa nhau thì sử dụng các bộ lọc riêng cho channel sẽ chuyên biệt hơn trong việc phát hiện các đặc trưng. Chẳng hạn như đầu vào là ba kênh RGB thì mỗi kênh áp dụng một bộ lọc khác nhau chuyên biệt.
- Giảm thiểu khối lượng tính tốn: Để tạo ra một điểm pixel trên output thì tích chập thơng thường cần sử dụng k×k×c phép tính trong khi tích chập chiều sâu tách biệt chỉ cần k×k phép tính.
- Giảm thiểu số lượng tham số: ở tích chập chiều sâu cần sử dụng
c×k×k tham số.Số lượng này ít hơn gấp c′ lần so với tích chập chiều sâu thơng thường.
Kết quả sau tích chập thu được là một khối tensor3D có kích thước h′×w′×c. Tích chập điểm (Pointwise Convolution): Có tác dụng thay đổi độ sâu của output bước trên từ c sang c′. Chúng ta sẽ áp dụng c′ bộ lọc kích thước 1×1×c. Như vậy kích thước width và height khơng thay đổi mà chỉ độ sâu thay đổi.
55 Kết quả sau cùng chúng ta thu được là một output có kích thước h′×w′×c′. Số lượng tham số cần áp dụng ở trường hợp này là c′×c.
Để cùng tạo ra một output shape có kích thước h′×w′×c′ thì tích chập thơng thường cần thực hiện: (h′×w′×c′) ×(k×k×c) Trong đó h′×w′×c′ là số lượng pixels cần tính và k×k×c là số phép nhân để tạo ra một pixel.
Tích chập tách biệt chiều sâu chỉ phải thực hiện lần lượt trên: - Tích chập chiều sâu: (h′×w′×c)×(k×k) phép nhân.
- Tích chập điểm: (h′×w′×c)× c′ phép nhân. Tỷ lệ các phép tính giữa tích chập chiều sâu và tích chập thơng thường :
-
(25)
Đây là một tỷ lệ khá lớn cho thấy tích chập chiều sâu tách biệt có chi phí tính tốn thấp hơn rất nhiều so với tích chập thơng thường. Do đó việc sử dụng phép tính Depthwise Separable Convolution giúp cho thuật toán giảm số lượng tài nguyên cần sử dụng và tối ưu hóa thời gian hoạt động của thuật tốn.
B. Mơ hình Lenet-5
Đây là mơ hình được phát triển bởi Yann LeCunn (Director of AI Research Facebook) cùng với Léon Bottou, Yoshua Bengio (đồng tác giả với Ian Goodfellow của cuốn “Deep Learning”) và Patrick Haffner [16].
Các mơ hình LeNet được phát triển dựa trên dữ liệu MNIST. Tập dữ liệu này bao gồm các chữ số được viết tay 0-9; sáu mươi nghìn hình ảnh được sử dụng để đào tạo / xác nhận mơ hình và sau đó một nghìn hình ảnh được sử dụng để kiểm tra mơ hình. Các hình ảnh trong tập dữ liệu này có kích thước 28 × 28 pixel.
Hình 3-18: Hình ảnh kiến trúc mơ hình Lenet-5
Cấu trúc mơ hình đề xuất của LeNet-5 có 7 lớp, khơng bao gồm các lớp đầu vào. Như được mô tả trong phần dữ liệu, hình ảnh được sử dụng trong mơ hình này là hình ảnh viết tay MNIST. Cấu trúc được đề xuất có thể được nhìn thấy trong hình trên giấy. Chi tiết của mỗi lớp như sau:
56 - Lớp C1: là lớp Conv đầu tiên có 6 bản đồ đặc trưng với các bước là 1. Sử dụng công thức cho trong phụ lục, người ta có thể tính tốn kích thước đầu ra của lớp này là 28 × 28 với 156 tham số có thể tra được (tham khảo phụ lục 1 để biết thêm chi tiết). Chức năng kích hoạt của lớp này là tanh (tham khảo phụ lục 2 để biết thêm chi tiết).
- Lớp S2: là lớp gộp trung bình. Lớp này ánh xạ các giá trị trung bình từ lớp Chuyển đổi trước sang lớp Chuyển đổi tiếp theo. Lớp Pooling được sử dụng để giảm sự phụ thuộc của mơ hình vào vị trí của các đối tượng hơn là hình dạng của các đối tượng. Lớp gộp trong mơ hình LeNet có kích thước là 2 và bước tiến là 2.
- Lớp C3: là tập thứ hai của lớp phức hợp với 16 bản đồ đặc trưng. Kích thước đầu ra của lớp này là 10 với 2.416 tham số. Chức năng kích hoạt của lớp này là tanh.
- Lớp S4: là một lớp tổng hợp trung bình khác có kích thước là 2 và kích thước sải chân là 2.
- Lớp tiếp theo chịu trách nhiệm làm phẳng đầu ra của lớp trước thành mảng một chiều. Kích thước đầu ra của lớp này là 400 (5 × 5 × 16).
- Lớp C5: là một khối dày đặc (lớp kết nối đầy đủ) với 120 kết nối và 48.120 tham số (400 × 120). Chức năng kích hoạt của lớp này là tanh. - Lớp F6: là một khối dày đặc khác với 84 tham số và 10.164 tham số (84 ×
120 + 84). Chức năng kích hoạt của lớp này là tanh.
- Lớp đầu ra có 10 kích thước (bằng số lớp trong cơ sở dữ liệu) với 850 tham số (10 × 84 + 10). Chức năng kích hoạt của lớp đầu ra là sigmoid (tham khảo phụ lục 2 để biết thêm chi tiết).
Lenet 5 là một trong các mơ hình được xây dựng và phát triển sớm nhất trong các mạng Nơron tích chập. Mơ hình Lenet 5 có kiên trúc đơn giản và dễ hiểu nên được sử dụng rất phổ biến trong việc xây dựng và phát triển các mạng Nơron mới, hiện đại hơn về sau này.
Sau khi đã tìm hiểu về mạng Nơron tích chập và các mơ hình thuật tốn cơ bản, Tác giả đưa ra mơ hình thuật tốn đề xuất để phục vụ cho bài tốn phân tích lỗi vịng bi trong động cơ. Mơ hình mạng Nơron đề xuất sẽ được xây dựng dự trên cấu trúc cơ bản của mơ hình Lenet-5 gồm 7 lớp, trong đó ta sẽ thay thế các lớp tích chập thơng thường bằng các lớp tích chập chiều sâu tách biệt để giảm thiểu số lượng tham số của mơ hình từ đó sẽ giảm thiểu thời gian tính tốn và tối ưu hóa độ chính xác của mơ hình.
57 Mơ hình đề xuất:
Bảng 3-3: Kiến trúc của mơ hình đề xuất
Tầng Kích thước bộ lọc Bước trượt Hàm kích hoạt Tham số Conv Dw1 5×5×6 1 - 156 Conv Pw1 1×1×6 1 Tanh 42 Max Pooling1 2×2×6 1 - - Conv Dw2 5×5×16 1 312 Conv Pw2 1×1×16 1 Tanh 208 Max Pooling2 2×2×16 1 - - Conv Dw3 5×5×120 1 624 Conv Pw3 1×1×120 1 Tanh 4168 Fully Connected - - Tanh 10164 Fully Connected - - Softmax 340
Số lượng tham số của thuật toán là 16014 (tham số). Tỉ lệ tham số giữa mơ hình đề xuất và mơ hình Lenet-5 là
Từ đó ta thấy rõ rằng sử dụng phép tích chập Depthwise Separable làm giảm đáng kể lượng tham số so với việc sử dụng phép tích chập thơng thường.
3.6 Kết luận chương
Phần đầu chương 3 đã phân tích và lựa chọn hiệu rung động để phát hiện và chẩn đốn lỗi vịng bi trong động cơ điện. Sau đó ta sẽ xử lý tín hiệu trong miền thời gian-tần số để chuyển tín hiệu về dạng ảnh phục vụ cho mơ hình học sâu để chẩn đốn và phát hiện lỗi vịng bi. Phần tiếp theo giới thiệu các tập dữ liệu lớn về lỗi vòng bi được thu thập trên thế giới. Tiến hành thiết kế mơ hình thu nhận tín hiệu rụng động trong động cơ và xây dựng bộ dữ liệu lỗi vòng bi từ q trình thu tín hiệu rung động. Phần cuối chương đã đề xuất ra mơ hình học sâu để phát hiện và chẩn đốn lỗi vịng bi
58
CHƯƠNG 4. KẾT QUẢ
4.1 Dữ liệu thu thập
4.1.1 Đánh giá các đặc trưng cơ bản của dữ liệu
Bộ dữ liệu thu được dưới dạng số . Ta sẽ đánh giá các đặc trưng cơ bản của tập dữ liệu về độ tập trung, độ phân tán và sự phân bố của dữ liệu
Bảng 4-1: Các đặc trưng cơ bản của bộ dữ liệu
Lỗi vịng trong Bình thường Lỗi vịng ngồi
Giá trị trung bình 0,0011 -0,0031 0,0018
Trung vị 0,0038 0,0004 0,0016
Giá trị lớn nhất 2,2866 0,6469 1,8886
Giá trị nhỏ nhất -2,7982 -0,7895 -2,2787
Khoảng biến thiên 5,0648 1,4364 4,1673
Độ lệch chuẩn 0,389 0,164 0,286
Phương sai 0,151 0,027 0,082
Độ lệch -0,268 -0,96 -0,378
Độ nhọn 4,107 0,057 6,415
A, Độ tập trung của dữ liệu
Độ tập trung của dữ liệu được đánh giá qua các thơng số giá trị trung bình và trung vị
- Giá trị trung bình(Mean): Bình qn tốn học của tập dữ liệu
- Trung vị(Median): Giá trị nằm giữa khoảng giá trị biến thiên của dữ liệu
Từ thông số được xác định trong bảng 4-1, ta thấy trung bình và trung vị của các tệp dữ liệu có giá trị xấp xỉ bằng nhau và gần bằng 0. Qua đó, ta thấy được tập dữ liệu có giá trị được phân bố tập trung và đối xứng xung quanh giá trị trung tâm 0. Bên cạnh đó tập dữ liệu khơng có những giá trị chênh lệch với các giá trị còn lại một cách bất thường.
B, Độ phân tán của dữ liệu
Độ phân tán của dữ liệu được đánh giá qua các thông số giá trị lớn nhất, giá trị nhỏ nhất, khoảng biến thiên, phương sai và độ lệch chuẩn.
- Giá trị lớn nhất(Max): Giá trị lớn nhất trong tập dữ liệu - Giá trị nhỏ nhất(Min): Giá trị nhỏ nhất trong tập dữ liệu
- Khoảng biến thiên(Range): Giá trị thể hiện độ trải dài của tập dữ liệu từ giá trị nhỏ nhất đến giá trị lớn nhất
Range =Max – Min (26)
- Độ lệch chuẩn(Standard deviation): Giá trị thể hiện độ phân tán của các giá trị trong tập dữ liệu so với giá trị trung bình của chúng. Nó cho biết trung bình mỗi giá trị nằm bao xa so với giá trị trung bình(2.2.1a).
59 - Phương sai(Variance):Giá trị thể hiện độ biến thiên của các giá trị xung quanh so với giá trị trung bình của tập dữ liệu. Nó cho biết mức độ chênh lệch trong tập dữ liệu(2.2.1b).
Từ thông số được xác định trong bảng 4.1, giá trị lớn nhất và nhỏ nhất của dữ liệu trong trường hợp bình thường có giá trị có giá trị nhỏ hơn nhiều so với 2 trường hợp lỗi vịng trong và lỗi vịng ngồi. Từ đó thấy được ở trạng thái bình thường, độ rung của động cơ có giá trị nhỏ, khi xuất hiện lỗi thì động cơ sẽ xuất hiện các thành phần lỗi với biên độ cao hơn bình thường.
Độ biến thiên và phương sai của trường hợp bình thường cũng nhỏ hơn nhiều so với 2 trường hợp lỗi. Từ đó cho ta thấy được độ phân tán của dữ liệu trong trường hợp bình thường sẽ nhỏ hơn 2 trường hợp lỗi vịng bi.
C. Hình dáng phân phối của dữ liệu
Hình dáng phân phối của dữ liệu được đánh giá qua các thông số độ lệch, độ nhọn và biểu đồ Histogram.
- Độ lệch(Skewness): Giá trị đo mức độ đối xứng, bất đối xứng của 1 phân phối. (27) Trong đó: • : Giá trị trung bình • s: độ lệch chuẩn • N: số điểm dữ liệu
- Độ nhọn(Kurtosis): Giá trị thống kê mô tả đo mức độ tập trung quan sát ở phần đuôi và đỉnh của phân phối. Đỉnh là phần cao nhất của phân phối và đuôi là phần cuối của phân phối. Các tập dữ liệu có hệ số kurtosis cao có xu hướng dữ liệu tập trung về phần đi hoặc phần dữ liệu ngoại lệ, các tập dữ liệu có hệ số kurtosis thấp có xu hướng dữ liệu tập trung quanh vị trí trung tâm và có thể khơng có dữ liệu ngoại lệ.
(28)
Trong đó:
• : Giá trị trung bình • s: độ lệch chuẩn • N: số điểm dữ liệu
- Biểu đồ Histogram: là dạng biểu đồ cột được sử dụng để mô tả trực