Mô hình phân lớp hiệu quả cho giám sát ngoại quan trong quản lý chất lượng sản phẩm trong sản xuất công nghiệp

KIẾN THỨC NỀN TẢNG

• Kiến trúc mạng VGG19 và ResNet-50
• Phương pháp Few-Shot Learning và mô hình Siamese

Tuy nhiên, phản hồi từ một lớp sâu hơn trong hệ thống phân cấp của thuật toán đóng vai trò như một bộ lọc đặc trưng mà mô hình có thể sử dụng để không chỉ phân biệt khuôn mặt với các hình ảnh không phải khuôn mặt mà còn tạo bộ phân loại mới trong quá trình phân loại. Simonyan và Zisserman trong [1] của Đại học Oxford đã tạo ra CNN 19 tầng (16 tầng tích chập và 3 tầng được kết nối đầy đủ), sử dụng bộ lọc 3x3 với sải bước và đệm là 1, cùng với các tầng gộp tối đa với sải bước 2, được gọi là mô hình VGG19 (đặt theo tên nhóm Visual Geometry Group của Đại học Oxford).

CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN

Nhận dạng lỗi bề mặt dựa trên học sâu

Hiện nay, những thiết bị tự động phát hiện khiếm khuyết bề mặt (Surface Defect Detection) đang dần thay thế công đoạn kiểm tra bằng mắt thường của con người trong nhiều lĩnh vực khác nhau, bao gồm 3D, ô tô, đồ gia dụng, sản xuất máy, linh kiện bán dẫn, điện tử, dược phẩm, hàng không vũ trụ và các ngành công nghiệp khác. Trong bài toán nhận diện các mẫu hình khuyết điểm trên tấm bán dẫn (wafer map), Wang và đồng nghiệp [13] đã công bố bộ dữ liệu MixedWM38 và thiết kế một mạng Deformable Convolution (DC-Net) kết hợp với một lớp đầu ra đa nhãn (multi-label) cho phân loại các khuyết điểm hỗn hợp (mixed-type) với độ chính xác trung bình là 93.2%. Phần tiếp theo ta sẽ tìm hiểu những cách tiếp cận phổ biến của phương pháp học biểu diễn (Representation Learning) và cơ chế học tự giám sát (Self-supervised Learning) để xây dựng một mô hình hoạt động hiệu quả dưới điều kiện thiếu dữ liệu ảnh lỗi, đồng thời ta cũng xem xét các hàm mất mát (Loss Function) có thể tối ưu được các biểu diễn ảnh của các lớp khác nhau nhằm tăng độ chính xác của mô hình phân loại.

Phương pháp học biểu diễn

Bài báo thiết kế khá nhiều thí nghiệm để chứng minh độ hiệu quả của phương pháp, để tổng quát hơn ta sẽ xem xét bảng so sánh độ chính xác của SimCLR với baseline Supervised Learning, các phương pháp label-propagation và học biểu diễn (represention learning) ở hình 3.5. Tuy nhiờn, điểm yếu của hàm này là khụng cú khả năng tối ưu húa rừ ràng cỏc vec-tơ embedding chứa các đặc điểm khuôn mặt để tăng thêm sự tương đồng giữa những khuôn mặt trong cùng một lớp và tăng thêm sự đa dạng giữa các khuôn mặt giữa các lớp khác nhau, dẫn đến tạo ra một khoảng cách cho những khuôn mặt với nhiều biến thể (do khác biệt tuổi tác hay do khác biệt về dáng khuôn mặt). Vì các vec-tơ đặc trưng được phân bổ xung quanh mỗi đặc trưng trung tâm theo một hypersphere, ta sẽ thêm vào đó một hình phạt biên góc cộng (additive angular margin penalty) mgiữaxivàWyi để đồng thời tăng cường tính nhỏ gọn trong nội bộ lớp và sự khác biệt giữa các lớp.

PHƯƠNG PHÁP ĐỀ XUẤT Cải thiện biểu diễn ảnh cho việc nhận dạng

Trong phạm vi luận văn này, chúng tôi đề xuất xây dựng một mô hình kết hợp giữa 2 phương phápSelf-Supervised LearningvàRepresentation Learningđể tận dụng được thông tin có giám sát từ lượng ít dữ liệu ảnh bề mặt có khiếm khuyết, đồng thời học được các biểu diễn từ những hình ảnh không được gán nhãn dựa vào quá trình tăng cường dữ liệu. Áp dụng tư tưởng của kiến trúcSimCLRcủa Contrastive Learning và cơ chế của hàmAdditive Angular Margin Loss trong nhận diện khuôn mặt, chúng tôi sẽ kết hợp các hàm mất mát (loss function) được giới thiệu trong 2 nghiên cứu này để xây dựng mô hình biểu diễn ảnh. Mô-đun này giúp tăng độ tương đồng giữa các đặc trưng của hai ảnh tăng cường bằng cách tối ưu hóa hàm mất mát self-contrastive, với các nhãn được giả định là "positive" (ảnh tăng cường thuộc cùng một ảnh) hoặc "negative" (ảnh tăng cường thuộc hai ảnh khác nhau).

THỰC NGHIỆM

Tập dữ liệu

Bộ dữ liệu NEU được công bố bởi trường đại học Northeastern University (NEU), được dùng cho bài toán phân loại và phát hiện đối tượng. Bộ dữ liệu thu thập 6 loại lỗi bề mặt điển hình của những thanh thép cán nóng (hot-rolled steel strip), được đặt tên lần lượt: rolling scale (RS), plaque (Pa), cracking (Cr), pitting surface (PS), inclusions (In) and scratches (Sc). 29 loại còn lại là hỗn hợp (mix-typed defect) của một vài loại khuyết điểm đơn xuất hiện cùng một tấm wafer, khiến cho nhiệm vụ nhận dạng trở nên phức tạp hơn.

Nhiệm vụ Multi-class Classification

Thông qua thử nghiệm này, chúng tôi muốn quan sát hiệu suất của việc kết hợp hai hàm Contrastive loss và Arc loss khi tối ưu hóa Backbone cho việc trích xuất đặc trưng, so với việc fine-tune Backbone theo cách truyền thống. Đặc biệt, trong trường hợp chỉ có 10 ảnh lỗi huấn luyện cho mỗi loại, mô hình đề xuất vẫn đạt được 98.39% dự đoán đúng trên tập kiểm thử. Trong khi các mô hình CNN đòi hỏi một lượng lớn dữ liệu huấn luyện đã được gán nhãn để tránh over-fitting, phương pháp.

Nhiệm vụ Few-shot Classification

Thí nghiệm trên MixedWM38

Các heat-map thu được cho thấy rằng phương pháp đề xuất cho ra các biểu diễn đặc trưng tập trung vào vùng ảnh lỗi trên hình ảnh tấm bán dẫn (wafer map). Điều này có thể chỉ ra hiệu suất của việc học đặc trưng trong việc phân loại các tổ hợp lỗi phức tạp của wafer, thậm chí là khó nhận diện đối với mắt người. Một lần nữa, điều này cho thấy rằng Contrastive loss và Arc loss đóng vai trò quan trọng trong việc tạo ra các đặc trưng phân biệt cho các lớp khác nhau với dữ liệu quy mô rất nhỏ, nhưng vẫn tránh được hiện tượng over-fitting hay under-fitting.

TỔNG KẾT

Notification of Acceptance of the ICIIT 2024

With the excellent achievement of deep learning methods in computer vision, many pre-trained convolution-based networks on ImageNet [19–22] became the backbone or feature extraction blocks used for image classification task, including industrial defect recognition problems. The experimental results in Table II show that within the context of the same training samples, our representation learning strategy can outperform another contrastive learning approach [30], an attention mechanism [26] and a semi-supervised method [15], with the average accuracy of 100%, 99.81%, and 99.58%, respectively. While the original Convolutional Neural Network (CNN) baseline requires a large number of labeled training data to avoid over-fitting, our method overcomes this challenge by utilizing contrastive self-supervised learning algorithm with composition of data augmentations, additionally reinforcing discriminative features with the margin penalty module.

QUÁ TRÌNH ĐÀO TẠO

Địa chỉ liên hệ: Đội 8 Thôn Qui Hậu, Xã Hòa Trị, Huyện Phú Hòa, Tỉnh Phú Yên.